Big Data בחלקים קטנים; חלק ד' – מימד המודלים

בטורים הקודמים עסקנו בבניית אותו חלק בעולם ה-Big Data שעוסק בהרחבת מקורות מידע. בסופו של דבר, עולם זה מושתת בעיקר על מידע ומניפולציות מחקריות שמופעלות עליו. הכרנו את עולם הדטה המובנה ואת עולם הדטה הלא מובנה. בדרך חידדנו גם את חשיבותו של צוות ה-Data Scientists כזה שחוקר, לומד ומנתח את הנתונים והופך את המידע לידע.

בטור הנוכחי נעסוק במימד הבא בעולם ה-Big Data: המימד בו כל המידע מנותב ונאגר בארגון, ומופעלים עליו מודלים שונים לצורך מקסום התובנות העסקיות.

במימד זה קיימים מספר מודלים אפשריים להפעלה. כולם פועלים בעזרת אותו מנגנון של לקיחת דטה, ערבולו, הרצתו בכמויות בחלונות זמן מוגדרים, קטלוגו לעולמות תוכן והפעלת אלגוריתמים שונים של מחקר ולמידה על אותו דטה, בהתאם למודל שנבנה במקור ולשאלות העסקיות שהוגדרו ביציאה לדרך. חלק מהמודלים משקפים דטה מנותח לשם תחקור ידני בהמשך וחלק מגישים המלצות על בסיס חיזוי וניבוי מבוססי אוכלוסיות דומות והסתברות לפעילות מצד לקוח. בין המודלים נמצא מודלים של מניעת נטישה או הגדלת פוטנציאל גיוס וגם מודלים להגדלת פעילות, כאלה שמיועדים לבחירת המוצר הבא שיוצע ללקוח ומודלים לניהול סיכונים מסוגים שונים. מודלים שנחשבים בסיסיים והכרחיים הם אלה שעוסקים בסגמנטציית (פילוח) לקוחות או סגמנטציית משתמשים, בהם מחלקים אוכלוסיות לרבדים לצורך מיקוד הצעות ערך ובניית פרופילי ומאפייני צרכנים.

כאמור, חלק מהמודלים עוסקים בחיזוי ובניבוי. באלה הכרחי תיאום ציפיות ביציאה לדרך בין הארגון העסקי (הלקוח) לבין הספק שמפעיל את המודלים. חשוב לנסות את המודל בפיילוט, להשוות לקבוצת בקרה ולראות עד כמה הוא ניבה נכון בהשוואה למי שכבר רכש את המוצר או ביצע את הפעילות. רבים המקרים בהם השקעה גדולה באינטגרציה של מוצר חיזוי-ניבוי יורדת לטמיון עקב אי יכולת ממשית של המודל לחזות במדויק בעולם משתנה, או שיש מגבלות של מודל נקי מדי שלא עומד במבחן מציאות של "רעשים" ו-"הפרעות" מבוססי נתוני אמת. המודל הזה מתגלה כלא בשל מספיק, כרך. הפעלת המודלים יכולה להיות על ידי אנשי העסק עצמם, תוך שימוש בתשתיות פנים ארגוניות עד הקצה השני, שבו מתבצע למעשה אאוטסורסינג מוחלט של ניהול המידע תוך העברת נתונים פיזית ומאובטחת מהארגון לתשתיות הספק החיצוני וקבלת תוצאות המודל חזרה אחרי הרצה אצל הספק. בתווך בין שני הקצוות הללו מתפתח תחום הענן, שמאפשר אאוטסוריסנג חיצוני אבל מייתר את הצורך בהעברה הפיזית של דטה בין הארגון לספק. לכל שיטה יש כמובן יתרונות וחסרונות ויש לתעדף החלופות היטב, בכפוף למספר גורמי ושיקולים:

1.    יכולות הניתוח והרצת הנתונים בארגון עצמו.
2.    הערכות מבחינת רמת אבטחת המידע של הארגון ואצל הספק.
3.    יציבות ואיכות תשתיות הספק התומך בפעילות.
4.    היקפי המידע שעוברים במערכות ובפעילות.
5.    היבטים רגולטורים ואחרים המשפיעים על מה מותר ומה אסור לארגון לעשות עם המידע.
6.    תלות המודל בכמות דטה מספקת ומגוונת.
7.    יכולת יישום של הספק.
8.    היקף ורמת אינטגרציה נדרשת להטמעת המודל במערכות הארגון.
9.    משמעויות של הרחבת הפעילות לאחר פיילוט מוצלח.
10.    המודל העסקי התומך בפעילות.

אחת השאלות המרכזיות שיפגוש ארגון המבקש להרחיב מאגר המודלים שברשותו היא האם לרכוש או לשכור מודל חיצוני, או לפתח מודל פנימי. גם כאן התשובה תלויה במיצוב של הארגון בעולם ה-Big Data, כולל בחינת היבטים וגורמים נוספים כעלות מול תועלת, יכולת מימוש ואבולוציית המערכות בארגון. לרוב נמצא על כף המאזניים מצב של בחינה ובחירה בין לוח זמנים מהיר לעצמאות ארגונית ושליטה במוצר, או בין עלות שוטפת לשכירת השירותים לעלות השקעה בפיתוחם.

אין ספק שארגון שהקים צוות אנליסטים על תקן Data Scientists והרחיב כלים ויכולות העשרת המידע המובנה והלא מובנה, כולל הטמעת מודלים ראשוניים נבחרים, עשה צעד ענק ליישום עולם עסקי של ניהול Big Data אפקטיבי.