הצד הפרקטי של ההתקדמות הטכנולוגית בשוק ה-Big Data והאנליטיקה

בחלק הקודם של המאמר סקרנו את מצב שוק ה-Big Data והאנליטיקה בעולם ובישראל, עמדנו על הפער בין השוק המקומי לשוק הגלובלי ותיארנו את המגמות וההתפתחויות הטכנולוגיות בתחום, וביניהן הבינה המלאכותית, לימודי המכונה וה-Deep Learning. אך מהי המשמעות הפרקטית של ההתקדמויות הטכנולוגיות המשמעותיות האלה? כיצד הן ישפיעו הלכה למעשה על השימוש באנליטיקה בארגונים כיום ובעתיד הקרוב?

נראה שבטווח הביניים, שנתיים-שלוש קדימה, השימוש העיקרי בטכנולוגיות הבינה המלאכותית יהיה בעזרה למשתמש האנושי – למדען הנתונים, שכיום "מבזבז" מעל מחצית זמנו על הכנתם לתחקור (Data engineering) ובעזרתן יתפנה לעסוק יותר באלגוריתמים עצמם. כמו כן, וכאן כנראה החדשות ה-"מרעישות", הן יבואו לעזרתם של אנליסטים בארגון, אלה שגרטנר (Gartner) מכנה Citizen Data Scientists. מדובר באנליסטים שעוסקים במידע ובתחקור, שיש להם מעט הבנה סטטיסטית. אלה כבר חדשות של ממש, כי זה אומר שיותר אנשים בארגון יוכלו לעסוק באנליטיקה – חסם שעד כה היה משמעותי מאוד עבור ארגונים.

אנחנו גם צופים שמגמת השירות העצמי וגילוי המידע (Data discovery), שפגשה את תחום ה-BI והנגישה אותו עבור יותר משתמשים בארגון, תפגוש כעת גם את תחום האנליטיקה. היא תיצור קטגוריה חדשה אליה מנהלי נתונים ואנליטיקה ייאלצו להידרש – Insights discovery. זוהי נקודת המפגש בין אנליטיקה, לימודי מכונה ו-ויזואליזציה.

יש שיסתכלו על התקדמויות טכנולוגיות אלה כ-"איום" והשתלטות על תפקידים אנושיים. אנחנו מעדיפים לראות בכך הזדמנות להעצמת האנליסטים בארגון.

שכבות ה-Data וניהול הנתונים

גם בתחום הנתונים יש מספר מגמות שמאפשרות את אותה "פתיחות של מידע", המהווה את הבסיס לאלגוריתמים החדשניים. מדובר על מגמות של פתיחות הן בהקשר של הכלים שנמצאים בשימוש והן בשימוש עצמו.

מגמה ראשונה היא החזרה לבמה של כלים שמבצעים מניפולציה על מקורות של מידע (Data virtualization tools). כלים אלה מאפשרים לאגד מידע ממקורות שונים, כגון טבלאות ממסדי נתונים, קבצים סדרתיים וכדומה, תוך אפשרות "ללוש את הנתונים" כאילו היו פלסטלינה. לדוגמה, ניתן לקחת מספר שדות מטבלה אחת, לאחד אותם עם סיכומים של נתונים מתוך קובץ סדרתי, תוך ביצוע מניפולציות נוספות, כאשר התוצאה מוגשת בתור טבלה וירטואלית לכלי ה- BI והאנליטיקה. כל זאת באופן מידי ונגיש, ללא התכנון מראש שהיה מקובל בעידן ה-Data warehouse. ככל שהארגונים ישכילו להשתמש באופן דינמי בנתונים, תוך ניצול אלגוריתמים מתקדמים, הדרישה לכלים מתחום ה-Data virtualization (או, כפי שנקראו קודם, Data federation) תעלה.

עוד מגמה המסמנת פתיחות היא מעבר הדרגתי ל-Polyglot data, או Polyglot persistence, שמשמעו שימוש בטכנולוגיות רבות של מסדי נתונים באותה סביבה אפליקטיבית. מונח זה הוזכר בראשונה על ידי הארכיטקט מרטין פואולר. הסיבה לתופעה זו היא שימוש גובר במיקרו-שירותים שבהם מערכות שפעם היו מפותחות כמקשה אחת, מפותחות כעת בחלקים (כל אחד מהם נקרא מיקרו-שירות). פיצול זה מאפשר גם להשתמש בטכנולוגיה מיטבית של מסד נתונים לכל חלק במערכת. לדוגמה, במערכת מסוימת נראה שנתוני הלקוחות נמצאים ב-MsSQL, נתוני הספקים באורקל (oracle) והיסטוריית הפעולות נמצאת ב-Mongo. הדבר גורם לכך שהאנשים המקצועיים שאחראים על הטיפול בנתונים צריכים להכיר הרבה יותר טכנולוגיות.

עינת שמעוני, אנליסטית בכירה ב-STKI. צילום: קובי קנטור

לכן, מסדי נתונים וכלים תומכים שנמצאים בענן הופכים ליותר ויותר רלוונטיים. ככל שהארגונים ישכילו להשתמש יותר בענן הציבורי והפנימי, כך יגבר השימוש בטכנולוגיות נתונים שנמצאות בענן ובמקביל, יעלה הצורך לסנכרון נתונים ותהליכים בין המערכות שמותקנות בדטה סנטר של הארגון לאלה המופעלות בעננים השונים.

טכנולוגיות ה-No SQL DBMS גורמות לשינוי יחסים בין אנשי הנתונים (ה-DBA) למפתחים. אם בעבר המפתחים היו נדרשים לשירותי ה-DBA בכל פעם שרצו לעשות שינוי ברמת הנתונים, הרי שכעת, עם השימוש ב- No SQL DBMS, שינוי בסכמה לא מחייב מעורבות ישירה של ה-DBA. במקביל, הידע של ה-DBA צריך להיות רחב יותר ועליו להכיר טכנולוגיות פיתוח מתקדמות טוב יותר מאשר בעבר.

גם מבחינה עסקית ישנה בתחום רוח של פתיחות: כניסה של טכנולוגיות חדשות בתחום ה-No SQL, שימוש מוגבר בטכנולוגיות מבוססות קוד פתוח בתחום המסורתי של מסדי נתונים רלציוניים ואופציה חדשה של קבלת תחזוקה למסדי נתונים מסחריים על ידי גורמי צד שלישי כגון Rimini street ו-Spinnaker support. אנחנו רואים מגמה של פתיחות בשכבות הנתונים, שתסייע לארגונים למצות את המידע באופן רחב יותר ולהוות פלטפורמה מתקדמת יותר לאלגוריתמים עסקיים חדשניים.

לסיכום, ההתפתחויות הטכנולוגיות בתחום ה-Big Data והאנליטיקה מקדימות בהרבה את יכולת ובשלות הארגונים לעכל אותן. על ארגונים ליצור תרבות המאפשרת התנסויות עם שיטות חדשות, כזו שמשאירה מקום לטעויות, תוך יצירת תהליכים תומכים לביצוע ניסיונות רבים במקביל על מנת לתפוס את אותו ניסיון שיצליח. עליהם לגדל את הדור הבא של האנליסטים ומדעני הנתונים. אלה מבין הארגונים שיעשו זאת יוכלו ליהנות מההתפתחויות הטכנולוגיות מרחיקות הלכת שמאפשרות כיום, באופן לעתים מעט מרתיע, לעשות כמעט כל דבר, ולקבל החלטות הרבה יותר חכמות וטובות. מיהם אלה שייקחו את ההחלטה, בסופו של דבר? אנשים? רובוטים? שילוב ביניהם? כנראה שכל התשובות נכונות.