שיפור תהליך קבלת החלטות עסקיות נכונות באמצעות VERTICA

כתב: עמית מנור, BIG Data SME EMEA ב-HPE.

בעידן הנוכחי, אנחנו מייצרים וצורכים מידע יותר מאשר בכל זמן אחר בהיסטוריה. המידע הקיים מכפיל את עצמו בכל שנה ומייצר לא רק אתגרים טכנולוגיים כיצד לשמור ולנתח אותו, אלא גם כיצד למנף אותו לתועלות עסקיות.

אחד הגורמים המשמעותיים ביותר ליצירת המידע הוא השימוש הרב שאנחנו עושים באינטרנט ובטלפון החכם לביצוע פעולות יום יומיות, כגון חיפוש באינטרנט, הזמנת מוצרים ואפילו הזמנת מונית. האתגרים שעומדים בפנינו כיום אינם רק איסוף הנתונים, אלא גם ניתוחם והפקת תובנות שיאפשרו לנו לתת ללקוחותינו שירות טוב יותר. למעשה, מדובר בהפיכת נתונים למידע ומשם לידע המאפשר קבלת תובנות עסקיות. ככל שנבין יותר מה מאפיין לקוח ספציפי, נוכל לספק לו חוויה צרכנית איכותית ומותאמת.

האתגר הנוסף שעליו לתת את הדעת לגביו הוא היכן יישמר המידע וכיצד נשלוף אותו? יש כאן מספר אפשרויות לדוגמה: בפתרונות (On-premise) על ידי שימוש בטכנולוגיות כגון Hadoop או באמצעות הפתרונות הקיימים כיום בענן ציבורי, דוגמת אמזון (AWS) או Azure.

בניגוד לבסיס נתונים רגיל, בו שאילתות מתבצעות במהירות גבוהה מאוד, ב-Hadoop, תחקור ושליפת הנתונים יכולים להימשך דקות ארוכות או שעות.

מה זה VERTICA?

לצורך מתן מענה לאתגרים הללו ואחרים, פותח VERTICA – בסיס נתונים בטכנולוגיה של Column Store טהור, שיכול להכיל מטרה-בייטים בודדים ועד לפטה-בייטים של דטה. VERTICA מותקן על שרת בודד או גריד של שרתים בארכיטקטורה של MPP Shared Nothing. מעבר להיותו בסיס נתונים אנליטי מוביל בשוק, VERTICA מספק מספר סוגים של ממשקים לצורך תחקור נתונים מתוך Hadoop, כולל יכולת שימוש ב-HDFS (מערכת הקבצים של Hadoop), או, לחילופין, כמנוע SQL מעל Hadoop. חברות רבות, כגון Yellow pages ,Zynga, אובר (Uber) ואפילו פייסבוק (Facebook), שפיתחה את Hive, עושות כיום שימוש ב-VERTICA כמנוע ה-SQL שלהן.

כפי שציינתי בתחילת המאמר, יכולת שליפת הנתונים היא הנדבך הראשון בפתרון. מעבר לכך, יש צורך בביצוע פונקציות אנליטיות וביצוע חישובים מורכבים, לדוגמה:

•    חישובים גיאוגרפיים מורכבים.
•    ביצוע ניטור בזמן אמת על רישומים של מיליארדי שיחות מדי יום ואיתור חריגות או הונאות.
•    חיזוי האפשרות של מתקפות סייבר.

VERTICA עונה על כל האתגרים הללו ועל עוד הרבה אחרים. בבסיס נתונים זה הוטמעו עשרות פונקציות אנליטיות, כחלק מהמוצר. בכך ניתן, למעשה, לבצע חישובים מורכבים באמצעות פקודות SQL )קיימת תמיכה מלאה בתקן SQL‑99). יחד עם זאת, במקרים בהם הפונקציות אינן מספקות, יש אפשרות להרחיבן באמצעות כתיבת UDF'ים, ובכך המוצר מספק פתרון כולל לניתוח המידע הקיים.

מענה גם לתחום לימודי המכונה

בשנים האחרונות אנחנו עדים לבאזזז נוסף סביב עולם ה-Big Data – לימודי המכונה. הכוונה היא למחקר, תכנון ופיתוח של אלגוריתמים שמעניקים למחשב יכולת ללמוד, וזאת מבלי שהמחשב תוכנת לכך מראש ובאופן מפורש.

תחום שעושה שימוש רחב ביכולת זו הוא עולם האינטרנט של הדברים, לדוגמה בעולם התחזוקה המונעת (Predictive Maintenance), שם משתמשים במידע שמתקבל מסנסורים. בעזרת בסיס נתונים אנליטיים ושימוש ביכולות של לימוד מכונה, ניתן כך לנתח ולהעריך מה יקרה ברמות דיוק גבוהות מאוד ולאפשר לארגון לקבל החלטות, לדוגמה: שינוי מודל צריכה או איתור סיכונים.

כחלק מהאסטרטגיה של VERTICA לתת מענה לתחום לימודי המכונה, בוצעה אינטגרציה למנועים הקיימים בשוק, דוגמת Spark, ופותחו אלגוריתמים מובנים במוצר. מכאן שניתן לפתח את המודלים השונים ולהריצם בתוך VERTICA.  בסיס נתונים זה מציע תמיכה באלגוריתמים כגון רגרסיה לינארית, רגרסיה לוגיסטית ו- K-Mean Clustering.

לסיכום, VERTICA מאפשר לנתח את המידע הקיים על ידי שימוש באלגוריתמים מתוחכמים, ובכך לשפר את תהליך קבלת ההחלטות בתחומים מגוונים – מעסקים ועד רפואה, כמו גם לאפשר לתהליכי קבלת ההחלטות להפוך למבוססים יותר על מידע וניתוח ופחות על אינטואיציה וניסיון.