הדור הבא של פתרונות ה-Big Data בארגונים

כתב: עמית מנור, Big Data SME, ישראל, מזרח אירופה ורוסיה

בשנים האחרונות נאלצים ארגונים רבים להתמודד עם כמויות גדלות והולכות של מידע, כולל מידע המאוחסן בפורמטים שונים ומגוונים, אשר מקורו בערוצים רבים. לצד סוגיות עסקיות ואתגרים עסקיים, איתור המידע הרלוונטי מהווה נדבך חשוב בהתמודדות עם סוגיה זו. כיום, קיימים בשוק, מספר רב של כלים טכנולוגים ושיטות להתמודד עם אתגרים אלה.

אחד הפתרונות המובילים כיום מציע שילוב יכולות של בינה מלאכותית, AI (ר"ת Artificial Intelligence) אשר טומן בחובו מספר טכנולוגיות כדוגמת ML (ר"ת Machine Learning) ו-DL (ר"ת Deep Learning).

קיימות מספר הגדרות לתחום ה-ML. ההגדרה הפשוטה ביותר היא היכולת של רכיב המכונה לשפר את הביצועים באמצעות שימוש בתוכנה בעלת יכולות בינה מלאכותית. תכונה זו מחקה למעשה את הדרך שבה בני האדם לומדים. ה-ML מתייחסת למחקר, תכנון ופיתוח של אלגוריתמים המעניקים למחשב יכולת ללמוד, וזאת מבלי שהמחשב תוכנת באופן מפורש (מראש).

HPE

יישומים עשירים במידע

רבות כבר נכתב בנושא, ולמעשה ה-ML מזוהה כ"דבר הבא" של תחום ה-Big Data. לא רק לאסוף נתונים ולהפיק דו"חות, אלא גם לפתח יישומים שמבצעים פעולות בהתאם לנתונים – Data Rich Applications.

HPE, הינה החלוצה בתחום וכיום היא מציעה למפתחים פלטפורמה בענן בשם, Haven On Demand לפיתוח יישומים עשירים במידע, אשר מסייעת לפתח את יישומי ה-MLשל הדור הבא. הפלטפורמה כוללת יותר מ-70 ממשקי API, אותם יכולים מפתחים לשלב ביישומים שלהם. בין ה-APIs הללו נכללים כלים לחיפוש מידע, חיזוי אנליטי, ניתוח קונטקסטואלי, זיהוי פנים, ניתוח תמונות ווידיאו, הפיכת קול לטקסט, אינדוקס אוטומטי של מידע לא מובנה ועוד.

לדברי אילן נימני, מנהל פתרונות Big Data ב-HPE באזור רוסיה, מזרח אירופה וישראל, "המעבר לשימוש ביכולות Big Data, מאפשר לארגונים לא רק לעסוק במה שקרה, אלא לחזות את מה שיקרה בעתיד ובכך- להפוך את המידע לתובנה עסקית".

מאז שהושקה הפלטפורמה, עשו בה שימוש יותר מ-15 אלף מפתחים וכיום מבוצעות כמיליון קריאות API ביום. עד לאחרונה סיפקה HPE את הפלטפורמה ללא עלות לבתי תוכנה וסטארט-אפים, ובחודש אפריל הכריזה החברה על הפתרון המסחרי שלה עבור ארגונים גדולים וקטנים כאחד.

בין החברות שעושות שימוש בפלטפורמה נמצאת למשל Blink, חברת סטארט אפ-אמריקנית, אשר מציעה יישום ספיד דייטינג וירטואלי אשר מציע  למנוי לצפות  בווידיאו של שתי דקות.

לא רק אדם – אלא גם גיל, או מין

החברה משתמשת ב-API של זיהוי הפנים בוידיאו, על מנת לזהות אם הפנים המצולמות הן אנושיות. אם אין מדובר בפנים אנושיות הווידיאו ייסגר אוטומטית.

המשמעות היא שבאפליקציה צרכנית פשוטה זו, משתמשים באנליטיקה מתקדמת מאוד כדי לבסס את אמון המשתמש. עד לפני שנה או שנתיים לא ניתן היה להציג יכולות אלה. האנליטיקה שלנו יכולה לזהות לא רק אדם, אלא גם גיל, או מין.

גם בישראל התבצע שימוש בפלטפורמה זו במסגרת ההאקתון "היסטוריה פוגשת חדשנות", ביוזמת HPE ויד ושם, המרכז העולמי לזכר השואה. הזוכים, אשר נבחרו על ידי פאנל מכובד של שופטים, בנוכחות שר החינוך, נפתלי בנט, השתמשו בפתרונות ה-Big Data של HPE על מנת לפתח דרכים חדשות לחשיפת, למעלה מפטה-בייט של מידע בלתי-מובנה, המאוחסן בארכיוני יד ושם.

באמצעות התשתית הטכנולוגית, ניתחו הצוותים אלפי שעות של קבצי וידאו, אודיו, טקסטים ותמונות, וזאת במטרה לפתח פתרון דיגיטלי לשימור חיות ההיסטוריה עבור הדורות הבאים ושימור זיכרון השואה דרך השימוש בטכנולוגיה. הפרויקט הזוכה – עדויות הופכות לברות-חיפוש – מאפשר חיפוש מתואם ומדויק בעדויות עצמן השמורות ב"יד ושם".

ניתוח התנהגות הלקוחות

פלטפורמה זו מצטרפת לשתי אחיותיה הוותיקות: IDOL (ר"ת Intelligent data operating layer) המאפשר להבין ולקטלג מידע לא-מובנה, כדוגמת תכנים ברשתות חברתיות, תכני וידיאו ואודיו ותכנים שנוצרים במכשירים ניידים שונים. בלב הפתרון קיים מנוע המאפשר לבצע מעל 700 פונקציות מתקדמות של ניתוח ואחזור מידע, חילוץ ישויות, קטלוג אוטומטי, ניתוח תמונה, זיהוי פנים ועוד.

היתרון המרכזי של פתרון זה על המתחרים השונים הינו היכולת לנתח משמעויות של תוכן בתוך כל סוגי המידע הקיימים לרבות קבצי וידיאו ותמונות. קיים מספר רב של לקוחות אשר יישמו פתרונות במגזרים שונים אשר יושמו בהצלחה על בסיס הפלטפורמה. לדוגמה, ארגונים פיננסיים אשר משתמשים בו לניתוח התנהגות הלקוחות וזיהוי נטישה, ארגוני מודיעין לניתוח ואיסוף של מידע גלוי מרשתות חברתיות, אתרי חדשות, בלוגים ועוד. IDOL מדורג קיום על פי כל האנליסטים כפלטפורמת אחזור המידע המובילה בעולם.

Vertica – בסיס נתונים בטכנולוגיה של column store טהור היכול להכיל TB בודדים ועד PB של דטה המותקן על שרת בודד או גריד של שרתים בארכיטקטורה של Shared Nothing. בישראל בתוך שנתיים הצטרפו קרוב ל-40 לקוחות המשתמשים ב-Vertica, והשימוש כיום הוא מגוון ורחב של Use cases בחברות בתחומים הבאים: אבטחת מידע, פינטק, חברות המלצות תוכן, חברות תקשורת ועוד.

HPE הינה כיום המובילה במתן פתרונות בתחום ה-Big Data ומאפשרת בזכות הכלים והפלטפורמות הטכנולוגיות לתת מענה לניתוח כל סוגי התכנים הקיימים בארגון. הפתרונות המוצעים מאפשרים אינטגרציה מלאה לטכנולוגיות כגון Hadoop ו-Spark ושימור תשתיות קיימות, לדוגמה, כלי ETL ו-reporting.