בת' סמית', יבמ: "Spark הוא פרויקט הקוד הפתוח החשוב ביותר בעשור הקרוב"

יבמ (IBM) הכריזה בכנס Insight בלאס וגאס על זמינות שירות Spark-as-a-Service, המאפשר גישה באמצעות מערכת הקוד הפתוח Spark, המשמשת לניתוח נתונים, למערכת הניתוח האנליטי של החברה בסביבת ענן הפיתוח שלה, בלומיקס. דברים אלו נאמרו אמש במליאת היום השני לכנס על ידי בת' סמית', מנכ"לית חטיבת הפלטפורמות האנליטיות ביבמ.

לדברי סמית', "היום יותר מתמיד צריך להשתמש במדעי הנתונים כדי לעשות את כל היישומים הארגוניים חכמים יותר. כולכם יודעים שהיום 80% מהנתונים הנוצרים בארגון הם בלתי נראים לתוכנות. מדעי הנתונים מסייעים לגלות את הנתונים הללו ולהאיר את האפלה."

"מדעי הנתונים מסייעים כיום להביא את הארגון לעידן הקוגניטיבי", אמרה סמית'. "לפיכך, יבמ תומכת במיזמים המיישמים אותם, ובעיקר סביבת Apache Spark. בעשור הקרוב, Spark הוא פרויקט הקוד הפתוח החשוב ביותר. זו מערכת הפעלה ליישומים מבוססי נתונים, ובכך תסייע לארגונים להתקדם לעבר המחשוב הקוגניטיבי."

"אנחנו בדרך לחנך מאה אלף מדעני ומהנדסי נתונים בכל העולם לנצל את מערכת Spark ואת שירות הענן של יבמ כדי להגיע לתובנות עסקיות טובות", הוסיפה סמית'.

האצה משמעותית של יכולות העיבוד

במקביל השלימה יבמ מהלך מקיף לעיצוב מחדש של 15 מפתרונות הליבה שלה בתחום הניתוח האנליטי והמסחר המקוון, תוך התאמתם לעבודה בסביבת Apache Spark. העיצוב החדש מסייע בהאצה משמעותית של יכולות העיבוד בזמן אמת של המערכות מתוצרת יבמ. ההודעה באה בעקבות הצלחת תוכנית בטא בת 13 שבועות, בה השתמשו יותר מ-4,600 מפתחים בסביבת השרותים החדשה, על מנת לבנות אפליקציות עסקיות חכמות.

Apache Spark, שפותח במעבדת AMPLab בברקלי, מוכר בתעשייה בזכות קלות השימוש בו במשימות יצירת אלגוריתמים המפיקים תובנות חדשות מתוך מידע מורכב. יכולות ניהול מטמון הזיכרון שלו, in-memory caching, מתאימות במיוחד לטיפול במידע אליו מתבצעת גישה תכופה. כך, ניתן לעבד מערכות נתונים מורכבות במהירות גדולה מאי-פעם. יבמ הצליחה לפשט בעזרת כלים אלה את הארכיטקטורה של כמה מפתרונות התוכנה ושירותי ענן הנתונים הנפוצים ביותר שלה, דוגמת BigInsight, Streams ו- SPSS.

גם לאפליקציות מדעיות

Spark יכול לשמש לא רק לאפליקציות עסקיות של כריית נתונים ותבונה עסקית אלא גם לאפליקציות מדעיות. סמית' ראיינה על הבמה את ג'יל טארטר, ממייסדי מכון SETI  וחברת מועצת המנהלים של המכון המשתמש בטלסקופי רדיו כדי לנסות לאתר אותות רדיו מציוויליזציות תבוניות, אם ישנן כאלה. נכון לעכשיו חיפושים של למעלה מ-20 שנה, והפניית הטלסקופים לשלושה כוכבים שהתגלה לידם לפחות כוכב לכת אחד, לא נחלו הצלחה, ואחת מהשתיים – או שאין יצורים תבוניים או שהאותות הללו טבעו ברעש הרקע.

המכון שמר את נתוני התצפיות הללו, וכעת הוא יעשה שימוש במערכת ווטסון, על סביבת Spark, כדי לעבור עליהן רטרואקטיבית ולראות האם בכל זאת, האותות לא היו רק רעש רקע. מדובר בפרויקט Big Data עצום שיתאפשר בזכות שירותי הענן של יבמ.

לדברי סמית', יבמ מחויבת לשימוש ב-Spark, כתשתית לפלטפורמה האנליטית שלה. באמצעות שירותי Spark מנוהלים המוצעים על ידי יבמ, יכולים אנשי מקצוע לגשת לנתונים ולנתח אותם מהר מאי-פעם, תוך צמצום רמת המורכבות וקיצור תהליכי הפיתוח.