פלטפורמות מחסני הנתונים – סוף עידן ותחילתו של חדש?

השנים האחרונות היו סוערות בעולם ה-Data Warehouse (מחסני נתונים). כלים חדשים כמו redshift, Snowflake ו-synapse הבהירו שגם מחסן נתונים יכול להיות ענני, וצברו פופולריות. מודל ההיבריד התפתח לצד כלי האון פרם המוכרים. אם בעבר ההחלטה על פתרון DWH הייתה מקבוצה קטנה של כלים ייעודיים ויקרים, היום כמות הכלים עלתה, כמו גם המודלים לפרישת השירות.

כששואלים אותי מה הכי מומלץ: On prem, Cloud or Hybrid, אני עונה: תלוי לאיזה שימוש ומה הפתרונות הזמינים לי; האם יש רגולציה המונעת ממני לעבור לענן; האם רגולציות של פרטיות, כמו GDPR, רלוונטיות; וכדומה. אם אין מגבלות קשיחות, יש לשקול את החסרונות והיתרונות של כל אחד.

אז במה לבחור?

פתרונות און פרם (למשל vertica או Teradata) מאפשרים לחזות את ההוצאות, לחשב את משאבי המחשוב הנדרשים בשיא, ואם אין גישה לענן – גם להטמיע אבטחה משופרת. מצד שני, יש צורך בניהול חומרה, כולל ניהול תקלות ועדכונים – אתגר מסובך בפתרונות דטה.

פתרונות היבריד (למשל Teradata vantage, IBM Netezza ו-Informatica) יודעים לעבוד במודלי היבריד, וחלקם אף תומכים במודל ענן מלא. הם מאפשרים לגדול בקלות לענן כשהמשאבים באון פרם נגמרים, ולהצטמצם חזרה לאון פרם שהדרישה יורדת שוב.

פתרונות ענן 'טהורים' (למשל Snowflake או Redshift ו-Synapse) מנתקים את המושג של "מחשב" (פיזי או וירטואלי) מהקלסטר. המשאבים אינסופיים וניהול החומרה נעשה שקוף (כולל התקנה, קינפוג, ניהול ותחזוקה).

חישוב עלויות

אחד הפקטורים החשובים בבחירת פתרון הוא העלויות: כניסה, רישיונות, אחזקה שוטפת מיגרציה ממערכות קיימות. עלויות הכניסה כוללות בניית דטה פייפליין מתאים, אימון העובדים בפלטפורמה (מ-DevOps או IT ועד משתמשי הקצה), והרחבת התשתית כדי לעמוד בעומס החדש (אחסון ורוחב פס לדוגמה).

רישיונות לכל מערכות ההפעלה והכלים המעורבים בתהליך, בדרך כלל כלי און פרם, ידרשו גם רישיון וגםSetup fee, ולפעמים שירותי ענן ידרשו Setup fee.

אחזקה שוטפת – באון פרם יש לחשב צפי נפילת מכונות ועלות תחזוקה, וכן עלות שדרוג חומרה (הן עקב תקלות והן בצורה מתוכננת). בענן ובהיבריד יש לשים לב לסך העלויות של הפעלת המערכת, מנוי חודשי, עלות נפח אחסון, עלויות מחשוב (אם יש) ועלות תעבורה.

היתרונות של DWH בענן הם:

1. גמישות – ככלל אצבע, משאבי מחשוב הם רכיב יקר יותר מסטורג'. הענן מאפשר להפריד בקלות את משאבי הסטורג' ממשאבי החישוביות (compute), כך שכמויות עצומות של דטה נשמרות, אך העיבוד מתבצע רק על הדטה הרלוונטי. סטורג' ארכוב בענן זול מסטורג' עבודה, כך שבאמצעות פרוצדורת ארכוב מתאימה ניתן להשתמש בכל הדטה לעיבודים שדורשים זאת (לדוגמה חישוב בייסליין חודשי) ובמידע שבסטורג' העבודה לפעילות השוטפת (כמו דו"חות), בשל הגמישות הרבה בענן.
   כך אנו משתמשים בסטורג' העבודה הזמין אך היקר, בדיוק בכמות ובזמן שאנו צריכים. ההפרדה בין המידע לחישוב מאפשרת לייצר DWH וירטואליים בהלימה לצרכים, לרבות יצירת DWH אחד לאנשי האנליטיקה ואחר לאנשי המכירות, מעל אותו דטה.
2. עלות – התמחור של מכונות וירטואליות סטנדרטיות בענן זול בהרבה משל 'מפלצות' עם עשרות ליבות וג'יגות רבות של זיכרון, אך מעבר לנקודות שהעלינו, בשקלול העלויות יש להביא בחשבון שקלול הוספת הסטורג' ומראית העין שהעלויות בו זניחות, ואלו עלולים לגרום לניפוח החשבון החודשי. לכן יש להעריך עלויות בזהירות. בשקלול העלויות יש להביא בחשבון יתרון נוסף של הענן והוא בעלות כוח האדם ואחזקתו. חברות הענן מעסיקות את מיטב אנשי ה-DevOps, עם כלי אנליטיקה ייעודיים, כשהמטרה העסקית היא – זמינות! מצד שני, יש להביא בחשבון את הסבת המערכת הקיימת לענן ואת הסבת כוח האדם הקיים לסביבה החדשה – reskilling.
3. אבטחה – נקודה רגישה. אין ספק שאון פרם הוא הבטוח ביותר, אך עם הפתיחה לממשקים חיצוניים ופתרונות היברידים, נוצר וקטור חדש של איומים שיש לטפל בהם. מצד שני, פתרון ענן מלא נהנה מיתרונות האבטחה האפליקטיבית של חברות הענן המובילות.
4. חדשנות – בקצב המטורף של הוספת יכולות וחדשנות על-ידי ספקיות הענן הגדולות, הלקוח יכול ליהנות מהעדכונים החדשניים, ללא כאב הראש של טיפול בהתקנות, תחזוקה, הסבת נתונים ועוד.

מנגד, חשוב להדגיש כי במידה שלארגון יש מערכת און פרם שעונה על צרכיו, עם כוח אדם מתאים ומיומן לשם תחזוקה, המעבר לענן מורכב יותר ולא בטוח שהוא משתלם ונכון עבורו.

נקודה קריטית נוספת שיש להתחשב בה היא – היכן 'מרכז הכובד' של הדטה: בענן או במקום לוקאלי, מאחר ששינוע של כמויות מידע גבוהות הוא יקר ומסובך.

לסיכום: ימים מלהיבים של שינויים וחדשנות עוברים על עולם מחסני ואגמי הנתונים! עם תכנון זהיר ונכון ניתן לעשות יותר, עם השקעות מופחתות, תוך הגדרה ברורה של הצרכים הנוכחיים והעתידיים וחישובי עלויות. זאת כמובן תוך לקיחה בחשבון של המערכות והידע הקיימים בארגון והשוואת הפתרונות, תוך התאמה לצרכי הארגון.

הכותב הוא סמנכ"ל טכנולוגיות מלם תים