מה זה Data Lake? ומדוע ארגונים צריכים להשתמש בו?

מאת: עידו ופנר

כיום יש כל כך הרבה אפשרויות לאחסן מידע, בין אם זה Database (מסד נתונים), Data Warehouse (מחסן נתונים) וב-Data Lake (הנקרא גם 'אגם נתונים'), שמתאים לדור החדש של המידע.

בכל פעם שאנחנו רוכשים מוצר מחנויות אונליין, הנתונים נשמרים בתוך מסד נתונים, או לחלופין כשאנחנו מבצעים שינויים בחשבון הבנק שלנו ומעבירים כסף או משנים מידע, הוא נשמר במסד נתונים.

שימוש במחסן נתונים עוזר לנו בניתוח של הרבה מסדי נתונים, כדי לקבל החלטות. מטרת ה-DW היא OLAP (ר"ת Online Analytical Processing), שנועד לצורך ניתוח של המון מסדי נתונים ומידע שיש לנו בתוך הארגון.

מסדי הנתונים מכלל הארגון יעבירו מידע לתוך ה-DW ויעברו תהליך שנקרא ETL (ר"ת Extract, Transform and Load), שמטרתו לנתח את המידע, לשנות לו את הפורמט ולאחסון אותו במקום רלוונטי, כך שיהיה ניתן לבצע בו שימוש למגוון צרכים ארגוניים.

השימוש ב-DB יהיה לצורך אחסון ותיעוד מידע, והצורך ב-DW יוכל לעזור לנו בניתוח המידע ולהפיק דו"חות רלוונטיים להנהלת החברה, כדי לקבל החלטות בנוגע למידע שנמצא ברשותנו ממספר מקורות של מסדי נתונים.

אגם נתונים – Data Lake. צילום: אילוסטרציה. BigStock

מה מציע פתרון אגם הנתונים לארגונים?

פתרון מסוג אגם נתונים (Data Lake) יכול לעזור לנו באחסון כמויות גדולות של מידע שמתאים לדור החדש של הנתונים, כמו קבצי וידיאו, תמונות, מסמכים, מסדי נתונים, מידע מרשתות חברתיות, נתונים גרפיים ועוד. אם תרצו לבצע בו ניתוחים ולהפיק דו"חות, תצטרכו לבצע טרנספורמציה למידע, כדי לעשות בו שימוש. רוב החברות יאמצו פתרונות מסוג Data Lake כדי לעשות בו שימוש בעזרת טכנולוגיות כמו בינה מלאכותית ולימוד מכונה, על מנת לבנות מודלים מסוג לימוד מכונה, למצוא קשרים בין המידע ולבצע תחזיות.

המטרה העיקרית של אגם נתונים הינה להנגיש את הנתונים הארגוניים ממקורות שונים למשתמשי הקצה כמו אנליסטים, מהנדסי נתונים, חוקרים, מנהלי מוצר ומנהלים בכירים, כדי למנף את התבונות לצורך שיפור הביצועיים העסקיים.

היתרונות של אגם נתונים הם רבים, כגון:

• תובנה משופרת לגבי לקוחות מאפשרת לחברות למקד את האסטרטגיות שלהן טוב יותר.
• יכולת בדיקת מוצרים, תוך שימוש בכמויות אדירות של נתונים היסטוריים. ארגונים יכולים לבדוק את סיכויי הצלחת המוצר על ידי בדיקת נתונים היסטוריים, באמצעות כלי ניתוח.
• הפחתת עלויות כשה-Data Lake יאפשר להם לזהות היכן קיימת חוסר יעילות אפשרית בתהליכים התפעוליים שלהם.
• העצמת למידת מכונה ו-AI – מערכות הדורשות כמויות גדולות של נתונים, כדי לאמן את המודלים שלהן. 

כיצד Data Lakes עובדים?

תנועת נתונים והטמעת נתונים: Data Lake צורך ומעבד ​​נתונים ממקורות שונים בזמן אמת, ותהליך זה בדרך כלל אוטומטי ללא התערבות אנושית. מקורות נתונים אלה יכולים לכלול מכשירים ניידים, אפליקציות, מסדי נתונים ואפילו ניתוח מדיה חברתית!

אחסון נתונים: הנתונים מאוחסנים במאגרי נתונים מסיביים ומתויגים, מקוטלגים ואשר מוספים לאינדקס, כך שניתן יהיה לברר אותם בקלות מאוחר יותר.

ניתוח נתונים: היתרון העיקרי של אגם נתונים הוא שניתן לנתח כמויות אדירות של נתונים ברחבי הארגון, על ידי שימוש במגוון כלים כדי לקבל תובנות עמוקות לגבי ביצועי החברה. בנוסף, כלי למידת מכונה יכולים למנף את הנתונים האדירים האלה על מנת להפוך את קבלת ההחלטות לאוטומטית ולספק המלצות להנהלה. 

בשל הכמות העצומה של עיבוד ואחסון הנדרשים כדי שאגמי נתונים יפעלו כראוי, סביבות ענן הן בדרך כלל המתאימות ביותר לפתרונות כאלה. ניתן לארח אגם נתונים במקום; עם זאת, העלות והלוגיסטיקה יכולות להיות כבדות למדי עבור רוב החברות. בנוסף, ספקי ענן מספקים גם שירותים מנוהלים עבור Data Lakes, כדי לסייע ללקוחות בתהליך הבנייה וההטמעה. הארגונים גם יוכלו להתמקד בבניית ארכיטקטורה ובקליטת הנתונים וניתוחם, כדי לחסוך זמן בתהליך.

מסקנה

לפי מחקרים אחרונים, עדיין אין הרבה ארגונים שמנצלים את המידע שנמצא ברשותם, ולכן הם לא יכולים להיות מספיק תחרותיים וחדשניים. אגם נתונים הוא יתרון עצום לחברות, לאור היכולת לנצל את הנתונים המסיביים שאוחסנו ולהשיג תובנות לגביהם, כמו שימור לקוחות, לבצע תחזיות, לשפר ביצועים – ומגוון האפשרויות הוא עצום.

ספקיות הענן כמו AWS ו-גוגל קלאוד (Google Cloud) נותן לנו את היכולת להקים אגם נתונים באמצעות שירותים מבוססי ענן, לאבטח את אגמי הנתונים הללו ואת התכונות העשירות הקיימות, כדי לאבטח את הנתונים הללו מפני איומים פנימיים וחיצוניים, תוך מתן אפשרות לפרודוקטיביות עסקית.