דטה מקוון: הגיע הזמן להפריך מיתוסים

איסוף מידע גלוי מהרשת, Web Scraping, הפך להיות האסטרטגיה הברורה מאליה עבור מותגים רבים מתעשיות שונות. חברות, עסקים וארגונים מצליחים להישאר רלוונטיים ותחרותיים ולשגשג בשוק ובתעשייה שלהם, במידה רבה הודות לשירות זה. עם זאת, כפי שקורה תמיד עם טכנולוגיות חדשות, גם סביב מידע מקוון גלוי החל לרחף ענן של תהיות. למרות שחיוניות איסוף הדטה ברשת עבור מותגים כבר הוכחה, ענן זה טרם התפזר.

בשנה האחרונה, בה חוו השווקים אירועים חסרי תקדים, הפך המידע מהרשת כלי הכרחי עבור עסקים. ארגונים רבים למדו על בשרם שדטה זמין מהרשת הוא הדטה היחיד שמשקף את השוק בזמן אמת.

אך משאב חיוני זה אינו זמין לכל באופן שווה, מכיוון שרשת האינטרנט אינה שקופה. בשל אינטרסים של חברות שונות, חלק מהמידע הציבורי שצריך להיות זמין לכל – אינו כזה.

זה המקום בו נכנסות לתמונה פלטפורמות דטה מקוון. בעוד שהטיעונים בעד דטה מקוון ברורים, רבים עדיין סבורים בטעות שהתחום פועל באזור אפור. לכן, במיוחד בתקופה בה תעשיית הדטה ממשיכה לצמוח – חשוב להפריך מספר תפישות שגויות שקושרו אליה בשנים האחרונות:

איסוף דטה גלוי מהאינטרנט אינו חוקי – איסוף דטה מקוון, גלוי ופומבי, הוא חוקי. בתיקים שנוהלו בבתי משפט בארצות הברית נפסק שוב ושוב לטובתן של חברות איסוף דטה, כפי שניתן להיווכח בין השאר בתיק של חברת hiQ Labs נגד לינקדאין (LinkedIn) ובתיק Genius Media Group נגד גוגל ו-Lyricfind. עם זאת, חוקיותן של פרקטיקות איסוף דטה תלויה בשמירה והקפדה על רגולציות, תהליכים וכללים ברורים. סטארט-אפים, עסקים קטנים ובינוניים וארגונים גדולים – כולם ניגשים לדטה כדי ללמוד על טרנדים שמנהלים מתחריהם, לערוך מחקרי שוק ולבצע ניתוח דטה עמוק. כל אלה מעוניינים לגלות הזדמנויות חדשות שיאפשרו להם צמיחה וחדשנות וימנעו מהם לפספס הזדמנויות.

כמו בכל תהליך עבודה, גם בתחום הדטה המקוון חיוני לפעול בהתאם לרגולציה. אם עסקים מעבירים את העיסוק בתחום הדטה לצד שלישי, עליהם לוודא שעבודתו של ספק השירות הינה בהתאם לרגולציות גלובליות והתנהלות אחראית. כדי להימנע אפילו מצל של ספק בנושא, על העסקים לעבוד יד ביד עם פלטפורמת הדטה אליה חברו, כדי להבין ביחד את תהליך העבודה. הרגולציה בתחומי הדטה השונים עדיין לוקה בחסר, מה שמטיל עול מוסרי גדול על כל הצדדים המעורבים ומחייב אותם לוודא שהתהליך נעשה בהתאם לכללים שנקבעו ולמען טובת הכלל. במידה שאין זה כך – יש להעריך את תכנית העבודה מחדש.

איסוף דטה מקוון פוגע בעסקים ומחסל את יתרונם התחרותי – בדיוק ההיפך. הנגשת דטה מקוון, גלוי וציבורי, מספקת את השקיפות הדרושה לשימוש יעיל באינטרנט. האינטרנט הוא מקור המידע הגדול ביותר בעולם. הוא נבנה כדי שלכולנו תהיה גישה ישירה אליו. אספקת מידע אינטרנטי המשקף את מציאות השוק העכשווית מאפשרת לכלל השחקנים בשוק להתחרות בצורה פתוחה. לדוגמה: אם חברה מעוניינת להוציא לפועל אסטרטגיית תמחור, עליה להיות מודעת לתמחור מוצריהן של חברות מתחרות, ובכלל זה המתחרה העיקרית שלה, ולמבצעים שהיא מציעה. בימים עברו הייתה החברה שולחת קונים סמויים לסניפי החברה המתחרה, כדי שיאספו מחירים ידנית, ובעקבות פעולה זו הייתה מגדירה את מחיריה שלה בהתאם, תוך וידוא שהיא אטרקטיבית ללקוחות לפחות באותה המידה. כיום, האקו-סיסטמה של מערכת הקניות שלנו עברה באופן מובהק לזירה הדיגיטלית. בהתאם, אותם קונים סמויים עברו למידע גלוי, דוגמת מחירים, מהרשת. כך מתאפשר לחברה לקבוע מחירים ומבצעים במהירות וביעילות. הדטה המקוון מאפשר לחברות להתחרות זו בזו, ולהמשיך להציע לקהל לקוחותיהן את המוצרים הטובים ביותר במחירים התחרותיים ביותר.

עסקים מרוויחים רבות מתחרות פתוחה, וכך גם הצרכנים – הזוכים לקבל הצעות מחיר טובות יותר, תמחור זול יותר וחוויית קנייה משופרת. דטה מקוון גלוי ופומבי מניע קדימה את השוק הפתוח והתחרותי ומקדם שקיפות מידע כפי שהיה אמור להיות מלכתחילה.

הנגשת דטה מקוון גלוי היא אמנם פעולה חוקית אך לא אתית – סוגיה זו תלויה בפלטפורמת הדטה הגלוי מהאינטרנט. לדטה, גם כשהוא פומבי ברשת, יש להתייחס ברגישות המרבית, ביושרה ובמקצועיות. יש להקפיד על עמידה בכללי הרגולציות הבינלאומיות בתחום, ולהגדיר הנחיות אתיות, כך שהאקו-סיסטמה הדיגיטלית ופרטיות המידע של המשתמשים יישמרו. פעולה ברוח זו מאפשרת שימוש חוקי ואתי.

דטה פומבי מקוון מספק לעסקים את אותה שקיפות רשת ממנה נהנה גולש האינטרנט הממוצע. אין זה אומר שאין דרישות חיוניות שיש לקחת בחשבון במטרה לוודא ניהול אתי של פלטפורמת דטה מהרשת. דרישות אלו אינן רק תוספת אפשרית או רצויה למדיניות החברה, אלא צורך חיוני שעל כל העוסקים במלאכה למלא – ללא יוצאי דופן.

רוב מקורות הדטה נחשבים לפרטיים – למעשה, רובו המוחלט של הדטה המקוון הוא פומבי. סטטיסטיקות מראות שנכון לינואר 2021, משתמשים באינטרנט 4.66 מיליארד איש. מדובר בכמעט 60% מאוכלוסיית העולם. בהתחשב בכך שרוב הדטה המקוון העולמי נוצר בשנתיים האחרונות בלבד, ההערכה היא שקרוב ל-70% מהדטה שנוצר ברשת הוא פומבי (כשהחלוקה הפנימית שלו היא 60% דטה תוצר בני אנוש ו-40% דטה תוצר מכונה). למרות שסטטיסטיקות אלו נותנות לנו הערכה גסה – הכיוון ברור.

כשמדובר בפלטרפורמות דטה חשוב כי יפעלו אך ורק בתחום של דטה פומבי וגלוי. כלומר: אך ורק מידע גלוי שאינו מחייב להזין פרטי התחברות אישיים.

רק חברות מפוקפקות פונות לפלטפורמות דטה מקוון – כמעט כל החברות, בכל הגדלים ומכל הסוגים – החל מתאגידים מרשימת ה-Fortune 500 ועד סטארט-אפים ועסקים קטנים ובינוניים – פונות לדטה מקוון פומבי ומשתמשות בו. ההבדל היחיד הוא סוג הדטה הדרוש להן ותכיפות הצורך לעדכנו.

חברות פשוט אינן יכולות לשגשג בכלכלת זמן האמת של היום מבלי לראות את מציאות השוק המלאה. כדי להשיג מטרה זו, עליהן לקבל גישה למקור המידע הגדול ביותר: האינטרנט. כשהמציאות בה אנו חיים מובלת, יותר ויותר על ידי חדשנות דיגיטלית – אין זו הפתעה שדטה מקוון פומבי הפך לפתרון הברור מאליו.

הכותב הוא סמנכ"ל הטכנולוגיות של ברייט דאטה