חדש: מחשב שמנתח נתונים דמוגרפיים של ציוצים בטוויטר

מחשב חדש מאפשר לדעת כמה ציוצים מפורסמים בטוויטר (Twitter) בכל פרק זמן על כל אירוע שהוא ומספק נתונים דמוגרפיים לגבי אותם ציוצים.

המחשב, Big Brain של חברת SGI, שמיוצגת בישראל על ידי TNN טלקום, מפעיל את מערכת ה-Global Twitter Heartbit. המערכת נוצרה על ידי SGI יחד עם שני מדענים מאוניברסיטת אילינוי בארצות הברית – קאלב ליטארו וד"ר שאוון וואנג. היא מבצעת בזמן אמת עיבוד נתונים של 10% מתוך 500 מיליון הציוצים היומיים בטוויטר, כאשר אלה עולים לאוויר, ומאפשרת ניתוח והמחשה שלהם על פי אוכלוסייה, "טון" הציוץ וגיאוגרפיה.

הפרויקט מנתח כל ציוץ להקצאת מיקומו (לא רק ציוצים מתויגי-GPS, אלא עיבוד הטקסט של הציוץ עצמו) וערכי "טון" הדברים, ואז ממחיש את השיחה במפה אינפוגרפית המציגה את מיקום הציוץ, הצפיפות והטון שלו לתוך נקודת מבט גיאו-מרחבית מאוחדת. המחשב של SGI מבצע את התהליך המלא, מקליטת הציוץ דרך ניתוח הנתונים ועד ל-"מפת חום" (Heat Map), במהירות המאפשרת המחשה של מסגרת מפה בכל שנייה.

המערכת בחנה שני אירועים משמעותיים שקרו באחרונה: ההוריקן סנדי והבחירות לנשיאות ארצות הברית. בכל אחד משני האירועים הללו נשלחו מיליוני ציוצים. כך, למשל, בדקה בה החלו ערוצי הטלוויזיה האמריקניים לחזות את ניצחונו של ברק אובמה בבחירות דיווחה טוויטר על 327,452 ציוצים. הציוץ על ניצחון הנשיא אובמה הפך למסר המצויץ ביותר בהיסטוריה, וקבע את השיא 22 דקות בלבד אחרי שהוא הועלה.

מ-SGI נמסר, כי מחשב ה-Big Brain הוא מכונת כריית נתונים הגדולה בעולם, ביכולתו להריץ עד 4096 ליבות והוא כולל 64 טרה-בייט של זיכרון משותף Cache-coherent, בקצב I/O מרבי של 4 טרה-בייט לשנייה (14 פטה-בייט בשעה). כך, למשל, המחשב יכול לעכל את התכנים המודפסים המלאים של ספריית הקונגרס האמריקני בתוך פחות מ-3 שניות. הוא משמש לניתוח נתונים עתיר ביצועים עבור תחומי מחקר כמו חקר הקוסמוס ומחקר הגנום האנושי, כמו גם יישומים מסחריים דוגמת זיהוי הונאות.

ישראל וינמן, מנהל פעילות SGI ב-TNN טלקום, אמר ש-"היכולת לנתח Big Data בדרכים מתוחכמות בזמן אמת מאפשרת לארגונים ממשלתיים ופרטיים ליהנות מתוכנות מיידיות שניתן לפעול לפיהן, שהינן רלבנטיות לשפע יישומים. יחד עם זאת, היכולות הללו מאפשרות לחוקרים, מדענים ומהנדסים שניצבים בפני בעיות עתירות נתונים לעבור במהירות מנתונים לתובנות ולהפוך מידע לידע".