"ניתן ללמד את המחשב לזהות רגשות לפי הניואנסים בקול"

"ניתן ללמד את המחשב לזהות רגשות לפי הניואנסים בקול", כך אמרה ד"ר ורד זילבר ורוד, עמיתת מחקר במרכז למדיה ומידע באוניברסיטה הפתוחה במסגרת מפגש משותף של החוג למערכות מידע במכללה האקדמית תל אביב-יפו והלשכה לטכנולוגית המידע שעסק בממשקים קוליים.

את האירוע הנחתה ד"ר רותי גפני, ראש התוכנית לניהול מערכות מידע בבית הספר לניהול וכלכלה של המכללה האקדמית תל אביב-יפו.

לדברי זילבר ורוד, "בכל הקשור לממשקים חזותיים, המחשב יודע לזהות פרצופים ורגשות ברמה הרבה יותר גבוהה מאשר בממשקים קוליים".

"אני חוקרת את האינטונציה והמקצב של הדיבור – כלומר כל מה שהוא לא המילים – לא התוכן, אלא האיך, המוזיקה של הדיבור", מסבירה ד"ר זילבר-ורוד.

"מסתבר שאותו אדם מדבר אחרת כשהוא בתפקידים אחרים, למשל כשאני מדברת עם הבת שלי יוצאת ווקאליות אחת, ועם בעלי ווקאליות שניה. הווקאליות תשתנה בהתאם למי שאני מדברת אליו.  מטרת המחקר היא ללמד את המחשב להקשיב לניואנסים בדיבור".

"הטכנולוגיה השליטה היום היא זיהוי דובר", אומרת זילבר-ורוד. "יושבים אנשים בישיבה מדברים, ומחשב מתמלל באופן אוטומטי את דבריהם. כדי שיהיה טעם בתמלול כזה, המחשב צריך לזהות את הדובר ומהו תפקידו. לדוגמה בשידורי חדשות הדובר יכול להיות מגיש, כתב או אורח שמתראיין, והמחשב צריך לזהות זאת לפי הטון הווקאלי. הצורך הוא ללמד את המחשב להקשיב לניואנסים בדיבור כדי שיזהה לא רק מי הדוברים אלא מהו היחס של הדוברים אחד לשני".

בהמשך תיארה ד"ר זילבר-ורוד ניסוי שבו נתנה לארבע נשים המכירות זו את זו לשמש בתפקיד של מטפלת ומטופלת כאשר כל אחת מהן משמשת בשני התפקידים לסירוגין (הראשונה טיפלה בשניה, השניה בשלישית, השלישית ברביעית והרביעית בראשונה). השיחות נותחו על ידי אלגוריתם מבוסס תבונה מלאכותית והגיעו לרמת זיהוי של 71%. מחקר נוסף דימה מדריך המנסה להסביר לחניכו לנווט לפי מפה שהוא לא יכול להראות לו אלא לתאר. גם כאן היו אחוזי זיהוי גבוהים.

ד"ר נאווה שקד, הפקולטה להנדסה במכון הטכנלוגי חולון. צילום: מוטי סדובסקי

ד"ר נאווה שקד מהפקולטה להנדסה במכון הטכנלוגי חולון, דיברה על הצורך למחשב להשתמש בממשק רב משימתי (Multimodality) כשהכוונה היא שהמחשב יידע לתקשר עם אנשים באופן שקוף בדרכי קלט שונות; דיבור, זיהוי תמונה, וגם יידע לקשר בין הקלט בטכנולוגיות השונות.

"אנחנו רוצים לאפשר למשתמש לעשות את הדיאלוג בדרך הכי מתאימה לו. ישנן טכנולוגיות רבות שחיבור שלהן ביחד ייתן תובנה תוך התחשבות בהקשר. יש לנו משולש שעושה שימוש בטכנולוגיות שיש בכל מחשב – טכנולוגיות קלט, חיישנים ונתונים שתוכנת תבונה מלאכותית מעבדת. אם עושים את זה נכון ומייצרים שלם שהוא גדול מסכום חלקיו".

כדוגמה, אמרה שקד, "ילדים אוטיסטים תקשרו עם רובוטים בקלות רבה יותר מאשר עם בני אדם. האתגר הוא איך לשלב את הכל ביחד בזמן אמת".

"אני חקרתי את כל הנושא של Multimodality בפרט בהקשר של עזרים אישיים ווירטואליים ואווטארים. האווטארים הם ייצוג של יישות בעולם הוירטואלי שעושה משהו בשבילי. היא יכולה לייצג אותי ויכולה להיות עוזרת אישית שלי אבל תמיד יהיו לה תכונות דמויות אנוש, ואפילו התחושה היא שיש לי ייצוג של אינטראקציה אמיתית. אם אני מדברת עם אווטר שמומחה בתחום הרפואה, אני רוצה שיהיה לו הידע".

בהמשך הציגה ד"ר שקד שלושה פרויקטים של סטודנטים שלה: אווטאר לסוכרתיים המזכיר לחולה ליטול כדורים ולמדוד את רמת הסוכר; אפליקציה לנשים בהריון מבוססת אווטאר דמוי אישה בהריון המסייעת לאישה בשלבי ההריון השונים; וכן, אפליקציה שמאפשרת לבצע את משימת מסלול ההליכה בבדיקת מאמץ.

ד"ר יורם לבנון, מדען ראשי ב-Beyond Verbal. צילום: מוטי סדובסקי

ד"ר יורם לבנון, מדען ראשי של Beyond Verbal הציג את המערכת שפיתח שמאפשרת לזהות טיפוסי אישיות על פי קולו של האדם. בהמשך הצליחה המערכת שפיתח לזהות נשים במחזור, גברים הלוקים בסרטן הערמונית, דיסלקטים, ואף אוטיסטים.

בדוגמה של האוטיסטים, "במחקר שערכנו יחד עם מכון ויצמן, התברר שישנה הזזה בספקטרום הקול. הספטקטרום שאמור לבטא אהבה, זז לעולם של חרדה ובהמשך גם ביצעה המערכת זיהוי ראשוני של פרקינסון ואיתור אנשים הזקוקים לצנתור בשל הצרת כלי הדם בלב לפי פיענוח קובץ בן 90 שניות של קולם".

אחת האפשרויות, אמר "היא להשתמש במערכת באיזורים שבהם חסרים רופאים, וגם כשאלו ישנם, הידע הרפואי שלהם מוכפל כל 73 ימים ואין סיכוי שהרופאים יוכלו לעקוב אחר ההתפתחויות". כעת, הסביר, "אנו פיתחנו UI שיאפשר תמורת הסכמים כלכליים לחברות אחרות להשתש במערכת. אני מונה עבורה לפחות 300 אפיקציות רפואיות, ואין סיכוי שנוכל לפתח יותר מבודדות".

ד"ר גיא פייגנבלאט, מעבדות יבמ בחיפה. צילום: מוטי סדובסקי

ד"ר גיא פייגנבלאט ממעבדות יבמ (IBM) בחיפה תיאר את הפיתוחים במעבדה בתחום יישום תבונה מלאכותית לשיפור התוצאות העסקיות. "החזון של יבמ מתחבר למחשוב קוגניטיבי ומפתחים שירותים קוגניטיביים שעוזרים ללקוחות שלנו לבנות ביזניס יותר טוב".

לדבריו, "הקפיצה העיקרית בקוגניציה של המחשבים ב-15 השנים האחרונות היא שהמחשב הוא כלי שיעזור לנו בקבלת החלטות. זה לא שעוד 15 שנה המחשב יוכל להחליף בני אדם, אבל אני מאמין שהמחשב יוכל לעזור לנו בקבלת החלטות נכונות".

"מחשבים מסוגלים ללמוד מנתונים מובנים ומטקסט חופשי, ולזהות שפה טבעית מטקסט, מדיבור ומתמונות ולבצע אינטראקציה עם המשתמש".

"מחשב קוגניטיבי יידע לעזור לנו להשתפר ולהתמקצע בתחומים מסוימים ולעזור לנו בקבלת החלטות אישיות או בארגונים", אמר ד"ר פייגנבלאט לסיכום.