פודקאסט: מערכת שמתריעה על טעויות של מערכות בינה מלאכותית

שילוב מערכות AI בפלטפורמות ארגוניות שמסייעות בקבלת החלטות הופך להיות נפוץ יותר ויותר. התפיסה המקובלת היא שהניתוחים שמתקבלים על בסיס מערכות אלה הם אמינים ומוחלטים. לירן חסון הוא מנכ"ל הסטארט-אפ אפוריה (Aporia), שפיתח מערכת שמוכיחה לארגונים שגם בינה מלאכותית טועה, ושחשוב לדעת מראש כיצד ומה לעשות עם זה.

עד כה גייסה החברה 30 מיליון דולר, והיא פועלת ממשרדיה בתל אביב ובארצות הברית. חסון הקים וניהל במרוצת הקריירה שלו מיזמים שונים, בהם שפת תכנות בעברית ומערכת לזיהוי ביומטרי על פי קשתית העין, שאותה הוא פיתח במסגרת תוכנית המצוינות של מכון ויצמן.

חסון סיפר על אפוריה ועל המערכת שפיתחה בראיון לפודקאסט אנשים ומחשבים.

למה הכוונה באיתור טעויות בבינה מלאכותית? בעיני אנשים כמונו, בינה מלאכותית היא הדבר הכי מדויק עלי אדמות.
"כמו שאנחנו יודעים, הטכנולוגיות נמצאות כיום בחיים של כולנו. מאחורי הקלעים יש מודל של בינה מלאכותית, שיודע למקד ולסנן. אבל זה בסופו של דבר תוכנה, וגם למערכות האלה יש באגים. כאן בדיוק אנחנו נכנסים לתמונה: אנחנו יודעים לנטר טעויות אפשריות גם של מערכות חכמות, מבוססות AI".

מה המערכת עושה?
"אני מגדיר אותה כקוקפיט של הטייס. היא מאפשרת לחברות שמפתחות מערכות מבוססות בינה מלאכותית לדעת איך מתקבלות ההחלטות במערכות האלה, אילו כללים מנחים אותן, האם הן כוללות פגיעה באוכלוסייה מסוימת וכדומה. כאשר יודעים את הדברים האלה, אפשר לקבל החלטות בהתאם".

איך הגעת לרעיון הזה?
"באחת מחברות התוכנה שבהן עבדתי הייתי אחראי על התשתיות של המערכות, בין היתר על מערכות של לימוד מכונה, שאז עוד לא היו כל כך פופולריות, ופיתחנו שם די הרבה רכיבים באופן עצמאי. כאשר אתה מפתח משהו פנימי, לעולם זה לא מושלם. למעשה, שם נולד הבסיס לחברה שלנו, כי המערכת שפיתחנו יודעת לנטר ולאתר טעויות".

תן לנו דוגמאות של דפוסי טעויות.
"הבסיס לפעולת המערכת הוא איסוף נתונים ולימוד המערכות שהיא אמורה לבדוק ולזהות בהן טעויות, והשוואה של התוצאות מול מה שהמכונה לומדת. אם, למשל, ביקשת תמונה שתהיה זהה למקור מסוים, המערכת תדע להגיד לך עד כמה זה מדויק. אבל יש מקרים יותר מורכבים, למשל מקרה שקרה באמזון: הם רצו לפתח מערכת מבוססת AI שתסייע להם למיין קורות חיים טוב יותר ולהגיד מהם סיכויי המועמד. הם היו בשלבים מאוד מתקדמים של פיתוח המערכת, אבל אחרי כמה חודשים גילו שהיא מפלה נשים באופן מובהק, וזאת על אף שבמערכת בכלל לא היה רכיב של מין המועמד".

אז מה קרה שם?
"החוקרים גילו שבתהליך הלמידה שעל פיו המערכת הייתה אמורה לעבוד יצרו סנטימנט שלילי למושגים המזהים מאפיינים שקיימים רק בקרב נשים. זאת, מבלי כוונה להפלות. זו תקלה שהם לקחו אותה ברצינות וזה השפיע מאוד על המורל שלהם".

המערכות שלכם יודעות לאתר סוג כזה של תקלה?
"המערכות שלנו – זו בדיוק המטרה שלהן: לשקף בצורה אמינה מה קורה כתוצאה משימוש במערכות AI. מרבית המערכות הטכנולוגיות לא יודעות לשקף תקלות כאלה".

עד כמה הלקוחות בכלל מודעים לאפשרות שיש מערכות כאלה, שעלולות להטעות בצורה משמעותית כל כך?
"הלקוחות מודעים לכך שמערכת תוכנה קלאסית היא מערכת שישב מתכנת, כתב סידרה של חוקים ועדיין, יש שם טעויות אנוש.

הטעויות שהמערכת שלנו מגלה יכולות לפגוע קשות בארגון. קח את הדוגמה שציינתי של אמזון. על פי כללי הרגולציה, אסור להם להפלות בין גברים לנשים, וזאת עבירה על חוקים. עכשיו, זה ממש לא משנה אם זה נגרם בכוונה או בגלל מערכות, וזה עלול להביא לקנסות ולעונשים חמורים. לכן, גם אמזון היא לקוח, כי היא מבינה את החשיבות של הנושא.

זה קריטי גם ברמה הקמעונאית. נכנסת לאתר, רצית מברשת שיניים מסיבה כלשהי וקיבלת מוצר אחר – זה משפיע מיד על הרייטינג של האתר ותגובות הגולשים, וזה שווה הרבה מאוד דולרים".

אבל עדיין יש כאן שאלה. אם אני ארגון ורכשתי מערכת שמשרתת את כל העובדים, לא אני פיתחתי אותה, אז למה זו האחריות שלי?
"שאלה טובה. הספק אמור לשקף לך את כל האפשרויות, כולל טעויות, האם הוא עושה זאת? זה כבר עניין צרכני. מעבר לזה, ברגע שרכשת את התוכנה, ה-IP הוא שלך. ארגונים בונים את מערכי הבינה המלאכותית בעצמם, הם לא אוהבים לשתף אותם עם גורם אחר, ומכאן יש מקום לטעויות".

אז לסיכום, למדנו שיש לא רק פייק ניוז, אלא גם פייק דאטה, וצריך להיזהר מאוד בדברים האלה.