איך להגביר את רמת האמון במערכות בינה מלאכותית?

מערכות בינה מלאכותית מהוות מרכיב מרכזי בשיקולים לקבלת החלטות בשורה של תחומים והאמון של אנשי הטכנולוגיה בהן הוא כמעט אבסולוטי. האם יש דרך לוודא שהמערכות הללו לא גורמות לארגונים לקבל החלטות שגויות? במעבדות המחקר של יבמ מצאו פתרון גם לסוגיה זו.

אבל עוד לפני כן, בימים אלה רואים בארגונים את ניצניה של ההבנה שגם למערכות אלה יש עקב אכילס, והיא איכות הנתונים שעל בסיסם הן הוקמו – עובדה שיכולה ליצור הטיה מובנית ביישום ולגרום לקבלת החלטות לא נכונות. הפתרון החדש של יבמ מזהה הטיות בניתוח המידע. העבודה על הכלי ארכה כשנתיים ופיתוחו נעשה בישראל. כעת הוא עובר משלב המחקר לשלב היישום והשיווק, כאשר חלקים ממנו כבר הועמדו לרשות קהילת הקוד הפתוח ללא עלות.

עופר לביא, יועץ טכנולוגי לסגן הנשיא למחקר בינה מלאכותית ביבמ העולמית, עד כמה התופעה של הטיית נתונים בכלי בינה מלאכותית קיימת והאם אנחנו צריכים להיות מודאגים?
"אני לא חושב שיש נתונים מדויקים, כי מדובר במשהו יחסית חדש. אבל אני יכול לצטט סקר שערכה יבמ באחרונה בקרב 5,000 מנהלים, שעל פיו אחוז גדול מהם שוקלים להטמיע כלי בינה מלאכותית, על אף שחלק לא מבוטל מהם מודע לכך שבכלי AI עלול להיות בסיס מידע שיגרום לקבלת החלטות לא נכונות. הם בעיקר חוששים מהאחריות המשפטית שעלולה לנבוע מזה".

כיצד הטיה קורית ואילו השלכות יש לה?
"בפיתוח כלי בינה מלאכותית יש כמה שלבים ומשתנים. אחד מהם הוא מרכיב האמון של המשתמש ביישום שהוא הטמיע. אנחנו נמצאים במצב שבו רמת האמון בכלים אלו היא גבוהה ביותר, מה שהביא חוקרים לשאול שאלות טבעיות, כמו: עד כמה האמון הזה הוא אבסולוטי?

צריך לדייק ולא להפחיד את הקוראים. חשוב להבהיר שלא מדובר על כך שיש כלים שמייצרים תמונת מצב לא נכונה, כלומר – מראש מישהו פיתח אותם כך. אבל יש כלים שבסיס המידע שלהם עלול להוביל אותנו להסיק מסקנות לא צודקות, וקיימים לא מעט מקרים שבהם צריכה להיות מידה של שוויוניות בדרך לקבלת ההחלטות".

תן בבקשה דוגמה למצב שבו החלטות על סמך בינה מלאכותית עלולות להיות לא מוצדקות או לא נכונות?
"למשל, תהליך קבלת החלטות של מנהל משאבי אנוש, שצריך לקלוט אנשים. מערכות ה-AI והאנליטיקה שמסביבו עלולות לייצר אצלם מציאות שלפיה בענף מסוים מועסקים יותר גברים מנשים, ולכן הוא יסיק שנשים פחות מתאימות מגברים לתפקידים מסוימים, ויעדיף להעסיק גברים. הטיה יכולה להיות גם בתהליכי קבלת הלוואות, שבהם המנהל האחראי מסתכל על נתונים שבאו ממערכות הבינה המלאכותית ועלול לקבל החלטה שלילית לגבי מישהו, על סמך המידע הלא נכון. אפשר להשליך את זה על עוד שורה של תחומים, כולל קריטיים ומצילי חיים".

איך אותו מנהל אמור לדעת שהוא מסיק מסקנה לא נכונה?
"זו בדיוק הנקודה. כיום הוא לא יכול לדעת. הכלי שפיתחנו ייתן לאנשים האחראים בארגון על הנושא אופציה להסתכל בצורה אחרת על כל הנתונים שיש בו וכיצד הם מנותחים, ויראה להם דרכים כיצד לבדוק ולוודא שסוג כזה של הטיה לא קורה.

זה לא רק ברמת המיישם: כאשר חברה מייצרת פלטפורמה מבוססת AI, היא רוצה לדעת שלכלי שהיא מספקת ללקוחותיה יש סיכוי טוב יותר לא לגרום להטיה. הכלי שלנו כולל שורה של בדיקות שנעשות על הנתונים, משווה אותם על פלטפורמות שונות ורק כאשר מתקבל חיווי שיש רמת אמינות גבוהה, ניתן לשחרר את זה".

אם אנחנו יודעים כל כך טוב מה הבעיה, למה מראש לא מפתחים כלים שלא יכללו את הפוטנציאל להטיה?
"זו שאלה נכונה. עיקר הבעיה של מערכות בינה מלאכותית הוא הדטה. יש אינסוף אלגוריתמים ואפשר להסתכל על המידע מזוויות שונות. המערכת שלנו לומדת את המידע הקיים ומייצרת מסגרות גנריות שבעזרתן כל ארגון וכל מפתח יוכל לעשות את הבדיקות שלו. הכלי החדש, שמבוסס על ערכה למפתחים, יכול להמליץ על אילו נתונים בכלל כדאי לאסוף על מנת למנוע ולמזער כל הטיה, בנוסף, הוא ממפה את כל הרשומות הנוגעות לדיוק המודל, הביצועים וההוגנות.

הפיתוח שלנו מבוסס על מסמך שפרסמה יבמ, שכולל עקרונות מנחים לפיתוח אתי של מערכות בינה מלאכותית. השירות שאנחנו מספקים מבוסס ענן, הוא אוטומטי לחלוטין ומספק הסברים למי שאחראי על הנושא אודות טיוב נתונים. זאת, כדי למזער את הסיכוי שמי שמקבל את ההחלטה יעשה את זה על סמך ניתוח לא נכון".

מה העתיד בתחום ה-AI?
"אני חושב שהעתיד יהיה מותאם ומוכוון רגולציה, מכיוון שככל שהדרישה ליישום פתרונות בינה מלאכותית גדלה, כך יש דרישה לוודא שאכן ההחלטות נכונות וצודקות. אין ספק שליצרנים יש אחריות גדולה מאוד, ולכן הם יחפשו פתרונות שיוכיחו שהכלים שלהם עברו בדיקות אמינות. זו דרישה שתבוא מהשוק".