טוויטר הודתה: אלגוריתם חיתוך התמונות היה מוטה מגדרית וגזעית

בספטמבר האחרון התנצלה טוויטר (Twitter) על הטייה גזעית, לכאורה, של אלגוריתם חיתוך התמונות שלה – זה הבוחר בתמונת תצוגה מקדימה לתמונה גדולה המוצמדת לציוצים – והודיעה שהיא בוחנת את הטענות. כעת המסקנות הגיעו, והחברה הודתה שאכן מצאה כי הייתה הטייה של החיתוך האוטומטי נגד שחורים, ולא רק נגדם. טוויטר בישרה כי היא פשוט לא תעשה עוד שימוש בכלי המוטה, וכי במקום יצרה פקדים חדשים למשתמשים, כדי שהם יוכלו לשלוט על אופן הצגת התמונות בציוציהם.

חברי צוות למידת המכונה, האתיקה והשקיפות האלגוריתמית של טוויטר, המכונה צוות META, ערכו ניסוי מחקרי לבדיקת האופן שבו אלגוריתם גזירת התמונות בחר נקודות מיקוד בתמונות (saliency), ומצאו מקרים מזדמנים של הטיה בחיתוך על פי מינו או צבע עורו של מי שהופיע בהן.

הטיה לפי צבע עור ומגדר – הסנטור הלבן הוצג לפני הנשיא השחור

החוקרים מצאו העדפה של 8% לטובת נשים בשיקולי האלגוריתם, העדפה של 4% לטובת אנשים לבנים, וכן העדפה של 7% לטובת נשים לבנות בהשוואה לנשים שחורות ולבנות, כך לפי פוסט בנוגע למחקר, שעליו חתומה מובילתו בצוות META, ד"ר רומן צ'ודהורי. בפוסט שעלה לבלוג החברה אתמול (ד') צוין כי המחקר גילה כי גם הטיות אחרות, אולם עיקר הממצאים עסקו בהטיה הגזעית והמגדרית.

I promised we'd share our homework on our image cropping decisions – here it is.

We did a bias analysis of our saliency algorithm – read about what we found, dig into our code, and join us for a spaces event this afternoon. https://t.co/EcGcDPU7Jc

— Rumman Chowdhury (@ruchowdh) May 19, 2021

טוויטר גם שיתפה מאמר, המפרט כיצד החוקרים מצאו את ההטיות בתוך האלגוריתמים וכיצד הם ניתחו את הנזק האפשרי שעלול להיגרם עקב הימצאותם, ושנכתב על ידי חוקרות וחוקרים מצוות META. "השימוש במודל זה מעורר חשש שמערכת החיתוך של טוויטר מעדיפה לחתוך עור בהיר על פני אנשים כהי עור ומעדיפה לחתוך את גופן של נשים מעל ראשיהן", סיפרו החוקרים במאמרם.

נזכיר כי העיסוק בנושא החל כשכמה ממשתמשי הרשת החברתית המצייצת הבחינו לפני מספר חודשים בתופעה, שלטענתם התבטאה בכך שכלי החיתוך מבוסס האלגוריתם העדיף פנים לבנים על פנים שחורים. משתמשי טוויטר שחשדו בקיום התופעה ערכו ניסויים שונים, שאכן הצביעו על כך שהאלגוריתם של הרשת החברתית מוטה גזעית בתעדוף התמונות שהוא מבצע.

אחד המשתמשים הדגים כיצד כשצירף לציוצים שהעלה לפלטפורמה תמונות של נשיא ארה"ב לשעבר, ברק אובמה, ושל מיטש מקונל – סנטור מטעם מדינת קנטקי ומנהיג סיעת הרוב הרפובליקנית בסנאט מאז 2015 – נראה בבירור שהאלגוריתם של טוויטר בחר להציג דווקא את פניו של מקונל. יתרה מכך, אובמה צץ בתמונה המקדימה רק כאשר המשתמש הפך את הצבעים בתמונה שלו לנגטיב – מה שהפך את צבע העור של השניים ללא רלוונטי בעבור האלגוריתם.

Trying a horrible experiment…

Which will the Twitter algorithm pick: Mitch McConnell or Barack Obama? pic.twitter.com/bR1GRyCkia

— Tony “Abolish ICE” Arcieri ? (@bascule) September 19, 2020

טוויטר רגישה לאתיקה של AI

לאחר שהכירה במסקנות המחקר, ובפוטנציאל הפגיעה של האלגוריתם, טוויטר החליטה פשוט לבטל את ההישענות על האלגוריתם המוטה, ומדובר בשינוי מדיניות יוצא דופן עבור רשתות חברתיות – במקום לשנות את הגדרות האלגוריתם, טוויטר תכננה דרך חדשה לשתף תמונות אנכיות, כך שלא יהיו חתוכות כלל.

"עדכון זה כולל גם תצוגה מקדימה אמיתית של התמונה בשדה כתיבת הציוצים, כך שמחברים של ציוצים ידעו כיצד הציוצים שלהם יוצגו עוד לפני פרסומם. מהדורה זו מפחיתה את התלות שלנו ב-ML עבור פונקציה שאנו מסכימים שמבוצעת בצורה הטובה ביותר על ידי אנשים המשתמשים במוצרים שלנו", כתבה צ'ודהורי בפוסט.

ד"ר רומן צ'ודהורי, מדענית נתונים ומובילת תחום האחריות האלגוריתמית בטוויטר. צילום מסך מתוך סרטון יוטיוב

ד"ר צ'ודהורי – מדענית נתונים בנגלית-אמריקנית, בוגרת MIT, שהייתה מובילת תחום אחריות הבינה המלאכותית באקסנטור (Accenture), ושהיא האחראית כיום על תחום האחריות האלגוריתמית בטוויטר –  נשכרה בפברואר כדי להוביל את צוות META החדש, לאחר חודשים של ביקורת נרחבת כלפי חברות טכנולוגיה גדולות ופלטפורמות חברתיות על כישלונותיהם לנתח הטיות אפשריות ואפליה באלגוריתמים שלהם.

המקרה החמור ביותר שהעסיק את דורשי האתיקה בעולם הטכנולוגי בכלל ובכל הקשור ב-AI במיוחד, היה מקרה החוקרת השחורה מגוגל (Google), המהנדסת טימניט גברו, שהצביעה על הטייה באלגוריתם של החברה, אך פוטרה/הועזבה, לטענתה משום שהענקית ממאונטיין ויו לא אהבה את ממצאיה.

ניכר כי חשיפתם של צ'ודהורי וצוותה דווקא התקבלה באופן מלא על ידי טוויטר שאימצה את המסקנות וגם את התיקונים הנדרשים לפתרונם, ולאו דווקא באמצעות שכלול הבינה המלאכותית במקרה זה.