האם בעולם מבוסס אפס אמון ניתן לבטוח במנגנוני AI?

במשחק השחמט, מטרת העל של היריבים היא לכידת המלך של היריב מבלי שיוכל להתגונן נגד האיום באמצעות מהלך, חסימה של כלי אחר או הכאת הכלי המתקיף (מכאן שם המשחק – שחמט)

בעולמות ה-AI, איכות הנתונים מהווה גורם קריטי לאיכות התוצאה, ובעולם המתבסס יותר מתמיד על יכולות AI בתחומים שונים (אישיים, כלכליים, אפידמיולוגיים, מחקריים, תפעוליים וכו') הפכו הנתונים והמידע מנכסים למלכים.

שכיחות הפתרונות המופעלים באמצעות AI ונפיצותו באספקטים ובטכנולוגיות קריטיות הופכות את התחום לרגיש מאין כמותו למניפולציה/מחיקה/הצפנה שכל שינוי בהם ישפיע על נתונים אחרים, תוצאות ואף חיי אדם. אחרי הכל, מודולים בתחום ה-AI אינם פועלים בחלל ריק, הם בדרך כלל מתקשרים באופן רציף עם סביבתם, לכן יהיו טובים במידה מקבילה לנתונים שעליהם הם מסתמכים ("זבל פנימה, זבל החוצה"). איכות נתונים ירודה תהווה מדרון עבור פתרונות מבוססי AI, היות ונתונים שגויים או פגומים יפגמו בתוצאות המתקבלות ממודולי ה-AI, ובמקרים קיצוניים אף לכאלה העלולים לגרום לאירועים מסכני חיים.

ניתן ללמוד שבחלקן מדובר בפרצות שיכלו להביא ל"הרעלת נתונים", כאלה שאפשרו שינוי נתוני מחקרים, ציונים, מידע ונתונים נוספים שבידי גופים אקדמיים וממשלתיים ואף ארגונים עסקיים.

מכיוון שלא מדובר בתופעה חדשה, ניתן לומר שאירועים כאלה הפכו לנפוצים ושכיחים ברמה יום יומית, ותמוה שעדיין לא גובשו מדדים רגולטוריים לדירוג וביסוס האמון ואמיתות הנתונים עבור מערכות מבוססות AI.

בתחום הסייבר ומניעת ההונאות קיימים פתרונות רבים העושים שימוש במנגנוני AI עבור זיהוי התנהגות חשודה, הונאות ואוטומציה של קבלת החלטות. ללא מנגנוני ה-AI כמות האנליסטים שהייתה צריכה להיות מועסקת היא בלתי נתפסת, ועדיין לא בטוח שהיינו מצליחים לאתר אירועים בזמן התרחשותם כפי שמצליחים לעשות זאת פתרונות מבוססי AI.

אך מה תועלתו של פתרון סייבר מבוסס AI אם תוקף הצליח לבצע מניפולציה של הטיית נתונים או שחיקה באמינות הנתונים שמהם ניזון מנגנון ה-AI באותו פתרון סייבר? שינויים קטנים בכל שלב של התהליך עלולים לגרום להשלכות בהמשך השרשרת.

לכאורה, באמצעות כלים מבוססי למידת מכונה ניתן לשחוק את יעילותם של בקרות ופתרונות אבטחה מבוססי AI, המהווים כיום נדבך חשוב וקריטי בעולמות הסייבר, אבטחת המידע וגילוי הונאות. לדוגמה, ניתן להשתמש בלמידת מכונה כדי לשלוח הודעות דוא"ל דיוג (phishing) באופן אוטומטי ובאמצעותן ללמוד מה יוצר תגובה לקליקים וכיצד ניתן ליצור התקפות נגד מטרות שונות – היכולת לייצר נתונים המחקים באופן מהימן תוכן או התנהגות הנוצרת על ידי בני אדם קיימת כבר היום.

אמנם, ניתן לטעון כי הטיה מערכתית מהסוג האמור עשויה להיות פחות רלוונטית בתחום אבטחת הסייבר, שכן בתחום זה רבים מתהליכי קבלת החלטות מבוססים על ניתוח תקשורת, תחנות קצה וקוד, ופחות על ידי תקשורת אישית. עם זאת, ככל שהנדסה חברתית הופכת נפוצה ויעילה יותר – וקטור התקיפה השכיח ביותר הוא דוא"ל, והיות ומודלים של אבטחת סייבר המונעים על ידי AI אינם משתנים בהתאם להטיות מרגע שהושתלו במודלים ובמערכי הנתונים של היצרן. הטיות המתבטאות בסנטימנט ובמאפיינים לשוניים עלולים עם הזמן לשבש מודלי AI ולהוביל להכללה ותוצאות ירודות ומכאן אפקטיביות נמוכה של פתרון סייבר מבוסס AI.

לאור הדברים, אבטחה ופיקוח על הנתונים המשמשים פתרונות אבטחת מידע צריכים להפוך לנושא מרכזי – העדרו של מנגנון העוסק באמיתות הנתונים עלול להפוך אותם למטעים, מוטעים ואף שגויים, ככאלה שלא נוכל להתבסס עליהם. מכאן, שכל ארגון העושה שימוש בתוכנות מבוססות AI צריך לאמץ מתודולוגיה וטכנולוגיות שיאפשרו לבסס אמון במערכי נתונים המזינים מערכות AI.

הכותב הוא מהנדס פריסייל בחברת בינת תקשורת מחשבים.