פיצוח תקרת הביצועים הבאה בהרצת רשתות במכשירי קצה

בשנים האחרונות מהפכת ה-AI היא כבר לא מהפכה אלא עובדה מוגמרת, שגרמה למאות יישומים לזנוח את השיטות הקודמות בעיבוד תמונה, קול ועוד, ולעבור כאחד למימוש באמצעות רשתות AI. המעבר הזה פתח עולם חדש של יכולות, שהיו בגדר דמיון לפני כמה שנים והיום, דרך התשתיות הקיימות לאימון ופריסה של רשתות במגוון רחב של יישומי קצה, מביא יכולות שמשתמשים לא היו מסוגלים לדמיין לפני 5-6 שנים.

ככל שעולים בדרישה ליעילות אנרגטית, והצורך לחיי סוללה יותר ארוכים במכשירי IoT גדל, הרשתות צריכות לרוץ בהרבה פחות הספק, תוך שמירה על הדיוק המקורי שלהן. דרישות אלו מחייבות מעבר למשקלים בגודל 4 ביט ומטה

המחיר של אותן יכולות הוא שימוש בכוח חישוב, והרבה ממנו, על מנת לקבל את התוצאות האלו. אפשר להשוות את השוני למעבר מירי ברובה צלפים לתותח בשביל לפגוע במטרה קטנה, שכנראה גם ישיג את המטרה אבל בהרבה יותר צריכת אנרגיה.

לאורך השנים האחרונות מאיצי חומרה בשבבים של מכשירי הקצה הם הדרך היעילה ביותר להריץ את רשתות ה-AI, וחברות כמו אפל, סמסונג, קוואלקום ו-וואווי (Huawei) מקדישות חלק נכבד משטח הסיליקון של שבבי המובייל שלהן להרצה יעילה של AI. הדרישות הכבדות של רשתות AI נובעות בעיקר מגודל המודל ומכמות החישוב הרבה על מנת לקבל תוצאה.

מימושי החומרה בשבבים כוללים אמצעים שונים לשיפור צריכת ההספק ויעילות החישוב, כמו ייצוג משקלי הרשת בפחות ביטים ואיפוס חלק מהמשקלים על מנת לדלג על החישוב שלהם.

שיטות אלו דרשו התאמה מסוימת של הרשת, על מנת לא לפגוע בדיוק התוצאה, אבל לא שינו באופן מהותי את אופן האימון של הרשת.

היום הייצוג הנפוץ ביותר למשקלי רשת הוא 8 ביט, וכמעט כל מאיצי החומרה תומכים בייצוג זה. על מנת לאפשר ייצוג ב-8 ביט ברוב המקרים לא נדרש אימון מחדש של הרשת, אלא פעולת כיול יותר פשוטה למימוש. ככל שעולים בדרישה ליעילות אנרגטית, והצורך לחיי סוללה יותר ארוכים במכשירי IoT גדל, הרשתות צריכות לרוץ בהרבה פחות הספק, תוך שמירה על הדיוק המקורי שלהן. דרישות אלו מחייבות מעבר למשקלים בגודל 4 ביט ומטה.

רשת AI. אילוסטרציה. צילום: BigStock

רשתות 1 ביט – פחות אנרגיה אבל גם פגיעה בדיוק

יש היום עבודות מבטיחות שמצליחות להוריד את משקלי הרשת לביט אחד – דבר שמשפר פי שמונה גם את שטח האחסון הנדרש וגם משפר משמעותית את צריכת ההספק בחישוב. שיטות אלו עדיין סובלות מירידה משמעותית בדיוק.

על מנת לגשר את הפערים בין הדיוק של רשתות 8 ביט ליעילות של רשתות 1 ביט נדרש שינוי בפרדיגמת התכנון. גישור על הפער הזה יחייב הוספת סל כלים חדש לתכנון מאיצי החומרה, שיאפשרו יכולות חדשות שמתכנני הרשתות יוכלו להשתמש בהן. שינוי באופן תכנון הרשתות גם יהיה מחוייב המציאות והתכנון יצטרך להיות מודע ליכולות החומרה.

אם בעבר תכנון הרשת שאף לדיוק מקסימלי, התכנון העתידי יכוון ליעילות מקסימלית, תוך התחשבות בדרישות הדיוק ודרישות ההספק. הדרך לאזן בין הדרישות הנוגדות האלו תהיה דרך גמישות בבחירת יכולות החומרה בהן תשתמש הרשת. לדוגמה, שימוש ב-8 ביט בשכבות הראשונות, 4 ביט בשכבות העוקבות, ו-1 ביט בשכבות שבהן הירידה בדיוק לא תהיה משמעותית.

המודעות ליכולות החומרה ולדרישות המערכת הכוללת תביא את הרצת הרשת על מכשירי הקצה העתידיים לרמת יעילות שהיום קשה להגיע אליה, ותאפשר לנו לקבל מכשירים עם יכולות עיבוד תמונה וקול ברמות דיוק חדשות, שיוכלו לחיות ימים בין טעינה לטעינה.

הכותב הוא ארכיטקט מערכת AI ב בחברת טוגה נטוורקס, מרכז המחקר והפיתוח של וואווי בישראל