כלי בינה מלאכותית לסנכרון שפתיים – אובמה יכול להגיד הכל

הפיכת קטע אודיו לווידיאו מציאותי, שבו האדם מדבר את אותן מלים שהוקלטו, אינה מתקבלת בדרך כלל באופן מוצלח במיוחד, אבל חוקרים מאוניברסיטת וושינגטון (University of Washington) פיתחו מערכת שעושה זאת ומייצרת תוצאות לא פחות ממדהימות.

צוות החוקרים הפגין את עבודתו על ידי יצירת וידיאו מפתיע שבו מככב לא אחר מאשר נשיאה לשעבר של ארה"ב – ברק אובמה. המפתחים הכשירו רשת עצבית, על ידי הזנת 14 שעות של קטעי וידיאו של אובמה. הם הסבירו כי בחרו בנשיא לשעבר בשל ההיצע העצום של קטעי וידיאו בכיכובו. לאחר עיבוד הסרטונים הקודמים, הצליחו החוקרים ליצור תנועות פה המסונכרנות להפליא עם קטעי האודיו של דברים שאמר אובמה על נושאים שונים לחלוטין מאלו שבהם עסק בדבריו בקליפ המקורי.

תוצאות שלא הוצגו בעבר

למעשה החוקרים פיתחו שיטה שמכונה Realistic audio-to-video (המרה מציאותית מאודיו ל-וידאו) שכוללת אלגוריתמים חדשים, אשר יכולים להפוך קטעי אודיו לסרטוני וידאו ראליסטיים, שמבצעים סנכרון שפתיים של האדם הנראה אומר את המילים הללו. "סוג זה של תוצאות מעולם לא הוצגו בעבר", אמרה דוקטור אירה קלמכר-שליזרמן, עוזרת פרופסור בבית הספר פול ג. אלן למדעי המחשב והנדסה (Paul G. Allen School of Computer Science & Engineering) באוניברסיטת וושינגטון.

"ל-Realistic audio-to-video יש יישומים מעשיים – כמו שיפור שיחות ועידה בפגישות – כמו גם עתידניים – למשל היכולת לקיים שיחה עם דמות היסטורית במציאות הווירטואלית, על ידי יצירת ויז'ואלז רק מתוך אודיו. זוהי פריצת הדרך שתעזור לאפשר את הצעדים הבאים", הסבירה קלמכר-שליזרמן שהוסיפה והסבירה כי "בסרטונים בעתיד, כלי הצ'אט כמו סקייפ (Skype) או מסנג'ר (Messenger) יאפשרו לכל אחד לאסוף סרטונים שיכולים לשמש לאימון מודלים ממוחשבים".

אחד הדברים שלהם עשוי לעזור הפיתוח הוא לשידור החלק יותר של שיחות וידיאו, בגלל שהזרמת אודיו דרך האינטרנט גוזלת פחות רוחב פס מאשר וידאו. המערכת החדישה תוכל לעזור "להחליק" צ'אטים בווידיאו שנעצרים כל הזמן בגלל קישוריות ירודה. "כאשר אתה צופה בסקייפ או ב-Google Hangouts, לעתים קרובות החיבור מגומגם ובעל רזולוציה נמוכה, ובאמת לא נעים, אבל לעתים קרובות השמע הוא די טוב", אמר דוקטור סטיב סיץ, מחבר-שותף ופרופסור מבית הספר פול ג. אלן. "אז אם נוכל להשתמש באודיו בכדי לייצר וידאו באיכות גבוהה הרבה יותר, זה יהיה נהדר".