בינה מלאכותית שלומדת בלי לראות את העולם: מחקר מאוניברסיטת תל אביב וסטנפורד

כמעט כל מודל בינה מלאכותית שאנחנו מכירים “גדל” על הררי מידע: מיליארדי מילים, תמונות וקטעי קול שנאספו מהרשת. מחקר חדש של חוקרים מאוניברסיטת תל אביב ומאוניברסיטת סטנפורד בודק אפשרות אחרת לגמרי: מה קורה אם לא נותנים למודל שום מידע מהעולם האמיתי?

לפי הדיווח ב-ynet, את המחקר הנחה ד”ר יואב לוין מבית הספר למדעי המחשב באוניברסיטת תל אביב, ושותף בו גם החוקר הבתר-דוקטורנט ד”ר כפיר דולב. השיטה, שנקראת Zero-Data Pretraining, בנויה כמו משחק בין שני מודלים שמתחילים מאפס. מודל אחד כותב תוכניות מחשב קצרות שמייצרות רצפים של סמלים, והשני מנסה לנחש מה יהיה הסמל הבא. המודל הראשון מקבל משוב על מידת התועלת של התרגילים שלו, ומתאים אותם לרמה של “התלמיד” שלו כשזה מתקדם.

התוצאה מפתיעה: המודל הלומד פיתח יכולות חיזוי והסקה גם בתחומים שמעולם לא נחשף אליהם, בהם טקסט, תמונות, מוזיקה, קוד ורצפי DNA. ככל שהשקיעו בו יותר כוח מחשוב, החיזוי השתפר באופן עקבי. בחומר שהמערכת יצרה לעצמה הופיעו גם דפוסים מתמטיים מוכרים, כמו סדרת פיבונאצ’י. בניסוי המשך התברר שאימון מקדים כזה עוזר למודל ללמוד מהר יותר כשהוא נחשף אחר כך למידע אמיתי.

החוקרים עצמם מדגישים שמדובר בהוכחת היתכנות על מודלים קטנים, ושעדיין לא ברור אם השיטה תעבוד גם במודלים ענקיים ואיך לשלב אותה עם ידע עובדתי על העולם. ובכל זאת, בתקופה שבה תעשיית ה-AI מתקרבת לגבול המידע האיכותי הזמין, זה כיוון מחקר מרתק, והוא מגיע מכאן.