במסע להכשיר רובוטים למשימות בעולם האמיתי, חוקרים יצרו את "Holodeck", מערכת AI המסוגלת ליצור סביבות תלת מימד מפורטות וניתנות להתאמה אישית לפי דרישה, בהשראת טכנולוגיית ההולודק של Star Trek. מערכת זו משתמשת במודלים של שפות גדולות כדי לפרש בקשות משתמשים וליצור מגוון עצום של תרחישים פנימיים, המסייעת לרובוטים ללמוד לנווט במרחבים חדשים בצורה יעילה יותר. (קונספט האמן.) קרדיט: twoday.co.il.com
חוקרים מאוניברסיטת פנסילבניה ו-AI2 פיתחו את "Holodeck", מערכת מתקדמת המסוגלת ליצור מגוון רחב של סביבות וירטואליות להכשרת סוכני בינה מלאכותית.
במסע בין כוכבים: הדור הבא, קפטן פיקארד והצוות של USS Enterprise מנצלים את ההולודק, חדר ריק המסוגל ליצור סביבות תלת מימדיות, להכנה ובידור למשימה. הטכנולוגיה הזו מדמה הכל מג'ונגלים שופעים ועד ללונדון של שרלוק הולמס. הסביבות הסוחפות והאינטראקטיביות המלאות הללו ניתנות להתאמה אישית אינסופית; הצוות פשוט מבקש הגדרה ספציפית מהמחשב, והיא מתממשת ב-holodeck.
כיום, סביבות אינטראקטיביות וירטואליות משמשות גם לאימון רובוטים לפני פריסה בעולם האמיתי בתהליך שנקרא "Sim2Real". עם זאת, סביבות אינטראקטיביות וירטואליות היו במחסור מפתיע. "אמנים יוצרים באופן ידני את הסביבות הללו", אומר יו יאנג, דוקטורנט במעבדותיהם של מארק יאצקר וכריס קליסון-בורץ', עוזרים ופרופסור חבר במדעי המחשב והמידע (CIS), בהתאמה. "האמנים האלה יכלו להקדיש שבוע לבניית סביבה בודדת", מוסיף יאנג, ומציין את כל ההחלטות הכרוכות בכך, החל מפריסת החלל ועד למיקום החפצים ועד לצבעים המשמשים בעיבוד.
אתגרים ביצירת סביבות אימון וירטואליות
המיעוט הזה של סביבות וירטואליות הוא בעיה אם אתה רוצה לאמן רובוטים לנווט בעולם האמיתי על כל המורכבות שלו. רשתות עצביות, המערכות המניעות את מהפכת הבינה המלאכותית של היום, דורשות כמויות אדירות של נתונים, שמשמעותן במקרה זה סימולציות של העולם הפיזי. "מערכות AI גנריות כמו ChatGPT מאומנות על טריליוני מילים, ומחוללי תמונות כמו Midjourney ו-DALLE מאומנים על מיליארדי תמונות", אומר קליסון-בורץ'. "יש לנו רק חלק קטן מהכמות הזו של סביבות תלת-ממד לאימון מה שנקרא 'AI גלום'. אם אנחנו רוצים להשתמש בטכניקות AI גנרטיביות כדי לפתח רובוטים שיכולים לנווט בבטחה בסביבות אמיתיות, אז נצטרך ליצור מיליוני או מיליארדי סביבות מדומה".
באמצעות שפה יומיומית, משתמשים יכולים להנחות את Holodeck ליצור מגוון כמעט אינסופי של חללים תלת מימדיים, מה שיוצר אפשרויות חדשות לאימון רובוטים לנווט בעולם. קרדיט: יו יאנג
היכנסו ל-Holodeck, מערכת לייצור סביבות תלת-ממד אינטראקטיביות שנוצרו על ידי Callison-Burch, Yatskar, Yang ו-Lingjie Liu, Aravind K. Joshi עוזר פרופסור ב-CIS, יחד עם משתפי פעולה בסטנפורד, אוניברסיטת וושינגטון, ומכון אלן לבינה מלאכותית (AI2). ה-Holodeck, שנקראה על שם מולדתה של מסע בין כוכבים, מייצרת מגוון כמעט בלתי מוגבל של סביבות פנימיות, תוך שימוש בבינה מלאכותית כדי לפרש את בקשות המשתמשים. "אנחנו יכולים להשתמש בשפה כדי לשלוט בה", אומר יאנג. "אתה יכול לתאר בקלות כל סביבות שאתה רוצה ולאמן את סוכני הבינה המלאכותית המגולמים."
Holodeck ממנפת את הידע המוטמע במודלים של שפה גדולה (LLMs), במערכות שבבסיס ChatGPT ובצ'אטבוטים אחרים. "השפה היא ייצוג תמציתי מאוד של העולם כולו", אומר יאנג. ואכן, מסתבר כי ל-LLMs יש מידה מפתיעה של ידע על עיצוב חללים, הודות לכמויות העצומות של טקסט שהם בולעים במהלך האימון. למעשה, Holodeck פועלת על ידי מעורבות של LLM בשיחה, תוך שימוש בסדרה מובנית בקפידה של שאילתות נסתרות כדי לפרק את בקשות המשתמש לפרמטרים ספציפיים.
יישום ובדיקה בעולם האמיתי של Holodeck
בדיוק כמו שקפטן פיקארד עשוי לבקש מה-Holodeck של מסע בין כוכבים לדמות ספיי-סי, חוקרים יכולים לבקש מה-Holodeck של פן ליצור "דירה של 1b1b של חוקר שיש לו חתול". המערכת מבצעת שאילתה זו על ידי חלוקתה למספר שלבים: ראשית, הרצפה והקירות נוצרים, לאחר מכן הפתח והחלונות. לאחר מכן, Holodeck מחפש את Objaverse, ספרייה עצומה של חפצים דיגיטליים מוכנים מראש, אחר סוג הריהוט שאתה עשוי לצפות בחלל כזה: שולחן קפה, מגדל חתולים וכן הלאה. לבסוף, Holodeck שואל מודול פריסה, שהחוקרים תכננו כדי להגביל את המיקום של חפצים, כך שלא תסתיים עם אסלה המשתרעת אופקית מהקיר.
בעיקרו של דבר, Holodeck עוסקת בשיחה עם מודל שפה גדול (LLM), ובונה סביבה וירטואלית חלק אחר חלק. קרדיט: יו יאנג
להעריך את היכולות של Holodeck, במונחים של ריאליזם ו דיוק, החוקרים יצרו 120 סצנות באמצעות Holodeck ו-ProcTHOR, כלי קודם שנוצר על ידי AI2, וביקשו מכמה מאות סטודנטים של Penn Engineering לציין את הגרסה המועדפת עליהם, מבלי לדעת אילו סצינות נוצרו על ידי אילו כלים. עבור כל קריטריון – בחירת נכס, קוהרנטיות פריסה והעדפה כללית – התלמידים דירגו באופן עקבי את הסביבות שנוצרו על ידי Holodeck בצורה חיובית יותר.
החוקרים בדקו גם את היכולת של Holodeck ליצור סצנות שפחות אופייניות במחקר רובוטיקה וקשות יותר ליצירה ידנית מאשר פנים דירות, כמו חנויות, חללים ציבוריים ומשרדים. בהשוואת התפוקות של Holodeck לאלו של ProcTHOR, שנוצרו באמצעות כללים שנוצרו על ידי אדם ולא טקסט שנוצר על ידי AI, החוקרים גילו שוב שמעריכים אנושיים העדיפו את הסצנות שנוצרו על ידי Holodeck. העדפה זו החזיקה במגוון רחב של סביבות פנימיות, ממעבדות מדע ועד סטודיו לאמנות, חדרי הלבשה ועד מרתפי יין.
לבסוף, החוקרים השתמשו בסצנות שנוצרו על ידי Holodeck כדי "לכוון" סוכן AI גלום. "המבחן האולטימטיבי של Holodeck", אומר יאצקר, "השתמש בו כדי לעזור לרובוטים לקיים אינטראקציה בטוחה יותר עם הסביבה שלהם על ידי הכנתם לאכלס מקומות שמעולם לא היו בהם".
על פני מספר סוגים של חללים וירטואליים, כולל משרדים, מעונות יום, חדרי כושר ומשחקי משחק, להולודק הייתה השפעה בולטת וחיובית על יכולתו של הסוכן לנווט בחללים חדשים.
לדוגמה, בעוד שהסוכן מצא בהצלחה פסנתר בחדר מוזיקה רק כ-6% מהמקרים כאשר עבר הכשרה מוקדמת באמצעות ProcTHOR (שכלל את הסוכן בצע כ-400 מיליון צעדים וירטואליים), הסוכן הצליח יותר מ-30% מהמקרים כאשר כוונון עדין באמצעות 100 חדרי מוזיקה שנוצרו על ידי Holodeck.
"התחום הזה תקוע במחקר בחללי מגורים במשך זמן רב", אומר יאנג. "אבל יש כל כך הרבה סביבות מגוונות שם בחוץ – יצירה יעילה של הרבה סביבות לאימון רובוטים תמיד הייתה אתגר גדול, אבל Holodeck מספקת את הפונקציונליות הזו."
החוקרים הציגו את Holodeck ב- 2024 המכון למהנדסי חשמל ואלקטרוניקה (IEEE) ו-Computer Vision Foundation (CVF) כנס ראיית מחשב וזיהוי דפוסים (CVPR) בסיאטל, וושינגטון.
מחקר זה נערך ב- אונברסיטת פנסילבניה בית הספר להנדסה ומדע יישומי ובמכון אלן לבינה מלאכותית (AI2).
