חוקרים מאוניברסיטת מרילנד פיתחו את מצלמת האירועים המלאכותית (AMI-EV), בהשראת תנועות עיניים אנושיות, כדי לשפר את הראייה הרובוטית על ידי הפחתת טשטוש התנועה בסביבות דינמיות. (קונספט האמן.) קרדיט: twoday.co.il.com
מצלמה חדשה מחקה את התנועות הבלתי רצוניות של העין האנושית כדי ליצור תמונות חדות ומדויקות יותר עבור רובוטים, סמארטפונים ומכשירים אחרים ללכידת תמונות.
מדעני מחשב המציאו מנגנון מצלמה שמשפר את האופן שבו רובוטים רואים ומגיבים לעולם הסובב אותם. בהשראת אופן פעולת העין האנושית, צוות המחקר, בראשות אוניברסיטת מרילנד, פיתח מערכת מצלמות חדשנית המחקה את התנועות הזעירות הבלתי רצוניות המשמשות את העין כדי לשמור על ראייה ברורה ויציבה לאורך זמן. אב-טיפוס ובדיקת המצלמה של הצוות – הנקראת Artificial Microsaccade-Enhanced Event Camera (AMI-EV) – פורטו במאמר שפורסם לאחרונה בכתב העת מדע רובוטיקה.
התקדמות בטכנולוגיית מצלמות אירועים
"מצלמות אירועים הן טכנולוגיה חדשה יחסית טובה יותר במעקב אחר אובייקטים נעים מאשר מצלמות מסורתיות, אבל מצלמות האירועים של היום מתקשות לצלם תמונות חדות וללא טשטוש כאשר יש הרבה תנועה מעורבת", אמר הסופר הראשי של העיתון Botao He, מדעי המחשב. דוקטורט. סטודנט ב-UMD. "זו בעיה גדולה מכיוון שרובוטים וטכנולוגיות רבות אחרות – כמו מכוניות בנהיגה עצמית – מסתמכים על תמונות מדויקות ובזמן כדי להגיב בצורה נכונה לסביבה משתנה. אז, שאלנו את עצמנו: איך בני אדם ובעלי חיים מוודאים שהראייה שלהם תישאר ממוקדת באובייקט נע?"
תיאור של מערכת מצלמות אירועים חדשנית לעומת מערכת מצלמות אירועים רגילה. קרדיט: Botao He, Yiannis Aloimonos, Cornelia Fermuller, Jingxi Chen, Chahat Deep Singh
חיקוי תנועות עיניים אנושיות
עבור הצוות של He, התשובה הייתה מיקרוסקודים, תנועות עיניים קטנות ומהירות שמתרחשות באופן לא רצוני כאשר אדם מנסה למקד את השקפתו. באמצעות תנועות דקות אך מתמשכות אלו, העין האנושית יכולה לשמור על מיקוד על אובייקט ועל המרקמים החזותיים שלו – כגון צבע, עומק והצללה – בצורה מדויקת לאורך זמן.
"חשבנו שבדיוק כמו שהעיניים שלנו זקוקות לתנועות הקטנטנות האלה כדי להישאר ממוקדות, מצלמה יכולה להשתמש בעיקרון דומה כדי לצלם תמונות ברורות ומדויקות ללא טשטוש שנגרם מתנועה", אמר.
יישום ובדיקה טכנולוגית
הצוות הצליח לשכפל מיקרוסקוסים על ידי הכנסת פריזמה מסתובבת בתוך ה-AMI-EV כדי לנתב מחדש את קרני האור שנלכדו על ידי העדשה. התנועה הסיבובית המתמשכת של המנסרה דימה את התנועות המתרחשות באופן טבעי בתוך עין אנושית, ומאפשרת למצלמה לייצב את המרקמים של אובייקט מוקלט בדיוק כפי שאדם היה עושה זאת. לאחר מכן הצוות פיתח תוכנה כדי לפצות על תנועת המנסרה בתוך ה-AMI-EV כדי לאחד תמונות יציבות מהאורות המשתנים.
הדגמה לאופן שבו מיקרוסקודים מנוגדים דהייה חזותית. לאחר מספר שניות של קיבעון (בהייה) על הכתם האדום בתמונה סטטית זו, פרטי הרקע של תמונה זו מתחילים לדעוך ויזואלית. הסיבה לכך היא שמיקרוסקודים דוכאים במהלך תקופה זו והעין אינה יכולה לספק גירוי ויזואלי יעיל למניעת דהייה היקפית. קרדיט: UMIACS Computer Vision Laboratory
מחבר המחקר יאניס אלוימונוס, פרופסור למדעי המחשב ב-UMD, רואה בהמצאת הצוות צעד גדול קדימה בתחום הראייה הרובוטית.
"העיניים שלנו מצלמים את העולם סביבנו והתמונות האלה נשלחות למוח שלנו, שם מנתחים את התמונות. תפיסה מתרחשת דרך התהליך הזה וכך אנחנו מבינים את העולם", הסביר אלוימונוס, שהוא גם מנהל המעבדה לראייה ממוחשבת במכון ללימודי מחשב מתקדמים של אוניברסיטת מרילנד (UMIACS). "כשאתה עובד עם רובוטים, החלף את העיניים במצלמה ואת המוח במחשב. מצלמות טובות יותר אומרות תפיסה ותגובות טובות יותר עבור רובוטים."
השפעה פוטנציאלית על תעשיות שונות
החוקרים גם מאמינים שלחדשנות שלהם יכולות להיות השלכות משמעותיות מעבר לרובוטיקה ולהגנה לאומית. מדענים העובדים בתעשיות המסתמכות על לכידת תמונה מדויקת וזיהוי צורות מחפשים כל הזמן דרכים לשפר את המצלמות שלהם – ו-AMI-EV יכול להיות פתרון המפתח לרבות מהבעיות העומדות בפניהם.
"עם התכונות הייחודיות שלהם, חיישני אירועים ו-AMI-EV מוכנים לתפוס את הבמה בתחום הציוד הלביש החכם", אמרה מדענית המחקר קורנליה פרמולר, מחברת בכירה של המאמר. "יש להן יתרונות מובהקים על פני מצלמות קלאסיות – כמו ביצועים מעולים בתנאי תאורה קיצוניים, זמן אחזור נמוך וצריכת חשמל נמוכה. תכונות אלה אידיאליות עבור יישומי מציאות מדומה, למשל, שבהם נחוצים חוויה חלקה וחישובים מהירים של תנועות ראש וגוף."
תיאור של מערכת מצלמות אירועים חדשנית לעומת מערכת מצלמות אירועים רגילה. קרדיט: Botao He, Yiannis Aloimonos, Cornelia Fermuller, Jingxi Chen, Chahat Deep Singh
שיפורים בעיבוד תמונה בזמן אמת
בבדיקות מוקדמות, AMI-EV הצליח ללכוד ולהציג תנועה במדויק במגוון הקשרים, כולל זיהוי דופק אנושי וזיהוי צורה נעה במהירות. החוקרים מצאו גם כי AMI-EV יכול ללכוד תנועה בעשרות אלפי פריימים לשנייה, תוך ביצועים טובים יותר ממרבית המצלמות המסחריות הזמינות, אשר לוכדות 30 עד 1000 פריימים בשנייה בממוצע. תיאור חלק ומציאותי יותר זה של תנועה יכול להתגלות כמרכזי בכל דבר, החל מיצירת חוויות מציאות מוגברת סוחפות יותר וניטור אבטחה טוב יותר ועד לשיפור האופן שבו אסטרונומים מצלמים תמונות בחלל.
מסקנה ותחזית עתידית
"מערכת המצלמות החדשנית שלנו יכולה לפתור בעיות ספציפיות רבות, כמו לעזור למכונית בנהיגה עצמית להבין מה על הכביש הוא בן אדם ומה לא," אמר אלוימונוס. "כתוצאה מכך, יש לו יישומים רבים שחלק גדול מהציבור הרחב כבר מקיים איתם אינטראקציה, כמו מערכות נהיגה אוטונומיות או אפילו מצלמות סמארטפונים. אנו מאמינים שמערכת המצלמות החדשנית שלנו סוללת את הדרך למערכות מתקדמות ויכולות יותר לבוא".
בנוסף לה, אלוימונוס ופרמולר, מחברי UMD נוספים כוללים את ג'ינגשי צ'ן (BS '20, מדעי המחשב; MS '22, מדעי המחשב) וצ'האט דיפ סינג (ME '18, רובוטיקה; Ph.D. '23 , מדעי המחשב).
מחקר זה נתמך על ידי הקרן הלאומית למדע בארה"ב (פרס מס' 2020624) והקרן הלאומית למדעי הטבע של סין (מענק מס' 62322314 ו-62088101). מאמר זה אינו משקף בהכרח את דעותיהם של ארגונים אלו.
