מציאות רבודה

מציאות רבודה (באנגלית: Augmented Reality, ובקיצור AR) היא טכנולוגיית מחשוב המשמשת כהעתק של המציאות. במציאות זאת משולבים אלמנטים וירטואליים המתמזגים עם הסביבה האמיתית בזמן אמת ובאופן אינטראקטיבי. השימוש באלמנטים של צליל ואיורים על המרקע הופכים את המציאות לאינטראקטיבית. בניגוד למציאות רבודה, המונח "מציאות מדומה" מתייחס להחלפה מוחלטת של העולם האמיתי בעולם מדומה.

שיטות ליצירת מציאות רבודה

יישומים מסוג מציאות רבודה פועלים בכמה שיטות. בשיטה הראשונה, המשתמש מסתכל על המציאות דרך תווך שקוף למחצה, סוג של "זכוכית חצי שקופה". היישום מקרין על גבי התווך פריטי מידע וירטואליים המפוקסים לאינסוף כך שמנקודת מבטו של המשתמש - הוא רואה גם את המציאות הפיזית וגם את פריטי המידע הווירטואליים, באותו מבט.
בשיטה השנייה, היישום משתמש במצלמה המחוברת למחשב או על בסיס מצלמה בטלפון הנייד, כאשר המצלמה לוכדת בשלב הראשון תמונות וידאו מהעולם האמיתי. לאחר מכן יישום מיוחד מזהה את הסצנה, את מיקום המצלמה ואת הכיוון במרחב במקרה של שימוש בטלפון סלולרי. בהתבסס על מידע זה היישום מעבד את התמונה המוקרנת על גבי מסך התצוגה של הטלפון או המחשב ומשלב עליהם בזמן אמת אלמנטים וירטואליים (כגון טקסט, אובייקטים דו ממדיים או אובייקטים תלת ממדיים - או אפילו תצלומים, אנימציות, קטעי וידאו או קטעי אודיו).
קיימות גם שתי משפחות שונות של פריטי מידע וירטואליים אותם ניתן להציג. המשפחה הראשונה כוללת פריטי מידע שאינם מעוגנים למציאות הפיזית, החיצונית למשתמש - לדוגמה, הצגת נתון המהירות על התצוגה העילית במטוס קרב או במכונית. פריטי מידע כאלו קל יחסית להציג מכיוון שהם מתקבלים במקום קבוע ב"מסגרת התמונה" ואין צורך לשנות את כוון המקרן בצורה שתתאים לתזוזות של עצמים בעולם החיצוני למשתמש או לתזוזות הראש שלו.
יישומים הנשענים על "זכוכית חצי שקופה" והקרנה של פריטי מידע שאינם מעוגנים למציאות הפיזית נמצאים בשימוש רחב כבר מסוף שנות השמונים ויש להם תרומה מוכחת, בעיקר לשימושים צבאיים, בין השאר, כתצוגה עילית במטוסי קרב.
המשפחה השנייה כוללת הצגה של פריטי מידע וירטואליים - באופן שייראה למשתמש כאילו שהם "מעוגנים" לתמונת העולם הפיזית. לדוגמה, הצגת בובה וירטואלית הרוקדת על גבי שולחן "אמיתי" שנמצא בשדה הראייה של המשתמש. תחום זה הרבה יותר קשה למימוש מכיוון שתהליך הקרנת המידע כולל השהיות הנובעות מזמני מדידה, חישוב והקרנה ובאופן טבעי נוצרים הפרשים זוויתיים בין "העולם האמיתי" לבין "פריטי המידע הווירטואלי" ומסתבר שמוח האדם מאוד רגיש להשהיות אלו. הדרישות לזמני השהייה קצרים, גם כאשר המשתמש מזיז את הראש וגם כאשר עצמים במציאות הפיזית נעים - כך שתישמר הלימה זוויתית מלאה ורצופה בין פריטי המידע הווירטואליים לבין המציאות הפיזית, באופן של יפריע למשתמש, נכון ל-2014, טרם התמלאו.
נכון ל-2014, לא מוכר שימוש נפוץ במשפחה זו של יישומים, למעט בתחומים צבאיים מאוד צרים וככל הידוע, גם משחקים המשלבים מציאות רבודה שמומשו על גבי "סמארטפונים" לא זכו לתפוצה מאוד רחבה, בעיקר בגלל בעיית ההשהיות. על רקע השיפור המתמיד במעבדים, ביכולות של ה"סמארטפונים", בתפוצת מערכות "תצוגה עילית" שהחלו להיכנס גם לעולם הרכבים וההשקעות העצומות בתחום, יש הצופים שיישומים רבים יותר, כן יכנסו לתפוצה רחבה, כולל בשוק הצרכני.

ארכיטקטורה

בתחום הארכיטקטורה, ניתן לדוגמה, לבצע סיור באתר המיועד לבנייה ולראות - על גבי הנוף האמיתי - את המבנה המיועד לקום טרם בנייתו. אפשר לממש יכולת להסתכל "דרך קירות" על ידי הקרנה וירטואלית של פנים המבנה - גם כאשר מסתכלים עליו מבחוץ. יישום אפשרי נוסף הוא "להסתכל" על רהיטים ופריטי עיצוב פנים בכלל - בתוך המבנה אליו הם מיועדים, טרם שהחפצים נמצאים שם פיזית. ישנם גם יישומים שונים המתאימים לשולחן העבודה של הארכיטקט, כמו למשל, לאפשר לו יכולת "לראות" את המבנה אותו הוא שרטט בתלת-ממד, על בסיס שרטוטים דו-ממדיים בלבד.

מסחר

עולם המסחר יכול ליהנות מיישומים המאפשרים "לראות" מוצרים - כאשר מסתכלים על האריזה שלהם, לראות הדמיה תלת ממדית של מוצרים, כאשר מסתכלים על תמונתם בקטלוג ואפילו לשלב "כפתורים וירטואליים" על גבי המוצר כמו למשל "כפתור לייק לפייסבוק", מבלי שיש צורך לעשות שינוי במוצר או באריזה שלו. שימוש אפשרי נוסף הוא "ללבוש" מוצר על בסיס קטלוג, מבלי להיות כלל בחנות הפיזית, כמודגם בתמונה משמאל.

חינוך

יישומי AR בחינוך יכולים לשמש להעשרת עולמו של התלמיד, לדוגמה, כאשר הוא מסתכל על איור בספר אנטומיה באמצעות מכשיר סמארטפון, התלמיד יוכל לראות הדמיה תלת-ממדית של האיבר המוצג וכדומה.

תעשיית המשחקים

מגוון גדול של משחקים עושה שימוש ב-AR. היישום הנפוץ הוא לאפשר למשתמש "להסתכל" על המציאות באמצעות מצלמת הסמארטפון, ועל גביה להטיל ישויות השייכות למשחק. לדוגמה, המשחק SpecTrek שבמהלכו המשתמש מסתכל על סביבתו באמצעות המצלמה של הסמארטפון והיישום מציג "ישויות וירטואליות" של רוחות רפאים המשולבות בעולם הפיזי. המשתמש צריך ללכת או לרוץ בעולם הפיזי ולהצליח להספיק "לתפוס" את רוחות הרפאים.
Ingress הוא משחק שזכה למספר דורות ולכמות גדולה של משתמשים. זהו משחק מרובה-משתתפים, המבוסס על פתרון חידות וכולל מרכיבים תחרותיים. המשחק מיוצר על ידי Niantic Labs .
Pokemon GO, שיצא בשנת 2016, אף הוא משחק מבוסס מציאות רבודה שפותח על ידי חברת Niantic Labs בשיתוף פעולה עם נינטנדו.

תוכן הנדסי

יישומי AR יכולים לאפשר צפייה במודלים תלת-ממדיים, על בסיס שרטוטים דו-ממדיים. יישומי AR יכולים לשמש גם לבקרת איכות על ידי השוואה של "דגם וירטואלי" לחלק המיוצר בפועל. יישומים כאלה משולבים כבר התעשיות הרכב ואולי גם בתעשיית התעופה.

רפואה

ניתן להציג לרופא מנתח נתונים נומריים, תוך כדי מהלך הניתוח, לדוגמה, דופק, לחץ דם ורווית חמצן של המנותח. בשימוש מתקדם יותר ניתן להציג למנתח תמונות של הדמיות ממקורות שונים, תוך כדי שהוא מנתח, למשל אולטרה סאונד, רנטגן, סי טי, MRI וכיוצא בזה - כאשר הן מוקרנות "על גופו של החולה" תוך כדי הניתוח.

שימושים צבאיים

עיקר השימוש, עד השנים האחרונות, היה לעולם התעופה, כאשר הקרינו לעיני הטייסים נתונים כמו מהירות, גובה, כיוון מצפני, זווית במרחב וכדומה, על גבי תמונת העולם החיצונית באמצעות "תצוגה עילית". במשך העשור האחרון, שולבו גם כוונות קסדה מתקדמות, כאשר הקרנת הנתונים הווירטואלית מתבצעת באמצעות משקף הקסדה ולא באמצעות "תצוגה עילית". חברת "אלביט" מישראל היא אחת החברות המתקדמות ביותר בעולם בתחום זה, וקסדות מתוצרתה משולבות במטוסי F15 ,F16 ו-F35. בשנות האלפיים, במסגרת פרויקטים שונים, מערכות של "כוונת קסדה" משולבות גם במסוקי קרב וגם ביישומים המיועדים לכוחות קומנדו.

ניווט

יישומי AR יכולים לשלב הצגת "סימני דרך" על פני המציאות האמיתית, כמו למשל, חיצים המצוירים "וירטואלית" על גבי המדרכות. ניתן גם לשלב יכולת הצגת מפות, תצלומי אוויר, תצלומי לוויין וכדומה, ככל שזה יכול לעזור למשתמש, לדוגמה, על גבי השמשה הקדמית של כלי רכב.

תמיכה במשימות (אחזקה, הרכבה, ניתוח, תחבורה)

ניתן להציג, באמצעות יישום AR שרטוט של המערכת עליה עובד הטכנאי. לדוגמה, טכנאי שנדרש לעבוד על חיווט במטוס נוסעים מודרני או טכנאי שנדרש לעשות פעולת אחזקה על רכיב יקר ויש לו צורך בשרטוטי עזר והוראות הרכבה. בשנתיים באחרונות, החלו להיכנס גם יישומי "תצוגה עילית" לרכבים, הן על ידי יצרני הרכב (טויוטה פריוס, לדוגמה) והן כתוספת לרכבים קיימים

טלוויזיה

ישנם מספר יישומים, בעיקר בתחום הספורט, המאפשרים "להטיל" פרסומות וירטואליות, תלת ממדיות, או סוגים שונים של "סימוני עזר" - על גבי מגרש המשחקים (לדוגמה: בכדורגל - קו נבדל וירטואלי שמאמת בזמן אמת את מיקום השחקנים). יישום נפוץ נוסף הוא הצגה תלת ממדית של אנימציות מזג אוויר המוטלות על העולם האמיתי המוצג.

תיירות

יישום AR יכול להציג פריטי מידע נומריים לגבי אתרי תיירות - כמו למשל הערות של מבקרים קודמים, תקציר מוויקיפדיה, תוצאות חיפוש בגוגל וכדומה. יישום רלוונטי נוסף הוא הצגת "סימני דרך" אל אתר תיירותי הנמצא בקרבת מקום או כזה שהתייר הביע את רצונו להגיע אליו, כאשר סימני הדרך מוצגים על פני המציאות הפיזית, למשל באמצעות "חיצים ענקיים" המצוירים על המדרכה.

תרגום

ניתן להציג למשתמש תרגום לשפתו - בכל פעם שהוא מסתכל על טקסט בשפה של המקום בו הוא מבקר. לדוגמה, תרגם זמן אמיתי של שלטי רחוב, שמות של חנויות ואולי אפילו כתבות בעיתון.

משרדים

AR יכול לעזור להקל על שיתוף פעולה בין חברי צוות שהופצו בכוח עבודה באמצעות כנסים עם משתתפים אמיתיים וּוירטואליים. משימות AR יכולות לכלול מפגשי סיעור מוחות ודיון, ניצול הדמיה משותפת באמצעות טבלאות מסך מגע, לוחות דיגיטליים אינטראקטיביים, עיצוב חללים משותפים, וחדרי בקרה מופצות.

תשתית טכנולוגית לטובת יישומי מציאות רבודה (AR)

כדי לממש יישומי מציאות רבודה נדרשים, לכל הפחות, מערכות הקרנה אופטית, מערכת שדרכה רואים את המציאות הפיזית, מערכת ה"מייצרת" את פריטי המידע הווירטואליים אותם רוצים להציג, מחשבים, תוכנה, אלגוריתמים ובמקרה של יישום הכולל הצגת "פריטי מידע מעוגנים למציאות הפיזית" על גבי "משקפיים" או קסדה, נדרשת גם יכולת עקיבה אחרי זוויות הראש במרחב וביישומים מסוימים, גם יכולת עקיבה אחרי כיוון הסתכלות האישונים.

היסטוריה של מערכות הקרנה

בדורות הראשונים של מערכות "מציאות רבודה" ובעיקר, מערכות תצוגה עילית, ההקרנה התבססה על מערכת גדולה ומורכבת שכללה שפופרת קרן קתודית גדולה וכבדה, מערכת של עדשות אופטיות ולבסוף, משטח של "זכוכית חצי שקופה" שמצד אחד איפשר לראות את המציאות הפיזית ומצד שני, לראות את פריטי המידע הווירטואליים. מערכות אלו היו יקרות וכבדות ובהתאם, השימוש בהן היה כמעט רק למערכות צבאיות יקרות.
קפיצת המדרגה הגדולה ארעה כאשר הצליחו לייצר "עדשה הולוגרפית" שהייתה חלק ממשקף קסדת הטייס. טכנולוגיה זו אפשרה לשלב מערכות "מציאות רבודה" בתוך קסדות טייסים במחיר של עשרות אלפי דולר "בלבד" ובמשקל ומידות "סבירים". אחת החברות המובילות בעולם בתחום זה הייתה חברת "אלאופ".
בעשור השני של המאה ה-21 החלו להופיע סוגי עדשות שמאפשרים הקרנה על עדשות דקות וזולות יחסית, כך שניתן להתקין הן את המקרן הממוזער והן את ה"עדשה" כך שההתקן כולו נכנס לגודל של משקפיים במשקל שאדם רגיל יכול לשאת על ראשו. טכנולוגיות אלו מאפשרות גם הצגה של וידאו ברזולוציה גבוהה, שדה ראייה רחב בהרבה ממה שתצוגה עילית יודעת להציע ואפילו הצגה בצבעים. טכנולוגיות אלו נמצאות בשלבים שונים של כניסה לשוק. אחת החברות המבטיחות בתחום זה היא חברת "לומוס" מישראל.

שיטות ודוגמאות להצגת פריטי מידע מעוגנים למציאות הפיזית

הנושא מפותח ביישומים למטוסי קרב והוא מומש בכמה גישות שונות.
כאשר מדובר בטילי אוויר-אוויר המתבייתים על חום, ברוב המטוסים המודרניים הטייס יכול לאפשר לעין הטיל לעבור למצב שבו היא עוקבת אחרי מטוס המטרה באופן עצמאי, כאשר הטיל עדיין תלוי על האווירון. במצב זה, על גבי התצוגה העילית, מוצג כיוון הסתכלות עין הטיל כשהוא מוטל על גבי המציאות המשתקפת דרך "זכוכית חצי שקופה", ולמעשה עין הטיל היא "פריט מידע מעוגן למציאות הפיזית", מכיוון שעין הטיל רואה את "חום" המטרה, ולכן היא אמורה להצביע בדיוק רב על מטוס המטרה, גם כאשר הדינמיקה היחסית בין המטוסים משתנה. סכום ההשהיות במקרה זה תלוי בעיקר בזמני תרגום הזוויות, ומדובר בזמני השהיה קצרים מאוד (סדר גודל של עשרים מילישניות), והתצוגה המתקבלת לעיני הטייס מדויקת באופן "כמעט הרמטי".
כאשר אותה פונקציה מוקרנת על גבי משקף כוונת הקסדה (תצוגת קסדה עילית), מצטרפים לטעויות הכיוון כל השגיאות שמקורן בדיוקי העקיבה אחרי זוויות הקסדה בתוך תא הטייס. מדידת זוויות אלו נשענת על סלילים אלקטרומגנטיים, עיבוד תמונה של מצלמות ה"מסתכלות" על הקסדה, או באמצעות מחבר פיזי המחובר לקסדה. ברוב היישומים, הדיוק הזוויתי בשיטה זו פחות טוב מאשר בעת ההצגה על גבי תצוגה עילית ויתרון השיטה הוא בעיקר בעובדה שהיא מאפשרת תצוגה כמעט כדורית, ולכן יכולה לתמוך בהרבה יותר מצבי ירי.
באופן דומה, במטוסי קרב מודרניים, כאשר המכ"ם נעול על מטרת אוויר-אוויר, מוצגת לטייס "קופסת ציון מטרה" שאמורה להיות מוקרנת בדיוק על מטוס המטרה - Target Designation Box, TDB. גם תפקוד זה מצטיין בדיוק רב ובזמני השהיה קצרים.
כדי להציג "קופסת ציון מטרה" המוקרנת כך שתהיה חופפת לנקודה קרקעית מסוימת משתמשים בחישוב המביא בחשבון את דיוק נ"צ המטרה, את דיוק המיקום העצמי של המטוס ואת הזוויות המרחביות של המטוס (והקסדה- כאשר מתבצע שימוש בכוונת קסדה). במטוסים שבהם ישנה מערכת אינרציאלית משולבת ב-GPS, וכאשר נ"צ המטרה ידוע בסדר גודל של 10 מטר דיוק ומעלה, ניתן לקבל "קופסת ציון מטרה" שתישאר "דבוקה" למטרה האמיתית כפי שהיא נראית דרך התצוגה העילית או כוונת הקסדה.
כאשר ההסתכלות על המציאות הפיזית מתבצעת דרך מצלמה אלקטרו-אופטית, ניתן לעשות שימוש במגוון אלגוריתמים שתכליתם לזהות את המטרה בתמונה עצמה ולאפשר מעקב אוטומטי אחריה. אלגוריתמים אלה מכונים "עוקבים". גישות אלו כוללות שיטות של "השוואת תמונות נוף", "זיהוי קצה" (Edge detection), "זיהוי שטח", "זיהוי תנועה". בשנות האלפיים נעשים ניסיונות לעקיבה על בסיס "רשתות נוירונים רבודות" (Deep learning) ואולם גישות אלו גורמות, בדרך כלל, לזמני השהיה של עשרות מילישניות, ולכן הן מתאימות רק לחלק מהתרחישים.
בשוק הטלוויזיה המסחרית, כאשר "זירת הצילום" ידועה מראש, כמו למשל במקרה של מגרשי ספורט, כן התפתחו יישומים המאפשרים להציג פרסומות או "סימנים מוסכמים", כאילו שהיו מצוירים על המגרש עצמו על ידי שימוש ב"עיגון" מוקדם של המגרש (טרם שהמשחק התחיל) או "פתרון בזמן אמיתי" של המגרש על בסיס אלגוריתמי עיבוד תמונה. הישג זה מאוד משמעותי משום שקבוע זמן "הפתרון", מקצה לקצה, צריך להיות טוב מ 16 מילישניות כדי להבטיח יכולת שידור בקצב של שישים מסגרות בשנייה.
בשוק האלקטרוניקה לצרכנים, כמו למשל יישומים המבוססים על "סמארטפונים" ו"טאבלטים", נעשו ניסיונות לממש את שתי הגישות. בחלק מהמשחקים - היישום עושה שימוש בחיישני "המצב המרחבי" של המכשיר, ב"ג'י פי אס" ובאלגוריתמי עיבוד תמונה כדי להבין את הזוויות המרחביות של המכשיר בצורה רגעית ורצופה. יישומים הכוללים הצגת "פריטי מידע מעוגנים" הנשענים על שיטות אלו בדרך כלל יתקשו מאוד לשמור את הדיוק הזוויתי בדינמיקות קשות ובהתאם, הם טרם זכו לתפוצה רחבה.
הגישה שאולי תאפשר דיוקים גבוהים, ככל הנראה, תחייב "עוקבים" מדויקים וגם אם יפותחו כאלה, לא ברור עדיין אם יהיה מפגש בין עלות הפתרונות למחירים שצרכנים רגילים יהיו מוכנים לשלם.

משקפי AR

טכנולוגיית ה-AR יכולה להיות מוצגת באמצעות אמצעי דמויי משקפיים. על עדשות המשקפיים יכולים להיות מוצגים נתונים כדוגמת שעה מקומית, מיקום ג'י פי אס, מצפן ועוד או אפילו, ישויות ה"מעוגנות" לסביבה הפיזית כמו למשל דמויות הניצבות על רהיטים בחדר. אחת החברות המתקדמות בעולם שיש לה טכנולוגיה מתאימה ליישומים כאלה היא חברת "לומוס" מישראל . חברות העוסקות בפיתוח מוצר שלם לעולם הצרכני הן "סמסונג", סוני וגם גוגל שהשקיעה מאות מיליוני דולרים בחברת "מציאות רבודה" מפלורידה בשם Magic Leap.

עדשות מגע המציגות הדמיית AR

עדשות מגע אלו נמצאות בפיתוח. עדשות מגע אלו עשויות להכיל אלמנטים לתצוגה בעדשה עצמה כמו נוריות חיווי או אנטנה לתקשורת אלחוטית. גרסה נוספת של עדשות מגע ייחודיות אלו נמצאות בפיתוח צבא ארצות הברית ובהן תהיה קיימת האפשרות להציג עצמים רחוקים וקרובים באותו זמן.