# Realtà mista

Realtà mista, detta anche realtà ibrida, è la mescolanza dei mondi digitale e virtuale per produrre nuovi ambienti e visualizzazioni in cui oggetti virtuali e fisici coesistono ed interagiscono tra di loro in tempo reale. La realtà mista avviene non solo nel mondo fisico o in quello virtuale, ma è una vera e propria mescolanza di realtà fisica e virtuale. Nell'immaginario comune, è sovente menzionata come realtà virtuale, o VR, quando in realtà quest'ultima è solo una parte, un aspetto, della realtà mista.
Un esempio di realtà mista è la piattaforma sociale sviluppata da Facebook e Oculus, Facebook Spaces, presentata per la prima volta durante la conferenza per sviluppatori F8 2017.

## Applicazioni

La realtà mista è stata utilizzata in applicazioni in tutti i campi, tra cui progettazione, istruzione, intrattenimento, addestramento militare, assistenza sanitaria, gestione dei contenuti dei prodotti e funzionamento umano dei robot.

### Istruzione

L'apprendimento basato sulla simulazione include formazione basata su realtà virtuale e realtà aumentata e apprendimento interattivo ed esperienziale. Esistono molti potenziali casi d'uso per la realtà mista sia in contesti educativi che in contesti di formazione professionale. In particolare nell'istruzione, l'AR è stata utilizzata per simulare battaglie storiche, fornendo un'esperienza immersiva senza precedenti per gli studenti e esperienze di apprendimento potenzialmente migliorate. Inoltre, l'AR ha mostrato efficacia nell'istruzione universitaria per studenti di scienze della salute e medicina all'interno di discipline che beneficiano di rappresentazioni 3D di modelli, come fisiologia e anatomia.

### Intrattenimento

Dagli spettacoli televisivi alle console di gioco, la realtà mista ha molte applicazioni nel campo dell'intrattenimento.
Il game show britannico del 2004 Bamzooki ha invitato i bambini concorrenti a creare "Zook" virtuali e guardarli competere in una varietà di sfide. Lo spettacolo ha utilizzato la realtà mista per dare vita agli Zook. Lo show televisivo è andato in onda per una stagione, terminando nel 2010.
Il game show del 2003 FightBox ha anche invitato i concorrenti a creare personaggi competitivi e ha utilizzato la realtà mista per consentire loro di interagire. A differenza delle sfide generalmente non violente di Bamzoomi, l'obiettivo di FightBox era che i nuovi concorrenti creassero il combattente più forte per vincere la competizione.
Nel 2009, i ricercatori hanno presentato all'International Symposium on Mixed and Augmented Reality (ISMAR) il loro prodotto sociale chiamato "BlogWall", che consisteva in uno schermo proiettato su un muro. Gli utenti possono pubblicare brevi clip di testo o immagini sul muro e giocare a giochi semplici come Pong. Il BlogWall presentava anche una modalità poesia in cui riorganizzava i messaggi ricevuti per formare una poesia e una modalità sondaggio in cui gli utenti potevano chiedere ad altri di rispondere ai loro sondaggi.
Mario Kart Live: Home Circuit è un gioco di corse in realtà mista per Nintendo Switch che è stato rilasciato nell'ottobre 2020. Il gioco consente ai giocatori di utilizzare la propria casa come pista. Entro la prima settimana dal rilascio, 73.918 copie sono state vendute in Giappone, rendendolo il gioco più venduto della settimana nel paese.
Altre ricerche hanno esaminato il potenziale della realtà mista da applicare a teatri, film e parchi a tema.

### Addestramento militare

Il primo sistema di realtà mista completamente immersivo è stata la piattaforma Virtual Fixtures, sviluppata nel 1992 da Louis Rosenberg presso gli Armstrong Laboratories della United States Air Force. Ha consentito agli utenti umani di controllare i robot in ambienti del mondo reale che includevano oggetti fisici reali e sovrapposizioni virtuali 3D ("dispositivi") che sono stati aggiunti per migliorare le prestazioni umane delle attività di manipolazione. Studi pubblicati hanno dimostrato che introducendo oggetti virtuali nel mondo reale, gli operatori umani potrebbero ottenere significativi aumenti delle prestazioni.
La realtà del combattimento può essere simulata e rappresentata utilizzando dati complessi e stratificati e ausili visivi, la maggior parte dei quali sono display montati sulla testa (HMD), che comprendono qualsiasi tecnologia di visualizzazione che può essere indossata sulla testa dell'utente. Le soluzioni di addestramento militare sono spesso costruite su tecnologie commerciali standardizzate (COTS), come la piattaforma di ambiente sintetico di Improbable, Virtual Battlespace 3 e VirTra, con le ultime due piattaforme utilizzate dall'esercito degli Stati Uniti. A partire dal 2018, VirTra viene utilizzato dalle forze dell'ordine sia civili che militari per addestrare il personale in una varietà di scenari, tra cui sparatutto attivo, violenza domestica e interruzioni del traffico militare. Le tecnologie di realtà mista sono state utilizzate dal Laboratorio di ricerca dell'esercito degli Stati Uniti per studiare come questo stress influisce sul processo decisionale. Con la realtà mista, i ricercatori possono studiare in sicurezza il personale militare in scenari in cui i soldati probabilmente non sopravvivrebbero.
Nel 2017 l'esercito degli Stati Uniti stava sviluppando il Synthetic Training Environment (STE), una raccolta di tecnologie per scopi di addestramento che avrebbe dovuto includere la realtà mista. A partire dal 2018, STE era ancora in fase di sviluppo senza una data di completamento prevista. Alcuni obiettivi registrati di STE includevano il miglioramento del realismo e l'aumento delle capacità di addestramento alla simulazione e la disponibilità di STE per altri sistemi.
È stato affermato che ambienti di realtà mista come STE potrebbero ridurre i costi di formazione, come ridurre la quantità di munizioni spese durante l'addestramento. Nel 2018, è stato riferito che STE avrebbe incluso la rappresentazione di qualsiasi parte del terreno del mondo per scopi di addestramento. STE offrirebbe una varietà di opportunità di addestramento per squadre di brigate e squadre di combattimento, tra cui Stryker, armeria e squadre di fanteria.

### Spazi misti

Uno spazio misto è uno spazio in cui un ambiente fisico e un ambiente virtuale sono deliberatamente integrati in modo strettamente unito. Lo scopo del blended space design è fornire alle persone l'esperienza di provare un senso di presenza nello spazio blended, agendo direttamente sul contenuto di tale spazio. Esempi di spazi misti includono dispositivi di realtà aumentata come Microsoft HoloLens e giochi come Pokémon Go oltre a molte app turistiche per smartphone, sale riunioni intelligenti e applicazioni come i sistemi di localizzazione degli autobus.
L'idea di fusione deriva dalle idee di integrazione concettuale, o fusione concettuale introdotte da Gilles Fauconnier e Mark Turner.
Manuel Imaz e David Benyon hanno introdotto la teoria del blending per esaminare i concetti dell'ingegneria del software e dell'interazione uomo-computer.
L'implementazione più semplice di uno spazio misto richiede due funzionalità. La prima caratteristica richiesta è l'input. Esso può variare dal tattile ai cambiamenti nell'ambiente. L'altra funzionalità richiesta consiste nelle notifiche ricevute dagli spazi digitali. Le corrispondenze tra spazio fisico e spazio digitale devono essere astratte e sfruttate dal design dello spazio misto. La perfetta integrazione di entrambi gli spazi è rara. Gli spazi misti hanno bisogno di punti di ancoraggio o tecnologie per collegare gli spazi.
Uno spazio misto ben progettato pubblicizza e trasmette il contenuto digitale in modo sottile e discreto. La presenza può essere misurata utilizzando misure fisiologiche, comportamentali e soggettive derivate dallo spazio.
Ci sono due componenti principali in qualsiasi spazio. Sono:
* Oggetti – Gli effettivi oggetti distinti che compongono il mezzo/spazio. Gli oggetti descrivono efficacemente lo spazio.
* Agenti – Corrispondenti/utenti all'interno dello spazio che interagiscono con esso attraverso gli oggetti.
Per la presenza in uno spazio misto, ci deve essere uno spazio fisico e uno spazio digitale. Nel contesto dello spazio misto, maggiore è la comunicazione tra gli spazi fisici e digitali, più ricca è l'esperienza. Questa comunicazione avviene per mezzo di corrispondenti che trasmettono lo stato e la natura degli oggetti.
Al fine di esaminare gli spazi misti, la natura e le caratteristiche di qualsiasi spazio possono essere rappresentate da questi fattori:
* Ontologia – Diversi tipi di oggetti presenti nello spazio il numero totale di oggetti e le relazioni tra gli oggetti e lo spazio.
* Topologia: il modo in cui gli oggetti vengono posizionati.
* Volatilità – Frequenza con cui gli oggetti cambiano.
* Agenzia – Mezzo di comunicazione tra gli oggetti e tra essi e gli utenti. L'agenzia comprende anche gli utenti all'interno dello spazio.
Spazio fisico - Gli spazi fisici sono spazi che consentono l'interazione spaziale. Questo tipo di interazione spaziale ha un forte impatto sul modello cognitivo dell'utente.
Spazio digitale – Lo spazio digitale (chiamato anche spazio informativo) è costituito da tutto il contenuto informativo. Questo contenuto può essere in qualsiasi forma.

### Lavoro a distanza

La realtà mista consente a una forza lavoro globale di team remoti di lavorare insieme e affrontare le sfide aziendali di un'organizzazione. Indipendentemente da dove si trovi fisicamente, un dipendente può indossare cuffie con cancellazione del rumore ed entrare in un ambiente virtuale collaborativo e coinvolgente. Questo processo aumenta anche la flessibilità. Sebbene molti datori di lavoro utilizzino ancora modelli rigidi di orari e luoghi di lavoro fissi, è dimostrato che i dipendenti sono più produttivi se hanno maggiore autonomia su dove, quando e come lavorare. Alcuni dipendenti preferiscono ambienti di lavoro rumorosi, mentre altri hanno bisogno di silenzio. Alcuni sono più produttivi al mattino, altri di notte. I dipendenti beneficiano anche dell'autonomia nel modo in cui lavorano a causa dei diversi modi di elaborare le informazioni. Il modello classico per gli stili di apprendimento distingue tra studenti visivi, uditivi e cinestetici.
La manutenzione della macchina può essere eseguita anche con l'aiuto della realtà mista. Le aziende più grandi con più sedi di produzione e molti macchinari possono utilizzare la realtà mista per istruire e istruire i propri dipendenti. Le macchine necessitano di controlli regolari e devono essere regolate di tanto in tanto. Questi aggiustamenti sono per lo più eseguiti da esseri umani, quindi i dipendenti devono essere informati sugli aggiustamenti necessari. Utilizzando la realtà mista, i dipendenti di più sedi possono indossare le cuffie e ricevere istruzioni in tempo reale sui cambiamenti. Gli istruttori possono utilizzare la rappresentazione che ogni dipendente vede e possono scorrere l'area di produzione, ingrandendo i dettagli tecnici e spiegando ogni modifica necessaria. Un'estensione di questo ambiente è l'incorporazione di dati in tempo reale dai macchinari operativi nello spazio collaborativo virtuale e quindi associati a modelli virtuali tridimensionali dell'apparecchiatura. Ciò consente la formazione e l'esecuzione di processi di lavoro di manutenzione, operativi e di sicurezza, che altrimenti sarebbero difficili in un ambiente dal vivo, avvalendosi al tempo stesso di competenze, indipendentemente dalla loro ubicazione fisica.

### Mockup funzionale

La realtà mista può essere utilizzata per creare prototipi che combinano elementi fisici e digitali. Con l'uso della localizzazione e mappatura simultanee (SLAM), i mockup possono interagire con il mondo fisico per ottenere il controllo di esperienze sensoriali più realistiche come la permanenza dell'oggetto, che normalmente sarebbe irrealizzabile o estremamente difficile da tracciare e analizzare senza l'uso di aiutanti sia digitali che fisici.

### Sanità

Gli smartglass possono essere incorporati nella sala operatoria per facilitare le procedure chirurgiche; possibilmente visualizzando comodamente i dati del paziente sovrapponendo precise guide visive per il chirurgo. I visori per realtà mista come Microsoft HoloLens sono stati teorizzati per consentire un'efficiente condivisione di informazioni tra medici, oltre a fornire una piattaforma per una formazione avanzata. Ciò può, in alcune situazioni (es. paziente affetto da malattia contagiosa), migliorare la sicurezza del medico e ridurre l'uso dei DPI. Sebbene la realtà mista abbia un grande potenziale per migliorare l'assistenza sanitaria, presenta anche alcuni svantaggi. La tecnologia potrebbe non integrarsi mai completamente negli scenari in cui è presente un paziente, poiché vi sono preoccupazioni etiche riguardo al fatto che il medico non sia in grado di vedere il paziente. La realtà mista è utile anche per l'educazione sanitaria. Ad esempio, secondo un rapporto del 2022 del World Economic Forum, l'85% degli studenti di medicina del primo anno della Case Western Reserve University ha riferito che la realtà mista per l'insegnamento dell'anatomia era "equivalente" o "migliore" della lezione in presenza.

### Gestione dei contenuti del prodotto

La gestione dei contenuti del prodotto prima dell'avvento della realtà mista consisteva in gran parte in brochure e poco coinvolgimento del cliente-prodotto al di fuori di questo regno bidimensionale. Con i miglioramenti della tecnologia della realtà mista, sono emerse nuove forme di gestione interattiva dei contenuti dei prodotti. In particolare, i rendering digitali tridimensionali di prodotti normalmente bidimensionali hanno aumentato la raggiungibilità e l'efficacia dell'interazione consumatore-prodotto.

### Operazione Human-in-the-loop dei robot

I recenti progressi nelle tecnologie di realtà mista hanno rinnovato l'interesse per modalità di comunicazione alternative per l'interazione uomo-robot. Gli operatori umani che indossano occhiali per realtà mista come HoloLens possono interagire con (controllare e monitorare) ad esempio robot e macchine di sollevamento in loco in una configurazione di fabbrica digitale. Questo caso d'uso richiede in genere la comunicazione di dati in tempo reale tra un'interfaccia di realtà mista con la macchina/processo/sistema, che potrebbe essere abilitata incorporando la tecnologia digital twin (un modello virtuale di un oggetto fisico).

### Aziende commerciali

La realtà mista consente ai venditori di mostrare ai clienti come una determinata merce soddisferà le loro richieste. Un venditore può dimostrare come un determinato prodotto si adatterà alle case dell'acquirente. L'acquirente con l'assistenza della realtà virtuale può virtualmente scegliere l'oggetto, girarlo e posizionarlo nei punti desiderati. Ciò migliora la fiducia dell'acquirente nell'effettuare un acquisto e riduce il numero di resi.
Gli studi di architettura possono consentire ai clienti di visitare virtualmente le loro case desiderate.

## Tecnologie di visualizzazione e prodotti

Mentre Mixed Reality si riferisce all'intreccio del mondo virtuale e del mondo fisico ad alto livello, ci sono una varietà di mezzi digitali utilizzati per realizzare un ambiente di realtà mista. Possono variare da dispositivi portatili a intere stanze, ciascuno con usi pratici in diverse discipline.

### Ambiente virtuale automatico Cave

Il Cave Automatic Virtual Environment (CAVE) è un ambiente, tipicamente una piccola stanza situata in una stanza esterna più grande, in cui un utente è circondato da display proiettati intorno a sé, sopra e sotto di esso. Gli occhiali 3D e il suono surround completano le proiezioni per fornire all'utente un senso della prospettiva che mira a simulare il mondo fisico. Da quando sono stati sviluppati, i sistemi CAVE sono stati adottati da ingegneri che sviluppano e testano prototipi. Consentono ai progettisti di prodotti di testare i loro prototipi prima di spendere risorse per produrre un prototipo fisico, aprendo anche le porte per test "pratici" su oggetti non tangibili come ambienti microscopici o interi piani di fabbrica. Dopo aver sviluppato il CAVE, gli stessi ricercatori alla fine hanno rilasciato il CAVE2, che si basa sui difetti del CAVE originale. Le proiezioni originali sono state sostituite da pannelli LCD 3D da 37 megapixel, i cavi di rete integrano il CAVE2 con Internet e un sistema di telecamere più preciso consente all'ambiente di spostarsi mentre l'utente si sposta attraverso di esso.

### Head-up display

L'head-up display (HUD) è un display che proietta le immagini direttamente davanti a uno spettatore senza offuscare pesantemente il suo ambiente. Un HUD standard è composto da tre elementi: un proiettore, che è responsabile della sovrapposizione della grafica dell'HUD, il combinatore, che è la superficie su cui viene proiettata la grafica, e il computer, che integra gli altri due componenti e calcola aggiustamenti del tempo. I prototipi di HUD sono stati utilizzati per la prima volta in applicazioni militari per aiutare i piloti di caccia in combattimento, ma alla fine si sono evoluti per aiutare in tutti gli aspetti del volo, non solo in combattimento. Gli HUD sono stati quindi standardizzati anche nell'aviazione commerciale, fino a insinuarsi nell'industria automobilistica. Una delle prime applicazioni dell'HUD nel trasporto automobilistico è arrivata con il sistema Heads-up di Pioneer, che sostituisce l'aletta parasole lato conducente con un display che proietta le istruzioni di navigazione sulla strada davanti al conducente. Da allora i principali produttori come General Motors, Toyota, Audi e BMW hanno incluso una qualche forma di display head-up in alcuni modelli.

### Display montato sulla testa

Un display montato sulla testa (HMD), indossato sopra l'intera testa o indossato davanti agli occhi, è un dispositivo che utilizza una o due ottiche per proiettare un'immagine direttamente davanti agli occhi dell'utente. Le sue applicazioni spaziano dalla medicina, all'intrattenimento, all'aviazione e all'ingegneria, fornendo uno strato di immersione visiva che i display tradizionali non possono raggiungere. I display montati sulla testa sono più popolari tra i consumatori nel mercato dell'intrattenimento, con le principali aziende tecnologiche che sviluppano HMD per integrare i loro prodotti esistenti. Tuttavia, questi display montati sulla testa sono display di realtà virtuale e non integrano il mondo fisico. I popolari HMD di realtà aumentata, tuttavia, sono più favorevoli negli ambienti aziendali. HoloLens di Microsoft è un HMD di realtà aumentata che ha applicazioni in medicina, offrendo ai medici una visione più approfondita in tempo reale, nonché ingegneria, sovrapponendo informazioni importanti al mondo fisico. Un altro HMD di realtà aumentata degno di nota è stato sviluppato da Magic Leap, una startup che sviluppa un prodotto simile con applicazioni sia nel settore privato che nel mercato consumer.

### Dispositivi mobili

I dispositivi mobili, inclusi smartphone e tablet, hanno continuato ad aumentare in termini di potenza di calcolo e portabilità. Molti dispositivi mobili moderni sono dotati di toolkit per lo sviluppo di applicazioni di realtà aumentata. Queste applicazioni consentono agli sviluppatori di sovrapporre la computer grafica ai video del mondo fisico. Il primo gioco mobile in realtà aumentata con un successo diffuso è stato Pokémon GO, che è stato pubblicato nel 2016 e ha accumulato 800 milioni di download. Mentre le applicazioni di intrattenimento che utilizzano l'AR si sono dimostrate efficaci, anche le app di produttività e di utilità hanno iniziato a integrare le funzionalità AR. Google ha rilasciato aggiornamenti alla propria applicazione Google Maps che include indicazioni di navigazione AR sovrapposte alle strade di fronte all'utente, oltre ad espandere la propria app di traduzione per sovrapporre il testo tradotto alla scrittura fisica in oltre 20 lingue straniere. I dispositivi mobili sono tecnologie di visualizzazione uniche per il fatto che sono comunemente equipaggiati in ogni momento.

## Galleria d'immagini

* Un utente in piedi nel mezzo di un ambiente virtuale automatico Cave.
* Fotografia dell'Head-up display di un F/A-18C.
* Un display per la realtà aumentata.
* La tecnologia della realtà mista mostrata a trent'anni di distanza. La sinistra mostra il sistema Virtual Fixtures presso l'Air Force Research Laboratory nel 1992. La destra mostra il prodotto commerciale Meta Quest Pro nel 2022.
* Una fotografia ravvicinata di un robot utilizzato in una competizione di calcio della lega RoboCup Mixed Reality. Scattata all'evento Japan Open RoboCup di Osaka 2010.
* Simulatore di realtà mista