# Video mapping

Il video mapping (declinato secondo molteplici definizioni per lo più commerciali: Mapping, Visual Mapping, Audio visual Mapping, 3D Mapping, 3D Projection Mapping, Projection Mapping, Video mapping, Dynamic Mapping, Vestire con la luce, Architectural dressing, Trompe l'oile digitale, Affreschi digitali, Disegnare con la luce, Live painting, Projected augmented Reality, Shader Lamps, etc..) è una particolare forma di realtà aumentata, detta anche Spatial Augmented Reality (di seguito SAR) o più in generale ascrivibile alla categoria della Realtà mista, e consiste nell’arricchire, con la mediazione e l’uso di un sistema di video proiezione e un computer, la percezione sensoriale umana con l’aggiunta di ulteriori informazioni rispetto a quelle percepite dall’osservatore. “Nella Spatially Augmented Reality, l’ambiente fisico dell’utente è aumentato con immagini che sono direttamente integrate nell’ambiente dell’utente. Per esempio le immagini potrebbero essere proiettate sugli oggetti reali usando proiettori digitali, o integrati direttamente all’ambiente per mezzo di display a schermo piatto”. Era il 1998 e questa definizione è di Ramesh Raskar (inventore della femto-photography che permette di fotografare un trilione di frame per secondo), Professore Associato presso il MIT Media lab di Boston, colui che ha scientificamente posto le basi informatiche della “Spatial Augmented Reality”. Il termine "mapping" trae probabilmente origine anche dall'analogia originaria di ricalco delle mappe geografiche che avveniva secondo diverse tipologie di proiezione (come quella conica o cilindrica), le quali creano una corrispondenza biunivoca tra il luogo rilevato e la mappa disegnata (una funzione matematica) da cui anche il termine di texture mapping.
In particolare tale tecnologia multimediale permette di trasformare qualsiasi superficie in un display dinamico. La coincidenza tra oggetto reale e modello virtuale si avvale di tre trasformazioni geometriche che utilizzate nell'ordine che segue permettono il perfetto matching (coincidenza). Esse sono: l'omotetia, l'omografia e l'anamorfosi. Tali trasformazioni geometriche sono gestite dal modulo di warping (o mesh warping) di opportuni software nati proprio per il video mapping. La SAR gioca sull'illusione ottica tra la superficie reale e la sua seconda "pelle" virtuale, alterando la percezione visiva ed arricchendo la percezione sensoriale umana. Negli ultimi anni la SAR è stata molto utilizzata anche nel contesto dei beni culturali in quanto si è dimostrata un ottimo strumento di edutainment grazie all'uso combinato di una drammaturgia digitale.

## Storia

I primi riferimenti storici di proiezioni su superfici architettoniche sono le famose rappresentazioni di ombre cinesi, che sono state utilizzate nei teatri della dinastia Han (206-220 a.C.); si può definire come il primo rudimentale tentativo di raffigurazione di video mapping nella storia ed arte antica che utilizza come l'elemento base la luce.
Un passo successivo fondamentale nella storia della mappatura è stata la lanterna magica, prima forma di proiezione d'immagini dipinte su una parete tramite una scatola chiusa contenente una candela, la cui luce filtrata dal foro, passa attraverso una lente. Il primo proiettore della storia diventò subito popolare, fino ad essere usato nelle grandi esposizioni internazionali dove si cercava sempre di innovare e stupire il pubblico.
Verso la fine del secolo XVII si inventò la Fantasmagoria, forma di teatro che usava una versione modificata della lanterna magica per proiettare immagini spaventose come scheletri, demoni e fantasmi; consisteva in un proiettore più sofisticato composto da un innovativo mix di lanterne magiche. Questa forma di teatro guadagnò popolarità in Europa e soprattutto in Francia ed Inghilterra nel corso del XIX secolo, fintanto ad essere usato come tecnica base per quello che si ritiene il primo cartone animato della storia, chiamato Fantasmagorie appunto, realizzato nel 1908 in Francia.
I primi esperimenti visivi di installazioni video per proiezioni dinamiche risalgono negli anni cinquanta con l'emblematico esempio "Proiezioni dirette" dell'artista e designer italiano Bruno Munari, opere d'arte prodotte con tecniche miste definite come "affreschi di luce". Il lavoro dell'artista può essere definito come uno dei primi a disegnare con la luce.
Si arriva agli anni sessanta quando la tecnologia evolve e si incomincia a parlare di video mapping, realtà aumentata o shader lamps. Una delle prime proiezioni su un oggetto 3D fu nel 1969, quando Disneyland aprì la sua attrazione Haunted Mansion: al suo interno per realizzare illusioni ottiche per ben 999 fantasmi hanno collocato dei proiettori da 16 mm su delle pareti e hanno proiettato su veli semitrasparenti per ricreare i fantasmi, servendosi poi anche della tecnica Pepper's ghost. Nel 1994 la Disney realizzò il primo brevetto che sfrutta la tecnica di pittura digitale su oggetti reali tridimensionali con il nome "Apparatus and method for projection upon a three-dimensional object".
Altre proiezioni di video mapping indoor risalgono al 1984, quando Michael Naimark filmò delle persone che interagivano con oggetti virtuali proiettati in un salotto vuoto, e così si creavano illusioni come se le persone agissero direttamente su oggetti reali. L'installazione dell'artista si chiama "Displacements" e può essere considerata come il primo esempio di "mapping complesso", tecnica riutilizzata e perfezionata nel 2011 dalla Sony realizzando un video anamorfico chiamato "Sony Real Time Projection Mapping".
Sempre negli anni ottanta l'artista fiorentino Mario Mariotti realizzò sulla facciata incompiuta della Basilica di Santo Spirito a Firenze una proiezione per interpretare secondo la propria fantasia il prospetto non compiuto del Brunelleschi.
Il concetto di video mapping venne studiato della North Carolina University di Chapel Hill, alla fine del 1990, in cui i ricercatori hanno lavorato sul progetto Office of the Future: in questo studio gli scienziati hanno voluto collegare uffici di luoghi differenti in uno stesso spazio, come se gli ambienti e le persone fossero tutti nella stessa stanza, con l'aiuto di proiettori e schermi.
Dal 2001 gli artisti hanno incominciato ad interpretare il video mapping per le opere creative.

## Procedimento

Esistono vari metodi (divisi tra base e avanzati) che consentono - in funzione della complessità dell'oggetto e del LOD (Level Of Detail) - di ottenere il matching tra oggetto reale e modello virtuale. Per oggetto si intende veramente di tutto: ad esempio una facciata di una chiesa, una semplice parete o una stanza a 360°). Il procedimento base, quanto più generale possibile e senza entrare nella casistica dei casi più complessi, prevede di ricostruire virtualmente (o in ambiente 3D o in 2D) le superfici dell'oggetto su cui insisterà la video proiezione. Solitamente si inizia, ma è sconsigliabile, da un rilievo architettonico oppure da una fotografia scattata dal punto di vista "presunto" in cui si collocherà il video proiettore. Si effettuerà il foto raddrizzamento dell'immagine e si ricalcheranno le forme architettoniche o geometriche creando quelle che tecnicamente sono chiamate "maschere di livello" (solitamente ogni livello ha un suo colore). Tali maschere permettono sia di generare video che il modello 3D dai tracciati ma soprattutto servono da guida per il matching finale tramite il modulo di warping del software utilizzato. In tale procedimento c'è da tenere in considerazione anche la scelta del video proiettore con le opportune ottiche in relazione alla distanza di questo dalla superficie.