Lisätty todellisuus
Lisätty todellisuus () viittaa näkymään, johon on lisätty tietokonegrafiikalla tuotettuja elementtejä ja jota käyttäjä tarkastelee läpikatseltavien (see-through) näyttöjen kautta. Se on siis järjestelmä, jossa keinotekoista, tietokoneella tuotettua tietoa (kuva, ääni, video, teksti, GPS-informaatio) on lisätty näkymään todellisesta ympäristöstä.
Yhdysvalloissa asuva Ronald Azuma määritteli vuonna 1997 lisätyn todellisuuden seuraavasti:
Lisätty todellisuus liittyy laajempaan tehostetun todellisuuden ("mixed reality") käsitteeseen, joka voidaan nähdä liukuvana jatkumona kevyesti lisätystä todellisuudesta kohti täydellisempää immersiota virtuaalitodellisuuteen.Lisätyn todellisuuden näyttöteknologiat voidaan jakaa kolmeen kategoriaan:
Päässä pidettävät näytöt voidaan jakaa kahteen luokkaan, optisiin näyttöihin ja videonäyttöihin. Optisissa näytöissä käyttäjä näkee todellisuuden läpinäkyvän pinnan läpi ja virtuaalinen informaatio liitetään tähän pintaan. Videonäytöissä todellisuus kuvataan päässä pidettävän kameran läpi ja tämä informaatio liitetään virtuaaliseen informaatioon ennen sen esittämistä käyttäjälle näytön kautta.
Molemmilla näyttötekniikoilla on omat hyvät ja huonot puolensa. Optinen näyttö on selkeästi parempi esittämään kuvaa reaalimaailmasta, koska tätä kuvaa ei ole tarpeen käsitellä mitenkään tai esittää näytöstä, jonka erottelukyky ei vastaa silmän erottelukykyä. Optinen näyttö myös säilyttää silmien syvyysvaikutelman muuttumattomana, kun taas videonäytöissä syvyysvaikutelma on toteutettava stereonäyttöjen avulla. Stereonäytöissä molemmille silmille on oma näyttö sekä oma kamera, jotka kuvaavat todellisuutta samoilta paikoilta kuin silmät luoden syvyysvaikutelman.
Optinen näyttö on huonompi todellisuuden ja virtuaalisen informaation yhdistämisessä uskottavasti, koska virtuaalista informaatiota ei saada esitettyä niin, että se peittäisi kokonaan todellisen näkymän. Tällöin seurauksena voi olla haamukuvamainen vaikutelma, joka voi haitata informaation havaittavuutta.
Optisten näyttöjen toinen ongelma on niiden jokaiselle käyttäjälle erikseen tehtävä aikaa vievä kalibrointi. Kalibrointia tarvitaan, jotta virtuaalinen informaatio saadaan kohdistettua tarkasti todelliseen näkymään. Käytännössä optiset näytöt täytyy kalibroida joka kerta, kun ne otetaan pois ja laitetaan takaisin päähän tai kun näytön etäisyys käyttäjän silmistä muuttuu.
Optisten ja virtuaalisten näyttöjen lisäksi eräs kehitysasteella oleva teknologia on virtuaalinen verkkokalvonäyttö (virtual retinal display) . Tekniikka perustuu matalatehoiseen laseriin, jolla piirretään kuva suoraan käyttäjän verkkokalvolle. Tulevaisuudessa saattaa myös olla mahdollista hankkia silmään verkkokalvolle asennettava implantti, johon virtuaalinen informaatio voidaan välittää suoraan.
Kädessä pidettävä näyttö voi olla esimerkiksi kannettava tietokone tai matkapuhelin varustettuna kameralla, jolloin laitteen näytöllä esitetään kameran kautta kuvattu ympäristö täydennettynä lisätyn todellisuuden informaatiolla. Kannettavien tietokoneiden heikkoutena on niiden kalleus, melko suuri koko ja lyhyt käyttöaika suuren virrankulutuksen vuoksi, matkapuhelimissa puolestaan pienet näytöt sekä tehoiltaan vaatimattomat prosessorit. Matkapuhelinten ja kämmentietokoneiden ominaisuuksien kehittyessä ja hintojen laskiessa nopeasti niistä on tullut houkuttelevia vaihtoehtoja lisätyn todellisuuden näyttölaitteiksi. Lähes kaikissa matkapuhelimissa on kamera sekä muita lisätyn todellisuuden mahdollistavia teknologioita, kuten kompassi ja GPS.
Vaikka vaikuttaisikin siltä, että matkapuhelinten pienet näytöt olisivat huonoja lisätyn todellisuuden informaation esittämiseen, Hwangin ja kumppaneiden 2006 tekemässä tutkimuksessa todetaan, että käyttäjän saadessa liikuttaa ruutua vapaasti luo se uppoutumisen elämyksen, joka on verrattavissa näkymään suuremmalla näytöllä.
Suomessa merkittäviä tutkimuksia aiheesta ovat Nokian MARA sekä VTT:n lisätty todellisuus- työryhmän tutkimukset.
Nykyisin videoprojektori ei ole enää keskikokoista matkapuhelinta suurempi, ja tämän vuoksi kiinnostus kannettavia videoprojektoreja kohtaan lisätyn todellisuuden näyttölaitteina on lisääntynyt. Massachusetts Institute on Technologyssa (MIT) on kehitetty SixthSense- järjestelmä, joka hyödyntää kannettavaa projektoria virtuaalisen informaation heijastamiseen mille pinnalle tahansa, esimerkiksi sanomalehden pinnalle. .
Projektoreita on aiemmin tutkittu käytettäväksi mm. lääketieteellisissä sovelluksissa, koska leikaussalissa lisätty todellisuus olisi helpompaa toteuttaa paikallaan olevalla projektorilla kuin tarkkaa kalibrointia ja reaaliaikaista seurantaa vaativalla päässä pidettävällä näytöllä. .
Yksi lisätyn todellisuuden yleistymistä rajoittava ongelma on todellisuuden ja virtuaalisen informaation kohdistaminen. Todellisen ja virtuaalisen informaation täytyy olla tarkasti toisiinsa kohdistettua, jotta informaation yhtenäisyyden illuusio ei hajoaisi. Kohdistusongelman ratkaisuun voidaan käyttää useita seurantamenetelmiä . Useita menetelmiä vaaditaan, koska yksi menetelmä voi toimia hyvin jossain tilanteessa, mutta pettää täysin toisessa tilanteessa. Esimerkiksi GPS voi toimia hyvin ulkotiloissa mutta menettää sisätiloissa välttämättömän yhteyden GPS- satelliitteihin. Usein käytetäänkin usean eri menetelmän yhdistelmää, jotta varmistetaan luotettavin ja tarkin seuranta sekä kohdistus. Näitä menetelmiä ovat mm. kiihtyvyysanturit, gyroskoopit, ultraääni, magneettikentät, GPS- seuranta sekä optinen seuranta.
Jotta käyttöliittymät olisivat intuitiivisia ja helppokäyttöisiä, tulee myös käyttäjän vuorovaikutukseen eli interaktioon virtuaalisen tiedon kanssa kehittää mahdollistavaa teknologiaa. Yksinkertaisimmillaan vuorovaikutus toteutetaan tietokoneen näppäimistön ja hiiren avulla, mutta tämä ei ole helppokäyttöisin vuorovaikutusmalli käytettäessä järjestelmää, jota ei välttämättä käytetä pöydän ääressä. Käytettäessä kämmenessä pidettävää näyttöä voidaan hyödyntää esimerkiksi kosketusnäyttöä.
MIT:n SixthSense- järjestelmässä interaktio on toteutettu erivärisillä sormiin asetettavilla seurantamerkeillä. Näiden avulla järjestelmä tunnistaa kameran kuvasta, missä mikäkin merkitsevä sormi sijaitsee, ja tekee päätökset interaktiosta sen perusteella.
Tinmith- järjestelmässä interaktioon käytetään käsineitä, joihin on yhdistetty seurantamerkit sekä käyttäjän sormien painallukset tunnistava laitteisto.
Tietokone analysoi visuaalisen datan ja paikkatiedot ja käyttää näitä tietoja reaalisen näkymän ja lisätyn todellisuuden elementtien mahdollisimman täsmälliseen yhdistämiseen.
Lisätyn todellisuuden sovellukset voidaan jaotella useaan eri luokkaan Ronald T. Azuman ja kumppaneiden kirjoittamien artikkeleiden mukaan. Vuonna 1997 Azuma lajitteli artikkelissaan sovellukset kuuteen eri luokkaan käyttötarkoituksen mukaan. Myöhemmässä artikkelissa vuonna 2001 Azuma ja kumppanit lajittelivat lisätyn todellisuuden sovellukset hieman yleisempiin kategorioihin:
On huomioitava myös muita sovellusryhmiä, joista osa on myös mainittu Azuman aiemmassa artikkelissa ja joiden sovittaminen edellä mainittuihin kategorioihin on hankalaa, mutta kyse on kuitenkin hyvin tärkeistä sovellusalueista:
Kannettavien laitteiden käyttöä on tutkittu pitkään etukäteen valmistelluissa sisätiloissa . Yhtenä esimerkkinä on NaviCam, joka perustuu kannettavan videokameran kuvaan . Liikuttavalle alueelle on asetettu laitteiston tunnistamia kuvia (fiducials), joiden perusteella ympäristöön voidaan asettaa lisätyn todellisuuden objekteja, kuten tietoa uusista julkaisuista, jotka löytyvät kirjahyllystä.
Ensimmäinen ulkoilmaan suunniteltu sovellus oli Touring Machine, joka kehitettiin Kolumbian yliopistossa. Sovellus näyttää käyttäjälle tietoja ympäristöstä, esimerkiksi talojen nimiä ja niihin liittyviä tietoja. Sovellusta on kehitetty niin, että nykyään on mahdollista näyttää vanhoja jo purettuja rakennuksia ympäri yliopiston aluetta ja osoittaa reittejä, joita pitkin käyttäjä pääsee haluamaansa kohteeseen. Toisen samankaltaisen järjestelmän (Battlefield Augmented Reality System) on kehittänyt The Naval Research Lab. Järjestelmän avulla voidaan ympäristöön lisätä 3D-objekteja, kuten vaarallisia alueita ja sotilasoperaatioiden kohteita. Samankaltaista alustaa hyödyntää myös ARQuake, jossa käyttäjä näkee todellisessa maailmassa virtuaaliobjekteja eli vihollisia ja pyrkii tuhoamaan ne . Nähtävyyksiä pyritään elävöittämään kannettavien laitteiden avulla, mistä hyvänä esimerkkinä on Archeoguide-projekti.
Useat lisätyn todellisuuden sovelluksista hyötyvät mahdollisuudesta, että useampi ihminen voi samaan aikaan katsella, keskustella ja olla vuorovaikutuksessa kolmiulotteisten mallien kanssa. Voidaan erotella kaksi toisistaan poikkeavaa tapaa, joiden avulla voidaan toteuttaa yhteistyön mahdollistava vuorovaikutus.
Mille tahansa tasaiselle pinnalle heijastetaan projektorin avulla lisätyn todellisuuden objekteja, jotka on mahdollista kaikkien nähdä ja olla vuorovaikutuksessa, mutta samalla mahdollisuudet ovat hyvin rajatut ja sidotut kyseiseen pintaan. Esimerkkinä voidaan pitää J.Rekimoton esittelemää lisätyn todellisuuden tasoa, jolle voidaan asettaa virtuaalisia objekteja kaikkien tarkasteltavaksi. Toisena vaihtoehtona on toistensa kanssa synkronisoidut lasit, joiden läpi käyttäjät katsovat. Tämä mahdollistaa kolmiulotteisten objektien asettamisen mihin tahansa ympäristöön. Esimerkkinä järjestelmästä on Studierstube , joka käyttää apuna laseja, joiden avulla käyttäjät voivat olla vuorovaikutuksessa kolmiulotteisten objektien kanssa.
On myös esitetty useita vaihtoehtoisia järjestelmiä, jotka mahdollistaisivat käyttäjäkohtaisesti muokattavan käyttöliittymän. Tämä lisäisi mahdollisuuksia lisätä yksityistä tietoa, jota muut eivät voi nähdä, mutta samalla antaa eritasoisille käyttäjille mahdollisuuden lisätä enemmän tietoa omaan näkymään, mikä helpottaa heidän työskentelyään.
Lisättyä todellisuutta on hyödynnetty useaan otteeseen kaupallisiin tarkoituksiin. Erityisesti urheilussa on voitu hyödyntää lisättyä todellisuutta tuomalla tv-lähetykseen lisäsisältöä, joka helpottaa lähetyksen seuraamista, kuten FoxTrax -järjestelmä, jota on hyödynnetty jääkiekossa helpottamaan kiekon huomaamista.
Suomessa rakennusalan tiettävästi ensimmäinen kaupallinen lisättyä todellisuutta käyttävä palvelu on FCG Finnish Consulting Groupin ja VTT:n yhteistyönä tarjoama paikkamallinnus, jota käytetään rakennusten ja aluesuunnitelmien havainnollistamiseen paikan päällä. Palvelua on käytetty muun muassa Helsingin kaupungin suunnitteluhankkeissa (www.fcg.fi/paikkamallinnus).
Lääkäreille lisätty todellisuus tuo paremman näkymän ihmisen sisään ja toimii apuna kirurgian harjoittelussa. Erilaisilla kuvausmenetelmillä, kuten magneettikuvaus, tietokonetomografia tai ultraäänikuvaus, voidaan luoda näkymä ihmisen "sisään", mikä helpottaa esimerkiksi tähystysleikkauksia. Lisätty todellisuus antaa mahdollisuuden ohjata neulaa ihmisruumiin sisällä, mikä helpottaa esimerkiksi koepalan ottamisen rintasyöpätutkimuksissa.
Asennusta ja kunnossapitoa pyritään helpottamaan luomalla kolmiulotteinen näkymä henkilön silmien eteen ja näyttämällä vaihe kerrallaan miten asennus tai korjaus pitää tehdä. Samalla järjestelmällä voidaan lähettää kuva eri asiantuntijoille, jotka voivat neuvoa korjaajaa.
Erityisesti digitaaliseen ympäristöön siirretty ohjeistus helpottaa monimutkaisten järjestelmien korjaamista, kuten lentokoneiden sähköjärjestelmiä.
Sotilaslentokoneissa ja -helikoptereissa on käytössä heijastusnäyttö ja kypärään asennettu näyttö, jotka auttavat lentäjää näyttämällä esimerkiksi navigointia helpottavaa tietoa. Laitteistolla voidaan osoittaa kohteita maassa ja ilmassa, jotka ovat oleellisia sotilasoperaatioiden kannalta. On myös mahdollista ohjata esimerkiksi helikopterin tykkiä pelkän katseen avulla, joka helpottaa tähtäämistä.
Ennen rakentamisen aloittamista lisätyn todellisuuden avulla voidaan luoda tulevalle ostajalle realistinen kuva rakennettavasta talosta vaikka suoraan tontilla. Suunnitteluvaiheessa on mahdollista tulevaisuudessa sovittaa esimerkiksi ovet ja ikkunat paikoilleen, mikä antaa suunnittelijalle paremman kuvan suunniteltavasta rakennuksesta. Varsinaisessa rakennusvaiheessa voidaan osoittaa mistä esimerkiksi viemäriputket menevät, joka auttaa maansiirtokoneiden kuljettajia muokkaamaan maata oikealla tavalla. Toisin sanoen erityisesti rakentamisessa on useita osa-alueita, joissa voidaan hyödyntää lisättyä todellisuutta ja samalla helpottaa tulevaisuuden rakentamista.
Logistiikassa AR-teknologiaa käytetään tiedon rikastamiseen. AR-lasien avulla voi varaston työntekijä nähdä, mitä varaston hyllyssä on, mihin osoitteeseen tavara on menossa, mitä merikonttiin tulee lastata tai mitä tavararyhmää lentokoneesta on purettava. Virtuaalitodellisuus vähentää virheiden määrää ja toiminnasta tulee nopeampaa sekä turvallisempaa.
Lisättyä todellisuutta käytetään laajasti koulutuksessa mm. varhaiskasvatuksessa, suomalaisessa esi- ja perusopetuksessa ja lukio-opetuksessa. Pientenkin lasten kanssa lisättyä todellisuutta voidaan käyttää mm. lasten osallistamiseen oman ympäristön suunnitteluun. Valmiita ja ilmaisia tuntisuunnitelmia lisätyn todellisuuden käytöstä esi- ja perusopetuksessa löytyy mm. suomalaisen koulutusteknologiayrityksen 3DBear sivuilta sekä ilmaisesta 3DBear AR appista. Koulutuksessa käytetyin lisätyn todellisuuden laite on tabletti tai älypuhelin, mutta myös vaativampia sovelluksia käytetään kuten Microsoft Hololensia.