# Andmeteadus

Komeet NEOWISE (pildil kujutatud punaste punktide jadana) olemasolu avastati kosmoseteleskoobi WISE tehtud astronoomiliste mõõtmiste andmete analüüsimise tagajärjel
**Andmeteadus** on interdistsiplinaarne valdkond, milles kasutatakse mitmesuguseid meetodeid, et saada teadmisi nii struktureeritud kui ka struktureerimata andmetest. See on seotud andmekaeve ja suurandmetega.

Teadusharu ühendab statistika, andmeanalüüsi ja nendega seotud meetodid, et mõista ja analüüsida tegelikke nähtusi andmete abil. Valdkond tugineb matemaatika, statistika, informaatika ja infoteaduste valdkondade tehnikatele ja teooriatele. Turingi auhinna võitja Jim Gray on nimetanud andmeteadust teaduse neljandaks paradigmaks – empiirilise, teoreetilise ja arvutusliku suuna kõrval on nüüd kesksel kohal andmetest juhitud lähenemine. Gray hinnangul on infotehnoloogia areng ja andmete üleküllus muutmas teaduse olemust tervikuna.

## Andmeteaduse mõiste

Kuigi mitmed uurijad on püüdnud andmeteadust defineerida, puudub sellel üks kindel ja üldtunnustatud määratlus.

* Vasant Dahri järgi keskendub andmeteadus andmetest teadmuse väljaselekteerimisele.

* Foster Provost ja Tom Fawcett defineerivad andmeteadust aluspõhimõtete kogumina, mis toetab ja juhib informatsiooni ja teadmiste saamist andmetest.

* John W. Foreman peab andmeteaduseks andmete muutmist matemaatika ja statistika abil teadmisteks, otsusteks ja toodeteks.

* John D. Kelleher ja Brendan Tierney näevad andmeteadust põhimõtete, probleemipüstituste, algoritmide ja protsesside kogumina, mis võimaldab suurtest andmehulkadest kasulikke seaduspärasid leida. Nad toovad esile ka praktilised murekohad: sotsiaalmeedia struktureerimata andmete kogumine, suurandmete tehnoloogiline haldamine ning andmekasutuse eetika ja regulatsioonid.
* Andmeteaduse Ühingu sõnul on andmeteadus andmete loomise, kehtivuse kontrollimise ja muutmise teaduslik uurimine, mille eesmärk on tähenduse loomine.

Üldiselt valitseb üksmeel, et andmeteadus keskendub suurandmetest väärtuslike mustrite tuvastamisele ning andmete muutmisele teadmisteks. See hõlmab kõiki tegevusi, mis toetavad andmepõhist otsustusprotsessi. Oluline on mõista, et andmeteadus ei ole eesmärk omaette, vaid meetodite kogum, mis aitab püstitatud eesmärke andmete abil tõhusamalt saavutada.

### Mõiste seos statistikaga

Statistikud, sealhulgas Nate Silver, on väitnud, et andmeteadus ei ole eraldiseisev valdkond, vaid seda võib pidada statistika uueks nimetuseks. Samas leidub arvamusi, et andmeteadus eristub statistikast, kuna keskendub spetsiifiliselt digitaalsetele andmetele ainuomastele probleemidele ja meetoditele. Stanfordi professor David Donoho leiab, et andmekogumite suurus või masinarvutuste kasutamine ei ole piisav eristusalus. Tema hinnangul nimetatakse ülikoolides analüüsi- ja statistikaõppeaineid andmeteaduseks pigem reklaami eesmärgil ning sisuliselt on tegu traditsioonilisest statistikast välja kasvanud rakendusvaldkonnaga. Kokkuvõtvalt võibki andmeteadust käsitleda rakendusstatistika haruna.

## Andmeteaduse soovituslik töötsükkel

Andmeteadlaste Il-Yeol Songi ja Yongjun Su hinnangul peaks andmeteadlane oma töös läbima kaheksa etappi.

|  |  |
| --- | --- |
| 1. Küsimuste ja võimaluste mõistmine | Millisele küsimusele vastust otsitakse? Milliseid mõõdikuid hinnatakse?
Hüpoteesi sõnastamine. Ressursside (inimesed, andmed, töövahendid) hindamine. |
| 2. Andmete mõistmine | Andmeressursside tuvastamine, andmete taaskasutamise ja integreerimise kava, andmete tuvastamine ja tööriistade üle otsustamine. |
| 3. Andmete ettevalmistamine | Andmete hankimine ja hindamine, puhastamine, teisendamine. Andmete kvaliteedi kontrollimine. |
| 4. Mudeli planeerimine | Meetodite, tehnikate ja töövoo kindlaks määramine. Peamiste muutujate valimine ja nendevahelise korrelatsiooni määramine. |
| 5. Mudeli loomine | Mudeli katsetamine, selle analüüs ja kordamine. |
| 6. Hindamine | Hindamine mõõdikute alusel. Tulemuste ja soovituste esitamine. |
| 7. Juurutamine | Analüüsiprotseduuride integreerimine töölaua jms süsteemidega. |
| 8. Jälgimine | Tegevuse jälgimine ja parandamist vajavate osade väljaselgitamine. |

## Rakendusvaldkonnad

Andmeteadust rakendatakse üha enam ja selle kasutusvaldkonnad ulatuvad majandusest ja haridusest kuni kosmoseteaduse ning sotsioloogiani. Suurandmete analüüsist on seni suurimat kasu saanud jaemüük, telekommunikatsioon, tervishoid, finantsteenused, logistika ja mitmed tööstusharud, nagu auto- ning toiduainetetööstus.

Andmeteaduse rakendusvaldkonnad on näiteks:

* pettuste tuvastamine ja riskide hajutamine – pankade võime ennustada kliendi maksevõimekust tulevikus;
* meditsiin ja tervishoid – vähirakkude tuvastamine koepiltidest, ravimite väljatöötamine, personaalmeditsiini edendamine;
* infotehnoloogia – otsingumootorid (Google, Bing) optimeerivad tulemusi algoritmidega ning reklaame pakutakse kasutajate varasema käitumise põhjal;
* pildituvastus (*advanced image recognition*) – näiteks Google'i pildiotsing;
* kõnetuvastus – näiteks Google Voice, Siri ja Cortana, kus häälsõnum teisendatakse tekstiks;
* lennuliikluse planeerimine – hilinemiste prognoosimine ja lennukipargi haldamine;
* mängud (*gaming*) ja liitreaalsus (*augmented reality*) – masinõppe algoritmid, mis kohanduvad mängija tasemega või kombineerivad andmeid füüsilise maailmaga, nagu näiteks mängus Pokémon GO, mis paneb mängija füüsilises maailmas ringi liikuma ja Pokemone taga ajama.

## Andmeteadlase oskused

Andmeteadlane otsib suurtest andmehulkadest mustreid ja seoseid, kombineerides tehnilisi vahendeid ning kriitilist mõtlemist, et pakkuda praktilisi lahendusi andmekesksetele probleemidele. Andmeteadlase elukutset on peetud üheks 21. sajandi kõige olulisemaks. Ameerika Ühendriikide tööotsinguportaal Glassdoor tunnistas andmeteadlase 2018. aastal parimaks ametiks. Andmeteadlased vajavad komplekssete probleemide lahendamiseks laiapõhjalisi teadmisi ja oskusi mitmetest valdkondadest, näiteks matemaatikast ja statistikast, arvutiteadusest ja infoteadusest. Andmeteadus on tihedalt seotud tõenäosusmudelite, andmekaeve, andmete visualiseerimise ja spetsiifiliste valdkonnateadmistega.

Andmeteadlasele vajalikud oskused:

* programmeerimine: algoritmid ja andmestruktuurid, veebiandmete kraapimine, SQL, R, Python, Excel, töö andmebaasidega;
* andmete visualiseerimine: kujunduspõhimõtete tundmine, teekide (R ggplot2, D3) kasutamine;
* valdkonna- ja äriteadmised: ärianalüütika tööriistade (Tableau) kasutamine;
* suurandmed ja pilveandmetöötlus (Apache Hadoop, Apache Pig);
* matemaatika: masinõppe, statistika ja tõenäosusteooria alused;
* pehmed oskused: suhtlemis-, lugude jutustamis-, esinemis-, väljendus- ja veenmisoskus, kohanemisvõime ning pidev enesetäiendamine.

## Andmeteaduse õpetamine Eestis

Tartu Ülikooli arvutiteaduse instituudis on avatud andmeteaduse ja tehisintellekti eestikeelne magistriõppekava. Eriala üliõpilastel on Tartu Ülikoolis võimalik valida kolme õppesuuna vahel:

* andmeteadus äriettevõttes;
* andmeteadus humanitaarias ja sotsiaalteadustes;
* andmeteadus loodus- ja terviseteadustes.

## Vaata ka

* Andmeanalüüs
* Andmekaeve
* Andmete visualiseerimine
* Masinõpe
* Statistika
* Suurandmed
* Tehisintellekt

## Viited

## Välislingid

Kõrgkooliõpik "Praktiline andmeteadus"