Data mining

Data mining (datautvinning, eller kunnskapsfunn i databaser) vil si å gjennomgå store, eksisterende databaser for å generere ny informasjon. Hovedformålet med data-utvinningsprosessen er å hente ut informasjon fra datasett og transformere det til en forståelig struktur for videre bruk.

Bakgrunn

Manuell utvinning av mønster fra data har eksistert i mange århundrer med metoder som Bayes' teorem (1700-tallet) og regresjonsanalyse (1800-tallet). Utviklingen av datateknologi har økt muligheten til innhenting, lagring og manipulering av data. Ettersom at datasett har økt i størrelse og kompleksitet, har manuell utvinning blitt erstattet med indirekte og automatiserte måter å prosessere data på. Eksempler på dette er genetisk algoritme (1950-tallet), beslutningstre (1960-tallet), nevralt nettverk (1970-tallet) og støttevektormaskiner (1990-tallet).

Pre-prosessering

Før datautvinningsalogitmer kan bli brukt, må man velge et konkret datasett. På grunn av at datautvinning bare kan oppdage mønster som faktisk er til stede i data, må det valgte datasettet være stort nok til å kunne inneholde disse mønstrene. Samtidig skal mønstrene bli funnet innen en akseptabel tidsfrist. Pre-prossesering er viktig for å analysere multivariable datasett før datautvinningen. Datasettet blir deretter renset for å fjerne observasjoner som inneholder støy eller mangler data.

Validering av resultat

Datautvinning kan utilsiktet bli misbrukt, og kan da gi resultater som synes å være av betydning. Disse resultatene vil ikke kunne forutsi fremtidig atferd, og kan ikke reproduseres på en ny prøve av data.
Det siste steget av kunnskapsfunn fra data er å verifisere at mønstrene som er produsert av datautvinningsalgoritmene oppstår i større datasett. Mønstre funnet av algoritmene er ikke nødvendigvis gyldige. Det er vanlig for algoritmer å finne mønstre i treningssettet som ikke er tilstede i det generelle datasettet. Dette kalles overtilpassing. For å løse dette bruker evalueringen et testsett med data som algoritmen ikke er trent i. De lærde mønstrene påføres dette datasettet, og det faktiske resultatet blir sammenlignet med ønsket resultat.
Hvis de lærde mønstrene ikke oppfyller de ønskede standarder, er det nødvendig å revurdere og endre pre-prosessering og datautvninngstrinnene. Hvis de derimot oppfyller de ønskede standarder, så må man tolke de lærde mønstrene og gjøre dem om til kunnskap.

Situasjonen i USA

I USA har bekymringer for personvernet vært adresser i en viss grad av den Amerikanske Kongressen, via passeringer av regulatoriske kontroller som Health Insurance Portability and Accountability Act (HIPAA). HIPAA krever at enkelt personer gir "informert samtykke" om informasjon de gir, for nåværende og fremtidig bruk.
Beskyttelse gjennom informert samtykke blir undergravd av kompleksiteten til samtykkeerklæringer som kreves av deltakere. Samtykkeerklæringene er ofte uforståelig for den gjennomsnittlige mannen i gaten. Dette understreker nødvendigheten til data anonymitet i data aggregering- og datautvinningspraksiser.
Personvernlovgivning som HIPAA og Family Educational Rights and Privacy Act (FERPA) gjelder kun for de spesifikke områdene som slike lover adresserer. De fleste bedrifters datautvinning i USA, er ikke kontrollert av noen lovgivning.

Situasjonen i Europa

Europa har sterke personvernlover, og det arbeides med å styrke rettighetene til forbrukerne ytterligere. Men, U.S.-E.U. Safe Harbor-prinsippene utsetter europeiske brukere for personvern utnyttelse fra amerikanske selskap. Som en konsekvens av Edward Snowden's Global surveillance disclosure, har det blitt en økt diskusjon om å oppheve denne avtalen.