Dataprofilering

Dataprofilering er aktiviteten å lage et forståelig bilde av innholdet og strukturen til en datakilde.

Med millioner av rader med data kan ikke en kilde beskrives uten en viss form for aggregering av måltall, eller sagt på en annen måte; at man presenterer en profil av datainnholdet og/eller strukturen.

 Motivasjon 
Motivasjonen for dataprofilering som eget felt innen IT har i hovedsak kommet fra frustrasjonen datavarehusutviklere hadde i forbindelse med uforutsigbar datakvalitet i kilder. Forretningslogikk for lasting av data til datavarehusene ble (og blir) ofte gjort mer med utgangspunkt i antagelser enn fakta om egenskapene til kilden.
For eksempel ved å se på databasemodeller for kilden. Problemet er at slike modeller ofte ikke er oppdatert, eller at tilstrekkelig referanseintegritet ikke er implementert. 

Ved å bruke profilering av kilden kan man på forhånd få kunnskap om kilden basert på undersøkelse av reelt datainnhold. 

 Forskjellige måter å profilere på 
 Datainnhold 
Innholdsmessig kan dette kan aggregeres i form av frekvenslister over forekomster av forskjellige verdier. 
I noen tilfeller er dette hensiktsmessig, for eksempel hvis man skal liste forskjellige verdier for produktnavn:

Navn  AntallSony Ericcsson C905  93SE 905  4Nokia N95  123N95  33...  ..

 Datatyper, formater og mønstre 
Tekstfelter kan ofte inneholde mange forskjellige datatyper eller formater. For eksempel datoer, emailadresser, web-adresser, etc.. Profilering kan avdekke hvilken type format, mønster, datatype eller kjente informasjonstyper (web, mail, navn, osv.) det er snakk om.

Semantikk
Profilering som avdekker mønstre basert på frekvensanalyser av ordsammensetninger. Dette kalles semantisk profilering og er et nyere tilskudd til profileringsfeltet.

 Struktur 
Å beskrive struktur er vanskelig uten å ha en modell som et fast holdepunkt. Det vanligste er å påvise i hvilken grad en kilde innordner seg eller avviker fra normalformene 1-3 for relasjonsdatabaser.

Ved å bruke en normalisert datamodell med full referanseintegritet, kan man oppnå en meget stor grad av forutsigbarhet ved uttrekk av data. Bill Inmon, som er anerkjent som opphavsmannen til datavarehus, har som krav at datavarehusets grunndata skal lagres på 3 normalform, slik at de lettere kan trekkes opp i rapporteringskuber og lignende virksomhetsetterretnings-strukturer.

Dataprofilering kan avdekke underliggende strukturer i en eksisterende database basert på innhold.

Kategori:Virksomhetsetterretning
Kategori:Dataintegrasjon
Kategori:Datakvalitet