# Shkenca e të dhënave

Ekzistenca e kometës NEOWISE (këtu e përshkruar si një seri pikash të kuqe) u zbulua duke analizuar të dhënat e sondazhit astronomik të marra nga një teleskop hapësinor, Eksploruesi Infrared me fushë të gjerë .
**Shkenca e të dhënave** është një fushë akademike ndërdisiplinore që përdor statistika, llogaritje shkencore, metoda shkencore, përpunim, vizualizim shkencor, algoritme dhe sisteme për të nxjerrë ose ekstrapoluar njohuri dhe njohuri nga të dhëna potencialisht të zhurmshme, të strukturuara ose të pastrukturuara.

Shkenca e të dhënave gjithashtu integron njohuritë e domenit nga fusha e aplikimit themelor (p.sh., shkencat natyrore, teknologjia e informacionit dhe mjekësia). Shkenca e të dhënave është e shumëanshme dhe mund të përshkruhet si një shkencë, një paradigmë kërkimore, një metodë kërkimi, një disiplinë, një rrjedhë pune dhe një profesion.

Shkenca e të dhënave është "një koncept për të unifikuar statistikat, analizën e të dhënave, informatikën dhe metodat e lidhura me to" për "të kuptuar dhe analizuar fenomenet aktuale" me të dhëna. Ai përdor teknika dhe teori të nxjerra nga shumë fusha brenda kontekstit të matematikës, statistikave, shkencave kompjuterike, shkencës së informacionit dhe njohurive të fushës. Sidoqoftë, shkenca e të dhënave është e ndryshme nga shkenca kompjuterike dhe shkenca e informacionit. Fituesi i çmimit Turing, Jim Grey, e imagjinoi shkencën e të dhënave si një "paradigmë të katërt" të shkencës (empirike, teorike, llogaritëse dhe tani e drejtuar nga të dhënat) dhe pohoi se "çdo gjë rreth shkencës po ndryshon për shkak të ndikimit të teknologjisë së informacionit " dhe përmbytjes së të dhënave.

Një **shkencëtar i të dhënave** është një profesionist që krijon kodin e programimit dhe e kombinon atë me njohuritë statistikore për të krijuar njohuri nga të dhënat.

## Themelet

Shkenca e të dhënave është një fushë ndërdisiplinore e fokusuar në nxjerrjen e njohurive nga grupe tipike të mëdha të të dhënave dhe zbatimin e njohurive dhe njohurive nga ato të dhëna për të zgjidhur problemet në një gamë të gjerë fushash aplikimi. Fusha përfshin përgatitjen e të dhënave për analizë, formulimin e problemeve të shkencës së të dhënave, analizimin e të dhënave, zhvillimin e zgjidhjeve të bazuara në të dhëna dhe paraqitjen e gjetjeve për të informuar vendimet e nivelit të lartë në një gamë të gjerë fushash aplikimi. Si i tillë, ai përfshin aftësi nga shkenca kompjuterike, statistika, shkenca e informacionit, matematika, vizualizimi i të dhënave, vizualizimi i informacionit, sonifikimi i të dhënave, integrimi i të dhënave, dizajni grafik, sistemet komplekse, komunikimi dhe biznesi. Statisticiani Nathan Yau, duke u mbështetur në Ben Fry, gjithashtu lidh shkencën e të dhënave me ndërveprimin njeri-kompjuter : përdoruesit duhet të jenë në gjendje të kontrollojnë dhe eksplorojnë në mënyrë intuitive të dhënat. Në vitin 2015, Shoqata Amerikane e Statistikave identifikoi menaxhimin e bazës së të dhënave, statistikat dhe mësimin e makinerive, si dhe shpërndau sisteme paralele si tre bashkësitë themelore profesionale në zhvillim.

Shumë statisticient, duke përfshirë Nate Silver, kanë argumentuar se shkenca e të dhënave nuk është një fushë e re, por një emër tjetër për statistikat. Të tjerë argumentojnë se shkenca e të dhënave është e dallueshme nga statistikat sepse fokusohet në problemet dhe teknikat unike për të dhënat dixhitale. Vasant Dhar shkruan se statistikat theksojnë të dhënat dhe përshkrimin sasior. Në të kundërt, shkenca e të dhënave merret me të dhëna sasiore dhe cilësore (p.sh. nga imazhet, teksti, sensorët, transaksionet, informacioni i klientit, etj.) dhe thekson parashikimin dhe veprimin. Andrew Gelman i Universitetit të Kolumbisë i ka përshkruar statistikat si një pjesë jo thelbësore të shkencës së të dhënave.

Profesori i Stanford-it, David Donoho shkruan se shkenca e të dhënave nuk dallohet nga statistikat për nga madhësia e grupeve të të dhënave ose përdorimi i kompjuterit dhe se shumë programe të diplomimit reklamojnë në mënyrë mashtruese trajnimin e tyre analitik dhe statistikor si thelbin e një programi të shkencës së të dhënave. Ai e përshkruan shkencën e të dhënave si një fushë të aplikuar që rritet nga statistikat tradicionale.

## Etimologjia

### Përdorimi i hershëm

Në vitin 1962, John Tukey përshkroi një fushë që ai e quajti " analiza e të dhënave ", e cila i ngjan shkencës moderne të të dhënave. Në vitin 1985, në një leksion të dhënë në Akademinë Kineze të Shkencave në Pekin, C. F. Jeff Wu përdori termin "shkencë të të dhënave" për herë të parë si një emër alternativ për statistikat. Më vonë, pjesëmarrës në një simpozium statistikash të vitit 1992 në Universitetin e Montpellier<span typeof="mw:Entity" id="mwhg">&nbsp;</span>II pranoi shfaqjen e një disipline të re të fokusuar në të dhëna me origjinë dhe forma të ndryshme, duke kombinuar konceptet dhe parimet e vendosura të statistikave dhe analizës së të dhënave me kompjuterin.

Termi "shkencë e të dhënave" është gjurmuar në vitin 1974, kur Peter Naur e propozoi atë si një emër alternativ për shkencën kompjuterike. Në vitin 1996, Federata Ndërkombëtare e Shoqërive të Klasifikimit u bë konferenca e parë që prezantoi në mënyrë specifike shkencën e të dhënave si temë. Megjithatë, përkufizimi ishte ende në fluks. Pas leksionit të vitit 1985 në Akademinë Kineze të Shkencave në Pekin, në vitin 1997 C. F. Jeff Wu sugjeroi përsëri që statistikat të riemërtoheshin shkencë e të dhënave. Ai arsyetoi se një emër i ri do të ndihmonte statistikat të largonin stereotipet e pasakta, të tilla si sinonimi i kontabilitetit ose i kufizuar në përshkrimin e të dhënave. Në vitin 1998, Hayashi Chikio argumentoi për shkencën e të dhënave si një koncept të ri, ndërdisiplinor, me tre aspekte: hartimin, mbledhjen dhe analizën e të dhënave.

Gjatë viteve 1990, termat popullorë për procesin e gjetjes së modeleve në grupet e të dhënave (të cilat ishin gjithnjë e më të mëdha) përfshinin "zbulimin e njohurive" dhe "minimin e të dhënave".

### Përdorimi modern

Në vitin 2012, teknologët Thomas H. Davenport dhe DJ Patil deklaruan "Shkencëtari i të dhënave: Puna më seksi e shekullit të 21-të", një frazë tërheqëse që u përdor edhe nga gazetat e qyteteve kryesore si New York Times dhe Boston Globe . Një dekadë më vonë, ata e rikonfirmuan atë, duke u shprehur se "është puna më e kërkuar se kurrë te punëdhënësit".

Koncepti modern i shkencës së të dhënave si një disiplinë e pavarur ndonjëherë i atribuohet William S. Cleveland. Në një punim të vitit 2001, ai mbrojti një zgjerim të statistikave përtej teorisë në fusha teknike; sepse kjo do të ndryshonte ndjeshëm fushën, ajo garantonte një emër të ri. "Shkenca e të dhënave" u përdor më gjerësisht në vitet e ardhshme: në vitin 2002, Komiteti për të Dhënat për Shkencën dhe Teknologjinë lançoi *Revistën e Shkencës së të Dhënave*. Në vitin 2003, Universiteti i Kolumbisë lëshoi *The Journal of Data Science* . Në vitin 2014, Sektori i Shoqatës Amerikane të Statistikave për Mësimin Statistikor dhe Minierat e të Dhënave ndryshoi emrin e tij në Seksionin mbi Mësimin Statistikor dhe Shkencën e të Dhënave, duke reflektuar popullaritetin në rritje të shkencës së të dhënave.

Titulli profesional i "shkencëtarit të të dhënave" i është atribuar DJ Patil dhe Jeff Hammerbacher në 2008. Megjithëse u përdor nga Bordi Kombëtar i Shkencës në raportin e tyre të vitit 2005 "Koleksionet e të dhënave dixhitale me jetë të gjatë: Mundësimi i kërkimit dhe arsimit në shekullin 21", ai i referohej gjerësisht çdo roli kyç në menaxhimin e një koleksioni të të dhënave dixhitale.

Ende nuk ka një konsensus mbi përkufizimin e shkencës së të dhënave dhe nga disa konsiderohet si një fjalë kryesore . Të dhënat e mëdha janë një term i lidhur marketing. Shkencëtarët e të dhënave janë përgjegjës për zbërthimin e të dhënave të mëdha në informacione të përdorshme dhe krijimin e softuerëve dhe algoritmeve që ndihmojnë kompanitë dhe organizatat të përcaktojnë operacionet optimale.

## Shkenca dhe analiza e të dhënave

 Shembull për dobinë e analizës së të dhënave eksploruese siç tregohet duke përdorur grupin e të dhënave të dhjetëra Burimi të dhënash.
Shkenca e të dhënave dhe analiza e të dhënave janë të dyja disiplina të rëndësishme në fushën e menaxhimit dhe analizës së të dhënave, por ato ndryshojnë në disa mënyra kryesore. Ndërsa të dyja fushat përfshijnë punën me të dhënat, shkenca e të dhënave është më shumë një fushë ndërdisiplinore që përfshin aplikimin e metodave statistikore, llogaritëse dhe të mësimit të makinerive për të nxjerrë njohuri nga të dhënat dhe për të bërë parashikime, ndërsa analiza e të dhënave është më e fokusuar në ekzaminimin dhe interpretimin e të dhëna për të identifikuar modelet dhe tendencat.

Analiza e të dhënave zakonisht përfshin punën me grupe të dhënash më të vogla dhe të strukturuara për t'iu përgjigjur pyetjeve specifike ose për të zgjidhur probleme specifike. Kjo mund të përfshijë detyra të tilla si pastrimi i të dhënave, vizualizimi i të dhënave dhe analiza eksploruese e të dhënave për të fituar njohuri mbi të dhënat dhe për të zhvilluar hipoteza rreth marrëdhënieve midis variablave. Analistët e të dhënave zakonisht përdorin metoda statistikore për të testuar këto hipoteza dhe për të nxjerrë përfundime nga të dhënat. Për shembull, një analist i të dhënave mund të analizojë të dhënat e shitjeve për të identifikuar tendencat në sjelljen e klientit dhe për të bërë rekomandime për strategjitë e marketingut.

Shkenca e të dhënave, nga ana tjetër, është një proces më kompleks dhe përsëritës që përfshin punën me grupe të dhënash më të mëdha dhe më komplekse që shpesh kërkojnë metoda të avancuara llogaritëse dhe statistikore për t'u analizuar. Shkencëtarët e të dhënave shpesh punojnë me të dhëna të pastrukturuara si teksti ose imazhet dhe përdorin algoritme të mësimit të makinerive për të ndërtuar modele parashikuese dhe për të marrë vendime të bazuara në të dhëna. Përveç analizës statistikore, shkenca e të dhënave shpesh përfshin detyra të tilla si parapërpunimi i të dhënave, inxhinieria e veçorive dhe përzgjedhja e modeleve. Për shembull, një shkencëtar i të dhënave mund të zhvillojë një sistem rekomandimi për një platformë të tregtisë elektronike duke analizuar modelet e sjelljes së përdoruesit dhe duke përdorur algoritme të mësimit të makinerive për të parashikuar preferencat e përdoruesve.

Ndërsa analiza e të dhënave fokusohet në nxjerrjen e njohurive nga të dhënat ekzistuese, shkenca e të dhënave shkon përtej kësaj duke përfshirë zhvillimin dhe zbatimin e modeleve parashikuese për të marrë vendime të informuara. Shkencëtarët e të dhënave shpesh janë përgjegjës për mbledhjen dhe pastrimin e të dhënave, zgjedhjen e teknikave të duhura analitike dhe vendosjen e modeleve në skenarë të botës reale. Ata punojnë në kryqëzimin e matematikës, shkencave kompjuterike dhe ekspertizës së fushës për të zgjidhur probleme komplekse dhe për të zbuluar modele të fshehura në grupe të dhënash të mëdha.

Pavarësisht këtyre dallimeve, shkenca e të dhënave dhe analiza e të dhënave janë fusha të lidhura ngushtë dhe shpesh kërkojnë grupe të ngjashme aftësish. Të dyja fushat kërkojnë një bazë solide në statistikat, programimin dhe vizualizimin e të dhënave, si dhe aftësinë për të komunikuar gjetjet në mënyrë efektive si me audiencën teknike ashtu edhe me atë jo-teknike. Të dyja fushat përfitojnë nga të menduarit kritik dhe njohuritë e fushës, pasi të kuptuarit e kontekstit dhe nuancave të të dhënave është thelbësor për analizën dhe modelimin e saktë.

Në përmbledhje, analiza e të dhënave dhe shkenca e të dhënave janë disiplina të dallueshme por të ndërlidhura brenda fushës më të gjerë të menaxhimit dhe analizës së të dhënave. Analiza e të dhënave fokusohet në nxjerrjen e njohurive dhe nxjerrjen e konkluzioneve nga të dhënat e strukturuara, ndërsa shkenca e të dhënave përfshin një qasje më gjithëpërfshirëse që kombinon analizën statistikore, metodat llogaritëse dhe mësimin e makinerive për të nxjerrë njohuri, për të ndërtuar modele parashikuese dhe për të nxitur vendimmarrjen e drejtuar nga të dhënat. Të dyja fushat përdorin të dhëna për të kuptuar modelet, për të marrë vendime të informuara dhe për të zgjidhur probleme komplekse në fusha të ndryshme.

## Si një disciplinë akademike

Siç është ilustruar në seksionet e mëparshme, ka në thelb disa dallime të konsiderueshme midis shkencës së të dhënave, analizës së të dhënave dhe statistikave. Rrjedhimisht, ashtu si statistikat u rritën në një fushë të pavarur nga matematika e aplikuar, në mënyrë të ngjashme shkenca e të dhënave është shfaqur si një fushë e pavarur dhe ka fituar tërheqje gjatë viteve të fundit. Kërkesa unike për aftësi profesionale për aftësitë e kompjuterizuara të analizës së të dhënave ka shpërthyer për shkak të rritjes së sasive të të dhënave që burojnë nga një sërë burimesh të pavarura. Ndërsa disa nga këto aftësi shumë të kërkuara mund të ofrohen nga statisticienët, mungesa e aftësive të larta të shkrimit algoritmik i bën ata më pak të preferuar se shkencëtarët e trajnuar të të dhënave që ofrojnë ekspertizë unike në aftësi të tilla si NoSQL, Apache Hadoop, platformat Cloud Computing dhe përdorimin e rrjeteve komplekse. Ky ndryshim i paradigmës ka parë që institucione të ndryshme të krijojnë programe akademike për të përgatitur fuqi punëtore të kualifikuar për treg. Disa nga institucionet që ofrojnë programe diplome në shkencën e të dhënave përfshijnë Universitetin Stanford, Universitetin e Harvardit, Universitetin e Oksfordit, ETH Cyrih, Universitetin Meru ndër shumë të tjera.

## Cloud computing

 Një arkitekturë e bazuar në cloud për të mundësuar analitikën e të dhënave të mëdha. Të dhënat rrjedhin nga burime të ndryshme, si kompjuterët personalë, laptopët dhe telefonat inteligjentë, përmes shërbimeve cloud për përpunim dhe analizë, duke çuar më në fund në aplikacione të ndryshme të të dhënave të mëdha .
Cloud computing mund të ofrojë akses në sasi të mëdha të fuqisë llogaritëse dhe ruajtjes . Në të dhënat e mëdha, ku vëllime informacioni gjenerohen dhe përpunohen vazhdimisht, këto platforma mund të përdoren për të trajtuar detyra analitike komplekse dhe intensive me burime.

Disa korniza të shpërndara kompjuterike janë krijuar për të trajtuar ngarkesat e punës me të dhëna të mëdha. Këto korniza mund t'u mundësojnë shkencëtarëve të të dhënave të përpunojnë dhe analizojnë paralelisht grupe të mëdha të dhënash, gjë që mund të zvogëlojë kohën e përpunimit.

## Konsiderata etike

Shkenca e të dhënave përfshin mbledhjen, përpunimin dhe analizimin e të dhënave të cilat shpesh përfshijnë informacione personale dhe të ndjeshme. Shqetësimet etike përfshijnë shkeljet e mundshme të privatësisë, përjetësimin e paragjykimeve dhe ndikimet negative shoqërore.

Modelet e mësimit të makinerive mund të përforcojnë paragjykimet ekzistuese të pranishme në të dhënat e trajnimit, duke çuar në rezultate diskriminuese ose të padrejta.

## Shih edhe

* Python (gjuhë programimi)
* R (gjuhë programimi)
* Inxhinieria e të dhënave
* Mësimi makinerik

## Referime