Наука за податоците

Науката за податоците — меѓудисциплинарна област која користи научни методи, постапки, алгоритми и системи за да извлече знаење и корисни информации од многу структурирани и неструктурирани податоци. Науката за податоците е поврзана со податочно рударење (анг. data mining), машинско учење и големи збирови на податоци (анг. big data).
Науката за податоците е „концепт кој ги обединува дисциплините: статистика, анализа на податоци и нивните сродни методи“ со цел да се „разберат и анализираат реалните појави“ преку податоците. Оваа наука користи техники и теории извлечени од многу полиња во контекст на математика, статистика, компјутерски науки и информатика .
Добитникот на наградата Туринг, Џим Греј, ја објаснил науката за податоците како „четврта парадигма“ на науката како додаток на веќе постоечките парадигми: емпириска, теоретска и пресметковна тврдејќи дека „сè во науката се менува поради влијанието на информатичката технологија “ и презаситеноста од податоци .
Науката за податоците е меѓудисциплинарна област насочена кон извлекување на корисни информации и знаење од множества на податоци, кои се обично големи (анг. big data). Ова поле опфаќа подготвување податоци за анализа, податочна анализа, и презентирање на корисната информација извлечена од процесот со цел донесување на информирана одлука на високо ниво во една организација. Како таква, таа вклучува вештини од компјутерски науки, математика, статистика, визуелизација на информации, графички дизајн, сложени системи, комуникација и бизнис. Статистичарот Нејтан Јау, потпирајќи се на Бен Фрај, исто така ја поврзал науката за податоците со односот човек-сметач : корисниците треба да можат интуитивно да ги контролираат и истражуваат податоците. Во 2015 година, Американското здружение за статистика ги идентификувало управување со базата на податоци, статистика и машинско учење и дистрибуирани и паралелни системи како трите нови професионални заедници.
Многу статистичари, вклучително и Нејт Силвер, тврдат дека науката за податоците не е ново поле, туку е друго име за полето на статистика. Други пак тврдат дека науката за податоците е различна од статистиката затоа што се фокусира на проблеми и техники кои се уникатни за дигиталните податоци. Ванстан Дар пак, тврди дека статистиката ги нагласува квантитативните податоци и нивниот опис. Спротивно на тоа, науката за податоците се занимава со квантитативни и квалитативни податоци (на пр. Слики) и нагласува предвидување и дејствување согласно тие податоци. Ендру Гелман од Универзитетот Колумбија и податочниот научник Винсент Гранвил ја опишале статистиката како несуштински дел од науката за податоци. Професорот од Стенфорд, Дејвид Донохо, расправал дека науката за податоците не се разликува од статистиката според големината на податоците и податочните множества или според употребата на компјутерите, и дека многу институции погрешно ја маркетираат обуката за анализа и статистика како суштина на програмата за наука за податоци. Тој ја дефинирал науката за податоците како применета област која произлегува од традиционалната статистика. Согласно ова, може да се заклучи дека науката за податоците се опишува како применета гранка на статистиката.
1 Етимологија
1.1 Рана употреба
Во 1962 година, Џон Туки ја опишал областа оваа област нарекувајќи ја „анализа на податоци“, што наликува на современата област наука за податоците. Подоцна, присутните на симпозиумот за статистика во 1992 година на Универзитетот во Монпелје Втори го признале појавувањето на нова дисциплина фокусирана на податоци од различно потекло и форми, комбинирајќи воспоставени концепти и принципи на статистика и анализа на податоци преку компјутер.
Поимот „наука за податоците“ се појавил уште во 1974 година, кога Питер Наур го предложил како алтернативно име за компјутерски науки. Во 1996 година, Меѓународната федерација на класификациони друштва станала првата конференција на која специфично е прикажана науката за податоците како тема. Сепак, дефиницијата сè уште била во тек. Во 1997 година, Ц.Ф. Џеф Ву сугерирал дека статистиката треба да се преименува во науката за податоците. Тој образложил дека новото име ќе и помогне на истата да отфрли некои неточни стереотипи поврзани со работата во ова поле, како на пример нејзиното сметање за синоним со сметководство.
Во 1998 година, Чикио Хајаши тврдел дека науката за податоците е нов, интердисциплинарен концепт, со три аспекти: дизајн на податоци, собирање и анализа.
Во текот на 90-тите години на минатиот век, популарни јазични термини за процесот на изнаоѓање шеми и поврзаности во податочните множества (кои станувале сè поголеми) вклучувале „откривање на знаење“ и „рударење податоци“.
Современата концепција на науката за податоците како независна дисциплина понекогаш му се припишува на Вилијам Кливленд. Во негов труд од 2001 година, тој се залагал за проширување на статистиката надвор од математичката теорија и тоа во технички области; и бидејќи ова значително ќе го промени полето, постои потреба од ново име. „Науката за податоците“ станала пошироко користена во следните неколку години: во 2002 година, Комитетот за податоци за наука и технологија го објавил ''списанието „Data Science Journal“.'' Во 2003 година, Универзитетот Колумбија го објавил ,,''The Journal of Data Science"''. Во 2014 година, Одделот за статистичко учење и рударење на податоци на Американското статистичко здружение го променил своето име во Секција за статистичко учење и наука за податоците, како одраз на растечката популарност на науката за податоците.
Професионалното звање „податочен научник“ им се припишува на ДЈ Патил и Џеф Хамербахер во 2008 година. Иако било користено од Националниот научен одбор во нивниот извештај од 2005 година, „"Long-Lived Digital Data Collections: Enabling Research and Education in the 21st Century,", тој општо се однесувал на која било клучна улога во управувањето со дигиталната колекција на податоци.
Сè уште нема консензус за дефиницијата на науката за податоците.
2 Влијанија на науката за податоците
Големите збирови на податоци многу брзо стануваат витална алатка за деловните субјекти и компаниите од сите големини. Достапноста и интерпретацијата на големите податоци менуваат деловните модели на старите индустрии и овозможуваат создавање на нови. Бизнисите водени од податоци се во вредност од 1,2 трилиони долари колективно во 2020 година, што е пораст од 333 милијарди долари за 2015 година. Податочните научници се одговорни за разградување на големите податоци во употребливи информации и создавање на софтвер и алгоритми кои им помагаат на компаниите и организациите да утврдат оптимално работење. Бидејќи големите податоци продолжуваат да имаат големо влијание врз светот, науката за податоците го прави и тоа како резултат на блиската врска меѓу нив.
3 Технологии и техники
Постојат различни технологии и техники кои се користат во науката на податоци, кои зависат од апликацијата на истата. Во поново време, развиени се посебни платформи кои се на широко се користат за наука на податоци и машинско учење.
3.1 Техники
* Линеарна регресија
* Логистичка регресија
* Дрвата на одлучување се користат како модели за предвидување за класификација и вклопување на податоците. Структурата на дрвото на одлучување може да се искористи за генерирање правила што можат да ги класифицираат или да предвидат некоја целна променлива, класа или етикета, врз основа на атрибутите за набљудување.
* Векторска машина за поддршка (SVM)
* Кластерирање е техника што се користи за групирање на податоците заедно.
* Намалувањето на димензионалноста се користи за да се намали комплексноста на пресметката на податоците за да може побрзо да се изврши.
* Машинското учење е техника што се користи за извршување на задачи со преглед на обрасци од податоци.
3.2 Јазици
* Пајтон е програмски јазик со едноставна синтакса која најчесто се користи за наука за податоците. Постојат голем број библиотеки кои се користат во науката за податоците, вклучително и вкочанета, панда и лута.
* R е програмски јазик дизајниран за статистичари и податоци за рударство и е оптимизиран за пресметка .
* Juliа е јазик на високо ниво со високи перформанси, со можност за динамичко програмиеање и јазик кој е добро прилагоден за бројчена анализа и компјутерска наука.
3.3 Рамки
* TensorFlow е рамка за создавање модели за машинско учење развиена од Google.
* Pytorch е друга рамка за машинско учење развиена од Фејсбук.
* Jupyter Notebook е интерактивен веб-интерфејс за Python кој овозможува побрзо експериментирање.
* Apache Hadoop е софтверска рамка што се користи за обработка на податоци преку големи дистрибуирани системи.
3.4 Алатки за визуелизација
* Plotly обезбедува богат сет на интерактивни библиотеки за научни графики.
* Tableau прави разновиден софтвер што се користи за визуелизација на податоците.* PowerBI е деловна аналитичка услуга на „Мајкрософт“.
* Qlik произведува софтвер како QlikView и Qlik Sense што се користи за визуелизација на податоци и деловна интелигенција.
* AnyChart обезбедува библиотеки на JavaScript и други алатки за визуелизација на податоци во графикони и контролни табли.
* Google Charts е веб-услуга заснована на JavaScript, направена и поддржана од Google за создавање графички графикони.
* Sisense обезбедува предност за градење визуелизации на податоци, вклучувајќи контролни табли и извештаи.
* Webix е пакет алатки за кориснички интерфејс кој вклучува наменски алатки за визуелизација на информации.
3.5 Платформи
* RapidMiner е софтверска платформа за наука за податоците развиена од истоимената компанија.
* Dataiku е колаборативен софтвер за наука на податоци што се продава за големи податоци.
* Аnaconda обезбедува сеопфатна бесплатна дистрибуција со отворен извор на програмските јазици Python и R.
* MATLAB е компјутерска околина која многу се користи во индустријата и академијата.
* Databricks е клауд-платформа за облак за масовно инженерство на податоци и колаборативна наука за податоците.