Մեծ տվյալներ

Մեծ տվյալներ (, []), հսկայական ծավալի և զգալի բազմազանության կառուցվածքային և ոչ կառուցվածքային տվյալների  անվանում, որոնք արդյունավետորեն մշակվում են հորիզոնական մասշտաբային ծրագրային գործիքներով, որոնք հայտնվել են 2000-ականների վերջին և հանդիսանում են այլընտրանքային տվյալների բազայի կառավարման համակարգերի և  Business Intelligence դասի լուծումների համար:

Լայն իմաստով, «մեծ տվյալների» մասին խոսվում է որպես սոցիալ-տնտեսական ֆենոմենի մասին, որը կապված է տվյալների հսկայական պաշարների (որոշ խնդրահարույց ոլորտներում՝ տվյալների համաշխարհային ծավալը) վերլուծության տեխնոլոգիական հնարավորությունների առաջացման և դրանից բխող վերափոխման հետևանքների հետ:

Որպես բնութագրական առանձնահատկություն մեծ տվյալների համար ավանդաբար առանձնացվում է «երեք V»՝ ծավալը (անգլ.՝ volume՝ ֆիզիկական ծավալի իմաստով), արագություն (velocity՝ ինչպես աճի արագության, այնպես էլ արագ մշակման և արդյունքների ստացման անհրաժեշտության իմաստով), բազմազանություն (variety՝ կառուցվածքային և կիսակառուցվածքային տվյալների տարբեր տեսակների միաժամանակյա մշակման հնարավորության իմաստով), հետագայում առաջացել են այդ առանձնահատկության տարբեր տատանումներ և մեկնաբանություններ։

Տեղեկատվական տեխնոլոգիաների տեսանկյունից, մոտեցումների և գործիքների ամբողջության մեջ ի սկզբանե ներառվել են անսահմանափակ կառուցվածքային տվյալների զանգվածային զուգահեռ մշակման միջոցները, առաջին հերթին՝ NoSQL կատեգորիայի տվյալների բազայի կառավարման համակարգեր, MapReduce ալգորիթմներ և դրանց ծրագրային ապահովման շրջանակներ և Hadoop նախագծի գրադարաններ: Հետագայում  մեծ տվյալների տեխնոլոգիաների շարքին սկսել են դասվել տեղեկատվական տեխնոլոգիաների մի շարք լուծումներ, որոնք այս կամ այն ​​աստիճանով համապատասխանում են նմանատիպ բնութագրական հատկանիշների չափազանց մեծ տվյալների պաշարների մշակման ունակություններով։

Պատմություն 
«Մեծ տվյալներ» տերմինի լայն ներդրումը կապված է «Nature» ամսագրի խմբագիր Քլիֆորդ Լինչի հետ, որը 2008 թվականի սեպտեմբերի 3-ի համար պատրաստել է հատուկ թողարկում՝ «Ինչպե՞ս կարող են ապագայի վրա ազդել գիտության տեխնոլոգիաները, որոնք հնարավորություն են տալիս աշխատելու մեծ քանակությամբ տվյալների հետ», որում հավաքվել էին նյութեր մշակվող տվյալների ծավալների ու բազմազանության պայթյունավտանգ աճի և տեխնոլոգիական հեռանկարների մասին «քանակից որակ» որակական թռիչքի պարադիգմայում. տերմինն առաջարկվել է անգլիական բիզնես միջավայրում տարածված «մեծ նավթ» և «մեծ հանքաքար» մետաֆորների համաբանությամբ։

Չնայած այն հանգամանքին, որ տերմինը ներմուծվել է ակադեմիական միջավայրում և նախ և առաջ վերաբերել է գիտական ​​տվյալների աճի և բազմազանության խնդրին, 2009 թվականից սկսած այն լայնորեն տարածվել է բիզնես մամուլում, իսկ մինչև 2010 թվականը հայտնվել են բացառապես և ուղղակիորեն մեծ տվյալների մշակման խնդրին վերաբերող առաջին ապրանքները և լուծումները։ Մինչև 2011 թվականը կազմակերպությունների համար տեղեկատվական տեխնոլոգիաների խոշորագույն մատակարարների մեծամասնությունը իրենց բիզնեսի ռազմավարություններում օգտագործում է մեծ տվյալների հայեցակարգը՝ ներառյալ IBM, Oracle, Microsoft, Hewlett-Packard, EMC, իսկ  տեղեկատվական տեխնոլոգիաների շուկայի հիմնական վերլուծաբանները հայեցակարգին են նվիրում առանձին ուսումնասիրություններ:

2011 թվականին Gartner-ը նշել  է մեծ տվյալները որպես տեղեկատվական տեխնոլոգիաների ենթակառուցվածքների թիվ երկու միտումը (վիրտուալացումից հետո և ավելի կարևոր, քան էներգախնայողությունը և մշտադիտարկումը)։ Այդ ժամանակ էլ կանխատեսվել է, որ մեծ տվյալների տեխնոլոգիաների ներդրումը առավելագույն ազդեցություն կունենա տեղեկատվական տեխնոլոգիաների վրա արտադրության, առողջապահության, առևտրի, պետական կառավարման, ինչպես նաև այն ոլորտներում և գիտաճյուղերում, որտեղ արձանագրվում են ռեսուրսների անհատական ​​տեղաշարժեր:

2013 թվականից ի վեր մեծ տվյալները՝ որպես ուսումնական առարկա, ուսումնասիրվում են համալսարանական ծրագրերում տվյալների գիտության և հաշվողական գիտության ու ինժեներիայի բնագավառում։

2015 թվականին Gartner-ը բացառել է մեծ տվյալները նոր տեխնոլոգիաների հասունացման ցիկլից և դադարել է թողարկել 2011-2014 թվականներին առանձին լույս տեսած մեծ տվյալների տեխնոլոգիաների հասունության ցիկլը՝ դա պատճառաբանելով աղմուկի փուլից դեպի գործնական կիրառության անցմամբ։ Առանձին հասունության ցիկլում ներկայացված տեխնոլոգիաները, մեծ մասամբ, անցել են հատուկ ցիկլերի` առաջադեմ վերլուծության և տվյալների գիտության, BI և տվյալների վերլուծության, տեղեկատվության կորպորատիվ կառավարման, ռեզիդենտ հաշվարկների, տեղեկատվական ենթակառուցվածքների մեջ։

VVV 
VVV (ծավալ, արագություն, բազմազանություն) բնութագրերի փաթեթն ի սկզբանե մշակվել է Meta Group-ի կողմից 2001 թվականին՝ մեծ տվյալների՝ որպես տեղեկատվական տեխնոլոգիաների մեթոդների և գործիքների որոշակի շարքի մասին պատկերացումների համատեքստից դուրս, դրանում, կազմակերպությունների համար տվյալների կենտրոնական պահեստի հայեցակարգի աճման շնորհիվ՝ նշվել է տվյալների կառավարման համարժեքությունը բոլոր երեք առումներով։ Հետագայում հայտնվել են մեկնաբանություններ «չորս V»-ով (ավելացվել է veracity՝ հուսալիություն, օգտագործվել է IBM- ի գովազդային նյութերում), «հինգ V»-ով (այս վարկածում ավելացվել են viability` կենսունակություն և value՝ արժեք) և նույնիսկ «յոթ V»-ով (վերնշյալներից բացի ավելացվել են նաև variability` փոփոխականություն և visualization): IDC-ն «չորրորդ V»-ն մեկնաբանում է որպես արժեք` համապատասխան պայմաններում համապատասխան ծավալները վերամշակելու տնտեսական իրագործելիության կարևորության տեսանկյունից, ինչը նույնպես արտացոլված է IDC-ի՝ մեծ տվյալների սահմանման մեջ։ Բոլոր դեպքերում այդ հատկանիշներում շեշտում են, որ մեծ տվյալների համար բնութագրող հատկանիշ է ոչ միայն նրանց ֆիզիկական ծավալը, այլև այլ կատեգորիաներ, որոնք կարևոր են տվյալների մշակման և վերլուծության առաջադրանքի բարդությունը հասկանալու համար։

Աղբյուրներ 
Մեծ տվյալների դասական աղբյուր են ճանաչվել բանացանցը և սոցիալական մեդիան, ինչպես նաև համարվում է, որ  մեծ տվյալները կարող են բխել ձեռնարկությունների և կազմակերպությունների ներքին տեղեկատվությունից (որ գեներացվում են տեղեկատվական միջավայրում, բայց նախկինում չեն պահվել և չեն վերլուծվել)՝ բժշկության և կենսաինֆորմատիկայի ոլորտներից, աստղաբանական դիտարկումներից։

Որպես մեծ տվյալների առաջացման աղբյուրների օրինակներ նշվում են չափիչ սարքերից անընդհատ ստացվող տվյալները, իրադարձությունները ռադիոհաճախականության նույնացուցիչներից, սոցիալական ցանցերից հաղորդագրությունների հոսքերը, օդերևութաբանական տվյալները, Երկրի հեռազննումից ստացված տվյալները, բջջային ցանցերի, աուդիո և վիդեո ձայնագրման սարքերի բաժանորդների գտնվելու վայրի վերաբերյալ տվյալների հոսքերը։ Ակնկալվում է, որ այդ աղբյուրների համատարած օգտագործման մշակումն ու սկսվելը կխթանեն մեծ տվյալների տեխնոլոգիաների ներթափանցումը ինչպես գիտահետազոտական գործունեության, այնպես էլ առևտրի և պետական ​​կառավարման ոլորտում։

Վերլուծության մեթոդներ 
Մեծ տվյալների համար կիրառվող վերլուծության մեթոդներն ու տեխնիկան առաձնացվել են McKinsey-ի զեկույցում.

 Data Mining դասի մեթոդներ, ասոցիատիվ կանոնների ուսուցում (), դասակարգում (նոր տվյալների դասակարգման մեթոդներ՝ նախկինում առկա տվյալների նկատմամբ կիրառված սկզբունքների հիման վրա), կլաստերային վերլուծություն, ռեգրեսիոն վերլուծություն,
 քրաուդսորսինգ, տվյալների դասակարգումը և հարստացումը լայն, անորոշ մարդկանց շրջանակի ուժերով, որ ներգրավվել են հանրային առաջարկի հիման վրա, առանց աշխատանքային հարաբերությունների մեջմտնելու,
 տվյալների խառում և ինտեգրում (), տեխնիկաների հավաքածու, որը թույլ է տալիս բազմաբնույթ տվյալներ ինտեգրել տարբեր աղբյուրներից խորքային վերլուծության հնարավորության համար, որպես այդպիսի տեխնիկայի օրինակներ, որոնք կազմում են մեթոդների այս դասը, բերվում են ազդանշանների թվային մշակում և բնական լեզվի մշակում (ներառյալ տոնայնության վերլուծությունը),
 մեքենայական ուսուցում, ներառյալ ուսուցումն ուսուցչի հետ և առանց ուսուցչի, ինչպես նաև  Ensemble learning՝ վիճակագրական վերլուծության կամ մեքենայական ուսուցման հիման վրա կառուցված մոդելների օգտագործումը բազային մոդելների հիման վրա համալիր կանխատեսումներ ստանալու համար (),
 արհեստական նեյրոնային ցանց, ցանցային վերլուծություն, օպտիմիզացիա, ներառյալ գենետիկական ալգորիթմներ,
 պատկերների ճանաչում,
 կանխատեսող վերլուծություն,
 իմիտացիոն մոդելավորում,
 տարածական վերլուծություն (), տվյալների մեջ տոպոլոգիական, երկրաչափական և աշխարհագրական տեղեկատվություն օգտագործող մեթոդների դաս,
 վիճակագրական վերլուծություն, օրինակ՝ A/B-թեստավորում և ժամանակային շարքերի վերլուծություն,
 վերլուծական տվյալների վիզուալիզացիա, տեղեկատվության ներկայացում նկարների, դիագրամների տեսքով, ինտերակտիվ հնարավորությունների և անիմացիայի միջոցով, ինչպես արդյունքների ստացման, այնպես էլ հետագա վերլուծության համար որպես ելակետային տվյալներ օգտագործելու համար։

Տեխնոլոգիաներ 
Ամենից հաճախ, որպես մեծ տվյալների մշակման հիմնական սկզբունք նշվում է հորիզոնական մասշտաբայնությունը, որն ապահովում է հարյուրավոր և հազարավոր հաշվարկային հանգույցներում բաշխված տվյալների մշակումը՝ առանց արդյունավետության անկման։ Մասնավորապես, այս սկզբունքը ներառված է NIST-ի մեծ տվյալների սահմանման մեջ։ Միևնույն ժամանակ, McKinsey-ը, բացի վերլուծաբանների մեծամասնության կողմից դիտարկված NoSQL, MapReduce, Hadoop, R տեխնոլոգիաներից, մեծ տվյալների մշակման համար կիրառելիության համատեքստում ներառում է նաև Business Intelligence տեխնոլոգիաներ և կապի տվյալների շտեմարանների կառավարման համակարգեր, որոնք ունեն SQL լեզվի աջակցություն:

NoSQL

MapReduce

Hadoop

R

Սարքավորումներով լուծումներ 
Գոյություն ունեն մի շարք ապարատային և ծրագրային համակարգեր, որոնք ապահովում են նախապես կազմաձևված լուծումներ` մեծ տվյալների մշակման համար, ինչպիսիք են՝ Aster MapReduce սարքը (Teradata Corporation), Oracle Big Data, Greenplum (EMC Corporation, Greenplum հրավիրված ընկերության լուծումների հիման վրա)։ Այս համակարգերը մատակարարվում են որպես հեռահաղորդակցման միջոցներ, որոնք պատրաստ են տվյալների կենտրոններում տեղադրելու համար, պարունակում են սերվերների կլաստեր և հսկիչ ծրագրակազմ` զանգվածային-զուգահեռ մշակման համար։

Ռեզիդենտ հաշվարկների համար ապարատային լուծումները, առաջին հերթին, օպերատիվ հիշողության մեջ տվյալների բազաների և օպերատիվ հիշողության վերլուծությունների համար, մասնավորապես, առաջարկվող Hana ապարատային-ծրագրային համալիրների (SAP-ի նախապատկերված ապարատային-ծրագրային լուծում) և Exalytics-ի (Oracle-ի համալիրը, որը հիմնված է Timesten հարաբերական համակարգի և բազմաչափ Essbase վրա), ինչպես նաև երբեմն վերաբերում է մեծ տվյալների ոլորտի որոշումներին, չնայած այն հանգամանքին, որ նման մշակումը ի սկզբանե զանգվածային-զւգահեռ չէ, իսկ մեկ հանգույցի օպերատիվ հիշողության ծավալները սահմանափակվում են մի քանի տերաբայթերով։

Բացի այդ, մեծ տվյալների համար երբեմն լուծումները ներառում են ապարատային-ծրագրային համալիրներ, որոնք հիմնված են ավանդական հարաբերական տվյալների բազայի կառավարման համակարգերի վրա` Netezza, Teradata, Exadata, որոնք ի վիճակի են արդյունավետորեն մշակել կառուցվածքային տեղեկատվության տերաբայթերը և էքսաբայթերը՝ լուծելով կառուցվածքային տվյալների հսկայական ծավալի արագ որոնման և վերլուծական մշակման խնդիրները։ Նշվում է, որ չափազանց մեծ ծավալի տվյալների մշակման համար առաջին զանգվածային-զուգահեռ ապարատային և ծրագրային լուծումները եղել են  Britton Lee ընկերության մեքենաները, որ առաջին անգամ թողարկվել են 1983 թվականին, և Teradata ընկերության մեքենաները (սկսել են թողարկվել 1984 թվականին, իսկ 1990 թվականին՝ Teradata-ն ներառել Britton Lee-ն):

DAS -ի տվյալների պահպանման համակարգերի ապարատային լուծումները, որոնք ուղղակիորեն կապված են հանգույցներին, SN-ճարտարապետությունում վերամշակման հանգույցների անկախության պայմաններում, երբեմն նույնպես վերագրվում են մեծ տվյալների տեխնոլոգիաներին։ Հենց մեծ տվյալների հայեցակարգի առաջացման հետ էկապվում 2010 թվականի սկզբին DAS լուծումների նկատմամբ հետաքրքրության աճը, 2000-ական թվականներին NAS-ի և SAN-ի դասերի ցանցային լուծումների կողմից դրանք դուրս մղելուց հետո։

Ծանոթագրություններ

Գրականություն

Արտաքին հղումներ 

 Серьёзно о технологиях для Больших Данных | Открытые системы. СУБД | Издательство «Открытые системы» osp.ru
 Свежий взгляд на Большие Данные | Открытые системы. СУБД | Издательство «Открытые системы» osp.ru

Տվյալների կառավարում