Vizualizarea datelor

Vizualizarea datelor este reprezentarea grafică a datelor. Presupune producerea de imagini care comunică relații între datele reprezentate cu spectatorii imaginilor. Această comunicare se realizează prin utilizarea unei aplicații sistematice între mărcile grafice și valorile datelor în crearea vizualizării. Această mapare stabilește modul în care valorile datelor vor fi reprezentate vizual, determinând cum și în ce măsură o proprietate a unei mărci grafice, cum ar fi dimensiunea sau culoarea, se va schimba pentru a reflecta modificarea valorii unei date.
Pentru a comunica informația în mod clar și eficient, vizualizarea datelor folosește grafică statistică, reprezentare grafică, grafică digitală și alte instrumente. Datele numerice pot fi codate folosind puncte, linii sau bare, pentru a comunica vizual un mesaj cantitativ. Vizualizarea eficientă îi ajută pe utilizatori să analizeze și să motiveze date și dovezi. Face ca datele complexe sa fie mai accesibile, inteligibile și utilizabile. Utilizatorii pot avea sarcini analitice particulare, cum ar fi efectuarea de comparații sau înțelegerea cauzalității, iar principiul de design al graficului (adică, a face comparații sau a arăta cauzalitatea) urmărește sarcina. Tabelele sunt utilizate în general în care utilizatorii vor căuta o măsurătoare specifică, în timp ce graficele de diferite tipuri utilizate pentru a afișa modele sau relații între date pentru una sau mai multe variabile.
Vizualizarea datelor este atât o artă, cât și o știință. Este privita ca o ramură a statisticilor descriptive de către unii, dar și ca un instrument bazat pe dezvoltarea teoriei solide către alții. Cantitățile crescute de date create de activitatea de pe Internet și un număr în continuă expansiune de senzori din mediul înconjurător sunt denumite „date mari” sau internet al lucrurilor. Prelucrarea, analizarea și comunicarea acestor date prezintă provocări etice și analitice pentru vizualizarea datelor. Domeniul științei datelor și practicienilor numiți oamenii de știință ai datelor ajută la abordarea acestei provocări.
Vizualizarea datelor se referă la tehnicile utilizate pentru a comunica date sau informații prin codificarea lor ca obiecte vizuale (de exemplu, puncte, linii sau bare) conținute în grafică. Scopul este de a comunica informații în mod clar și eficient utilizatorilor. Este unul dintre pașii în analiza datelor sau știința datelor. Conform Friedman (2008) „principalul obiectiv al vizualizării datelor este de a comunica informația în mod clar și eficient prin mijloace grafice. Nu înseamnă că vizualizarea datelor trebuie să pară plictisitoare pentru a fi funcțională sau extrem de sofisticată pentru a arăta frumos. Pentru a transmite ideile în mod eficient, atât forma estetică, cât și funcționalitatea trebuie să meargă mână în mână, oferind informații despre un set de date destul de rar și complex, prin comunicarea aspectelor-cheie într-un mod mai intuitiv. Cu toate acestea, deseori proiectanții nu reușesc să realizeze un echilibru între formă și funcție, creând vizualizări superbe de date care nu își îndeplinesc scopul principal - comunicarea informațiilor"
Într-adevăr, Fernanda Viegas și Martin M. Wattenberg au sugerat că o vizualizare ideală nu trebuie doar să comunice clar, ci și să stimuleze implicarea și atenția privitorului.
Vizualizarea datelor este strâns legată de grafica digitală, vizualizarea informațiilor, vizualizarea științifică, analiza datelor exploratorii și grafică statistică. În noul mileniu, vizualizarea datelor a devenit o zonă activă de cercetare, predare și dezvoltare. Conform Post et al. (2002), a unit vizualizarea științifică și informațională.
În mediul comercial vizualizarea datelor este adesea denumită tablouri de bord. Grafica digitală este o altă formă foarte comună de vizualizare a datelor.
Profesorul Edward Tuft a explicat că utilizatorii afișajelor de informații execută anumite sarcini analitice, cum ar fi comparațiile. Principiul de design al graficului informațional ar trebui să sprijine sarcina analitică. După cum arată William Cleveland și Robert McGill, diferite elemente grafice realizează acest lucru mai mult sau mai puțin eficient. De exemplu, graficele cu puncte și diagramele de bare depășesc graficele de plăci.
În cartea sa din 1983 The Visual Display of Quantitative Information, Edward Tufte definește „afișări grafice” și principii pentru afișarea grafică eficientă în următorul pasaj: „Excelența în grafică statistică constă în idei complexe comunicate cu claritate, precizie și eficiență. Afișele grafice ar trebui să:
Graficele dezvăluie datele. Într-adevăr, grafica poate fi mai precisă și mai revelatoare decât calculele statistice convenționale."
De exemplu, diagrama Minard arată pierderile suferite de armata lui Napoleon în perioada 1812-1813. Sunt reprezentate șase variabile: dimensiunea armatei, amplasarea acesteia pe o suprafață bidimensională (x și y), timp, direcția de mișcare și temperatură. Lățimea liniei ilustrează o comparație (dimensiunea armatei la puncte în timp), în timp ce axa de temperatură sugerează o cauză a modificării dimensiunii armatei. Acest afișaj multivariat pe o suprafață bidimensională spune o poveste care poate fi înțeleasă imediat, în timp ce se identifică datele sursă pentru a-și construi credibilitatea. Tufte a scris în 1983 că: „Poate fi cel mai bun grafic statistic întocmit vreodată”.
Neaplicarea acestor principii poate duce la grafice derutante, care denaturează mesajul sau susțin o concluzie eronată. Potrivit lui Tufte, grafica inutilă se referă la decorarea interioară a graficului, care nu îmbunătățește mesajul sau efecte tridimensionale sau de perspectivă gratuite. Separarea inutilă a cheii explicative de imaginea în sine, necesitând ochiului să călătorească înainte și înapoi de la imagine la cheie, este o formă de „resturi administrative”. Raportul „date la cerneală” ar trebui maximizat, ștergând cerneala fără date acolo unde este posibil.
Oficiul pentru bugetul Congresului a rezumat câteva bune practici pentru afișări grafice într-o prezentare din iunie 2014. Acestea cuprind:
Autorul Stephen Few a descris opt tipuri de mesaje cantitative pe care utilizatorii pot încerca să le înțeleagă sau să le comunice dintr-un set de date și din graficele asociate utilizate pentru a ajuta la comunicarea mesajului:
Analiștii care examinează un set de date pot lua în considerare dacă unele sau toate mesajele și tipurile grafice de mai sus sunt aplicabile sarcinii și publicului lor. Procesul de încercare și eroare pentru identificarea relațiilor și mesajelor semnificative din date face parte din analiza datelor exploratorii.
Un om poate distinge ușor diferențele de lungime, formă, orientare și culoare (nuanță), fără efort semnificativ de procesare; acestea sunt denumite „atribute pre-atente”. De exemplu, poate necesita timp și efort semnificativ („procesare atentă”) pentru a identifica numărul de ori în care apare cifra „5” într-o serie de numere; dar dacă cifra respectivă este diferită ca dimensiune, orientare sau culoare, instanțele pot fi notate rapid prin procesarea pre-atentă.
Grafica eficientă profită de prelucrarea prealabilă și atributele și puterea relativă a acestor atribute. De exemplu, având în vedere că oamenii pot prelucra mai ușor diferențele de lungime a liniei decât suprafața, poate fi mai eficient să folosești un grafic de bare (care profită de lungimea liniei pentru a arăta comparația) decât de grafice (care folosesc suprafața pentru a arăta comparația).
Aproape toate vizualizările de date sunt create pentru consum uman. Cunoașterea percepției și a cunoașterii umane este necesară atunci când proiectăm vizualizări intuitive. Cogniția se referă la procese din ființe umane precum percepția, atenția, învățarea, memoria, gândirea, formarea conceptelor, citirea și rezolvarea problemelor. Prelucrarea vizuală umană este eficientă în detectarea schimbărilor și în comparații între cantități, dimensiuni, forme și variații de ușurință. Atunci când proprietățile datelor simbolice sunt redate cu proprietăți vizuale, oamenii pot naviga eficient în cantități mari de date. Se estimează că 2/3 dintre neuronii creierului pot fi implicați în procesarea vizuală. Vizualizarea corectă oferă o abordare diferită pentru a afișa conexiuni potențiale, relații etc., care nu sunt la fel de evidente în datele cantitative ne vizualizate. Vizualizarea poate deveni un mijloc de explorare a datelor.
Studiile au arătat că persoanele folosesc în medie cu 19% mai puține resurse cognitive și 4,5% sunt mai capabile să-și amintească detaliile atunci când compară vizualizarea datelor cu textul.
Nu există o „istorie” cuprinzătoare a vizualizării datelor. Nu există conturi care să cuprindă întreaga dezvoltare a gândirii vizuale și reprezentarea vizuală a datelor și care adună contribuțiile disciplinelor disparate. Michael Friendly și Daniel J Denis de la Universitatea York sunt angajați într-un proiect care încearcă să ofere o istorie cuprinzătoare a vizualizării. Contrar credinței generale, vizualizarea datelor nu este o dezvoltare modernă. Datele stelare sau informații precum locația stelelor au fost vizualizate pe pereții peșterilor (cum ar fi cele găsite în Peștera Lascaux din sudul Franței) încă din epoca Pleistocenului. Artefacte fizice, cum ar fi jetoanele de lut Mesopotamian (5500 î.e.n.), Inca quipus (2600 î.e.n.) și Insulele Marshall grafice cu bețe (nd) pot fi de asemenea considerate ca vizualizarea informațiilor cantitative.
Primul document cu vizualizare a datelor poate fi urmărită până în 1160 î.Hr., cu harta Papyrus din Torino, care ilustrează cu exactitate distribuția resurselor geologice și oferă informații despre cariera acestor resurse. Astfel de hărți pot fi clasificate drept Cartografie tematică, care este un tip de vizualizare a datelor care prezintă și comunică date și informații specifice printr-o ilustrație geografică concepută pentru a arăta o anumită temă conectată cu o zonă geografică specifică. Cele mai documentate forme de vizualizare a datelor au fost diferite hărți tematice din diferite culturi și ideograme și hieroglife care au oferit și au permis interpretarea informațiilor ilustrate. De exemplu, tabletele Linear B de Mycenae au oferit o vizualizare a informațiilor cu privire la tranzacțiile din epoca bronzului târziu din Mediterana. Ideea de coordonate a fost folosită de antologii egipteni antici în stabilirea orașelor, pozițiile pământești și cerești au fost localizate cu ceva asemănător cu latitudinea și longitudinea cel puțin până în 200 î.Hr., iar proiecția hărții a unui pământ sferic în latitudine și longitudine de Claudius Ptolemeu [ c.85-c. 165] în Alexandria va servi drept standarde de referință până în secolul al XIV-lea.
Invenția hârtiei și a pergamentului a permis dezvoltarea în continuare a vizualizărilor de-a lungul istoriei. Figura prezintă un grafic din secolul al X-lea sau, eventual, al XI-lea, care este destinat să fie o ilustrare a mișcării planetare, utilizat într-un apendice al unui manual în școlile mănăstirii. Se pare că graficul a reprezentat un grafic al înclinațiilor orbitelor planetare în funcție de timp. În acest scop, zona zodiacului a fost reprezentată pe un plan cu o linie orizontală împărțită în treizeci de părți ca timp sau ax longitudinal. Axa verticală desemnează lățimea zodiacului. Scara orizontală pare să fi fost aleasă individual pentru fiecare planetă, deoarece perioadele nu pot fi reconciliate. Textul însoțitor se referă doar la amplitudini. Curbele aparent nu sunt legate în timp.
Până în secolul al XVI-lea, tehnicile și instrumentele pentru observarea și măsurarea precisă a mărimilor fizice și poziția geografică și cerească erau bine dezvoltate (de exemplu, un „cadran de perete” construit de Tycho Brahe [1546-1601], acoperind un întreg perete în observatorul său). Deosebit de importante au fost dezvoltarea triangulației și a altor metode pentru a determina cu exactitate locațiile de cartografiere.
Filosoful și matematicianul francez René Descartes și Pierre de Fermat au dezvoltat geometria analitică și sistemul de coordonate bidimensionale care au influențat puternic metodele practice de afișare și calcul al valorilor. Lucrarea lui Fermat și Blaise Pascal despre statistică și teoria probabilității a pus bazele a ceea ce acum conceptualizăm ca date. Conform Interaction Design Foundation, aceste evoluții au permis și l-au ajutat pe William Playfair, care a văzut potențialul de comunicare grafică a datelor cantitative, să genereze și să dezvolte metode grafice de statistici.
În cea de a doua jumătate a secolului al XX-lea, Jacques Bertin a folosit grafice cantitative pentru a reprezenta informațiile „intuitiv, clar, precis și eficient”.
John Tukey și Edward Tufte au depășit limitele vizualizării datelor; Tukey cu noua sa abordare de statistică a analizei de datele exploratorii și Tufte cu cartea sa „The Visual Display of Quantitative Information” au deschis calea pentru rafinarea tehnicilor de vizualizarea datelor pentru mai mult decât statisticieni. Odată cu progresul tehnologiei a progresat și vizualizarea datelor; începând cu vizualizări desenate manual și evoluând către aplicații mai tehnice - inclusiv designuri interactive care duc la vizualizarea software-ului.
Programe precum SAS, SOFA, R, Minitab, Cornerstone și multe altele permit vizualizarea datelor în domeniul statisticilor. Alte aplicații de vizualizare a datelor, mai concentrate și unice pentru indivizi, limbaje de programare precum D3, Python și JavaScript ajută la transformarea vizualizării datelor cantitative într-o posibilitate. Școlile private au dezvoltat, de asemenea, programe pentru a satisface cererea de vizualizare a datelor de învățare și biblioteci de programare asociate, inclusiv programe gratuite precum "The Data Incubator" sau programe plătite precum "General Assembly".
Începând cu Simpozionul „Date to Discovery” din 2013, Colegiul de Design ArtCenter, Caltech și JPL din Pasadena au derulat un program anual de vizualizare interactivă a datelor. Programul întreabă: Cum poate vizualizarea interactivă a datelor să ajute oamenii de știință și inginerii să-și exploreze datele mai eficient? Cum poate calculul, proiectarea și gândirea în proiectare să contribuie la maximizarea rezultatelor cercetării? Ce metodologii sunt cele mai eficiente pentru valorificarea cunoștințelor din aceste domenii? Prin codificarea informațiilor relaționale cu caracteristici vizuale și interactive adecvate pentru a ajuta la interogare și, în cele din urmă, pentru a obține o nouă perspectivă asupra datelor, programul dezvoltă noi abordări interdisciplinare ale problemelor științifice complexe, valorificând gândirea de proiectare și cele mai noi metode de calcul, proiectarea centrată pe utilizator, proiectarea interacțiunii și grafică 3D.
Vizualizarea datelor implică terminologie specifică, dintre care unele sunt derivate din statistici. De exemplu, autorul Stephen Few definește două tipuri de date, care sunt utilizate în combinație pentru a susține o analiză sau vizualizare semnificativă:
Două tipuri principale de afișare a informațiilor sunt: tabele și grafice.
Eppler și Lengler au dezvoltat „Tabelul periodic al metodelor de vizualizare”, o diagramă interactivă care afișează diferite metode de vizualizare a datelor. Include șase tipuri de metode de vizualizare a datelor: date, informații, concept, strategie, metaforă și compus.
Există diferite abordări cu privire la scopul vizualizării datelor. Un accent comun se pune pe prezentarea informațiilor, cum ar fi Friedman (2008). Friendly (2008) presupune două părți principale ale vizualizării datelor: grafică statistică și cartografie tematică. În această linie, articolul „Vizualizare date: abordări moderne” (2007) oferă o prezentare generală a șapte subiecte de vizualizare a datelor:
Toate aceste subiecte sunt strâns legate de designul grafic și reprezentarea informațiilor.
Pe de altă parte, din perspectiva informaticii, Frits H. Post, în 2002, a clasificat domeniul în subcâmpuri:
Arhitectura de prezentare a datelor (APD) este un set de abilități care urmărește să identifice, să localizeze, să manipuleze, să formateze și să prezinte date în așa fel încât să comunice în mod optim semnificația și cunoștințele adecvate.
Din punct de vedere istoric, termenul de arhitectură de prezentare a datelor este atribuit lui Kelly Lautt: „Arhitectura de prezentare a datelor (APD) este o serie de abilități rare aplicate, critice pentru succesul și valoarea in Inteligenta Afacerilor. Arhitectura de prezentare a datelor îmbină știința numerelor, a datelor și a statisticilor în descoperirea informațiilor valoroase din date și transformarea acestora în utilizabilă, relevantă și acționabilă cu arta vizualizării datelor, a comunicațiilor, a psihologiei organizaționale și a gestionării schimbărilor pentru a oferi soluții de inteligenta afacerilor in sfera de aplicare, calendarul de livrare, formatul și vizualizările care vor susține cel mai eficient și vor conduce comportamentul operațional, tactic și strategic către obiective de afaceri (sau organizaționale) înțelese. ADP nu este nici un set de competențe IT, nici de afaceri, dar există ca un domeniu de expertiză separat. Adesea confundată cu vizualizarea datelor, arhitectura de prezentare a datelor este un set de abilități mult mai larg care include determinarea ce date cu privire la ce program și în ce format exact urmează să fie prezentate, nu doar cel mai bun mod de a prezenta date care au fost deja alese. Abilitățile de vizualizare a datelor sunt un element al ADP."
ADP are două obiective principale:
Având în vedere obiectivele de mai sus, activitatea reală a arhitecturii de prezentare a datelor constă în:
Activitatea arhitecturii de prezentare a datelor împărtășește elemente comune cu alte câteva domenii, inclusiv: