OpenRefine

OpenRefine kode irekiko mahaigaineko aplikazio informatiko bat da, datuak garbitzeko eta beste formatu batzuetara eraldatzeko erabiltzen dena. Kalkulu-orriak kudeatzeko aplikazioen antzekoa da, eta kalkulu-orriak lantzeko CSV moduko formatuak erabil ditzake, baina. berez, bere jokaera gahiago da datu-base baten gisako batena.

Datu-errenkadak tratatzen ditu egiten du, errenkada bakoitzak zutabe bakoitzean gelaxka bat dituela, datu-base erlazionalen taulek funtzionatzen duten antzera. OpenRefine proiektu bat taula bat da, eta haren errenkadak iragaz daitezke irizpide baten arabera (fazetak) (adibidez, zutabe jakin bat hutsik ez duten errenkadak bakarrik erakutsi).

Kalkulu-orrietan ez bezala, OpenRefineko eragiketa gehienak ageriko errenkada guztietan egiten dira, adibidez, zutabe bateko gelaxka guztiak (errenkada guztietakoak) eraldatzen dira, edo dauden datuetan oinarritutako zutabe berri bat sortzen da. Datu-multzo batean egindako ekintzak proiektuan biltegiratzen dira, eta beste datu-multzo batzuetan "erreproduzi" daitezke. Formulak ez dira gelaxkatan biltegiratzen, datuak eraldatzeko transformazioetan baizik. Eraldaketa behin bakarrik egiten da, ez da etengabe eguneratzen. Formula adierazpenak hiru formatutan Clojure-n idatz daitezke  GREL lengoaiaz (General Refine Expression Language, Refine Adierazpenetarako Lengoaia Orokorra), Jython-en (i.e., Python), eta Clojure.

Programak web aplikazio lokal baten moduan funtzionatzen du: web zerbitzari bat abiarazten du eta nabigatzaile lehenetsia irekitzen du 127.0.0.1:3333 helbiudean.

 Erabilerak 

 Datu desordenatuen garbiketa: adibidez, datu erdiegituratu batzuk dituen testu-fitxategi batekin lan egiten bada, eraldaketak, fazetak eta taldekatzeak erabiliz editatu daiteke, datuak modu garbian egituratzeko.
 Datuak eraldatzea: balioak beste formatu batzuetara bihurtzea, normalizazioa eta desnormalizazioa.
 Webguneetako datuen analisia: OpenRefine-k URL bilaketa-funtzio bat, jsoup HTML parser bat eta DOM motorra ditu.
 Datu multzoarii datuak gehitzea web zerbitzutatik lortuta (i.e. JSON). Adibidez, posta arrunteko helbideak koordenatu geografikoetara geokodifikatzeko erabil daiteke.
 Wikidatarekin lerrokatzea (lehen Freebase): adiskidetzea (reconciliation) dakar horrek, hau da,  gelaxka batean dagoen karaktere-kate balio bat emanda (hitz bat edo entitate baten izena) horri Wikidatako dagokion entitatea lortzea.

 Formatu bateragarriak 
Datuen inportazioak ondoko formatuak onartzen ditu:

 TSV, CSV
 testu-fitxategia, balioak banatzaile pertsonalizatuekin bereiztuta edo zabalera finkoaz zatitutako zutabeak dituena 
 XMLa
 RDF hirukoteak (RDF/XML eta Notation3 serializazio-formatua)
 JSON
 Google kalkulu-orriak

Sarrerako datuak testu formatu ez-estandar batean badaude, lerro osoak bezala inporta daitezke, zutabetan banatu gabe, eta gero zutabeak beranduago ateratzen dira OpenRefine-tresnekin. Artxibatutako eta konprimitutako fitxategiak bateragarriak dira (.zip, .tar.gz, .tgz, .tar.bz2, .gz, edo .bz2) , eta Refinek URL batetik ere  deskarga ditzake sarrera-fitxategiak. Web orriak sarrera gisa erabiltzeko, URL zerrenda bat inporta daiteke eta gero URL enbrage funtzio bat inbokatu.

Datuen esportazioak formatu hauek eman ditzake:

 TSV
 CSV
 Microsoft Excel
 HTML taula
 Google kalkulu-orriak
 Txantiloi esportatzailea: datuak esportatzeko txantiloi pertsonalizatu bat defini daiteke, esaterako, MediaWiki taula.

OpenRefine proiektu oso bat jatorrizko formatuan esporta daiteke .tar.gz fitxategi gisa.

 Garapena 
Freebase Gridworks gisa hasi zen OpenRefine bere bizitza, Metaweb-ek garatua eta 2010eko urtarriletik iturri ireki bezala eskuragarri egon zena. 2010eko uztailaren 16an, Googlek Metaweb erosi zuen, Freebase-ren sortzaileak, eta 2010eko azaroaren 10ean Freebase Gridwords Google Refine izena aldatu zuen, 2.0 bertsioa askatuz. 2012ko urriaren 2an, David Huynh jatorrizko egileak iragarri zuen Googlek laster geldiaraziko zuela Google Refineren aldeko laguntza aktiboa. Harrezkero, kode oinarria OpenRefine izeneko kode irekiko proiektu baterako trantsizioan egon da.

 Erreferentziak 

 Kanpo estekak 

 Official website
 Emma Carrollen hasiberrientzako tutoriala
 OpenRefine, zelan igo datu asko Wikidatara? Ikastaroaren gidoia eta ariketak egiteko datuak. Euskal Wikilarion Topaketa. Eibar 2025

Kategoria:Google softwarea
Kategoria:Javarekin programatutako software librea
Kategoria:Software librea