# OpenRefineKirill

**OpenRefine** — bul maǵlıwmatlardı tazalaw hám basqa formatlarǵa ózgertiw ushın arnalǵan ashıq kodlı jumıs stolı qosımshası bolıp, bul iskerlik, tiykarınan, maǵlıwmatlar menen islesiw (data wrangling) dep ataladı. Ol elektronlıq keste qosımshalarına uqsaydı hám CSV sıyaqlı keste fayl formatları menen isleydi, biraq onıń islewi kóbirek maǵlıwmatlar bazasına jaqın.

Ol relyaciyalıq maǵlıwmatlar bazası kesteleriniń islewine uqsas «qatarlar» hám «baǵanalar» boyınsha isleydi. OpenRefine joybarları bir kesteden ibarat bolıp, onıń qatarların arnawlı kriteriyalar tiykarında «facetler» (facets) járdeminde filtrlewge boladı (mısalı, belgili bir baǵanası bos bolmaǵan qatarlardı kórsetiw).

Elektronlıq kestelerden parqlı túrde, OpenRefinedaǵı kópshililik operaciyalar barlıq kórsetilgen qatarlarda orınlanadı, mısalı, bir baǵanadaǵı barlıq qatarlar kletkaların transformaciya qılıw yamasa bar maǵlıwmatlar tiykarında jańa baǵana jaratıw. Maǵlıwmatlar toplamında orınlanǵan háreketler joybarda saqlanadı hám basqa maǵlıwmatlar toplamlarında qaytadan isletiliwi múmkin. Formulalar kletkalarda saqlanbaydı, olar tek maǵlıwmatlardı ózgertiw ushın qollanıladı. Transformaciya tek bir márte orınlanadı. Formula ańlatpaları **General Refine Expression Language (GREL)**, Jython (yaǵnıy Python) hám Clojure tillerinde jazılıwı múmkin.

Programma jergilikli veb-qosımsha sıpatında isleydi: ol veb-serverdi iske túsiredi hám standart brauzerde 127.0.0.1:3333 mánzilini ashadı.

## Qollanılıwı

* *Tártipsiz maǵlıwmatlardı tazalaw:* mısalı, yarım strukturalasqan maǵlıwmatları bar tekstli fayl menen isleskende, onı tazalaw hám strukturalastırıw ushın transformaciyalar, facetler hám klasterlewden paydalanıwǵa boladı.
* *Maǵlıwmatlardı transformaciya qılıw:* mánislerdi basqa formatlarǵa ótkeriw, normallastırıw hám denormallastırıw.
* *Veb-saytlardan maǵlıwmatlardı alıw (parsing):* OpenRefineda URLdı júklew múmkinshiligi, sonday-aq, jsoup HTML parseri hám DOM dvijogı bar.
* *Veb-xızmetlerden maǵlıwmat alıw arqalı maǵlıwmatlar toplamına jańa maǵlıwmat qosıw* (mısalı, JSON qaytaratuǵın xızmetler). Mısalı, mánzillerdi geografiyalıq koordinatalarǵa ótkeriw (geokodlaw) ushın qollanıwǵa boladı.
* *Wikidata* (burınǵı Freebase) *menen sáykeslendiriw:* bul kletkalardaǵı qatar mánislerin Wikidatadaǵı obyektler menen baylanıstırıwdı (reconciliation — kelistiriw) óz ishine aladı.

## Qollap-quwatlanatuǵın formatlar

**Import** tómendegi formatlardan ámelge asırıladı:

* TSV, CSV
* Arnawlı ajıratqıshları bar tekstli fayllar yamasa bekitilgen keńliktegi baǵanalar
* XML
* RDF tripları (RDF/XML hám Notation3 formatları)
* JSON
* Google Spreadsheets

Eger kiritilgen maǵlıwmatlar standart emes tekst formatında bolsa, olar baǵanalarǵa bólinbesten pútin sızıqlar retinde kiritilip, keyinirek OpenRefine quralları menen baǵanalarnı ajıratıp alıwǵa boladı. Arxivlengen hám qısılǵan fayllar (.zip, .tar.gz, .tgz, .tar.bz2, .gz yamasa .bz2) qollap-quwatlanadı hám Refine kiritilgen fayllardı URL arqalı júklep ala aladı. Veb-betlerdi kiritis maǵlıwmatı sıpatında paydalanıw ushın URLlar dizimin import qılıp, keyin URLdı júklew funkciyasın isletiwge boladı.

**Eksport** tómendegi formatlarda múmkin:

* TSV
* CSV
* Microsoft Excel
* HTML kestesi
* Google Spreadsheets
* Úlgi boyınsha eksport: maǵlıwmatlardı shıǵarıw ushın arnawlı úlgini anıqlaw múmkin, mısalı MediaWiki kestesi retinde.

OpenRefine joybarların tolıǵı menen óziniń formatında .tar.gz arxivi retinde eksport qılıwǵa boladı.

## Rawajlanıwı

OpenRefine óz xızmetin Metaweb tárepinen islep shıǵılǵan **Freebase Gridworks** sıpatında basladı hám 2010-jıl yanvardan beri ashıq kodlı programma sıpatında paydalanıw múmkin boldı. 2010-jıl 16-iyulda Google kompaniyası Freebase jaratıwshısı bolǵan Metawebti satıp aldı. 2010-jıl 10-noyabrde Freebase Gridworkstiń atı **Google Refine** dep ózgertildi hám 2.0 versiyası shıǵarıldı. 2012-jıl 2-oktyabrde tiykarǵı avtor Devid Xyun Google jaqın arada Google Refinedı qollap-quwatlawdı toqtatatuǵınlıǵın járiyaladı. Sonnan beri onıń kodlar bazası OpenRefine dep atalatuǵın ashıq kodlı joybarǵa ótti.

## Derekler

## Sırtqı siltemeler

* Rásmiy saytı
* Emma Kerroll tárepinen OpenRefine baslawshıları ushın qollanba