Curlie

Az Open Directory Project (ODP) vagy Mozilla Open Directory (DMOZ) egy többnyelvű, nyílt tartalmú (open content) web könyvtár (World Wide Web hivatkozásokat tartalmazó gyűjtemény), melyet önkéntesek készítenek és tartanak karban egy virtuális közösségen keresztül. Tulajdonosa a Time Warner (mely megvette az AOL-t, ami megvette a Netscape-et ami megvette az eredeti NewHoo directory projektet), és a tartalma szabad forrásnak minősül. 2017. március 17-én, 19 év működés után megszűnt.

Története

Motiváció és alapítás 
Az Open Directory Project-et Rich Skrenta és Bob Truel hozta létre Gnuhoo-ként, 1998-ban. Ezzel egyidőben Skrenta és Truel mérnökként dolgoztak a Sun Microsystems-nél. Chris Tolles, a Sun Microsystems, biztonsági termékek hálózatának piacszervező vezetője, szintén 1998-ban, előalapító tagként szerződött le, hasonlóan Bryan Dole és Jeremy Wenokur-hoz. Skrenta ekkor már híres volt a TASS kifejlesztésében vállalt szerepéről. A TASS , a Unix rendszer széles körben elterjedt Usenet hírolvasójának, a TIN-nek az elődje.
Véletlenül, a Gnuhoo eredeti szerkezete, az akkor létező, Usenet hírcsoportok szerkezetén alapult.

Gnuhoo to Newhoo to the Open Directory Project 
A Gnuhoo könyvtár 1998. június 5-én jött létre, mely a Newhoo elnevezést kapta egy Slashdot cikk közzététele után. A cikkben a Gnuhoo becsmérlői azt állították, hogy az nem tartalmaz semmilyen közös vonást azzal a szabad szoftver „lelkülettel”, amelyről a GNU projekt ismert, s hogy a Gnuhoo csak egy reklámfogás azért, hogy önkéntesek munkáját felhasználva, a Yahoo! egy alternatíváját megalkossák.
A Newhoo ODP-vé vált, miután a Netscape Communications Corporation (társaság) 1998 októberében egymillió dollárért megszerezte. A tartalma szabad forrásnak minősült. Röviddel ezután, a Netscape-t az AOL vette meg, s ezzel együtt az ODP-re is szert tett. Később az AOL beleolvadt a Time Warner-be.

A könyvtár fejlődése és „érése” 
Mire a Netscape tulajdonossá vált, az Open Directory Project közel 10.000 URL-lel rendelkezett, melyet kb. 4500 szerkesztő hozzájárulásával tartottak karban. 1999. október 5-én az ODP által jegyzett URL-ek száma elérte az egy milliót. Egy nem hivatalos becslés szerint, 2000 áprilisában az Open Directory jegyzett URL-einek a száma közel 1.6 millió URL-lel meghaladta a Yahoo-ét! Az ODP a mérföldkövet 2000. augusztus 14-én érte el két millió URL-lel, míg a három milliós számot 2001. november 18-án. 2004 júniusában az ODP 4,4 millió URL-lel rendelkezett, melyet több mint 590.000 kategóriába soroltak. Állításuk szerint, ez az érték mintegy 63.000 szerkesztő hozzájárulásából származik. 2003 júliusában az aktív szerkesztők száma több mint 9000.

Versengés és a projektek elkülönülése 
Az ODP inspiráló hatására legalább két másik web könyvtár is létrejött, melyeket önkéntesek szerkesztenek, s részvénytársaságok támogatnak: például a most elbukott Go könyvtár (a Walt Disney Company (társaság) tulajdonában állt) és a Zeal (LookSmart szerezte meg). Egyik web könyvtár sem biztosított szabad forrást annak ellenére, hogy ez egy olyan stratégia, mellyel az ODP egy erősen versenyképes piacon biztosította magának a sikert.
Az ODP mintájára számos szabadalmazott web könyvtár is létrejött. Közülük néhányat önkéntesek szerkesztenek, mint például a Zeal és a többnyelvű MavicaNet, míg másokat független vállalkozók állítanak össze- ilyen a Hotrateg.
Sőt, azt az elgondolást, hogy szerkesztők széles körű táborát bevonják a létrehozásba, sikeresen alkalmazták olyan projecteknél is, mint a Wikipedia, mely egy szabad forrású, szabadon elérhető online enciklopédia.

Három szabad forrású önkéntes projekt jött létre az ODP példáját követve: egy szabad forrású vendéglő – címtár, mely ChefMoz néven ismert (ODP vezetőségének kezdeményezésére jött létre), egy szabad forrású zene – címtár, a MusicMoz és az Open Site enciklopédia. Egyelőre egyik sem ért el akkora sikert, mint az ODP.

Az ODP „összetétele”

Szervezet és a tartalom kategorizálása 
Az ODP egy hierarchikus ontológiai vázat használ a listázás rendezésére. A hasonló témákat kategóriákba csoportosítják, melyek kisebb kategóriákat tartalmazhatnak.

A Gnuhoo a Usenettől „kölcsönözte” kezdeti ontológiáját. Az eredeti felosztások: Felnőtt (Felnőttoktatás), Művészet, Üzlet, Számítógép, Játékok, Egészség, Otthon, Hírek, Szórakozás, Hivatkozás, Regionális, Tudomány, Vásárlás, Társadalom, Sport.
Míg a fenti 15 kategória érintetlen maradt, addig a másod-illetve alsóbb-szintű kategóriák fokozatos fejlődésen mentek át. A jelentős változásokat a szerkesztők megvitatással kezdeményezhetik, majd a teljes egyetértés elérése után, végbe is vihetik.
1998 júliusában a könyvtár a World főkategória hozzáadásával vált többnyelvűvé. A könyvtár többi része angol nyelvű site-okból áll.
2003 júliusára, 67 nyelv reprezentálta magát. Bár a könyvtárban a site-ok 75%-a angol nyelvű, a nem angol nyelvű tartalom nő.

Bár a könyvtárban a site-ok 75%-a angol nyelven van, a nem angol nyelvű elemek aránya gyorsabban nőtt, mint az angol nyelvűeké 2002 és 2003 között. A nem angol kategóriák ontológiája tükrözi a fentieket, bár meglehetősen gyakoriak a nyelvkülönbségekre utaló kivételek.

Számos főkategória kivételes vonásokkal rendelkezik. A „Felnőtt (felnőttoktatás)” kategória nem található meg a könyvtár homepage-én, de teljes mértékben elérhető az RDF-ben, melyet az ODP szolgáltat.
Míg a könyvtár nagy részét elsősorban téma szerint csoportosították, a „Regionális” kategóriát régiók szerint osztották fel. Ennek köszönhetően az ODP két párhuzamos könyvtárként működik – régió és téma szerint.

2000. november 14-én az Open Directory-n belül egy speciális könyvtárat hoztak létre a 18 év alatti fiatalok számára. Ezt a területet a „Kids and Teens” címszóval különítették el a főkönyvtártól.

Pontosabb, szigorúbb irányelvek korlátozzák a listázást a célközönség, illetve a 18 év alattiak számára. A kategórianevek, éppúgy mint a site-leírások, életkornak megfelelő szótárakkal felszereltek. Az életkort is jelző listázások megkülönböztetik a kisgyerekeknek (12 éves és fiatalabb), tizenéveseknek (13-15 évesek) és az idősebb, érettebb tizenévesek (16-18 évesek) számára megfelelő tartalmat. A „Kids and Teens” tartalma külön RDF-ként érhető el.
A szerkesztés az Open Directory-nál leírtaknak megfelelve engedélyezhető.
2004 áprilisára, az Open Directory-nak ez a része több mint 27.000 listázást foglalt magába.

Könyvtárak karbantartása 
A könyvtárak listázásait szerkesztők tartják karban napi rendszerességgel. Néhány szerkesztő új listázások létrehozására koncentrál, míg mások, a már létezőeket tartják karban. Feladataik, az egyéni listázások szerkesztésétől egészen a helyesírási és/vagy nyelvtani hibák javításáig terjednek; de ők végzik a kapcsolódó site-ok állapotának ellenőrzését is. Szintén mások a site-okhoz tartozó elemeket nézik át és sokszorosítják.

A Robozilla egy olyan keresőrobot (web crawler), melyet az ODP-ben megtalálható site-ok állapotának ellenőrzése céljából írtak meg. Időről időre, a Robozilla megjelöli azokat a site-okat, melyek változtak, vagy eltűntek; a szerkesztők ezt nyomon követve ellenőrzik a site-okat, majd megteszik a megfelelő intézkedéseket ("akcióba lépnek"). Ez egy kritikus folyamat a könyvtár számára, mely igyekszik elérni egyik alapvető célját – azt, hogy csökkentse a hibás kapcsolatot a web könyvtárban. A hibásnak észlelt site-okat automatikusan az ellenőrizetlenek közé sorolják, ahol a szerkesztők megvizsgálhatják őket, mikor az idejük úgy engedi.

Az Open Directory népszerűségének, valamint a segítséget nyújtók felkutatására gyakorolt hatásának köszönhetően, az ODP-ben hibásan nyilvántartott területek odavonzzák a „domain zsarolókat” (domain hijacking).

Míg az utóbbi években az ODP személyzete és anyagi forrása csökkent, az önkéntes munka új, illetve javított szerkesztési eszközök folyamatos kialakítását eredményezte. Ilyenek például a Robozilla kiegészítésére szolgáló link-ellenőrzők, kategória (kereső)robotok, helyesírásellenőrzők, eszközök, melyek ellenőrzik az újabb RDF-et, néhány szerkesztési funkció automatizálását segítő tényezők, valamint olyan eljárások, melyek az át nem tekintett sorok többféle módon történő feldolgozását segítik.

Licence és követelmények 
Az ODP adatai, az Open Directory License-nek megfelelve, nyílt forrásként elérhetőek. Az Open Directory License értelemszerűen minden, az adatokat használó web oldaltól egy speciális ODP attribútumot követel. Ennek ellenére, a tulajdonjogi kérelmet gyakran figyelmen kívül hagyják az ODP adatainak használói, akik közül néhányan az ODP license érvényesíthetőségét is kétségbe vonják. Ugyanakkor az ODP license alkalmazhatósága homályba vész azon tény mellett, hogy a license szakaszait be nem tartó adathasználók rosszindulatot váltanak ki az önkéntes ODP szerkesztőkből.

RDF és kirakás 
Az ODP adatai egy RDF-en keresztül érhetőek el, mely egy letöltő szerverrel (download server) hozzáférhető . Itt az előző verziók befejezetlen archívuma szintén megtalálható . 2003. augusztustól az új változat általában szerdánként és csütörtökönként jelent meg. A múltban volt néhány "úr" az RDF generációban. A legutóbbi, egy hetet meghaladó kiesések 2002. szeptembertől 2003. februárig (21 hét), valamint 2003. július (4 hét) időszakokra tehetőek. Egy ODP szerkesztő számos súlyos hibát sorba vett, melyek az ODP RDP kialakítása során léptek fel; ideértve több, helytelenül bekódolt karaktert és egy RDF formátumot, mely nem tesz eleget a végső RDF specifikációnak. Ennek az az oka, hogy az ODP RDF generációt azelőtt hozták létre, hogy az RDF részletes leírása végső formát öltött volna .
Az ODP RDF-et feldolgozó szoftvernek figyelembe kell vennie ezeket az idioszinkráziákat. (egyéni sajátosság)

Karakterkódolás 
Az ODP site által használt karakterkódolás régen az ISO-8859-1 volt az angol nyelv számára, s az egyéb nyelvek esetében egy nyelvfüggő karakterkészletet alkalmaztak.
2000-től az RDF-et UTF-8-ban kódolják, míg 2004 elejétől a teljes site esetében is, ideértve az angol nyelvű kategóriákat, a fenti formátumra (UTF-8) tértek át.

Az ODP tartalom felhasználói 
Az ODP adataiból számos kutatóbázis-portál „táplálja” alapvető címtár-szolgáltatásait. Ide sorolhatjuk a Netscape Search-t, az AOL Search-t, a Google-t és az Altavistát is.
2004. április 29-én az ODP licenceket listázó ODP kategóriák 277 angol és 168 olyan, nem angol nyelvű web-site-ot jelzett, melyek az ODP adatait használják.
A Google kivételével, a legtöbb kutató, állomás elavult adatokat használ, bár néhány kisebb site, melyek mérete egyre csak nő, felhagytak az RDF használatánal, megkérdőjelezve azokat az adatokat, melyek egyenesen az ODP website-járól származnak. Sőt, számos említésre méltó web portál, mely egykor az ODP szabad forrású adatait használta, megvált az ODP ezen modelljétől, s átpártolt az ODP egyik versenytársának, a LookSmart-nak a bevételmegosztó modelljéhez.

2004 áprilisában az Overture, a Yahoo! egy „mellékága”, olyan harmadik felek számára kínált kutatói szolgáltatásokat, melyek a Yahoo eredményeit az ODP címeivel, leírásaival és kategorizált adataival kombinálják.

Az ODP irányelvei és eljárásai

Szerkesztővé válás 
Megszorítások szabályozzák azt, hogy ki válhat ODP szerkesztővé. A mechanizmusban az első megmérettetést a pályázási folyamat jelenti, ahol az ODP meta-szerkesztői elnökölnek. Itt a szerkesztő-jelöltektől elvárják, hogy megvillantsák szerkesztési tudásukat, illetve, hogy feltárják azokat a website kapcsolatokat, melyek az érdekeltség gátját szabhatják. Hozzávetőleg a jelöltek 90%-át elutasítják, de pályázat újbóli beadására van lehetőség.

Szerkesztési séma 
Az ODP szerkesztési modellje hierarchikusan épül föl. A szerkesztővé válás során, az egyén általában csak kis területen, kategóriában rendelkezik szerkesztési engedéllyel. Amennyiben a Szerkesztői Irányelveket követve, alapvető szerkesztési jártasságról tesznek tanúbizonyságot, úgy további szerkesztési kiváltságokat szerezhetnek vagy egy szélesebb, vagy a könyvtár egy tetszőleges kategóriájában. A tanácsadói kapcsolatokat ösztönzik, s a belső fórumok megfelelő eszközt jelentenek az új szerkesztők kérdéseinek megválaszolására.

Alkalomadtán, az idősebb szerkesztők utólagos kiváltságokat kaphatnak, melyek jól tükrözik a szerkesztésben szerzett tapasztalataikat, s vezető szerepüket a szerkesztői társadalomban.
Az "editall" ("mindent szerkeszt") előjog a legelőretörőbb, mely a szerkesztőnek, a könyvtár bármely kategóriájához való hozzáférést teszi lehetővé.A meta privilégiummal a szerkesztő olyan feladatokat is végrehajthat, mint a jelentkezési lapok áttekintése, a kategóriák sajátosságainak beállítása, és a külső, vagy belső elmarasztaló beszámolók kezelése. A Cateditall előjog annyiban különbözik az editall kiváltságtól, hogy csak egy könyvtári kategóriára vonatkozik, s ugyanez igaz a Catmod és meta privilégiumok kapcsolatára is. A Catmv előjog lehetővé teszi a szerkesztők számára, hogy a kategóriák elmozdításával, vagy átnevezésével megváltoztassák a könyvtár ontológiáját.
A fenti privilégiumokról, a meta-szerkesztőkkel történő egyeztetés után, a személyzet gondoskodik.

Szerkesztési irányelvek 
Minden ODP szerkesztőtől elvárják, hogy kövesse a Szerkesztési Irányelveket . Ezek az elvek leírják: mely site-ok listázhatók, s melyek nem; milyen címmel kell ellátni a site-listázásokat; és hogyan ajánlott tömör leírást, jellemzést készíteni róluk. Az irányelvek meghatározzák: a kategóriák nevét és felépítését; a szerkesztőknek, a site-szerkesztésre gyakorolt hatáskör-különbségekből eredő, konfliktusait, illetve egy jogszabálygyűjteményt, mely az editor társadalmon belüli viselkedésére vonatkozik.
Ha egy szerkesztő megszegi a fenti irányelveket, szembesítik a személyzettel, vagy az idősebb szerkesztőkkel, visszavonják a szerkesztési engedélyüket, vagy utolsó esélyként, elveszítik a kiváltságaikat.
Az ODP Irányelveket időnként módosítják, miután a szerkesztői fórumon megvitatták a változtatásokat.

Behódolások 
A Gnuhoo-t /Newhoo-t/ ODP-t eredetileg azért alkották, mert sokan azt tapasztalták, hogy site-jaikat a Yahoo!-n listázzák. Bár a Yahoo! azóta megpróbálta kezelni a problémát úgy, hogy átmenetileg „fizetős” szolgáltatásokat hozott létre a site-ok számára, az ODP leglényegesebb előnyét az ingyenes szolgáltatások jelentik. Összehasonlításként, az ODP most hozzávetőleg egymillió át nem tekintett site-tal rendelkezik – mely érték nagy részben a spam-nek és a helytelenül előterjesztett site-oknek köszönhető –, így, hogy az ODP- be megfelelően történő előterjesztés ideje megközelítőleg hat hónap. A rosszindulatú e-mailek miatt az ODP önkéntes szerkesztői tartózkodnak attól, hogy a site-terjesztőkkel kapcsolatba lépjenek. Így ők sem tudják, hogy a site-jukat elfogadják-e, vagy sem az ODP- be való felvételre.
A fenti folyamat bírálására adott válaszként, az ODP-szerkesztők egy nyilvános fórumot hoztak létre, ahol a site-előterjesztéssel kapcsolatos kétségeket jelezhetik .

Referenciák 
[1] – Slashdot | The GnuHoo BooBoo | Posted by CmdrTaco (Tuesday June 23, 1998) (link)
[2] – Open Directory Project – Kids and Teens Directory
[3] – Open Directory Project – Kids and Teens Directory Editing Guidelines
[4] – Open Directory Project RDF dump
[5] – RDF Archive
[6] – ODP RDF Dump – Known Bugs
[7] – Sites Using ODP Data (ODP category)
[8] – Product: Web Search & Paid Inclusion (page from Overture site)
[9] – Open Directory Project Editing Guidelines
[10] – Open Directory Project Public Forum
[11] – Open Directory Project Public Abuse Report System
[12] – EFF | J.K. Harris v. Steven Kassel. (Preliminary Injunction [PDF].)
[13] – Traffick.com | Life After the Open Directory Project | Guest Column by David F. Prenatt, Jr. (June 1, 2000)
[14] – Slashdot | Dmoz (aka AOL) Changing Guidelines In Sketchy Way | Posted by CmdrTaco (Tuesday October 24, 2000)
[15] – Traffick.com | AOL Meddling in ODP Causes Shift in Balance of Editorial Power | By Julian McCreary (September 4, 2001)
[16] – DMOZ Newsletter | Editor Removal Explained by Arlarson (September 2000)
[17] – Donotgo.com | Dumb-oz (Reproduction of a thread from the Internal ODP Editor Forum)

Külső hivatkozások angol nyelven 
The Open Directory Project Honlapja 
Az ODP felhasználói kritikája
MeatballWiki: OpenDirectoryProject
GNU Project – Nem nyílt Dokumentációs Licencek – The Open Directory License (aka The dmoz.org License)
XODP Yahoo! eGroup
Seotie Allows Webmasters to be Notified upon inclusion into DMOZ
Open Directory Project Nyilvános fóruma
Az ODP Szójegyzéke
MyODP – odp dump
Az Open Directory Project története

Online adatbázisok