sou · GMB3111 · 1999-01-01 00:00:00 — Ur arkive- ringssynpunkt kan det däremot vara av intresse att veta om exakt samma information finns på flera webbplatser eller i flera filer på samma webbplats, varför den kan råka arkivera samma webbsida . Utöver ovan nämnda större problem stöter arkiveringsroboten på ett otal andra problem. Som exempel är webbservrar ibland felkonfigurerade så att de lämnar felaktiga statuskoder etc. Ett annat stort problem är när URL:er innehåller tecken som inte är tillåtna enligt specifikationen, t.ex. \ i pathdelen. Troligen kommer i stort sett alla svenska företag, myndigheter och orga- nisationer att skaffa egen domän och webbserver på samma sätt som de har telefon och fax. Volymen, antalet sidor, på varje webbserver kommer troligen också att öka med tiden då det är ett effektivt sätt att sköta sin marknadskommunikation. Broschyrer, kataloger, prislistor och manualer är exempel på företeelser som lämpar sig för webben även om inte företagets verksamhet i sig har med Internet att göra. , , finns det hos svenska NIC-SE17 10 557 registrera- de domäner under den svenska toppdomänen .se. Sannolikt finns det en eller flera webbservrar per registrerad domän. Det finns ett antal icke-nationsbundna toppdomäner, exempelvis .com för företag och .org för organisationer. Skälet till att dessa finns är historiskt; det fanns tidigare ingen toppdomän för . är det inte bara amerikanska företag som är registrerade under dessa domä- ner; av flera skäl väljer även andra att registrera underdomän till dessa (se ovan). Dessa icke-nationsbundna toppdomäner börjar nu bli väldigt stora. Ett skäl är att det har ställts mycket små krav på den som önskat registrera en underdomän till dessa toppdomäner. Ett annat skäl är att de är mycket generella; inom .com ryms ju naturligt alla företag, helt oberoende av typ. För att råda bot på detta kommer man att definie- ra ett antal nya toppdomäner, med mer specifik inriktning. Dessa nya toppdomäner beskrivs av Generic Top Level Domain Memorandum of Understanding (gTLD-MoU)18 såsom följer: for businesses, or firms for businesses offering goods to purchase for entities emphasizing activities related to the World for entities emphasizing cultural and entertainment activities for entities emphasizing recreation/entertainment activities for entities providing information services for those wishing individual or personal nomenclature, i.e., a personal nom de plume För det svenska arkiveringsprojektet innebär detta att man får fler toppdomäner att söka svenska underdomäner/webbsidor under, enligt ovan. Nya och kommande standarder 17ftp://sunic.sunet.se/dbase/domreg.txt 18http:// Det sker en hel del utveckling av de tekniska grunderna för webben. En av de organisationer som är mest aktiva är World um (W3C)19.Bland W3C:s aktiviteter kan nämnas definition av: ·Resource Description Framework (RDF) utvecklas för att tillhandahålla en infrastruktur som stödjer metadata.20 ·Document Object Model (DOM) är ett plattforms- och språkneutralt gränssnitt som tillåter program och skript att dynamiskt komma åt och uppdatera innehåll, struktur och utseende på dokument.21 ·Mathematical Markup Language (MathML) används för strukturering av matematiska uttryck och ekvationer. ·Platform for Internet Content Selection (PICS), möjliggör att knyta s.k. labels eller metadata till innehåll på webben. Designades från början till att hjälpa lärare och föräldrar att kontrollera barnens åtkomst till webbsidor på Internet.23 ·The eXtensible Markup Lanugage (XML) är ett dataformat för utbyte av strukturerade dokument på webben.24 När det gäller insamlande av data för arkivering finns ett antal olika mo- deller för hur man ska kunna arkivera en rättvisande bild av det material som finns publicerat på webben. Nedan finns några sådana beskrivna. De val som gjordes inom projektet är presenterade liksom en diskussion kring lämpliga val . Generellt gäller här att välja flexibla lösningar, eftersom det enda man med säkerhet kan veta om webbens framtid är att den kommer att förändras och, inte minst, växa, så att förutsättningarna för arkivering ändras. Det gäller såväl mjuk- som hårdvarulösningar. 3.1 Modeller för lösning 19http:/// 20http:///RDF/ 21http:///MarkUp/DOM/ 22http:///MarkUp// 23http:///PICS/ 24http:///XML/ Det finns flera olika metoder för insamling av material från webben, lämpliga för olika typer av material. Viktiga särskiljande kriteria här är, bland annat, ändringsfrekvens hos webbsidorna och vem det är som publicerar dem. En metod är att med lämplig periodicitet ta snapshots av den svenska delen av webben, på liknande sätt som (Arkivet för Ljud och Bild), som sparar alla närradiosändningar . Insamlingstillfällena kan förläggas till tillfällen som man bedömer med stor sannolikhet är historiskt intressanta, såsom exempelvis inför/efter ett riksdagsval eller en folkomröstning. På så sätt skulle man kunna göra exempelvis fyra stickprov av webben . När det gäller ALBs sparande av närradio har det ingen betydelse hur dessa insamlingstillfäl- len ligger i tiden i förhållande till varandra. Två stickprovtagningar av webben bör dock inte göras för tätt inpå varandra; detta för att att man skall kunna fånga upp så många ändringar på webben som möjligt. För att ett stickprov verkligen ska bli en sammanhängande ögon- blicksbild är det viktigt att insamlandet inte tar . Inom pro- jektet Kulturarw³ har man haft som mål att ett stickprov får ta maximalt . Stickprovsmetoden är bra för att samla in data med låg ändringsfre- kvens från webben. Sidor med hög ändringsfrekvens Data som har hög ändringsfrekvens, till exempel dagstidningar och an- nan periodica, kommer till största delen att missas med stickprovsmeto- den, då dessa ändras kontinuerligt . Om man tex samlar in webben kommer man bara att få (4/365= 0,01) av informationen från dessa webbplatser. Riktigt så illa är det dock inte, då många tidningar låter gamla dagars nyheter/sidor ligga kvar vid sidan om de aktuella nyheterna/sidorna, men klart är att en mycket stor del av materialet ändå missas med stickprovsmetoden. En lösning för att komma åt data med hög ändringsfrekvens är att identifiera de webbplatser eller sidor som har hög ändringsfrekvens och låta roboten besöka dem med samma eller högre frekvens än ändrings- skulle man kunna låta roboten besöka/samla in från Da- gens Nyheter25 en eller . En stor nackdel med denna metod är att det sannolikt är en mycket liten del av det totala antalet sidor som har ändrats medan roboten inte har någon möjlighet a priori att veta vilka. Roboten måste hämta alla sidor för att kunna kontrollera vilka sidor som ändrats, vilket tar resurser av roboten liksom av webbservern i fråga, och bandbredd på Internet. Ett sätt att minska denna nackdel är ha en distribuerad robot som sitter ute vid eller på webbservern. På detta sätt förbrukar man mindre bandbredd på Internet eftersom den distribuerade roboten då kan avgöra vad som ändrats, och skicka bara dessa ändrade sidor bakåt till den centrala roboten. Ytterligare en variant vore att låta roboten känna av ändringsfrekven- sen hos en hämtad sida genom att utgå från tidsintervallen mellan de se- naste hämtningarna, och huruvida sidan ifråga hade ändrats sedan före- gående gång. Denna beräkning görs varje gång sidan hämtats, och ligger till grund för hur roboten ska vänta till nästa besök. Här slipper man identitetskontrollen, men nackdelen är att man inte kan garantera att samtliga versioner av sidan kommer med i arkivet. Roboten måste också förses med en databas för lagring av tidsintervall och resultat av hämt- ningar. Leverans av information/data En tredje modell för att samla sidor, lämplig framför allt för sidor med hög ändringsfrekvens, är leverans av ändringsinformation, dvs att KB notifieras om nya och ändrade sidor. Med periodicitet som bestäms av ändringsfrekvensen hos publicisten skickas då en lista med de URL:er som tillkommit eller ändrats. Varje post i listan kan exempelvis innehålla URL, md5-checksumma på innehållet och datum+klockslag för skapan- de/ändring av sidan. Datum och klockslag bör kunna anges ofullständigt. KB kan med ledning av denna information hämta de sidor som ändrats. Detta är ett exempel på hur det skulle kunna se ut när tex Svenska skickar en lista med deURL:er som tillkommit eller ändrats: En variant på leveransmodellen är att nya och ändrade sidor skickas direkt till KB av publicisten. Så snart man tillåter leverans av sidor som ska arkiveras bör man dock införa identitetskontroll av den som levere- rar sidorna, så att man verkligen arkiverar rätt material. Detta kan man klara sig utan då endast information om vad som ska hämtas levereras till KB. Leveransmodellen är kanske inte lämplig för gemene man som publi- cerar sig på nätet, oavsett ändringsfrekvens; leverans kan troligen inte begäras av andra än professionella publicister. Leverans av information och/eller data på detta sätt kan kombineras med stickprovsmodellen. Projektet syftade till att undersöka möjligheterna och förut- sättningarna för arkivering av svenska webbsidor. De första arkiverings- varven runt webben ska därför ses som pilotverksamhet ämnad att ge viktig kunskap om webbens struktur och ändringsfrekvens etc. Den modell som Kulturarw³ valde initialt var stickprovsmetoden, dels för att den ansågs vara viktigast och dels för att personalresurserna var begränsade. Ytterligare en faktor i valet av modell var att Kulturarw³ hade tillgång till den robotprogramvara som användes i (Nordic Web Index)26 och hade utvecklats av NetLab i . Den robo- ten var skriven för att samla sidor till NWI:s indexeringstjänst. Genom att sprida ut hämtningen över alla de sidor som roboten för tillfället kände till, försökte roboten belasta de inblandade we bbplatserna så lite som möjligt. NWI-roboten skrevs om en del för att bättre passa för Kulturarw³s arkiveringssyften. Exempel på saker som gjordes var: spara fulltext, hämta och spara bilder och ljud, göra konfigurerbart vilka domäner som skall avsökas och sparas och inte som ursprungligen bara en enda do- män. För dagen, under det att det tredje stickprovet håller på att samlas in, testas några idéer kring hur en robot som samlar sidor med hög änd- ringsfrekvens skulle kunna vara konstruerad. Den av Kulturarw³ modifierade roboten kördes igång för en försiktig test på Kulturarw³:s utvecklings- och testmaskin. Testen gick bra och över- gick i det första stickprovet av svenska webben. Under insamlingen flyttades roboten över till en nyanskaffad driftsmaskin med snabbare cpu:er, mer internminne och snabbare, flera och större diskar. De in- samlade sidorna sparades temporärt på disk för att sedan arkiveras på band i två kopior. Även denna kopia på band är temporär tills det riktiga webbarkivet kommer på plats. En stor nackdel med hur NWI-roboten fungerade var att den försökte sprida belastningen över alla webbplatser som den skulle hämta sidor ifrån genom att maximera tiden mellan hämtningen av två sidor ifrån samma webbplats. Målet var med andra ord att tiden från att den hämta- de första sidan från webbplatsen t ill att den hämtade den allra sista sidan från samma webbplats skulle bli maximalt lång. Den ögonblicksbild av webbplatsen som man är intressad av i bevarandesyfte blir då väldigt utsträckt i tiden och risken för att den då insamlade kopian inte överens- stämmer med webbplatsen närmar sig raskt . Att samla alla sidor från en viss webbplats så koncentrerat i tiden som möjligt är en viktig förutsättning för att få en så korrekt avbild av webbplatsen som möjligt. Ett stickprov taget med NWI-roboten tog mer än en månad (effektiv tid något kortare; roboten måste ibland stå stilla i väntan på att disken tömdes genom att det insamlade materialet fördes över på band). Det torde dock vara möjligt att komma ned till målet på en veckas insam- lingstid med en bättre och effektivare robot, specialdesignad för arkive- ring, och färdig arkiveringslösning. 3.3 Framtida möjliga val En mycket stor del av de svenskar som surfar på webben har möj- lighet eller kan lätt skaffa sig möjlighet att publicera sina sidor för föra ut sina åsikter eller vad han/hon vill göra offentligt åt en större publik. Denna lätthet att publicera sig bör störas så lite som möjligt. Dessa sidor ändras förmodligen inte heller med så stor frekvens. Stickprovsmetoden möjliggör att spara dessa sidor utan publicisternas me dverkan. De publicister som publicerar mera professionellt har i allmänhet högre ändringfrekvens på sina sidor och där kommer stickprovsmetoden till korta på grund av framför allt just denna höga ändringsfrekvens. Ett alternativ skulle kunna vara att införa en slags leveransplikt för detta Den bör i så fall utformas så att publicisterna skall informera KB om alla uppdaterade eller nya sidor. Då är det även viktigt att sidor- na finns tillgängliga oförändrade under en viss given tid, tex , så att KB ges möjlighet att hinna samla dessa sidor innan de förändras, flyttas eller tas bort. Man kan också tänka sig att filerna levereras över Internet i stället för att hämtas. kan således webbmaterialet indelas i två stora grupper beroende på ändringsfrekvens och om det är en professionell publicist som står bakom eller inte. Eftersom insamlingsmetodiken enligt ovan skiljer sig avsevärt mellan de båda typerna av material, är det lämpligt att arkive- ringstekniskt skilja dem åt såtillvida att man har såväl olika robotar som olika hårdvara att köra dem på, där en samlar material stickprovsvis och den andra tar hand om leveranser. Detta underlättar framtida ändringar, inte minst som man kan räkna med att man kommer att se ännu fler typer av material på webben, vilket i sin tur kan medföra behov av ytterligare insamlingsmetoder. Robotarna kommer naturligtvis ändå att i viss mån samarbeta, exempelvis genom att utbyta URL:er. Det insamlade materialet lagras i ett arkiv, som ska kunna tillhandahålla data till användare. När det gäller lagring och framtida åtkomst av det arkiverade materialet är det viktigt även här att välja lösningar som lätt kan ändras eller bytas ut, med tanke på hur fort tekniken utvecklas. 4.1 Lagring och åtkomst På grund av den stora datavolym som dessa samlade sidor med största sannolikhet kommer att utgöra är det för dyrt att lagra dem perma- nent på hårddisk. Ett billigare lagringssätt är magnetband, där magnet- band av typen DLT7000 för närvande är föredra på grund av bland an- nat hög läs- och skrivhastighet, litet mekaniskt slitage på det fysiska bandet och självkorrigerande skrivsätt på bandet. Dessutom ingår icke- förstörande komprimering av data i bandspelaren. För att få en rationell och automatisk hantering av den stora mängd DLT-band som det totalt kommer att bli, stoppas dessa band i ett band- bibliotek med en bandrobot som hanterar läsning och skrivning på ban- den. Bandbibliotek brukar vanligen kunna förses med en eller flera DLT- bandstationer. Flera bandstationer ökar driftsäkerheten om en bandsta- tion fallerar och ökar prestanda om man låter bandroboten läsa och skriva på flera bandstationer. En viktig fördel av att tekniken kring lagringsmedia utvecklas så snabbt är att man kan bortse från frågeställningar kring åldersbeständig- het hos dessa media. Arkivet betraktas således inte som en samling band, utan som bitar och bytes som kan flyttas vidare till nya bandtyper, nya mer kostnadseffektiva lagringsmedia eller media med snabbare åtkomst- tider. () är en programvara som erbjuder möjlighet att kunna betrakta hela eller delar av bandbiblioteket tillsammans med lokala diskar som ett enda gigantiskt filsystem på många TB. Det är oftast antalet band eller bandbibliotekets storlek i termer av antal bandslots som sätter begränsningen på filsystemets stor- lek. Dock brukar det oftast finnas några praktiska begränsningar på HSM-filsystemet. Exempel på en sådan är antalet filer i HSM- filsystemet. Ett sätt att lösa detta problem och korta åtkomstti- derna (se nedan) är att lagra en grupp av sidor t illsammans i en så kallad tar-fil. (tar är ett UNIX-kommando som lagrar flera filer och filkatalo- ger i en och samma fil, med bibehållen struktur och information om ur- sprungsfilerna.) En sådan tar-fil skulle t ex kunna bestå av alla sidor från en webbplats under ett stickprov. Eftersom man kan anta att den som söker i arkivet tittar på flera sidor från samma webbplats vid sam- ma tillfälle kortas söktiderna genom att dessa sidor finns i samma fil. Åtkomsttiderna i ett arkiv uppb yggt med HSM, bandbibliotek och cachedisk kan bli ett problem om det är många samtidiga användare, då de filer som en enskild användare efterfrågar kan ligga fördelade på flera olika band. Den totala åtkomstiden för en fil på band är laddtiden, dvs tiden att ladda ett band ifrån slot till en bandstation i bandbiblioteket, , plus medelsöktiden på bandet, , således 65 sekun- der inalles. I de fall flera filer finns på samma band bortfaller laddtiden utom för första filen. Om det är flera band som efterfrågas är den totala åtkomsttiden lika med åtkomstiden för varje band multiplicerat med an- talet efterfrågade band. Flera bandstationer i bandbiblioteket liksom lag- randet av hela webbplatser tillsammans i tar-filer minskar visserligen problemet med åtkomsttiderna (se ovan), men förhoppningsvis går det att lagra hela eller stora delar av arkivet på framtida lagrings- media som är mer online, på motsvarande sätt som disk fungerar . En viktig fråga kring åtkomst av arkivets innehåll rör säkerhetsas- pekterna. För att säkerställa att innehållet inte ändras obehörigt skulle man kunna införa kryptering. Tyvärr är inget krypto helt säkert, utan garanterar bara med hög sannolikhet att ingen kan knäcka det under en viss given tid. Dessutom utvecklas tekniken att knäcka hela ti- den. Sammantaget blir slutsatsen att man måste kryptera om allt krypte- rat material i arkivet med jämna mellanrum. Operationer på hela det ar- kiverade materialet är dock oerhört tidsödande med tanke på den enorma datamängden, varför man i det längsta bör undvika detta. Ett smidigare alternativ för att behålla säkerheten kan därför vara att ha mycket hårda behörighetskontroller för tillgång till arkivet. 4.2 Presentation och migrering Den arkiverade datamängden måste kunna kommas åt på flera olika sätt, via olika nycklar, sökvägar och sökmetoder. Det är lämpligt att skjuta upp lösningen av presentationen t ill dess att det ska göras tillgängligt, eftersom man kan räkna med att det då finns mer effektiva metoder för detta . Byte av dataformat kräver presentation av gamla format på nytt sätt. Detta kan lösas genom migrering av allt arkiverat material till det nya formatet. Materialet måste dock ändå sparas i det gamla formatet också p g a risken för fel vid migreringen. Eftersom formatstandarder kan för- väntas skifta relativt ofta får man många upplagor av all data. Dessutom är, som redan konstaterats, denna typ av bearbetning av allt det samlade materialet enormt tidsödande. Ett bättre alternativ är därför att låta migreringen ligga i gränssnittet till databasen, dvs allt material lagras alltid i sitt ursprungliga format och migreras först när det ska visas. På så sätt minimeras också problemen med mindre lyckade migreringsalgo- ritmer, eftersom de kan ändras utan att det påverkar det arkiverade mate- rialet. Detta kapitel redogör för de kostnader som uppstår vid insamlande och arkivering av svenskt material publicerat på webben, uppdelat i kostna- der för inköp av färdiga produkter såsom hårdvara, kostnader för ut- veckling och underhåll av robotar etc, samt kostnader för drift. När det gäller hårdvara har jag angivit tänkbara lösningar som täcker dagens, och förhoppningsvis morgondagens, behov, men kanske inte övermorgondagens behov då dessa är svåra att överblicka. De föreslagna lösningarna täcker (åtminstone) behoven för insamling av material publicerat med HTTP, vilket utgör den absoluta lejonparten av materialet. För att underlätta drift, utveckling och framtida uppgradering har jag designat systemlösningar med ett robotprogram per dator och disklös- ning. Det är då enklare att byta ut en programvara eller dator utan att störa de övrigas robotarnas funktioner och drift. Vidare tror jag att man bör försöka ha flera små robotprogram istäl- let för ett stort, således exempelvis en robot per typ av data eller proto- koll. Skälet till detta är att svårigheterna och därmed lösningarna i stor utsträckning kommer att vara olika för olika typer av material. Det är då bättre att få små enheter som kan ha olika utvecklingscykler, men där man naturligtvis ändå kan dra nytta av de likheter som finns, än att ha en stor koloss som aldrig når ett stabilt utvecklingsläge. Notera att alla kostnader för utveckling, underhåll och drift för en- hetlighets skull är räknade i form av månadslöner. Det kan kanske vara lämpligt att anlita konsult när det gäller utveckling, och möjligen under- håll, men knappast drift, som bör hanteras av anställd personal. Beroen- de på hur man väljer att lösa personalfrågan kommer således kostnader- na angivna nedan att variera. Vidare kan man anta att månadslöner i praktiken varierar beroende på uppgift; exempelvis torde drift kosta mindre än underhåll. De angivna tiderna för utveckling och underhåll, och i viss mån även drift, ska betraktas som mycket grova uppskattning- ar. Nedan följer specifikation av de olika delarna i detalj. Här har antagits att en ny lösning tas fram , med- räknat är endast underhåll och drift fram till dess att den nya lösningen kan ersätta den gamla. 1 halvt manår = 6 månader 6 × 32000 × 1,44 = 280 kSEK 1 manår = 12 månader 12 × 32000 × 1,44 = 560 kSEK Notera att kostnader för underhåll och drift uppstår först när respektive del tagits i drift. Prisuppgifterna är angivna exklusive moms och i före- kommande fall med gällande rabatt enligt . Dator och disk för insamling enligt stickprovsmetoden: 3500 med 4 × cpu:er och 4 GB minne. Sun StorEdge innehållande 2 × A5000 monterat i rack. Totalt 2 × 14 × 9.1 GB = 254.8 GB disk. Dator och disk för insamling efter leverans av information om ändrade sidor: 3500 med 4 × cpu:er och 4 GB minne. Sun StorEdge innehållande 2 × A5000 monterat i rack. Totalt 2 × 14 × 9.1 GB = 254.8 GB disk. Dator och disk för test och utveckling av robotprogramvara: 450 med 2 × cpu:er och 2 GB minne. Totalt 20 × 9.1 GB = 182 GB disk. Dator och disk: E4500 med 4 × cpu:er och 4 GB minne. Sun StorEdge innehållande 2 × A5000 monterat i rack. Totalt 2 × 14 × 9.1 GB = 254.8 GB disk. Program för HSM och backup: StorTek 9740 innehållande 2 × DLT7000 300 st DLT-band. 2 manår = 2 × 12 = 24 månader 24 × 32000 × 1,44 = 1 halvt manår = 6 månader 6 × 32000 × 1,44 = 280 kSEK 1 manår = 12 månader 12 × 32000 × 1,44 = 560 kSEK 1 halvt manår = 6 månader 6 × 32000 × 1,44 = 280 kSEK Program för arkiv och migrering 1 manår = 12 månader 12 × 32000 × 1,44 = 560 kSEK 1 halvt manår = 6 månader 6 × 32000 × 1,44 = 280 kSEK Migrering (ingår i presentation): 1 halvt manår = 6 månader 6 × 32000 × 1,44 = 280 kSEK 1 halvt manår = 6 månader 6 × 32000 × 1,44 = 280 kSEK 1 manår = 12 månader 12 × 32000 × 1,44 = 560 kSEK (Notera att kostnader för underhåll och drift uppstår först när de olika delarna tagits i drift.) MSEK investering, därefter 1,68