sou · GMB3111 · 1999-01-01 00:00:00 — Detta förebådar säkerligen något nytt, där inte längre utgåvor av publikationer kommer att vara lika påtagliga, där man snarare gör sig själv till en kontinuerlig publikation, ständigt utställd och tillgänglig i ett mer eller mindre offentligt rum. I en sådan värld skulle publicering och offentliggörande inte vara de aktiva processerna. Publicering skulle helt enkelt vara normaltillståndet, en självklar biprodukt av all normal produktion, fritid och liv, en sorts fjärrnärvaro i olika ständigt disponibla informationsmängder. Den aktiva handlingen skulle snarare bli tillbakahållandet, skapandet av hemliga, privata rum. Om detta skall anses vara en utopi eller en dystopi beror säkert på hur stor valfriheten blir mellan dessa poler av tillgänglighet. Hybridformer mellan den personliga hemsidan, chatlinjer där man skapar sig en fiktiv identitet och 63 av vänner och bekanta, som man ständigt är i förbindelse med via portabla miniatyrdatorer, blir kanske första steget mot en sådan utveckling. Det finns redan starka ten- denser i medierna till en upplösning av gränsen mellan fakta och fiktion, liksom mellan privat och offentligt. En sådan här hybrid utgör kanske en annan aspekt av detta. Servrar kan komma att bli framtidens bankfack, där vi förvarar våra digitaliserade värdesaker, elektroniska pengar, familjealbumet som släk- tingar runt hela världen kan titta i osv. Allt snyggt säkerhetskopierat på ett par ställen i världen, skyddat för såväl brand som inbördeskrig. 63 ICQ (uutalas I Seek You): program som visar vilka av ens vänner som är uppkopplade mot nätet. sådan miljö kommer ett begrepp som kopiering för enskilt bruk att när- ma sig publiceringen. Man kan ha ett litet intranät för närmaste vänner- na, där man i lugn och ro helt lagligt enligt dagens definitioner skulle kunna sprida annars skyddat material. Upphovsrätten kommer säkert att förändras drastiskt, i varje fall på . Med copyrightens uppkomst centrerades publikationerna på ett tidigare inte skådat sätt kring personen, författaren. Kanske håller vi nu på att skapa en ny typ av inriktning mot ett mera upplöst personbegrepp, där man kan räknas som upp hovsman på det gamla sättet utan som deltagare i en kollektivt självpublicerad rymd av information. Den tidigare skisserade läsarten som man tillgodo- gör sig med hjälp av olika program, ställer förstås också frågan om vem som blir författare i en sådan situation – och vad verkshöjd är. Gamla verk som skrivits traditionellt och som återutges på det här nya sättet kan förstås inte anta vilka former som helst. Men vad händer när förfat- tare börjar skriva speciellt med tanke på de här möjligheterna? Det rent mentala koncipierandet av texter, de nya gestalter idéer och fakta kan få när de passerat en eller flera människohjärnor och några konstgjorda, tror jag är en mycket viktig infallsvinkel när det gäller att analysera vad framtiden innebär för publicering, distribution, upphovs- rätt, hela kunskapsbegreppet, kanske rent av medvetandebegreppet. Den är minst lika viktig som att försöka räkna ut hur apparaterna kommer att se ut, om vi kommer att ha datorn inbyggd i glasögonen eller om vår sänglektyr kommer att projiceras i taket osv. Nya möjligheter kommer givetvis att förändra tänkesättet – och tvärtom. Sambandet är oskiljaktigt. De nya möjligheterna kommer sä- kerligen också att lösa upp den medieidentitet som förlag, TV-bolag, radiostationer etc av tradition har haft. Istället kommer man antagligen att förmedla information – möjligen begränsad till vissa ämnen man specialiserat sig på – och efter förhållandena välja om innehållet bäst presenteras som text (då blir man temporärt förlag eller tidning) eller som rörliga bilder (då blir man TV-bolag) eller med ljudfiler (radiostation) eller med en kombination. Dagens multimediala impe- rativ kommer förhoppningsvis att adlas till friheten att välja uttrycks- medel. angående förutsättningarna för robotbaserad insamling och leverans av Internetdokument Denna rapport beskriver ur teknisk synvinkel uppdraget att samla in och arkivera svenskt material från Internet. Rapporten består av fyra delar, där den första beskriver olika aspekter av själva problemet – vad innebär uppdraget egentligen? Del två och tre beskriver lösning av problemet, vilket naturligt sönderfaller i de två delarna insamling och arkivering. Slutligen diskuteras kostnader i rapportens sista del. Detta kapitel försöker ge en beskrivning av problembilden – vad innebär det egentligen att arkivera den svenska delen av webben? Vad är egentli- gen en sida, och vad är svenskt i en värld som går tvärs över nations- gränser? Vad är en webbrobot? Vilka typer av material stöter den på på sin vandring över webben? Vilka är svårigheterna, och vad kan man veta eller gissa om framtiden? 2.1 Vad är en sida? Man talar om begreppet webbsida som om det vore något mycket välde- finierat, men det visar sig snabbt att det inte finns någon självklar defi- nition. Till att börja med kan vi säga att det man når om man följer en viss länk, en viss URL, är en sida. Men denna sida innehåller normalt en mängd länkar till andra resurser, som t ex html-dokument eller bilder. Ingår dessa i den första sidan? Kanske inte html-dokument, men bilder måste nog anses göra det, eftersom man inte kan se sidan som den var tänkt att se ut utan dess bilder. Så långt inga större problem. Men arki- veringsprojektet måste också ta hänsyn till när sidor ändras, eftersom det bara är ändrade sidor man behöver arkivera på nytt. En sida som i sig inte har ändrats, men som pekar ut en bild som är ändrad, ska den anses vara ändrad? Detta är inte så stort problem för själva insamlandet, efter- som man kommer att arkivera en ny version av bilden men inte av sidan som länkar till den, men det ställer krav på strukturen hos själva arkivet. En och samma sida måste kunna visas tillsammans med olika versioner av en bild. 2.2 Vad är svenskt material? För projektet har en viktig del i arbetet varit att definiera vad som ska anses vara svenskt material på webben, och som därmed ska arkiveras. Relativt självklart är att alla domäner inom toppdomänen .se kan betraktas som svenska och följaktligen allt material på desamma som svenskt. (NIC-SE)1, som ad- ministrerar alla underdomäner till .se-domänen, ställer dock relativt hårda formella krav för att få registrera en domän under .se. Detta gör att många söker sig till andra toppdomäner som tex de icke nationsspeci- fika toppdomänerna org, .com och .net vilka har betydligt mildare krav för registrering av underdomäner. är det först till kvarn som gäller, och man kan registrera vilket namn som helst. Här kan noteras att en annan anledning för företag och organisationer att välja toppdomänerna ovan är att dessa på sätt och vis fungerar som internationell telefonkatalog över webben eftersom de inte är nations- bundna. Den som till exempel känner till namnet på ett företag, eller fö- retagets huvudprodukt, men inte vilket land företaget ligger i, kan ofta hitta den sökta webbplatsen genom att i sin webbläsare pröva http://www..com. Med en fungerande telefonkatalog för webben skulle denna landsflykt därför kanske mins- ka. Det förekommer också att svenskar väljer andra nationers toppdomä- ner som ger mer eller mindre fyndiga URL:er på svenska, exempelvis .tm och .nu (t ex ). Man kan därför tänka sig flera definitioner av vad som är svenskt på webben: ·Allt material som nås via URL:er under toppdomänen .se. ·Allt material på webbservrar som rent fysiskt befinner sig i . ·Allt material inom domäner registrerade med svensk postadress eller svenskt telefonnummer. ·Allt material som riktar sig till, eller är intressant för, svenskar. Att kriterierna ovan i viss mån är överlappande är uppenbart. I vissa fall är de till och med motsägande, exempelvis kan domäner under topp- domänen .se mycket väl ligga på webbservrar placerade utanför Sveri- ge, men bör nog ändå anses svenska. Början till en rimlig definition fås om man i listan ovan använder kriterierna i den ordning de står, dvs svenskt material är alla URL:er under toppdomänen .se, dessutom allt SOU 1998:111 Bilaga 3 229 material utanför .se-domänen som ligger på webbservrar i , osv. Tyvärr slutar inte svårigheterna där. En sida inom .se har ansetts som svensk enligt ovan. Men en sådan sida kan ju mycket väl innehålla länkar till sidor utanför denna toppdomän. Ska då även dessa länkade sidor arkiveras? Man har inom Kulturarw³ valt att generellt sett inte följa dessa länkar, då de ju uppenbart ligger utanför , och den hämtade sidan kan anses fullständig i sig själv, även utan möjlighet att klicka sig vidare från den. I vissa fall innehåller dock svenska sidor bil- der som inte ligger inom svensk domän. En sådan sida kan knappast an- ses komplett i arkivet om man inte kan se bilden, så i dessa fall har även den inlänkade bilden hämtats. 2.3 Hur fungerar en webbrobot? En webbrobot är programvara som arbetar sig igenom webben genom att ta sig från webbplats t ill webbplats, från webbsida t ill webbsida, och bearbeta den information den finner på sidorna på något sätt. De flesta webbrobotar är så kallade indexeringsrobotar knutna till någon söktjänst på nätet. En sådan robot samlar information om vad som finns på webbsidorna i syfte att presentera länkar till sidor som innehåller de sö- kord en användare har angivit. Ett exempel på en sådan robot är Scooter från Digital, som samlar sidor till söktjänsten AltaVista. En arkiverings- robot hämtar istället hem hela innehållet på varje sida den finner, även bilder och ljud, och skickar det vidare till ett arkiv. Oavsett syftet med vandringen över nätet arbetar olika robotar efter ungefär samma princip- er. Från en webbsida kan man i allmänhet ta sig till många andra webbsidor via klickbara länkar. Det betyder att när en robot har hittat en viss sida, har den på samma gång också hittat länkar till en mängd andra sidor. På så sätt bygger roboten parallellt med insamlandet av själva si- dorna också upp en lista med URL:er att arbeta sig igenom. För varje länk den hittar söker den i denna lista för att se om URL:en redan finns där, och om inte adderas den till listan. Roboten kan även spara en lista med URL:er till varje webbplats startsida inför nästa stickprov. När ro- boten ska börja det nya stickprovet över webben finns då en lista med URL:er att starta med. En viktig fråga är i vilken ordning webbsidorna ska besökas av ro- boten. När en viss URL hämtats från listan av URL:er, och motsvarande sida hämtats från nätet, finns ju en mängd länkar på denna sida. Ska roboten då följa dessa länkar direkt, och så arbeta sig vidare på djupet innan den går vidare till nästa URL i listan, eller ska den bara lagra de nya URL:erna i listan och återkomma till dem när den har kommit så långt i listan? I det första fallet får man sidor som är sammankopplade med länkar någorlunda , det vill säga risken att informationen på sidorna inte hänger ihop är liten. Nackdelen är dock att servern dessa sidor ligger på blir hårt belastad medan man dammsuger den på all information. Den senare metoden ger en jämnare last på webbservrar, men en sämre ögonblicksbild av informationen. En robot bör vara så flexibelt konfigurerbar som möjligt för att un- derlätta ändrade förutsättningar. Exempelvis bör definitionen av var gränsen för robotens vandring ska gå (dvs i vårt fall definitionen av vad som ska anses vara svenskt, enligt ovan) vara parameterstyrd i robotens konfiguration. 2.4 Olika typer av webbprotokoll Kommunikationen mellan webbläsare och webbservrar sker enligt välde- finierade protokoll, lämpliga för olika typer av material och ändamål. ·HyperText Transfer Protocol (HTTP) är det protokoll som oftast an- vänds för publicering av information på webben, varför detta dokument huvudsakligen fokuserar på HTTP.2 ·File Transfer Protocol (FTP) används mest av så kallade filarkiv för distribution av programvara och har därför inte ansetts ha högsta prio- ritet ur bevarandesynpunkt.3 ·Network News Transfer Protocol (NNTP) används för överföring av där (oftast) publika diskussioner förs. Protokollet kan där- för vara intressant att samla in. ·Simple Mail Transfer Protocol (SMTP) används för att distribuera elektronisk post, e-post, över Internet. Även om ambitionen inte är att bevara all vanlig e-post, kan det ändå vara intressant att bevara e- postlistor (alias/listserv), där diskussioner liknande dem på förs. Exempelvis publicerar många av våra riksdagspartier regel- bundet nyhetsbrev på detta sätt. 2 Hypertext Transfer Protocol -- HTTP/1.0 [] 3 File Transfer Protocol [] och Extensions [] 4Network News Transfer Protocol [] 5Simple Mail Transfer Protocol [] ·Gopher kan i viss mån ses som HTTP/HTML:s föregångare och det finns inte alls så mycket publicerat på gopher. Dock kan det material som finns kvar vara intressant att bevara.6 ·Så kallade streamade protokoll, som används till exempel för radio- eller TV-sändning, är på stark frammarsch. Utmärkande för streamade protokoll är att inte all information behöver ha skickats färdigt innan den kan börja konsumeras. De flesta av dem är dock leverantörsspecifi- ka standarder som inte är offentligt dokumenterade och därför svåra att samla in och bevara. 2.5 Olika typer av material Beroende på bl a typ av information är webbsidor definierade på olika sätt, med hjälp av olika språk som webbläsare kan tolka. En arkiverings- robot måste också kunna hantera dessa olika typer av material. HyperText Markup Language (HTML) är egentligen ett språk för att de- finiera strukturen hos dokument, men det används i praktiken mest för att definiera utseendet hos dokument. är de flesta sidorna på webben definierade m h a HTML. används oftast följande två versioner av HTML på webben: Vidare har nästa version, HTML 4.0, just tagits fram9. Här följer ett exempel på hur ett HTML-dokument är uppbyggt, till- sammans med hur det ser ut när en sökrobot arbetar sig igenom den: 6The Internet Gopher Protocol [] 7http:///MarkUp/html-spec/ 8http:///TR/REC-html32.html 9http:///TR/REC-html40/ Ett HTML-dokument skall enligt specifikationen för HTML 3.2 ha föl- jande struktur: ... other head elements I HTML-dokumentets BODY finns en del element som är av speci- ellt intresse för en webbrobot. Det är de element som pekar ut andra län- kade resurser såsom tex HTML-dokument eller bilder: ·A – Anchor elements, används för att definiera länkar: ·IMG – Inline images, används för att inkludera bilder: ·APPLET – inkludera Java Applets (i HTML 4.0 ersatt av OBJECT): Java applet som visar rullande Turbo fälgar. ·MAP – Client-side maps: vet vi lite om HTML-dokumentets uppbyggnad och kan följa we- bbroboten i några steg. I steg 1 hämtar roboten sidan . Då hittar den bland annat dessa länkade resurser i dokumentet: Roboten indexerar sedan sidan om den är en indexeringsrobot, och är den en arkiveringsrobot arkiverar den sidan. Om roboten sedan hämtar den länkade resursen kommer den i steg 2 bland annat att hitta: Roboten upprepar detta förfarande för varje länkad resurs t ills den hämtat hem alla länkade resurser inom den domän eller domäner som skall arkiveras, exempelvis den svenska toppdomänen .se. Utseendet på webbsidor kan definieras med hjälp av s k style sheets, vil- ket är dokument med formatmallar som kan ligga separat från själva webbsidorna. finns några olika standarder för hur style sheets kan skrivas: CSS1, Cascading Style Sheets level 1 CSS2, Cascading Style Sheets level 2 XSL, eXtensible Style Language Skript, programvaror och plug-ins Somliga webbsidor är delvis definierade m h a programkod, eller data- format som använder så kallade plug-ins (insticksprogram), som exekve- ras när sidan visas upp. Det finns ett antal skript- och programspråk att använda för detta, exempelvis: ·EcmaScript, en standardiserad variant av språket JavaScript 13 ·Java Applet, ett sätt att paketera småprogram skrivna i Java 14 ·ShockWave, används för multimedia på webbsidor 15 ·RealPlayer, för streamad överföring av ljud och bild 16 10http:///TR/REC-CCS1 11http:///TR/REC-CCS2/ 12http:///Style/XSL 13http://developer.netscape.com/docs/manuals/javascript.html 14http://java.sun.com 15http:// 16http:// Denna typ av sidor ställer speciella krav på ett webbarkiv, eftersom programkoden måste kunna exekveras även om skript- eller program- språket den är skriven i inte längre används. Uppgiften att arkivera svenska webbsidor kan verka rättfram när man väl definierat vad som ska anses vara svenskt. Man stöter dock på en mängd problem, varav en del beror på att Internet är ett re- lativt nytt medium som användarna ännu inte helt behärskar, samt att allt ännu inte är enhetligt standardiserat. Svenskt material utanför .se-domänen Som nämnts ovan finns ofta domäner med svenskt material registrerade under andra toppdomäner .se. Hur hittar man dessa svenska do- mäner? Ett sätt är att söka i olika sökmotorer såsom AltaVista och HotBot efter svenska ord. Detta är dock ganska tidsödande och kräver en hel del manuellt arbete för att gå igenom de kandidater till svenska domäner som vaskats fram. En annan nackdel med metoden är att den utesluter svenska domäner med andra språk än svenska. Ett annat sätt är att försöka få tillgång till registren över toppdomä- nerna och söka efter domänägare med svensk postadress (postnummer med SE- eller S-prefix, eller land ) eller svenskt telefonnum- mer (+46). Inom ramen för Kulturarw³ hittade jag på detta sätt ca 9000 svenska domäner med totalt ca 5000 webbplatser i toppdomänerna .org, .com och .net. Det finns också webbsidor som kan betraktas som svenska eller är intressanta ur svenskt perspektiv, som inte ligger på svenska webb- servrar eller i svenska domäner. Enda sättet att på ett någorlunda auto- matiserat sätt hitta sådana sidor är att söka i sökmotorer efter svenska ord enligt ovan, med samma för- och nackdelar. Slutligen ska nämnas att mycket material utanför .se-domänen tro- ligen kommer att hittas ryktesvägen. Sannolikt bör man föra ett manuellt register över svenska domäner, svenska webbservrar och svenska webbsidor som roboten kan använda för att avgöra vad den skall samla in. SOU 1998:111 Bilaga 3 235 När roboten stöter på en databas kan den ibland få svårigheter beroende på hur databasens gränssnitt ser ut. Har databasen , dvs parametrarna till databasfrågan ingår i URL:en, kommer roboten att upp- fatta sidan som en vanlig webbsida och kan arkivera den på vanligt sätt utan problem. Om databasen istället har ett frågegränssnitt, där paramet- rarna inte ingår i URL:en utan anges av användaren, uppstår däremot problem eftersom det är omöjligt för roboten att gissa frågor för att komma åt innehållet i databasen. Här tangerar man frågan om vad som egentligen ska anses vara pub- licerat på webben. En definition vad gäller databaser kan vara att om databasen har URL-gränssnitt kan den anses vara publicerad, och kan samlas in med ordinarie robotteknik, medan databaser med frågegräns- nitt inte är publicerade i egentlig mening, utan bara tillgängliggjorda. Frågegränssnittet kan då ses som webbens kikhål in i databasen, vilken i sig inte ligger på webben. Dessa databaser torde dock trots detta vara lika intressanta att bevara som de med URL-gränssnitt. Ett sätt att lösa problemet är att ålägga den som publicerar en sådan databas att regel- bundet tillhandahålla databasen i form av dokumenterade flata binärfiler enligt specifikation från KB. Vissa webbsidor är svåra eller omöjliga för en robot att komma åt, bero- ende på att de är spärrade för läsning på något sätt. Några varianter är vanliga: En webbsida kan vara skyddad för obehörig access på flera sätt. Ex- empelvis kan sidan vara lösenordsskyddad. Roboten måste med andra ord känna till användarnamn och lösenord för att komma åt sidan och alla de sidor som ligger under densamma. Det går också att konfigurera en webbserver så att den inte släpper in robotar till vissa sidor. Detta trots att den kanske lämnar ut sidan till alla andra på webben. Vidare har många webbplatser en fil robots.txt innehållande de för- hållningsregler besökande robotar förväntas följa för att anses väl- uppfostrade (well-behaved). En typisk sådan förhållningsregel är att robotar inte får titta på vissa sidor på webbplatsen. Notera dock att detta är ett mjukare sätt att neka robotar tillträde; roboten kan välja att ignore- ra denna fil, och på så sätt ändå komma åt alla sidor på webbservern i fråga. I samtliga dessa fall kan en lösning vara att uppmana t ill specialbe- handling av just KB:s arkiveringsrobot, genom att i första fallet lämna ut användarnamn och lösenord och i de följande fallen tillåta just arkive- ringsroboten att komma åt samtliga sidor genom omkonfigurering av servern respektive ändring i robots.txt-filen. Olika versioner för olika webbläsare Olika webbläsare har egna implementationer av de standarder som finns på webben. De har ofta inte heller implementerat hela standarden. Nya versioner av standarder finns av förklarliga skäl inte i äldre versioner av webbläsarna. Detta sammantaget gör att samma sida ibland kan ha olika utseende och beteende i olika webbläsare. För att uppnå samma utseende och beteende görs ibland samma sida i olika versioner för olika webblä- sare och deras olika versioner. Vilken version skall roboten arkivera? En lösning är att konfigurera roboten så att den arkiverar den eller de versioner av sidan som motsva- rar de webbläsare och de versioner av dessa webbläsare som är vanligast ibland de svenska användarna. Klickbara bilder på webben brukas kallas imagemaps. De finns i två skepnader: client side maps och server side maps. Client side maps beskrevs ovan i avsnittet om HTML i kapitel 2.5 Oli- ka typer av material. Där kan man se att länken, dvs URL:en, står med på sidan. Med andra ord bereder det inga problem för roboten att arkivera sidan och att följa länkarna för att sedan arkivera dessa också. Server side maps däremot är svårare för roboten att få ut något vet- tigt av. Den klickbara bilden har i detta fall inte information om URL:en/URL:arna, utan koordinaterna för musklicket skickas till webb- servern som utifrån dessa koordinater avgör vilken sida den skall skicka tillbaka till webbläsaren/roboten. Detta är dock relativt resurskrävande för webbservern, varför server side maps torde bli mer och mer ovanligt. En möjlighet för roboten vore den tidsödande metoden att klicka sig igenom sådana bilder, låt säga var 5:e pixel, och se vad den får tillbaka för varje klickning. Lyckligtvis återfinner man dock oftast länkar till de sidor som döljer sig bakom den klickbara bilden på annan plats på sidan. Ett problem är att samma material kan råka samlas in på grund av att en och samma webbserver kan uppträda under flera namn. Detta problem kan inte lösas helt automatiskt, men roboten kan fås att göra intelligenta gissningar om i vilka fall flera servernamn gäller sam- ma server och presentera dessa förslag för driftspe rsonalen. Dubletter kan också uppstå orsakat av att vissa webbservrar inte skiljer mellan versaler och gemena i pathen i URL:en, medan andra gör det. Roboten utgår från att exempelvis nisse, och , som den hittat i pathen i olika URL:er pekande på samma fil, är namn på olika filer och således samlar in samma fil . En möjlig lösning på detta problem vore att beräkna md5-checksumma på innehållet på sidor vars namn skiljer sig endast i fråga om versaler/gemena (md5 är en algoritm för beräkning av checksummor av informationsmängder, där risken att två olika informationsmängder skulle få samma checksumma är så gott som obefintlig). Notera att problem med dubletter inte uppstår för indexeringsrobotar på samma sätt som för arkiveringsrobotar. I det förra fallet är ju det primära att kunna förse användare med länkar till viss information, var- vid roboten kan nöja sig när den hittat en viss sida en gång.