sou · GQB327d3 · 2003-01-01 00:00:00 — Organisationen har byggts upp av motsvarande verksamheter som tidigare bedrevs av bl.a. (). Språkteknologiska initiativ SOU 2002:27 inrättade ett för talteknologi vid , (). CTT är en plattform för samarbete mellan företag, forskning och organisationer med intresse inom området. Samarbetet fokuseras på talbaserade dialogsystem, automatisk taligenkänning och multi- modal talsyntes. I den etapp av projektet som startade deltar 22 företag och andra intressenter. drev i samverkan med Humanistisk-samhällsvetenskap- liga forskningsrådet () två språkteknologiska ramprogram. Det första ramprogrammet (1990–1996) omfattade både talat och skrivet språk och var inriktat på såväl grundforskning som tillämp- ad forskning. Programmet resulterade i förbättrad språkteknolog- isk infrastruktur och till ökade kontakter mellan olika forskar- grupper i och mellan universitet och industri. Det andra ramprogrammet (1997–1999) hade som mål att utveckla och för- bättra metoder och tekniker för bearbetning av naturligt språk, att främja utveckling, utvärdering och spridning av verktyg och data- resurser för svenska språket, att bidra till att det kommer fram praktiskt användbara resultat i form av data, metoder, verktyg och system samt att knyta samman kompetens i tvärvetenskapliga nät- verk och främja samarbete mellan olika aktörer inom forskning, utbildning, näringsliv och samhället i övrigt. Programmet satte igång ett antal stora projekt som omfattade flera forskargrupper och kompetenser. Som en uppföljning av dessa två ramprogram driver –2004 ett språkteknologiskt program för forskning, utveckling och demonstration. Programmet syftar till att öka kunskapen om hur man utvecklar IT-system baserade på förståelse av språkliga processer. Detta kan leda till bl.a. bättre verktyg för översättning, informationssökning, doku- menthantering och kommunikation. Programmet omfattade och anslaget för är . Språkteknologiprogrammet är därmed förhåll- andevis litet i förhållande till övriga program för att stödja forskning och utveckling. I samarbete med och arrangerade kommittén ett seminarium om svensk språk- teknologi. Seminariet, som samlade ett stort antal deltagare, hade som syfte att presentera området språkteknologi, dess möjligheter och begränsningar, att diskutera vad som bör göras för att stimu- lera den språkteknologiska utvecklingen i samt att diskutera framtida organisation för statens hantering av språkteknologifråg- orna. En sammanfattning av seminariet finns i bilaga 4. 17.1.3Språkteknologi inom nordiska och europeiska program har beviljat anslag för ett femårigt nordiskt språkteknologiskt forskningsprogram. Det startade och syftar till att profilere det nordiske sproglige fællesskab og sikre/forøge anvendelsen af de nordiske sprog inden for sprog- teknologien, men samtidig støtte de nordiske samfund som en part af det større, omgivende lingvistiske samfund samt att sikre god nordisk sprogteknologi til brugerne (Sprogteknologi). Budgeten för programmet är och medlen an- vänds till nätverksbyggande, forskarkurser och pilotprojekt. Ett nybildat nätverk om språkteknologi och informationssök- ning i (SPINN) har bildats för att stärka forskningen kring språkliga resurser för informationsinhämtning. Nätverket har fått bidrag från det nordiska språkteknologiprogrammet. Nätverket skall verka för att de forskningsinstitut i som arbetar med att etablera språkliga resurser för bl.a. informationsinhämtning, ordböcker och sökmotorer, kan utbyta erfarenheter och inleda ett samarbete. De nordiska samarbetsministrarna tillsatte en oberoende arbetsgrupp, en s.k. vismanspanel. Vismanspanelen fick i uppdrag att analysera och ge förslag på det nordiska samarbetets framtid. I sin rapport för världens vindar – konstaterar panelen bl.a. att engelskan i allt högre grad blir det språk som används inom IT. I Nordiska ministerrådets uppföljning av rapporten (Ny nordisk dagsorden, 2001) diskuteras behovet av en samnordisk utveckling av språkteknologiska verktyg såsom översättningsprogram och teknologi för att understödja använd- ningen av nordiska språk. Där diskuteras även stöd till kontakter mellan universitet och högskolor kring forskning med syftet att utveckla specialkunskap i på det IT-baserade språktekno- logiska området. Språkteknologi och mångspråkighet har varit ett område för olika typer av insatser och program också inom EU. Stöd till språk- teknologisk forskning och utveckling lämnas inom de olika forsk- ningsramprogrammen. I det nu pågående femte ramprogrammet har insatser för språkteknologin fått stort utrymme inom temat Informationssamhället. Särskild tonvikt läggs på flerspråkig kom- munikation, naturlig interaktivitet och tvärspråklig informations- hantering. EU har dessutom haft särskilda program för att främja flerspråkigheten. Programmet MLAP (Multilingual Action Plan) löpte åren 1994–96. Programmet MLIS () genomfördes –99. Målen för MLIS var att höja medvetenheten om och stimulera tillhandahållandet av fler- språkiga tjänster genom att använda språkteknologier, resurser och standarder, skapa goda förhållanden för utvecklingen av språk- industrier samt minska kostnaderna för informationsöverföring mellan språk, särskilt för små och medelstora företag och att bidra till den språkliga mångfalden. Insatser för svenskspråkigt innehåll på nätet Inom den svenska IT-politiken har mycket varit inriktat på teknik, till mindre del på vad nätet innehåller. En av de stora upp- gifterna blir att fylla bredbanden med ett viktigt och attraktivt innehåll på svenska språket. Svenska medier och kulturinstitutioner såsom bibliotek, museer och arkiv har stora mängder material som i varierande grad är tillgängligt via Internet. Från statens sida har satsningar på detta gjorts , bl.a. genom satsningen på Kulturnät , och Kulturarvs-IT. I programmet för det digitala innehållet, det s.k. eContent-pro- grammet, ingår EU:s insatser för att stimulera europeiskt innehåll på nätet. I detta program betonas just kopplingen mellan språk, kultur och innehåll. Det är ett flerårigt gemenskapsprogram för stimulans och utnyttjande av europeiskt digitalt innehåll på det globala nätet samt för främjande av den språkliga mångfalden i in- formationssamhället. EU-programmet har både kultur- och när- ingspolitiska förtecken. Det syftar bl.a. till att främja den språkliga och kulturella mångfalden i informationssamhället samt till att öka exportmöjligheterna för innehållsföretag genom kulturell och språklig anpassning. Programmet omfattar åren 2001–2004. 17.1.4Språkresurser som byggts upp i Språkteknologin är i hög grad avhängig av tillgången på stora mängder språkdata. Språkresurserna består av både inspelat tal, texter och lexikala resurser som ordböcker. Insamling av språkdata är i många fall dyrt och den svenska marknaden är liten. I finns ändå relativt mycket material och olika försök har gjorts att samla detta för att underlätta för brukarna. Språkbanken är en del av vid . Vid denna bygger man upp och ger tillgång till språkliga referensmaterial i form av texter och lexikaliska data. fattade 1975 beslut om att inrätta en språkbank med nationell inriktning (Logoteket). För ändamålet inrättades två tjänster och särskilda medel avsattes (prop. 1975:1, bil. Öron- märkningen av medel till Språkbanken har numera upphört. Avdel- ningen finansieras av och är knuten till . Språkbanken har erfarenhet av att tillhandahålla material på Internet. Texter av olika slag och från olika tider finns tillgängliga via Internet () i en form där varje ord presenteras i sitt sammanhang (s.k. konkordans). Materialet om- fattar texter på ca 75 miljoner ord, från nutida texter från dagspress och skönlitteratur till äldre material som produktion och medeltida rimkrönikor. Texterna är åtkomliga gratis över nätet i konkordansform och antalet sökningar ligger på ca 5 000– 6 000 per dag. Arbete pågår för att göra språkbankens texter lättare åtkomliga för en mer systematisk sökning efter språkliga kategorier. Denna typ av sökning förutsätter ordklassmärkning av texterna. En sådan korpus finns redan tillgänglig via Språkbanken (det s.k. Parole- materialet på ca 25 miljoner ord). Språkbankens referensmaterial har spelat en viktig roll i lexiko- grafiska och lexikologiska projekt, exempelvis National- encyklopedins ordbok (1995) och . Dessutom har Språkbanken medverkat i EU-projekt med inrikt- ning på både uppbyggnad av systematiskt insamlade texter (korpusar), som i och i dess lexikaliska fortsätt- ning , där ett bestämt ordmaterial har klassificerats med avseende på betydelse. I båda fallen har arbetet skett i sam- arbete med ett tiotal europeiska länder. Bland andra europeiska projekt kan nämnas uppbyggnaden av en terminologisk databas med drogtermer, Aventinus. Korpusuppbyggnad omfattar också länkning (mening för men- ing) av översättningar mellan svenska och främmande språk. Sådana länkade, parallella texter är viktiga underlag för forskning och ut- bildning inom översättningsområdet. Samarbete pågår inom i för att bygga upp sådana parallella texter till flera europeiska språk. I detta sammanhang kan också vid uni- versiteten i , och (PLUG) nämnas. Det syftade till utveckling, evaluering och tillämpning av program för att utvinna översättningsdata ur parallella texter med svenska som källspråk eller målspråk. Med översättningsdata avses här översättningar av ord, fraser, andra meningssegment och hela meningar. De primära tillämpningarna är maskinöversättning och datorstödd översättning, översättningsdatabaser, flerspråkiga webblexikon och översättarutbildning. Lexikaliska databaser ingår i Språkbanken och några av dessa är fritt tillgängliga över nätet. Först och främst gäller det , som medger ordsökningar baserade på bl.a. kategorier som tid och långivande språk. Andra fritt tillgängliga källor är öfver svenska medeltidsspråket, Sam- hällstermer på invandrarspråk (polska, serbokroatiska, turkiska) och den tidigare nämnda Aventinus-databasen över drogtermer. Bland övriga korpusar och textarkiv kan nämnas t.ex. Affärs- världens tidningsdatabas, vid uni- versitet och . Inom talområdet finns ett stort korpus- material vid (spoken language corpora). Andra samlingar finns vid CTT vid Kungliga Tekniska . 17.1.5Språklig standardisering och terminologi behöver utvecklas mer IT och inte minst Internet har inneburit stora förändringar av hur vi hanterar informationsutbyte och kommunikation. Fokus kom- mer alltmer att ligga på informationsinnehåll och på att göra in- formation tillgänglig för nya tjänster och funktioner. Det handlar om tillgänglighet, publicering i många olika medier och maskinläsbarhet. Teknik räcker dock inte för att bygga framtidens informationsstrukturer. Om olika typer av verksamheter och affärsprocesser skall kunna dra nytta av tekniken krävs också väl- definierade terminologier, vilket bl.a. har pekat på (Bidragsansökan för ). Även och Statskontoret har uppmärksammat behovet av att utveckla en enhetlig terminologi. pekar i Hur blir en ny infostruktur motorn i e-Sverige? (SOU 2000:123) på hur viktigt det är att utveckla tillgången till informa- tion i samhället. En förutsättning för att hitta rätt information är att det finns en märkning av informationen. Ett väsentligt arbete är att beskriva hur märkningen skall göras och hur översättning mel- lan olika scheman av begrepp och termer för olika ändamål kan ske. För att man skall kunna hämta uppgifter automatiskt och för att informationen skall kunna flyta fritt mellan olika tillämpningar bör informationen vara maskinläsbar. Det behövs enligt IT-kommis- sionen ett standardiseringsarbete som gör digital information maskinläsbar och maskinbegriplig. Vidare är enhetliga begrepp och terminologier en väsentlig förutsättning för t.ex. handel. Det är viktigt med ett klart och entydigt språk för att undvika miss- förstånd mellan köpare och säljare. TNC menar att man har relevant kompetens och erfarenhet för att som en aktiv part medverka i de olika utvecklingsinsatser som föreslår (Bidragsansökan för ). IT-kom- missionen har i en skrivelse till regeringen (Om behovet av insatser för utvecklingen av samhällets informationsstruktur, 2001) före- slagit att Statskontoret bör ges i uppdrag att bereda formerna för hur ett strategiskt utvecklingsarbete kan ske samt konkret sam- ordna insatserna för standardisering, terminologi och sökfunktion- er/metadata. Den norska regeringen behandlade språkteknologiska frågor i pro- positionen Målbruk i offentleg teneste (Stortingsmelding nr 13, 1997–98). I propositionen föreslås bl.a. att Norsk språkråd byggs ut till att också omfatta ett sekretariat för språkteknik: er tenkt som eit verkemiddel for å sikre at norsk språk i framtida kan tene som eit fullverdig uttrykksmiddel også i arbeidet med avansert teknologi. er viktig for å førebyggje såkalla domenetap for norsk språk. har kunnat anställa två personer med uppgift att fungera som en knutpunkt för språkvården, forskningen och näringslivet. Norsk Språkråd lade fram ett förslag till handlings- program för det norska språket och IT (Handlingsprogram for norsk språk og IKT, 2001). I handlingsprogrammet lämnas förslag på olika mål, bl.a. att norska språket skall användas inom språk- teknologin och dess produkter och tjänster i . Alla med norska som modersmål skall ha lika tillgång till norskspråkiga pro- dukter och tjänster inom IT-området. Norsk språkteknologi skall utvecklas på grundval av forskning och kunskap om talat och skriv- et språk samt på nationell teknikkompetens. Det norska språket i programvaror och på norska webbsidor skall bli bättre. Bland de viktigaste åtgärdsförslagen är att upprätta en norsk språkbank för att samla, tillrättalägga och tillgängliggöra gemen- samma norskspråkiga resurser för text och tal. Nationella forsk- nings- och utbildningsprogram inom ämnesområdena språktek- nologi och norska språket och IT skall etableras och allianser mellan näringsliv och forskning för att utveckla språkteknologiska produkter skall främjas. Ett sektorsövergripande program/organ skall upprättas för att samordna nationella åtgärder inom språk, kultur och IT. Reglerna för offentlig upphandling skall ändras för språket i programvaror. Ett nordiskt center för språk och språk- teknologi bör inrättas. Norsk IT-terminologi bör samlas, utvecklas och tillgängliggöras. Utvecklingen av elektroniska utbildnings- program bör prioriteras och stödjas. Arbetet med att bygga upp en nationell språkbank i form av gemensamma, svenska text- och taldatabaser samt lexikala re- surser m.m. skall fortsätta. Forskning och utveckling inom språkteknologiområdet skall förstärkas. Ett samordnande, språkteknologiskt sekretariat skall inrättas. Språkvården bör som en del i arbetet för språkteknologin fort- sätta med sitt arbete med språklig standardisering. Utvecklingen inom språkteknologin innebär både möjligheter och risker för svenska språket. Vi har i kapitel 5 pekat på att det finns risker för att den språkteknologiska utvecklingen kan leda till ytterligare domänförluster för det svenska språket. I detta kapitel vill vi däremot betona de möjligheter som vi menar att den språk- teknologiska utvecklingen innebär. Sammanfattningsvis gör vi be- dömningen att språkteknologins möjligheter är stora, men att det är viktigt att från statens sida stödja utvecklingen av svenska språk- resurser genom en samlad insats för att undvika framtida domän- förluster inom området. Från språk- och kulturpolitisk utgångspunkt kan utvecklingen av språkteknologiska produkter och tjänster ses som ett medel för att behålla och stärka den språkliga och kulturella mångfalden i . Genom en fortsatt utveckling av språkteknologiska pro- dukter och tjänster kan man stärka de små språkens ställning och ge alla likvärdig tillgång till information, oavsett språk. Maskin- översättning kan underlätta för oss svensktalande att kunna tala och skriva på vårt eget språk och ändå kunna kommunicera med personer med annat språk och få tillgång till information i andra länder. Om maskinöversättning utvecklas även för det svenska språket kan det bli möjligt för personer som inte fullt ut behärskar främmande språk att både få och ge information på det globala nätet. Med maskinöversättningar kan svenska språket få en större roll i informationssamhället. Från förvaltningspolitisk syn- punkt är utvecklingen inom språkteknologin viktig, inte minst när det gäller översättningsarbete inom EU och utvecklingen av 24- timmarsmyndigheten. Från näringspolitisk synpunkt är språkteknologi en framtids- bransch med industriell potential. I dagens läge står dock flera av de språkteknologiska företagen inför svåra lönsamhetsproblem. Att det finns en inhemsk språkteknologisk industri är av stor vikt för utveckling och anpassning till svenska förhållanden. Det kan antas att internationella aktörer har ett mindre intresse av att utveckla och anpassa produkter och tjänster för svenska förhållanden. Språkteknologin kan även användas för att t.ex. genom maskin- översättningar minska konkurrensnackdelar för svenska företag gentemot engelskspråkiga länder. I kapitel 14 behandlar vi språk- teknologins stora betydelse för utvecklingen av nya handikapp- hjälpmedel. Staten bör ta ansvar för språkteknologiskt utvecklingsarbete I det språkteknologiska utvecklingsarbetet behövs ett nära sam- arbete mellan näringsliv, forskning och myndigheter. Det är därvid nödvändigt att definiera de olika parternas roller. Enligt vår be- dömning är följande ett statligt åtagande: att se till att språkresurser på svenska – både i skrift och tal – samlas in, lagras, bearbetas och tillhandahålls i en nationell språkbank, bl.a. för att underlätta framtagandet av svensk- språkiga produkter och tjänster, men också för att kunna ut- nyttjas av forskningen, myndigheter och den språkintresserade allmänheten att ge stöd till svenskspråkig språkteknologisk forskning och utveckling, både den grundforskning som äger rum vid univer- siteten och högskolorna och som får stöd av bl.a. Vetenskaps- rådet och den tillämpade forskning som bl.a. stöder att samordna och på olika sätt stödja utvecklingsarbetet, bl.a. genom att ta initiativ till samarbete mellan näringsliv, forskning och myndigheter. Särskilt bör utvecklingen av avancerade maskinöversättningssystem för svenska språket främjas. Produktutveckling m.m. bör dock primärt lösas på marknadens villkor. Det bör vara företag inom det språkteknologiska området som med hjälp av de språkresurser och den forskning som staten finansierar förser den svenska marknaden med svenskspråkiga pro- dukter. Arbetet med att bygga upp en nationell språkbank skall fortsätta En av de viktigaste åtgärderna för att stödja svenskspråkig språk- teknologi är att stödja uppbyggnaden av svenska språkresurser. Enligt vår mening är språket ett nationellt intresse, och likaså är det ett nationellt intresse att svenska språkresurser samlas in, lagras, bearbetas och tillhandahålls. Det är därför ett statligt åtagande att säkerställa att så sker. Språkbanken vid har i uppgift att samla in, lagra, bearbeta och tillhandahålla elektroniskt läsbara texter. Vi föreslår att arbetet med att bygga upp en nationell språkbank i form av gemensamma, svenska text- och taldatabaser samt lexikala resurser m.m. skall fortsätta. Syftet bör vara att göra språkresurserna allmänt tillgängliga för så många som möjligt. En nationell språkbank bör ses som en viktig del i den infra- struktur som byggs upp för informationstekniken. Detta är enligt vår mening en mer effektiv åtgärd än att satsa på t.ex. statliga bi- drag till utveckling av enskilda produkter. Utvecklingsarbetet bör inriktas på att göra denna nationella språkbank så komplett som möjligt (tal- och textdatabaser för nutida svenska, parallell- eller översättningskorpusar samt ordböcker, termlistor, uttalsordböcker och skrivregler m.m.). Den nationella språkbanken skall alltså stödja utvecklingen av en svenskspråkig språkteknologi. För att främja en sådan utveckling är det viktigt att språkresurser hålls allmänt tillgängliga för att kunna återanvändas och vidareutvecklas av såväl forskare som kommersi- ella projekt. Det är viktigt att denna åtgärd är konkurrensneutral och kommer alla språkteknologiska företag och forskare till godo. Tillgången till den nationella språkbanken måste därför göras så bred som möjligt. Databaserna bör vara i första hand gratis och i andra hand billiga att använda för så många som möjligt. Vi anser att detta är en viktig förutsättning för att språkteknologin skall kunna utvecklas även på svenska. Den nationella språkbanken skall emellertid inte bara vända sig till språkteknologiska företag och forskare, utan också vara en webbplats för svenska språkresurser på det globala nätet som riktar sig till den breda allmänheten. Det är språkpolitiskt viktigt att den nationella språkbanken får ett folkbildande uppdrag och kan till- gängliggöra material av intresse för alla språkbrukare (se vidare kapitel 19). En annan viktig avnämare är den offentliga förvalt- ningen. Arbetet med att vidareutveckla en nationell språkbank under- lättas av att det i redan finns relativt mycket material. Huvudsakligen finns detta vid Språkbanken vid univer- sitet. I detta sammanhang är det naturligtvis också en stor fördel att svenska språket är ett så väldokumenterat språk. Det finns dock behov av ytterligare korpusar, t.ex. stora talspråkskorpusar med regionala varieteter, brytning etc. som underlag för språktekno- login (röststyrd teknik etc.). Den nationella språkbanken bör ges funktionen av en portal för svenska språkresurser, vars uppgift blir att tillhandahålla de olika korpusarna m.m. Detta innebär att insamlingen, lagringen och be- arbetningen kan ske hos olika aktörer. Ansvaret för att bygga upp och sedan driva den nationella språkbanken kan förläggas till olika aktörer. Vi har i våra överväganden utgått från följande. En första utgångspunkt är att Språkbanken vid uni- versitet redan fungerar som en nationell språkbank och att där finns ett mycket omfattande material som måste utgöra en av grundstenarna till en vidareutvecklad nationell språkbank. Språk- data vid är en central aktör och den kompetens som finns där är en resurs som måste tillvaratas på bästa sätt. Förutom vid Språkbanken finns olika korpusar vid andra forskningsinstitutioner. Det är viktigt att en bred repertoar av korpusar tillgängliggörs genom den nationella språkbanken. En andra utgångspunkt är att den vidareutvecklade nationella språkbanken måste få bred tillgänglighet. Till kommittén har det framförts, bl.a. av representanter för språkteknologisk verksamhet, att det finns tillgänglighetsproblem vad gäller främst lexikala databaser. Det är ett nationellt intresse att svenska språkresurser på ett enkelt sätt kommer forskare, företag och andra i hela landet till godo. En tredje utgångspunkt är att det är en fördel om den som skall ansvara för den nationella språkbanken har bred kompetens när det gäller både språk- och teknikfrågor samt har goda kontakter med både forskarvärlden, myndigheter och det språkteknologiska när- ingslivet. Eftersom språkresurserna bör komma alla till godo är det vår be- dömning att den nationella språkbanken bör hanteras av en statlig myndighet eller statligt finansierad aktör, utan vinstintressen. Den nationella språkbanken innebär bl.a. att länkar till redan befintliga svenska språkresurser samlas och koordineras i en portal för svenska språkresurser. Det ingår i den nationella språkbankens uppgifter att säkerställa att alla får tillgång till dessa. I kapitlet om språkvårdens framtida organisation återkommer vi till frågan om vem som skall ges i uppdrag att ansvara för den fortsatta uppbygg- naden och driften av den nationella språkbanken. Ett konkret nordiskt samarbete i språkbanksfrågor bör initieras Under utredningsarbetet har det framkommit att det finns behov av nordiskt samarbete kring språkteknologiskt utvecklingsarbete.