sou · GSB341 · 2005-01-01 00:00:00 — I svaren kan avläsas en successiv förbättring . Andelen svarande som anser att FOI forskar om rätt saker var år , och motsvarande tal för dem som inte instämmer var respektive . En annan fråga gäller om FOI har produkter eller den kompe- tens som de svarandes organisation efterfrågar. Där ser man i svaren en positiv utveckling , medan omdömena därefter ligger kvar på ungefär oförändrad nivå. Den bild man får genom enkäten är alltså att FOI:s forskning över tiden blivit något mer relevant ur kundernas perspektiv. I svaren på de frågor som rör produktkvaliteten i Kundundersök- ningen ser man genomgående mönstret att värdena förbättras något , medan en obetydlig försämring därefter noteras . Det gäller frågorna om nivån på för- väntningarna på kvaliteten och om resultatet motsvarar förvänt- ningarna. Det gäller också frågan om resultatet håller en hög kvali- tet, och om man sammantaget är nöjd med de arbeten FOI utför. Uppfattningen om huruvida FOI:s resultat är objektivt förefaller förändras relativt lite över tiden. Även i den Årliga enkäten ställs frågor som speglar kundernas syn på produktkvaliteten. En sådan fråga gäller förväntningarna på FOI:s forskning, som förefaller vara ganska stabila över perioden (den undersökta perioden är åren 1999–2002). När det gäller resul- tatuppfyllelsen redovisas en kraftig förbättring , varefter värdena legat kvar på i stort sett oförändrad nivå med undantag för det civila försvaret, där värderingen av resultatet för- sämras . Sammantaget blir dock intrycket av de båda enkäterna att kundernas bedömning av produktkvaliteten utvecklats svagt posi- tivt, särskilt under den tidigare delen av den undersökta perioden. På frågor som rör överföringen av FOI:s forskningsresultat till kunderna antyder svaren i Kundundersökningen att det i detta avseende finns större brister än i produktkvaliteten. Både när det gäller påståendet att FOI:s resultatredovisning är lättförståelig och påståendet att FOI är bra på att presentera nyttan av de resultat man fått fram, är de svarande betydligt mindre benägna att instäm- ma än i frågorna om produktkvaliteten. var det av de svarande som helt instämde i påståendet att FOI är bra på att presentera nyttan av resultatet. Som jämförelse kan nämnas att motsvarande tal för påståendet att FOI:s resultat håller en hög kvalitet var . Något fler än tidigare bedömer dock nu resultatredovisningarna som lättförståeliga. Likaså kan man notera att fler än tidigare anser FOI:s personal vara pedagogisk. I båda undersökningarna ställs frågor som belyser nyttan av produkter. Resultatet av Kundundersökningen 2002 är att färre svarande än tidigare anger att nyttan av FOI:s tjänster är stor. En ännu större nedgång kan man se i andelen svarande som är beredda att instämma i påståendet att resultatet av FOI:s tjänster inom mitt verksamhetsområde kommer verkligen till användning. Däremot kan man notera en svag ökning av ande- len svarande, som uppger att de utnyttjar andra resultat från FOI än de som de själva varit med om att beställa. I den Årliga enkäten ställs frågor om vilken nytta kunderna haft av FOI:s forskningsresultat och och om vilken nytta man kommer att ha av resultaten . I alla tre fallen avviker värden negativt från de följande årens. Man kan också konstatera att enkäten ger bilden att före- trädare för det civila försvaret har en mera positiv värdering av nyttan med FOI:s forskning än representanterna för det militära försvaret. Man kan diskutera hur säkra slutsatser som kan dras av Kund- undersökningen och den Årliga enkäten. Å ena sidan är antalet intervjuer relativt omfattande i båda undersökningarna. Å andra sidan är frågorna av bedömnings- eller attitydkaraktär. Det är sannolikt att förändringar i de faktiska förhållanden, som man frågar om, sker relativt långsamt och är svåra att urskilja från till ett annat. Strukturella förändringar – som exempelvis den att de tidigare undersökningsresultaten avser FOA och de senare FOI – försvårar jämförelser över tiden. Som sagts är huvudsyftet med undersökningarna att ge underlag för det interna, löpande kvalitetsarbetet, och de ger inte ensamma något säkert underlag för slutsatser om FOI:s verksam- hetsresultat. Resultatet av undersökningarna kan emellertid – till- sammans med annan information – belysa olika aspekter på resul- tatet. Frågor som belyser resultatet av FOI:s verksamhet tas upp i de två intervjuundersökningar, som på utredningens uppdrag utförts – den ena till FOI:s kunder, den andra till medarbetare inom FOI (konsultrapporten redovisas i bilaga 3). Frågor som rör verksam- hetsresultatet ställdes främst i den externa undersökningen, men berörs också något i den interna undersökningen. Det råder stor samstämmighet – både från kundernas sida och inom FOI – om att relevansen i FOI:s forskning påverkats positivt av övergången från anslags- till uppdragsstyrning. FOI tvingas nu på ett annat sätt än tidigare sätta sig in i och anpassa forskningen till kundernas behov. Man måste i ökad utsträckning motivera sina projektidéer. En ökad kundorientering kan iakttas hos FOI, som uppfattas som betydligt mer intresserade av kundernas önskemål . Verkningarna av den ändrade finansieringsformen har emellertid inte varit begränsade till förändringar inom FOI. Över- gången till uppdragsfinansiering har också inneburit att det ställs högre krav på beställarsidan, vilket lett till att kunderna visar ett ökat intresse för FOI:s verksamhet eftersom man har krav på sig att precisera sina önskemål. Både från Försvarsmakten och från FMV redovisas i intervjuundersökningen uppfattningar med den innebörden. Det är alltså fråga om en ömsesidig lärprocess, där såväl uppdragsgivare som uppdragstagare utvecklat sin roll. Ändå finns det intervjupersoner som ifrågasätter om FOI:s forskning har den rätta inriktningen i relation till det nu gällande säkerhetspolitiska tänkandet och ansträngningarna att ominrikta försvaret. Svagheter i Försvarsmaktens uppdragsstyrning – och kanske svagheter eller obalanser i uppdragssystemet som helhet – skulle alltså leda till bristande relevans i FOI:s forskning. Intervjuundersökningarna ger det bestämda intrycket att över- gången till avgiftsfinansiering haft positiva effekter också för pro- duktkvaliteten. Omdömena om kvalitetsnivån är mer blandade men övervägande positiva – särskilt från Försvarsmakten. Överföringen av FOI:s forskningsresultat till kunderna är ett område där intervjuerna visar att det finns tydliga brister. Framför allt inom Försvarsmakten och FMV efterlyser man rapporter som är lättare för kunden att tillgodogöra sig. behöver de alltför ofta konkretiseras och förenklas för att bli till nytta. Man efterlyser presentationer där resultaten appliceras i scenarier, och i några fall menar man att militär kompetens borde vara bättre representerad inom FOI för att ge mera användaranpassad resultatöverföring. Också de interna intervjuerna visar att man inom FOI är med- veten om att just överföringen av resultat till kunder är ett område som behöver förbättras. Man redovisar också att man har vidtagit olika åtgärder för att effektivisera överföringen – något som även återspeglas i de externa intervjuerna. Liksom när det gäller relevansen ligger de brister man kan se i överföringarna av forskningsresultat inte ensidigt på FOI:s sida. Beställarna har sin del av ansvaret för att se till att formerna för resultatöverföring är lämpliga utifrån slutanvändarens behov. En effektiv resultatöverföring kan naturligtvis inte komma till stånd utan att ansträngningar läggs ned från mottagarnas sida. Från Försvarsmakten hänvisar man till den snabba personalomsätt- ningen bland FoT-processens mottagare som en förklaring till svagheter i samband med mottagandet av forskningsresultat från FOI och den vidare spridningen inom organisationen. Intervjuerna tyder dock på att man inom alla kundkategorier är medveten om att man – på grund av tidsbrist, avsaknad av engagemang vid rap- porttillfället etc. – inte utnyttjar FOI:s forskningsresultat optimalt. tyder intervjusvaren på att detta är ett område där det pågår ett arbete för att höja effektiviteten. Det är inte bara vid själva överföringen av forskningsresultat från FOI till beställarna, som effektivitetsförluster kan uppkomma. Också hanteringen av informationen inom beställarorganisa- tionerna kan ha brister. En särskild svårighet föreligger inom För- svarsmakten, där avståndet är stort mellan beställaren vid Hög- kvarteret och de slutliga användarna – vid skolor och förband ute i organisationen. De reaktioner som intervjuundersökningarna redovisar på frågor om nyttan av FOI:s verksamhet är svårtolkade. Å ena sidan kan man konstatera att många av kundrepresentanterna bedömer att man har nytta av FOI:s forskning – särskilt om man ser det i ett längre perspektiv. ger svaren ett ganska splittrat intryck. De spänner över hela fältet från mycket positiva till starkt ifråga- sättande. Värdet av FOI:s verksamhet beskrivs på mycket olika sätt av olika svarande. Skilda förklaringar till bristande nytta anges – en del inom FOI, andra hos mottagarna. FOI (och FOA och FFA) genomför utvärde- ringar av en eller flera av sina avdelningar. I några fall har utvärde- ringarna avsett delar av avdelningar. har detta system resulterat i 10 sådana utvärderingar. Utvärderingarna syftar till att dels bedöma kvaliteten och rele- vansen i verksamheten inom avdelningen, dels ge rekommenda- tioner rörande åtgärder som kan vidtas för att åstadkomma förbätt- ringar. De genomförs av externa grupper, som satts samman av per- soner med kompetens inom avdelningens ansvarsområde. Grup- perna, som i allmänhet är i storleksordningen 5 personer, består av vetenskapliga experter hämtade från universitet, högskolor eller forskningsinstitut – alltid med internationella inslag – och i allmän- het dessutom av framstående militära representanter. Rapporterna skrivs på engelska. Även om man inte kan tolka utvärderingsgruppernas bedöm- ningar som en avspegling av det aktuella läget vid FOI, ger de en bild av förhållanden relaterade till effektiviteten vid FOI i fråga. Utvärderingsgrupperna skaffar sig underlag för sina rapporter med hjälp av genomgång av data, enkäter till och intervjuer med personer inom den aktuella avdelningen – och ibland med kunder – och genomgång av avdelningens produktion av rapporter och vetenskapliga artiklar. Arbetet ska resultera i en konsensusrapport med gruppens bedömningar och åtgärdsförslag. Utvärderingarna är avsedda att vara ett stöd för verksledningen i det löpande kvalitetsarbetet, och senast efter rapporttillfället ska FOI ha värderat rapportens slutsatser och rekommendationer och från den utgångspunkten formulerat ett handlingsprogram. Eftersom flera av utvärderingarna genomfördes , och då dessutom åtgärder baserade på rapporterna har vidtagits, kan man inte tolka utvärderingsgruppernas bedömningar som en avspegling av det aktuella läget vid FOI. Det finns också skäl att understryka att det viktiga med utvärderingarna inte är den bild de ger av FOI, utan att de genomförs på ett systematiskt sätt, och att de löpande leder till åtgärder. Ändå kan det vara intressant att försöka sammanfatta de mest framträdande dragen i utvärderingsrapporterna. En sådan samman- fattning blir med nödvändighet subjektiv och selektiv och kan dessutom inte innefatta den mängd synpunkter och rekommen- dationer för olika delar av avdelningarnas ansvarsområden, som återfinns i rapporterna. Mest påfallande är utvärderingsgruppernas höga värdering av kvaliteten i produkterna. Man talar genomgående om hög veten- skaplig kvalitet – quality of work is good and in places excellent, the is impressed by the quality and relevance of present research and studies, the scientific level is good and at some departements excellent etc. I linje med den bedömningen är också värderingen av personalens kompetens, som genomgående ges ett högt betyg. I några rapporter framhålls dock att den långsiktiga förnyelsen av strategisk kompetens bör uppmärksammas mer. Den positiva bedömningen av personalens kompetens och kvali- teten i arbetet är det dominerande intrycket från rapporterna. I övriga avseenden är bilden mer splittrad. När det gäller samverkan internt – mellan olika projekt eller avdelningar – återfinner man i rapporterna ett antal kritiska kommentarer. Current intradepartmental and interdivisional linkages are, however, inadequate for this purpose and are in urgent need of improvement within and external to the division är bedömningen i en av rapporterna. Liknande kom- mentarer finns i andra rapporter. Om man går igenom de efter rap- porterna följande åtgärdsprogrammen, finner man att just det bristande samarbetet mellan myndighetens olika delar uppfattas som ett tydligt problem, och att arbetet med att förbättra den interna samverkan har haft hög prioritet inom verket . I några rapporter pekar man på sambandet mellan verkets plane- rings- och finansieringssystem och svårigheterna att få till stånd den önskvärda interna samverkan. Det sägs också förstärka en fokusering på kortsiktiga projekt snarare än på långsiktig utveck- ling och kompetensuppbyggnad. I en annan rapport pekas på risken att systemet leder till att alltför små projekt tränger ut större, mer viktiga projekt. I rapporterna diskuteras också kontakterna med kunderna, både på planeringsstadiet och i samband med avrapportering av färdiga studier. Bedömningen av kvaliteten i kundkontakterna varierar, men i några rapporter efterlyser man förbättringar. Förbättrings- förslag finns också vad gäller samverkan internationellt, som genomgående betraktas som mycket angelägen. Arbetet för att öka den internationella samverkan har haft mycket hög prioritet inom FOI , och resultaten har varit påtagliga. förslagen inom området i rapporterna understryker betydelsen av att gå vidare. I en rapport från internrevisionen som avser FOA och som pre- senterades redovisas tidsserier för perioden /95 till 2000. Uppgifterna gäller det årliga antalet utförda slutprestationer och är redovisade enligt följande indelning: Föredrag och föreläsningar för uppdragsgivarna Direktmedverkan i uppdrag utanför FOA Modeller/demonstrationsutrustningar/prototyper Arrangerade kurser med externa deltagare Övriga offentliga föredrag Övriga publikationer Remissvar och offentliga utlåtanden En av slutsatserna som drogs var att antalet slutprestationer per forskare och teknisk stödpersonal var relativt . En redovisning av dessa slutprestationer (med i stort sett över tiden bestående indelning) lämnades i FOA:s årsredovisningar. angavs också styckkostnader för de olika prestationerna. I FFA:s årsredovisningar redovisades under rubriken regleringsbrevet – slutprestationer per verksamhetsgren uppgifter om antal rapporter, antal artiklar i vetenskapliga tidskrifter, antal föredrag vid internationella konferenser och antal externa projekt. I figur 9.1 redovisas hur produktionen av rapporter och artiklar m.m. utvecklats åren 1997–2003 (för FOA/FFA åren 1997–2001 och FOI åren 2001–2003). Figur 9.1 Antal rapporter, artiklar m.m. producerade av FOI. Källa: FOI. Som framgår av figur 9.1 minskade produktionen till 2001 för att därefter återhämta sig . Svackan kan förklaras med temporära effekter av sammanslagningen av . har antalet rapporter till uppdragsgivare ökat, medan övriga kategorier har bibehållit eller minskat nivån. Ök- ningen av antalet kundinriktade rapporter är enligt FOI en med- veten ominriktning av produktionen för att öka forskningsresul- tatens användbarhet. Som en kommentar till användarnas syn på rapporterna pekar FOI i årsredovisningen på att av kunderna enligt kundenkäten upplever rapporteringen som ganska bra eller mycket bra. Ett prestationsmått som kommit att utnyttjas inom försvarssek- torn , och som redovisas i FOI:s årsredovis- ningar, är Levererade milstolpar till Försvarsmakten. Det gäller de överenskomna delleveranserna med leveransdatum inom de pro- jekt som omfattas av samlingsbeställningen och Metod- och utred- ningsstöd. Dessa delleveranser var 392 till antalet , efter att ha minskat från 485 via 457 till 345 . FOI kommenterar inte i årsredovisningen nedgången till 2001 och den därpå följande återhämtningen. Den kan dock förklaras av en strävan mot större, mer samlade projekt. Av större intresse är andelen leveranser som levererats enligt överenskommelsen med Försvarsmakten. Av årsredovisningen hade av de 392 delleveranser inom samlingsbeställ- ningen och Metod- och utredningsstöd, som hade överenskommet leveransdatum, levererats enligt beställningen. Motsvarande tal , 2000 och 2001 var respektive och . Också här får man bilden av en negativ utveckling som brutits. FOI kommenterar i årsredovisningen utvecklingen , och säger att man bedömer att det visar på att förmågan att genomföra forskning på ett planmässigt sätt är god. Mått på kostnadsproduktiviteten tas upp i avsnitt 5.4. Där konstateras att återrapporteringskraven i regleringsbreven varierat påtagligt över tiden, och att det därför saknas en sammanhängande kvantitativ redovisning. I årsredovisningen presenteras för åren 2001–2003 en beräkning av kostnaden i externt finansierad verksamhet. Resultatet av beräkningen är att kostnadsproduktivi- teten steg för att året därpå falla med ungefär lika mycket. En likartad tendens rapporteras när det gäller debiteringsgraden. Den steg från , och föll därefter tillbaka till . Debite- ringsgraden ligger därmed, som konstateras i kapitel 6, på ungefär samma nivå som för annan likartad statlig verksamhet. 9.7Utredningens sammanfattande bedömning av FOI:s resultat Det dominerande intrycket vid en genomgång av FOI:s produk- tionsresultat för det – det perspektiv som utred- ningen valt att arbeta med – är de övervägande tydligt positiva omdömen som uppdragsgivarna fäller om FOI:s verksamhet. För en avgiftsfinansierad myndighet är kundernas uppfattning natur- ligtvis en nyckelfråga, och omdömena avspeglar rimligen också deras bedömning av effektiviteten i verksamheten. Denna allmänt positiva bild får bilda bakgrund till diskussionen om brister i effek- tiviteten, brister som beror på både interna förhållanden inom FOI och yttre förutsättningar som FOI bara i begränsad utsträckning kan påverka. Den första fråga som vi vill diskutera är om FOI:s forskning är relevant. En dimension av den frågan är om FOI:s forskning är den som kunderna vill ha. En annan dimension är om FOI:s forskning har det innehåll, som motiveras av säkerhetspolitikens inriktning. Som framgår av diskussionen om den externa styrningen – i kapitel 3 och 4 – finns det en närmast total samstämmighet i upp- fattningarna i utredningens intervjuer om att övergången till avgiftsfinansiering hade mycket positiva effekter. Denna uppfattning återfinns både externt och internt. Utredningen är övertygad om att en av de viktiga positiva effek- terna var att relevansen i forskningen förbättrades till följd av kun- dernas förstärkta inflytande över forskningens innehåll. Vi menar också att det sannolikt inte är fråga om en engångs- effekt vid övergången till nytt finansieringssystem, utan att en successiv förbättring har skett även därefter, genom att man både på producent- och beställarsidan funnit sig bättre tillrätta i sina roller. FOI:s Kundundersökning tyder också på att kunderna upp- fattar att relevansen i forskningen fortsatt att förbättras. Att det skett, och fortsatt sker, förbättringar innebär inte att dagssituationen är utan svagheter. Vad som framför allt är slående, är att man från kundernas sida möter uppfattningen att tydligheten i beställningarna ofta inte är tillräcklig, med åtföljande brister i överensstämmelsen mellan kundens förväntningar och utfallet av forskningen. Den andra frågan – om FOI:s forskning har rätt innehåll i för- hållande till säkerhetspolitikens inriktning – är betydligt svårare att belysa. Det är inte givet hur man ska konkretisera det säkerhets- politiska tänkandet, så att det kan ställas mot en bild av innehållet i FOI:s forskning, som genom sin bredd och mångfald inte heller är tydlig eller lätt att sammanfatta. Det är inte heller självklart i vilken utsträckning det bör ankomma på just FOI att svara för den forsk- ning som behövs inom det säkerhetspolitiska fältet. Vi kan konstatera att några av de personer vi har intervjuat ifrågasatt innehållet i FOI:s forskning från just säkerhetspolitisk utgångspunkt. Utredningen konstaterar att det kan finnas fog för ett sådant ifrågasättande, med utgångspunkt från de brister som enligt vår uppfattning finns i dels finansieringssystemet, dels i regeringens styrning av de särskilda medlen för Forskning för Regeringens behov. En andra aspekt på effektiviteten i FOI:s verksamhet rör pro- duktkvaliteten. Man kan konstatera att även denna i våra egna intervjuer och i intervjuundersökningarna framstår som något som påverkats positivt genom övergången till avgiftsfinansiering. Bilden är här inte lika entydig som då det gäller relevansen. Framför allt från medarbetare vid FOI, men även från utomstående, har det framhållits att avgiftsfinansieringen kan få negativa konsekvenser i form av kortsiktighet, bristande uppmärksamhet på kompetens- utveckling och minskad förmåga att ta upp projekt som är potent- iellt intressanta, men som inte passar in i det av FoT-processen givna planeringssystemet. På det hela taget bedöms ändå avgifts- finansieringen ha påverkat produktkvaliteten positivt. I Kund- undersökningarna kan man notera en förbättring av värdena som speglar produktkvalitet , och därefter en stag- nation eller svag nedgång till 2002. Man kan notera att av de svarande i Kund- undersökningen 2002 inte instämde i påståendet att FOI står för kvalitet. Det måste anses vara ett mycket bra resultat – motsvaran- de tal för påståendet att FOI forskar om rätt saker är till exempel . Överföringen av forskningsresultat till kunderna är uppen- barligen en av FOI:s svaga punkter. I Kundundersökningen är detta ett av de frågeområden som uppvisar de lägsta värdena. Också intervjuundersökningarna – både de externa och de interna – indi- kerar att just överföringen av resultat är ett problem, som man är klart medveten om och arbetar för att minska. Svagheterna i samband med förmedlingen av resultat ligger dock inte enbart på FOI:s sida. Även beställarna uppvisar brister – både i hur man preciserar sina krav på hur FOI ska redovisa sina resultat och i sitt agerande i själva överföringsprocessen. Inte minst i arbe- tet för att nyttiggöra resultaten inom den egna organisationen finns tydliga brister på mottagarsidan. Användarnas nytta av FOI:s verksamhet är naturligtvis svår att mäta. Kundundersökningar och intervjuer ger inte entydiga svar på frågor om hur utvecklingen ska bedömas. Man kan dock notera att den genomgående positiva synen på effek- terna av övergången till avgiftsfinansiering – både när det gäller relevans och kvalitet i forskningen – rimligen kan tolkas som att nyttan av verksamheten också långsiktigt har ökat. FOI redovisar, i enlighet med kraven i regleringsbrevet, i års- redovisningen några olika mått på slutprestationer. Redovisningen av antalet rapporter av olika slag och vetenskapliga artiklar visar att en, sannolikt tillfällig, svacka i rapportproduktionen inträffade . FOI förklarar detta med effekter av det arbete som uppstod vid sammanslagningen av . En liknande svacka syns i tidsserien över levererade milstolpar till Försvarsmakten. I det föregående har vi försökt ge en bild av resultatet av FOI:s verksamhet i relation till de generella krav på effektivitet, som ställs i instruktion och regleringsbrev. I dokumenten utpekas emellertid, vid sidan av huvuduppgiften att bedriva verksamhet för totalför- svaret, några speciella uppgifter för FOI, som inte nödvändigtvis helt sammanfaller med huvuduppgiften. Det gäller dels målet att nå ökad spridning av forskningsresultaten utanför totalförsvaret, dels målet att nå ökad samverkan mellan militär och civil forskning samt mellan nationell och internationell forskning.