frsrdg · GN04Rr12 · 2000-01-01 00:00:00 — utvärdering av MISTRA angav akademierna att ett viktigt inslag i granskningsuppdraget har varit att formulera akademiernas uppgifter vid granskningen samt därmed också dess syfte, inriktning och omfattning. Därvid ansågs att fokus för granskningen ska vara om målformuleringar och graden av måluppfyllelse står i överensstämmelse med stiftelsens stadgar, samhällets intressen och förväntningarna på stiftelsen. Akademiernas granskningar bekostas av stiftelserna. Akademierna får därmed förhandla med stiftelserna om de ekonomiska villkoren för utvärderingarna. Enligt KVA:s bedömning innebär detta teoretiskt sett en risk för styrning och ett begränsat oberoende i utvärderingsarbetet. Framtidens kultur ska, i enlighet med sina stadgar, följa upp och utvärdera den verksamhet som stiftelsen stödjer. Till skillnad från de övriga löntagarfondsbildade stiftelserna har, i enlighet med stiftelsens stadgar, inte någon från stiftelsen mer oberoende institution givits rätt att utvärdera verksamheten. genomför stiftelsen dock en oberoende vetenskaplig utvärdering av verksamheten. Utvärderingsuppdraget har formulerats på stiftelsens uppdrag. Arbetet utförs av en grupp forskare från . Utvärderingen är i första hand inriktad på att utvärdera stiftelsens verksamhet - dvs. resultatet av stiftelsens arbete satt i relation till stiftelsens uppdrag. 6 Beredning, bedömning och uppföljning av stöd Hur kommer man i kontakt med stiftelserna? I revisorernas enkät ställdes frågan hur mottagarna kom i kontakt med stiftelsen. Av enkätsvaren framgår att de flesta kom i kontakt med stiftelsen via annons eller utskick. Flera har också uppgivit att man via anslag eller information på arbetsplatsen, på eller högskolan, eller via Internet kom i kontakt med stiftelsen. Via kolleger och via forskningsråd är andra vanligt förekommande svar. Samtliga stiftelser förutom och institutet i har en hemsida där man även kan hämta ansökningshandlingar. Vårdal har också ett nätbaserat ansökningsförfarande. Ett större antal har även svarat att stiftelsens existens och verksamhet är en allmän kännedom. behandlade frågan om anpassning av ansökan. Utredningen framförde att forskaren i olika ansökningar lyfter fram olika aspekter av sin forskning för att visa hur den passar in i den aktuella finansiärens program. Som exempel nämns miljörelaterad grundforskning där man i en ansökan om medel från belyser miljörelevansen medan man i en forskningsrådsansökan lyfter fram de inomvetenskapliga kvaliteterna. Om särskilda medel ställdes till förfogande för t.ex. tvärvetenskaplig forskning skulle dessa element särskilt framhållas i en sådan ansökan etc. I revisorernas enkät ställdes frågan om projektet på något sätt har anpassats för att överensstämma med stiftelsens krav. Har projektet på något sätt anpassats för att överensstämma med stiftelsens krav? Antal Ja 126 Nej 13 Vet ej/kan ej ange 62 Summa: 201 Av svaren framgår att den övervägande delen mottagare har uppgivit att man har anpassat sitt projekt. På frågan om på vilket sätt denna anpassning har skett, svarar 14 mottagare att anpassning har gjorts genom områdesfokusering och inriktning mot prioriterade målområden. Anpassning har också gjorts för att uppfylla krav på tvärvetenskap, samverkan, ledning etc. 14 mottagare har också nämnt att man som anpassning sänkt ambitionsnivån i och med minskade ekonomiska ramar. bör påpekas att anpassning av ansökan kan ses som en självklarhet eftersom stiftelserna eftersträvar att vissa aspekter ska tillgodoses som exempelvis de strategiska aspekterna i ett forskningsprojekt. 6.2 Former för beredning Det formella beslutet om vilka som ska beviljas stöd tas av stiftelsernas styrelser. Som nämnts ovan har stiftelserna, med undantag av , små kanslier till sitt förfogande. vid har inte några egna kansliresurser utan anlitar genom ett avtal . består av en kvarts sekreterartjänst. För dessa båda stiftelser gäller att institutet vid respektive svarar för beredningsförfarandet. I likhet med forskningsråden anlitar övriga stiftelser externa bedömare i beredningen av ansökningar. Sammansättningen i dessa beredningsgrupper skiljer sig åt mellan stiftelserna. I beredningsgrupperna ingår t.ex. forskare, representanter för sektorsmyndigheter och representanter för forskningsråd. Avgörande för valet av beredningsform är också om det är ett enskilt projektbidrag eller stipendieansökan eller ett mer omfattande programstöd som avses. En mer detaljerad beskrivning av beredningsförfarandet för respektive stiftelse framgår av bilaga 1. Inom SSF bereder kansliet medelsansökningar inför behandling i stiftelsens beredningsorgan och styrelse. Programförslaget utvärderas av en internationell granskningsgrupp främst med avseende på det vetenskapliga innehållet. Gruppen ombeds även göra en övergripande strategisk bedömning av programmet. beviljar godkända programförslag och, efter rekommendationer från beredningsgrupperna, ett igångsättningsanslag för . Stiftelsen har övergått till att bevilja totalanslag för programmens hela verksamhetstid om normalt . MISTRA tillämpar ett ansökningsförfarande i två steg för sin programverksamhet. anlitar externa beredningsgrupper utsedda av styrelsen, med ledamöter från högskola och näringsliv. Även anlitar externa bedömare. Stiftelsen har granskningsgrupper bestående av externa granskare nominerade av universitet, högskolor, forskningsråd m.m. De vetenskapliga granskningsgrupperna sammanställer gruppernas förslag som sänds vidare till en särskild samordningsgrupp, med uppgift att väga samman granskningsgruppernas förslag samt att bedöma projektens samhällsrelevans. Styrelsen beslutar om beviljande av stöd respektive avslag. Samordningsgruppen har även till uppgift att på styrelsens uppdrag följa upp och utvärdera program. STINT har tagit hjälp av forskningsråden. kommer dock stiftelsen att arbeta med en egen beredningsorganisation i syfte att bl.a. få möjligheter till dialog mellan styrelse och beredningsorganisation samt bättre kontroll över beredningsarbetet. Stiftelsen arbetar med en parallell kvalitetsprövning. Kvalitetsgranskningen görs genom en ad hoc-grupp. Gruppen utgör även ett stöd vid uppföljning och utvärdering. Kvalitetsprövning görs också med hjälp av sektorsmyndigheter på kulturområdet, dvs. , och , samt även med stöd av företrädare för Konst- Stiftelsen tar för sina bedömningar hjälp av en regional organisation som utgör ett första filter. Stiftelsen tar även hjälp av externa bedömare som lämnar ett beslutsunderlag till stiftelsens kansli. Kansliet bereder frågan inför styrelsens formella ställningstagande. Stiftelsen anlitar såväl privata konsulter som för dessa bedömningar. har för den kulturvetenskapliga donationen inrättat en särskild prioriteringsgrupp. För den vetenskapliga bedömningen av projektansökningar tar stiftelsen hjälp av experter såväl inom som utanför . har ingen egen organisation för beredning av ansökningar utan arbetar genom . Högskolan lämnar en samlad ansökan om forskningsstöd till stiftelsen med redovisning av planerade projekt. Stiftelsen beviljar sedan, efter prövning mot ändamålet, ett klumpanslag till högskolan som högskolan sedan fördelar på de olika projekten. är från forskningssynpunkt ett litet land vilket medför en fara för att jävssituationer kan uppstå. Både stiftelserna och forskningsråden anlitar sakkunniga granskare som bedömer ansökningar. I stiftelselagen regleras förhållandet mellan en stiftelse och dess styrelseledamöter. En styrelseledamot får inte handlägga frågor som rör avtal mellan honom och stiftelsen. Han får inte heller handlägga frågor om avtal mellan stiftelsen och tredje man, om han i frågan har ett väsentligt intresse som kan strida mot stiftelsens. För myndigheter gäller förvaltningslagens jävsbestämmelser. Bestämmelserna innebär att den som handlägger ett ärende är jävig bl.a. om saken angår honom själv eller någon närstående (t.ex. make, förälder, barn) eller om ärendets utgång kan väntas medföra synnerlig nytta eller skada för honom själv eller någon närstående. Jäv föreligger också om det i övrigt finns någon särskild omständighet som är ägnad att rubba förtroendet till någons opartiskhet i ärendet. Forskningsråden är myndigheter och därmed underkastade förvaltningslagens jävsbestämmelser. I revisorernas enkät ställdes frågan om någon i projektet har en aktiv roll i stiftelsens arbete. Som exempel angavs expert, konsult eller medlem av beredningsgrupp. Merparten (173 mottagare av 207 svarande) har uppgivit att man inte har någon sådan aktiv roll. 27 mottagare svarade ja på frågan. Övriga visste inte eller kunde inte ange något svar. har utarbetat och fastställt en jävspolicy som i stort bygger på förvaltningslagens bestämmelser. En ledamot med egna ansökningar får inte delta i diskussioner eller beslut av ansökningar eller beslut som gäller ansökningar från egen institution. Även MISTRA:s, STINT:s, Innovationscentrums och styrelser har fastställt särskilda jävsregler. Vårdals bestämmelser finns som en bilaga till verksamhetsberättelsen. Den miljöekonomiska stiftelsen vid hänvisar till stiftelselagens bestämmelser. har i en nyligen utarbetad handbok slagit fast att verksamheten uppvisar starkt drag av offentligrättslig verksamhet och tillämpar därför förvaltningslagens jävsbestämmelser. Övriga stiftelser påtalar dock att man inte har formulerat eller antagit några särskilda skriftliga riktlinjer angående jäv. I har frågan inte särskilt diskuterats av styrelsen men ses som en självklarhet. Inte heller har några skrivningar om jäv men påtalar att jäv diskuteras ingående i varje beredningsomgång. 6.3 Beviljande av stöd Stiftelsernas ändamålsparagrafer är styrande och avgörande för beviljande av stöd. Hos forskningsråden bedöms den inomvetenskapliga kvaliteten i forskningen i allmänhet genom att andra forskare utvärderar ansökningar. Forskningsråden anger att kvalitetsaspekterna i första hand är styrande för vem som beviljas stöd. För stiftelserna är stadgarna styrande för beviljande av stöd. Ändamålsparagraferna är emellertid vida i sina definitioner och innehåller inte närmare kriterier för beviljande av stöd. Hos flertalet stiftelser finns dock inom stadgarna mer preciserade riktlinjer för stiftelsernas verksamhet och vilka som kan få stöd. I revisorernas enkät ställdes frågan om projektet beviljats det belopp man ansökt om. 76 av 199 uppgav att projektet beviljats ansökt belopp. Merparten (111 av 199) svarade nej på frågan. Övriga svarade att man inte visste eller inte kunde ange om man beviljats sökt belopp. Av den konsultstudie genomfört framgår att Innovationscentrum uppvisar den högsta beviljandegraden av de stiftelser som haft uppgifterna tillgängliga. Den kulturvetenskapliga donationen (RJ) uppvisar en ökande beviljandegrad som beror på att fler ansökningar beviljas. har en avtagande beviljandegrad som både beror på färre antal inkomna ansökningar men även färre antal ansökningar som godkänns. Vid intervjuer med stiftelserna har framkommit att beviljandegraden mellan stiftelserna varierar. SSF påtalar att det finns klara svårigheter att ge en representativ siffra vad gäller programmens beviljandegrad. De stora programmen har vuxit fram efter en process med många steg. Skenbart blir här beviljandegraden mycket hög. Stiftelsens nyare aktiviteter utannonseras på ett annat sätt. Som exempel nämner stiftelsen en utannonsering inom materialforskningsområdet . Stiftelsen mottog 67 ansökningar med ett sammanlagt sökt belopp . Stiftelsen beviljade 8 av dessa med ett anslag av . uppger att nästan alla som söker får stöd men att beloppet som beviljas ibland är lägre än det belopp som sökts. anger att konkurrensen om anslag från stiftelsen är mycket hård och att det knappast finns något forskningsfinansieringsorgan som är så "översökt". Av de sökta beloppen för nya projekt kan endast ca Det innebär enligt stiftelsen att ansökningarna måste hålla en mycket hög kvalitet för att kunna ha en chans till stöd. Stiftelsen anger att det i forskarsamhället betraktas som en kvalitetsstämpel att ha erhållit anslag från RJ och därmed är de flesta forskare medvetna om vad som krävs av en ansökan för att den ska komma vidare till beredningsomgången. Av dessa skäl är det stiftelsens bedömning att ansökningarna är av hög kvalitet. En låg beviljandegrad kan emellertid bero på bristande kvalitet i ansökningarna. Framtidens kultur hänvisar i samtal att kvaliteten i ansökningarna är mycket ojämn och att en stor del inte är på acceptabel nivå. Man uppger att av ansökningarna som kommer in är bra och att man efter kvalitetetsprövningens rekommendationer tittar närmare på men att man beviljar endast av dessa. MISTRA anger att man mottagit ca 200 ansökningar till program. Av dessa har man gått vidare och beviljat 22 programstöd. Hälften av ansökningarna förkastades direkt eftersom de inte ansågs vara av tillräckligt god kvalitet. I syfte att få fram bättre kvalitet på ansökningarna anordnar kurser i hur man söker bidrag och formulerar ansökningar. Även beviljandegraden hos forskningsråden varierar. Exempelvis uppger () att av ansökningarna beviljas, men att projekten oftast är prutade och att beviljandegraden i pengar därmed är lägre. () uppger att beviljandeandelen för helt nya ansökningar (från forskare som inte tidigare sökt anslag från NFR) är lägre än . Flera forskningsråd påtalar också att en för låg beviljandeandel kan skapa problem genom att forskare inte söker anslag eftersom chansen att beviljas medel är så låg. Man pekar på en internationell jämförelse som säger att beviljandeandelen bör vara för att säkerställa en god kvalitet för forskning i landet. Någon direkt jämförelse mellan stiftelserna och råden, när det gäller beviljandegraden, är dock inte meningsfull eftersom den i hög grad är beroende av vilken form av stöd som avses. Exempelvis SSF, , Vårdal och Innovationscentrum har uppgivit att samtliga ansökningar får en motivering till beslutet. påpekar emellertid att förfarandet med skriftliga motiveringar gäller för fullständiga ansökningar och inte för enklare skissansökningar. Även STINT meddelar beslut om beviljande respektive avslag skriftligt. I skrivelsen anges dock inte motivet utan detta kan fås på begäran. När det gäller motiveras avslag till högskolan som i sin tur har kontakt med de enskilda forskarna. I kontakter med forskningsråden har framkommit att samtliga beslut hos NFR, MFR och TFR, motiveras och skickas skriftligt till de sökande. uppger att i flertalet fall kan motivering fås på begäran. Stiftelsernas stöd - en förutsättning för verksamhet Överlag är omdömena om stiftelserna goda, inte någon stiftelse utmärker sig när det gäller negativa erfarenheter. Flertalet mottagare uppgav i enkäten att man har positiva erfarenheter av stiftelsen och att kontakterna varit goda. Trevligt bemötande och stort engagemang är andra positiva omdömen. Några mottagare har också uppgivit att man upplevt stiftelsen som obyråkratisk. När det gäller ansökningsförfarandet påtalade emellertid ett antal mottagare att man upplevt vissa problem, främst har man haft svårigheter med nätbaserade ansökningsförfaranden. När det gäller negativa erfarenheter av beredning är det främst handläggningstiderna som har varit i fokus. I enkäten ställdes frågan om vilka konsekvenserna hade blivit för genomförandet av forskningsinsatserna om stiftelsen inte hade anslagit medel. Enkätsvaren framgår av tabell 6.3.1 nedan. Vad hade det fått för konsekvenser för genomförandet av forskningsinsatserna om stiftelsen inte hade anslagit medel? Projektet hade: Antal Genomförts i motsvarande grad 10 Genomförts men i begränsad omfattning 76 Inte genomförts 112 Summa: 198 De flesta stödmottagare har uppgivit att projektet inte skulle ha genomförts om stiftelsen inte hade anslagit medel. Endast ett fåtal mottagare har uppgivit att projektet skulle ha genomförts i motsvarande grad om inte stiftelsen anslagit medel. I enkäten uppgav de flesta mottagare att finansieringen från stiftelsen utgör huvudfinansieringen av projektet. Enkätsvaren framgår av tabell 6.3.2. Hur stor andel av projektets totala finansiering utgör stödet från stiftelsen? Antal 37 45 39 78 Summa: 199 Flertalet har också uppgivit att stöd från andra organisationer måste anges i ansökan till stiftelsen. När det gäller samordning av stödgivningen anger de flesta att projektet hade en aktiv roll. En jämförelse med forskningsråden visar att () och () som regel är huvudfinansiärer för de projekt råden stöder. TFR påtalar att kompletterande finansiering från andra källor (fakultetsanslag etc.) inte är ovanligt. (), som stödjer ca 900 projekt, är huvudfinansiär för av projekten. () anger att man inom vissa områden är den huvudsakliga finansiären medan det inom andra områden finns flera finansiärer. Allmänt sett bidrar NFR med av de forskningsmedel som avsätts inom berörda universitets och högskolors matematiska-naturvetenskapliga fakulteter. 6.4 Uppföljning och utvärdering av stöd I samtliga av stiftelsernas stadgar, förutom , framgår att den verksamhet stiftelsen stöder ska utvärderas. Flera av stiftelserna upprättar kontrakt med sina anslagsmottagare, där återrapporteringskrav och ekonomiska redovisningskrav anges. En mer utförlig beskrivning av stiftelsernas återrapporteringskrav och ekonomiska redovisningskrav återfinns i bilaga 1. Formerna för uppföljning och utvärdering hos stiftelserna liknar i mycket forskningsrådens tillvägagångssätt. Kraven på återrapportering och ekonomisk redovisning skiljer sig i viss omfattning mellan råden. Normalt framgår kraven på ekonomisk redovisning och återrapportering av bestämmelserna mellan råd och bidragsmottagare. Forskningsråden kräver att ekonomisk redovisning ska inkomma senast 3 månader efter att dispositionstiden för anslaget utgått. () kräver att anslagsmottagare lämnar en ekonomisk redovisning och en vetenskaplig slutrapport. Inom () och () är kravet en ekonomisk slutredovisning. TFR kräver också en resultatredovisning . Vid förnyad ansökan om fortsättningsbidrag till MFR, bedöms varje ansökan på nytt vad gäller frågeställning, metodik samt sökandes kompetens. Vetenskaplig rapportering ska lämnas vid kontraktstidens slut. En värdering av de vetenskapliga resultat som uppnåtts ligger även till grund för mer djupgående utvärderingar av hela ämnesområden. Normalt begär NFR ingen vetenskaplig redovisning. Denna redovisning sker i samband med ansökan om ett nytt anslag. Även TFR anger att det egentliga testet inträffar vid nästa ansökan. Formerna för återrapportering varierar även mellan stiftelserna. Vissa av stiftelserna ställer krav på årlig återrapportering av projekten, medan andra kräver återrapportering efter det att ett projekt har avslutats. Kraven på årlig återrapportering avser naturligen i första hand de mer omfattande projekten. SSF uppger att mottagare av anslag ska lämna en aktivitetsrapport till stiftelsen. Därutöver gör stiftelsen en kontinuerlig uppföljning av programmen genom att någon från stiftelsens kansli deltar vid programstyrelsernas möten minst en gång . genomgår programmen också en halvtidsutvärdering, vars resultat styr programmets fortsatta inriktning eller eventuellt avslut. Inom MISTRA finns också kravet att varje program ska avge en årsrapport. Årsrapporten ska vara utformad för att i första hand informera framtida användare av resultat. Efter tre till görs en halvtidsutvärdering som sker med hjälp av en internationell utvärderingsgrupp. Även hos STINT är det generella kravet en årsrapport som beskriver vad man gjort, spenderat pengarna på, utgivning av rapporter etc. Efter avslutat projekt är kravet också en slutrapport. uppger att årlig rapportering (både verksamhet och ekonomi) samt slutrapport krävs för större projekt. Stiftelsen genomför också stickprovsvisa kontroller av projekten. Vårdals anslagsmottagare ska inkomma till stiftelsen med vetenskaplig slutrapportering för projektanslag efter anslagsperiodens slut. Stiftelsen gör också s.k. site-visits hos ett antal större forskningsprojekt som fått stöd. Framtidens kultur uppger att mottagarna är skyldiga att lämna en resultatredovisning, där en sammanfattning av projektet ingår. Den obligatoriska redovisningen kompletteras med att stiftelsen mer aktivt följer upp ett antal utvalda projekt. Jubileumsfondens rutin för uppföljning innebär att styrelsen gör studiebesök vid utvalda projekt för att säkerställa att anslagen används till avsett ändamål. uppger att man har en passiv hållning när det gäller krav på återrapportering i den meningen att någon direkt kommunikation mellan stiftelsen och de enskilda projekten som får stöd inte förekommer. I revisorernas enkät till anslagsmottagare ställdes frågan om stiftelserna ställer krav på återrapportering. krav på annan form av återrapportering?1 Antal Ja 174 Nej 14 Vet ej/kan ej ange 14 Summa: 202 1 Med annan form av återrapportering avses återrapporteringskrav utöver krav på ekonomisk redovisning De flesta mottagare av stöd har i enkäten uppgivit att stiftelsen har krav på återrapportering. I enkäten har 76 mottagare uppgivit vetenskaplig rapport som krav på återrapportering. Årsrapport har 26 svarande uppgivit som återrapporteringskrav. 21 mottagare uppgav lägesrapporter och 17 mottagare uppgav slutrapporter som krav. Ekonomisk redovisning samt redovisning av publikationer är andra typer av krav som nämnts. Även utvärdering har nämnts som krav. I enkätundersökningen ställdes frågan om stiftelserna kräver en ekonomisk redovisning av stödmottagarna innan nya medel betalas ut. Undersökningens resultat presenteras i tabellen nedan. ekonomisk redovisning innan nya medel betalas ut? Antal Ja 136 Nej 35 Vet ej/kan ej ange 28 Summa: 199 De flesta anger att stiftelsen kräver någon form av ekonomisk redovisning. Ett stort antal anger dock att man inte vet om ekonomisk redovisning är ett krav eller uppger att ekonomisk redovisning inte är ett krav från stiftelsen. Vid intervjuer uppger samtliga stiftelser att man ställer krav på ekonomisk redovisning. Formerna för kraven skiljer sig dock åt mellan stiftelserna. Exempelvis SSF och uppger att mottagarna ska lämna en årlig ekonomisk redovisning. I MISTRA redovisas ekonomin i programmen dels kvartalsvis vid rekvisition av förskott, dels i en särskild ekonomisk rapport. STINT och Vårdal har krav på ekonomisk redovisning efter genomförd verksamhet. Stiftelserna uppger att merparten av all redovisning kommer in . anger emellertid att förseningar av rapporter förekommer. På frågan om någon kvalitativ utvärdering av projektet har gjorts svarade i enkäten 82 mottagare ja och 90 mottagare nej. 32 mottagare har uppgivit att man inte vet eller inte kan ange. Här bör påpekas att många av de projekt som har ingått i enkätundersökningen fortfarande pågår, vilket gör att de inte har utvärderats . Flera av mottagarna som har svarat att en kvalitativ utvärdering har gjorts, hänvisar också till den granskning som gjordes av ansökan vid ansökningstillfället. Användandet av utvärderingar för att följa upp de projekt eller program man stöder skiljer sig åt mellan stiftelserna. SSF och MISTRA gör halvtidsutvärderingar av sina stora program. Andra stiftelser som Vårdal, , Framtidens kultur och följer också mer noggrant upp ett antal utvalda projekt. Exempelvis gör studiebesök vid utvalda projekt för att säkerställa att anslagen används till avsett ändamål. Vad avser forskningsråden genomför NFR normalt fem utvärderingar , vanligtvis omfattande ett trettiotal individuella forskningsanslag. Utvärderingarna genomförs av en internationell expertgrupp. Förutom den vetenskapliga rapportering som ska lämnas vid kontraktstidens slut, gör MFR mer djupgående utvärderingar inom utvalda ämnesområden. Även uppger att förutom den granskning som görs av de vetenskapliga slutredovisningarna, genomförs utvärderingar i särskilda fall. TFR hänvisar till att man alltid utvärderar inkomna projektansökningar.