prop · H00350 · 2012-12-18 00:00:00 — Med systematiskt genomförd mätning på hela populationen i den löpande verksamheten, har goda förutsättningar att framöver se till att en mer komplett bild växer fram som skapar incitament på bred front och är allt mindre känslig för fel i data för ett enskilt projekt. Figur 1 indikerar att cirka 5 skulle kunna vara den maximalt realistiska produktiviteten. Mycket tyder på att de som erhållit produktiviteter över 5, som alla är mindre projekt, är underhåll av anläggningar snarare än nybyggnation, att materialkostnaden inte har inkluderats eller att inrapporterad kostnad på annat sätt inte avser hela anläggningen. Viktningen med kontraktsbelopp som användes i denna granskning innebar att de små projektens produktiviteter spelade mycket liten roll. har därför inte undersökt dem närmare, trots att några har orimligt hög produktivitet och andra kanske har fått för låg produktivitet. De rättsliga aspekterna kring överklaganden och expropriering som redogjorts för i avsnitt 3.4.5 innebär att projekteringen måste vara relativt detaljerad även i totalentreprenader. Men för att ta höjd för att totalentreprenader kan kräva mindre projektering av beställaren innan upphandlingen, har i figur 1 tillgodoräknat totalentreprenaderna projekteringsbesparing, avsedd att vara en överkantsuppskattning av vinsten vid projekteringen. Den exakta besparingen kräver data för projekteringskostnaderna som bedömts alltför svåra att ta fram inom ramen för den aktuella granskningen. konsult har schablonberäknat besparingen till . Denna ska i så fall reducera fördyringen på framräknad ovan. Reducering till skulle även innebära att p-värdet ökar, till cirka 0,3. De exakta siffrorna saknar betydelse för slutsatserna. Det är också tänkbart att totalentreprenader kräver projektering som inte behövs i utförandeentreprenader, till exempel formulering av funktionskrav, vilket i så fall innebär att projekteringskostnaden till och med är större i totalentreprenader än i utförandeentreprenader. Eftersom trafikverken inte lyckats väl med formuleringen av funktionskrav är det svårt att veta om kostnaden för att formulera dessa långsiktigt är högre eller lägre än att formulera de tekniska beskrivningarna i utförandeentreprenader. GRANSKAR: INFRASTRUKTUR PÅ NYA VILLKOR har utgått ifrån att produktiviteten är utfallet/insatsen, vilket är en gängse ekonomisk definition. Tillämpat på infrastrukturproduktion kan det uttryckas som mängden infrastruktur för pengarna. I granskningen Trafikverkens produktivitet (RiR 2011:7), jämfördes erhållen produktivitet olika år. I denna granskning jämförs produktiviteten i olika kontraktsformer. Kvalitet antas vara , eller variera slumpmässigt, vid de jämförda anläggningarna. Beräkningsmodellerna kan kompletteras med variabler som hanterar kvalitetsskillnader. I denna granskning värderades utfallet (S) med en statistisk metod som leder till en statistiskt förväntad kostnad för varje entreprenad, schablonvärdet. Insatsen (V) utgör det nominella belopp i kronor som betalats till huvudentreprenören, den verkliga kostnaden. Utfall/insats ger således ett tal över 1 om schablonvärdet är större än den verkliga kostnaden och under 1 om värdet är mindre. Produktiviteten 2 innebär dubbelt värde och 0,5 att hälften så mycket väg och järnväg har erhållits för pengarna. I det enklaste fallet begränsar man underlaget för beräkningen av S till de entreprenader som ingår i undersökningen. prövade även att inkludera observationerna från den tidigare granskningen, RiR 2011:7, men då dessa data inte hade entreprenadform angiven, och inkluderade beställarkostnader, var nyttan begränsad. På ett motsvarande sätt kan man dock tänka sig att gradvis bygger upp ett mycket stort underlag för S. Sedan jämförs data i ett mindre antal observationer, till exempel årets kontrakt, med detta. Schablonvärdet per kontrakt beräknas genom att koefficienterna enligt figur 6 och figur 7 multipliceras med mängderna av respektive variabler i varje kontrakt och summeras. TE och eventuella andra variabler som inte är av prestationskaraktär ska normalt inte inkluderas i beräkningen av produktiviteten. TRAFIKVERKETS UPPHANDLING AV VÄGAR OCH JÄRNVÄGAR har tillämpat en urvalsmetod vars syfte är att skapa ett slumpmässigt urval av så aktuella projekt som möjligt. Med tillräckligt många observationer utspridda jämnt , över landet och på de två trafikslagen har strävan varit att åstadkomma ett rättvisande och generaliserbart resultat för . Frånvaro av förteckning över populationen (samtliga kontrakt) har dock inneburit att vi inte har kunnat ta stickprovet själva, utan har förlitat oss på att genomfört urvalet på avsett slumpmässigt sätt. För att särskilt kunna analysera stora projekt och spårväxelbyten (vilket dock inte har hunnits med) har observationer i dessa kategorier valts ut på ett sätt som gör dem överrepresenterade. Avsikten med att ha med fler stora entreprenader och totalentreprenader i dataunderlaget än vad som hade blivit fallet med ren slump, är att förbättra möjligheterna att dra slutsatser om storlekens och entreprenadformens påverkan. Detta var också det primära målet med mätningen. Det kan dock ha lett till att den totala produktiviteten för inte överrensstämmer med den totala produktiviteten i undersökningen. Hög produktivitet i en del små kontrakt i undersökningen, i de flesta fallen utförandeentreprenader, utgörs ofta av spårväxelbyten. Det har framkommit att järnvägsmaterialet ibland inte varit inkluderat i kostnaden, vilket i så fall minst dubblerar den framräknade produktiviteten. Då dessa små kontrakt inte har någon större betydelse för undersökningen, på grund av viktningen med kontraktsstorlek, har detta inte rättats till. Här beskrivs en beräkning i flera steg, vilket har några fördelar och några nackdelar jämfört med beräkning i ett steg. I det första steget utgjorde kostnaden y-variabel och det som kallar för prestationsvariabler (väglängd etc.) utgjorde x-variabler. Koefficienterna (k1, k2, ) multiplicerades med variabelvärdena i varje kontrakt och summerades sedan till en statistiskt förväntad kostnad per kontrakt (S). S = k1x1 + k2x2 + k3x3 + där x1 kan vara kvadratmeter väg, x2 kan vara meter järnväg osv. Schablonvärdet tillfördes databasen som en ny variabel. Produktiviteten beräknades genom att dividera S med V, verkliga kostnaden för kontraktet. Även produktiviteten tillfördes som en ny, egen variabel i databasen, för att underlätta fortsatta analyser. GRANSKAR: INFRASTRUKTUR PÅ NYA VILLKOR I en andra regression analyserades upphandlingsparametrarna, till exempel entreprenadform, som förklarande (x-) variabler till produktiviteten (y) i nya regressioner. Entreprenadformens och andra nya variablers eventuella påverkan kunde då även åskådliggöras okulärt med produktivitet på y-axeln och valfri annan förklarande variabel på x-axeln som skett i figuren i kapitel 3. Flerstegsanalys gjorde det möjligt att matematiskt beräkna såväl verkliga kostnadens som schablonvärdets samband med produktiviteten. Enstegsanalysen medgav inte det, eftersom verkliga kostnaden inte kunde vara både y och x-variabel och eftersom schablonvärdet inte ingick i databasen från början. Optimering av antalet variabler Vissa variabler visade sig påverka y mer än andra. Graden av påverkan kallas korrelation (R) eller förklaringsgraden (r²). Totala förklaringsgraden uttrycks med ett värde mellan 0 (inget samband alls mellan y och x-variablerna) och 1 (perfekt samband mellan y och x-variablerna). Värden alltför nära ett är dock oftast ett tecken på att modellen slagit i taket av matematiska orsaker snarare än att den perfekta förklaringsmodellen hittats. Förklaringsgrader mellan 0,5 och 0,7 kan anses vara eftersträvansvärt. Efter att ett inledande antal x-variabler tillförts kommer tillförsel av ytterligare x-variabler inte att öka förklaringsgraden. Vi tillförde en x-variabel i taget, så kallad forward, och provade även att utgå från alla och ta bort en i taget, så kallad backward, för att se om och hur förklaringsgraden ändrades. På detta sätt kan man trimma fram en modell med ett optimerat antal färre variabler än man hade från början. Statistikprogram gör i regel trimningarna automatiskt. Fördel med många variabler Det kan diskuteras om variabelreducering är viktig, när det ändå är datorer som gör beräkningarna. Tidsbesparingen i att genomföra beräkningarna med färre variabler är i regel försumbar. I fall kan det vara en fördel att ha kvar så många variabler som möjligt. Många koefficienter möjliggör för att beräkna produktiviteten även i kontrakt som kanske annars bara skulle innehålla borttrimmade variabler. tillämpade därför hantering av statistikprogramvaran för att den inte automatiskt skulle eliminera onödiga variabler ur statistisk synpunkt. Om metoden i denna granskning, eller metod 2 i RiR 2011:7, eller en kombination av dem, används för att jämföra och utvärdera enskilda kontrakt mot varandra, bör en modell med många variabler bli mer rättvis. TRAFIKVERKETS UPPHANDLING AV VÄGAR OCH JÄRNVÄGAR Nackdelar med många variabler Det kan också finnas nackdelar för att ha många variabler. Datainsamlingen blir mer omfattande. Bergschakt, jordschakt och tillfört material kan vara ändamålsenligt att slå ihop till en variabel, för att underlätta dataregistreringen och för att öka modellens användbarhet i tidiga skeden då markens beskaffenhet ännu inte är känd. Ett annat problem med många variabler är att risken för negativa koefficienter ökar enligt nästa avsnitt. parametrar förväntas alla vara kostnadsdrivande. Koefficienten för en variabel kan ändå bli negativ på grund av någon annan variabel korrelerar kraftigt med den. Vägarea kan få en överdrivet positiv koefficient som kompenseras av att väglängden får en negativ koefficient. Konstanten kan levereras av regressionen som en koefficient bland alla de andra och kan betraktas som den genomsnittliga startkostnaden per kontrakt. Men den riskerar att bli orimlig, särskilt för de små kontrakten. Detta motiverar att instruera programmet att sätta konstanten till noll. Då konstanten tas bort tvingas regressionslinjen genom origo. Det innebär att observationer med låga x-värden, som till exempel spårväxelbytena i undersökningen, får mycket liten påverkan på regressionslinjen. Det r² som beräkningar utan genererar ska heller inte jämföras med r² i regressioner med . Negativa koefficienter var en bidragande anledning till att expertbedömningsmetoden78 användes i granskningen 2011:7. , med allt mer och allt mer kvalitetssäkrade data, kan det tänkas att problemet med negativa koefficienter försvinner. dit kan det dock vara lämpligt att inte använder för många variabler för produktivitetsberäkningarna och särskilt inte sådana som kan förväntas korrelera med varandra. Förslagsvis börjar man med kvadratmeter väg, meter järnväg, kvadratmeter bro (och låter även tunnlar och andra byggnadsverk ingå i bro) och antal spårväxlar. I ett nästa steg kan man lägga till schaktmassor och eventuellt dela upp i olika slags massor. Sist läggs de variabler till som haft lägsta signifikansen i undersökning. 78Med denna metod låter man en eller flera experter fastställa koefficienterna för variablerna. Detta låter sig göras eftersom koefficienterna kan tolkas som styckkostnaden för att producera eller hantera en enhet av variabeln. GRANSKAR: INFRASTRUKTUR PÅ NYA VILLKOR De enstaka kontrakt som klassat som funktionsentreprenader har antagits vara totalentreprenader i undersökning. I den mån de inkluderat drift och underhåll antas denna del av kostnaden inte ha blivit inkluderad i den rapporterade slutkostnaden, eftersom driften och underhållskostnaden till största delen borde vara framtida kostnader som ännu inte har belastat . Övriga entreprenadformer (generalentreprenad, delad entreprenad) har klassats som utförandeentreprenader. Vilket distrikt eller stort projekt en observation tillhör är en variabel i datamaterialet. Det innebär att produktiviteten per sådan undergrupp kan jämföras med varandra, vilket dock inte gjort. Alla sådana jämförelser ska givetvis göras med förnuft och försiktighet och ta i beaktande att alla aspekter av projekten inte finns med i produktivitetsberäkningarna, utan bara de aspekter som de ingående variablerna representerar. Uppföljning med rimlig insats var instruerat att bara leta fram variabelvärden som kunde inhämtas med en insats på högst 8h per kontrakt av anställd personal och kontrakterade konsulter. Detta för att inte skulle behöva kalla in pensionerade projektledare och upphandla särskilda konsulter för granskningens skull. imputerade enstaka felande värden utifrån övriga värden efter samråd med statistikkonsult. Varje observation med ett enstaka felande värde hade annars blivit helt struken ur analysen. Förfaringssättet kan dock ha medfört att variabler som imputerats fram har korrelerat med den som använts för att ta fram dem så starkt att statistikprogramvaran eliminerat ursprungsvariabeln till förmån för kopian, vilket inte är bra. Detta förväntas dock inte ha påverka resultatet systematiskt och har därför inte åtgärdats. Sammantaget antas precisionen i resultatet ha höjts av de vidtagna justeringarna. TRAFIKVERKETS UPPHANDLING AV VÄGAR OCH JÄRNVÄGAR genomförde efter hand överslagsberäkningar och andra kontroller av de uppgifter per kontrakt som levererades in av , och korrigerade dessa efter hand. Dessa iakttagelser och andra omständigheter vid insamlingen ger anledning att förmoda varierande kvalitet på de data har levererat. Efter kompletteringar, enstaka uteslutningar av orimliga kontrakt och intrapolering av felande värden, har i beräkningarna valt att utgå från att slutligt inrapporterade data är i genomsnitt korrekta. Detta trots att vi är medvetna om att brister troligen kvarstår. Om felen inte är avsiktliga kan de antas vara symmetriskt fördelade runt korrekt värde och kan då bortses ifrån på aggregerad nivå. Vi vill även markera att perfektionism inte bör tillåtas förhindra att analyser genomförs och redovisas. Tilläggsarbeten och material hade inte alltid tagits med Bland de mer anmärkningsvärda felen kan noteras ett järnvägsprojekt där fyra femtedelar av kostnaderna inte var redovisade, eftersom de hade placerats i egna nya entreprenader som ingåtts med samma entreprenör utan föregående upphandling. Även i vägprojekt förekom kostnader som inte hade redovisats och som hade lagts i egna entreprenader som inte upphandlats. Av uppföljningen att döma är löpande räkning vanligt på järnvägssidan, något som inte framgick av de uppgifter först hade lämnat. Vidare har det varit oklart och skiftande om järnvägsmaterialet ingår i de upphandlade beloppen och i de redovisade kostnaderna. entreprenaderna har troligen fått för låg verklig kostnad på grund av att kostnaderna för järnvägsmaterialet inte har kommit med, eller för hög schablonkostnad för att någon av de inrapporterade mängderna blivit för höga på grund av att det missförståtts vad frågade efter. Det har varit förvånansvärt få frågor från sida om hur variablerna skulle definieras och räknas, och det fåtal som hört av sig har antytt att deras kollegor kan ha missförstått anvisningarna. Fel i små kontrakt spelade inte någon större roll På grund av viktningen med kontraktsbeloppen, särskilt om regressionen drivs genom origo (interceptet sätts till 0), spelar det relativt liten roll vad de små kontrakten har för produktivitet. Det har inneburit att inte närmare granskat de små entreprenader i övre vänstra hörnet av figur 1 i kapitel 3 som uppvisat orimligt hög produktivitet. Det är möjligt för att i sin löpande uppföljning överväga annan viktning och metod , så att produktivitet i små projekt får större vikt. I den population som alla kontrakt i utgör är de små kontrakten många till antalet, vilket kan motivera att de ges en större vikt. Detta beror bland annat på hur urvalet görs. För- och nackdelar med olika viktningsprinciper återkommer vi till nedan. GRANSKAR: INFRASTRUKTUR PÅ NYA VILLKOR Båda entreprenadformerna i båda trafikslagen Målet var att skapa ett stickprov med totalentreprenader och utförandeentreprenader samt väg och järnväg. En överrepresentation av spårväxelbyten ingick i undersökningen. Det beror på att vi hade för avsikt att studera dessa särskilt, innan det visade sig finnas alltför få spårväxelbyten som var totalentreprenader. Det kan diskuteras om spårbyteskontrakten kan skapa skevhet och bör tas bort ur stickprovet, men deras relativt låga kontraktsbelopp gör att de ändå inte har någon väsentlig betydelse för det slutliga resultatet. Aktuellast möjliga men ändå slumpgenererat Det hade i förstudien konstaterats att totalentreprenaderna var väsentligt färre än utförandeentreprenaderna, i storleksordningen enstaka kontrakt och distrikt. Det var därför lämpligt att först välja ut totalentreprenaderna och sedan fördela utförandeentreprenaderna över . Önskemålet var att välja så aktuella entreprenader som möjligt, både för att få ett så aktuellt undersökningsresultat som möjligt och för att underlätta datainsamlingen. Instruktionen till beträffande valet av kontrakt formulerades enligt följande: 1.Välj de tre senast öppnade totalentreprenaderna, för väg respektive järnväg, dock inte längre bakåt i tiden än 2005. (I efterhand visade sig detta innebära 2007 och att alla totalentreprenader i många distrikt har kommit med i undersökningen). 2.Välj de tre utförandeentreprenaderna som öppnade närmast efter den första totalentreprenaden enligt ovan. 3.Välj de tre utförandeentreprenaderna som öppnade närmast före den sista totalentreprenaden enligt ovan. Metoden pekar ut vilka projekt som ska ingå och ska därmed teoretiskt inte kunna välja bland lyckade eller misslyckade, stora eller små. Detta syftade till att garantera att urvalet kan anses slumpmässigt och generaliserbart till hela . Den slutkostnad som efterfrågades och användes var alltid den nominella kostnaden. Den symmetriska fördelningen i tiden (tack vare momenten 2 och 3 ovan) syftade till att eliminera tidsvariabeln (inklusive konjunktur och index) ur undersökningen. TRAFIKVERKETS UPPHANDLING AV VÄGAR OCH JÄRNVÄGAR Till de regionala distrikten lades , och övriga projekt i Stora projekt till som tre egna undergrupper. Även de representerades med ett antal totalrespektive utförandeentreprenader. Urvalsmetoden för kontrakten i dessa undergrupper syftade liksom för regionerna till att skapa ett datamaterial med jämförbara utförande- och totalentreprenader, men bristen på data och kvarvarande projektorganisationer har medfört att inte har kunnat behålla full kontroll över att urvalet blivit slumpmässigt. I till exempel och Norra länken ombads att självt välja ut ett par projekt ur vardera kategorin (totalrespektive utförandeentreprenad) som bedömdes någorlunda jämförbara och relevanta att beskriva med de utvalda variablerna. För valde samtliga etapper som det fanns relevanta data för. Felkällor uppstår på grund av att etapper med låg produktivitet kan tänkas vara systematiskt sämre dokumenterade och beskrivas sämre med variablerna. Andra principer för viktningen av variabler och kontrakt I granskningen Trafikverkens produktivitet (2011:7) använde sig av några andra principer för beräkningen av produktivitet i förhållande till denna Dels användes expertbedömda styckkostnader som vikter för variablerna vid beräkningen av produktivitet per projekt, i stället för statistiskt framtagna vikter. Dels viktades alla projekten lika oavsett projektens storlek vid beräkningen av det totala genomsnittet för . Alla principerna har för- och nackdelar och det är bland annat för att markera detta som i denna granskning har bytt princip. Det är möjligt att framtidens optimerade produktivitetsberäkning utvecklad av kan kombinera metoderna och principerna. Expertbedömda kontra statistiska vikter Statistiskt framtagna vikter kan bli olämpliga på grund av korrelation och andra statistiska effekter. Felen tar ut varandra endast då beräkningar utförs med hela det ursprungliga materialet. Bland annat kan negativa vikter generera negativa schablonkostnader i enskilda projekt. Det kan bli svårt för att få sin personal att acceptera sådana modeller, särskilt de projektledare som drabbas av att deras projekt endast innehåller mängder som har negativ påverkan. inrapportering uteblir blir totalberäkningarna av produktivitet felaktiga, eftersom felen inte längre tar ut varandra. GRANSKAR: INFRASTRUKTUR PÅ NYA VILLKOR Även expertbedömda vikter visade sig dock vid tillämpning i den förra granskningen, Trafikverkens produktivitet, vara svåra för att acceptera. Det fanns en påtaglig oro för att och andra skulle tro att styckkostnaderna är exakt lika i alla projekt. Är viktning med kontraktsbelopp ändamålsenligt? Fördelen med lika vikt för alla projekt oavsett deras storlek är att inget enskilt projekt kan påverka beräkningarna mer än marginellt. Ju mer fel som befaras i underlaget, ju mindre andel av populationen stickprovet utgör och ju mer stickprovet kan befaras inte vara representativt, desto större anledning att använda lika viktning. Eftersom Trafikverkens produktivitet var en pionjärstudie och publicerades i då produktivitetsberäkning i investeringsprojekt ansågs vara omöjligt, befarades data vara av låg kvalitet. Därför valdes lika viktning av observationerna oavsett deras storlek. Nackdelen med att tilldela alla projekt lika vikt är att det uppenbarligen vore mer rättvisande att låta storleken på projekten ha betydelse när det är totala produktivitet som ska beräknas, förutsatt att stickprovet är representativt för hela . I den aktuella granskningen, upphandling, finns risken för felaktigt underlag kvar. har ändå valt att pröva den högre ambitionsnivån, som innebär att ett projekts storlek uttryckt i totala kostnader ökar produktivitetsvärdets vikt motsvarande vid beräkningarna. Dessutom har möda lagts på att urvalet ska vara slumpmässigt. En optimal modell för produktivitetsberäkning skulle kunna kombinera expertbedömd viktning med statistisk viktning. Exempelvis skulle det statistiska värdet kunna tillåtas variera bara mellan ett minsta och ett maximalt värde bestämt av experterna. fann dock inte denna funktion i de statistikprogramvaror som användes i granskningen. Detta utvecklingssteg för produktivitetsberäkningarna kan därför kräva mer avancerad programvara eller utveckling av ny programvara. Till dess är en utväg att reducera kostnaden y med expertbedömd minimikostnad för variabeln innan regressionen. Allt eftersom antalet observationer och kvaliteten i data ökar, kan de statistiska värdena förväntas konvergera mot de verkliga styckkostnaderna, vilket i så fall efterhand kommer att eliminera problemet och behovet av expertbedömningar. Detta talar för att statistiskt fastställande av variablernas vikt och därefter viktning med kontraktens storlek, som tillämpats i denna granskning, är den bästa kombinationen av principer på lång sikt. Beroende på hur urvalet görs kan det vara befogat att korrigera viktningen för att små kontrakts större antal ska få rätt genomslag i totalvärdena. TRAFIKVERKETS UPPHANDLING AV VÄGAR OCH JÄRNVÄGAR GRANSKAR: INFRASTRUKTUR PÅ NYA VILLKOR Bilaga 4 Mätningarna av konkurrens I denna bilaga redogör vi närmare för detaljerna kring skapandet av de data som använts till beräkningarna av den uppnådda konkurrensen. Mätning av andelen inköp som upphandlats korrekt Genom att definiera inköp som attesterad fakturarad, kunde en inköpspopulation tas fram ur det ordinarie ekonomisystemet trots bristen på sammanställningar som anförts i 5.4.1. Ett stickprov med 39 observationer (n=39) togs ur en population bestående av samtliga entreprenadrelaterade inköp första halvåret 201179 (cirka 11 000). Konto, kostnadsställe, belopp, namn på kontrollattestant, namn på beslutsattestant med mera framgick per fakturarad i stickprovet. Dessa uppgifter användes för att avgränsa stickprovet till entreprenader och konsulttjänster hänförliga till entreprenaderna.