rir · H0B514 · 2012-06-28 00:00:00 — TRAFIKVERKETS UPPHANDLING AV VÄGAR OCH JÄRNVÄGAR Nackdelar med många variabler Det kan också finnas nackdelar för att ha många variabler. Datainsamlingen blir mer omfattande. Bergschakt, jordschakt och tillfört material kan vara ändamålsenligt att slå ihop till en variabel, för att underlätta dataregistreringen och för att öka modellens användbarhet i tidiga skeden då markens beskaffenhet ännu inte är känd. Ett annat problem med många variabler är att risken för negativa koefficienter ökar enligt nästa avsnitt. parametrar förväntas alla vara kostnadsdrivande. Koefficienten för en variabel kan ändå bli negativ på grund av någon annan variabel korrelerar kraftigt med den. Vägarea kan få en överdrivet positiv koefficient som kompenseras av att väglängden får en negativ koefficient. Konstanten kan levereras av regressionen som en koefficient bland alla de andra och kan betraktas som den genomsnittliga startkostnaden per kontrakt. Men den riskerar att bli orimlig, särskilt för de små kontrakten. Detta motiverar att instruera programmet att sätta konstanten till noll. Då konstanten tas bort tvingas regressionslinjen genom origo. Det innebär att observationer med låga x-värden, som till exempel spårväxelbytena i undersökningen, får mycket liten påverkan på regressionslinjen. Det r² som beräkningar utan genererar ska heller inte jämföras med r² i regressioner med . Negativa koefficienter var en bidragande anledning till att expertbedömningsmetoden78 användes i granskningen 2011:7. , med allt mer och allt mer kvalitetssäkrade data, kan det tänkas att problemet med negativa koefficienter försvinner. dit kan det dock vara lämpligt att inte använder för många variabler för produktivitetsberäkningarna och särskilt inte sådana som kan förväntas korrelera med varandra. Förslagsvis börjar man med kvadratmeter väg, meter järnväg, kvadratmeter bro (och låter även tunnlar och andra byggnadsverk ingå i bro) och antal spårväxlar. I ett nästa steg kan man lägga till schaktmassor och eventuellt dela upp i olika slags massor. Sist läggs de variabler till som haft lägsta signifikansen i undersökning. 78Med denna metod låter man en eller flera experter fastställa koefficienterna för variablerna. Detta låter sig göras eftersom koefficienterna kan tolkas som styckkostnaden för att producera eller hantera en enhet av variabeln. GRANSKAR: INFRASTRUKTUR PÅ NYA VILLKOR De enstaka kontrakt som klassat som funktionsentreprenader har antagits vara totalentreprenader i undersökning. I den mån de inkluderat drift och underhåll antas denna del av kostnaden inte ha blivit inkluderad i den rapporterade slutkostnaden, eftersom driften och underhållskostnaden till största delen borde vara framtida kostnader som ännu inte har belastat . Övriga entreprenadformer (generalentreprenad, delad entreprenad) har klassats som utförandeentreprenader. Vilket distrikt eller stort projekt en observation tillhör är en variabel i datamaterialet. Det innebär att produktiviteten per sådan undergrupp kan jämföras med varandra, vilket dock inte gjort. Alla sådana jämförelser ska givetvis göras med förnuft och försiktighet och ta i beaktande att alla aspekter av projekten inte finns med i produktivitetsberäkningarna, utan bara de aspekter som de ingående variablerna representerar. Uppföljning med rimlig insats var instruerat att bara leta fram variabelvärden som kunde inhämtas med en insats på högst 8h per kontrakt av anställd personal och kontrakterade konsulter. Detta för att inte skulle behöva kalla in pensionerade projektledare och upphandla särskilda konsulter för granskningens skull. imputerade enstaka felande värden utifrån övriga värden efter samråd med statistikkonsult. Varje observation med ett enstaka felande värde hade annars blivit helt struken ur analysen. Förfaringssättet kan dock ha medfört att variabler som imputerats fram har korrelerat med den som använts för att ta fram dem så starkt att statistikprogramvaran eliminerat ursprungsvariabeln till förmån för kopian, vilket inte är bra. Detta förväntas dock inte ha påverka resultatet systematiskt och har därför inte åtgärdats. Sammantaget antas precisionen i resultatet ha höjts av de vidtagna justeringarna. TRAFIKVERKETS UPPHANDLING AV VÄGAR OCH JÄRNVÄGAR genomförde efter hand överslagsberäkningar och andra kontroller av de uppgifter per kontrakt som levererades in av , och korrigerade dessa efter hand. Dessa iakttagelser och andra omständigheter vid insamlingen ger anledning att förmoda varierande kvalitet på de data har levererat. Efter kompletteringar, enstaka uteslutningar av orimliga kontrakt och intrapolering av felande värden, har i beräkningarna valt att utgå från att slutligt inrapporterade data är i genomsnitt korrekta. Detta trots att vi är medvetna om att brister troligen kvarstår. Om felen inte är avsiktliga kan de antas vara symmetriskt fördelade runt korrekt värde och kan då bortses ifrån på aggregerad nivå. Vi vill även markera att perfektionism inte bör tillåtas förhindra att analyser genomförs och redovisas. Tilläggsarbeten och material hade inte alltid tagits med Bland de mer anmärkningsvärda felen kan noteras ett järnvägsprojekt där fyra femtedelar av kostnaderna inte var redovisade, eftersom de hade placerats i egna nya entreprenader som ingåtts med samma entreprenör utan föregående upphandling. Även i vägprojekt förekom kostnader som inte hade redovisats och som hade lagts i egna entreprenader som inte upphandlats. Av uppföljningen att döma är löpande räkning vanligt på järnvägssidan, något som inte framgick av de uppgifter först hade lämnat. Vidare har det varit oklart och skiftande om järnvägsmaterialet ingår i de upphandlade beloppen och i de redovisade kostnaderna. De mest produktiva entreprenaderna har troligen fått för låg verklig kostnad på grund av att kostnaderna för järnvägsmaterialet inte har kommit med, eller för hög schablonkostnad för att någon av de inrapporterade mängderna blivit för höga på grund av att det missförståtts vad Det har varit förvånansvärt få frågor från sida om hur variablerna skulle definieras och räknas, och det fåtal som hört av sig har antytt att deras kollegor kan ha missförstått anvisningarna. Fel i små kontrakt spelade inte någon större roll På grund av viktningen med kontraktsbeloppen, särskilt om regressionen drivs genom origo (interceptet sätts till 0), spelar det relativt liten roll vad de små kontrakten har för produktivitet. Det har inneburit att inte närmare granskat de små entreprenader i övre vänstra hörnet av figur 1 i kapitel 3 som uppvisat orimligt hög produktivitet. Det är möjligt för att i sin löpande uppföljning överväga annan viktning och metod , så att produktivitet i små projekt får större vikt. I den population som alla kontrakt i utgör är de små kontrakten många till antalet, vilket kan motivera att de ges en större vikt. Detta beror bland annat på hur urvalet görs. För- och nackdelar med olika viktningsprinciper återkommer vi till nedan. GRANSKAR: INFRASTRUKTUR PÅ NYA VILLKOR Båda entreprenadformerna i båda trafikslagen Målet var att skapa ett stickprov med totalentreprenader och utförandeentreprenader samt väg och järnväg. En överrepresentation av spårväxelbyten ingick i undersökningen. Det beror på att vi hade för avsikt att studera dessa särskilt, innan det visade sig finnas alltför få spårväxelbyten som var totalentreprenader. Det kan diskuteras om spårbyteskontrakten kan skapa skevhet och bör tas bort ur stickprovet, men deras relativt låga kontraktsbelopp gör att de ändå inte har någon väsentlig betydelse för det slutliga resultatet. Aktuellast möjliga men ändå slumpgenererat Det hade i förstudien konstaterats att totalentreprenaderna var väsentligt färre än utförandeentreprenaderna, i storleksordningen enstaka kontrakt och distrikt. Det var därför lämpligt att först välja ut totalentreprenaderna och sedan fördela utförandeentreprenaderna över . Önskemålet var att välja så aktuella entreprenader som möjligt, både för att få ett så aktuellt undersökningsresultat som möjligt och för att underlätta datainsamlingen. Instruktionen till beträffande valet av kontrakt formulerades enligt följande: 1.Välj de tre senast öppnade totalentreprenaderna, för väg respektive järnväg, dock inte längre bakåt i tiden än 2005. (I efterhand visade sig detta innebära 2007 och att alla totalentreprenader i många distrikt har kommit med i undersökningen). 2.Välj de tre utförandeentreprenaderna som öppnade närmast efter den första totalentreprenaden enligt ovan. 3.Välj de tre utförandeentreprenaderna som öppnade närmast före den sista totalentreprenaden enligt ovan. Metoden pekar ut vilka projekt som ska ingå och ska därmed teoretiskt inte kunna välja bland lyckade eller misslyckade, stora eller små. Detta syftade till att garantera att urvalet kan anses slumpmässigt och generaliserbart till hela . Den slutkostnad som efterfrågades och användes var alltid den nominella kostnaden. Den symmetriska fördelningen i tiden (tack vare momenten 2 och 3 ovan) syftade till att eliminera tidsvariabeln (inklusive konjunktur och index) ur undersökningen. TRAFIKVERKETS UPPHANDLING AV VÄGAR OCH JÄRNVÄGAR Till de regionala distrikten lades , och övriga projekt i Stora projekt till som tre egna undergrupper. Även de representerades med ett antal totalrespektive utförandeentreprenader. Urvalsmetoden för kontrakten i dessa undergrupper syftade liksom för regionerna till att skapa ett datamaterial med jämförbara utförande- och totalentreprenader, men bristen på data och kvarvarande projektorganisationer har medfört att inte har kunnat behålla full kontroll över att urvalet blivit slumpmässigt. I till exempel och Norra länken ombads att självt välja ut ett par projekt ur vardera kategorin (totalrespektive utförandeentreprenad) som bedömdes någorlunda jämförbara och relevanta att beskriva med de utvalda variablerna. För valde samtliga etapper som det fanns relevanta data för. Felkällor uppstår på grund av att etapper med låg produktivitet kan tänkas vara systematiskt sämre dokumenterade och beskrivas sämre med variablerna. Andra principer för viktningen av variabler och kontrakt I granskningen Trafikverkens produktivitet (2011:7) använde sig av några andra principer för beräkningen av produktivitet i förhållande till denna Dels användes expertbedömda styckkostnader som vikter för variablerna vid beräkningen av produktivitet per projekt, i stället för statistiskt framtagna vikter. Dels viktades alla projekten lika oavsett projektens storlek vid beräkningen av det totala genomsnittet för . Alla principerna har för- och nackdelar och det är bland annat för att markera detta som i denna granskning har bytt princip. Det är möjligt att framtidens optimerade produktivitetsberäkning utvecklad av kan kombinera metoderna och principerna. Expertbedömda kontra statistiska vikter Statistiskt framtagna vikter kan bli olämpliga på grund av korrelation och andra statistiska effekter. Felen tar ut varandra endast då beräkningar utförs med hela det ursprungliga materialet. Bland annat kan negativa vikter generera negativa schablonkostnader i enskilda projekt. Det kan bli svårt för att få sin personal att acceptera sådana modeller, särskilt de projektledare som drabbas av att deras projekt endast innehåller mängder som har negativ påverkan. inrapportering uteblir blir totalberäkningarna av produktivitet felaktiga, eftersom felen inte längre tar ut varandra. GRANSKAR: INFRASTRUKTUR PÅ NYA VILLKOR Även expertbedömda vikter visade sig dock vid tillämpning i den förra granskningen, Trafikverkens produktivitet, vara svåra för att acceptera. Det fanns en påtaglig oro för att och andra skulle tro att styckkostnaderna är exakt lika i alla projekt. Är viktning med kontraktsbelopp ändamålsenligt? Fördelen med lika vikt för alla projekt oavsett deras storlek är att inget enskilt projekt kan påverka beräkningarna mer än marginellt. Ju mer fel som befaras i underlaget, ju mindre andel av populationen stickprovet utgör och ju mer stickprovet kan befaras inte vara representativt, desto större anledning att använda lika viktning. Eftersom Trafikverkens produktivitet var en pionjärstudie och publicerades i då produktivitetsberäkning i investeringsprojekt ansågs vara omöjligt, befarades data vara av låg kvalitet. Därför valdes lika viktning av observationerna oavsett deras storlek. Nackdelen med att tilldela alla projekt lika vikt är att det uppenbarligen vore mer rättvisande att låta storleken på projekten ha betydelse när det är totala produktivitet som ska beräknas, förutsatt att stickprovet är representativt för hela . I den aktuella granskningen, upphandling, finns risken för felaktigt underlag kvar. har ändå valt att pröva den högre ambitionsnivån, som innebär att ett projekts storlek uttryckt i totala kostnader ökar produktivitetsvärdets vikt motsvarande vid beräkningarna. Dessutom har möda lagts på att urvalet ska vara slumpmässigt. En optimal modell för produktivitetsberäkning skulle kunna kombinera expertbedömd viktning med statistisk viktning. Exempelvis skulle det statistiska värdet kunna tillåtas variera bara mellan ett minsta och ett maximalt värde bestämt av experterna. fann dock inte denna funktion i de statistikprogramvaror som användes i granskningen. Detta utvecklingssteg för produktivitetsberäkningarna kan därför kräva mer avancerad programvara eller utveckling av ny programvara. Till dess är en utväg att reducera kostnaden y med expertbedömd minimikostnad för variabeln innan regressionen. Allt eftersom antalet observationer och kvaliteten i data ökar, kan de statistiska värdena förväntas konvergera mot de verkliga styckkostnaderna, vilket i så fall efterhand kommer att eliminera problemet och behovet av expertbedömningar. Detta talar för att statistiskt fastställande av variablernas vikt och därefter viktning med kontraktens storlek, som tillämpats i denna granskning, är den bästa kombinationen av principer på lång sikt. Beroende på hur urvalet görs kan det vara befogat att korrigera viktningen för att små kontrakts större antal ska få rätt genomslag i totalvärdena. TRAFIKVERKETS UPPHANDLING AV VÄGAR OCH JÄRNVÄGAR GRANSKAR: INFRASTRUKTUR PÅ NYA VILLKOR Bilaga 4 Mätningarna av konkurrens I denna bilaga redogör vi närmare för detaljerna kring skapandet av de data som använts till beräkningarna av den uppnådda konkurrensen. Mätning av andelen inköp som upphandlats korrekt Genom att definiera inköp som attesterad fakturarad, kunde en inköpspopulation tas fram ur det ordinarie ekonomisystemet trots bristen på sammanställningar som anförts i 5.4.1. Ett stickprov med 39 observationer (n=39) togs ur en population bestående av samtliga entreprenadrelaterade inköp första halvåret 201179 (cirka 11 000). Konto, kostnadsställe, belopp, namn på kontrollattestant, namn på beslutsattestant med mera framgick per fakturarad i stickprovet. Dessa uppgifter användes för att avgränsa stickprovet till entreprenader och konsulttjänster hänförliga till entreprenaderna. Attestanterna kontaktades och ombads skicka upphandlingsprotokoll, eller motsvarande dokument och kompletterande information gällande inköpet. bedömning är baserad på och avgränsad till dessa dokument med tillhörande information. Kvalitativ metod som komplement För varje utvalt inköp ombads därefter en av attestanterna att tillhandahålla tillhörande upphandlingsprotokoll eller motsvarande. Upphandlingarna visade sig tillhöra inköp som sträckte sig bakåt till 2004, vilket innebar att både Trafikverkstiden och Vägverks- och Banverkstiden omfattades. Innan stickprovet togs hade populationen rensats från inköp och från varor och tjänster utan anknytning till anläggningsbranschen (kontorsmateriel etc.). Det är även statistiskt korrekt att göra denna rensning i stickprovet, vilket innebär att lägga en observation i stickprovet åt sidan och slumpa fram en ny, när det visar sig att observationen avser en vara eller tjänst som inte är intressant. En sådan efterhandsrensning är enklare än att försöka filtrera bort alla irrelevanta observationer ur hela populationen. 79 Första halvan av januari fanns inte med i materialet, men bedöms sakna betydelse. TRAFIKVERKETS UPPHANDLING AV VÄGAR OCH JÄRNVÄGAR Efterhandsrensning användes även för att se till att konsult- och investeringsinköpen blev fler i stickprovet än de annars hade blivit. Efter att de första 30 observationerna konstaterats innehålla 21 drift- och underhållsrelaterade inköp, betraktades den kvoten som full. Sådana observationer lades därefter åt sidan tills totalt 8 konsult- och 10 investeringsinköp uppstått i stickprovet, förutom de 21 drift- och underhålls-inköpen. Det hade även varit möjligt att genomföra viktning med beloppen i förhållande till totala omsättning och liknande. ansåg det dock inte relevant att komplicera denna ingående studie mer än vad som redan skett. I stället prioriterade vi att gå vidare med hur mycket konkurrens som upphandlingarna genererat och om innehållet i kontrakten inneburit att konkurrensutsättningen varit effektiv. Antalet anbud något högre Resultatet av inköpsstickprovsundersökningen framgår av figur 8. Antal anbud per upphandling och verksamhetsområde. I byggande respektive drift och underhållskategorierna ingår en respektive två upphandlingar med 0 anbud. De vägräta linjerna markerar genomsnittsantalet i respektive kategori. GRANSKAR: INFRASTRUKTUR PÅ NYA VILLKOR Genomsnittstalen är något högre än i analysen av antalet upphandlingar i CTM. Detta kan bero på bristande precision, eftersom stickprovets ringa storlek innebär att undersökningen endast är indikativ, särskilt när resultatet analyseras per kategori. Men antaget att skillnaden är en korrekt återspegling av verkligheten, så skulle skillnaden kunna bero på att antalet anbud blivit färre . Detta eftersom underlaget till analysen med de 39 inköpen omfattar en tidsperiod som sträcker sig längre bakåt i tiden än vad CTM-databasen gör. Antalet anbud vid upphandling av järnvägsmaterial har mätt upp att de materialupphandlingar som står för huvudvolymen genererar fler anbud än entreprenadsidan. För att översiktligt bedöma upphandlingseffektiviteten beträffande järnvägsmateriel tog ett stickprov på 30 artikelnummer. Bland dessa hade endast nio köpts in till ett totalt belopp som motiverade upphandling, definierat som överstigande sammanlagt 2010 och 2011. Ett prisbasbelopp, , återfinns i en gällande Banverksföreskrift80, som ett gränsvärde för att inköpet ska konkurrensutsättas. För de nio artiklarna uppnådde enheten ungefär lika stor konkurrens som uppnår i järnvägsentreprenadupphandlingar i allmänhet, om man beaktar osäkerheten med anledning av det begränsade stickprovet. För fem av de nio artiklarna, motsvarande av inköpsvolymen, hade färre än två godkända För tre av de fem hade bara ett anbud inkommit, och för de andra två underkändes alla anbud utom ett. En djupare analys är dock nödvändig på artikelnivå innan slutsatser bör dras. En sådan analys bör även inkludera om de artiklar som entreprenörer själva skulle köpa in är likvärdiga kvalitetsmässigt. 80 BVF 814. TRAFIKVERKETS UPPHANDLING AV VÄGAR OCH JÄRNVÄGAR GRANSKAR: INFRASTRUKTUR PÅ NYA VILLKOR Alla tidigare utgivna rapporter finns tillgängliga på omställningsförsäkring eller yrkesförsäkring? 2011:2 Använder lärosätena resurserna effektivt? Effektivitet och produktivitet för universitet och högskolor 2011:3 Oförbrukade forskningsbidrag vid universitet och högskolor 2011:4 IT inom statsförvaltningen har myndigheterna på ett rimligt sätt prövat frågan om outsourcing bidrar till ökad effektivitet? 2011:5 Statliga IT-projekt som överskrider budget 2011:6 Kostnadskontroll i stora järnvägsinvesteringar? 2011:7 Trafikverkens produktivitet hur mycket infrastruktur för pengarna? 2011:8 Klimatinsatser utomlands statens köp av utsläppskrediter 2011:9 Myndigheternas insatser för finansiell stabilitet Lärdomar i ljuset av utvecklingen i 20052007 2011:10 Biodrivmedel för bättre klimat Hur används skattebefrielsen? 2011:11 Tydlighet och transparens i budgetpropositionen ? Redovisningen av finans- och sysselsättningspolitiska ramverk 2011:12 Statens stöd till studieförbunden En granskning av försvarets internationella materielsamarbeten 2011:14 Svenska bidrag till internationella insatser 2011:15 Försvarsmaktens stöd till samhället vid kriser 2011:16 Statliga insatser för akademiker med utländsk utbildning förutsägbara, ändamålsenliga och effektiva? 2011:17 Samordning av stöd till barn och unga med funktionsnedsättning Ett (o)lösligt problem? 2011:18 Brottsutsatt Myndigheternas hantering av ekonomisk kompensation på grund av brott 2011:19 Rätt information vid rätt tillfälle inom vård och omsorg samverkan utan verkan? 2011:20 Vad blev det av de misstänkta bidragsbrotten? 2011:21 Användningen av basanslaget för forskning och forskarutbildning 2011:22 och järnvägen längs hur har det blivit och vad har det kostat? TRAFIKVERKETS UPPHANDLING AV VÄGAR OCH JÄRNVÄGAR 2011:23 Lika betyg, lika kunskap? En uppföljning av statens styrning mot en likvärdig betygssättning i 2011:24 Statliga myndigheters tjänsteexport 2011:25 It-stödet i rättskedjan 2011:26 Stabilitetsfonden Gör den skäl för namnet? 2011:27 Att hantera brottmål effektivt En utmaning för regeringen och rättsväsendet 2011:28 Medfinansiering av statlig infrastruktur 2011:29 Miljökrav i offentlig upphandling är styrningen mot klimatmålet effektiv? 2011:30 Tillämpningen av det finanspolitiska ramverket. Regeringens redovisning i budgetpropositionen 2012 2012:1 Klimatrelaterade skatter Vem betalar? 2012:2 Svensk klimatforskning Vad kostar den och vad har den gett? 2012:3 DO och diskrimineringsfrågorna 2012:4 Att styra självständiga lärosäten 2012:5 Besparingar i försvarets materielförsörjning. 2012:6 Regelförenkling för företag regeringen är fortfarande långt från målet 2012:7 Infrastrukturplanering på väg mot klimatmålen? 2012:9 Effektivitetsmätning som metod för att jämföra arbetsförmedlingskontor 2012:10 Statens försäljningar av apotek 2012:11 Den nordiska stridsgruppen Nordic Battlegroup 2011 2012:12 Tandvårdsreformen 2008 når den alla? 2012:13 Skattekontroll av företag urval, volymutveckling och uppföljning