| dc.description.abstract | Ordningen med ekstern kvalitetssikring av store statlige investeringsprosjekter (KS-ordningen / statens prosjektmodell) har blant annet som formål å sikre at budsjettrammer er realistiske og at usikkerhetsvurderingene av kostnadsestimatene gjenspeiler faktisk kostnadsusikkerhet. I hvilken grad rammer, estimater og usikkerhetsvurderinger er realistiske, og hvor det ligger forbedringsmuligheter er hovedtema for denne studien.
Kapittel 1 beskriver bakgrunnen og motivasjonen for denne studien. Utgangspunktet er at forskningsprogrammet Concept fortløpende samler inn sluttkostnader i prosjekter som har vært gjennom KS2. Det gir grunnlag for studier av utvikling i kostnadskontroll. Etter hvert som utvalget av prosjekter øker, kan det også gi grunnlag for dypere undersøkelser av realismen i estimatene som lå til grunn for Stortingets fastsettelse av styrings- og kostnadsramme.
Studien har tre hovedtema. Vi ser på:
1. Realismen i styrings- og kostnadsrammer
2. Realismen til punktestimater i KS2, og
3. Realisme og informasjonsverdi til prediksjonsintervallene og estimatfordelingene
Kapittel 2 gir en gjennomgang av tidligere studier av kostnadskontroll i prosjekter som har vært gjennom KS2. De viser alle relativt gode resultater både med hensyn til budsjettavvik og usikkerhetsvurderinger. Mens gjennomsnittlig kostnadsoverskridelse rapportert i internasjonale studier typisk ligger rundt 30 prosent, så rapporterer de tidligere norske studiene gjennomsnittlige overskridelser på mellom to og seks prosent målt mot styringsramme. Tilsvarende rapporterer andre undersøkelser gjerne sterk undervurdering av usikkerhet, mens P50 og P85-estimatene fra KS2 (det vil si estimater som forventes å ikke overskrides i henholdsvis 50 og 85 prosent av tilfellene) har vært rimelig godt kalibrerte, selv om flere forfattere har pekt på at spredningen er noe høyere enn det man la til grunn på beslutningstidspunktet. Datagrunnlaget, som beskrives i Kapittel 3, omfatter et større antall prosjekter enn tidligere undersøkelser, samt at analysene i større grad fokuserer på estimatene som brukes som grunnlag for budsjettrammene. Analysen av styringsramme og kostnadsramme omfatter henholdsvis 83 og 85 prosjekter. Tilstrekkelig data for vår analyse av kostnadsestimatene fantes for 70 av disse prosjektene.
I Kapittel 4 beskriver vi detaljerte forskningsspørsmål og metode for analysene. I dette motiverer og angir vi, basert på nyeste forskning på området, hvordan sannsynlighetsbaserte kostnadsestimater bør evalueres.
Vi innfører en analyse av estimatavvik og estimatskjevhet basert på hva som er en rimelig «tapsfunksjon», der tapsfunksjonen er det som forsøkes minimert når estimatet gis. En slik analyse som tar hensyn til at feilen man forsøker å minimere ved estimering samsvarer med feilen man blir evaluert mot er viktig for å få en riktig vurdering av hvor gode estimatene er. Tilsvarende beskrives målestørrelser for usikkerhetsvurderinger basert på kalibrering og hvor informative prediksjonsintervall og estimatfordelinger er. Vi argumenterer for at godt kalibrerte sannsynlighetsbaserte estimater (f.eks. at ca. 50 prosent av P50-estimatene ikke overskrides) ikke er et tilstrekkelig evalueringskriterium. I tillegg trenger vi målestørrelser for hvor informative de sannsynlighetsbaserte estimatene er.
I analysene av styrings- og kostnadsramme i Kapittel 5 finner vi at medianen av avvikene mellom faktiske kostnader og styringsramme, målt som absolutt prosentvis avvik (uavhengig av fortegn), er på 10 prosent (gjennomsnitt = 12,5), og at median overskridelse av styringsrammene er på 1,5 prosent (gjennomsnitt = 3,4 prosent). Det er med andre ord, for alle prosjektene over ett, kun en svak tendens til overskridelser, og mye lavere enn rapportert i internasjonale undersøkelser. Over tid har det imidlertid vært en noe bekymringsfull utvikling. Mens det tidligere var en tendens til kostnadsunderskridelser (i gjennomsnitt 6 prosent underskridelse av styringsramme for prosjekter med beslutningsår i perioden 2001-2003) har det i de senere vært en tendens til kostnadsoverskridelser (i gjennomsnitt 12 prosent overskridelser i perioden 2010-2012).
Styringsrammene baserer seg på P50-estimater, mens kostnadsrammene baserer seg normalt på P85-estimater. Dette vil si, gitt godt kalibrerte estimater, at faktisk kostnad bør være under styringsrammen i omtrent 50 prosent og under kostnadsrammen i omtrent 85 prosent av tilfellene. Vi finner imidlertid at dette kun gjelder i 40 prosent av tilfellene for styringsrammen og 73 prosent for kostnadsrammene. Andelene har vært synkende over tid. Mens det i 2001-2003 var 62 og 100 prosent innenfor henholdsvis styrings- og kostnadsramme, så var det i 2010-2012 kun 21 og 43 prosent innenfor, riktignok basert på et lavere antall prosjekter enn i tidsperiodene før. Grunnen til at treffrater for styrings- og kostnadsramme for alle prosjektene under ett ikke er så langt fra de intenderte er altså i stor grad at man har gått fra for høye styrings- og kostnadsrammer, til for lave. Tendensen til for lave styrings- og kostnadsrammer bør forsøkes snus gjennom bedre estimeringsarbeid i fremtidige KS-prosjekter, eventuelt bedre styring av prosjektene i gjennomføringsfasen.
Analysen av estimatene i Kapittel 6 finner omtrent samme grad av overskridelser og estimatavvik for P50 og P85-estimatene som de rapportert for styrings- og kostnadsrammene. P50 estimatene viste en median estimatskjevhet på -1 prosent (gjennomsnitt = 3 prosent). Median prosentvis avvik (uavhengig av fortegn) var på 12 prosent (gjennomsnitt = 14 prosent). Vi beregnet at det forventede avviket ikke kan bli mindre enn 8-10 prosent, gitt en del antagelser som at styringsrammene ikke påvirker prosjektene til å tilpasse leveranser for å redusere avvik. Selv om sistnevnte antagelse neppe er oppfylt, antyder denne beregningen at avvikene ikke er spesielt høye.
Vi observerer at det typisk skjer en reduksjon fra estimat til ramme. Styringsrammen var i gjennomsnitt sju prosent lavere enn P50-estimatet og kostnadsrammen sju prosent lavere enn P85-estimatet. Til tross for at det var flere prosjekter som burde ha beholdt de opprinnelige P50 og P85-estimatene som henholdsvis styrings- og kostnadsramme, så fant vi ikke at justeringene totalt sett reduserte realismen. Mange av justeringene synes å være godt begrunnet.
Estimatene gitt i KS2 omfatter både punktestimater, prediksjonsintervall og estimatfordelinger (S-kurver). Analysene våre omfatter alle disse og har som hovedfunn at:
Estimatfordelingene og prediksjonsintervallene er typisk for smale for å reflektere faktisk usikkerhet. Det er for eksempel slik at hele 19 prosent av prosjektene har lavere kostnad enn P10-estimatet og 20 prosent mer enn P90-estimatet. Fremtidig estimering bør ta inn over seg at utfallsrommet for prosjektkostnader er bredere enn det som tidligere typisk har vært antatt. Estimert kostnadsusikkerhet, anslått gjennom bredden på prediksjonsintervall og estimatfordeling, korrelerer ikke med faktisk kostnadsusikkerhet, målt gjennom kostnadsavvik og overskridelser. Dette tyder på lav evne til å skille mellom prosjekter med høy og lav kostnadsusikkerhet. En bedre evne vil blant annet kunne redusere behovet for påslag fra styrings til kostnadsramme, uten at det går ut over kostnadskontroll og prosjektgjennomføring. Vi viser, gitt noen antagelser, at kostnadsrammene ville kunne være 17 prosent lavere dersom evnen til å skille mellom lav- og høyrisikoprosjekter hadde vært god. Målinger av og tiltak for å forbedre denne evnen bør prioriteres i estimeringsarbeidet. Det er forskjeller i estimeringsprestasjoner både mellom etater og konsulentfirma ansvarlig for kvalitetssikring av estimatene (KSrådgivere). Forsvarsprosjekter skiller seg ut ved å ha en sterk tendens til å overestimere kostnader (gjennomsnittlig underskridelse av P50estimatet med 19 prosent) og alt for smale prediksjonsintervaller (29 prosent av prosjektene innenfor 80 prosent prediksjonsintervallet). Statens vegvesen har også en tendens til for smale prediksjonsintervaller (57 prosent av prosjektene innenfor 80 prosent prediksjonsintervallet). Blant KS-rådgiverne er det ingen store forskjeller i estimatavvik, men større forskjeller i hvor realistisk usikkerheten anslås. Det kan være ulikheter i prosjektkompleksitet eller andre forhold som forklarer disse forskjellene. Gitt den manglende evnen til å skille mellom lav- og høyrisikoprosjekter i estimeringsarbeidet, vil en enkel, mekanisk påslagsmodell (klimatologisk modell) i teorien kunne gjøre det like godt som det mer krevende KS2-estimeringsarbeidet. Vi undersøkte dette, der påslagene var basert på historisk estimatavvik, men fant at KS2-estimatene gjorde det noe bedre på de fleste målestørrelsene. Dette indikerer at arbeidet som gjøres i KS2-estimerinegen gir merverdi, målt mot enkle påslagsmodeller.
Vi oppsummerer og diskuterer funnene i Kapittel 7. Hovedkonklusjonene er at totalt sett så synes KS2-rammer og kostnadsestimatene å være realistiske og være rimelig godt kalibrerte. Utviklingen over tid er imidlertid bekymringsfull og bør føre til forbedringer i estimeringsarbeidet. To vesentlige forbedringsområder er å angi bredere estimatfordelinger, det vil si å anerkjenne at kostnadsusikkerheten typisk er større enn den som tidligere har fremkommet i estimeringsarbeidet, samt å bli bedre på å skille mellom prosjekter med lav og med høy kostnadsusikkerhet. | en |
