Evaluering – symbol og metode

Abstract

Til tross for at norsk statsforvaltning er pålagt å evaluere og har drevet utstrakt evalueringsvirksomhet i mer enn 30 år, finnes det liten kunnskap om konsekvensene av denne virksomheten. Denne avhandlingen er et bidrag til mer kunnskap om slike evalueringers konsekvenser eller innflytelse. Avhandlingen er avgrenset til evaluering i regi av direktorater innenfor det sosialpolitiske feltet. Direktoratene er viktige i evalueringssammenheng fordi de er faglige rådgivere for departementene, men også bidrar med kunnskapsoverføring til underliggende etater, media og allmenheten. I tillegg har direktoratene en sentral rolle i oppfølgingen av statlige tiltak og satsinger. Evaluering er tradisjonelt betraktet som en metode eller et verktøy for vurdering. I denne avhandlingen kombineres dette perspektivet med et sosialkonstruktivistisk syn på evaluering. Det vil si at evaluering anerkjennes som en potensielt samfunnsnyttig metode, men også betraktes som en aktivitet med stor symbolsk betydning. Gjennom evaluering viser norske myndigheter hvilke verdier og idealer som er viktige i samfunnet. Sammen bidrar disse to perspektivene til å forklare evalueringenes rolle i forvaltningen og evalueringenes innflytelse. Avhandlingen bygger på intervjuer med byråkrater, på en spørreundersøkelse med deltakere fra seks direktorater, og på sekundærdata om Norges flerårige deltakelse i PISA. Avhandlingen består av tre artikler som undersøker evalueringers innflytelse fra ulike perspektiver. Artikkel én undersøker den brede samfunnsmessige og politiske innflytelsen fra Norges mangeårige deltakelse i PISA (Programme for International Student Assessment). Konsekvensene av denne deltakelsen tolkes som et resultat av PISA som et verktøy eller en metode som bidrar med kunnskap som får klare konsekvenser for norsk politikk og samfunnsliv. Samtidig sees PISAs innflytelse også som et resultat av norske myndigheters ønske om å framstå som endringsvillige og handlekraftige. Artikkel to undersøker den instrumentelle eller direkte innflytelsen fra direktoratenes evalueringer på politiskadministrative beslutninger. Funnene viser at evaluering har direkte påvirkning på slike beslutninger. Dette forklares ut fra byråkratenes deltakelse i evalueringsprosessen og den praktisk nyttige kunnskapen dette resulterer i. Artikkel tre undersøker betydningen av evalueringenes bidrag til ny kunnskap i form av nye ideer eller perspektiver, videre om hvilke typer data som bidrar til slik læring, og om dette er data i overensstemmelse med evidensbevegelsens metodologiske idealer. Funnene viser at evaluering er en viktig kunnskapskilde for byråkratiet og at kvalitative evalueringsmetoder i størst grad bidrar til nye ideer og perspektiver. Til sammen bidrar artiklene med ny kunnskap om hvordan byråkratene selv opplever evalueringenes innflytelse, og samtidig med innsikt i de langsiktige og komplekse virkningene av den internasjonale PISA-evalueringen. Samlet sett bidrar avhandlingen med ny kunnskap om konsekvensene av evalueringene som gjennomføres i regi av de sosialpolitiske direktoratene. Avhandlingen viser også at evalueringer utført av norske myndigheter ikke bare bør forstås ut fra deres praktiske funksjoner, men også i lys av deres symbolske betydning.

Despite the fact that Norwegian ministries and agencies have been evaluating for more than 30 years, little is known about the consequences of this activity. This dissertation is a contribution to increasing the knowledge of the impact or influence of these evaluations. The dissertation is limited to agencies within the field of social policy. The agencies play an important role in today's knowledge-based policy, and social policy is one of the areas where Norwegian authorities evaluate most extensively. Evaluation may be viewed as a method for planning and developing social improvements. Evaluation could also be seen as a societal phenomenon, as an omnipresent, powerful and inescapable trend. These two perspectives represent different academic traditions. In this dissertation, evaluation is both acknowledged as a potentially useful method and a societal phenomenon and symbol of the values of society. Together, these two perspectives help explain the role of evaluations in Norwegian public administration and their influence. The dissertation consists of three articles that examine the influence of evaluations from different perspectives. Article one examines the broad societal and political influence of Norway’s long-term participation in the International Student Assessment (PISA) programme. The massive influence of the PISA evaluation is explained as a consequence of the evaluation being both a method – with results affecting Norwegian policy – and a result of the symbolic role of PISA, which reflects the values of society. Article 2 examines the instrumental or direct influence from evaluations in political-administrative decisions. In Article 3, the relationship between the ideal EBP methodological approaches and policymakers’ perception of the impact of evaluations is investigated. The aim is twofold. First, to assess policymakers’ belief in evaluations as a source of new ideas and policies. Second, to examine whether this belief depends on methodological ideals from the evidence hierarchy. The civil servants report strong belief in evaluations’ impact on policy and development of new ideas – however, this is more or less independent of the type of methodological approach used. Exceptions are workshops, conferences and similar events, evaluation using observational data, and evaluations conducted with the intention of obtaining new knowledge. The articles are based on interviews with Norwegian civil servants and a survey of participants from six agencies within the field of social policy. Overall the dissertation reveals that the evaluative activity in Norwegian agencies does influence both policy and society. The study contributes new knowledge about how the bureaucrats themselves experience the influence of evaluations and reveals how a double perspective on evaluations could lead to a better understanding of the influence of the international PISA evaluation and evaluation in general.