HELVYRD - Helhetlig vurdering i et yrkesdidaktisk perspektiv. En studie av vurderernes helhetlige vurderinger av siste års lærlinger i elektrikerfaget i ulike vurderingssystemer innen fag- og yrkesopplæringen

Abstract

Min avhandling, Helhetlig vurdering i et yrkesdidaktiske perspektiv (HELVYRD), er en studie av vurderernes helhetlige vurderinger av lærlinger innenfor fag- og yrkesopplæringen i Norge. I dette systemet brukes ulike vurderingsformer gjennom hele utdanningsløpet hvor fagprøven etter 4 års løp (to år skole pluss to år læretid, 2+2-modell (normalt, men med avvik)) er en avsluttende vurdering. HELVYRD er en del av det NFR (Norsk Forskningsråd)- støttende MECVET-prosjektet (Measuring Competence in Vocational Education and Training), som har utprøvd en storskalavurdering med den tyske KOMET-modellen (Kompetenzdiagnostik im Berufsfeld Elektrotechnik) tilpasset den norske fag- og yrkesopplæringen. I HELVYRD forskes det på vurderernes helhetlige vurdering i elektrikerfaget hvor tre vurderingssystemer anvendes, MECVET-modellen og to norske systemer: sentralt gitt skriftlig eksamen og fagprøve. Studien søker å finne ut av hvordan vurderere innenfor ulike vurderingssystemer kan vurdere en helhetlig og kompleks yrkeskompetanse innenfor elektrikerfaget. Ut i fra det har jeg utviklet en definisjon på helhetlig vurdering: Helhetlig vurdering er å trekke inn ulike aspekter av en handling knyttet til en yrkesutøvelse i en konkret kontekst, der vurderer bruker sin erfaring, kompetanse og skjønn for i størst mulig grad å vurdere yrkeskompetansen opp mot de krav som stilles for utøvelsen av et yrke. Studiens tre forskningsspørsmål lyder: -Hvordan kan vi forstå helhetlig vurdering i et yrkesdidaktisk perspektiv? Spørsmålet retter søkelyset mot et tema som i avhandlingen blir gjenstand for teoretisk drøfting og som gir en begrepsramme (konseptuelt) for å analysere det empiriske materialet. -I hvilken grad foretar vurdererne helhetlige vurderinger i de utvalgte vurderingssystemene? Dette spørsmålet skal besvares gjennom å beskrive innslaget av helhetlig vurdering (deskriptivt) i de tre vurderingssystemene. -Hvilke faktorer påvirker vurderernes helhetlige vurdering av siste års lærlingbesvarelser? Hvordan påvirker vurderingssystemene på vurderernes helhetlige vurdering (forklarende)? Av de ulike faktorene som skal undersøkes, vil vurderingssystemene stå sentralt og dermed også de yrkesdidaktiske prinsippene som disse systemene bygger på. Det teoretiske rammeverket er delt i to hovedområder: yrkesdidaktikk og helhetlig vurdering. Den yrkesdidaktiske diskusjonen tar utgangspunkt i både den internasjonale (nordisk og tysk) og nasjonale. Dette utvikles inn i seks perspektiver om yrkesdidaktikk basert på Gessler og Herrera (2015) sine seks forutsetninger. Teoretisk rammeverk om helhetlig vurdering har ikke vært mulig å bygge på et spesielt teoretisk utgangspunkt, men fokus har vært på kompetansebasert vurdering (Wolf, 1995) og annen tilstøtende teori. Den utvalgte litteraturen har blitt systematisert med støtte i den didaktiske relasjonsmodellen og utgjør ulike aspekter ved helhetlig vudering. Studiens forskningsdesign og metode er utviklet rundt kvalitative intervjuer som ble gjennomført med 13 vurderere fordelt på tre vurderingssystemer med støtte i tenkningen om «stimulated-recall» (Calderhead, 1981; Lyle, 2003) og «think-aloud» (Patton, 2015; Kuusela og Paul, 2000). Dokumentanalyse utgjør en mindre del av datainnsamlingen. Analyse av empiri skjer ved koding og kategorisering og har skjedd med støtte i tenkningen til Charmaz (2014) og Strauss og Corbin (1998). Presentasjon og diskusjon av resultatene har skjedd i de fremkomne temaer og kategorier. En ytterligere sammenfattende diskusjon gjøres i fire hoveddimensjoner. Presentasjonen av studiens funn tilknyttet de tre forskningsspørsmålene: - I studiens funn omkring forståelsen av helhetlig vurdering i et yrkesdidaktisk perspektiv (konseptuelt) kom det frem at lite har blitt skrevet om tematikken. Gjennom min utvikling av et teoretisk rammeverk om helhetlig vurdering fremkom ulike perspektiver, noe som ble ytterligere belyst gjennom det yrkesdidaktiske rammeverket. Det handler om å belyse en variant av vurdering for fag- og yrkesopplæring, hvor vurdereren ser ulike aspekter av en kompleks yrkesutøvelse i en bestemt kontekst gjennom å anvende sin erfaring, kompetanse og skjønn og vurdere opp imot de krav som stilles for utøvelsen. Helhetlig vurdering vil romme et syn på vurdering som handler om å fremme den faglige helheten. Gjennom å belyse helhetlig vurderingen i utvalgte yrkesdidaktiske perspektiver kommer det til syne muligheter, utfordringer og begrensninger. Spesielt den yrkesdidaktiske tilhørigheten og påvirkningen fra yrkeslivet vil være sentralt. Yrkenes stadige utvikling kommer tydelig frem, noe som preger både vurderingsfeltet og det yrkesdidaktiske feltet isolert sett, men også hvordan disse kan ses i sammenheng. Det igjen preger forståelsen av hva som ligger i helhetlig vurdering. - Studiens funn viser at vurderernes grad av helhetlig vurdering var høy. Det kan forklares ut fra vurderernes tilnærming til elektrikerfagets innholdselementer, anvendelsen av egen faglig bakgrunn og hvordan de anvendte vurderingskriterier inn i vurderingskonteksten. Det som fremmer den helhetlige vurderingen, er evnen til å anvende elektrikerfaget og yrkeslivet inn i vurderingen av besvarelsene. Funn viser at det å være en del av et vurderingsfellesskap er sentralt, og her blir den enkelte vurderer bevisstgjort og kan utvikle seg. Det er viktig for å holde seg oppdatert innenfor et elektrikerfag som er i stadig utvikling. - Studiens funn om påvirkning av vurderernes helhetlige vurderinger gjelder først og fremst vurderingssystemenes former og elektrikerfagets utvikling. Vurderingssystemene påvirker vurdererne gjennom oppgavenes utforminger, strukturer for vurderingsprosessene og de rammene som gis. Ulikheten mellom systemene er store, og dermed påvirkes vurdererne i ulik grad. Funn viser at jo strammere og mindre fleksibelt systemet er, jo mer innsnevrer det vurderernes mulighet til å operere helhetlig i sine vurderinger. Vurderernes medvirkning og eierforhold til vurderingsprosessen reduseres og medfører dermed i større grad en uniformering og mekanisering. Vurdererne vil utelate vesentlige sider ved det å vurdere en helhetlig yrkeskompetanse. Vurderingssystemene må tilpasse seg elektrikerfagets raske utvikling og gi vurdererne handlingsrom til å vurdere aktuell yrkeskompetanse. Sentrale funn viser at anvendelse av casebaserte oppgaver med form av en arbeidsordre og det å kunne delta i et vurderingsfellesskap med mulighet for å medvirke i utvikling og anvendelse av vurderingskriterier, var noe som påvirket positivt for i større grad å kunne gjøre helhetlige vurderinger. Avslutningsvis viser studien at det vil være behov for ytterligere forskning på flere områder. Det omfatter forskning på vurdering i flere fag, flere former for vurderingssystemer, utvikling og anvendelse av mål og kriterier, betydningen av skriftlighet og ikke minst utviklingen av faglig innhold.

My thesis, Holistic Assessment in a Vocational Didactic Perspective (HELVYRD), is a study of assessors’ holistic assessment of apprentices in vocational education and training (VET) in Norway. Different forms of assessment are used throughout the education and training, where the final trade examination, after four years (two years school-based and two years workbased apprentice, normal, but with some deviation) is a summative assessment. HELVYRD is a part of the MECVET-project (Measuring Competence in Vocational Education and Training), supported by the NFR (Norwegian Research Council), which has tried out largescale assessment using the German COMET-model (Kompetenzdiagnostik im Berufsfeld Elektrotechnik) adapted to the Norwegian context. The HELVYRD study is conducting research on assessors’ holistic assessment in electrician where three different assessment systems are used, the MECVET-model and two Norwegian systems: centrally given written examinations and trade examinations. The study seeks to find out how the assessors within the three different assessment systems can assess the holistic and complex vocational competence of a skilled electrician. In my theoretical review, I have developed my own definition of holistic assessment: Holistic assessment is to incorporate various aspects of work activity related to a professional practice in a specific context, where the assessor uses his/her experience, expertise and judgment to assess, as much as possible, the professional competence against the requirements for the profession. The three research questions in this study are: How can we understand holistic assessment in the perspective of vocational didactics? This question focuses on an area which, in the thesis, is the subject of theoretical discussion and which provides a conceptual framework for analysing the empirical material. To what degree do the assessors conduct holistic assessments in the selected assessments systems? This question is answered by describing the incidence of holistic assessment (descriptive) in the three assessment systems. What factors affect the assessors’ holistic assessment of the last years’ apprentices’ answer papers? How do the assessment systems affect the assessors’ holistic assessment (explanatory)? Of the various factors being investigated, the assessments systems will be central, and thus the vocational didactical principles on which these systems are based. The theoretical framework has two main areas: vocational didactics and holistic assessment. The discussion about vocational didactics is based on both the international (Nordic and German) and the national research. This will be summarized in six perspectives for vocational didactics using the six assumptions developed by Gessler and Herrera (2015). It has not been possible to limit the theoretical framework for holistic assessment to one specific theoretical view, but emphasis has been on competence-based assessment (Wolf, 1995). The literature used has been systematized and processed with support in the didactic relationship model. The study’s research design and methods are developed on qualitative interviews conducted with thirteen assessors distributed within the three assessment systems and supported by the thinking of both “stimulated-recall” (Calderhead, 1981; Lyle, 2003) and “think-aloud” (Patton, 2015; Kuusela and Paul, 2000). Document analysis is a minor part of the data collection. The theoretical views of Charmaz’s (2014), Strauss & Corbin’ (1998) have supported the coding and categorisation of the empirical data. The results and discussions are presented in the respective categories. A further discussion have been summarized in four main dimensions. The presentation of the study's central findings related to the three research questions: In the study’s findings on the understanding of holistic assessment in a vocational didactical perspective, it became evident that little has been written on this subject. Through my development of a theoretical framework on holistic assessment, different perspectives emerged, and defined further by the vocational didactical framework. This is about highlighting a variant of VET assessment, where the assessor sees different aspects of a complex professional practice in a particular context by applying his experience, competence and judgment and assessing theses against the requirements for the profession. Holistic assessment incorporates a view of assessment as one that promotes seeing an occupation as a professional whole. By highlighting holistic assessment in selected vocational didactical perspectives, opportunities, challenges and limitations are revealed. In particular, a vocational didactical affiliation and influence from working life will be central. The constant development in the trades is evident and affects singularly both the field of assessment and the field of vocational didactics, but also how these may be seen in context. This again affects the understanding of what holistic assessment comprises. The confidence in the assessors who perform the assessments will be of significant importance here. Findings show that the degree of holistic assessment amongst the assessors is high. This can be explained by the assessors’ approach to the electricians’ curriculum content, the incorporation of their own professional background, and how they applied assessment criteria in the assessment context. What promotes the holistic assessment is the ability to use the professional work-life experience in the assessment. The findings show that being part of an assessment network is central. In such a network, assessors can be informed, developed and updated. These aspects are important in electrical work, which is under constant development. Findings also indicate that the form of the assessment system as well as current development in the electrical trade primarily affect the assessors’ holistic assessment. Assessment systems affect the assessors by the design of the tasks, the structure of the assessment process and the given frameworks. The differences between the assessment systems are considerable and affects the assessors to different degrees. Findings show that the tighter and less flexible the system, the more it reduces the ability of the assessors to conduct a holistic assessment. The assessor’s involvement and ownership of the assessment process is reduced and results largely in standardization and automation, where significant aspects of assessing holistic vocational competence will be overlooked. The assessment systems must adapt to the rapid development of the electricians' profession and give the assessors room to assess relevant professional competence. Central findings show that use of case-based tasks such as a work order, and the assessors’ being given the opportunity to participate in assessment networks, contribute to the development and use of assessment criteria, have a positive impact on being able to make a holistic assessment. In conclusion, the study indicates that there is a need for further research in several areas. These include assessment in other VET-programmes: different forms of assessment systems: development and application of goals and criteria: the importance of writing: and not least the development of vocational content.