Rekkefølgeeffekter i spørreundersøkelser blant ungdom. Resultater fra et split-ballot-eksperiment

Abstract

Et viktig spørsmål i metodelitteraturen er om svaralternativenes rekkefølge har betydning for hva respondentene svarer i spørreskjemaundersøkelser. Imidlertid pekes det på at svarrekkefølgeeffekter ikke er godt nok forstått, at få har undersøkt dette i skjermbaserte undersøkelser blant ungdom og at få studier undersøker om slike effekter varierer med ungdoms bakgrunnskjennetegn. I denne artikkelen spør vi: Har rekkefølgen på svaralternativene betydning for omfanget av psykiske helseplager som måles – og varierer eventuelle rekkefølgeeffekter mellom respondenter med ulike kjennetegn, som kjønn, alder, skolekarakterer og hvor lang tid de bruker på undersøkelsen? For å besvare dette, benytter vi oss av et split-ballot eksperiment som var del av spørreundersøkelsen Ung i Oslo 2015, hvor vi analyserer svar fra 17 832 ungdommer i alderen 13–19 år. Analysene viser at når man måler psykiske helseplager blant ungdom i en elektronisk basert undersøkelse, har det en viss betydning hvilken rekkefølge svaralternativer presenteres i. Flere krysser av for svaralternativer som indikerer plager når disse står til venstre enn når de står til høyre. Resultatene gir dermed støtte til tidligere studier som har funnet lignende primacy-effekter. Målt ut fra effektstørrelsen er forskjellen i forekomst av psykiske symptomplager mellom de to eksperimentgruppene relativt begrenset, noe som tyder på at det først og fremst er andre forhold som påvirker hvordan ungdom svarer. Likevel er effekten av betydning, siden det er 3,3 prosentpoeng flere som rapporterer om mange symptomplager når plaget-alternativene står til venstre enn når de står til høyre. Analysene viser for øvrig at rekkefølgeeffekten er uavhengig av ungdommenes kjønn, alder og hvor lang tid de brukte på spørreskjemaet. Derimot varierer rekkefølgeeffekten tydelig etter ungdommenes karakterer. Effekten er størst blant de med dårlige karakterer, mens det ikke er noen effekt i det hele tatt blant de med aller best karakterer.

An important question in the method literature is whether the response-order in surveys affects respondents’ answers. However, such response-order effects are not well understood. Few studies have examined results from screen-based surveys among adolescents, including whether such effects depend on the youth’s background characteristics. In this article, we thus ask: Do the response-order effects have impacts on the observed prevalence of mental health problems (i.e., depressive symptoms) among adolescents – and, are such response-order effects dependent on adolescents’ characteristics such as sex, age, academic performance and total survey response time? To answer these research questions, we utilize a split-ballot experiment that was part of the survey Young in Oslo 2015, in which we analyzed responses from 17,832 adolescents aged 13–19 years. The analyses show that the response order is of some importance when measuring mental health problems among adolescents in an electronic survey. Respondents more frequently report symptoms when the options indicating problems options are left-aligned, than right-aligned. The results thus provide support for previous studies that found similar primacy effects. Measured by the effect size, the difference in the occurrence of depressive symptoms between the two experimental groups is relatively limited, which indicates that it is primarily other factors that affect how young people respond. Nevertheless, the effect is important since the prevalence of depressive symptoms is 3.3 percentage points higher if the bothered options are left-aligned, than if they are right-aligned. The analyses also show that the order effect is independent of gender, age and the amount of time spent to complete the questionnaire. On the other hand, this effect clearly varies according to the youth’s academic performance. The effect is strongest among those with low school grades, while there is no effect at all among those with the highest grades.