Sight translation – Safe translation? Exploring meaning-making and interaction from a multimodal perspective

Abstract

This thesis consists of three articles and a comprehensive introduction to the work. The overarching aim is to contribute to the understanding of sight translation, i.e. translation from writing into speech, in terms of the theoretical understanding of the method, how meaning-making is influenced by sight translation and how interactional patterns are affected by the act of sight translation. To investigate the practice, I lean on a multimodal understanding of communication. The analyses are rooted in systemic functional linguistics in its extension to other modes, social semiotics and mediated discourse theory. The data consist of a simulation of an interpreted institutional meeting between a Norwegian-speaking public service representative (PSR) and a Serbian-speaking public service user (PSU). A certified interpreter is translating. The simulation is conducted three times with different PSUs and interpreters. During the meeting, the PSR hands a leaflet to the interpreter, who is asked to sight translate for the PSU. The written text draws on several resources: language, layout, graphics and images. The meeting is video recorded from two angles. In addition to the recordings, the PSR and the interpreters wrote their immediate reflections after the simulations, whilst I interviewed the PSUs in Serbian. The research questions that I aim to answer in this thesis are as follows: • How does multimodality increase our understanding of sight translation, both as a method and as an interactional practice? • How can new knowledge about sight translation inform practice? Three articles compose the main body of knowledge, starting with a critical review of research literature that discusses established challenges in sight transition from a multimodal perspective. Basing on the findings, I question whether sight translation is a suitable method for conveying information. I also detect a need for further research on the communicative aspects of sight translation. The second paper analyses the meaning-making process and shifts in meaning potential imposed by translation strategies and modal shifts. These shifts are analysed from a social semiotic and metafunctional perspective (Kress & Van Leeuwen, 1996, 2001). The third paper discusses the influence of the act of sight translation on the interactional pattern in the communicative event and the effect this has on attention and agency. The analytical framework is that of multimodal (inter)action analysis (Norris, 2004, 2019b). The textual analysis in Article 2 is based on an information leaflet and the interpreters’ renditions of the text, with special attention to the graphic resources in the source text, along with some verbal issues, such as deictic elements and information in the footnote. The findings from this analysis confirm that the change of mode, together with the interpreters’ choices, affects meaning-making related to all metafunctions, especially the interpersonal one. The interactional analysis focuses on the pattern in the sight-translated phase of the meeting in terms of rhythm, measured through the concept of modal density, which indicates attention and agency. The findings are that the act of sight translation (reading aloud) affects the social actors’ agency and that the interpreter has received control in the situation. Based on the reflections and interviews, a lack of shared practice related to sight translation emerges, which also distorts the interactional rhythm, as the social actors do not know how to align with one another. I argue that the interpreter should take responsibility for counteracting the other actors’ reduced agency, as this is imposed by the translation method. Altogether, the three articles form the basis for a discussion on which knowledge is needed to understand and conduct sight translation. I argue that interpreters must not only have competence in multimodal analysis and mediation, but they also need to attend to interactional issues, securing agency in sight translation. I then argue how the theoretical perspectives and the analytical frameworks I have used are relevant to interpreting, in general, both regarding understanding meaning-making and understanding interaction. The thesis is not only a contribution to interpreting studies but also a drip to multimodality studies by investigating the proximal modes of writing and speech. It likewise touches upon literacy studies by accentuating the scarcely documented literacy practice that reading aloud for adults is.

Denne avhandlingen består av tre artikler og en kappe. Forskningens formål er å bidra til forståelsen av tolking fra skrift til tale (prima vista tolking. Dette gjelder både den teoretiske forståelsen av tolkemetoden, hvordan meningsskaping påvirkes av oversettelsen og hvordan interaksjonsmønstre påvirkes av selve tolkehandlingen. For å undersøke denne praksisen, tar jeg utgangspunkt i et multimodalt syn på kommunikasjon. Analysene er basert på systemisk funksjonell lingvistikk i sin utvidelse til å omfatte andre modaliteter, sosialsemiotikk og mediert diskursanalyse. Datagrunnlaget er et simulert, institusjonelt møte mellom en norsktalende saksbehandler en serbisktalende bruker. En statsautorisert tolk tolker for dem. Simuleringen ble gjennomført tre ganger med forskjellige brukere og tolker. I løpet av møtet gir saksbehandleren en brosjyre til tolken som tolken skal oversette den for brukeren. Den skriftlige teksten utnytter ulike ressurser: språk, layout, grafikk og illustrasjoner. Møtet ble filmet fra to vinkler. I tillegg til opptakene, skrev saksbehandleren og tolkene sine umiddelbare refleksjoner etter simuleringene og jeg intervjuet brukerne på serbisk. Prosjektets overordnede problemstillinger er: • Hvordan øker multimodalitet vår forståelse av tolking fra skrift til tale både som en tolkemetode og som en amhandlingspraksis? • Hvordan kan ny kunnskap om tolking fra skrift til tale bidra i praksisfeltet? Hovedtyngden i avhandlingen utgjøres av de tre artiklene. Den første artikkelen er en kunnskapsoversikt der jeg diskuterer allerede eksisterende kunnskap om tolking fra skrift til tale fra et multimodalt perspektiv. På grunnlag av funnene som presenteres der, stiller jeg spørsmål om tolking fra skrift til tale er en adekvat metode å formidle informasjon på. Jeg dokumenterer også behov for videre forskning på kommunikative aspekter ved tolking fra skrift til tale. med fokus på Den andre artikkelen analyserer meningsskapningsprosessen og endringer i meningsskaping som kommer av oversettelsen og endring av modalitet. Endringene er analysert fra et metafunksjonelt og sosialsemiotisk perspektiv (Kress & Van Leeuwen, 1996, 2001). Den siste artikkelen diskuterer hvordan selve tolkehandlingen påvirker samhandlingsmønstret i kommunikasjonen og hva slags effekt dette har på oppmerksomhet og handlingsmulighet. Det analytiske rammeverket som benyttes er multimodal (inter)aksjonsanalyse (Norris, 2004, 2019b). Tekstanalysen i Artikkel 2 er gjort på grunnlag av brosjyren og tolkens gjengivelse av denne med fokus på de grafiske ressursene i kildeteksten, i tillegg til noen verbale ressurser som deiktiske elementer og informasjon i en fotnote. Funnene fra analysen bekrefter at endringen av modalitet, sammen med tolkens gjengivelsesvalg, påvirker meningsskapingen knyttet til alle metafunksjonene, særskilt den mellommenneskelige. Interaksjonsanalysen i Artikkel 3 fokuserer på mønstret i den fasen av møtet der det tolkes fra skrift til tale. Jeg vurderer rytme ut fra konseptet modal tetthet (modal density) som indikerer oppmerksomhet og handlingsmulighet. Funnene tilsier at selve tolkehandlingen i tolking fra skrift til tale (høytlesing) påvirker aktørenes handlingsrom og at det er tolken som har fått kontrollen i situasjonen. På grunnlag av refleksjonene og intervjuene, viser det seg at deltakerne ikke har felles praksiserfaringer, noe som også forstyrrer samhandlingsrytmen på en slik måte at deltakerne ikke vet hvordan de skal justere seg i forhold til hverandre. Jeg argumenterer for at tolken er den som må ta ansvar for de andre deltakernes reduserte handlingsrom, fordi det er en konsekvens av tolkemetoden. Til sammen danner de tre artiklene grunnlaget for en diskusjon om hva slags kunnskap som trengs for å forstå og utføre tolking fra skrift til tale. Jeg argumenterer for at tolker ikke bare må ha kompetanse i multimodal analyse og mediering, men at de også må ivareta interaksjonen for å sikre handlingsmulighet. Videre argumenterer jeg for hvordan de teoretiske perspektivene og analytiske verktøyene jeg har brukt er relevante for tolking generelt, både for forståelse av meningsskaping og samhandling. Avhandlingen er ikke bare et bidrag til tolkeforskningen, men også et lite drypp til multimodalitetsforskningen ved å undersøke de tettliggende modalitetene skrift og tale. I tillegg berører den literacy-feltet ved å fremheve høytlesning for voksne - en nærmest udokumentert literacy-praksis.