Annoteringsverktøyet TORCH - Brukskvalitetstesting av et annoteringsverktøy

Abstract

I denne masteroppgaven presenteres resultatene fra en brukskvalitetsevaluering av et annoteringsverktøy utviklet i forbindelse med TORCH-prosjektet ved Høgskolen i Oslo og Akershus. Det ble gjennomført to brukertester med formål å legge til rette for crowdsourcing av annotering av navneentiteter og relasjoner. Interessante problemer og bruksmønstre fra eksisterende litteratur manifesterte seg i undersøkelsene. Til tross for svakheter funnet i grensesnittet til versjonene av verktøyet som ble brukt i forsøkene, viste annotørene en rimelig suksessrate. I tillegg til brukskvalitetsproblemene som ble avdekket, ble det konkludert med to ting: brukerne med rimelige datakunnskaper presterte godt, og det ble ikke funnet noen klar sammenheng mellom hvor vanskelig brukerne opplevde en oppgave og deres interesse i å delta i senere prosjekter med lignende aktiviteter.

This master thesis presents the result of two usability tests of an annotation tool developed in connection with The TORCH project at the Oslo and Akershus University College of Applied Science. The experiments employed non-experts with the intention of facilitating for crowdsourcing of named entity annotation. Interesting problems and usability patterns from existing literature manifest in the experiments. Despite some weaknesses in the interface of the tool versions used for the experiments, the annotators showed a reasonable rate of success. In addition to the usability issues discovered, it was found that users with reasonable computer skills performed well, and there was no clear connection between how hard the users found a task and their interest in participating in further projects with similar activities.