Beyond the Black Box: Transparent Machine Learning Systems for Medical Applications

Abstract

Artificial intelligence and machine learning (ML) have become a part of our everyday lives. The advancement of such technology affects the society by assisting us in several tasks. Healthcare and medicine are some domains where ML is believed to play an important role in the future. Studies present impressive results when training ML models to solve medical tasks that are typically performed by humans today. Implementing ML systems in the clinic can among other things lead to faster and more accurate diagnosis, earlier detection of diseases and personalized treatment planning and patient follow-up. Taking the shortage of healthcare personnel into account, ML systems could improve the efficiency of the healthcare system and let the medical experts focus on the patients and challenging medical tasks rather than administrative and repetitive simpler tasks. However, new technology also brings new challenges. Lack of transparency in ML systems for medical applications is likely to limit their use in the clinic. The ML models are typically ‘black boxes’ that healthcare workers do not understand how work. Moreover, the models might be developed on private datasets where details regarding demographics, age, gender and ethnicity are unavailable. If the development dataset does not represent the population that the model will be used in, the model might fail drastically or discriminate against minority groups. Further on, the model evaluation process might not be thoroughly described, making it difficult to evaluate the applicability of the ML system. This thesis contributes to solve the above-mentioned challenges by exploring methods that improve the transparency of medical ML systems. In addition to applying explanation methods for a variety of medical use cases, we publish open medical datasets, investigate techniques for synthetic healthcare data generation and collaborate with medical experts for evaluating the ML models and explanations. Expert feedback is important to detect improvements that are necessary for successfully explain the ML systems to healthcare personnel. Moreover, new medical insights might be gained by exploring how the ML models work and analyze medical data. The results indicate that ML systems will most likely serve as a useful tool in the clinic in the future. However, existing explanation methods should be tailored to the specific medical use case to meet the expectations from healthcare personnel. Explaining the ML systems to experienced experts in the field can give rise to new discoveries about diseases and how to treat them. Finally, combining knowledge from computer science and medicine enables us to find solutions to tasks that would be impossible to solve without interdisciplinary collaboration.

Kunstig intelligens og maskinlæring (ML) har blitt en del av hverdagen vår. Utviklingen av denne typen teknologi påvirker samfunnet ved å hjelpe oss med en rekke oppgaver. Helse og medisin er noen områder der ML forventes å spille en viktig rolle i fremtiden. Studier viser til imponerende resultater når ML-modeller trenes til å løse medisinske oppgaver som typisk utføres av mennesker i dag. Å implementere ML-systemer i klinikken kan blant annet føre til raskere og mer nøyaktig diagnostisering, tidligere oppdagelse av sykdommer og persontilpasset behandling og pasientoppfølging. Med tanke på knappheten på helsepersonell, kan ML-systemer forbedre effektiviteten til helsevesenet og la medisinske eksperter fokusere på pasientene og utfordrende medisinske problemstillinger heller enn administrative og repetitive, enkle oppgaver. På den annen side fører ny teknologi også til nye utfordringer. Mangel på transparens i ML-systemer for medisinske anvendelser vil sannsynligvis begrense bruken i klinikken. ML-modellene er typisk ‘svarte bokser’ som helsearbeidere ikke forstår hvordan virker. I tillegg kan modellene ha blitt utviklet ved hjelp av private datasett der detaljer rundt demografi, alder, kjønn og etnisitet ikke er tilgjengelige. Dersom datasettet for utvikling av modellen ikke representerer populasjonen modellen kommer til å brukes i, kan modellen begå alvorlige feil eller diskriminere minoriteter. Videre kan prosessen for å evaluere modellen være mangelfullt beskrevet, noe som vanskeliggjør vurderingen av ML-systemets anvendbarhet. Denne avhandlingen bidrar til å løse de ovennevnte utfordringene ved å utforske metoder som øker transparensen til medisinske ML-systemer. I tillegg til å benytte forklaringsmetoder for en rekke medisinske problemstillinger, publiserer vi åpent tilgjengelige medisinske datasett, undersøker teknikker for fremstilling av syntetiske helsedata og samarbeider med medisinske eksperter for å evaluere ML-modellene og forklaringene. Tilbakemeldinger fra eksperter er viktige for å avdekke forbedringer som er nødvendige for å lykkes i å forklare ML-systemene til helsepersonell. I tillegg kan man få ny medisinsk kunnskap ved å utforske hvordan ML-modellene virker og analyserer medisinske data. Resultatene antyder at ML-systemer mest sannsynlig vil utgjøre et nyttig verktøy i klinikken i framtiden. Likevel bør eksisterende forklaringsmetoder tilpasses den spesifikke medisinske oppgaven for å møte forventningene til helsepersonell. Å forklare ML-systemer til erfarne eksperter innen fagfeltet kan gi opphav til nye oppdagelser om sykdommer og behandlingen av dem. Videre gjør det å kombinere kunnskap fra informasjonsteknologi og medisin oss i stand til å finne løsninger på oppgaver som hadde vært umulige å løse uten tverrfaglig samarbeid.