DeepSynthBody: the beginning of the end for data deficiency in medicine

Abstract

Recent advancements in technology have made arti ficial intelligence (AI) a popular tool in the medical domain, especially machine learning (ML) methods, which is a subset of AI. In this context, a goal is to research and develop generalizable and well-performing ML models to be used as the main component in computer-aided diagnosis (CAD) systems. However, collecting and processing medical data has been identi fied as a major obstacle to produce AI-based solutions in the medical domain. In addition to the focus on the development of ML models, this thesis also aims at fi nding a solution to the data defi ciency problem caused by, for example, privacy concerns and the tedious medical data annotation process. To accomplish the goals of the thesis, we investigated case studies from three different medical branches, namely cardiology, gastroenterology, and andrology. Using data from these case studies, we developed ML models. Addressing the scarcity of medical data, we collected, analyzed, and developed medical datasets and performed benchmark analyses. A framework for generating synthetic medical data has been developed using generative adversarial networks (GANs) as a solution to address the data de ficiency problem. Our results indicate that our generated synthetic data may be a solution to the data challenge. As an overarching concept, we introduced the DeepSynthBody as a basis for structured and centralized synthetic medical data generation. The studies presented in the thesis, such as generating synthetic electrocardiograms (ECGs), gastrointestinal (GI)-tract images and videos with and without polyps, and sperm samples, showed that DeepSynthBody can help to overcome data privacy concerns, the time-consuming and costly data annotation process, and the data imbalance problem in the medical domain. Our experiments showed that we can generate realistic synthetic data providing comparable results to experiments using real data to tackle the identifi ed problems. The final DeepSynthBody framework is available as an open-source project that allows researchers, industry, and practitioners to use the system and contribute to future developments.

Teknologiske fremskritt har gjort kunstig intelligens til et populært verktøy innen medisin. Spesielt metoder innen maskinlæring, en underkategori av kunstig intelligens, er mye brukt. Et mål i denne fobindelse er å utvikle gode, generaliserbare modeller for bruk i systemer for datamaskinassistert-diagnose, men en stor utfordring her er innsamling og behandling av medisinske data på grunn av for eksempel personvernhensyn og kostbare annoteringsprosesser. Denne oppgaven fokuserer derfor både på utvikling av maskinlæringsmodeller og å nne en løsning på problemet med manglende medisinske data. For å nå oppgavens mål har vi undersøkt tre forskjellige medisinske eksempler, nemlig kardiologi, gastroenterologi og andrologi. Ved hjelp av data fra disse medisinske områdene har vi utviklet maskinlæringsmodeller. For å løse mangelen på medisinsk data, har vi samlet inn, analysert og utviklet medisinske datasett, og vi har utført referanseanalyser. I tillegg, et rammeverk for generering av syntetiske medisinske data er utviklet ved hjelp av "generative adversarial networks" for å løse problemet med datamangel, hvor resultatene våre indikerer at slike genererte data kan være en mulig løsning. Som et overordnet konsept introduserer vi DeepSynthBody som grunnlag for strukturert og sentralisert generering av syntetisk medisinsk data. Studiene presentert i oppgaven, slik som generering av syntetiske elektrokardiogram, bilder og videoer fra tarmsystemet og sædprøver, viser at DeepSynthBody kan bidra til å overvinne personvernproblemer, redusere tid og ressursbruk innen dataanmerkingsprosessene, og utjevne problemene med data ubalanse innen det medisinske domenet. Våre eksperimenter viser at vi kan generere realistiske syntetiske data som gir sammenlignbare resultater med eksperimenter hvor man bruker reelle data. Det endelige DeepSynthBody-rammeverket er tilgjengelig som et åpent kildekode-prosjekt som gjør det mulig for både forskere og industri å bruke systemet og å bidra til fremtidig utvikling.