Evaluating and optimizing the search process for systematic reviews

Abstract

Introduction: Systematic reviews aim to find and synthesize all relevant research as a basis for evidence based practice. The methods used in systematic reviewing, however, are extremely time and resource demanding. More efficient methods should be tested to make better use of scarce resources, and this study has examined three main approaches to simplify and optimize the search process for systematic reviews of healthcare interventions. Methods: First, a cross sectional study was performed to investigate whether searching MEDLINE and Embase was enough for study identification in systematic reviews with respect to database coverage and search performance in a sample of 400 Cochrane reviews. Next, an exploratory design was used to find the optimal combination of search terms in a subsample of 254 of the sample reviews including 5 to 50 primary studies. Simpler search strategies containing the optimized search terms were developed and tested in Ovid MEDLINE and PubMed. Last, to test an automated information retrieval method for systematic reviews, the ranking function in PubMed was tested on conventional Boolean search strategies. Three scoping reviews were performed to determine what research exists on the main approaches and to inform the empirical studies. Results: MEDLINE alone had a coverage of 84 % and MEDLINE and Embase combined 90 % in the sample of 400 reviews. The published Ovid MEDLINE search strategies of the sample reviews had 88 % recall and 2.8 % precision. In the subsample of 254 reviews, coverage was 85 % for MEDLINE alone and 90 % for MEDLINE and Embase combined. Recall was 87 % and precision 2.8 % for the search strategies of the subsample, which means that number of included studies in the sample reviews did not influence the total average values to any degree for this sample. An average of 7.2 search terms in each Ovid MEDLINE search strategy was necessary to retrieve the included studies of the subsample. That is approximately one tenth of the number of search terms used in the published search strategies. An average of 3.0 search terms per review occurred in the review title and 2.8 in the rest of the protocol. Average MAP for all reviews was 7.2 % for the ranked Boolean searches in PubMed, which were higher than for other sort options, but recall decreased at almost all cutoff values. Conclusions: A high percentage of the included studies of the sample reviews in this study was indexed in MEDLINE and Embase, and the published Ovid MEDLINE search strategies had reasonably high performance in most cases. This means that it could be enough to search only these two databases for some topics if other sources were searched in addition, and for some review groups, searching only MEDLINE could be enough. Based on the results of this study, conventional Boolean search strategies seem to be unnecessary long and complicated with an exaggerated use of search terms compared to what is necessary to retrieve relevant studies. For the sample of this study, most search terms could be found in the review title and/or rest of the protocol, except for reviews in Effective Practice and Organization of Care Group (EPOC) and other complex reviews. Ranking search results using “Best Match” in PubMed did not succeed in moving all or most relevant studies towards the top of the result lists and is therefore not recommended to simplify the search process for systematic reviews.

Innledning: Systematiske oversikter har som mål å finne og oppsummere all relevant forskning som grunnlag for en kunnskapsbasert praksis. Metodene som brukes i systematiske oversikter er imidlertid ekstremt tid- og ressurskrevende. Mer effektive metoder bør testes for å utnytte knappe ressurser bedre, og denne studien har undersøkt ulike tilnærminger for å forenkle og optimalisere søkeprosessen for systematiske oversikter i helsetjenesten. Metoder: En tverrsnittstudie ble utført for å undersøke om det var nok å søke databasene MEDLINE og Embase for å identifisere de inkluderte studiene i et utvalg på 400 Cochraneoversikter med hensyn til databasedekning og søkeprestasjon. Et eksplorativt design ble brukt for å finne den optimale kombinasjonen av søkeord i de oversiktene som inkluderte fra 5 til 50 primærstudier i utvalget (=254). Enklere søkestrategier som inneholdt de optimaliserte søkeordene, ble utviklet og testet i Ovid MEDLINE og PubMed. For å undersøke en automatisert metode for informasjonsgjenfinning til systematiske oversikter, ble rangeringsfunksjonen i PubMed testet på både konvensjonelle og enkle søkestrategier. Resultater: Dekningen av inkluderte studier i MEDLINE alene var 84 % og MEDLINE og Embase 90 % i utvalget på 400 oversikter. De publiserte Ovid MEDLINE-søkestrategiene for de samme oversiktene hadde en fullstendighet på 88 % og 2,8 % presisjon. I utvalget på 254 oversikter var dekningen 85 % for MEDLINE alene og 90 % for MEDLINE og Embase kombinert. Fullstendighet var 87 % og presisjon 2,8 % for søkestrategiene i dette utvalget. Dette betyr at antall inkluderte studier i oversiktene ikke påvirket de totale gjennomsnittsverdiene i noen særlig grad for dette utvalget. Et gjennomsnitt på 7,2 søkeord i hver Ovid MEDLINE-søkestrategi var nødvendig for å finne de inkluderte studiene i utvalget på 254 oversikter. Det er omtrent en tidel av antallet søkeord som ble brukt i de publiserte søkestrategiene. I gjennomsnitt forekom 3,0 søketermer i tittelen og 2.8 i resten av protokollen. MAP-verdier for rangerte søk i PubMed var høyere enn for andre sorteringsalternativer, men fullstendigheten falt ved nesten alle cut-off-verdier. Konklusjon: En høy prosentandel av de inkluderte studiene i oversiktene i denne studien var indeksert i MEDLINE og Embase, og de publiserte Ovid MEDLINE søkestrategiene presterte rimelig høyt i de fleste tilfeller. Det betyr at det kan være nok å søke bare i disse to databasene for noen oversikter hvis andre kilder blir søkt i tillegg, og for enkelte oversikter, kan det være nok å søke bare i MEDLINE. Basert på resultatene fra denne studien, ser konvensjonelle boolske søkestrategier ut til å være unødvendige lange og kompliserte med en overdreven bruk av søkeord sammenlignet med hva som er nødvendig for å finne relevante studier. For utvalget i denne studien fantes de fleste søketermer i tittel og resten av protokollen, bortsett fra oversikter fra Effective Practice and Organization of Care Group (EPOC) og andre komplekse oversikter. Rangering av søkeresultater ved bruk av Best Match i PubMed lyktes ikke med å flytte alle eller de fleste relevante studier mot toppen av resultatlistene og anbefales derfor ikke for å forenkle søkeprosessen til systematiske oversikter.