Automatisk kategorisering av nyhetsartikler fra to norske aviser

Abstract

I oppgaven har jeg kjørt forsøk på automatisk kategorisering av artikler fra de to norske avisene Aftenposten og Klassekampen. Jeg har valgt å bruke Support Vector Mashine (SVM) som bygger på teoriene fra maskinlæring. SVM er lært opp med artikler fra Aftenposten der kategorier er satt på manuelt. Det er å forvente at resultatet av kategoriseringen er bedre når artiklene som kategoriseres, er fra samme kilde som læringsdokumentene. Det ene forsøket mitt gikk derfor ut på å kategorier artikler fra en avis som ikke var brukt i opplæringen (Klassekampen) , og så sammenlikne resultatene herfra med resultatene fra kategorisering av Aftenposten. Forsøket viste et betraktelig dårligere resultat for Klassekampen. Dette var som forventet, det er flere faktorer som spilte inn og disse er diskutert i oppgaven. Det andre forsøket jeg kjørte var for å se om kvaliteten på kategoriseringsmetoden ville holde seg over tid, eller om effekten reduseres etter som det blir større avstand mellom tidspunkt for opplæring og tidspunktet for kategoriseringen. Jeg forsøkte dette både for Aftenposten og Klassekampen. Tidsgapet var på tre måneder. For Aftenposten viste resultatene en liten nedgang i kvaliteten, dette var som forventet. For Klassekampen var resultatene betraktelig bedre etter tre måneder, men her virket nok et litt lite datagrunnlag inn på resultatet.