Exploring Complexity in Meteorological Data: Enhancing Weather Forecasts Through Deep Learning-Based Post-Processing

Abstract

Weather forecasting plays an important role in all of our lives. It impacts everything from small decisions, like how to dress for the day, to great decisions, like which measures to take in preparation for an extreme weather event. And since they are the basis of so many decisions, it is crucial that the forecasts provided to the public are reliable and accurate. The task of modelling the weather is highly complex, as the models need to represent everything from local phenomena to global systems, over several time scales. And because these weather models are optimized for overall performance, the forecasts generally go through different types of post-processing – a sort of fine-tuning before reaching the public. Traditionally, this post-processing has consisted of modelling the statistical relationship between model output and observations, using traditional statistical methods. However, these relationships can be complex, and this, in combination with the availability of large data sets has made researchers turn their attention to more modern approaches, from the world of computer science. This thesis seeks to answer the question: How can we best exploit the potential that lies in the complex nature of meteorological data, using Deep Learning? The work explores different levels of complexity of deep neural networks, the benefits of combining heterogeneous input data in a multimodal neural network, and the value of providing ensembles of weather forecasts to a neural network, all with a view to identify the best ways of extracting the potential within the data. Two novel model architectures are presented in the thesis: the tower network and the ensemble conditional Generative Adversarial Network (cGAN). The tower network is used in the exploration of multimodality, as well as in an investigation into the importance of complexity in a neural network, in comparison with simpler and more complex networks. The ensemble cGAN is an extension of the cGAN, where ensembles of weather forecasts are provided as input. This architecture is compared to a traditional cGAN, and various configurations are tested and compared. The thesis finds that the combination of data sources in a multimodal network provides great value beyond the use of a single data source. However, increasing the complexity of the network does not necessarily translate into improved performance. The exploration of ensemble data used in the training and testing of neural networks reveals that there is value to be gained from the ensembles. The effect we observed was limited, but there are indications that more attention should be given to this research question in future work.

Værvarsling spiller en viktig rolle i samfunnet. Det påvirker alt fra små avgjørelser som hvordan en bør kle seg for dagen, til omfattende avgjørelser som hvilke tiltak som trengs forå stille forberedt i møte med ekstremvær. Siden offentlige værvarsler danner grunnlaget for så mange avgjørelser, er det ytterst viktig at de er pålitelige og presise. Å modellere været er en høyst kompleks oppgave. Modellene er nødt til å representere alt fra lokale fenomener til globale systemer, over flere tidsskalaer. Og fordi værmodellene optimeres med tanke på deres helhetlige ytelse, må varslene ofte gjennom ulike typer postprosessering, en form for finpussing, før de når ut til offentligheten. Tradisjonelt sett har denne postprosesseringen bestått i å modellere det statistiske forholdet mellom output fra modellene og observasjoner, ved hjelp av tradisjonelle statistiske metoder. Men disse forholdene kan være komplekse, og dette, i kombinasjon med at store datasett er lett tilgjengelige, har f˚att forskere til å vende blikket mot mer moderne tilnærmingsmetoder fra informasjonsteknologiens verden. Denne avhandlingen søker å gi et svar på spørsmålet: Hvordan kan vi best utnytte potensialet i de meteorologiske dataenes komplekse natur ved hjelp av dyp læring? Arbeidet utforsker ulike nivåer av kompleksitet i dype nevrale nettverk, fordelene ved å kombinere heterogene inputdata i et multimodalt nevralt nettverk, og verdien av å gi et nevralt nettverk ensembler av værvarsler, med et mål om å identifisere de beste måtene å hente ut potensialet i dataene på. To nye modellarkitekturer blir presentert i denne avhandlingen: tower network og ensemble conditional Generative Adversarial Network (cGAN). Førstnevnte blir brukt i utforskningen av multimodalitet, og av viktigheten av kompleksitet i et nevralt nettverk. Sette sammenlignet med andre, enklere og mer komplekse nettverk. Ensemble cGAN er en utvidelse av cGAN hvor ensembler av værvarsler blir brukt som input. Denne arkitekturen blir sammenlignet med tradisjonelle cGAN, og diverse konfigurasjoner blir testet og sammenlignet. Denne avhandligen finner at kombinasjonen av datakilder i et multimodalt nettverk gir stor merverdi utover bruken av en enkelt datakilde. En økning i kompleksiteten til et nettverk gir ikke nødvendigvis positivt utslag på ytelsen. Og utforskningen av ensembledata brukt i trening og test av nevrale nettverk, viser at det er verdi å hente i ensemblene. Effekten vi observerte var begrenset, men alt tyder på at dette er et emne som fortjener mer oppmerksomhet i fremtidig arbeid.