Het KNMI heeft een nieuwe, moderne datastrategie geïmplementeerd met behulp van Amazon Web Services (AWS). Daarmee past het meteorologische instituut de mindset en processen van een datagedreven organisatie toe. Behalve de bekende weersvoorspellende taken, houdt het KNMI zich ok bezig met het monitoren van klimaatveranderingen, de luchtkwaliteit en seismische activiteit. Diensten die een grote invloed hebben op het dagelijks leven van bijna alle burgers, maar onder meer ook in de luchtvaart, de scheepvaart, het verkeer en de landbouw. Beschikbaarheid van de juiste data is hierbij cruciaal.
De kracht van data wordt overal ter wereld gebruikt voor het nemen van betere beslissingen. Data gestuurde beslissingen leiden tot effectievere reacties op onverwachte gebeurtenissen. Daarvoor stappen steeds meer organisaties over van een traditionele naar een moderne datastrategie.
Het KNMI heeft daarvoor het KNMI DataLab-team opgericht. Dat team heeft als doel een samenwerkingsplatform te creëren tussen datawetenschappers, domeinexperts en externe partners (bijv. dataleveranciers en platformproviders). Het platform biedt hen de mogelijkheid om data en technologie gezamenlijk te gebruiken. Denk daarbij aan het oplossen van zakelijke uitdagingen en use cases. Zoals het detecteren en classificeren van seismische gebeurtenissen, gladde wegen en mistdetectie. Om de data analytics en artificial intelligence (AI) en machine learning (ML)-strategie en use cases in te zetten, heeft het DataLab-team een interne data science community opgericht met vertegenwoordigers uit de bedrijfsdomeinen en de technologieafdeling.
Voor de big data engineering workload en het trainen en bouwen van Machine Learning modellen, is het KNMI op zoeg gegaan naar een cloudprovider. Belangrijk daarbij was de mogelijkheid tot op- en afschaling van de capaciteit, afhankelijk van de bedrijfsbehoeften.
Een ander belangrijke voorwaarde was de aanwezigheid van speciaal gebouwde analysediensten en data stores die passen bij de verscheidenheid aan gegevens die ze verwerken zonder afbreuk te doen aan de prestaties of de kosten waren hierbij belangrijk.
De keuze is uiteindelijk gevallen op AWS. Doel is een minimum viable product (MVP) te maken dat seismologische gebeurtenissen kan detecteren en classificeren, waaronder aardbevingen, akoestische bommen en nucleaire activiteit. Het KNMI gebruikt ML-modellen om deze gebeurtenissen te detecteren en te classificeren met behulp van seismogrammen uit tijdreeksen van seismograafstations in het hele land.
Voor de gegevensopslag gebruikt het KNMI Amazon Aurora om de detectie-informatie op te slaan (gestructureerde gegevens) en Amazon S3 om de seismogramgegevens op te slaan (object store). Het KNMI gebruikt AWS Fargate voor de Docker-containers om de ML-modelinferenties uit te voeren.
De nieuwe oplossing verbetert de automatische detectie van akoestische gebeurtenissen (bijv. explosies, mijnontploffing, sonische dreun) die met de huidige methoden niet mogelijk is. De nieuwe aanpak maakt gebruik van één enkel station in vergelijking met een reeks stations in de huidige opstelling. Dit verbetert de efficiëntie van het detectieproces en opent nieuwe mogelijkheden om nieuwe soorten gebeurtenissen uit het huidige en het historische archief van golfvormen te detecteren.
“We hebben voor AWS gekozen vanwege de flexibiliteit van de configuratie (aanpassingen van de omvang in een paar klikken), de breedte en diepte van de analytics- en AI/ML-diensten, de uitgebreide documentatie en voorbeelden, en het gemak van CI/CD van ontwikkeling naar staging naar operatie. Dat alles bespaarde dagen en uren voor mijn team en gaf hen extra tijd om zich te richten op het gedifferentieerde werk dat bijdraagt met een echte waarde voor het bedrijf”, vertelt Jan Willem Noteboom, Hoofd DataLab bij het KNMI.
