Door de Wet DBA is deze opdracht alleen in te vullen door IT-professionals in loondienst (detachering).

Eisen:

• Je hebt ruime ervaring met het ontwerpen, bouwen en beheren van streaming data-pipelines in productieomgevingen.
• Je brengt expertise op het gebied van streaming binnen het team en zorgt voor een solide technisch fundament waarop FLOW kan groeien.
• Je hebt ervaring met cloudcomponenten voor streaming en event-driven architecturen, zoals Azure Event Hubs, Azure Functions en Databricks.
• Je hebt kennis van Databricks Structured Streaming, PySpark, Azure cloud-infrastructuur, Terraform, CI/CD, Docker en Git.
• Je beschikt over een uitstekende beheersing van de Nederlandse taal, zowel mondeling als schriftelijk.

Wensen:

• Het is een pre als je ruime ervaring hebt met het ontwerpen, bouwen en beheren van streaming data-pipelines in productieomgevingen.
• Het is een pre als je diepgaande expertise hebt op het gebied van streaming.
• Het is een pre als je ervaring hebt met cloudcomponenten voor streaming en event-driven architecturen, zoals Azure Event Hubs, Azure Functions en Databricks.
• Het is een pre als je kennis hebt van Databricks Structured Streaming, PySpark, Azure cloud-infrastructuur, Terraform, CI/CD, Docker en Git.
• Het is een pre als je ervaring hebt met machine learning in productie en begrijpt hoe ML-modellen toegepast kunnen worden binnen realtime of near-realtime datastromen.
• Het is een pre als je ervaring hebt met deploymentstrategieën voor data- of streamingapplicaties en bewust nadenkt over releases, rollback, betrouwbaarheid en schaalbaarheid.
• Het is een pre als je kennis hebt van event replay, fault recovery, monitoring, alerting en operationeel beheer van streaming systemen.
• Het is een pre als je schone, goed geteste code schrijft in Python en PySpark en kritisch bent op details, randgevallen en operationele robuustheid.

Omschrijving:

Voor de Nederlandse Spoorwegen zijn we op zoek naar een Data Streaming Engineer. In deze rol draag je bij aan het verbeteren van de reiservaring van miljoenen mensen door slimme data-oplossingen te ontwikkelen. Je werkt binnen een multidisciplinair team, genaamd FLUX, dat zich richt op het ontwikkelen van een realtime prognoseplatform. Je zult werken aan het opzetten van FLOW, een nieuwe applicatie die gebruik maakt van realtime datastromen en machine learning om reizigersprognoses te maken. Dit gebeurt in een moderne cloudomgeving op Microsoft Azure en Databricks. Je zult verantwoordelijk zijn voor het ontwerpen, bouwen en beheren van schaalbare streaming pipelines. Daarnaast richt je event-driven cloudcomponenten in en integreer je machine learning in de streaming datastromen. Je ontwikkelt deploymentstrategieën en zorgt voor een stabiele productieomgeving. Samen met data scientists en andere stakeholders werk je aan het realiseren van realtime use-cases. Deze rol biedt veel ruimte voor eigen initiatief en ontwikkeling.