Door de Wet DBA is deze opdracht alleen in te vullen door IT-professionals in loondienst (detachering).

Eisen:

• Minimaal 3 jaar ervaring in het ontwerpen en bouwen van een cloud data platform met Databricks op Azure
• Minimaal 3 jaar ervaring in het ontwerpen en uitwerken van een technische data solution architectuur met aandacht voor Governance & Security
• Minimaal 2 jaar ervaring met het ontwikkelen van datapijplijnen met PySpark en SQL

Wensen:

• Kennis van en ervaring met Backend & SQL/Postgres, inclusief Django voor API’s
• Kennis van en ervaring met Monitoring & MLOps
• Kennis en ervaring met Microsoft Azure: Databricks, Storage, Active Directory en Key Vault
• Ervaring met veilig en compliant databeheer
• Kennis en ervaring met de Medallion Architectuur binnen Databricks
• Kennis en ervaring met Spark Declarative Pipelines (SDP)

Omschrijving:

Voor de Rijksdienst voor Ondernemend Nederland zijn wij op zoek naar een Cloud/Data Engineer. In deze rol ben je verantwoordelijk voor het realiseren van schaalbare en veilige data-platforms in de Azure-cloud, waarbij Databricks een centrale rol speelt. Je werkt nauw samen met data scientists, ML engineers en business stakeholders om technische oplossingen te ontwikkelen die waarde toevoegen aan de Nederlandse samenleving. Je richt de Medaillon Architectuur in binnen Databricks en vertaalt complexe businesslogica naar gestructureerde datasets volgens de Kimball-methode. Daarnaast bouw je robuuste goud-lagen en ontwikkel je datapijplijnen met PySpark en SQL. Je optimaliseert de platform-performance door het inzetten van de juiste Databricks compute clusters en schaalmogelijkheden. Ook richt je centrale governance in via Unity Catalog en implementeert RBAC. Je automatiseert en borgt Engineering Excellence via Databricks Asset Bundles. Monitoring en debugging van Databricks jobs en pijplijnen behoren ook tot je taken. De opdrachtgever ondersteunt ondernemend Nederland op nationaal en internationaal niveau en richt zich op verduurzaming, klimaatverandering en een sterke digitale economie. Dit is een kans om bij te dragen aan belangrijke maatschappelijke uitdagingen.