Description
Nederlands:
DataOps/DevOps Engineer
De DataOps/DevOps engineer speelt een sleutelrol in het ontwerpen, ontwikkelen en onderhouden van datainfrastructuur en datapijplijnen, en zorgt voor soepele data-operaties op verschillende platforms.
Belangrijkste verantwoordelijkheden:
Implementeren en onderhouden van cloud resources met betrekking tot data-omgevingen.
Configureren en beheren van data-pipeline orkestratie, zodat ETL/ELT processen tijdig worden uitgevoerd.
Implementeren en onderhouden van monitoringtools om de prestaties, gezondheid en storingen van datapijplijnen te volgen.
Samenwerken met cross-functionele teams om vereisten te verzamelen en deze te vertalen naar technische specificaties voor data-oplossingen.
Zorgen voor naleving van data governance, beveiliging en operationele best practices.
Cloudbronnen beheren om datapijplijnen te ondersteunen, met de nadruk op stabiliteit, beschikbaarheid en schaalbaarheid.
Regelmatig systeemaudits uitvoeren om de nauwkeurigheid en betrouwbaarheid van geplande pipelines te garanderen.
Het optimaliseren van bestaande data workflows en processen, het identificeren van knelpunten en het implementeren van efficiëntieverbeteringen.
Uitvoeren van tests (unit, integratie en functioneel) om data-oplossingen te valideren ten opzichte van zakelijke vereisten en prestatienormen.
Documenteren van data-architectuur, pipelines en operationele procedures voor het delen van kennis en toekomstige referentie.
Op de hoogte blijven van de nieuwste trends en technologieën op het gebied van data-engineering en cloud computing om verbeteringen en innovaties aan te bevelen.
Kwalificaties:
Kennis van Databricks, Azure Data Factory, Azure Data Lake Storage, Azure BLOB storage.
Kennis van infrastructure as code, zoals Terraform.
Ervaring in data engineering, cloud engineering of DevOps rollen, met een focus op data operations.
Kennis van een cloud provider zoals Azure, GCP.
Bekendheid met containerisatie- en orkestratietechnologieën (Docker, AKS).
Ervaring met CI/CD-praktijken in Azure DevOps.
Frans:
Ingénieur DataOps/DevOps
L’ingénieur DataOps/DevOps joue un rôle clé dans la conception, le développement et la maintenance de l’infrastructure de données et des pipelines de données, garantissant des opérations de données fluides sur diverses plateformes.
Principales responsabilités :
Déployer et maintenir les ressources cloud liées aux data-environments.
Configurer et gérer l’orchestration des data-pipelines, garantissant l’exécution en temps opportun des processus ETL/ELT.
Mettre en œuvre et maintenir des outils de surveillance pour suivre la performance, la santé et les échecs des data-pipelines.
Collaborer avec des équipes cross-fonctionnelle pour recueillir les exigences et les traduire en spécifications techniques pour les data-solutions.
Assurer la conformité aux pratiques de gouvernance, de sécurité et de meilleures pratiques opérationnelles en matière de données.
Gérer les ressources cloud pour soutenir les pipelines de données, en mettant l’accent sur la stability, availability, and scalability.
Réaliser des audits système réguliers pour garantir l’exactitude et la fiabilité des pipelines planifiés.
Optimiser les workflows et processus de données existants, identifier bottlenecks et mettre en œuvre des améliorations pour l’efficacité.
Effectuer des tests (unitaires, d’intégration et fonctionnels) pour valider les solutions de données en fonction des exigences métiers et des standards de performance.
Documenter l’architecture des données, les pipelines et les procédures opérationnelles pour le partage des connaissances et les futures références.
Se tenir informé des dernières tendances et technologies dans le data-engineering et le cloud computing pour recommander des améliorations et des innovations.
Qualifications :
Connaissance de Databricks, Azure Data Factory, Azure Data Lake Storage, Azure BLOB storage
Connaissance de l’infrastructure en tant que code, comme Terraform.
Expérience dans les rôles d’ingénierie des données, ingénierie cloud ou DevOps, avec un accent sur les opérations de données.
Connaissance d’un fournisseur cloud tel que Azure, GCP.
Familiarité avec les technologies de conteneurisation et d’orchestration (Docker, AKS).
Expérience dans les pratiques CI/CD dans Azure DevOps.