Dans le cadre d’un programme d’industrialisation data, nous recherchons un DataOps Kafka pour fiabiliser, automatiser... la mise en place de pratiques DataOps autour de Kafka : automatisation des créations de topics, gestion des schémas...
responsable du build et du run d’une plateforme Kafka (Confluent) de grande envergure, utilisée par de nombreuses entités... du groupe. La plateforme compte plus de 30 clusters Kafka et constitue un socle critique pour les flux de données temps réel...
API Consommer et transformer des flux Kafka avec Spark Optimiser la performance et le partitionnement des traitements... & DataOps Assurer la supervision quotidienne des pipelines Mettre en place alerting et monitoring Produire et maintenir...
, Conception et mise en place des ingestions de données (temps réel, Kafka, Snowpipe), Modélisation de données (Star Schéma..., DataVault, DataMesh, virtualisation) – DataOps Mise en oeuvre des transformations et de la valorisation des données (SQL...
de passage à l'échelle (scaling), nous recherchons notre futur(e) Data Engineer / DataOps confirmé(e) en CDI. Votre mission... d'un outil de streaming (Kafka, SQS). Sensibilité aux enjeux de sécurité et RGPD. Qualités personnelles Rigueur...
temps réel serait un plus : Kafka + Spark Streaming Vous maîtrisez les bases de données SQL et le langage SQL Vous avez..., … La connaissance des concepts suivants serait un + : DataOps, DataVault, DataMesh.. Connaissance de l'Agilité Autonome Organisé...
temps réel serait un plus : Kafka + Spark Streaming Vous maîtrisez les bases de données SQL et le langage SQL Vous avez..., … La connaissance des concepts suivants serait un + : DataOps, DataVault, DataMesh.. Connaissance de l’Agilité Autonome Organisé...
sur et . Description du poste Nous construisons. Nous créons un impact positif. En tant que Data Platform Engineering / DataOps, vous serez chargé(e) à la fois... des données/PII), structurer les catalogues/schémas et gérer les autorisations. 2. DataOps & reliability Mettre en œuvre...
, Hadoop, Hive, Kafka, Elastic, Cloudera, Azure HD Insight, Informatica, Talend, Stambia, DataStage, SAS, DataIku, DataBricks...) et un Framework de streaming de données (Kafka, RabbitMQ, etc.) Vous souhaitez évoluer vers un monde numérique orienté, Cloud...
, Hadoop, Hive, Kafka, Elastic, Cloudera, Azure HD Insight, Informatica, Talend, Stambia, DataStage, SAS, DataIku, DataBricks...) et un Framework de streaming de données (Kafka, RabbitMQ, etc.) Vous souhaitez évoluer vers un monde numérique orienté, Cloud...
organisationnelle : adoption des bonnes pratiques DataOps & Platform Engineering, montée en compétences des équipes et gouvernance...). Moteurs et services data : Databricks (Spark, Delta Lake), Snowflake, dbt, Airflow, Kafka. Infrastructure & automatisation...
et scalables (Spark, PySpark, SQL, Airflow, Databricks, Kafka) Participer à la définition des architectures cibles... avec les architectes et les équipes DataOps Industrialiser les traitements dans le cloud (Azure, AWS, GCP) avec des architectures...
) et un Framework de streaming de données (Kafka, RabbitMQ, etc.) Vous souhaitez évoluer vers un monde numérique orienté, Cloud..., DataOps. Vous avez un bon esprit d'analyse, êtes curieux(se) et passionné(e) et vous avez le sens du travail en équipe...
(Terraform, Ansible) La conteneurisation et son orchestration (Docker et Kubernetes) Le traitement en temps réel (Kafka...) Le scripting bash Tout autre outil Big Data / DataOps (Nifi, Trino...) est également le bienvenu. Qualifications...