Contexte du projet :
Le socle data migre actuellement de Cloudera on-premise vers Snowflake, étape en cours de finalisation. Les données proviennent de sources variées (API, Kafka, RabbitMQ, fichiers, bases relationnelles, Hive/Hadoop). Prestation durable pour renforcer l'équipe, non ponctuelle.
Missions Clés :
* Développer et maintenir les flux d'ingestion et de transformation
* Migrer les traitements Cloudera / Hive / Hadoop vers Snowflake
* Développer en Python, SQL et idéalement PySpark
* Exploiter des sources variées (API, Kafka, RabbitMQ, fichiers, bases)
* Suivi de production, analyse d'incidents et corrections
* Relecture de code et documentation via Git
Le profil idéal :
Data Engineer autonome et rigoureux, à l'aise avec les métiers et au sein d'une équipe technique exigeante.
Indispensables : Python, SQL, ETL/ELT, Git, gestion d'incidents de production.
Stack technique :
Appréciées : Snowflake/BigQuery, PySpark/Spark, Hive/Hadoop/Cloudera, Kafka/RabbitMQ, GitLab CI, Kubernetes.