Data Engineer / Data Architect Senior H/F - Freelance

Taux journalier (TJM): 550

Dans le cadre de la modernisation d'une plateforme décisionnelle au sein d'un acteur de l'épargne salariale et de la retraite, nous recherchons un Data Engineer / Data Architect Senior.

La mission s'inscrit dans un programme de transformation visant à faire évoluer une plateforme BI existante vers une architecture moderne de type Lakehouse, tout en garantissant la continuité des services actuellement proposés.

Vous rejoindrez l'équipe Cœur-Data, composée de cinq personnes, et travaillerez en étroite collaboration avec les équipes métier, la MOA et les équipes techniques transverses.

OBJECTIFS DE LA MISSION

L'objectif principal sera de concevoir et mettre à disposition des données structurées, fiables et exploitables par l'équipe Marketing.

Vous interviendrez notamment sur:

• La définition de l'architecture et de l'organisation du Lakehouse;
• La conception de solutions de collecte, de stockage et de transformation des données;
• La migration et la modernisation progressive des traitements existants;
• L'industrialisation et le suivi des pipelines de données;
• La mise à disposition de données brutes et transformées pour les usages analytiques et la datavisualisation.

PRINCIPALES RESPONSABILITÉS

En tant que Data Engineer / Data Architect Senior, vous serez amené à:

• Concevoir l'organisation des données et des flux au sein d'un environnement Lakehouse basé sur S3;
• Développer des pipelines de traitement avec Python, Spark et PySpark;
• Mettre en place et maintenir les traitements d'ingestion et de transformation;
• Participer à l'ordonnancement des traitements avec Dagster;
• Contribuer à l'exposition des données via Trino et les outils de datavisualisation;
• Développer les solutions de collecte et de stockage répondant aux besoins métiers;
• Mettre en place les tests unitaires et les contrôles nécessaires à la qualité des développements;
• Assurer le suivi des traitements et identifier les éventuels incidents ou blocages;
• Rédiger et maintenir la documentation technique;
• Participer à la recette avec la MOA et les utilisateurs;
• Estimer les charges et contribuer au suivi de l'avancement du projet;
• Réaliser des études en collaboration avec les équipes transverses;
• Participer à l'amélioration continue des processus de développement et d'exploitation.

ENVIRONNEMENT TECHNIQUE

PLATEFORME CIBLE

• Python;
• Apache Spark / PySpark;
• SQL;
• Amazon S3;
• Dagster;
• Trino;
• Git;
• Jenkins.

ENVIRONNEMENT EXISTANT

• Informatica;
• DAC;
• Oracle 19;
• Outils BI et de reporting.

OUTILS PROJET

• Jira;
• Confluence;
• Windows 10 avec WSL.

Vous disposez d'une expérience significative en Data Engineering, en conception de plateformes de données et en architecture Data.

Vous maîtrisez notamment:

• Python et SQL;
• Spark et PySpark appliqués aux problématiques Data;
• La conception et l'industrialisation de pipelines de données;
• Les architectures Data Lake ou Lakehouse;
• Les solutions de stockage objet, idéalement Amazon S3;
• Les environnements Oracle et les outils Informatica;
• Les pratiques de développement logiciel: Git, intégration continue, tests unitaires et documentation;
• Le suivi de production et la supervision des traitements.

Une expérience sur les sujets suivants serait particulièrement appréciée:

• Dagster;
• Trino;
• Datavisualisation et mise à disposition de données analytiques;
• Machine learning appliqué à la donnée, notamment avec scikit-learn et le feature engineering;
• Outils LLM ou GenAI pour l'accès, l'exploration ou la valorisation de la donnée.

QUALITÉS ATTENDUES

• Solide capacité