[nom]

Data Engineer

France | [téléphone] | [e-mail] |

[lien] | [lien]

RÉSUMÉ DU PROFIL

Data Engineer orienté valeur métier : je construis des plateformes de données (batch et streaming) qui fournissent aux équipes métiers des indicateurs fiables, à jour et traçables pour piloter leur activité. Pipelines ETL/ELT industrialisés en Python /

PySpark, gouvernance Lakehouse (Delta Lake, Unity Catalog) et contrôles qualité automatisés (DataOps) conçus pour détecter les anomalies avant qu'elles n'atteignent les tableaux de bord. Habitué aux contraintes de production (CI/CD, Databricks Asset

Bundles, ingestion d'APIs complexes), j'interviens de la collecte brute jusqu'à la donnée exploitable par les métiers.

EXPÉRIENCE PROFESSIONNELLE

SOCOTEC · Paris, France

Data Engineer · Mars 2026 – Septembre 2026

Contexte :

Data & AI Hub du groupe SOCOTEC : centralisation des données du groupe dans le Datalake (~34 domaines métiers) sous AWS Databricks, en architecture Medallion (Bronze, Silver, Gold), pour donner aux métiers une base de reporting commune et gouvernée.

Pilotage métier et fiabilisation du reporting (ETL/ELT) :

Pipelines de bout en bout (Python, PySpark, Spark SQL) alimentant les tableaux de bord Power BI de pilotage des ventes, des devis, de la production et de la comptabilité, rafraîchis jusqu'à toutes les 2 heures en production.

Migration de 3 rapports Power BI de devis d'une chaîne Dataflows / SharePoint vers le Datalake ; bascule en production sécurisée par une réconciliation complète des volumes (plus de 540 000 lignes) pour garantir des chiffres identiques avant et après migration.

Extension de l'historique de l'encours client de 1 à 7 mois et intégration d'un référentiel métier de 410 codes missions sur 3 environnements, pour des indicateurs cohérents d'un rapport à l'autre.

Intégration des données terrain et des systèmes métiers :

Ingestion incrémentale de 10 objets de l'API REST SAP Field Service Management (OAuth2, pagination, reprise sur erreur), modélisés en 9 tables Silver et 3 tables de faits Gold rafraîchies 3 fois par jour, rendant l'activité terrain exploitable dans le Datalake ; rattachement au référentiel d'entreprise (MDM) validé à près de 100 % sur les données de production.

Intégration de flux CDC PostgreSQL répliqués par Airbyte (gestion des suppressions logiques pour ne pas remonter de données obsolètes), de données SAP et des fichiers Excel / SharePoint saisis par les métiers.

Qualité des données et DataOps (confiance dans les chiffres) :

Étude comparative des solutions (Lakehouse Monitoring, DLT Expectations, DQX) présentée au management, puis conception d'un framework transverse de qualité des données basé sur DQX (Databricks Labs).

34 types de contrôles configurables en JSON (volumétrie, fraîcheur, dérive de schéma, complétude inter-couches), applicables à tout domaine par simple configuration ; 101 contrôles paramétrés sur 4 domaines métiers, résultats historisés pour l'audit.

Alerting email par niveau de criticité et mode bloquant (Quality Gate) pour arrêter une donnée défaillante avant sa publication

; exécution parallèle par schéma, validée de bout en bout sur le domaine finance et configurée pour 3 environnements (Dev, Staging, Prod).

Industrialisation et continuité de service :

Déploiements reproductibles via Databricks Asset Bundles (YAML) et GitLab CI/CD, avec merge requests et revues de code pour limiter les régressions en production.

Diagnostic d'incidents de production impactant le reporting (données, Power BI, référentiels métiers) ; participation à la migration du stockage DBFS vers les volumes Unity Catalog.

Environnement technique : Python, PySpark, Spark SQL, Databricks (Delta Lake, Unity Catalog, DQX, Asset Bundles), AWS, GitLab CI/CD, Airbyte, APIs REST (OAuth2), Power BI.

STM GROUP · Tanger, Maroc

Data Engineer · Février 2025 – Juin 2025

Contexte : stage de fin d'études ingénieur (R&D) : modernisation du système de gestion d'un réseau de parkings du nord du Maroc, dont chaque site fonctionnait de façon isolée (base PostgreSQL locale, sauvegarde nocturne), vers une plateforme centralisée en temps réel (supervision de tout le réseau, détection des fraudes, abonnements utilisables sur tous les sites).

Architecture de données distribuée et CDC :

Conception de la synchronisation en temps réel entre les bases PostgreSQL des parkings et une base centrale avec Apache

Kafka et Debezium (CDC), après évaluation puis abandon de la réplication logique native de PostgreSQL.

Configuration des connecteurs Kafka Connect (source Debezium PostgreSQL, sink JDBC par site) avec filtrage des événements selon leur origine pour éviter les boucles de réplication ; flux directionnels par table et identifiants UUID pour garantir la cohérence multi-sources.

Modélisation et règles métier :

Modélisation des tables partagées sur tout le réseau (localisation des véhicules, consommation des abonnements rechargeables, droits d'accès en JSONB, tentatives de fraude), alimentées par des triggers PostgreSQL pour détecter les fraudes et tenir les soldes à jour en temps réel.

Gestion de l'évolution des schémas : comparaison de Liquibase et d'Alembic, puis migrations versionnées avec Alembic et SQLAlchemy.

Backend et API :

Développement du backend en FastAPI (CRUD, entrées/sorties, abonnements, endpoints de reporting : taux d'occupation, tickets, chiffre d'affaires, export CSV/PDF), en architecture modulaire avec validation Pydantic.

Déploiement cloud et hybride :

Prototype sous Docker Compose, puis déploiement sur un cluster Kubernetes DigitalOcean avec l'opérateur Strimzi (Kafka, Kafka Connect).

Connexion sécurisée du cloud aux bases on-premise des parkings via un réseau privé Tailscale (WireGuard), après évaluation de Headscale.

Environnement technique : Apache Kafka, Kafka Connect, Debezium (CDC), PostgreSQL, Python, FastAPI, SQLAlchemy, Alembic, Docker, Kubernetes (Strimzi), DigitalOcean, Tailscale, Git.

SHIFTBRICKS · Al Hoceima, Maroc

Data & AI Engineer · Juin 2024 – Sept. 2024

Contexte : éditeur LegalTech automatisant l'analyse de documents juridiques pour alimenter des applications d'IA destinées à des experts métiers.

Automatisation de l'analyse documentaire :

Pipeline en architecture Medallion transformant plus de 80 documents juridiques complexes en données structurées, directement exploitables par les applications d'IA.

Extraction automatisée de plus de 15 champs de métadonnées par document (OCR Tesseract / EasyOCR et LLM Cohere).

Stockage et orchestration :

Gestion des embeddings dans MongoDB pour les applications d'IA et automatisation de la chaîne de traitement de bout en bout avec Apache Airflow.

Validation humaine et déploiement :

Interface de validation humaine (FastAPI, React) permettant aux experts métiers de contrôler les extractions avant leur exploitation ; conteneurisée avec Docker et livrée via GitLab CI/CD.

Environnement technique : Python, Apache Airflow, MongoDB, OCR (Tesseract, EasyOCR), LLM (Cohere), FastAPI, Docker, React, GitLab CI/CD.

COMPÉTENCES TECHNIQUES

Langages : Python (Pandas, NumPy, PySpark), SQL (Spark SQL), PL/SQL, Java.

Big Data, Plateformes & ETL/ELT : Databricks (Delta Lake, Unity Catalog, DQX, Asset Bundles), Apache Spark, Airflow, Kafka, Airbyte, APIs REST (OAuth2).

Data Visualization & BI : Power BI (DAX, Power Query), Excel, Reporting & Dashboards.

Cloud & DevOps : AWS, Azure, Docker, Git/GitLab, CI/CD.

Bases de Données : PostgreSQL, MongoDB, Oracle, MySQL.

IA & Data Science : Machine Learning (Scikit-learn), LLM (RAG), Vertex AI.

PROJETS RÉCENTS

Pipeline Big Data Distribué (Brevets Agricoles) Projet Data Engineering

Traitement Distribué : Analyse de brevets agricoles utilisant Apache Spark pour le traitement de gros volumes.

Architecture Hybride : Stockage non-structuré sur MongoDB et structuré sur PostgreSQL (Data Warehouse).

Visualisation : Intégration de rapports Power BI dans une interface web Flask.

Business Intelligence & Dashboarding | Power BI & Analytics

Projets d'analyse avancée pour le pilotage de la performance commerciale et client.

Analyse des Ventes : Conception de modèles de données et ETL via Power Query. Création de mesures DAX complexes pour suivre les marges bénéficiaires, les ratios commande-facturation et les taux de croissance.

Intelligence Client : Transformation de données brutes (enquêtes) en insights stratégiques. Mise en place de KPIs dynamiques et de visuels interactifs pour analyser la satisfaction client.

Assistant IA & Prédiction Client (Customer Churn) | Projet GenAI & MLOps

Modèle Prédictif : Développement d'un modèle ML pour anticiper le churn client et améliorer la rétention.

Agent Conversationnel Hybride : Système RAG (ChromaDB + Vertex AI Gemini) avec routage intelligent SQL/Vectoriel pour interrogation des données en langage naturel.

Déploiement Cloud AWS : API FastAPI, Docker, AWS Lambda, CI/CD GitHub Actions, monitoring Langfuse, LLM.

CERTIFICATIONS

Databricks Certified Data Engineer Associate

Databricks Certified Data Engineer Professional (en préparation)

IBM - Big Data with Spark and Hadoop Essentials

ÉDUCATION

Faculté des Sciences et Technologies, Université Claude Bernard Lyon 1 · 2025 - 2026

Master 2 en Sciences des Données | Compétences clés : Ingénierie Data, Intelligence Artificielle, Big Data.

École Nationale des Sciences Appliquées d’Al Hoceima, Université Abdelmalek Essaâdi · 2020 - 2025

Diplôme en Ingénierie des Données | Compétences clés : Modélisation (Data Modeling), Architecture Cloud.

QUALITÉS

Résolution de problèmes | Capacité de vulgarisation | Sens du service | Travail d’équipe | Autonomie

LANGUES

Anglais (courant), français (courant).