[nom]
DATA ENGINEER | PYSPARK | DATABRICKS | AZURE
[téléphone] · # [e-mail]
[lien] · + Casablanca, Maroc
Profil
Data Engineer spécialisé dans les solutions Data sur Azure, avec une expérience sur Azure Databricks, PySpark, Azure Data Factory et ADLS Gen2. Compétences en développement de pipelines de données, Data Quality, transformations métier et traitement de données réglementaires. Expérience en industrialisation via Azure DevOps
CI/CD et en environnements multi-banques et configuration-driven.
Expérience professionnelle
SOPRA BANKING SOFTWARE (SBS) · Casablanca, Maroc
Data Engineer (Azure / Databricks) · Septembre 2024 – Présent
- Conception et développement de pipelines de données pour la préparation, la transformation et le calcul des risques réglementaires bancaires selon les référentiels Basel III / CRR3, dans un environnement multi-banques.
- Orchestration des traitements batch avec Azure Data Factory (ADF), incluant la récupération des fichiers depuis ADLS Gen2, le déclenchement des notebooks Databricks, la gestion des dépendances, des erreurs, des retries et des reprises de traitement.
- Intégration des paramètres bancaires et réglementaires depuis Azure SQL Database, permettant l’exécution dyna- mique des traitements selon la banque, le modèle réglementaire (COREP, UMOA ...), la fréquence et la période de reporting.
- Développement et optimisation de traitements distribués avec Azure Databricks, PySpark et Spark SQL : inges- tion des fichiers CSV, validation des schémas, nettoyage, transcodification, jointures, agrégations et transformations métier.
- Implémentation des traitements de calcul du risque réglementaire et des RWA, intégrant les règles de classifi- cation des expositions, les pondérations de risque et les traitements spécifiques aux modèles COREP, UMOA et RUBA.
- Mise en œuvre de contrôles Data Quality : vérification des formats et des champs obligatoires, détection des doublons, contrôles d’intégrité référentielle, validation des règles métier et gestion des données rejetées.
- Mise en place du monitoring des pipelines ADF et des traitements Databricks, avec suivi des statuts d’exé- cution, des erreurs, des volumes traités et des anomalies de données, permettant leur restitution dans l’application bancaire.
- Industrialisation des composants Data via Azure DevOps CI/CD, incluant l’automatisation des tests et des dé- ploiements, ainsi que l’intégration des contrôles de qualité et de sécurité avec SonarQube et Black Duck.
Technologies : Azure Databricks, PySpark, Spark SQL, Azure Data Factory (ADF), Azure Data Lake Storage Gen2
(ADLS), Azure SQL Database, Delta Lake, SQL, Azure DevOps CI/CD, SonarQube, Black Duck, Basel III, CRR3.
Projet de Fin d’Études (PFE) · Mars – Août 2024
- Conception et développement d’un pipeline ETL avec PySpark pour l’ingestion, la transformation et la validation de données bancaires.
- Mise en place de règles de qualité et de contrôles métiers pour garantir la conformité des données réglementaires.
- Génération automatisée de fichiers et datasets de reporting pour les besoins réglementaires et les environnements de test.
- Mise en œuvre d’un pipeline GitLab CI/CD intégrant SonarQube, Checkmarx et Black Duck.
Technologies : PySpark, Spark SQL, Shell Scripting, Oracle, SQL, GitLab CI/CD.
Formation
École Nationale des Sciences Appliquées – Oujda · 2021 – 2024
Diplôme d’Ingénieur d’État – Génie Informatique
École Nationale des Sciences Appliquées – Oujda · 2019 – 2021
Classes préparatoires intégrées
Certification
2026
Databricks Certified Data Engineer Associate
Compétences techniques
Data Engineering
Azure Data Engineering
Data Warehouse / BI
Programmation
Bases de données
DevOps / DataOps
Modélisation
Langues
Arabe : Langue maternelle
Apache Spark, PySpark, Spark Java, Spark SQL, Databricks, Delta Lake, Unity Catalog, ETL/ELT, Advanced SQL, Batch Processing, Streaming Processing, Apache Airflow
Azure Data Factory, ADLS Gen2, Azure Databricks, Azure Synapse Analytics, Azure
Blob Storage, Azure Event Hubs,Azure Key Vault
Synapse Serverless SQL, Dedicated SQL Pool, T-SQL, Star Schema, Dimensional Mode-ling, SCD, Power BI, DAX
Python, Java, C/C++, JavaScript
Oracle, PostgreSQL, MySQL
Git, Docker, GitLab CI/CD, SonarQube, Checkmarx, Black Duck
UML, MERISE
Français : Courant · Anglais : Courant
