Experience

AXA de France

• Insurance
• 1 - 100 Employee

• Big Data Engineer Cloud Azure

  • Jan 2021 - Present



ACOSS

• France
• Government Administration
• 400 - 500 Employee

• Big Data Engineer

  • Jan 2020 - Dec 2021

  Projets : 1. Consolidation des individus et leurs contrats pour toutes les déclarations sociales nominatives (DSN) des entreprises. • Développement de jobs Spark (Java) de consolidation des individus • Développement de jobs Spark (Java) de consolidation des Contrats • Développement de job Spark (Scala) de lecture et écriture depuis et vers Hbase, avec le Hcatalog • Développement de job Spark (Scala) de Split et partitionnement des tables Hbase par modulo sur les régions servers. • Développement de job Spark (Scala) d’ingestion des fichiers Hfiles sur Hdfs et chargements massifs dans les tables Hbase 2. Migration du projet DPAE (déclaration préalable à l’embauche) de SAS vers Big Data • Développement de jobs Spark (Python) pour l’imputation des valeurs manquantes par type contrat, durée cdd, sexe et âge. • Développement de jobs Spark (Python) pour la création d’une table synthèse des déclarations préalable à l’embauche depuis 2000. • Développement de jobs Spark (Python) de contrôle de doublons et de calcul taux retard et correction retardataire. • Développement de Jobs d’import Sqoop depuis Oracle. • Développement de scripts Hql pour les tables Hive (formats Orc, Parquet) • Suivi des lancements de traitements et analyse des logs avec le Ressource Manager. • Réalisation des tests unitaires et d’intégrations. • Ordonnancement des chaines avec Oozie. • Support utilisateurs SAS sur tous l’environnement Big Data. Systèmes, SGBD, Langage: Windows 10, MobaXterm, Git Bash, Intellij IDEA, Pycharm, GIT,Keepass, Oozie, Sqoop, Hql, Shell, Java, Scala, Python Outils : HDP 3.0.1,Spark 2.3.2, Hive, Hbase Show less



Enedis

• France
• Utilities
• 700 & Above Employee

• Big Data Engineer

  • Sep 2018 - Jan 2020

  Projet : Ingestion Massive de données dans le Datalake • Recueil des besoins et chiffrage lors des PI Planning. • Conception des solutions d’ingestion selon le besoin métier. • Mise en place d’une nouvelle chaine d’ingestion en mode Batch. • Mise en place d’une nouvelle chaine d’ingestion en mode Streaming. • Maintenance de la chaine d’ingestion existante avec les Kafka Connect (Syncdir,Hdfs) et Java App. • Développement d’un connecteur Kafka Jms. • Développement des schémas Avro pour l’ingestion Kafka. • Publication des schémas Avro dans le schéma registry de Kafka Confluent. • Développement d’un producer Avro pour les tests unitaires. • Développement de scripts de création de topics, de users, de droits de production et consommation des topics. • Développement de jobs Spark Batch (Scala) d’ingestion dans Hdfs, Hive et Hbase. • Développement de jobs Spark (Scala) streaming (process structuré et non structuré) d’ingestion dans Hdfs, Hive et Hbase. • Suivi des lancements de traitements et analyse des logs avec le Ressource Manager. • Réalisation des tests unitaires et d’intégrations, et rédaction des procédures de livraison. • Développement de scripts Hql pour les tables Hive (formats Json, Avro, Xml). • Ordonnancement des chaines avec Azkaban. • Chantier de migration vers des cluster Hadoop Kerberisé. • Visualisation des Dashboard de dataQuality et topics sur Grafana. • Build d’applications dans Nexus. • Déploiement des chaines sur l’ensemble des environnements avec Jenkins. • Vérification du bon déploiement d’application Java (existantes) sur les containers OpenShift. • Support utilisateurs sur Kafka, Pyspark et Hive. Systèmes, SGBD, Langage: Windows 10, MobaXterm, Git Bash, Intellij IDEA, GIT,Keepass,JIRA,Grafana, Azkaban, Jenkins,Openshift, Hql, Shell, Java, Scala, Python Outils : HDP 2.6.4, Confluent Kafka 0.11,Spark 2.3, Hive. Show less



MGEN Solutions

• France
• Insurance
• 1 - 100 Employee

• Consultant Informatica Data Quality

  • Sep 2017 - Aug 2018

  Projet : Qualité des données Solvabilité 2 • Rédaction des STD • Extraction des données (Fichiers plat) • Développement des PDO, règles et Mappings • Développement des Workflow et déploiements des applications • Développement des SDM, Profile et Scores sous Informatica Analyst • Développement des Scripts sql et ksh (Korn Shell) • Préparation des Packages de livraison et des procédures d’installation • Réalisation des tests (Unitaires, Intégration) et les dossiers d’exploitation • Assistance à la MOA durant les tests de recette Show less



CGFOS

• Région de Paris, France

• Formation BigData

  • Mar 2018 - Jul 2018

  Partie 1 : Infrastructure (12 jours) • Fondamentaux du Big Data • Hadoop • Kafka • Pig-Hive-Impala et Hbase Partie 2 : Stockage NoSQL (8 jours) • SolR • Cassandra • Neo4J Partie 3 : Data Scientist (16 jours) • Spark • ElasticSearch • Machine Learning • Language R • BigData et Objets connectés Partie 1 : Infrastructure (12 jours) • Fondamentaux du Big Data • Hadoop • Kafka • Pig-Hive-Impala et Hbase Partie 2 : Stockage NoSQL (8 jours) • SolR • Cassandra • Neo4J Partie 3 : Data Scientist (16 jours) • Spark • ElasticSearch • Machine Learning • Language R • BigData et Objets connectés



Plateforme Informatica

• Formation Informatica data quality & MDM

  • Jul 2017 - Sep 2017



AXA Group Operations

• France
• IT Services and IT Consulting
• 700 & Above Employee

• Consultant BI informatica oracle

  • Oct 2015 - Jul 2017

  Projet : Gestion du datawarhouse du CALL CENTER AXA, des activités et sinistres ainsi que les données RH d’AXA France. Fonction: Ingénieur d’Etude et de Développement Décisionnel. Tâches : • Analyse de l’existant • Extraction des données (Fichiers plat, Base Oracle) • Alimentation du DWH et DATAMARTS • Développement et optimisation des Mappings • Développement de Workflow, et Worklet • Développement des Scripts sql et ksh (Korn Shell). • Préparation des Packages de livraison et des procédures d’installation • Réalisation des tests (Unitaires, Intégration) et les dossiers d’exploitation. • Assistance à la MOA durant les tests de recette. Environnement : • Systèmes : Windows 7, Putty • SGBD : ORACLE 11g • Langage: SQL, PL/SQL, Shell • Outils : Power Center Informatica V9 Show less



AXA Assurance Maroc

• Morocco
• Insurance
• 700 & Above Employee

• Ingénieur d’Etude et de Développement Décisionnel

  • Nov 2014 - Sep 2015

  Projet : Mise en place d’une solution décisionnelle pour le suivi des contrats d’assurance vie. Fonction: Ingénieur d’Etude et de Développement Décisionnel. Tâches : • Analyse de l’existant • Extraction des données (Fichiers plat, Base Oracle) • Alimentation du DWH et DATAMARTS • Développement et optimisation des Mappings • Développement de Workflow, et Worklet • Développement des procédures stockées et scripts Shell • Création des univers BO et des rapports sous Webi • Traitement des boucles et optimisation des univers • Réalisation des tests (Unitaires, Intégration, Recette) Environnement : • Systèmes : Windows 7, UNIX AIX 5.2 • SGBD : ORACLE 10g • Langage: SQL, PL/SQL, Shell • Outils : Power Center Informatica 8.5, BO XI R2, POWER AMC Show less



Veolia Environnement Recherche et Innovation

• Région de Paris, France

• Assistant Ingénieur d’optimisation

  • Apr 2014 - Sep 2014

  Projet : Planification optimisée de la charge rapide des véhicules électriques en auto partage Fonction : Assistant Ingénieur d’optimisation Tâches : Proposer un algorithme de décision, modéliser le problème et l’implémenter sur un solveur de recherche locale, tester plusieurs scénarii et comparer les différents résultats. Outils et concepts associés: techniques d’optimisation, Matlab, LocalSolver. Projet : Planification optimisée de la charge rapide des véhicules électriques en auto partage Fonction : Assistant Ingénieur d’optimisation Tâches : Proposer un algorithme de décision, modéliser le problème et l’implémenter sur un solveur de recherche locale, tester plusieurs scénarii et comparer les différents résultats. Outils et concepts associés: techniques d’optimisation, Matlab, LocalSolver.