Data Engineer

• Apr 2022 - Present

Data Engineer

• Jul 2020 - Apr 2022

Data Engineer

• Jan 2020 - Apr 2020

Consultant Data Engineer (Infeeny Econocom)

• Jun 2019 - Dec 2019

Objectif : Mise en place d'une solution de collecte des données médicales, leurs vérifications, leurs transformations ainsi que leurs stockages sous Microsoft Azure. - Récupération des données depuis un Amazon Bucket S3, - Enregistrement sur un Azure Data Lake Storage, - Vérifications techniques et d'intégrités des fichiers via Databricks (Scala), - Orchestration du processus dans un Pipeline Azure Data Factory, - Activation du pipeline sur évènement via Azure Function. • Solutions Azure utilisées : - Blob Storage : Stockage de tous types de données non structurées (documents, images, vidéos, etc.) et hautement scalable. - Azure Data Factory (v2) : Création et gestion de processus d’intégration de données. - Function App : Plateforme d’exécution de code et planification avec déclencheurs. - Azure Databricks : Environnement Spark pour accélérer l’exécution distribuée de code (cluster managé). - Logic Apps : Création de workflows évolutifs et automatisés. Show less

Data Engineer

• Jan 2018 - Dec 2019

Travail sur des problématiques de big data, machine learning et cloud computing : Collecter quotidiennement les flux RSS de médias francophones pour garder les informations essentielles, faire émerger les thèmes via une méthode de clustering non supervisé (CAH, LDA) et classifier les prochains flux avec un algorithme supervisé. • Tâches réalisés : Objectif : créer une chaîne de bout en bout à l’aide des différentes briques Azure afin d’obtenir un processus complètement autonome et automatisé. - Récupération des flux RSS avec Azure Data Factory. - Enregistrement des données dans un Blob Storage. - Nettoyage des données avec expressions régulières (Python). - Clustering des données avec le modèle non Allocation de Dirichlet latente (Python). - Classification des nouvelles données avec le même modèle. - Automatisation des exécutions du code à l’aide de Function App et Azure Databricks. • Solutions Azure utilisées : - Blob Storage : Stockage de tous types de données non structurées (documents, images, vidéos, etc.) et hautement scalable. - Azure Data Factory (v2) : Création et gestion de processus d’intégration de données. - Function App : Plateforme d’exécution de code et planification avec déclencheurs. - Azure Databricks : Environnement Spark pour accélérer l’exécution distribuée de code (cluster managé). - Logic Apps : Création de workflows évolutifs et automatisés. Show less

Stagiaire Business Analyst

• Jun 2017 - Sep 2017

Rédaction de storyboards et de scénarios de tests pour le lancement d’une nouvelle application mobile sur plusieurs plateformes (Android et iOS). Exécution manuelle pour les tests d’acceptation et automatisée pour les tests de non régression. Suivi des anomalies sur HP Quality Center. Rédaction de storyboards et de scénarios de tests pour le lancement d’une nouvelle application mobile sur plusieurs plateformes (Android et iOS). Exécution manuelle pour les tests d’acceptation et automatisée pour les tests de non régression. Suivi des anomalies sur HP Quality Center.