Yafet Ben Abdallah
GCP Data Engineer at ABSHORE- Claim this Profile
Click to upgrade to our gold package
for the full feature experience.
Topline Score
Bio
Credentials
-
Big Data Engineer - Explorer Award 2018
IBMFeb, 2020- Sep, 2024 -
DELF
Institut françaisJan, 2020- Sep, 2024 -
MTA 98-364 Database Fundamentales
MicrosoftApr, 2019- Sep, 2024 -
OCA 1Z0-808 Java SE 8 Programmer
OracleJan, 2019- Sep, 2024 -
MOS for Office Excel 2013
MicrosoftJan, 2018- Sep, 2024 -
MOS for Office Word 2013
MicrosoftJan, 2018- Sep, 2024
Experience
-
ABSHORE
-
Tunisia
-
IT Services and IT Consulting
-
1 - 100 Employee
-
GCP Data Engineer
-
Apr 2023 - Present
CONTEXTE : la solution a pour but de collecter, stocker et analyser les données des événements e-commerce pour aider l’entreprise à prendre des décisions éclairées en matière de marketing et de vente. Identification des événements à suivre :o Comprendre les besoins de l'entreprise en matière de suivi des événements E-commerceo Identifier les événements clés à suivre, tels que les achats, les ajouts au panier, lesrecherches, les clics sur les publicités, les pages consultées, etc. Configuration des sources de données sur le site E-commerce pour les connecter à Segment. Configuration des destinations pour router les données des événements vers BigQuery. Configuration des tables pour stocker les données des événements. Définition de la structure de la table pour stocker les données des événements. Développement des rapports en utilisant Data Studio. Écriture des scripts Python pour extraire des données de Segment. Transformation des données avec SQL et Python et chargement dans BigQuery. Automatisation des scripts pour assurer une mise à jour régulière des données. Tests et déploiement :o Tests pour s'assurer du bon fonctionnement du système de suivi des événements.o Déploiement du système pour commencer à collecter et à analyser les donnéesdes événements en temps réel.ENVIRONNEMENT TECHNIQUE : Python, Segment, GCP (Google Cloud Platform - BigQuery et Data Studio) Show less
-
-
Big Data Engineer
-
Feb 2022 - Aug 2023
Projet : Développement d’une solution permettant à l’équipe RH en se basant sur les Cvs collectés et les profils Linkedin de sélectionnées les meilleurs profils pour une offre donnée Réalisations : .• Participation à la modélisation et la conception des bases de données • Participation au développement des modules : o Extraction des profils à partir LinkedIn en utilisant le web scraping (Python, Selenium, BeautifulSoup)o Extraction des informations (Compétences, formation, expériences professionnelles) à partir les CVs de candidats et les offres d'emploi en utilisant les techniques de text mining (nltk, spacy) o Stockage des données collectés dans MongoDB o Matching des Profils et des offres d'emploi en se basant sur les compétences, l'expérience et la formation o Convertir les données collectées des candidats vers des CVs Template Abshore o Recommander les profils les plus adéquats à une offre d'emploi : le Matching CV suggère les offres classées par pertinence. • Documentations des modules développés Show less
-
-
-
GAT ASSURANCES
-
Insurance
-
200 - 300 Employee
-
Data Engineer
-
Jun 2022 - May 2023
o Comprendre le système d'information existant de GAT Assurances o Identifier les différentes sources de données disponibles pour alimenter le système décisionnel o Comprendre les différents processus métier de GAT Assurances Participation à l'analyse des besoins et à l'architecture de solution : o Travailler en étroite collaboration avec les parties prenantes de GAT Assurances pour comprendre leurs besoins o Concevoir une architecture de solution qui répond aux exigences de GAT Assurances o Définir les exigences de la solution décisionnelle Mise en place de l'architecture de la datawarehouse (schéma en étoile) en utilisant SSDT: o Concevoir l'architecture de la datawarehouse en utilisant un schéma en étoile o Concevoir les différentes tables dimension et la table de fait pour la solution décisionnelle Développement des flux ETL en utilisant SSIS : o Concevoir les différents flux ETL pour extraire les données des fichiers Excel et des bases de données de production de GAT Assurances o Nettoyer et transformer les données brutes pour les préparer aux calculs Création de procédures stockées en PL/SQL pour effectuer les calculs et appliquer les règles de gestion : o Créer des procédures stockées en PL/SQL pour effectuer les différents calculs nécessaires à la supervision de la comptabilité analytique de GAT Assurances oAppliquer les règles de gestion spécifiques à GAT Assurances Automatiser les différents jobs d'ETL pour garantir une mise à jour régulière des données avec SQL SERVER AGENT Développement des rapports en utilisant Power BI. Participer à la phase de recette et de validation : o Tester les flux ETL pour s'assurer que les données sont correctement chargées, nettoyées et transformées. o Tester les procédures stockées en PL/SQL pour s'assurer que les calculs sont correctement effectués et que les règles de gestion sont appliquées. o Vérifier que les rapports générés par Power BI sont cohérents avec les attentes et les besoins de l'utilisateur final. Show less
-
-
-
Poulina Group Holding
-
Tunisia
-
Food and Beverage Manufacturing
-
700 & Above Employee
-
Ingénieur BI & Big Data
-
Oct 2020 - Jan 2022
Projet : Mise en place d’un pipeline de données pour l’extraction, le formatage, le nettoyage, le stockage et la visualisation de données logs de caméras de surveillance de Poulina Group Holding Réalisations : • Etude de l’existant • Installation et configuration de cluster Hadoop : o Installation et configuration de Hadoop, YARN, Spark et Hive sur 3 machines virtuelles (un master et 2 slaves) sous Linux (CentOS) à partir d’une image docker. o Mise en place d’un cluster Kafka et création de topics en utilisant une image Docker. o Connexion de Apache Sqoop avec les Bases des données • Collecte depuis plusieurs sources : o Bases de données relationnelles : Chargement des données vers HDFS utilisant Sqoop o Flux des données temps réel : Collecte des messages log des caméras en utilisant Kafka et chargement vers HDFS • Développement des Jobs de traitement de données (ETL) en utilisant PySpark. o Extraction, filtrage et agrégation de données archive en utilisant Pyspark et Spark SQL o ETL des données streaming avec Spark streaming o Stockage des données nettoyées et transformées sur Hive. • Développement de module de détection des caméras en panne • Analyse des logs pour détecter les codes erreurs • Conception et développement des Tableaux de bords en utilisant Power BI pour l’analyse de l’historique des logs des caméras et Power BI streaming pour le monitoring en temps réel Show less
-
-
-
Tunisie Télécom
-
Tunisia
-
Telecommunications
-
700 & Above Employee
-
Projet de fin d’études
-
Mar 2020 - Aug 2020
Mise en place d'une solution Big Data de gestion des flux Télécom pour la détection des fraudes et l'optimisation de contrôle de revenu assurance #hadoop#spark#powerbi Mise en place d'une solution Big Data de gestion des flux Télécom pour la détection des fraudes et l'optimisation de contrôle de revenu assurance #hadoop#spark#powerbi
-
-
Education
-
2017 - 2020
Ecole Polytechnique Internationale
Diplôme d'ingénieur, Informatique BDBI -
2016 - 2017
Ecole Nationale d’Ingénieurs de Carthage ENICarthage
Cycle Ingenieur, Ingénierie mécatronique, robotique et automatisation -
2013 - 2016
Institut préparatoire aux études d'ingénieurs d'El Manar (IPEIEM)
Cycle Preparatoire, Mathématiques-Physique
Community
