Data Engineer AWS

Contenu de l'offre Data Engineer AWS chez OuiCar

Description du poste

OuiCar est une plateforme de location de voitures entre particuliers. Afin de fournir à nos utilisateurs propriétaires et locataires une expérience optimale, la donnée est au cœur de de notre activité. Rattaché(e) au Head of Data et au sein de l’équipe Data, vous travaillez en étroite collaboration avec les Data Analysts, et Data Scientists pour assurer la mise à disposition de données de qualité et la mise en production des modèles prédictifs.1-Infrastructure de donnéesLe Data Engineer est garant de la connaissance des données disponibles, définit et fait évoluer le DW pour faciliter l’utilisation des données par les Data Analysts et Data Scientists (optimisation des performances, ajout de nouveaux indicateurs,…)2-Intégration, Nettoyage et transformation des donnéesAlimenter le Data Warehouse à partir de sources de données variées (structuré et non structuré)Mettre en place des flux de données temps réel pour s’adapter au plus près du besoin de nos utilisateursChallenger le modèle et les technologies actuellement utilisées chez Ouicar (AWS Glue et Talend)Développer des outils pour améliorer le suivi de la qualité des données3-Déploiement en productionEn collaboration avec les autres membres de l’équipe : Créer, déployer et monitorer des pipelines en production pour les projets de Data Science et de DatavizMonitoring des algorithmes en déployant des méthodes MLOpsMettre en place des micro-services pour inférer nos modèles de machine Learning en temps réelProfil recherchéVous avez une expérience d’au moins 6 ans en Data Engineering dans son intégralitéVous maitrisez AWS Redshift, Glue, Airflow,Vous avez l’habitude d’utiliser Python, Spark, SQL, Git et des APIVous maîtrisez la modélisation des donnéesLa maîtrise de Talend serait un plusVous possédez une bonne maîtrise de la construction des architectures logicielles et avez une bonne compréhension des enjeux liés à la performance (profilage), à la scalabilité, à la maintenance, à la haute disponibilité et à la portabilité de ces dernièresVous produisez du code de bonne qualité et facilement maintenableVous avez un bon contact et appréciez le travail en équipeTravailler dans la bonne humeur, Apprendre de nos erreurs, Esprit d’équipe et Fierté des projets internes, sont les maitres mots chez OUICAR.Environnement technique Python 3ScalaDockerSparkApache BeamPostgreSQLAirflowNode.JSElastic searchMysqlAmazon Web Service : Glue, DMS, S3, Redshit, Redshift Spectrum, EC2, SageMaker, Lambda, ECSCI/CD, IAC, Setuptools, Gradle, Jenkins, Sonarqube, Nexus, TerraformEgalement utilisé par les Data Analyst/Data Scientist TableauDataikuTalend


Je postule