Data Engineer

Un data engineer est en charge de concevoir, de construire et de déployer des pipelines de traitement de données. Curieux, il est à l’aise avec du batch et du temps réel, de l’on premise et du cloud, des datalakes ou des data warehouses modernes. Ses traitements sont robustes, sécurisés, et performants, et il n’hésite pas à les factoriser et les automatiser. 

Vos missions seront les suivantes :  

Étudier les systèmes sources ; 

Choisir et implémenter les solutions de stockage et les modèles de données adéquats ; 

Extraire et charger les données des systèmes sources ; 

Uniformiser, structurer et transformer les données ; 

Exposer ces données (API, Web services …) ; 

Planifier et orchestrer ces traitements ;  

Industrialiser selon les pratiques CI/CD ; 

Mettre en place des solutions de monitoring ; 

Documenter le code ; 

Expérimenter, évaluer, faire de la veille technologique. 

Vous maitrisez une ou plusieurs des solutions suivantes :  

Les langages SQL, Python, Scala, Java … 

L’écosystème Hadoop (Spark, HDFS, Hive, HBase …) 

Les services Data de GCP, Azure et AWS : Azure Data Factory, Azure Synapse Analytics, Dataflow, BigQuery, Glue, Redshift … 

Les data platforms Cloudera, Databricks, Snowflake, Confluent, Dremio … 

Les ETL Informatica (PowerCenter, iPaas), Talend Data Fabric et NiFi 

Les bases de données ElasticSearch (et la suite ELK), Cassandra, MongoDB, Neo4J … 

Les outils d’Ops : github/gitlab, Jenkins, CircleCI … 

De plus : 

Vous avez une ou plusieurs certifications en cours de validité sur l’une des technologies citées ci-dessus ; 

Vous disposez d’un très bon relationnel, d’un bon sens de l’écoute et d’empathie ; 

Vous faites preuve d’initiative, vous êtes naturellement force de proposition, vous avez envie de partager vos connaissances et savoir-faires et d’apprendre de vos pairs. 

Summary