Vous serez notamment amené à travailler sur :
• La mise en place d'architecture Big Data ;
• La conception/développement/supervision/optimisation de flux d'alimentation Spark de données à forte volumétrie ;
• Les bonnes pratiques à mettre en place vis-à-vis de la robustesse, de la résilience et des performances ;
• La mise en place et le maintien du socle technique ;
• La mise en place de logs et de métriques ;
• La mise en place de tests ;
• Capacité à s’intégrer au sein d’une équipe et à prendre une position de lead.
• Maitrise de Spark, Spark Thrift ;
• Compréhension fine du fonctionnement d’un job en production et de l’infrastructure sous-jacente ;
• Bonne maitrise de l’écosystème Spring ;
• Scala ;
• Maven, GIT, Jenkins ;
• Linux ;
• Sensibilité à la méthodologie Agile (Definition of ready, definition of done, valeurs scrum, ...) ;
Compétences appréciées :
• Stockage objet compatible S3 (ex : Ceph Object) ;
• Open stack ;
• Terraform ;
• Ansible ;
• Connaissance de l'écosystème Hadoop (HDFS, Yarn, Hive, Map reduce) ;
• Connaissances en modélisation de données décisionnelles ;
• Expérience en développement Agile.