Caractéristiques : Offre d'emploi SENIOR DATA ENGINEER SCALA/SPARK F/H

Publiée le 14/09/2021 - n°393472

  • Type de contrat : CDI
  • Poste basé à Saint-denis - Aude (11)
  • Secteur d'activité : Traitement de données et hébergement
  • Métier : Data engineer
  • Salaire proposé (EUR) : A négocier

Profil recherché / description

MISSIONS

Nous cherchons un développeur data senior (minimum 5 ans d’expérience dans le domaine) Scala/Spark cloud.

Le langage d’expertise est Scala, une expérience en Python est appréciée. Le développeur aura une appétence particulière vers le craft, bonnes pratiques de développement.

· Travailler sur des cadrages Data Science / Data Engineering en réponse aux problématiques des métiers du Groupe SNCF portées par les clients internes de la Fab Big Data (POC, prototypes et industrialisation) ;

· Participer comme expert à la démarche de conseil technique et scientifique du pôle d’expertise auprès des métiers du groupe SNCF ;

· Améliorer la qualité de nos projets par la mise en place d’outils et de bonnes pratiques liés à la qualité de code (craft, CI/CD, documentation)

· Favoriser l’adoption de ces outils et bonnes pratiques par un accompagnement de l’équipe :

Revues de code

Workshops

Création de librairires

· Industrialiser les projets ou les services data en développant une chaîne de traitement de données robuste et automatisée :

Spécifications techniques

Release plan des différents livrables

Ingestion et mise en qualité des données selon les bonnes pratiques de la FAB

Traitement, agrégation et sauvegarde des données

Intégration continue (versionning, packaging, tests et déploiement)

Exposition des APIs sous forme de webservices REST

Configuration des briques logicielles

Etroite collaboration avec le chef de projet, OPS et architectes

Participation aux activités d'architecture, conception et développement

Recette et mise en production

· Contribuer proactivement à la veille scientifique et technique, aux projets R&D, et à la construction d’assets et de services techniques orientés data ;

· Participer à l’animation de la filière Data et à l’implémentation des pratiques Data au sein des métiers (formations, conseil et expertise) ;

· Participer aux autres activités du pôle Data Science & Engineering (reporting d’activité, communication interne et externe, collaboration avec les universités et laboratoires associés).

LE PROFIL RECHERCHE

Compétences techniques

Pour un profil expérimenté, par expertise on entend des connaissances poussées et une pratique répétée sur des projets significatifs (build et run). Par maîtrise on entend une maîtrise théorique et une utilisation appliquée. Par connaissance, on entend une connaissance théorique des notions de base et une capacité à monter rapidement en compétence et à appliquer.

· Expertise des principes architecturaux et algorithmes de traitement de données (ETL, streaming, SQL, graphes…)

· Expertise dans la construction d’un projet Data bout-en-bout et son passage en exploitation

· Expertise sur le langage Scala

· Expertise du framework Spark (pratiques de développement, optimisation)

· Maitrise de la stack Databricks

· Maitrise des composants Azure (Azure Function, ACI, AKS, ADF, etc.) ou de leur équivalent cloud concurrent

· Maîtrise de l’intégration continue : Maven, Git, Jenkins, Nexus

· Maîtrise dans l’utilisation de bases de données relationelles et NoSql (schéma, optimisation des requêtes, partitionnement, procédures stockées…)

· Maîtrise sur les APIs REST, y compris leurs mécanismes de sécurisation

· Maîtrise du cycle de vie des données

· Connaissances sur les composants BI

· Connaissances dans l’architecture microservice

· Connaissances dans la gouvernance des données, notamment personnelles (Traçabilité, Sécurité Authentification et Autorisation, Audit)

Qualités personnelles et compétences fonctionnelles

· Capacité et volontarisme dans l’accompagnement client sur le lien technico-fonctionnel

· Transversalité et capacité à travailler avec des équipes pluridisciplinaires

· Orienté client, qualité et résultat (jusqu’à l’industrialisation des projets)

· Rigueur, autonomie et organisation

· Posture d’excellence technique et organisationelle dans les projets, pour l’équipe

· Implication dans les communautés data (meetups, blog, medium, etc.)

· Qualité et sérieux dans le développement de code

· Bonne communication scientifique et bon sens de la pédagogie

Expériences et formations

Vous justifiez d’une expérience significative (minimum 5 ans) dans des équipes de développement Data. Vous avez occupé au minimum un poste d’expert technique, idéalement sur des cas d’usage industriels. Idéalement, vous avez déjà occupé un poste de responsable d’équipe, lead ou Scrum Master.

Bac +5 en mathématiques appliquées, statistiques ou informatique (école d’ingénieur ou/ master spécialisé)

Ou titulaire d’un doctorat en informatique / data engineering

Poste basé à la Plaine-Saint-Denis, avec des déplacements possibles en Île de France pour participer aux réunions de cadrage chez nos clients.

Filiale privée technologique du groupe SNCF, ITNOVEM se positionne comme accélérateur des projets Digitaux, numériques et de la transformation des Systèmes d’information du groupe. Porteuse de grands projets de la révolution digitale, notre société est en constante recherche de profils pour rejoindre la grande aventure de l’Internet des objets, de la data science, de la cybersécurité et de l’accompagnement des projets digitaux. Qu’il s’agisse de maintenance prédictive, d’aide à la décision sur la maintenance des infrastructures, de gare 4.0, d’usine du futur, ou de sécurisation des assets, nos équipes font valoir à la fois une expérience métier et une expertise technique sans cesse renouvelée, dans le respect des valeurs du groupe : Excellence, Innovation, Collectif, Agile, Engagement. 

Cette offre d'emploi a été automatiquement enregistrée depuis une source Internet. Retrouvez la ci-après.
Source : https://www.apec.fr/candidat/recherche-emploi.html/emploi/detail-offre/166814214W

Localisation

Le poste de SENIOR DATA ENGINEER SCALA/SPARK F/H est basé à saint-denis. Retrouvez le sur une carte ci-dessous.