Caractéristiques : Offre d'emploi Data Engineer Spark (H/F)

Publiée le 05/08/2022 - n°876596

  • Type de contrat : CDI
  • Poste basé à Toulouse - Haute-Garonne (31)
  • Secteur d'activité : Traitement de données et hébergement
  • Métier : Data engineer
  • Salaire proposé (EUR) : brut Annuel de 32000,00 Euros à 50000,00 Euros sur 13 mois
  • Expérience professionnelle : Débutant accepté

Profil recherché / description

Datapy est une jeune entreprise d'expertise en Data et Automatisation. Depuis 3 ans nous apportons à nos clients grandes entreprises des compétences pour leur permettre d'utiliser au mieux leurs données, et maintenant qu'elles deviennent centrales à leurs opérations, pour industrialiser leur traitement.

Nos équipes sont constituées des deux cofondateurs, d'une équipe commerciale et d'une quarantaine de consultants salariés ou freelances.

Nous proposons des parcours constitués de missions significatives (1 à 3 ans) permettant de monter solidement en compétences sur des technologies, et de se former en parallèle à d'autres technologies pour les mettre en pratique dans la mission suivante.

Votre première mission consiste dans la construction de bout en bout d'applications permettant d'exploiter des données:

- Cadrage de la question, des besoins et de la problématique.
- Ingestion des données depuis les systèmes existants
- Modélisation et transformation de données via Spark
- Développement, déploiement et optimisation de jobs Spark
- Création des tables, analyse et recherche d'informations dans les bases de données
- Développement des reportings et outils d'analyse et visualisation des données
- Utilisation de technologies et méthodes de DevOps pour industrialiser les projets


Stack technique

- Spark
- Langage: Python (ou Java), selon vos souhaits, compétences et le contexte du client
- SQL
- Infrastructure selon le contexte du client et vos compétences: Hadoop, Azure, AWS ou GCP, avec souvent des projets de migration
- CI/CD et Devops: Terraform, Ansible, Jenkins, Azure Devops, GitLab, JUnit, Sonarqube, Kubernetes, Docker


Pour cela:

- Vous avez une première expérience en Spark
- Vous avez une bonne maîtrise de: Python et SQL


Le processus de sélection comprend un entretien avec un responsable Datapy, un entretien avec notre client permettant de préciser finement la mission, et éventuellement un test technique auquel vous pourrez vous préparer.

DATAPY CONSULTING

0 salarié

http://datapy.fr
Data & Automation specialists

Cette offre d'emploi a été automatiquement enregistrée depuis une source Internet. Retrouvez la ci-après.
Source : https://candidat.pole-emploi.fr/offres/recherche/detail/138LPBL

Localisation

Le poste de Data Engineer Spark (H/F) est basé à toulouse. Retrouvez le sur une carte ci-dessous.