Observatoire des métiers du numérique, de l’ingénierie, du conseil et de l’évènement
Présentation du métier
Contexte de travail
Conditions de travail
Compétences et niveaux attendus
Certifications
Proximité(s)/évolution(s) envisageables
Tendances nationales sur le métier
Pour en savoir plus

DATA ENGINEER

Famille : Architecture et conception de la solution
Autres appellations en français
  • Data Ingénieur
  • Ingénieur de données
  • Ingénieur Big Data
Autres appellations en anglais
  • Data Engineer

Présentation du métier

Le Data Engineer conçoit et développe les infrastructures et outils nécessaires au traitement des données massives et au déploiement de solutions d'Intelligence Artificielle.
Analyser le besoin et concevoir l'infrastructure de traitement :
Le Data Engineer analyse et développe une solution permettant le traitement de volumes importants de données, tout en garantissant la sécurité de celles-ci. Il préconise l'architecture technique nécessaire aux traitements des algorithmes conçus avec le Data Scientist (ex. : puissance de calcul, stockage, flux de données, utilisation des solutions cloud et développements spécifiques). Il co-anime l'équipe de traitement des données avec le Data Scientist et contribue tout au long du traitement des données.

Déployer et maintenir la solution sur son cycle de vie :
Il est le premier échelon de la chaîne de traitement de données et conçoit des solutions permettant le traitement de volumes importants de "pipelines" de données. Il veille à entretenir une solution permettant le traitement massif de données en utilisant ses diverses expertises. Il anticipe les évolutions dans les données (ex. : variations de volumes ou d'usages) et prépare l'architecture de la plateforme à y répondre techniquement.

Intégrer les technologies du Big Data dans son activité :
Il maîtrise les diverses technologies du Big Data permettant le traitement et la manipulation de données (Hadoop, Spark, Kafka…) ainsi que les langages (Javascript, Scala, Python...), des systèmes d'exploitation (UNIS, Linux, Solaris...) et des solutions de base de données (SQL, NO SQL).

Contexte de travail



Expertise(s) métier(s) ou sectorielle(s) :
En lien avec la taille et le positionnement client sur ses marchés le niveau d'expertise métier de Data Engineer aura une importance dans ses missions et projets. Il se servira de sa connaissance de fonctionnement et de process du secteur de son client afin de proposer des processus et les traitements adaptés à celui-ci. Son degré de connaissance des sources de données sectorielles est également un atout.

Variété des ressources technologiques :
Selon le cas d'usage, l'appel à des ressources externes (ex. : technologies Big Data et IA du cloud) peut se révéler pertinent sur le plan technique et économique. Le développement des technologies et de la donnée sur les marchés du numérique influe sur ce métier qui doit arbitrer les choix des technologies et d'adaptation des méthodologies nécessaires à sa compétitivité, ainsi que la sécurité de l'information. Il reste en veille et se forme pour monter en compétences sur les nouvelles technologies de stockage, de sécurité et de traitement des données du marché.

Technologies mobilisées :
Les technologies et méthodologies sont différentes selon les besoins du client, mais aussi le métier cible. Il mobilise fréquemment des solutions existantes, qu'il adapte et complète par des briques qu'il conçoit seul ou avec son équipe afin de créer une solution spécifique pour répondre au besoin du client.

Culture client en lien avec la technologie :
Selon la maturité des acteurs impliqués dans le projet de transformation, il doit mener un travail variable sur la culture des acteurs clients autour de la technologie et de ses impacts métiers/organisationnels

Type et taille de projet :
Selon la taille de projet, le Data Engineer interviendra sur un ou plusieurs projets avec des équipes projet de différentes tailles. Il travaille en équipe selon la taille du projet et de l'équipe et est lié aux autres métiers de la Data.

Type et taille d'entreprise :
En tant qu'indépendant, il intervient majoritairement sur des projets de plusieurs clients différents. Ses missions sont plus larges en indépendant, son expertise est couplée avec les missions du Data Scientist et Data Analyst.

Dans une PME / TPE, chez un éditeur de logiciel, il joue un rôle clé dans la définition et l'évolution du produit/système. La demande de compétences sera ici plus variée et les projets de taille inférieure, en règle générale. Il sera aussi amené à travailler avec des partenaires extérieurs et ainsi maîtriser les règles de fonctionnement de ce type de relation. Dans les petites et moyennes entreprises, le métier est couplé avec celui de Data Scientist et Data Analyst.

Dans une grande Entreprise de Service Numérique, il apporte son expertise technique sur les infrastructures. Il sera ici focalisé sur son périmètre de projet et son expertise métier, souvent de plus grande taille et interne. Le besoin d'expertise métier y sera équivalent dans une structure moyenne ou grande et va intervenir sur des missions en interne et externe.

Conditions de travail

Les phases de charges de travail varient et sont plus importantes dans les phases d'analyse et de conception. Néanmoins, les cas d'usages nécessitant une mise à jour des infrastructures sur le long terme (ex. : voiture autonome) mobilisent régulièrement le Data Engineer sur le long terme, bien au-delà du mode projet.
Les déplacements sont rares. Les rendez-vous se déroulent en présentiel, en visioconférence ou par téléphone.
Relations internes
  • Data Scientist
  • Data Analyst
  • Responsable Sécurité et Systèmes d'information

Relations externes
  • Client
  • Data Scientist
  • Data Analyst
  • Comité de direction

Compétences et niveaux attendus en 4 niveaux cumulés

Macro compétences
Niveaux et compétences attendues
Exemple concret d'activité pour le niveau attendu
Macro compétences :
Intégrer des outils IA/Data Science
Niveaux et compétences attendues :
Niveau attendu : 3
Exemple concret d'activité pour le niveau attendu :
Lors d'un nouveau projet, le Data Engineer définit et propose les outils et l'infrastructure pour la réalisation du projet.
Macro compétences :
Gérer une architecture technique
Niveaux et compétences attendues :
Niveau attendu : 2
Exemple concret d'activité pour le niveau attendu :
Dans le cadre de réponse à un appel d'offres, il définit et rédige plusieurs propositions en spécifiant les avantages et inconvénients et détaillant le coût de chacune.
Macro compétences :
Assurer la maintenance d'un équipement
Niveaux et compétences attendues :
Niveau attendu : 3
Exemple concret d'activité pour le niveau attendu :
Après le déploiement d'un projet de Data Science, il assure la maintenance préventive et les améliorations des infrastructures.
Macro compétences :
Se conformer aux normes et à la règlementation
Niveaux et compétences attendues :
Niveau attendu : 3
Exemple concret d'activité pour le niveau attendu :
Dans la phase d'analyse, il veille à respecter et intégrer les règlementations du RGPD, du client et de sécurité
Macro compétences :
Communiquer efficacement
Niveaux et compétences attendues :
Niveau attendu : 2
Exemple concret d'activité pour le niveau attendu :
Dans ses phases d'échanges avec le client et l'équipe de Data Scientist, il veille à rédiger et formuler ses propositions afin d'alimenter les échanges et la compréhension de toutes les parties.
Macro compétences :
Influencer et convaincre
Niveaux et compétences attendues :
Niveau attendu : 2
Exemple concret d'activité pour le niveau attendu :
Dans la rédaction des propositions suite à l'analyse, il anticipe et prépare son argumentation afin de convaincre les parties de la solution la plus adaptée à la demande initiale
Macro compétences :
Utiliser l'anglais en contexte professionnel
Niveaux et compétences attendues :
Niveau attendu : 2
Exemple concret d'activité pour le niveau attendu :
Dans le cadre de son projet, il communique et lit des documents en anglais et développe des codes informatiques en anglais
Macro compétences :
Intégrer des méthodes d'optimisation de production
Niveaux et compétences attendues :
Niveau attendu : 2
Exemple concret d'activité pour le niveau attendu :
Dans toutes les phases de projet, il veille à intégrer des optimisations de production
Macro compétences :
Innover et animer un processus d'innovation
Niveaux et compétences attendues :
Niveau attendu : 3
Exemple concret d'activité pour le niveau attendu :
Dans le cadre du développement avec l'équipe de Data science, il contribue à promouvoir l'innovation et anticipe les futures évolutions technologiques et méthodologiques afin de faire évoluer l'outil
Macro compétences :
Maîtriser les échanges entre différents logiciels métiers
Niveaux et compétences attendues :
Niveau attendu : 3
Exemple concret d'activité pour le niveau attendu :
Dans la phase d'analyse et de création de la solution, il manipule les données de différents outils et formats dans le but de pouvoir les analyser ensemble pour produire des résultats pertinents en respectant l'intégrité des données.
Macro compétences :
Animer une démarche agile et innovante
Niveaux et compétences attendues :
Niveau attendu : 2
Exemple concret d'activité pour le niveau attendu :
Dans le cadre de ses projets, il travaille avec la méthode agile et contribue à définir et faire vivre le projet
Macro compétences :
Participer et animer un travail d'équipe
Niveaux et compétences attendues :
Niveau attendu : 1
Exemple concret d'activité pour le niveau attendu :
Dans le cadre de ses projets, le travail en équipe est une part importante, il contribue à une bonne communication entre les membres afin de partager l'expertise et l'expérience de tous pour mener à terme le projet.

Proximité(s)/évolution(s) envisageables
La proximité des métiers

Axes de mobilité professionnelle

Sens d'évolution
Sélection de secteur
Numérique
Numérique
Ingénierie
Ingénierie
Études & Conseil
Études & Conseil
Évènement
Évènement
Transverses
Transverses
Autre
Cliquer sur un secteur pour afficher uniquement les provenances et les évolutions depuis et vers ce secteur
Cliquer sur les flèches pour accéder à la comparaison des métiers.
Provenances possibles
Evolutions envisageables
Autres provenances Autres provenances
Provenances lointaines Provenances lointaines
Provenances moyennes Provenances moyennes
Proximité forte Proximité forte
Evolutions moyennes Evolutions moyennes
Evolutions lointaines Evolutions lointaines
Autres évolutions Autres évolutions
Data Engineer
Spécialiste bases de données
Architecte IoT
Spécialiste test et validation
Ingénieur Machine Learning
Architecte IoT
UX - UI Designer
Consultant architecte technique
Spécialiste blockchain
Data Scientist
Spécialiste infrastructure
Data Scientist
Ces mobilités sont données à titre indicatif, sans valeur d’obligation pour les entreprises et les salariés qui doivent les adapter à leur situation particulière.

Tendances nationales sur le métier

2 160
offres d'emploi sur un an
Données au 30/12/2021
Source : Agrégation de sites d'offres d'emploi, redressement Kyu Lab à partir des données du ministère du Travail (cf. page Méthodologie) Les recrutements faits par les entreprises de la branche pour d’autres secteurs ne sont pas pris en compte
Date de MAJ : janv-22
Mise à jour semestrielle
+87.7%
offres d'emploi sur un an
Données au 30/12/2021
Source : Textkernel, agrégation de sites d'offres d'emploi, traitement Kyu à partir des données du ministère du Travail.
Date de MAJ : juil-22
Mise à jour semestrielle

Répartition des offres d'emploi sur le dernier semestre

Données au 30/12/2021
Source : Agrégation de sites d'offres d'emploi, redressement Kyu Lab à partir des données du ministère du Travail (cf. page Méthodologie) Les recrutements faits par les entreprises de la branche pour d’autres secteurs ne sont pas pris en compte
Date de MAJ : janv-22
Mise à jour semestrielle

Expérience requise au recrutement

0 à 2 ans : 2020 / 2 à 5 ans : 73 / 5 à 10 ans : 67
Données au 30/12/2021
Source : Agrégation de sites d'offres d'emploi, redressement Kyu Lab à partir des données du ministère du Travail (cf. page Méthodologie) Les recrutements faits par les entreprises de la branche pour d’autres secteurs ne sont pas pris en compte
Date de MAJ : janv-22
Mise à jour semestrielle

Niveau de formation requis au recrutement

Non renseigné : 991 / BEP/CAP : 1 / Bac : 63 / Bac+2 : 107 / Bac+3/+4 : 132 / Bac+5 : 866
Données au 30/12/2021
Source : Agrégation de sites d'offres d'emploi, redressement Kyu Lab à partir des données du ministère du Travail (cf. page Méthodologie) Les recrutements faits par les entreprises de la branche pour d’autres secteurs ne sont pas pris en compte
Date de MAJ : janv-22
Mise à jour semestrielle

Types de contrats au recrutement

Contrat à durée indéterminée (CDI) : 1742 / Stage/Jeune diplômé : 155 / Freelance : 109 / Contrat à durée déterminée (CDD) : 91 / Alternance : 33 / Remplacement/Intérim : 18 / Franchise : 5 / Possibilité de CDI : 4 / Bénévolat : 2 / Contrat aidé : 1
Données au 30/12/2021
Source : Agrégation de sites d'offres d'emploi, redressement Kyu Lab à partir des données du ministère du Travail (cf. page Méthodologie) Les recrutements faits par les entreprises de la branche pour d’autres secteurs ne sont pas pris en compte
Date de MAJ : janv-22
Mise à jour semestrielle

Taille des entreprises qui recrutent

1-9 salariés : 533 / 10-49 salariés : 296 / 50-249 salariés : 403 / non renseigné : 210 / 250+ salariés : 718
Données au 30/12/2021
Source : Agrégation de sites d'offres d'emploi, redressement Kyu Lab à partir des données du ministère du Travail (cf. page Méthodologie) Les recrutements faits par les entreprises de la branche pour d’autres secteurs ne sont pas pris en compte
Date de MAJ : janv-22
Mise à jour semestrielle

Les compétences les plus demandées au recrutement

Techniques informatiques : 1549 / Logiciels autres : 1303 / Logiciel administration SI : 656 / Management d'équipe : 454 / Méthodes développement SI : 420
Données au 30/12/2021
Source : Textkernel, agrégation de sites d'offres d'emploi, traitement Kyu à partir des données du ministère du Travail.
Date de MAJ : juil-22
Mise à jour semestrielle
OPIIEC :
25 Quai Panhard et Levassor
75013 Paris
Contactez-nous