Présentation du métier

Contexte de travail

Conditions de travail

Compétences et niveaux attendus

Certifications

Proximité(s)/évolution(s) envisageables

Tendances nationales sur le métier

Pour en savoir plus

DATA ENGINEER

Famille : Architecture et conception de la solution

Autres appellations en français

Data Ingénieur
Ingénieur de données
Ingénieur Big Data

Autres appellations en anglais

Data Engineer

Tout déplier / tout replier

Présentation du métier : Data Engineer

Finalité du métier

Le Data Engineer conçoit et développe les infrastructures et outils nécessaires au traitement des données massives et au déploiement de solutions d'Intelligence Artificielle. Il intervient en expertise auprès des autres métiers, ce qui implique une compréhension approfondie de leur finalité, de leurs spécificités et de leurs attentes.

Missions principales

Analyser le besoin et concevoir l'infrastructure de traitement :
Le Data Engineer analyse et développe une solution permettant le traitement de volumes importants de données, tout en garantissant la sécurité de celles-ci. Il préconise l'architecture technique nécessaire aux traitements des algorithmes conçus avec le Data Scientist (ex. : puissance de calcul, stockage, flux de données, utilisation des solutions cloud et développements spécifiques). Il co-anime l'équipe de traitement des données avec le Data Scientist.

Déployer et maintenir la solution sur son cycle de vie :
Il est le premier échelon de la chaîne de traitement de données et conçoit des solutions permettant le traitement de volumes importants de "pipelines" de données. Il veille à entretenir une solution permettant le traitement massif de données en utilisant ses diverses expertises. Il anticipe les évolutions dans les données (ex. : variations de volumes ou d'usages) et prépare l'architecture de la plateforme à y répondre techniquement.

Intégrer les technologies du Big Data dans son activité :
Il maîtrise les diverses technologies du Big Data permettant le traitement et la manipulation de données (Hadoop, Spark, Kafka…) ainsi que les langages (JavaScript, Scala, Python...), des systèmes d'exploitation (UNIS, Linux, Solaris...) et des solutions de base de données (SQL, NO SQL).

Contribuer à la réduction de l'empreinte écologique liée au numérique :
Il intègre la sobriété numérique dans la gestion des données en adoptant des pratiques responsables comme l'optimisation de l'infrastructure de stockage et de la puissance de calcul pour réduire la consommation d'énergie, ou la sélection de technologies moins énergivores.

Contexte de travail

Variables spécifiques au métier

Expertise(s) métier(s) ou sectorielle(s) :
En lien avec la taille et le positionnement client sur ses marchés le niveau d'expertise métier de Data Engineer aura une importance dans ses missions et projets. Il se servira de sa connaissance de fonctionnement et de process du secteur de son client afin de proposer des processus et les traitements adaptés à celui-ci. Son degré de connaissance des sources de données sectorielles est également un atout.

Variété des ressources technologiques :
Selon le cas d'usage, le recours à des ressources externes (ex. : technologies Big Data, blockchain, IA du cloud comme l'IA générative) peut se révéler pertinent sur le plan technique et économique. Le développement des technologies et de la donnée sur les marchés du numérique influe sur ce métier qui doit arbitrer les choix des technologies et d'adaptation des méthodologies nécessaires à sa compétitivité, ainsi que la sécurité de l'information. Il reste en veille et se forme pour monter en compétences sur les nouvelles technologies de stockage, de sécurité et de traitement des données du marché.

Technologies mobilisées :
Les technologies et méthodologies sont différentes selon les besoins du client, mais aussi le métier cible. Il mobilise fréquemment des solutions existantes, qu'il adapte et complète par des briques qu'il conçoit seul ou avec son équipe afin de créer une solution spécifique pour répondre au besoin du client.

Culture client en lien avec la technologie :
Selon la maturité des acteurs impliqués dans le projet de transformation, il doit mener un travail variable sur la culture des acteurs clients autour de la technologie et de ses impacts métiers/organisationnels. C'est notamment le cas en matière de cybersécurité où le facteur humain est très important.

Contextes organisationnels

Type et taille d'entreprise :
En tant qu'indépendant, il intervient majoritairement sur des projets de plusieurs clients différents. Ses missions sont plus larges et son expertise est couplée avec les missions du Data Scientist et Data Analyst.

Dans une PME/TPE, chez un éditeur de logiciel, il joue un rôle clé dans la définition et l'évolution du produit/système. La demande de compétences sera ici plus variée et les projets de taille inférieure, en règle générale. Il sera aussi amené à travailler avec des partenaires extérieurs et ainsi maîtriser les règles de fonctionnement de ce type de relation. Dans les petites et moyennes entreprises, le métier est couplé avec celui de Data Scientist et Data Analyst.

Dans une grande Entreprise de Service Numérique, il apporte son expertise technique sur les infrastructures. Il sera ici focalisé sur son périmètre de projet et son expertise métier. Pour les clients et entreprises de taille internationale, l'hétérogénéité des données et infrastructures nécessite un Data engineering plus complexe.

Type et taille de projet :
Le Data engineer travaille dans des secteurs variés et sur des projets d'une grande diversité. Il collabore avec les autres métiers de la Data. Il peut intervenir sur des projets spécifiques (développement d'une application spécifique à l'entreprise) ou au contraire travailler sur des missions transversales, par exemple pour répondre à des besoins liés à l'analyse en continu d'un marché.

Conditions de travail

Le rythme de travail

Les phases de charges de travail varient et sont plus importantes dans les phases d'analyse et de conception. Néanmoins, les cas d'usages nécessitant une mise à jour des infrastructures sur le long terme (ex. : voiture autonome) mobilisent régulièrement le Data Engineer sur le long terme, bien au-delà du mode projet.

Déplacements

Les déplacements sont rares. Les rendez-vous se déroulent en présentiel, en visioconférence ou par téléphone.

Les relations professionnelles

Relations internes

Data Scientist
Data Analyst
Responsable Sécurité et Systèmes d'information

Relations externes

Client
Data Scientist
Data Analyst
Comité de direction

Compétences et niveaux attendus en 4 niveaux cumulés

Macro compétences

Niveaux et compétences attendues

Exemple concret d'activité pour le niveau attendu

Macro compétences :

Intégrer des outils IA/Data Science

Niveaux et compétences attendues :

Identifier les outils de Data Science applicables selon le contexte et les objectifs

Préconiser, concevoir ou intégrer un outil IA/Data Science adapté à la problématique métier

Anticiper l'intégration d'outils IA/Data Science dans l'organisation du travail

Déterminer l'opportunité de l'intégration d'outils IA/Data Science dans le modèle d'affaires

Niveau attendu : 3

Exemple concret d'activité pour le niveau attendu :

Lors d'un nouveau projet, le Data Engineer définit et propose les outils et l'infrastructure pour la réalisation du projet.

Macro compétences :

Gérer une architecture technique

Niveaux et compétences attendues :

Analyser les besoins d'architecture issus des fonctionnalités attendues (ex : flux de données, stockage, puissance de calcul)

Anticiper plusieurs scénarios d'architecture technique en fonction des besoins, contraintes et coûts

Piloter le déploiement de l'architecture technique avec les acteurs internes/externes

Coordonner une vision de l'architecture SI à moyen terme et être référent expert du domaine

Niveau attendu : 2

Exemple concret d'activité pour le niveau attendu :

Dans le cadre de réponse à un appel d'offres, il définit et rédige plusieurs propositions en spécifiant les avantages et inconvénients et détaillant le coût de chacune.

Macro compétences :

Concevoir et déployer un algorithme

Niveaux et compétences attendues :

Identifier les usages d'une solution algorithmique et les technologies existantes (ex: IA générative, robotique)

Assembler des solutions algorithmiques existantes, les adapter et les tester

Créer et tester une nouvelle solution algorithmique sur mesure

S'assurer de l'usage conforme juridiquement (ex : RGPD) et éthique de la solution par tous les usagers

Niveau attendu : 3

Exemple concret d'activité pour le niveau attendu :

Après le déploiement d'un projet de Data Science, il assure la maintenance préventive et les améliorations des infrastructures.

Macro compétences :

Écoconcevoir une solution ou un équipement

Niveaux et compétences attendues :

Maximiser la durée de vie d'une solution dans les conditions réelles d'usage et de maintenance

Concevoir une solution anticipant les évolutions probables de normes et réglementations (recyclabilité, réparabilité, durabilité, etc.)

Recourir aux solutions technologiques avec discernement sur leur potentiel et leurs impacts environnementaux

Coordonner et optimiser les processus de production et la consommation de ressources (matériaux, eau, énergie) avec toutes les parties prenantes

Niveau attendu : 3

Exemple concret d'activité pour le niveau attendu :

Dans la phase d'analyse, il veille à respecter et intégrer les règlementations du RGPD, du client et de sécurité

Macro compétences :

Communiquer efficacement

Niveaux et compétences attendues :

Ecouter activement et partager une information pertinente

Adapter et rédiger un support de communication aux objectifs et au contexte

Synthétiser une présentation adaptée à l'objectif et au public cible

Coordonner une communication d'organisation en situation complexe (ex : message sensible, public difficile, situation imprévue…)

Niveau attendu : 2

Exemple concret d'activité pour le niveau attendu :

Dans ses phases d'échanges avec le client et l'équipe de Data Scientist, il veille à rédiger et formuler ses propositions afin d'alimenter les échanges et la compréhension de toutes les parties.

Macro compétences :

Influencer et convaincre

Niveaux et compétences attendues :

Identifier et décrypter les positions des différents interlocuteurs et les relais d’influence

Adapter son discours, ses arguments et l'organisation des échanges aux interlocuteurs à convaincre

Synthétiser une argumentation percutante et anticiper les objections

Equilibrer un discours fidèle à la finalité partagée par les parties prenantes

Niveau attendu : 2

Exemple concret d'activité pour le niveau attendu :

Dans la rédaction des propositions suite à l'analyse, il anticipe et prépare son argumentation afin de convaincre les parties de la solution la plus adaptée à la demande initiale

Macro compétences :

Utiliser l'anglais en contexte professionnel

Niveaux et compétences attendues :

Utiliser de la documentation technique en anglais

Converser en anglais professionnel courant et écrire en anglais les livrables simples, notes, e-mails

Délivrer et soutenir des livrables ou propositions complexes

Diriger des débats techniques et un projet en anglais

Niveau attendu : 2

Exemple concret d'activité pour le niveau attendu :

Dans le cadre de son projet, il communique et lit des documents en anglais et développe des codes informatiques en anglais

Macro compétences :

Anticiper l'impact économique d'une solution technique

Niveaux et compétences attendues :

Repérer l'ensemble des postes de dépenses et intervenants d'une solution

Dimensionner les coûts de déploiement et d'exploitation de chaque étape du cycle de vie de la solution ou de l'équipement

Piloter une décision économique d'ensemble équilibrée et adapter les étapes

Donner du sens à une décision d'investissement sur son impact économique et le service rendu aux parties prenantes

Niveau attendu : 2

Exemple concret d'activité pour le niveau attendu :

Dans toutes les phases de projet, il veille à intégrer des optimisations de production

Macro compétences :

Innover et animer un processus d'innovation

Niveaux et compétences attendues :

Analyser le besoin et participer à la recherche d’idées et de solutions innovantes

Adapter des solutions déjà éprouvées à des contextes de mêmes caractéristiques

Piloter le déploiement de solutions innovantes (pilote, déploiement etc.)

Donner du sens à l'innovation et coordonner les acteurs internes/externes impactés

Niveau attendu : 3

Exemple concret d'activité pour le niveau attendu :

Dans le cadre du développement avec l'équipe de Data science, il contribue à promouvoir l'innovation et anticipe les futures évolutions technologiques et méthodologiques afin de faire évoluer l'outil

Macro compétences :

Maîtriser les échanges entre différents logiciels métiers

Niveaux et compétences attendues :

Identifier les besoins en logiciel des acteurs d'un projet

Concevoir et utiliser les formats d'échange de données

Paramétrer un logiciel métier et l'interfacer à d'autre applicatifs

Développer un complément (plug-in) pour augmenter les capacités d'un logiciel métier

Niveau attendu : 3

Exemple concret d'activité pour le niveau attendu :

Dans la phase d'analyse et de création de la solution, il manipule les données de différents outils et formats dans le but de pouvoir les analyser ensemble pour produire des résultats pertinents en respectant l'intégrité des données.

Macro compétences :

Animer une démarche agile et innovante

Niveaux et compétences attendues :

Suivre l'avancement d'un projet agile et innovant

Définir les rôles nécessaires aux objectifs et contraintes de projet

Piloter les étapes et livrables d'un projet agile et innovant

Intégrer un projet agile et innovant dans un ensemble multi-projets

Niveau attendu : 2

Exemple concret d'activité pour le niveau attendu :

Dans le cadre de ses projets, il travaille avec la méthode agile et contribue à définir et faire vivre le projet

Macro compétences :

Participer et animer un travail d'équipe

Niveaux et compétences attendues :

Collaborer avec les membres d'une équipe, partager des informations et des avis

Animer les prises de paroles et reformulations selon les situations de travail

Animer une équipe complète sur l'ensemble d'un projet

Coordonner l'animation de plusieurs équipes partageant un objectif commun

Niveau attendu : 1

Exemple concret d'activité pour le niveau attendu :

Dans le cadre de ses projets, le travail en équipe est une part importante, il contribue à une bonne communication entre les membres afin de partager l'expertise et l'expérience de tous pour mener à terme le projet.