Vous souhaitez vous orienter vers un métier du Big Data ? Aujourd’hui près de 7 ans après, l’intérêt du Big Data n’est plus à démontrer. Il est désormais connu et accepté que le Big Data crée des millions d’emplois dans le monde. En France, de nombreuses études sérieuses montrent que 43 % des entreprises sont en pleine restructuration pour saisir les opportunités du Big Data dans les 3 années à venir. Par ailleurs, l’engagement de l’Etat dans le Big Data est palpable à travers la « Nouvelle France Industrielle » et ses autres nombreuses initiatives dans la Numérisation/digitalisation du pays. Aussi, c’est le Big Data qui alimente les tendances telles que l’Intelligence Artificielle, l’agriculture verte, les véhicules hybrides, l’internet des objets, etc. Ainsi, le timing est parfait pour faire carrière dans le Big Data ! Après analyses des appels d’offres des entreprises de 2016 à 2021, de l’étude de l’allocation de leur budget et dépenses IT sur la période, de l’analyse des publicités dans différents magasines IT, et de la veille technologique, nous avons identifié les 8 métiers du big data les plus demandés par les entreprises en 2021 et les tendances pour 2022. Ces 8 métiers par ordre de demande sont : le Data Engineer, l’ingénieur DevOps/Cloud, l’Architecte Big Data, l’Administrateur/intégrateur Big Data, le Data Analyst, le Data Scientist et le Tech Lead.
Dans la chronique suivante : « Faire carrière dans le Big Data : les 6 métiers vers lesquels s’orienter« , nous avions donner de façon générale, les métiers du Big Data. Dans cette chronique, nous avons mis à jour cette liste de métiers en tenant compte des changements qu’a subi le marché entre temps et les drivers qui favorisent la demande de chacun de ces métiers par les entreprises.
Attention !!! les résultats et prévisions que nous faisons dans cette chronique proviennent uniquement de nos recherches et représentent notre point de vue du marché. Si vous pensez détenir des informations qui sont susceptibles d’affecter ces prévisions, n’hésitez pas à nous le faire savoir à contact@data-transitionnumerique.com
Sommaire
Métier #1 : l’ingénieur de données (Data Engineer)
Vous vous orientez vers ce métier si vous souhaitez aider les entreprises sur les aspects opérationnels du management de leurs données. En effet, ce métier est spécialisé sur les problématiques de gestion de données à large échelle. Une personne orientée vers ce métier sera capable d’utiliser les frameworks de calcul massivement parallèle tels que Hadoop ou Spark pour gérer les gros volumes de données. L’ingénierie de données Big Data requiert la double maîtrise des technologies du Big Data (principalement Hadoop, Spark, SQL, Hive, Oozie, ElasticSearch, Nifi, HBase, Spark Streaming, Apache Kafka, HDFS, Shell) et des techniques de data management (Formats de données, architectures distribuées, gestion des données en streaming, temps réel, API, services web, impact des technologies sur la performance des applications) pour résoudre des besoins métier de Reporting, de calcul d’indicateurs, et d’exploitation de données à des buts analytics. La demande pour ce métier est en hausse constante depuis 2016 et est drivée par la transition de plus en plus croissante des entreprises des systèmes BI traditionnels vers les systèmes Big Data. D’après nos analyses, ce métier est avec le devOps/cloud actuellement, les niches les plus rentables du Big Data. Cette tendance continuera sans doute en 2022.
Métier #2 : l’Ingénieur DevOps/Cloud
Vous vous orientez vers ce métier si vous souhaitez aider les entreprises sur les aspects infrastructurels de leur projet Big Data. Le déploiement traditionnel des applications de traitement de données suit encore jusqu’à présent, un cycle en V, c’est-à-dire un flow séquentiel spécification -> conception -> développement -> tests -> livraison en production. Le problème avec cette approche ce sont les délais qui s’installent lors des allers-et-retours entre les différentes phases du cycle. Ce sont ces délais qui expliquent la bien connue statistique selon laquelle seul 25% des projets entièrement développés sont effectivement déployés en production. Ces délais sont encore plus accentués en Big Data où on rencontre déjà beaucoup de difficultés techniques, technologiques et organisationnelles. Pour résoudre ce problème, les cycles agiles de développement (SCRUM, IP, Lean, Kanban, Safe, etc.) misent sur une réduction des redondances et une automatisation maximale des tâches. Le DevOps, abréviation de Développement – Opérationnel, est le pendant agile de 3 profils : développeur – testeur – intégrateur logiciel. C’est un métier qui consiste essentiellement à automatiser les flux de développement et de déploiement des applications logicielles en entreprise. Il utilise des outils spécialisés tels que Jenkins, Git, GitFlow, Docker, Sonarqube, Ansible, Maven, Nexus, artifactory, Kubernetes pour fournir de l’intégration continue, c’est-à-dire l’automatisation des phases tests -> déploiement des applications. Ceci permet un gain de temps énorme pour l’entreprise et favorise la réactivité dans la correction des bugs applicatifs identifiés en environnement de production, les tests et les déploiements de nouvelles versions (correctifs, patch) logiciels. Le DevOps ne fait pas du développement logiciel à proprement parlé (même s’il doit en connaître les principes généraux), il est plus orienté infrastructure et fait office d’interface entre l’intégrateur et les développeurs. Le travail du DevOps facilite grandement la gouvernance IT, car le logiciel en tant qu’actif de l’entreprise, est désormais mieux contrôlé et mieux géré. On a une plus grande maîtrise des délais associés au déploiement des applications. Cette année, au-delà de l’aspect buzzword, la demande a été très forte pour les ingénieurs DevOps, spécialement ceux qui en plus rajoutent une compétence Cloud…Le DevOps a été cette année après le Data Engineer, la niche la plus rentable du Big Data. Leur demande s’accentuera d’avantage en 2022.
Métier #3 : L’Architecte Big Data
Vous vous orientez vers ce métier si vous souhaitez aider les entreprises sur les aspects organisationnels de leur projet Big Data. L’architecte Data (ou Big Data, en fonction de l’échelle du projet) est un métier technico-fonctionnel. Il fait référence d’une part à la capacité de décider des briques technologiques nécessaires pour la résolution d’une problématique data précise, et d’autre part à la capacité d’intégrer cet ensemble à l’architecture informatique existante de l’entreprise ou à la modifier de sorte qu’elle puisse s’intégrer avec celle-ci. L’architecte Big Data est très peu impliqué dans les développements. Il peut fournir de l’expertise technologique si cela est nécessaire, mais dans la majeur partie du temps, II fournit la cartographie des outils à utiliser, et montrera benchmark à l’appui, l’impact que ceux-ci auront dans le SI de l’entreprise et travaille avec les décideurs pour la mettre en place. L’architecture Big Data c’est beaucoup de conseil sur les choix de technologies à faire, les configurations des machines, la validation de la faisabilité technique de uses case. Elle nécessite essentiellement la maîtrise des référentiels de gestion de SI d’entreprise de type CobIT, ITIL, TOGAF, la connaissance des principes d’urbanisation d’un système d’information, les approches de gestion de projet (les méthodologies agiles, SCRUM, Safe, cycle en V), les architectures orientées services (SOA), l’analyse des besoins métiers et la MOA. Elle nécessite également une connaissance assez pointue des technologies principales du Big Data. La demande pour ce métier n’est pas forte comparé au Data Engineer ou au DevOps, mais les entreprises sont très exigeantes sur les compétences qu’elles attendent d’un architecte Big Data, par conséquent les profils sont très rares. A noter aussi qu’à cause de la particularité de leur profil, les architectes Big Data sont de très loin, les plus rémunérés de tous les métiers du Big Data, avec des TJM brut démarrant à 850 euros. A la différence des Data Engineer ou des DevOps dont les TJM/salaires sont drivés exclusivement par la forte demande (et la spéculation au niveau des ESN que cela entraîne), le TJM des architectes est élevé à cause des compétences nombreuses et diverses exigées par le métier.
Attention !!!! lorsque la demande d’un profil est particulièrement importante, comme c’est le cas pour les profils de Data Engineer ou de d’ingénieur DevOps/Cloud, cela a tendance à créer de la spéculation. En d’autre termes, les cabinets sont obligés d’entrer dans une guerre de salaire (par reférence à « guerre de prix ») dans laquelle le cabinet le plus offrant en termes de salaire/TJM réussit à recruter le profil. La spéculation intervient au niveau du fait que certains cabinets sont prêts à offrir des salaires qui rognent sur leur marge, en d’autres termes, à payer le profil plus cher que cela lui rapporte à moyen terme dans une perspective de récupérer et faire des bénéfices dans le futur. Du coup, on se retrouve vite avec des salaires qui n’ont plus rien avoir avec les compétences réelles du profil. Faites donc attention ! Ce type de bulle comme toute autre, finit par exploser. Et lorsque c’est le cas, il y’a des perdants, mais il y’a aussi des gagnants. Selon nos recherches, l’architecte Big Data est le seul métier dont la hausse de salaire/TJM ne provient pas de la spéculation liée à la demande, mais des compétences et exigences inhérentes au métier.
Métier #4 : l’administrateur/Intégrateur Big Data
Vous vous orientez vers ce métier si vous souhaitez aider les entreprises sur les aspects infrastructurels de leur projet Big Data. L’administration ou intégration Big Data est un métier spécifiquement lié à l’administration des technologies Big Data et le RUN. C’est un métier dans lequel on s’assure que les technologies Big Data utilisées dans le projet fonctionnent correctement (création et dimensionnement des machines virtuelles, connexion des nœuds, configuration, installation du système d’exploitation, installation des logiciels et outils nécessaires pour le projet, implémentation de la politique de sécurité, gestion des provisionnement en ressources et en redimensionnement). Elle consiste également à gérer les aspects sécuritaires, l’attribution des autorisations et des niveaux de permissions aux différents utilisateurs des technologies utilisées. Dans certains cas de figure, ce métier est combiné avec celui d’intégrateur Big Data. Auquel cas celui-ci est également chargé de faire des Mises en production (MEP) des projets/applications sur la plateforme, et du run (le suivi de production). L’administration/intégration requiert une forte maîtrise de Linux, des outils d’administration Hadoop (Ambari, Ranger), des protocoles de sécurité (Kerberos, SSL), du Shell, des procédures administratives de gestion des MEP et d’incidents de production, et d’une certaine mesure des outils du DevOps (Jenkins, Git, GitFlow, Docker, Sonarqube, Ansible, Maven, Nexus, artifactory, Kubernetes, outils de tests unitaire, outils de tests d’intégration, outils de tests fonctionnels, etc.). La demande pour ce métier est en hausse depuis cette année. Cette hausse est dû au fait que beaucoup d’entreprises commencent à dépasser le cadre du PoC pour véritablement déployer leurs projets Big Data en production. La hausse de ce profil va donc va s’accentuer dans les prochains mois et il n’est pas étonnant qu’il y’ait un boom de la demande d’ici 2022
Métier #5 : le Data Analyst
Vous vous orientez vers ce métier si vous souhaitez aider les entreprises sur les aspects frontaux de leur projet Big Data. Le côté technique du Big Data est très complexe et très vaste. Le métier de Data Analyst a commencé à apparaître dans les appels d’offres ces derniers temps car les entreprises ont ressenti le besoin d’avoir les données valorisées et synthétisées sous forme d’indicateurs de performance (KPI), et de tableaux de bords. Le Data Analyst aide les entreprises à véritablement consommer les données mis en forme par le Data Engineer ou les résultats renvoyés par les modèles du Data Scientist pour la prise de décision effective. C’est un métier à l’intersection de la Business Intelligence et de l’ingénierie Big Data. Le Data Analyste maîtrise les outils de reporting, de visualisation (Microstrategy, Business Objects, Microsoft Power BI), l’outil de suivi par excellence des décideurs (Microsoft Excel), la programmation VBA, le SQL, et possède de très bonnes aptitudes communicationnelles pour échanger avec les décideurs de l’entreprise sur la signification des indicateurs calculés sur la base des données. Son but ultime est l’analyse de données pour des fins décisionnelles. C’est un métier très fascinant pour les personnes qui se voient plus comme des chargés d’études, des analystes que comme des ingénieurs. C’est un métier qui est de plus en plus sollicité dans le Big Data avec le déploiement en production des projets. Sa demande augmente à cause d’un regain d’intérêt du marché pour la Data Visualisation.
Métier #6 : le Développeur Big Data
Vous vous orientez vers ce métier si vous souhaitez aider les entreprises sur les aspects applicatifs de leur projet Big Data. Ce métier est comme son nom l’indique, le développement logiciel. Il fait référence à la capacité d’utiliser avec maîtrise un langage de programmation (Java ou scala principalement) et des API spécialisées dans le Big Data pour développer des briques applicatives qui vont compléter une plateforme de traitement massivement parallèle telle que Hadoop, Spark, HBase, etc. Attention ! à la différence du développement que fait l’ingénieur de données ou le Data scientist qui porte directement sur la data, celui du développeur est purement logiciel et porte directement sur la plateforme. Le développeur Big Data au sens strict du terme sait manier l’exécution parallèle des travaux sur Hadoop, il sait faire du développement distribué, de la coordination de service, gérer la tolérance aux pannes, rendre un système cohérent etc. Ce métier est le métier historique du Big Data. Sa demande a dans un premier temps émergé à cause de la complexité des technologies Hadoop, ensuite elle a baissé avec l’intégration du SQL dans les plateformes Hadoop. Aujourd’hui, sa demande reste stable. Nous pensons qu’avec l’intégration de plus en plus continue du SQL dans Hadoop et Spark, la demande pour ce métier risque à terme (horizon 2022) de disparaître.
Métier #7 : le Data Scientist
Vous vous orientez vers ce métier si vous souhaitez aider les entreprises sur les aspects opérationnels de la valorisation de leurs données. Ce profil intervient en aval de l’ingénieur de données. C’est un métier qui consiste essentiellement à « faire parler les données ». Le métier de Data Scientist exige des compétences en modèles mathématiques comportementaux (autrement dit des modèles mathématiques qui permettent d’expliquer ou anticiper l’évolution d’une variable). Des exemples de tels modèles sont : la régression linéaire, la régression logistique, la LASSO, la Bridge, les arbres de décision, les perceptrons multi-couches, la statistique descriptive, l’inférence statistique, les K-moyennes, les K-plus proches voisins, le CHAID 2, etc. La connaissance de ces modèles est la clé de voûte du métier de Data Scientist. Ces techniques sont utilisées pour anticiper le comportement d’une variable, recommander des actions à effectuer, catégoriser les données en fonction de leur degré de similarité. Par exemple, dans l’e-commerce et les réseaux sociaux, c’est le Data Scientist qui développe les algorithmes de recommandation qui tournent derrières les « personnes que vous pourriez aussi connaître », les « produits que vous pourriez aussi acheter », les « pages que vous pourriez aussi aimer ». Dans le domaine de la banque, les data scientists développent des modèles de scoring qui permettent de prêter ou pas de l’argent à un individu, d’investir ou de ne pas investir sur un projet, de définir et proposer des offres en fonction du profil de chaque client, etc. La demande pour ce métier est en baisse malgré tout le tapage médiatique qu’il bénéficie ces derniers temps (cf. intelligence artificielle, chatbots). Cette baisse est dûe au recul des projets industriels de Data Science. De nombreux Data Scientists sont en train de se réorienter en Data Engineering/Data Analyst. Par contre, nous avons un avis un peu mitigé sur les horizons de ce métier. Nous pensons que la demande restera stable et que les projets de Data Science industriels finiront par émerger à un moment ou un autre.
Métier #8 : le Tech Lead Big Data
En cette année 2020, un nouveau métier est apparu dans le Big Data, c’est celui de Tech Lead (pour Technical Leader). Il est né d’une part de l’intégration entre les technologies de l’écosystème Hadoop et les technologies existantes des Systèmes informatiques des entreprises, qui deviennent de plus en plus complexes. D’autre part, la complexité grandissante de l’écosystème technologique nécessaire pour développer et déployer des solutions Big Data en production. Le Tech Lead, est en un mot LE référent technique du projet Big Data (d’où son appellation Leader Technique). C’est un métier d’expertise et d’accompagnement situé à la frontière entre 3 profils : un profil senior de Data Engineer, un profil d’intégrateur et un profil d’Architecte. Il est le point de référence technique aussi bien pour l’équipe de développement et d’intégration des projets que pour les clients chez qui les projets sont réalisés. Les tâches du Tech Lead peuvent se résumer en deux :
- Accompagner les entreprises dans la définition d’une stratégie d’intégration des technologies Big Data dans leur SI, ce qui revient dans un premier temps à décider de l’orientation technique du projet (validation du choix des technologies qui permettent de répondre aux problématiques du projet Big Data de l’entreprise) ; et dans un second temps à valider le bon fonctionnement des technologies choisies dans le cadre d’un déploiement en production.
- être le référent technique pour les équipes de développement Big Data et fournir l’expertise technologique nécessaire pour la réalisation des solutions applicatives.
Le Tech Lead est un profil polyglotte alliant une maîtrise avérée des principales technologies de l’écosystème Hadoop aux compétences avancées en développement logiciel, Data Engineering, et aux compétences de base en architecture logiciel, et intégration continue (chaîne CI/CD, DevOps, Jenkins, Ansible, Docker, Cloud). Il n’y’a pas de formation pour devenir Tech Lead. En général, c’est un métier qu’on exerce après au moins 3 ans d’expérience en tant Data Engineer, et après avoir développé des compétences sur l’intégration continue.
Voilà ! Nous vous avons livré nos prévisions des 8 métiers porteurs du Big Data dans l’horizon 2021-2022. La première étape pour saisir les opportunités du Big Data est de choisir de s’orienter vers l’un de ces métiers, ensuite de développer les aptitudes stratégiques, émotionnelles, communicationnelles, négociationnelles et financières nécessaires pour y travailler de façon efficace. Procurez-vous l’ouvrage suivant pour développer les compétences de base dont vous avez besoin pour travailler efficacement dans l’un des métiers du Big Data.
Comment trouvez-vous cette chronique ?
Dites-nous ce que vous pensez de cette chronique en commentaire