Les 7 métiers porteurs du Big Data en 2019-2020

Vous souhaitez vous orienter vers un métier du Big Data ? Aujourd’hui 5 ans après, l’intérêt du Big Data n’est plus à démontrer. Il est désormais connu et accepté que le Big Data va créer d’ici 2020 des millions d’emplois dans le monde. En France, de nombreuses études sérieuses montrent que 43 % des entreprises sont en pleine restructuration pour saisir les opportunités du Big Data dans les 3 années à venir. Par ailleurs, l’engagement de l’Etat dans le Big Data est palpable à travers la “Nouvelle France Industrielle” et ses autres nombreuses initiatives dans la Numérisation/digitalisation du pays. Aussi, c’est le Big Data qui alimente les tendances telles que l’Intelligence Artificielle, l’agriculture verte, les véhicules hybrides, l’internet des objets, etc. Ainsi, le timing est parfait pour faire carrière dans le Big Data ! Après analyses des appels d’offres des entreprises de 2016 à 2019, de l’étude de l’allocation de leur budget et dépenses IT sur la période, de l’analyse des publicités dans différents magasines IT, et de la veille technologique, nous avons identifié les 7 métiers du big data les plus demandés par les entreprises en 2019 et les tendances pour 2020. Ces  7 métiers par ordre de demande sont :  le Data Engineer, l’ingénieur DevOps/Cloud, l’Architecte Big Data, l’Administrateur/intégrateur Big Data, le Data Analyst et le Data Scientist

Dans la chronique suivante : “Faire carrière dans le Big Data : les 6 métiers vers lesquels s’orienter“, nous avions donner de façon générale, les métiers du Big Data. Dans cette chronique, nous avons mis à jour cette liste de métiers en tenant compte des changements qu’a subi le marché entre temps et les drivers qui favorisent la demande de chacun de ces métiers par les entreprises. 

Attention !!! les résultats et prévisions que nous faisons dans cette chronique proviennent uniquement de nos recherches et représentent notre point de vue du marché. Si vous pensez détenir des informations qui sont susceptibles d’affecter ces prévisions, n’hésitez pas à nous le faire savoir à contact@data-transitionnumerique.com

Métier #1 : l’ingénieur de données (Data Engineer) 

Vous vous orientez vers ce métier si vous souhaitez aider les entreprises sur les aspects opérationnels du management de leurs données. En effet, ce métier est spécialisé sur les problématiques de gestion de données à large échelle. Une personne orientée vers ce métier  sera capable d’utiliser les frameworks de calcul massivement parallèle tels que Hadoop ou Spark pour gérer les gros volumes de données. L’ingénierie de données Big Data requiert la double maîtrise des technologies du Big Data (principalement Hadoop, Spark, SQL, Hive, Oozie, ElasticSearch, Nifi, HBase, Spark Streaming, Apache Kafka, HDFS, Shell) et des techniques de data management (Formats de données, architectures distribuées, gestion des données en streaming, temps réel, API, services web, impact des technologies sur la performance des applications) pour résoudre des besoins métier de Reporting, de calcul d’indicateurs, et d’exploitation de données à des buts analytics. La demande pour ce métier est en hausse constante depuis 2016 et est drivée par la transition de plus en plus croissante des entreprises des systèmes BI  traditionnels vers les systèmes Big Data. D’après nos analyses, ce métier est avec le devOps/cloud actuellement, les niches les plus rentables du Big Data. Cette tendance continuera sans doute en 2020. 

Métier #2 : l’Ingénieur DevOps/Cloud

Vous vous orientez vers ce métier si vous souhaitez aider les entreprises sur les aspects infrastructurels de leur projet Big Data. Le déploiement traditionnel des applications de traitement de données suit encore jusqu’à présent, un cycle en V, c’est-à-dire un flow séquentiel spécification -> conception -> développement -> tests -> livraison en production. Le problème avec cette approche ce sont les délais qui s’installent lors des allers-et-retours entre les différentes phases du cycle. Ce sont ces délais qui expliquent la bien connue statistique selon laquelle seul 25% des projets entièrement développés sont effectivement déployés en production. Ces délais sont encore plus accentués en Big Data où on rencontre déjà beaucoup de difficultés techniques, technologiques et organisationnelles. Pour résoudre ce problème, les cycles agiles de développement (SCRUM, IP, Lean, Kanban, Safe, etc.) misent sur une réduction des redondances et une automatisation maximale des tâches. Le DevOps, abréviation de Développement – Opérationnel, est le pendant agile de 3 profils : développeur – testeur – intégrateur logiciel. C’est un métier qui consiste essentiellement à automatiser les flux de développement et de déploiement des applications logicielles en entreprise. Il utilise des outils spécialisés tels que Jenkins, Git, GitFlow, Docker, Sonarqube, Ansible, Maven, Nexus, artifactory, Kubernetes pour fournir de l’intégration continue, c’est-à-dire l’automatisation des phases tests -> déploiement des applications. Ceci permet un gain de temps énorme pour l’entreprise et favorise la réactivité dans la correction des bugs applicatifs identifiés en environnement de production, les tests et les déploiements de nouvelles versions (correctifs, patch) logiciels.  Le DevOps ne fait pas du développement logiciel à proprement parlé (même s’il doit en connaître les principes généraux), il est plus orienté infrastructure et fait office d’interface entre l’intégrateur et les développeurs. Le travail du DevOps facilite grandement la gouvernance IT, car le logiciel en tant qu’actif de l’entreprise, est désormais mieux contrôlé et mieux géré. On a une plus grande maîtrise des délais associés au déploiement des applications. Cette année, au-delà de l’aspect buzzword, la demande a été très forte pour les ingénieurs DevOps, spécialement ceux qui en plus rajoutent une compétence Cloud…Le DevOps a été cette année après le Data Engineer, la niche la plus rentable du Big Data. Leur demande s’accentuera d’avantage en 2020.

Métier #3 : L’Architecte Big Data 

Vous vous orientez vers ce métier si vous souhaitez aider les entreprises sur les aspects organisationnels de leur projet Big Data. L’architecte Data (ou Big Data, en fonction de l’échelle du projet) est un métier technico-fonctionnel. Il fait référence d’une part à la capacité de décider des briques technologiques nécessaires pour la résolution d’une problématique data précise, et d’autre part à la capacité d’intégrer cet ensemble à l’architecture informatique existante de l’entreprise ou à la modifier de sorte qu’elle puisse s’intégrer avec celle-ci. L’architecte Big Data est très peu impliqué dans les développements. Il peut fournir de l’expertise technologique si cela est nécessaire, mais dans la majeur partie du temps, II fournit la cartographie des outils à utiliser, et montrera benchmark à l’appui, l’impact que ceux-ci auront dans le SI de l’entreprise et travaille avec les décideurs pour la mettre en place. L’architecture Big Data c’est beaucoup de conseil sur les choix de technologies à faire, les configurations des machines, la validation de la faisabilité technique de uses case. Elle nécessite essentiellement la maîtrise des référentiels de gestion de SI d’entreprise de type CobIT, ITIL, TOGAF, la connaissance des principes d’urbanisation d’un système d’information, les approches de gestion de projet (les méthodologies agiles, SCRUM, Safe, cycle en V), les architectures orientées services (SOA), l’analyse des besoins métiers et la MOA. Elle nécessite également une connaissance assez pointue des technologies principales du Big Data. La demande pour ce métier n’est pas forte comparé au Data Engineer ou au DevOps, mais les entreprises sont très exigeantes sur les compétences qu’elles attendent d’un architecte Big Data, par conséquent les profils sont très rares. A noter aussi qu’à cause de la particularité de leur profil, les architectes Big Data sont de très loin, les plus rémunérés de tous les métiers du Big Data, avec des TJM brut démarrant à 850 euros. A la différence des  Data Engineer  ou des  DevOps dont les TJM/salaires sont drivés exclusivement par la forte demande (et la spéculation au niveau des ESN que cela entraîne), le TJM des architectes est élevé à cause des compétences nombreuses et diverses exigées par le métier.  

Attention !!!! lorsque la demande d’un profil est particulièrement importante, comme c’est le cas pour les profils de Data Engineer ou de d’ingénieur DevOps/Cloud, cela a tendance à créer de la spéculation. En d’autre termes, les cabinets sont obligés d’entrer dans une guerre de salaire (par reférence à “guerre de prix”) dans laquelle le cabinet le plus offrant en termes de salaire/TJM réussit à recruter le profil. La spéculation intervient au niveau du fait que certains cabinets sont prêts à offrir des salaires qui rognent sur leur marge, en d’autres termes, à payer le profil plus cher que cela lui rapporte à moyen terme dans une perspective de récupérer et faire des bénéfices dans le futur. Du coup, on se retrouve vite avec des salaires qui n’ont plus rien avoir avec les compétences réelles du profil. Faites donc attention ! Ce type de bulle comme toute autre, finit par exploser. Et lorsque c’est le cas, il y’a des perdants, mais il y’a aussi des gagnants. Selon nos recherches, l’architecte Big Data est le seul métier dont la hausse de salaire/TJM ne provient pas de la spéculation liée à la demande, mais des compétences et exigences inhérentes au métier.

Métier #4 : l’administrateur/Intégrateur Big Data

Vous vous orientez vers ce métier si vous souhaitez aider les entreprises sur les aspects infrastructurels de leur projet Big Data. L’administration ou intégration Big Data est un métier spécifiquement lié à l’administration des technologies Big Data et le RUN. C’est un métier dans lequel on s’assure que les technologies Big Data utilisées dans le projet fonctionnent correctement (création et dimensionnement des machines virtuelles, connexion des nœuds, configuration, installation du système d’exploitation, installation des logiciels et outils nécessaires pour le projet, implémentation de la politique de sécurité, gestion des provisionnement en ressources et en redimensionnement). Elle consiste également à gérer les aspects sécuritaires, l’attribution des autorisations et des niveaux de permissions aux différents utilisateurs des technologies utilisées. Dans certains cas de figure, ce métier est combiné avec celui d’intégrateur Big Data. Auquel cas celui-ci est également chargé de faire des Mises en production (MEP) des projets/applications sur la plateforme, et du run (le suivi de production). L’administration/intégration requiert une forte maîtrise de Linux, des outils d’administration Hadoop (Ambari, Ranger), des protocoles de sécurité (Kerberos, SSL), du Shell, des procédures administratives de gestion des MEP et d’incidents de production, et d’une certaine mesure des outils du DevOps (Jenkins, Git, GitFlow, Docker, Sonarqube, Ansible, Maven, Nexus, artifactory, Kubernetes, outils de tests unitaire, outils de tests d’intégration, outils de tests fonctionnels, etc.). La demande pour ce métier est en hausse depuis cette année. Cette hausse est dû au fait que beaucoup d’entreprises commencent à dépasser le cadre du PoC pour véritablement déployer leurs projets Big Data en production. La hausse de ce profil va donc va s’accentuer dans les prochains mois et il n’est pas étonnant qu’il y’ait un boom de la demande d’ici 2020

Métier #5 : le Data Analyst

Vous vous orientez vers ce métier si vous souhaitez aider les entreprises sur les aspects frontaux de leur projet Big Data. Le côté technique du Big Data est très complexe et très vaste. Le métier de Data Analyst a commencé à apparaître dans les appels d’offres ces derniers temps car les entreprises ont ressenti le besoin d’avoir les données valorisées et synthétisées sous forme d’indicateurs de performance (KPI), et de tableaux de bords.  Le Data Analyst aide les entreprises à véritablement consommer les données mis en forme par le Data Engineer ou les résultats renvoyés par les modèles du Data Scientist pour la prise de décision effective. C’est un métier à l’intersection de la Business Intelligence et de l’ingénierie Big Data. Le Data Analyste maîtrise les outils de reporting, de visualisation (Microstrategy, Business Objects, Microsoft Power BI), l’outil de suivi par excellence des décideurs (Microsoft Excel), la programmation VBA, le SQL, et possède de très bonnes aptitudes communicationnelles pour échanger avec les décideurs de l’entreprise sur la signification des indicateurs calculés sur la base des données. Son but ultime est l’analyse de données pour des fins décisionnelles. C’est un métier très fascinant pour les personnes qui se voient plus comme des chargés d’études, des analystes que comme des ingénieurs. C’est un métier qui est de plus en plus sollicité dans le Big Data avec le déploiement en production des projets. Sa demande augmente à cause d’un regain d’intérêt du marché pour la Data Visualisation.  

Métier #6 : le Développeur

Vous vous orientez vers ce métier si vous souhaitez aider les entreprises sur les aspects applicatifs de leur projet Big Data.  Ce métier est comme son nom l’indique, le développement logiciel. Il fait référence à la capacité d’utiliser avec maîtrise un langage de programmation (Java ou scala principalement) et des API spécialisées dans le Big Data pour développer des briques applicatives qui vont compléter une plateforme de traitement massivement parallèle telle que Hadoop, Spark, HBase, etc. Attention ! à la différence du développement que fait l’ingénieur de données ou le Data scientist qui porte directement sur la data, celui du développeur est purement logiciel et porte directement sur la plateforme.  Le développeur Big Data au sens strict du terme sait manier l’exécution parallèle des travaux sur Hadoop, il sait faire du développement distribué, de la coordination de service, gérer la tolérance aux pannes, rendre un système cohérent etc. Ce métier est le métier historique du Big Data. Sa demande a dans un premier temps émergé à cause de la complexité des technologies Hadoop, ensuite elle a baissé avec l’intégration du SQL dans les plateformes Hadoop. Aujourd’hui, sa demande reste stable. Nous pensons qu’avec l’intégration de plus en plus continue du SQL dans Hadoop et Spark, la demande pour ce métier risque à terme (horizon 2021 – 2022) de disparaître.

Métier #7 : le Data Scientist

Vous vous orientez vers ce métier si vous souhaitez aider les entreprises sur les aspects opérationnels de la valorisation de leurs données. Ce profil intervient en aval de l’ingénieur de données. C’est un métier qui consiste essentiellement à « faire parler les données ». Le métier de Data Scientist exige des compétences en modèles mathématiques comportementaux (autrement dit des modèles mathématiques qui permettent d’expliquer ou anticiper l’évolution d’une variable). Des exemples de tels modèles sont : la régression linéaire, la régression logistique, la LASSO, la Bridge, les arbres de décision, les perceptrons multi-couches, la statistique descriptive, l’inférence statistique, les K-moyennes, les K-plus proches voisins, le CHAID 2, etc.  La connaissance de ces modèles est la clé de voûte du métier de Data Scientist. Ces techniques sont utilisées pour anticiper le comportement d’une variable, recommander des actions à effectuer, catégoriser les données en fonction de leur degré de similarité. Par exemple, dans l’e-commerce et les réseaux sociaux, c’est le Data Scientist qui développe les algorithmes de recommandation qui tournent derrières les « personnes que vous pourriez aussi connaître », les « produits que vous pourriez aussi acheter », les « pages que vous pourriez aussi aimer ». Dans le domaine de la banque, les data scientists développent des modèles de scoring qui permettent de prêter ou pas de l’argent à un individu, d’investir ou de ne pas investir sur un projet, de définir et proposer des offres en fonction du profil de chaque client, etc. La demande pour ce métier est en baisse malgré tout le tapage médiatique qu’il bénéficie ces derniers temps (cf. intelligence artificielle, chatbots). Cette baisse est dûe au recul des projets industriels de Data Science. De nombreux Data Scientists sont en train de se réorienter en Data Engineering/Data Analyst.  Par contre, nous avons un avis un peu mitigé sur les horizons de ce métier. Nous pensons que la demande restera stable et que les projets de Data Science industriels finiront par émerger à un moment ou un autre.

Voilà ! Nous vous avons livré nos prévisions des 7 métiers porteurs du Big Data dans l’horizon 2019-2020. La première étape pour saisir les opportunités du Big Data est de choisir de s’orienter vers l’un de ces métiers,  ensuite de développer les aptitudes stratégiques, émotionnelles, communicationnelles, négociationnelles et financières nécessaires pour y travailler de façon efficace. Procurez-vous l’ouvrage suivant pour développer les compétences de base dont vous avez besoin pour travailler efficacement dans l’un des métiers du Big Data.