Fiche Métier – Consultant Big Data : Missions, compétences, salaire, formation

Vous souhaitez vous orienter dans la Data en tant que consultant Big Data ? Vous avez la fibre de consultant ou de prestataire et ne vous projetez pas forcément dans une entreprise fixe ? Très bien ! Le moment est approprié pour vous lancer, car la viabilité de la majorité des modèles économiques des entreprises de la nouvelle économie dépend de l’exploitation intelligente de la donnée.

Les entreprises ont de plus en plus besoin de prestataires formé(e)s aux approches de traitement massivement parallèle de données et aux consultants capables de les accompagner dans tout le cycle de vie leur projet Big Data. Faites un tour sur indeed.fr et tapez-y “Consultant Big Data” et vous aurez la pleine mesure de ce que nous disons !

Cette chronique est une fiche métier dans laquelle nous vous expliquer les étapes complètes à suivre pour devenir consultant Big Data. Nous allons y parler de ses missions, ses compétences principales, son salaire et des formations à suivre pour s’y orienter.

Le métier de Consultant Big Data

À la différence des autres profils du marché de la Data, qui sont dans la plupart du temps des salariés d’une entreprise, le consultant Big Data est d’abord et avant tout un consultant. Cela signifie qu’il intervient comme prestataire dans l’entreprise, souvent en tant qu’indépendant ou en tant que salarié d’une ESN (ex-SSII).

Ainsi, en tant que prestataire, la mission principale du consultant Big Data est d’accompagner son client (l’entreprise dans laquelle il est mandaté) dans ses projets Big Data. En fonction du périmètre négocié avec le client dans le contrat, son intervention peut être situé en amont du projet dans la conception (activités MOA), ou en aval dans la réalisation technique (activités de MOE), ou alors carrément dans l’ensemble du cycle de vie du projet.

A la base, c’est un consultant spécialisé dans l’exploitation des données, notamment les méthodes d’informatique décisionnelle (Business Intelligence) et le Big Data. Il n’a pas forcément le même niveau technique qu’un Data Engineer, mais dispose des compétences méthodologiques nécessaires pour accompagner ses clients dans l’expression de leurs besoins. Son niveau technique lui permet de croiser des données en utilisant des ETL, ou des frameworks de calcul massivement parallèle tels que Hadoop, Spark ou Teradata. Il aide les entreprises à venir à bout de leurs problèmes de qualité de données, de validation de la conformité de données aux règles de gestion définies par les directions métiers, bref le management de leurs données.

La demande pour ce métier est en hausse constante depuis 2016 et est drivée par la transition de plus en plus croissante des entreprises des systèmes de Business Intelligence traditionnelle vers les systèmes Big Data et par la mise en œuvre de Data Lab.

Les missions d’un Consultant Big Data 

Comme vous l’avez constaté précédemment, le rôle du consultant Big Data consiste à accompagner ses clients dans la maîtrise d’ouvrage ou dans la maîtrise d’œuvre de leurs projets data. De ce rôle découlent ses 4 missions principales :

• Accompagner son client dans la conception de son projet Big Data : cette tâche relève de la MOA et implique l’accompagnement dans l’expression des besoins de l’entreprise par rapport à son projet Data, la traduction de ces besoins exprimés en spécifications fonctionnelles claires, la rédaction du cahier de charges qui en découle et la conception de l’architecture technique nécessaire pour le projet. L’architecture peut être globale, par exemple pour des projets de construction de data lake, ou alors locale, pour des cas d’usage spécifiques, émanant des directions métiers précises. Dans ce cas de figure, le Consultant Big Data peut être emmené à définir et valider les choix architecturaux des solutions [Big] Data à adopter. Par exemple, se prononcer sur le fait qu’on reste sur des architectures Business Intelligence ou qu’on parte sur des architectures Big Data, ou encore se prononcer sur le choix des outils (Hadoop, Spark, Teradata, Informatica, Talend, etc…).
• Cadrage du projet : cette activité relève également de la MOA. Il est question pour lui de traduire les spécifications fonctionnelles en spécifications techniques, de planifier et estimer le coût du projet dans son ensemble après consultation avec les autres acteurs de l’entreprise (ce qui suppose rencontrer les utilisateurs et les différents acteurs impactés par le projet dans l’entreprise, organiser des workshops, réunions et séances de travail avec eux, pour identifier leurs besoins), suivre le projet dans sa mise en œuvre.
• Effectuer des analyses décisionnelles : le consultant Big Data est d’abord et avant tout un consultant décisionnel. Dans le cadre de ses fonctions, il sera appelé fréquemment à faire des travaux de consolidation menant à des reporting qui soutiendront la prise de décision, il développera des tableaux de bord et des indicateurs de performance (KPI) à l’aide de différentes technologies de Business Intelligence.
• MOE Big Data : dans certains cas de figure, il est directement confronté à la réalisation proprement dite du projet. Dans ce cas, il va fournir l’expertise technique et technologique nécessaires pour développer les solutions Big data appropriées aux différents cas d’usage émanant des unités métiers de l’entreprise (choix des technologies Big Data adaptées aux cas d’usage métier, développement des applications Big Data à l’aide des technologies de l’écosystème Hadoop, modélisation et implémentation de bases de données, construction du Data Lake, etc).

Voilà les 4 principales missions du consultant Big Data. Maintenant, nous allons vous montrer les compétences requises pour le devenir.

Quelles sont ses compétences clés ?

Le cadrage de projet, l’expression des besoins, l’uniformisation des données, la consolidation pour des analyses décisionnelles, et le développement de solutions applicatives nécessitent des compétences très diverses aussi bien d’un point de vue méthodologique que d’un point de vue technique.

De façon inhérente à la diversité des problématiques qui sont propres à la Data de façon générale, et du Big Data en particulier, le consultant Big Data se doit d’être un profil avec une large panoplie de compétences. Ses compétences peuvent être synthétisées en 2 grandes catégories : les compétences MOA, et les compétences MOE.

• Les compétences MOA : il s’agit des compétences méthodologiques, axées sur la maîtrise d’ouvrage d’un projet Data. Il s’agit donc par exemple de la capacité à mener des entretiens avec des utilisateurs pour extraire leurs besoins, la capacité à transformer ces besoins en spécifications fonctionnelles et techniques, la capacité à rédiger ces spécifications de façon normalisée et les transformer en cahier de charges, la capacité à animer des réunions, estimer un projet d’un point de vue financier, et le suivre de bout-en-bout jusqu’à la fin.
• Les compétences MOE : qui font plus référence à la mise en œuvre opérationnelle du projet. Les compétences de MOE sont doubles puisqu’il est question d’une part de comprendre d’un point de vue conceptuel comment aborder chaque problématique de management de la donnée. Par exemple, pour aborder les problématiques de base de données, il faut connaître les différentes catégories de SGBD (SQL, NoSQL, NewSQL, Orienté colonne, clé/valeur, etc.), la modélisation décisionnelle en étoile, le stockage en environnement distribué, les cubes OLAP, etc. Tandis que pour aborder les problématiques de traitement de données streaming, il faut maîtriser les concepts de sémantique de livraison de message, sémantique Exactement-Une-fois, diffusion atomique des messages, bus de données, système de messagerie publish-subscribe, etc. Chaque problématique data a ses exigences propres, et le consultant Big Data doit avoir une compréhension globale de la façon dont on adresse ces exigences pour mieux conseiller ses clients. D’autre part, il est question de maîtriser les technologies, outils et langages spécifiques à chaque problématique. Ces compétences sont indispensables pour la mise en œuvre des projets de ses clients. Par exemple, si on considère les problématiques d’interrogation à large échelle de données, les aborder techniquement nécessitera la maîtrise des frameworks Hadoop, Spark, Kafka, HBase, Cassandra, Hive, Pig, Oozie, la maîtrise des outils décisionnels (ETL, Business Object, Cognos, Teradata, SAP HANA, Microsoft BI, etc). Il faudra également maîtriser des langages de programmation tels que SQL, HiveQL, CQL, ou encore Python. Vous voyez donc que les compétences à développer sont à géométrie variable en fonction des problématiques Big Data en vigueur.

Matrice de compétences complètes du consultant Big Data :

• Maîtrise des référentiels d’architecture d’entreprise : ITIL, cobIT, Gouvernance IT, TOGAF, SOA.
• Maîtrise des méthodologies de cadrage de besoin : AMOA, UML, BPMN, MERISE, diagrammes de classes, diagramme de cas d’utilisation, MCD, MLD, MPD
• Connaissance des méthodologies de conduite de projets : cycles en V, processus unifiés, méthodologies agiles, méthodologie SAFe.
• Normes et réglementations : bonnes connaissances des normes/réglementations de données en vigueur, et leurs impacts sur le SI d’une entreprise. Par exemple : ISO 10 006, ISO 27001, Bâles, réglementation RGPD, normes ISA, Sarbanes Oxley, etc.
• Connaissance des solutions de bases de données SQL : Teradata, Microsoft SQL Server, SAS Base, SAP Hana, PostgreSQL, OLAP, data warehousing, modélisation multidimensionnelle, MDM
• maîtrise des framework de calcul massivement parallèle de données : Hadoop, Spark, Kafka
• connaissance des techniques d’amélioration de la performance des requêtes et des systèmes de Business Intelligence (OLAP) 
• savoir consolider les données, produire des KPI et construire des tableaux de bord à l’aide d’outils tels que Excel Power BI, Tableau Software, ou encore QlikView.
• forte expertise sur le SQL et dérivés : SQL, HiveQL
• connaissance des langages de programmation : python, scala, java
• connaissance du fonctionnement des systèmes d’exploitation : UNIX, Linux, Solaris, Windows
• connaissance des systèmes NoSQL : Elasticsearch, HBase, Cassandra, Redshift
• connaissance des processus et des outils ETL : Talent open studio, Pig Latin, Sqoop.
• connaissance du fonctionnement des systèmes d’exploitation : UNIX, Linux, Solaris, Windows
• connaissance des systèmes NoSQL : Elasticsearch, HBase, Cassandra, Amazon Redshift.

La figure ci-après illustre de façon synthétique le cercle de compétences du consultant Big Data

Quelles formations pour devenir consultant Big Data ?

Maintenant que vous connaissez les compétences que doit posséder un consultant Data digne de ce nom, il ne vous reste plus qu’à identifier les formations qui vous permettent de les développer.

A titre de rappel, un consultant Big Data accompagne ses clients en tant que prestataire sur l’ensemble du cycle de vie de leurs projets Data. Les besoins pour ce profil sont donc présents dans quasiment tous les secteurs d’activité et vous n’aurez aucun mal à trouver un emploi.

Le moyen le plus évident pour développer vos compétences en tant que Data Engineer est de suivre un programme de Master spécialisé (Ms). Nous avons rédigé une chronique complète dans laquelle nous citons le top 10 des meilleurs Masters Big Data de France.  Vous pouvez suivre l’un de ces Masters pour obtenir ces compétences. Voici 3 exemples de ces Masters :

• Le Master Spécialisé Big Data Telecom ParisTech
• Le Master Big Data de l’EISTI
• Le Master Big Data de l’université Paris Dauphine

Si vous êtes étudiants et sortez tout droit d’école, un autre moyen intéressant serait de combiner un DUT STID  (Diplôme Universitaire de Technologie – Statistique et Informatique Décisionnelle) à un Master statistique ou une école d’ingénieur. Nous couvrons l’ensemble des DUT STID ainsi que Masters disponibles dans la fiche métier du Data Analyst. Voici quelques exemples :

• Le DUT Statistique et informatique décisionnelle de l’université de Paris Descartes
• Le DUT Statistique et informatique décisionnelle de l’université Lumière Lyon 
• Le DUT Statistique et informatique décisionnelle de l’IUT de Lille
• Le Master Econométrie et Statistiques Appliquées de l’Université d’Orléans
• Le Master Exploration Informatique des Données et Décisionnel de l’Université de Paris-13
• Le Master Informatique Décisionnelle – parcours Data Science de l’Université de Lille 1

Si vous n’êtes ni étudiant, ni jeune diplômé, mais un professionnel en pleine reconversion vers le métier, et que vous estimez avoir juste besoin d’un renforcement de compétences dans la data, alors suivre tout un Master n’est pas nécessaire. Vous pouvez dans ce cas suivre simplement une formation professionnelle ou alors passer une certification éditeur.  Nous disposons pour le moment de 3 formations et 3 livres qui renforceront vos compétences dans la partie Big Data :

• Big Data Streaming : le traitement des données streaming et temps réel : l’objectif de cette formation est de vous rendre capable d’aborder avec habileté les problématiques que soulèvent la valorisation des données produites en streaming à large échelle. L’idée c’est de vous équiper des compétences conceptuelles, stratégiques et technologiques nécessaires pour construire l’architecture d’une solution streaming robuste.
• Maîtrisez Spark pour le Big Data avec Scala : l’objectif de la formation est de vous rendre capable de développer des applications Big Data avec Spark en moins de 3 mois.
• Développez des solutions avancées de Big Data Streaming : l’objectif de cette formation est de vous aider à développer des solutions complexes de valorisation de données produites au fil de l’eau et à large échelle.

Vous pouvez aussi vous initier à la data ingénierie avec nos trois ouvrages en la matière :

• Hadoop Devenez opérationnel dans le monde du Big Data : pour développer les compétences de base du Big Data
• Maîtrisez l’utilisation des technologies Hadoop : pour développer les compétences de base sur les l’écosystème des technologies principales du Big Data.
• Big Data Streaming : l’ouvrage pour développer les compétences de base des problématiques des données produites au fil de l’eau.

Vous  pouvez aussi développer vos compétences en passant une ou plusieurs certifications, surtout si vous avez déjà un bon niveau en tant qu’un consultant informatique ou que vous êtes un autodidacte.  Nous vous recommandons la certification suivante :

• Cloudera Certified Professional Data Engineer : offerte par Cloudera, cette certification couvre les aspects d’ingestion, de transformation, de stockage et d’analyse de données sur la distribution Hadoop de Cloudera en utilisant Spark SQL, Spark Shell, Hive, Spark Streaming, Kafka, Flume, Python et bien d’autres outils de la distribution. Pour passer cette certification, Cloudera recommande de suivre la formation qu’elle a baptisée Cloudera’s Spark and Hadoop Developer ;

Voilà ! En passant cette certification, vous obtiendrez les compétences ainsi que la reconnaissance nécessaires pour travailler en tant que consultant Big Data. Si vous n’avez pas la possibilité de suivre ni un Master spécialisé, ni de passer une certification, ni de suivre un Master universitaire ou un DUT, alors vous pouvez vous tourner vers les MOOC (Massive Online Open Course). Les MOOC sont des formations en ligne ouvertes à tous. Vous pouvez retrouver des cours sur la plateforme MOOC Coursera ou Udemy.  Rendez vous sur la plateforme et recherchez les cours qui vous permettent d’obtenir les compétences dont vous avez besoin.

Le salaire d’un Consultant Big Data

Comme tous les métiers de la Data, ce métier est très recherché, et par conséquent son salaire suit, car comme nous l’avons déjà indiqué à plusieurs reprises, le salaire d’un professionnel dépend d’abord et avant tout de sa rareté.  Ainsi, en fonction du niveau de spécialisation du profil, des technologies maîtrisées, de ses aptitudes dans le Big Data, et de son niveau académique, le salaire peut profondément varier d’un consultant à l’autre.

Les consultants Big Data sont généralement des indépendants ou des salariés embauchés par des ESN.  Du coup le salaire peut varier en fonction de la taille de l’ESN (plus  on est dans des ESN de très petite taille ou des ESN spécialisées dans la data, et plus on sera payé. La rémunération aura tendance à diminuer à mesure que le cabinet sera généraliste). Il y’a également le secteur d’activité qui peut influencer le niveau de rémunération du consultant Big Data ; par exemple, en règle générale, le secteur bancaire/financier offre des salaires plus élevés que les autres secteurs de l’économie.

Selon les estimations de Glassdoor, le salaire moyen pour le poste de Consultant Big Data est de  41 358 € par an en France au moment de la publication de cette chronique. Il s’agit là d’estimations basées sur 41 salaires postés anonymement sur Glassdoor par des employés occupant le poste de Consultant Big Data. Le salaire minimum affiché est de 38 000 €, tandis qu’en fourchette haute on est à 55 000 €.

Voilà ! Nous sommes arrivés au terme de cette fiche métier. Comme vous avez pu le voir vous-même, le timing est parfait pour vous orienter vers une carrière de Consultant Big Data, car les entreprises ont de plus en plus besoin des prestataires capables de les accompagner dans toute la chaîne de leurs projets Big Data. Le consultant Big Data, fort de son profil double, est le seul de tous les profils Big Data à pouvoir mettre sur la table à la fois des compétences MOA et des compétences MOE ; ce qui est récompensé par des débouchés nombreux, un salaire élevé quasiment égal à celui des Data Engineer. Je ne peux donc que vous recommander de vous orienter vers ce métier. Chez les éditions Juvénal & Associés, nous mettons à votre disposition de nombreuses ressources et de nombreuses formations pour y parvenir.

Ressources complémentaires

• Les 7 métiers du Big Data
• Fiche métier – Data Engineer
• Fiche métier – Data Architecte
• Fiche métier – Data Analyst