Développez des Pipelines Streaming à large échelle

Si c'est le cas, alors il vous faut être conscient d'une chose :  de plus en plus de cas d'usage et de modèles économiques s'appuient sur des données générées en streaming (ou en flux continu). Il peut s'agir de la publicité en ligne avec la facturation par clic, l'analyse du parcours client, la recommandation en temps réel, la détection de fraude, la cyber-sécurité (spécialement avec l'utilisation des SIEM), le tracking des achats, l'analyse omnicanal, ou encore les objets intelligents (compteurs Linky, robots industriels, etc.). Ces cas d'usage ont atteint leur paroxysme depuis les années 2018 avec les objets connectés, l'intégration des capteurs dans les objets de la vie courante (voiture, réfrigérateur, télévision, etc.). C'est ce  type de cas d'usage, caractérisé par une collecte à flux continu et un traitement en temps quasi-réel qu'on qualifie par "Streaming" ou "Big Data Streaming".

Ces problématiques sont de plus en plus préoccupantes pour les entreprises à cause de leurs enjeux concurrentiels et prennent de plus en plus de place et de budget dans les projets Big Data.  Selon le cabinet d'études IDC, en 2021, les entreprises ont dépensé malgré le COVID, plus de 215 milliards de dollars US dans l'acquisition de technologies Big Data qui leur permettraient de venir à bout de ces problématiques streaming, en hausse de 10,1% par rapport à l'année dernière ! 

Ce sont ces dépenses qui expliquent les montées en bourse faramineuses et les levées de fonds spectaculaires qu'on observe actuellement sur le marché par les éditeurs de solutions Big Data   : Snowflake, Confluent Kafka, Spark Databricks, etc.

D'un point de vue conceptuel, pour résoudre ces problématiques, les entreprises doivent mettre en place des pipelines streaming, c'est-à-dire des chaînes automatisées qui gèrent la donnée sur tout son cycle de vie, de son arrivée dans le système jusqu'à sa consommation par les métiers. A la différence des applications développées en Spark qui tournent de façon périodique indépendamment de la fréquence d'arrivée des données, les pipelines streaming traitent la donnée immédiatement dès que celle-ci arrive dans le système, en temps réel. 

Lorsque le débit de réception de ces données devient important comme c'est quasiment toujours le cas avec les objets connectés, les objets intelligents ou encore le tracking applicatif, le Pipeline streaming doit passer à l'échelle et on le qualifie alors de "Large scale Streaming Pipeline" ou Pipeline streaming à large échelle.

Aujourd'hui, les entreprises attendent de tout Data Engineer qu'il soit capable de travailler sur ce type de projets, et comme vous avez pu le voir dans le challenge, elles sont prêtes à les rémunérer en conséquence : de 100 à 120$ de l'heure pour un profil qualifié dans le marché nord américain, et de 580  à 650 € le tjm pour un profil qualifié dans le marché français. 

D'ailleurs, regardez les dernières statistiques réalisées par les jobboards Indeed et Talent sur les salaires des Data Engineer dans leur ensemble. Regardez les écarts de paie qu'il y'a entre les Data Engineers en fonction de leur niveau de compétences :

A gauche, dans le seul marché Québecois, la pente haute au début de la courbe indique que la majorité des Data Engineers gagnent $ 90 000/an, puis la courbe descend avec le nombre de Data Engineers plus qualifiés jusqu'à atteindre les $157 000/an ! Cela signifie que si vous travaillez dans la province du Québec en tant que Data Engineer, vous gagnerez en moyenne 90 000 $/an, par contre si vous êtes bon, qualifié, vous gagnerez à partir de 120 000 $/an, et cela pourra vite monter pour atteindre les  157 000 $/an !! 

Regardez ! Dans le cas du challenge, l'entreprise proposait jusqu'à 192 000 $/an !! Vous pourrez croire que ce salaire est un cas isolé, et pourtant c'est loin d'être le cas.

En Île-de-France (le graphique à droite), la pente haute de la courbe indique que la majorité des Data Engineers gagnent  46 000 €/an, ensuite la courbe s’aplatit rapidement avec la diminution du nombre de profils qualifiés jusqu'à atteindre les 70 000 €/an ! 

Cela veut dire qu'entre 2 Data Engineers en France qui pratiquent le même métier, il y'a un différentiel salarial de 24 000 € ! Dans le marché francophone nord-américain, on est  sur une différence qui frôle même le ridicule : 67 000 $ ! 

Attention !! Ne pensez pas en lisant ces chiffres que "expérimenté" est lié au nombre d'années d'expérience. A 20% oui, mais à 80%, c'est lié au niveau d'expertise du Data Engineer sur une problématique et une technologie particulière (par exemple Spark, Spark Streaming, Apache Kafka, etc.).

Aussi, ne pensez pas que ces statistiques ne sont pas fiables. Elles le sont car elles émanent des salaires remplis par les entreprises elles-mêmes sur les annonces qu'elles publient sur ces jobboard (106 salaires au Québec, et 873 en île-de-France) . De plus, de part mon expérience, je peux attester que ces chiffres sont la réalité du marché aujourd'hui puisque je suis moi-même sur le marché.  

De toute les façons, si les entreprises sont prêtes à dépenser à l'échelle globale plus de 215 milliards de dollars pour se procurer des solutions Big Data, ce n'est pas payer un Data Engineer qui maîtrise l'utilisation de ces solutions 580 € de tjm ou 100 $/h qui leur poserait un problème. 

Leur plus gros problème ce sont les compétences ! Elles n'arrivent pas à trouver des Data Engineers suffisamment qualifiés pour les accompagner dans leurs projets. Spécifiquement, elles n'arrivent pas à trouver des profils qualifiés, capables de :  

1- résoudre les contraintes liées au traitement de données générées en streaming ou en temps réel

2- développer des pipelines streaming de bout-en-bout,  les déployer en production, et les faire évoluer. 

Donc, si vous êtes capables d'aller au delà des simples requêtes SQL, du simple script shell,  du simple notebook Python ou Spark, qui sont les tâches qui sont souvent demandées aux Data Engineers, alors vous ferez partie du top 5% des Data Engineers qui gagnent à partir de 120 000 $/an dans la province du Québec, ou à partir de 60 000 €  en Île-De-France !

Lorsque j'observe le marché, ma prédiction c'est que dans quelques temps, il n'y'aura plus de place pour les profils de Data Engineers classiques. Il n'y'aura plus de marché pour les débutants, car avec les enjeux et le volume de données que les entreprises doivent gérer aujourd'hui combinés au niveau de complexité de l'infrastucture informatique (DevOps, DevSeCoPS, MLOps, Cloud, Cluster, On-premise, etc...), elles ne peuvent plus se permettre de recruter des profils moyens, des profils qui ont une connaissance partielle du traitement de données à large échelle.

Clairement, si vous souhaitez vous positionner en tant que Data Engineer aujourd'hui et réussir votre carrière dans le futur, vos compétences en Big Data doivent aller bien au delà du simple SQL, du notebook Python ou du script Shell.

Cela veut dire qu'à la fin de la formation, vous serez capable de développer individuellement l'ensemble des composants d'un Pipeline Streaming, et le déployer en production à large échelle, tout cela à partir de votre simple PC et rien d'autre ! 

La formation couvre l'intégralité des 8 activités du cycle de vie du développement d'un Pipeline streaming à large échelle telles qu'illustrées par l'image suivante :

La formation est structurée en 8 parties, une pour chacune des activités du cycle du développement d'un pipeline streaming à large échelle et totalise 64 sessions vidéo pratiques d'une durée de 25 h 45 min. Les 25 h 45 min sont réparties selon le programme suivant :

Pour vous permettre d'asseoir les acquis pédagogiques et les compétences que vous aurez obtenus dans cette formation, la formation est  illustrée par 13 projets techniques avec des jeux de données réels que vous aurez à réaliser tout au long de celle-ci. Voici la liste de ces projets :

Vous pouvez retrouver l'ensemble de ces projets dans le répertoire GitHub des éditions Juvénal & Associés.

Cette formation a été conçue pour  toutes les personnes qui souhaitent devenir Data Engineer. Elle sera adaptée pour les 4 types de profils suivants :

P.S.: cette formation vous propulsera au rang des meilleurs Data Engineers de toute la francophonie. Elle fera de vous le référent technique des projets Big Data Streaming de votre entreprise, ce qui vous ouvrira un champs de possibilités professionnelles et financières que vous n'imaginez même pas !

 Je vous le dis par expérience car j'exerce en tant que Référent technique sur les projets Big Data depuis 2015, et je sais moi-même à quel point il est difficile de trouver des Data Engineers capables de développer un pipeline streaming automatisé.  C'est d'ailleurs ce qui m'a motivé à créer cette formation. Vous avez vu le challenge que nous avons réalisé pendant la semaine et la rémunération qui y était associée n'est ce pas ? Dites-vous bien que ce type de rémunération et d'opportunités sera votre partage une fois que vous aurez acquis les compétences de cette formation. 

Faites-moi confiance, inscrivez-vous, devenez un Data Engineer confirmé grâce à la formation et regardez les opportunités du Big Data s'attacher à vous !