"Vous équiper des compétences de base nécessaires pour travailler dans le Big Data"
Notre vision et les objectifs du projet
Quel est le but de ce site ? êtes-vous à la bonne adresse ? Prenez le temps de lire ceci et vous comprendrez :
Il est maintenant bien établi que nous sommes en plein dans le Big Data ! Traditionnellement, le raisonnement derrière les technologies de gestion des données consiste à centraliser le stockage et le traitement des données dans le serveur d’une architecture client/serveur. Le serveur central ici est une machine très puissante, conçue sur mesure par des sociétés spécialistes de l’infrastructure informatique comme EMC, Lenovo, Dell ou encore HP.
Dans l’ère des Big Data, ce raisonnement ne fait plus sens. En effet, l’échelle de croissance des données aujourd’hui surpasse la capacité raisonnable des technologies traditionnelles, ou même la configuration matérielle typique supportant les accès à ces données. Le raisonnement approprié désormais consiste à distribuer le stockage des données et à paralléliser leur traitement sur les nœuds d’un cluster. Malheureusement, bien que ce raisonnement soit en train de progressivement s’installer dans toutes les technologies d’exploitation des données, les approches distribuées qui le fondent ne sont pas [encore] popularisées.
Les entreprises ont de plus en plus besoin de spécialistes formé(e)s aux approches de traitement massivement parallèle de données et au stockage distribué. Faites un tour sur indeed.fr et tapez-y “Big Data”, vous comprendrez de quoi nous parlons !
Vous êtes sur le site du projet DTN (Data Transition Numérique). A travers ce projet, mon but (moi et mes équipes) est de vous équiper des compétences de base nécessaires pour travailler dans le Big Data.
Qu’est-ce qu’une compétence de base en Big Data ?
Ce que nous entendons par “compétences de base“, ce sont des compétences génériques, de long terme, indépendantes de l’évolution technologique qui vous permettent d’acquérir des compétences spécialisées. Par exemple, l’anglais pour nous francophones est une compétence générique sur laquelle nous pouvons bâtir plusieurs autres compétences spécialisées. La programmation orientée objet est une compétence de base qui vous permet de faire de l’orienté-objet sur n’importe quel langage de 3 ème génération. Le traitement de texte est une compétence de base sur laquelle vous pouvez développer des compétences spécialisés comme Word, Open office, etc. Vous comprenez l’idée…
Une de mes convictions fortes est que dans le monde où nous sommes aujourd’hui, les changements du Numérique sont beaucoup trop rapides et beaucoup trop brusques pour fonder sa valeur sur une technologie en particulier. Par ailleurs, en vertu de la loi économique de la rareté, le salaire d’un individu n’est pas fonction de son ancienneté ou de son niveau d’expérience, mais de sa rareté. N’est-ce pas ? Le problème avec cette loi c’est que dans le Big Data, la rapidité des progrès technologiques fait qu’il est de plus en plus difficile d’être rare (ou de se différencier). Les technologies évoluent tellement vite qu’il est devenu inutile de suivre leur évolution. Lorsque vous vous spécialisez technologiquement, vous prenez le risque d’être obsolète à peine quelques mois ou années plus tard. Le temps moyen de péremption d’une technologie aujourd’hui est estimé à 6 mois et il est établi que la moitié des technologies qu’un étudiant en informatique apprend lors d’un programme de Master est démodé lorsqu’il arrive à la troisième année du programme d’étude. Ce phénomène n’est pas juste propre au Big Data.
A cause de tout cela, pour atteindre notre but qui est de vous “équiper des compétences de bases nécessaires pour travailler dans le Big Data“, nous avons mis en place ce projet, ndlr DTN (Data Transition Numerique – Transition Numérique des métiers de la donnée) avec une structure juridique propre par le biais duquel nous délivrons des ouvrages techniques, des formations complètes, des manifestes, des kits d’apprentissage, des tutoriels et des ressources qui vous aideront chacun à monter en compétence sur chaque aspect du Big Data. Que vous soyez étudiant souhaitant vous orienter vers le Big Data, un professionnel en reconversion, ou encore un professionnel, manager qui travail sur un projet Big Data et qui a besoin d’aide technologiquement ou stratégiquement parlant, vous retrouverez sur ce site tout ce dont vous avez besoin pour travailler efficacement dans des projets Big Data.
En réalité, pour être complètement opérationnel dans le Big Data, vous devez maîtriser 4 aspects interdépendants :
- L’infrastructure technologique : les architecture de traitement massivement parallèle, les architectures de stockage distribuées, les stratégies nécessaires pour gérer les données à large échelle, les briques technologiques qui y sont impliquées, les relations qu’elles entretiennent et leur fonctionnement.
- Le Stockage : Les approches conceptuelles, les stratégies et les technologies nécessaires pour stocker de façon efficace les données à large échelle tout en respectant les contraintes métiers.
- Le traitement : Les stratégies et technologies de valorisation de données à large échelle pour la prise de décision, l’usage opérationnel.
- Le leadership : les compétences stratégiques, organisationnelles et financières nécessaires pour faire fonctionner efficacement les trois éléments dans l’entreprise et profiter personnellement (ou corporativement) des opportunités de la data. Par exemple, l’économie, l’intelligence financière, l’analyse d’un marché, la négociation, la gestion de projet, la communication, le travail en équipe, etc.
Dans nos pays francophones malheureusement, chacune de ces briques correspondent à un métier spécifique (par exemple Data engineer, DBA, Data Scientist, Scrum master, etc.…). Ainsi, le développeur n’est que Développeur, ne fait que du Développement sans jamais être conscient de ce que font les autres, ne mange qu’avec les développeurs ne fait carrière que dans le développement… Vous voyez ce que je veux dire… (attention ! moi-même j’ai fais du développement, je suis passé par cette case).
Dans ce projet DTN, nous vous emmènerons au-delà de ces conventions sociales, et schémas de pensées préétablis. Nous vous emmènerons à voir les deux côtés de la pièce, car l’opportunité se perçoit vraiment qu’en ayant une vision d’ensemble et non en restant focalisé sur un seul aspect des choses.
A chaque saison (qui pourra aller de 3 mois à 1 an), vous recevrez des informations (tutoriels, chroniques, vidéos, e-book, vidéo-conférence, etc.) sur un aspect spécifique du Big Data et nous évoluerons ainsi jusqu’à ce que tous les aspects soient couverts. Actuellement, nous avons fini la couverture du premier aspect, l’infrastructure logicielle. Cela s’est caractérisé la sortie de la première édition des trois ouvrages suivants :
Hadoop – Devenez opérationnel dans le monde du Big Data
la première étape dans votre parcours. Son but est d’une part de vous orienter dans le métier du Big Data qui correspond à votre profil et vos aspirations professionnelles et d’autre part vous aider à comprendre le fonctionnement du socle des technologies Big Data.
Maîtrisez l’utilisation des technologies Hadoop
la deuxième étape du parcours et la deuxième ressource du projet. Il est l’ouvrage qui permet d’obtenir du recul sur les technologies du Big Data et “d’avoir les mains dans le cambouis“. Vous y apprenez à utiliser de façon professionnelle 18 technologies clés de l’écosystème Hadoop, à savoir Spark, Hive, Pig, Impala, ElasticSearch, HBase, Lucene, HAWQ, MapReduce, Mahout, HAMA, Tez, Phoenix, YARN, ZooKeeper, Storm, Oozie et Sqoop.
Big Data & Streaming – Traitement streaming et temps réel des données en Big Data
la troisième étape du parcours et la troisième ressource du projet. Cet ouvrage vous équipe des compétences dont vous avez besoin pour aborder avec aisance les problématiques de valorisation des données produites en streaming ou en temps réel, et ce à large échelle. De plus, vous y apprendrez les technologies de l’écosystème Hadoop dédiées à l’ingestion et au traitement des données produites en streaming, notamment Apache Kafka, Spark Streaming, Flume, Apache Samza, Apache Storm et S4. Cet ouvrage dispose également d’une formation en elearning que vous pouvez consulter à l’adresse suivante : https://dtn.podia.com/big-data-streaming
Voilà, nous vous avons expliqué le plus simplement possible le but de notre projet et les bénéfices pour vous. Si notre vision ne correspond pas à votre besoin, c’est-à-dire celui de profiter des opportunités que le Big Data a à offrir, alors vous n’êtes certainement pas à la bonne adresse et les ressources que vous trouverez sur ce site ne vous seront surement d’aucune utilité. Cependant, si notre vision répond à votre objectif de travailler dans le Big Data alors vous êtes le ou la bienvenue et nous vous recommandons de commencer par le téléchargement de l’ebook ci-après pour déterminer le métier en Big Data qui correspond à vos aspirations profondes. Nous espérons vous compter parmi notre liste de lecteurs.