La collecte fait partie des premières étapes du traitement des données. C’est lors de cette collecte que l’on stocke ces données dans un système préalablement établi. Si l’on utilise le langage SQL pour cela, c’est l’instruction INSERT INTO qui est utilisée pour l’ajout de données dans une table d’une base Read more…
Comme nous l’avons évoqué dans notre guide ultime sur Docker, la notion de conteneurisation est un concept très important, surtout si l’on travaille en tant qu’ingénieur DevOps/Cloud ou développeur Big Data. Toujours dans cette lignée, nous allons aujourd’hui vous parler d’un outil permettant d’optimiser le traitement des conteneurs à savoir Read more…
Le monde de l’informatique ne cesse d’évoluer, surtout après l’accélération de la transition numérique provoquée par l’avènement du Big Data. De nouvelles technologies et de nouvelles techniques sont apparues afin de faciliter le déploiement des applications et des sites sur le web. Si vous êtes impliqué dans le domaine de Read more…
Nous avons vu dans notre article sur les 8 métiers porteurs du Big Data que les ingénieurs DevOps/Cloud et les développeurs Big Data font partie des postes les plus recherchés en ce moment dans ce domaine. De ce fait, si l’on souhaite s’orienter vers ces types de métiers, il est Read more…
Quelques temps après avoir défini le cadre théorique des bases de données relationnelles, la seconde partie des travaux de Edgar Franck CODD, mathématicien chercheur à IBM et fondateur du SQL, a consisté à mettre sur pied un mécanisme par lequel un logiciel de base de données pourrait traduire et exécuter Read more…
Vous êtes un passionné du développement d’applications web ? Souhaitez-vous développer des applications mono-pages ? Ou voulez-vous seulement améliorer l’aspect front-end pour votre carrière de développeur full stack ? Alors, vous devez à tout prix apprendre React JS. Dans ce tutoriel exhaustif, vous allez apprendre à développer des applications web Read more…
Le 11 Juin 2009 Lors de la conférence sur les bases de données distribuées tenue à San Francisco, le terme « NoSQL » a été utilisé sur Twitter pour notifier l’évènement. Quelques temps plus tard à l’issue de cette conférence, une nouvelle catégorie de Systèmes de Gestion de Bases de Données (SGBD) Read more…
Dans l’environnement informatique, plus précisément dans le monde du Big Data, les technologies évoluent très vite et changent drastiquement. Si l’on travaille dans ce domaine en tant que Data Engineer, il est important de se mettre toujours à jour en faisant ce qu’on appelle de la veille technologique. Mais il Read more…
Apache Spark est un moteur de calcul distribué In-Memory, le tout premier du genre. D’ailleurs, il est même le principal moteur In-Memory distribué du marché et de la fondation Apache. Spark a été conçu aussi bien pour le calcul Interactif que le calcul itératif. Spark affiche des performances qui sont Read more…
Vous le savez déjà peut-être, mais la base du développement d’applications de Big Data Streaming avec Kafka se déroule en 3 étapes, à savoir, 1 – déclarer le Producer, 2- indiquer le topic de stockage 3- et déclarer le Consumer. En ce qui concerne le Producer, il existe 2 façon de le déclarer : Read more…
Dans cette chronique, nous allons finaliser la série sur le Big Data dans le Cloud afin de vous rendre opérationnel sur le sujet. A titre de rappel, le déploiement de l’IT Cloud computing apparaît aujourd’hui comme étant un modèle rentable économiquement pour les entreprises. Le Big Data ne fait pas Read more…
Malgré ses nombreux avantages, il n’en demeure pas moins que les dangers du cloud computing sont sérieux et qu’il vaux mieux ne pas les ignorer. Dans cet article, nous exposerons les 2 dangers prominents du Cloud Computing à notre sens
La solution conceptuelle au problème de traitement de données dans l’ère Numérique est la suivante : les traitements/calculs doivent être divisés en tâches et leur exécution doit être parallélisée dans un cluster d’ordinateurs complètement tolérant aux pannes. La tolérance aux pannes est fournie par un tout nouveau type de Système Read more…
Dans le tutoriel précédent : le SQL dans Hadoop – Hive & Pig, vous avez appris comment utiliser une abstraction pour exécuter des instructions SQL compatibles avec la norme ANSI 92 telle que Apache Hive sur Hadoop. Dans ce tutoriel, nous allons aller plus loin. Nous allons vous montrer comment Read more…
Nous allons vous présenter les formations et les moyens disponibles pour développer vos compétences et travailler dans le Big Data.
Le 3 Octobre 2018 dernier, Cloudera a annoncé sa fusion avec Hortonworks.
Vous souhaitez vous orienter vers les métiers de la Data ? Vous souhaitez devenir Ingénieur Big Data ? Le moment est approprié pour vous lancer, car c’est la data qui alimente toute les activités de nos société numérique actuelle ; par exemple : la régie publicitaire est de plus en plus basée Read more…
Vous souhaitez vous [ré]orienter vers un métier du Big Data ? En particulier, vous souhaitez devenir Data Engineer ou Architecte Big Data ? Vous recherchez une formation qui peut vous permettre d’acquérir les compétences nécessaires pour travailler dans ces métiers ? Alors, vous êtes au bon endroit. Dans cet article, nous allons vous Read more…
L’objectif ultime du « Big » Data, c’est l’information, l’extraction de l’information pertinente pour la prise de décision, ce que beaucoup qualifient par “valeur” ou “insights“. L’objectif du “Big” Data est l’information. Malheureusement, malgré la disponibilité des technologies du Big Data, beaucoup d’entreprises et d’organisations ont encore du mal à obtenir l’information dont ils ont besoin. Read more…
En Juin dernier, un journaliste nous a posé la question suivante : Juvénal, votre ouvrage Hadoop – Devenez opérationnel dans le monde du Big Data aborde le problème de la compréhension des technologies Hadoop. Selon vous, les entreprises françaises ont-elles atteint un niveau de maturité suffisant pour faire éclore des projets Read more…
Besoin de mettre en place une liaison entre votre base de données (Oracle, Teradata, DB2, MySQL ou SQL Server) et votre cluster Hadoop ? Dans cet article, nous vous montrerons comment transférer les données de vos bases de données opérationnelles dans un cluster Hadoop à l’aide de Sqoop. Sqoop ou Read more…
Le Big Data est résolument tourné vers la valorisation et l’exploitation de la donnée. Le contexte actuel et la majorité des approches de gestion de projet (les méthodes agiles, SCRUM, KANBAN, Lean, Six Sigma, SAFe, …) exigent que les salariés et l’ensemble des professionnels de l’entreprise aient un accès opportun Read more…
Vous travaillez sur des projets de reporting, Business Intelligence, Big Data et vous avez du mal avec vos requêtes ? Vos bases de données SQL prennent trop de temps pour s’exécuter ? Vos requêtes SQL sont trop lentes ? Dans cette chronique, nous vous expliquerons l’approche technologique utilisée pour interroger efficacement les bases de données
L’objectif ultime du Big « Data », c’est l’information, l’extraction de l’information pertinente pour la prise de décision, ce que beaucoup qualifient par « valeur » ou « insights« . L’objectif du « Big » Data est l’information. Malheureusement, malgré la disponibilité des technologies du Big Data, beaucoup d’entreprises et d’organisations ont encore du mal à obtenir l’information dont ils ont Read more…
Comment tirer profit de la crise engendrée par le corona virus ? Tout dans cette chronique
Après plus de 5 ans, le phénomène de Big Data n’était-il finalement qu’une mode ? Les besoins du big data sont-ils réels ou ont-ils été inventés par le tapage médiatique ?
le Big Data est la niche du marché de l’IT la plus rentable actuellement et dans les années à venir. Attention !!! Une spéculation est en cours !!!
Les entreprises qui souhaitent exploiter leurs données utilisent aujourd’hui Hadoop d’une manière ou d’une autre. Cependant, la valorisation des données a entraîné un foisonnement de problématiques qui nécessitent des réponses technologiques aussi différentes les unes que les autres. Hadoop a beau être le socle technique du Big Data, il n’est Read more…
En juillet 2014 dernier, l’ex ministre Arnaud MONTEBOURG présentait les 34 plans de la Nouvelle France Industrielle (NFI), un projet de ré industrialisation dont l’ambition est de positionner la France stratégiquement sur le Big Data. Par ce projet, l’Etat montre officiellement que malgré l’engouement médiatique qu’il y’a autour du Big Read more…
Depuis que Facebook a annoncé en 2012 le transfert de son data Warehouse longtemps hébergé sur Oracle vers un cluster Hadoop, les Fortunes 500 (grandes entreprises) ont suivi son exemple en commençant elles aussi à l’adopter, au moins en pilote. Aujourd’hui, toutes les entreprises qui ont décidé de tirer profit Read more…
Selon l’ancien PCA de Google EricSchmidt, l’humanité produit tous les 2 jours autant de données qu’elle n’en a générée depuis l’aube de la civilisation jusqu’en 2003. Selon les études de l’IDC, cela correspond à 2 Go de données produits tous les jours par chaque homme, femme et enfant sur la Read more…
Vous souhaitez vous lancer dans le Big Data ? Vous êtes en reconversion ? Ou alors vous êtes un étudiant et vous souhaitez vous orienter vers le Big Data ? Cette chronique a été rédigée pour vous. Vous allez y apprendrez les 6 principaux métiers du Big Data vers lesquels vous orienter Read more…