Vous souhaitez mener des analyses de données avec Python ? Panda Python vous évoque quelque chose ? Il faut savoir que la tâche principale attendue pour les Data Analysts ou les Business Analysts en entreprise est l’analyse de données. Cela implique notamment, le croisement de données à large échelle, l’uniformisation Read more…
Lorsque l’on travaille dans le Big Data, il est important de se doter des meilleurs outils possible afin de mieux gérer les tâches qui nous sont confiées. Dans cet article, nous allons vous présenter un outil, ou plus précisément l’IDE IntelliJ, essentiels pour une personne souhaitant œuvrer dans le Big Read more…
Dans toutes applications, surtout en Big Data, on sera toujours amené à effectuer des traitements sur un ensemble de données, que ce soit dans une base de données ou dans d’autres structures de données. Et pour que ce traitement puisse se faire, il va nous falloir une méthode d’itération qui Read more…
L’utilisation du langage Java dans le Big Data est indiscutable puisqu’il est la source des frameworks massivement parallèles tels que Hadoop ou Kafka ainsi que de plusieurs autres outils utilisés dans ce domaine. Tout développeur Java qui se respecte et qui souhaite développer des applications Big Data performantes se doit Read more…
Java dispose de plusieurs structures et collections de données. L’ensemble de ces collections se trouvent dans le package Java.util.Map. Les 3 grandes catégories de ces collections sont bien connues, ce sont : le Map, le HashMap, et le TreeMap. Dans le tutoriel hasmap de Java, nous vous avons expliqué comment Read more…
Java est à ce jour, le langage le plus utilisé de la planète. Grâce à sa vaste bibliothèque d’API, Il trouve des applications dans de nombreux domaines, tels que le développement mobile, les applications web, ou encore le développement Cloud. En Big Data, il est à la base de frameworks Read more…
En programmation informatique, les structures conditionnelles sont fondamentales pour implémenter la logique métier dans vos applications. Ces instructions vous permettent d’indiquer des conditions ou des embranchements d’exécution dans vos programmes informatiques. La plus connue d’entre elles est la structure if/else. Java, en tant que langage orienté objet, dispose de plusieurs Read more…
Lorsqu’on développe des applications (que ce soit des applications Big Data ou non) en Java ou dans n’importe quel autre langage informatique, on va forcément faire face aux erreurs. Même après avoir corrigé son application grâce aux tests unitaires, il y’a des situations où les bugs sont inévitables. Par exemple, Read more…
Peut-être vous le savez déjà, mais les 2 langages compilés qui sont les plus adaptés dans le développement d’applications Big Data aujourd’hui sont Java et scala. Aujourd’hui, votre carrière dans le Big Data serait handicapée si vous n’avez pas un certain niveau de connaissance sur ces 2 langages. En réalité, Java et Scala sont adaptés Read more…
L’apparition des nouvelles technologies et l’explosion du volume de données ont suscité l’importance du métier de Business Analyst. Le Business Analyst, ou en français «Analyste d’Affaires» travaille au cœur de la direction financière d’une entreprise. Il est l’interlocuteur privilégié des décideurs de l’entreprise, et est au cœur de toutes les décisions prises par le pôle Read more…
Vous souhaitez vous orienter dans un métier qui requiert la maîtrise d’un langage de programmation comme les métiers du Big Data ? Alors vous savez que la programmation informatique n’est pas une compétence optionnelle pour vous. Dans les métiers de la data, l’un des langages prédominants après scala c’est le Read more…
Dans le siècle précédent, on considérait comme illettrés, les personnes qui ne savaient ni lire, ni écrire. Aujourd’hui, dans le monde numérique où nous vivons, il est admis que les illettrés de ce siècle sont ceux qui ne savent pas programmer. Pourquoi ? Simplement parce que les activités du numériques Read more…
La transformation numérique de la société, accentuée avec la pandémie du covid-19, a forcé les entreprises à exploiter la donnée pour améliorer leur performance. Désormais, la viabilité de la majorité des modèles économiques de notre époque dépend de l’exploitation intelligente de la donnée. Vous souhaitez vous orienter vers un métier Read more…
Vous souhaitez apprendre à développer des applications informatiques ? Vous souhaitez développer des applications de données ? Alors vous devez impérativement apprendre la programmation orientée objet. Pour développer applications de traitement de données performantes (que ce soit des applications de base de données, des middleware, des applications de reporting, etc…), Read more…
Développer des applications Big Data requiert la maîtrise du paradigme de programmation fonctionnelle. La programmation informatique classique n’est pas suffisante, car lorsqu’on veut traiter les données à large échelle dans un cluster, on fait face à des contraintes qui ne peuvent pas être résolues à l’aide des simples outils de Read more…
La valorisation réussie des données repose sur la stratégie de gestion de données définie en amont lors de la conception du système informatique de l’entreprise. Il est d’ailleurs de coutume dans le milieu de dire « Big Data without Analytics is just data », en d’autres termes : Le « Big » Data sans l’analyse Read more…
Aujourd’hui, pour organiser les données de façon efficace, on a le choix entre plusieurs approches : Le Data Lake, le Data Lab, le Data Warehouse, le Data Mart ou encore le Data Hub. Mais ce qu’on oublie c’est que toutes ces approches ont le même ancêtre en commun : l’infocentre. Read more…
Un data center est une expression anglaise qui signifie “centre de données” ou centre informatique plus vulgairement. C’est un lieu physique regroupant les équipements du système informatique d’une entreprise tels que : les ordinateurs, les serveurs, le stockage redondant RAID, les équipements réseaux et télécommunications, etc. Dans le cadre du Big Read more…
Vous en avez marre de la routine professionnelle ? Vous êtes épuisés de toujours faire la même chose ? Vous Souhaitez changer de métier ? Vous désirez vous reconvertir en informatique ? Vous êtes au bon endroit ! De nos jours le numérique est d’une importance capitale et l’informatique fait désormais partie des Read more…
Vous êtes passionnés par les métiers de la Data ? Vous souhaitez travailler dans la maîtrise d’ouvrage ? Excellente nouvelle ! Nombreux, sont les choix qui vous sont offerts. Vous pouvez vous orienter en tant que consultant AMOA spécialisé dans le Big Data. Cette chronique est une fiche métier dans laquelle Read more…
Vous souhaitez vous orienter vers le métier de consultant informatique ? Vous êtes au bon endroit ! L’informatique fait partie des métiers les plus demandés et rentables de notre ère. Les grandes entreprises recherchent à chaque instant des spécialistes en informatique, en conseil, … car leur intervention est devenue indispensable Read more…
De nos jours, où le digital est devenu notre quotidien, la majorité des modèles économiques s’appuient sur la valorisation des données. En effet, avec le temps, de nombreuses entreprises ont accumulé tout un vaste actif de données et ont besoin d’un professionnel spécialisé dans la gestion de ces données, et Read more…
Vous souhaiter apprendre un langage de programmation ? Vous souhaitez vous orienter dans un métier qui requiert la maîtrise d’un langage fonctionnel comme les métiers du Big Data ? Alors en choisissant Scala, vous avez fait le bon choix ! Dans les métiers de la data ou de la programmation, Read more…
Dans la chronique précédente de cette série sur le développement d’une solution de cybersécurité à l’aide du Big Data, nous avons parlé intensément des SIEM. Comme vous l’avez vu, les architectures des solutions SIEM s’appuient sur 3 grands composants : un composant de collection de logs, un composant d’archivage de ces Read more…
Dans la chronique précédente de cette série sur la cybersécurité et le Big Data, nous avons expliqué que la cybersécurité fournit une vision du niveau d’exposition d’une entreprise à une attaque, en s’appuyant sur les données internes du Système d’Information de l’entreprise. Dans la même chronique, nous vous avons également Read more…
Pour continuer à assurer des niveaux de productivité croissants qui leur permettront de faire face aux challenges posés par la nouvelle économie d’aujourd’hui, les entreprises ont compris qu’elles devaient communiquer, communiquer d‘une part en interne avec ses différents collaborateurs et communiquer d’autre part en externe avec ses fournisseurs. Cette ouverture Read more…
De façon générale, la virtualisation est l’une des clés de l’adoption des plateformes de traitement de données massivement parallèles telles que Hadoop, Spark et les autres technologies de l’écosystème Hadoop. la virtualisation des données est l’une des stratégies IT qui ces derniers temps a le vent en poupe en matière Read more…
Cette chronique est un livre blanc qui présente notre retour d’expérience sur l’outil Dataiku que nous avons utilisé lors de la réalisation d’un Poc of Hypothesis (Preuve d’Hypothèse – qui est un projet dans lequel on souhaite infirmer ou confirmer la faisabilité technique d’un ensemble d’idées). Il a pour ambition Read more…
Vous souhaitez vous orienter vers les métiers de la Data ? Vous souhaitez devenir Ingénieur Big Data ? Le moment est approprié pour vous lancer, car c’est la data qui alimente toute les activités de nos société numérique actuelle ; par exemple : la régie publicitaire est de plus en plus basée Read more…
Vous souhaitez vous orienter dans la Data en tant que consultant Big Data ? Vous avez la fibre de consultant ou de prestataire et ne vous projetez pas forcément dans une entreprise fixe ? Très bien ! Le moment est approprié pour vous lancer, car la viabilité de la majorité Read more…
Vous souhaitez vous orienter vers un métier de la Data ? Vous souhaitez devenir Data Analyst ? Tout comme pour les métiers de Data Engineer, Data Scientist ou encore Data Architect, le moment est approprié pour vous lancer, car la data est au centre de toutes les activités de l’ère numérique. Read more…
Vous souhaitez vous [ré]orienter vers un métier du Big Data ? En particulier, vous souhaitez devenir Data Engineer ou Architecte Big Data ? Vous recherchez une formation qui peut vous permettre d’acquérir les compétences nécessaires pour travailler dans ces métiers ? Alors, vous êtes au bon endroit. Dans cet article, nous allons vous Read more…
L’objectif ultime du “Big” Data, c’est l’information, l’extraction de l’information pertinente pour la prise de décision, ce que beaucoup qualifient par “valeur” ou “insights“. L’objectif du “Big” Data est l’information. Malheureusement, malgré la disponibilité des technologies du Big Data, beaucoup d’entreprises et d’organisations ont encore du mal à obtenir l’information dont ils ont besoin. Read more…
Vous souhaitez vous orienter vers les métiers de la Data ? Vous souhaitez devenir Data Engineer ? Le moment est approprié pour vous lancer, car c’est la data qui alimente toute les activités de nos société numérique actuelle ; par exemple : la régie publicitaire est de plus en plus basée sur la Read more…
En Juin dernier, un journaliste nous a posé la question suivante : Juvénal, votre ouvrage Hadoop – Devenez opérationnel dans le monde du Big Data aborde le problème de la compréhension des technologies Hadoop. Selon vous, les entreprises françaises ont-elles atteint un niveau de maturité suffisant pour faire éclore des projets Read more…
Apache Spark est un moteur de calcul distribué In-Memory, le tout premier du genre. D’ailleurs, il est même le principal moteur In-Memory distribué du marché et de la fondation Apache. Spark a été conçu aussi bien pour le calcul Interactif que le calcul itératif. Spark affiche des performances qui sont Read more…
De nombreux professionnels, et mêmes revues spécialisées présentent le data mart comme un extrait, une partie du Data warehouse. Combien de fois avez-vous lu que le data mart est une partie du Data warehouse ? Cette définition très répandue et intuitive du Data mart est fausse. Cette fausse définition Read more…
les 7 métiers du Big Data les plus demandés par les entreprises en 2019 et les tendances pour 2020 sont les suivants : le Data Engineer, le DevOps/Cloud, l’administrateur/integrateur Big Data, l’architecte Big Data, le Data Analyst, le Développeur et le Data SCientist
Avec les challenges dont on fait face dans l’ère du Numérique, la meilleure stratégie pour valoriser les données massives ne consiste plus à centraliser le stockage et le traitement des données sur un serveur [aussi puissant soit-il], mais à distribuer leur stockage et à paralléliser leur traitement sur plusieurs « nœuds » Read more…
Pour valoriser le volume astronomique de données générées dans l’ère du Big Data, la meilleure stratégie consiste à distribuer le stockage de données et à paralléliser leur traitement dans un cluster d’ordinateurs. Dit comme cela, c’est très facile à appréhender, cependant la réalité est tout autre ! Car valoriser les données Read more…
Vous le savez déjà peut-être, mais la base du développement d’applications de Big Data Streaming avec Kafka se déroule en 3 étapes, à savoir, En ce qui concerne le Producer, il existe 2 façon de le déclarer : vous pouvez entièrement le créer par programmation, ou alors vous pouvez exposer une application existante Read more…
Il y’a aujourd’hui énormément d’informations fragmentées, et incomplètes dans le champs de l’informatique décisionnelle. Et pourtant, en tant que source du Big Data, l’informatique décisionnelle est la discipline d’où part le traitement informatisé des données. Dans cette chronique complète, nous allons expliquer de A à Z ce que c’est que Read more…
Le 21ème siècle a été témoin d’une explosion sans précédent du volume de données. D’après le constat des experts, des institutions publiques et privés, 90 % des données récoltées depuis le début de l’humanité ont été générées durant les 2 dernières années. Le marché qualifie aujourd’hui de « Big Data » cette Read more…
L’objectif ultime du Big “Data”, c’est l’information, l’extraction de l’information pertinente pour la prise de décision, ce que beaucoup qualifient par “valeur” ou “insights“. L’objectif du “Big” Data est l’information. Malheureusement, malgré la disponibilité des technologies du Big Data, beaucoup d’entreprises et d’organisations ont encore du mal à obtenir l’information dont ils ont Read more…
Comment tirer profit de la crise engendrée par le corona virus ? Tout dans cette chronique
Après plus de 5 ans, le phénomène de Big Data n’était-il finalement qu’une mode ? Les besoins du big data sont-ils réels ou ont-ils été inventés par le tapage médiatique ?
Le 3 Octobre 2018 dernier, Cloudera a annoncé sa fusion avec Hortonworks.
Vous travaillez sur des projets de reporting, Business Intelligence, Big Data et vous avez du mal avec vos requêtes ? Vos bases de données SQL prennent trop de temps pour s’exécuter ? Vos requêtes SQL sont trop lentes ? Dans cette chronique, nous vous expliquerons l’approche technologique utilisée pour interroger efficacement les bases de données
Le Big Data est résolument tourné vers la valorisation et l’exploitation de la donnée. Le contexte actuel et la majorité des approches de gestion de projet (les méthodes agiles, SCRUM, KANBAN, Lean, Six Sigma, SAFe, …) exigent que les salariés et l’ensemble des professionnels de l’entreprise aient un accès opportun Read more…
recherche de contenu et requêtes multi-critères avec ElasticSearch
Nombreux sont les professionnels de la data qui se posent les questions sur la différence entre le Data Lake et le Data Warehouse. Certains ne saisissent pas le sens ni l’utilisation de ces deux notions dans le stockage de données en Big Data. Dans cette chronique, nous allons définir le Read more…
Dans cette chronique, nous allons finaliser la série sur le Big Data dans le Cloud afin de vous rendre opérationnel sur le sujet. A titre de rappel, le déploiement de l’IT Cloud computing apparaît aujourd’hui comme étant un modèle rentable économiquement pour les entreprises. Le Big Data ne fait pas Read more…
le Big Data est la niche du marché de l’IT la plus rentable actuellement et dans les années à venir. Attention !!! Une spéculation est en cours !!!
Malgré ses nombreux avantages, il n’en demeure pas moins que les dangers du cloud computing sont sérieux et qu’il vaux mieux ne pas les ignorer. Dans cet article, nous exposerons les 2 dangers prominents du Cloud Computing à notre sens
Dans cette chronique, nous allons vous indiquer comment utiliser hadoop et son écosystème technologique dans un projet Big Data.
Vous souhaitez travailler sur un projet Big Data ? Quelle offre Cloud choisir ? Amazon EMR ou Microsoft Azure HDInsight ? Dans la chronique précédente (Déployer Hadoop dans le Cloud), nous vous avons montré comment grâce au Cloud Computing, les entreprises, aussi bien petites que grandes, qui n’avaient pas le Read more…
L’économie Numérique, grâce à la baisse des coûts des infrastructures informatiques qui la caractérise a permis l’émergence d’un nouveau type de modèle économique : le Cloud Computing. Grâce au Cloud Computing, les entreprises, aussi bien petites que grandes, qui n’avaient pas le budget nécessaire pour déployer un cluster Hadoop en production, ont désormais l’opportunité de l’acquérir sur la base d’un coût variable. Dans cette chronique, nous vous expliquerons comment Hadoop est utilisé dans le Cloud pour favoriser son adoption en entreprise.
De façon classique, un traitement de données se fait sur un historique persisté du fichier de données. Par exemple, un fichier client stocké sur le disque dur, une table de base de données, etc. Ce fichier dans certains cas est chargé en mémoire et le traitement y est exécuté en Read more…
Pour réussir à ingérer les données en flux continu et les délivrer efficacement dans le Data Lake, les outils d’ingestion s’appuient sur deux éléments particuliers : une structure de données particulière appelée le Log ou bus d’événements et un système de messagerie Publish/Subscribe. Kafka et le Data Lake à la rescousse du streaming Le Data Lake/Data Read more…
Besoin de mettre en place une liaison entre votre base de données (Oracle, Teradata, DB2, MySQL ou SQL Server) et votre cluster Hadoop ? Dans cet article, nous vous montrerons comment transférer les données de vos bases de données opérationnelles dans un cluster Hadoop à l’aide de Sqoop. Sqoop ou Read more…
citation Tutoriel HBase : « Faire du NoSQL c’est juste faire des choix intelligents » Avec toute la volumétrie des données dont on dispose aujourd’hui et toutes leurs caractéristiques, c’est impossible de penser « Gestion de données » tel qu’on l’a fait dans le passé, c’est-à-dire centraliser le stockage Read more…
La solution conceptuelle au problème de traitement de données dans l’ère Numérique est la suivante : les traitements/calculs doivent être divisés en tâches et leur exécution doit être parallélisée dans un cluster d’ordinateurs complètement tolérant aux pannes. La tolérance aux pannes est fournie par un tout nouveau type de Système Read more…
Dans le tutoriel précédent : le SQL dans Hadoop – Hive & Pig, vous avez appris comment utiliser une abstraction pour exécuter des instructions SQL compatibles avec la norme ANSI 92 telle que Apache Hive sur Hadoop. Dans ce tutoriel, nous allons aller plus loin. Nous allons vous montrer comment Read more…
Nous allons vous présenter les formations et les moyens disponibles pour développer vos compétences et travailler dans le Big Data.
Dans l’économie industrielle, les biens et services étaient produits par combinaison de la main d’œuvre et du capital. Cependant, l’innovation technologique, l’avancé dans le domaine de l’intelligence artificielle et l’automatisation des tâches par les robots a entraîné un déclin de la part de la main d’œuvre dans la fabrication des Read more…
Les entreprises qui souhaitent exploiter leurs données utilisent aujourd’hui Hadoop d’une manière ou d’une autre. Cependant, la valorisation des données a entraîné un foisonnement de problématiques qui nécessitent des réponses technologiques aussi différentes les unes que les autres. Hadoop a beau être le socle technique du Big Data, il n’est Read more…
En juillet 2014 dernier, l’ex ministre Arnaud MONTEBOURG présentait les 34 plans de la Nouvelle France Industrielle (NFI), un projet de ré industrialisation dont l’ambition est de positionner la France stratégiquement sur le Big Data. Par ce projet, l’Etat montre officiellement que malgré l’engouement médiatique qu’il y’a autour du Big Read more…
Depuis que Facebook a annoncé en 2012 le transfert de son data Warehouse longtemps hébergé sur Oracle vers un cluster Hadoop, les Fortunes 500 (grandes entreprises) ont suivi son exemple en commençant elles aussi à l’adopter, au moins en pilote. Aujourd’hui, toutes les entreprises qui ont décidé de tirer profit Read more…
Selon l’ancien PCA de Google EricSchmidt, l’humanité produit tous les 2 jours autant de données qu’elle n’en a générée depuis l’aube de la civilisation jusqu’en 2003. Selon les études de l’IDC, cela correspond à 2 Go de données produits tous les jours par chaque homme, femme et enfant sur la Read more…
En juillet 2014 dernier, l’ex ministre Arnaud MONTEBOURG présentait les 34 plans de la Nouvelle France Industrielle (NFI), un projet de ré industrialisation dont l’ambition est de positionner la France stratégiquement sur le Big Data. Par ce projet, l’Etat montre officiellement que malgré l’engouement médiatique qu’il y’a autour du Big Read more…
les 6 compétences à avoir pour travailler dans le Big Data
Vous souhaitez vous lancer dans le Big Data ? Vous êtes en reconversion ? Ou alors vous êtes un étudiant et vous souhaitez vous orienter vers le Big Data ? Cette chronique a été rédigée pour vous. Vous allez y apprendrez les 6 principaux métiers du Big Data vers lesquels vous orienter Read more…