Vous souhaitez travailler dans le Big Data en tant que Data Analyst, Data Engineer ou bien en tant que Data Scientist ? Alors la maitrise de quelques langages de programmation est utile pour que vous puissiez exécuter vos tâches convenablement. En plus de Scala et Java, depuis quelque temps, maitriser Python […]
Le traitement des données en Big Data est crucial pour pouvoir en tirer profit. Les data scientist, les data analyst ainsi que tous ceux qui œuvrent dans ce domaine en fait leurs principales tâches. Les fonctions lambda en Python les apportent un grand coup de pouce dans l’accomplissement de celles-ci. […]
La sécurité est un enjeu majeur des technologies numériques modernes. Avec le développement d’Internet et de la notion du partage en général, de nombreuses données circulent chaque jour sur les réseaux interconnectés et spécialement sur les sites web. Certains sites web peuvent contenir une très grande quantité d’informations ou de […]
Dans un projet Big Data, plusieurs intervenants collaborent afin d’utiliser les multitudes de données traitées par ces derniers lors de la prise de décision de l’entreprise. Les Data Engineers, les Data Scientists et les Data Analysts font partie de ces personnes. Chacun d’eux possède des tâches spécifiques à exécuter. Cependant, […]
La distribution gaussienne est la distribution de probabilité la plus importante en statistique. Elle l’est dans le domaine de la data science. En effet, de nombreux phénomènes naturels tels que la taille d’une population, la pression artérielle, la taille des chaussures, les statistiques scolaires comme les résultats aux examens, et […]
Les données et les informations fusent partout grâce à la numérisation de tous les secteurs d’activité. Le domaine du Big Data est plus que jamais d’actualité et les entreprises s’intéressent de plus en plus aux avantages que peuvent leur apporter cette mine d’informations à leur prise de décision. Toutefois, avant […]
Vous souhaitez devenir Data Analyst ou Data Scientist ? Vous voulez faire des analyses de données avec python ? Ou vous souhaitez utiliser Python pour trouver des solutions à quelques problèmes du monde réel ? Alors, sachez que NumPy de Python est l’une des bibliothèques que vous devez connaître et utiliser si […]
Peut-être vous le savez déjà, mais les 2 langages compilés qui sont les plus adaptés dans le développement d’applications Big Data aujourd’hui sont Java et scala. Aujourd’hui, votre carrière dans le Big Data serait handicapée si vous n’avez pas un certain niveau de connaissance sur ces 2 langages. En réalité, Java et Scala sont adaptés […]
Les véhicules autonomes, la prédiction des prix, la détection de fraudes, la reconnaissance vocale, le diagnostic médical sont autant de domaine dans lesquels la modélisation prédictive apporte une grande valeur. Avec la disponibilité du volume de données apportée par la révolution du Big Data, il est aujourd’hui possible de construire […]
Nous vivons à l’ère des données, qui profite d’une meilleure puissance de calcul des ordinateurs et de l’immensité des ressources de stockage. C’est de cela que nous faisons allusion lorsque nous parlons de Big Data. Ces données ou informations augmentent de jour en jour, mais le véritable défi consiste à […]
En Big Data, la recherche des données pertinentes est l’une des tâches primordiales à effectuer. Le Data Analyst et/ou le Data Engineer se basent sur les données collectées en amont pour pouvoir tirer des conclusions qui vont aider les métiers à la prise de décision. Cependant, pour qu’une analyse soit […]
Lorsqu’on développe un programme, que ce soit en Big Data ou pour tout autre utilisation, il y a toujours un risque que l’on génère des erreurs. Ces erreurs peuvent provenir de l’utilisateur de la solution ou bien de l’exécution du programme lui-même. Pour éliminer ou du moins limiter l’apparition de […]
Vous travaillez avec Python ? Vus vous intéressez au Big Data et vous souhaitez travailler dans ce domaine en tant que Data Analyst ? Ou dans le cadre de votre travail, vous devez traiter une masse importante de données pour enrichir votre rapports décisionnels ? Si vous répondez oui à l’une […]
Vous souhaitez mener des analyses de données avec Python ? Panda Python vous évoque quelque chose ? Il faut savoir que la tâche principale attendue pour les Data Analysts ou les Business Analysts en entreprise est l’analyse de données. Cela implique notamment, le croisement de données à large échelle, l’uniformisation […]
La fonction map() intégrée à Python peut être utilisée pour exécuter une fonction à chaque élément d’une liste de données. Elle donne comme résultat un objet map utilisable dans la suite du programme. Pour créer un iterable, vous pouvez passer l’objet map a une fonction list() ou autres types de fonction. […]
Avec la fonction reduce(), vous pouvez passer en argument une fonction particulière et pouvoir l’utiliser sur tous les éléments de la liste. C’est dans le module functools que se trouve la fonction reduce(). Voici la syntaxe de base de la fonction : Fonction reduce() avec 3 arguments En Python3, la […]
Vous pouvez créer un nouvel itérateur à partir d’un itérateur existant comme une liste ou un dictionnaire et tout cela grâce à la fonction filter() intégré à Python. Un iterable est un objet python qui peut être « itéré ». Cela veut dire qu’il renvoie des éléments dans une séquence utilisable dans une boucle […]
La fonction sleep() sert à stopper momentanément un thread (fil de tâche). C’est le module time de Python qui fournit toutes les fonctions destinées à la gestion de temps dont le plus utilisé est la fonction sleep(). Voici la syntaxe de base de la fonction sleep() : Ici, ‘nombre’ est […]
Découvrez les outils d’assistance essentiels pour maximiser votre productivité en programmation. Optimisez votre workflow avec les meilleures ressources du métier. Dans le monde actuel où le digital est au coeur de tout les business, il est primordial de pouvoir être compétifs et productifs sur ce secteur en constante évolution. C’est […]
En France, le taux de reconversion a connu une croissance fulgurante, atteignant environ 10% en 2020. Vous ressentez de nouvelles aspirations ? Vous souhaitez monter en compétences ? Vous cherchez un métier avec de belles perspectives de carrière ? Découvrez les trois métiers les plus lucratifs dans le domaine de […]
Vous souhaitez vous orienter vers les métiers de la Data ? Vous souhaitez devenir Data Engineer ? Le moment est approprié pour vous lancer, car c’est la data qui alimente toute les activités de nos société numérique actuelle ; par exemple : la régie publicitaire est de plus en plus basée sur la […]
Le métier de développeur fullstack ou mobile sous iOS vous intéresse ? Par où commencer et quels sont les prérequis nécessaires pour commencer dans le développement mobile ? Toutes les directives se trouvent dans ce guide ! Lancé en 2007 pour l’iPhone de première génération, le système d’exploitation iOS s’est […]
Le web scraping encore appelé harvesting est le processus de collecte de données web de manière automatisée. Il est également appelé extraction de données Web. Ce système standard du web scraping est indispensable aux grandes entreprises pour la prise de décision stratégique. Par ailleurs, les principaux cas d’utilisation du scraping […]
Des données, des données, toujours plus de données… La multiplication de l’activité numérique des entreprises ainsi que la place sans précédent qu’occupent les réseaux sociaux permettent d’accumuler de très grandes quantités d’informations que vous, en tant que big data analyst, êtes à-même de rassembler et d’interpréter au mieux. Pour faire […]
les 6 compétences à avoir pour travailler dans le Big Data
Dans toutes applications, surtout en Big Data, on sera toujours amené à effectuer des traitements sur un ensemble de données, que ce soit dans une base de données ou dans d’autres structures de données. Et pour que ce traitement puisse se faire, il va nous falloir une méthode d’itération qui […]
Vous souhaitez vous orienter dans un métier qui requiert la maîtrise d’un langage de programmation comme les métiers du Big Data ? Alors vous savez que la programmation informatique n’est pas une compétence optionnelle pour vous. Dans les métiers de la data, l’un des langages prédominants après scala c’est le […]
I. Introduction Dans le tutoriel précédent le SQL dans Hadoop – Hive & Pig, nous vous avons montré comment exécuter le SQL sur Hadoop via un langage d’abstraction similaire et conforme à la norme ANSI 92 du SQL. Dans ce tutoriel, nous vous apprendrons à exécuter du SQL directement et […]
Vous souhaitez travailler dans le domaine de l’informatique ? Vous voulez devenir développeur informatique, mais vous ne savez pas vers quel type de développement s’orienter ? Pourquoi ne pas devenir développeur full stack ? C’est une bonne alternative si vous n’arrivez pas à choisir entre devenir développeur back-end ou front-end. La digitalisation de […]
Les bases de données sont utilisées afin de stocker des informations que l’on peut consulter et récupérer dès que l’on en a besoin. Plusieurs manières peuvent être mises en place afin d’interroger une base de données et la commande SQL LIKE figure parmi celles-ci. Vous verrez dans cet article comment […]
Vous souhaitez vous orienter dans la Data en tant que consultant Big Data ? Vous avez la fibre de consultant ou de prestataire et ne vous projetez pas forcément dans une entreprise fixe ? Très bien ! Le moment est approprié pour vous lancer, car la viabilité de la majorité […]
Les données sont devenues le carburant de la croissance des entreprises au cours de la dernière décennie. L’internet est la principale source de données, avec 5 milliards d’utilisateurs générant des milliards de points de données chaque seconde, ce qui constitue le Big Data. L’analyse des données web peut aider les […]
L’année 2020 marque le 10ème anniversaire de Spark en tant que projet Open Source. En dehors de Linux et MySQL, rare sont les projets open source dans la Data ayant connu autant d’engouement et de succès que Spark. Le 10 Juin 2020, ce succès a été marqué par la sortie […]
Les méthodes DevOps telles que le CI/CD, notamment avec Jenkins sont de plus en plus appliquées au sein des entreprises de nos jours. En effet, ces concepts ne cessent de prendre de la place dans le monde de la création de solutions informatiques, surtout depuis l’avènement du Big Data. Pour […]
Dans le monde d’aujourd’hui, la mise en œuvre des modèles d’apprentissage automatique est de plus en plus effectuée dans les entreprises pour la segmentation des clients et la détection des anomalies. Et si vous souhaitez devenir Data Scientist ou tout autre métier de la data, il devient primordial d’avoir des […]
La compréhension des ensembles de données est essentielle à la démarche scientifique et au Big Data. Cependant, discerner la signification des données en ne regardant que leurs valeurs est une tâche difficile. Les statistiques descriptives sont des moyens rapides et concis d’extraire les caractéristiques importantes d’un ensemble de données en […]
Les informations à collecter et à stocker sont de plus en plus nombreuses. L’énorme flux de données qui affluent de nos jours favorise l’émergence de nouveaux outils. Parmi eux figurent Apache Airflow. Dans l’écosystème de technologies Big Data, Apache Airflow tout comme Oozie, est l’orchestrateur et le planificateur automatique des […]
Internet, l’apparition de la 3G, 4G et actuellement de la 5G, les grandes installations scientifiques génèrent une immensité de données traitables. En 2020 une analyse a révélé que 40 zéctaoctets sont générés par an, 204 millions d’e-mails sont envoyés chaque minute. L’ensemble de ces données ainsi que les enjeux qui […]
De nombreux data scientists, data analysts, data engineers et utilisateurs de Business Intelligence s’appuient sur des requêtes SQL interactives pour explorer les données. Spark SQL est un module d’Apache Spark pour le traitement de données structurées. Spark SQL fournit une abstraction de programmation appelée DataFrame et peut agir comme un […]
Vous souhaitez apprendre à développer des applications informatiques ? Vous souhaitez développer des applications de données ? Alors vous devez impérativement apprendre la programmation orientée objet. Pour développer applications de traitement de données performantes (que ce soit des applications de base de données, des middleware, des applications de reporting, etc…), […]
Vous êtes passionnés par les métiers de la Data ? Vous souhaitez travailler dans la maîtrise d’ouvrage ? Excellente nouvelle ! Nombreux, sont les choix qui vous sont offerts. Vous pouvez vous orienter en tant que consultant AMOA spécialisé dans le Big Data. Cette chronique est une fiche métier dans laquelle […]
Vous souhaitez vous orienter vers un métier de la Data ? Vous souhaitez devenir Data Analyst ? Tout comme pour les métiers de Data Engineer, Data Scientist ou encore Data Architect, le moment est approprié pour vous lancer, car la data est au centre de toutes les activités de l’ère numérique. […]
citation Tutoriel HBase : « Faire du NoSQL c’est juste faire des choix intelligents » Avec toute la volumétrie des données dont on dispose aujourd’hui et toutes leurs caractéristiques, c’est impossible de penser « Gestion de données » tel qu’on l’a fait dans le passé, c’est-à-dire centraliser le stockage […]
L’apparition des nouvelles technologies et l’explosion du volume de données ont suscité l’importance du métier de Business Analyst. Le Business Analyst, ou en français «Analyste d’Affaires» travaille au cœur de la direction financière d’une entreprise. Il est l’interlocuteur privilégié des décideurs de l’entreprise, et est au cœur de toutes les décisions prises par le pôle […]
Dans le siècle précédent, on considérait comme illettrés, les personnes qui ne savaient ni lire, ni écrire. Aujourd’hui, dans le monde numérique où nous vivons, il est admis que les illettrés de ce siècle sont ceux qui ne savent pas programmer. Pourquoi ? Simplement parce que les activités du numériques […]
Dans le monde où nous vivons actuellement, nous générons de plus en plus d’informations à travers tout ce que nous entreprenons sur le web. L’existence des API REST est entre autres les sources de la génération de ces multitudes de données. En effet, plusieurs services, comme nous en avons discuté […]
Dans cette chronique, nous allons vous indiquer comment utiliser hadoop et son écosystème technologique dans un projet Big Data.
Cette chronique est un livre blanc qui présente notre retour d’expérience sur l’outil Dataiku que nous avons utilisé lors de la réalisation d’un Poc of Hypothesis (Preuve d’Hypothèse – qui est un projet dans lequel on souhaite infirmer ou confirmer la faisabilité technique d’un ensemble d’idées). Il a pour ambition […]
Vous souhaiter apprendre un langage de programmation ? Vous souhaitez vous orienter dans un métier qui requiert la maîtrise d’un langage fonctionnel comme les métiers du Big Data ? Alors en choisissant Scala, vous avez fait le bon choix ! Dans les métiers de la data ou de la programmation, […]
Dans la chronique précédente de cette série sur le développement d’une solution de cybersécurité à l’aide du Big Data, nous avons parlé intensément des SIEM. Comme vous l’avez vu, les architectures des solutions SIEM s’appuient sur 3 grands composants : un composant de collection de logs, un composant d’archivage de ces […]
Pour poursuivre notre série d’articles sur le langage SQL, nous allons cette fois-ci aborder la clause SQL DELETE. SQL permet d’interagir avec un système de gestion de bases de données. Mais outre le fait qu’il sert à insérer et mettre à jour des informations, il sert également à supprimer celles […]
Nous avons vu dans notre article Docker : Maîtrisez la conteneurisation applicative de A à Z [Guide ultime] une vue d’ensemble de Docker. Dans un autre article, nous avons également détaillé la fonctionnalité docker run qui sert à exécuter un conteneur. Dans celui-ci nous continuons dans cette lignée en découvrant […]
Nous continuons notre série d’articles et de tutoriels Docker avec cet article et dans celui-ci nous allons aborder le Docker volume. Lorsque l’on exécute une application, qu’elle soit conteneurisée ou non, on génère souvent des données. Ces dernières sont en général utiles lors des prochaines exécutions, ce qui veut dire […]
Comme nous l’avons évoqué dans notre guide ultime sur Docker, la notion de conteneurisation est un concept très important, surtout si l’on travaille en tant qu’ingénieur DevOps/Cloud ou développeur Big Data. Toujours dans cette lignée, nous allons aujourd’hui vous parler d’un outil permettant d’optimiser le traitement des conteneurs à savoir […]
Si vous avez lu nos articles précédents, notamment notre guide ultime de Docker, vous savez maintenant qu’un conteneur est créé à partir d’une image Docker. On peut retrouver des milliers d’images sur Docker Hub, cependant, si l’on souhaite créer notre propre image ou apporter quelques modifications aux existantes, vous devez […]
Nous avons vu dans notre article sur les 8 métiers porteurs du Big Data que les ingénieurs DevOps/Cloud et les développeurs Big Data font partie des postes les plus recherchés en ce moment dans ce domaine. De ce fait, si l’on souhaite s’orienter vers ces types de métiers, il est […]
Depuis la démocratisation du Big Data, chaque entreprise s’oriente vers la digitalisation de leur activité, et cela ne fait que commencer. La programmation informatique est un domaine incontournable dans le monde dans lequel nous vivons actuellement grâce à cela. Se tourner vers le métier de développeur informatique, que ce soit […]
Apache Spark est un moteur de calcul distribué In-Memory, le tout premier du genre. D’ailleurs, il est même le principal moteur In-Memory distribué du marché et de la fondation Apache. Spark a été conçu aussi bien pour le calcul Interactif que le calcul itératif. Spark affiche des performances qui sont […]
La solution conceptuelle au problème de traitement de données dans l’ère Numérique est la suivante : les traitements/calculs doivent être divisés en tâches et leur exécution doit être parallélisée dans un cluster d’ordinateurs complètement tolérant aux pannes. La tolérance aux pannes est fournie par un tout nouveau type de Système […]
Dans le tutoriel précédent : le SQL dans Hadoop – Hive & Pig, vous avez appris comment utiliser une abstraction pour exécuter des instructions SQL compatibles avec la norme ANSI 92 telle que Apache Hive sur Hadoop. Dans ce tutoriel, nous allons aller plus loin. Nous allons vous montrer comment […]
Nous allons vous présenter les formations et les moyens disponibles pour développer vos compétences et travailler dans le Big Data.
Vous souhaitez vous orienter vers les métiers de la Data ? Vous souhaitez devenir Ingénieur Big Data ? Le moment est approprié pour vous lancer, car c’est la data qui alimente toute les activités de nos société numérique actuelle ; par exemple : la régie publicitaire est de plus en plus basée […]
Vous souhaitez vous [ré]orienter vers un métier du Big Data ? En particulier, vous souhaitez devenir Data Engineer ou Architecte Big Data ? Vous recherchez une formation qui peut vous permettre d’acquérir les compétences nécessaires pour travailler dans ces métiers ? Alors, vous êtes au bon endroit. Dans cet article, nous allons vous […]
L’objectif ultime du « Big » Data, c’est l’information, l’extraction de l’information pertinente pour la prise de décision, ce que beaucoup qualifient par “valeur” ou “insights“. L’objectif du “Big” Data est l’information. Malheureusement, malgré la disponibilité des technologies du Big Data, beaucoup d’entreprises et d’organisations ont encore du mal à obtenir l’information dont ils ont besoin. […]
En Juin dernier, un journaliste nous a posé la question suivante : Juvénal, votre ouvrage Hadoop – Devenez opérationnel dans le monde du Big Data aborde le problème de la compréhension des technologies Hadoop. Selon vous, les entreprises françaises ont-elles atteint un niveau de maturité suffisant pour faire éclore des projets […]
Vous travaillez sur des projets de reporting, Business Intelligence, Big Data et vous avez du mal avec vos requêtes ? Vos bases de données SQL prennent trop de temps pour s’exécuter ? Vos requêtes SQL sont trop lentes ? Dans cette chronique, nous vous expliquerons l’approche technologique utilisée pour interroger efficacement les bases de données
Développez des Pipelines Streaming à large échelle Un programme hyper-pratique pour développer des pipelines streaming de bout-en-bout en moins de 3 mois ! Vous souhaitez travailler dans le Big Data en tant que Data Engineer? Si c’est le cas, alors il vous faut être conscient d’une chose : de plus […]
Développez des Pipelines Streaming à large échelle Un programme hyper-pratique pour développer des pipelines streaming de bout-en-bout en moins de 3 mois ! Vous souhaitez travailler dans le Big Data en tant que Data Engineer? Si c’est le cas, alors il vous faut être conscient d’une chose : de plus […]
C’est le langage d’abstraction offert par Pig. Il est à peu près similaire au langage de Scripting tels que Perl, Python, ou Ruby. Cependant, il est plus spécifique que ces derniers et se décrit mieux sur le terme « langage de flux de données » (data flow language). Il permet d’écrire des […]
Les entreprises qui souhaitent exploiter leurs données utilisent aujourd’hui Hadoop d’une manière ou d’une autre. Cependant, la valorisation des données a entraîné un foisonnement de problématiques qui nécessitent des réponses technologiques aussi différentes les unes que les autres. Hadoop a beau être le socle technique du Big Data, il n’est […]
Vous souhaitez travailler dans le Big Data ? Vous souhaitez vous réorienter vers un parcours de Data Engineer rapidement ? Si vous avez répondu « oui » à cette question, alors vous êtes au bon endroit. Ce site est une sorte de « club Big Data », un lieu dans lequel vous pouvez sereinement progresser […]