Maîtrisez le développement d'applications streaming en Kafka et Spark
Découvrez dans cette formation, 3 sessions de cours vidéo de 118 min ainsi qu'un livre numérique très pratique de 17 pages pour apprendre à ingérer les données streaming avec Apache Kafka
De plus en plus de cas d'usage et de modèles économiques s'appuient sur des données générées en streaming. Il peut s'agir de la publicité en ligne avec la facturation par clic, l'analyse du parcours client, la recommandation en temps réel, la détection de fraude, la cyber-sécurité (spécialement avec l'utilisation des SIEM), le tracking des achats, l'analyse omnicanal, ou encore les objets intelligents (compteurs Linky, robots industriels, etc.). Clairement, le Streaming est devenu une problématique sérieuse et préoccupante du Big Data !
Pour tirer profit de ce nouveau type de données et surmonter toutes les contraintes qu'elles soulèvent, les entreprises ont besoin d'une "chaîne streaming".
Tout comme une chaîne décisionnelle est composée d'un ensemble de technologies (un ETL + un Data Warehouse/Data Mart + un cube OLAP + un outil de reporting), une chaîne streaming est également composée d'une série de technologies précises :
Un Producer + un Système de messagerie Publish-Subscribe + un Consumer + un système de traitement streaming
Aujourd'hui, la chaîne streaming dans une entreprise est constituée de 5 composants principaux :
Au moins un Producer Kafka + Kafka Connect + un Cluster Kafka + un Cluster Spark Streaming + Au moins un consumer Kafka
Vous travaillez sur des projets Big Data Streaming ? Vous aimeriez maîtrisez le développement d'applications streaming avec Kafka, Kafka Connect ou Spark Streaming ?
Nous vous offrons gratuitement ce kit de formation composée de 118 min de session de cours vidéo et un livre numérique pratique de 17 pages pour vous aider à apprendre à développer des applications streaming en Scala
Voici les 3 sessions de cours vidéo exclusives qui composent ce kit :
- Session vidéo #1: Développer un Producer Kafka en Scala (44 min)
- Session video #2: Kafka Connect JDBC pour interroger MySQL (39 min)
- Session video #3: Développer un KPI avec Spark Streaming (35 min)
Sommaire des sessions de cours vidéo
Session 1:Développer un Producer Kafka en Scala
Le point d’entrée d’une chaîne Streaming, c’est le Producer. Le Producer est une application cliente qui se connecte à une source streaming (les capteurs, les SGBD, les applications de données, etc.) pour capter ses données et les publier dans un système de messagerie Publish-Subscribe. Cela signifie que pour ingérer les données d’une source streaming dans Kafka, il faudra développer un Producer Kafka. Dans ce tutoriel de 44 minutes, nous vous vous apprendrons à développer un Producer Kafka de A à Z avec Scala, c’est-à-dire une application qui va récupérer les données d’une source streaming et les publier dans un ou plusieurs topics Kafka.
Session 2 : Kafka Connect JDBC pour interroger MySQL
Dans la majorité des projets Big Data Streaming, le calcul d’indicateurs streaming ne s’appuie pas sur des sources de données streaming. Dans de nombreux cas, vous serez emmenés à utiliser ce que l’entreprise considère comme étant « des données chaudes », c’est-à-dire des données déjà existantes dans l’entreprise qui ne sont pas streaming à la base, mais dont elle considère importante pour le cas d’usage. Dans cette session de 39 min, je vais vous montrer comment développer une application Kafka Connect pour récupérer les données d’une base MySQL et les publier dans des topics Kafka.
Session 3 : Développer un indicateur streaming avec Spark Streaming
Le lancement d’un projet streaming a souvent à la base, les mêmes motivations que celles d’un projet de BI ou un projet Big Data, à savoir l’analyse de données pour des fins décisionnelles. Vous serez donc emmenés le plus souvent à calculer des indicateurs qui se nourrissent de données générées en streaming ou en temps réel. Donc en plus des aspects spécifiques liés au développement d’application streaming, vous devez être capable également de développer des indicateurs, qui seront calculés sous de faibles latences (souvent moins de 15 secondes). Dans ce tutoriel de 35 minutes, nous allons vous montrer comment aborder le calcul d’un indicateur streaming avec Kafka et Spark.
Ingérer les données streaming avec Apache Kafka
En plus de ces 3 sessions vidéo de 118 min, Nous vous offrons ce livre numérique très pratique dans lequel vous apprendrez comment utiliser Apache Kafka pour ingérer en temps réel les données chaudes.
Juvénal CHOKOGOUE
Juvénal CHOKOGOUE est spécialisé sur les sujets de valorisation des données à large échelle depuis 2011. Il est également l'auteur des ouvrages "Hadoop - Devenez opérationnel dans le monde du Big Data" paru chez les éditions ENI et "Maîtrisez l'utilisation des technologies Hadoop" paru chez les éditions Eyrolles