Tutoriel Spark Streaming

De façon classique, un traitement de données se fait sur un historique persisté du fichier de données. Par exemple, un fichier client stocké sur le disque dur, une table de base de données, etc.  Ce fichier dans certains cas est chargé en mémoire et le traitement y est exécuté en one-shot.

Malheureusement, en streaming, cette approche n’est pas applicable car les données arrivent au fil de l’eau. L’approche la plus appropriée pour traiter les données au fil de l’eau consiste à découper les données streaming en fenêtres (Windows) et à appliquer un traitement micro-batch sur ces fenêtres.  Cette approche est communément appelée approche par fenêtrage.

Cette vidéo est le troisième bonus de de la mini-formation : “Big Data & Streaming”

Dans cette vidéo-tutoriel, nous allons vous montrer un cas d’usage de traitement streaming avec Spark Streaming : le traitement des flux de données issues de Twitter.

N’hésitez pas à laisser vos questions à la fin de la vidéo juste en dessous. Nous nous ferons un plaisir d’y répondre. Aussi, n’hésitez pas à partager la vidéo avec les personnes qui peuvent être intéressés.