Apache Kafka – mode de fonctionnement

Pour réussir à ingérer les données en flux continu et les délivrer efficacement dans le Data Lake, les outils d’ingestion s’appuient sur deux éléments particuliers : une structure de données particulière appelée le Log ou bus d’événements et un système de messagerie Publish/Subscribe.

Le Data Lake/Data Warehouse est toujours utilisé en support au stockage de données à la fin de la chaîne en streaming, mais l’ingestion se fait à travers un bus d’événements et un système de messagerie Publish/Subscribe.

Cette session de cours vidéo porte sur le fonctionnement général d’Apache Kafka, le système de messagerie Publish-Subscribe distribué le plus utilisé du marché.

Si vous souhaitez aller plus loin dans la façon dont Kafka peut être utilisé pour construire un Data Lake et gérer les problématiques de données générées au fil de l’eau, nous vous suggérons de vous inscrire gratuitement à la formation ci-bas.