Regroupe les articles qui traitent de la valorisation des données streaming en Big Data
Nombreux sont les professionnels de la data qui se posent les questions sur la différence entre le Data Lake et le Data Warehouse. Certains ne saisissent pas le sens ni l’utilisation de ces deux notions dans le stockage de données en Big Data. Dans cette chronique, nous allons définir le Read more…
De façon classique, un traitement de données se fait sur un historique persisté du fichier de données. Par exemple, un fichier client stocké sur le disque dur, une table de base de données, etc. Ce fichier dans certains cas est chargé en mémoire et le traitement y est exécuté en Read more…
Pour réussir à ingérer les données en flux continu et les délivrer efficacement dans le Data Lake, les outils d’ingestion s’appuient sur deux éléments particuliers : une structure de données particulière appelée le Log ou bus d’événements et un système de messagerie Publish/Subscribe. Kafka et le Data Lake à la rescousse du streaming Le Data Lake/Data Read more…
Vous le savez déjà peut-être, mais la base du développement d’applications de Big Data Streaming avec Kafka se déroule en 3 étapes, à savoir, 1 – déclarer le Producer, 2- indiquer le topic de stockage 3- et déclarer le Consumer. En ce qui concerne le Producer, il existe 2 façon de le déclarer : Read more…