Le MapReduce est un modèle algorithmique qui consiste à découper le traitement d’un fichier de données en tâches indépendantes en suivant 2 phases : une phase Map, une et une phase Reduce. L’utilisateur spécifie une fonction de hachage Map qui transforme les données d’entrée en paires de clés/valeurs, et une fonction de hachage Reduce qui agrège toutes les valeurs associées à la même clé. Une phase intermédiaire entre le Map et le Reduce appelée shuffle trie les paires de clés/valeurs générées par clé. Ce style de programme, écrit dans un style fonctionnel est automatiquement parallélisé et exécuté dans un cluster.

« Back to Glossary Index
Categories:

Juvénal JVC

Juvénal est spécialisé depuis 2011 dans la valorisation à large échelle des données. Son but est d'aider les professionnels de la data à développer les compétences indispensables pour réussir dans le Big Data. Il travaille actuellement comme Lead Data Engineer auprès des grands comptes. Lorsqu'il n'est pas en voyage, Juvénal rédige des livres ou est en train de préparer la sortie d'un de  ses livres. Vous pouvez télécharger un extrait de son dernier livre en date ici : https://www.data-transitionnumerique.com/extrait-ecosystme-hadoop/

>