Batch est un mot anglais qui signifie lot. Un traitement batch est donc un traitement qui s’exécute par lot. Lorsque les données sont localisées sur le disque dur, les données sont chargées par lot (ou par paquet) en mémoire, et traitées au fur et à mesure par le microprocesseur. Par exemple, supposons qu’avez un fichier de 1 Go de données à traiter, l’ordinateur va le traiter en chargeant un lot de 100 Mo de données en RAM par exemple, une fois que les 100 Mo sont traitées, elles sont sérialisées dans le fichier de sortie que vous avez spécifié, ensuite le 2ème lot de 100 Mo est chargé, écrasant en mémoire l’ancien lot, et le cycle reprend, ainsi de suite jusqu’au 11ème paquet. Ainsi, pour traiter votre fichier de 1 Go sur disque, il vous a fallu le traiter en 11 lots de données, et donc charger 11 lots de données en mémoire. C’est cela le traitement batch.
« Back to Glossary IndexCategories:
Juvénal JVC
Juvénal est spécialisé depuis 2011 dans la valorisation à large échelle des données. Son but est d'aider les professionnels de la data à développer les compétences indispensables pour réussir dans le Big Data. Il travaille actuellement comme Lead Data Engineer auprès des grands comptes. Lorsqu'il n'est pas en voyage, Juvénal rédige des livres ou est en train de préparer la sortie d'un de ses livres. Vous pouvez télécharger un extrait de son dernier livre en date ici : https://www.data-transitionnumerique.com/extrait-ecosystme-hadoop/
