Data engineer

C’est un professionnel spécialisé sur la gestion des données sur Hadoop. En d’autres termes, c’est quelqu’un qui sait se connecter à plusieurs sources de données, croiser les données, effectuer des opérations de nettoyage de données, des filtres, des jointures, gérer le stockage des données dans différents bases de données, gérer divers sortes de formats de données (JSON, XML, RDF, etc.). En clair, l’ingénieur de données c’est celui qui maitrise les techniques de data management. Dans le cadre d’Hadoop, il est question pour lui de maîtriser l’utilisation des catégories d’outils SQL sur Hadoop (Impala, Phoenix, HAWQ), les langages d’abstraction (HiveQL, Pig Latin) et les bases de données NoSQL (HBase, HCatalog, MongoDB).

« Back to Glossary Index