EDF relève le défi

Multi-tenant Hadoop : EDF relève le challenge de la garantie du Niveau de Service pour les applications Big Data

Nicolas LALUQUE, Chef de Projet « Big Data v3 », EDF – DSIT


Nicolas Laluque présente les défis et les solutions apportés par EDF pour gérer un data lake unique et un cluster mutualisé accessible par les différents métiers de l'entreprise.

La mise en place de cluster  unique a présenté plusieurs problèmes et défis :

  • Les limites des outils utilisés pour faire du monitoring : les premiers outils étaient insuffisants pour avoir une bonne vision globale de l'activité du cluster.
  • La difficulté de trouver de bons développeurs : de nombreux anti-patterns ont été relevés dans le code source des programmes développés en interne. il n’y avait initialement pas de processus de revue de code
  • La répartition des ressources était cruciale et compliquée lorsque les use cases métiers venaient s’impacter
  • Il n'existait pas initialement de notion de service dégradé : ces services étaient considérés comme disponibles ou indisponibles


EDF a fait appel à la société Horton pour la conseiller et l'accompagner dans cette évolution. Cette société leur a présenté les bonnes métriques à observer, les bons outils de monitoring et les bons choix dans le dimensionnement des cluster. Une bonne isolation des ressources reposant sur de la containerisation s’est avérée nécessaire.
Les acteurs de ce projet ont en outre pu réaliser à quel point les messages passent parfois mieux par l'extérieur qu'en interne.

EDF compte poursuivre dans cette approche de mutualisation du cluster en enrichissant leurs dashboards de visualisation et revoir les technologies utilisées comme HBase et HDFS.

Ready for the next generation of analytics?

Try HyperCube and experience its unrivaled range of features and ease of use Get started