Process Data Lake : le concept

principe process data lake ou lac de données, des sources de données aux usages et analyses



Le Process Data Lake est un concept que nous avons construit sur de nombreuses années d’expérience à traiter des données industrielles. Son objectif : simplifier la manipulation des données relatives aux procédés de production en industrialisant, automatisant et simplifiant toute la chaine de traitement de ce type d’informations.

Data Lake, ou lac de données, car il s’agit d’une solution qui a vocation à collecter, stocker et organiser les données pour les restituer à différentes populations d’utilisateurs : opérationnels, équipes R&D, experts procédés, spécialistes de la donnée…

Process, car notre solution embarque nativement un grand nombre de concepts que l’on retrouve dans les procédés industriels, indispensables pour traiter de manière efficace et pertinente les données dans ces métiers.

Une structuration métier des données industrielles

Le Process Data Lake supporte nativement les concepts suivants relatifs à la variété de données rencontrées sur un site industriel :

  • Données temporelles (capteurs, contrôles qualité…) et leur lot de subtilités comme les problématiques de ré-échantillonnage, d’interpolation, extrapolation, réalignement de séries non synchrones,
  • Données relatives à des lots, opérations, campagnes, cycles (recettes, indicateurs, équipe, outillage…)
  • Données relatives à des évènements (arrêts programmés ou non, alertes, changement d’outillage…)
  • Données de traçabilité (où, quand et comment une opération, un lot, a été réalisé) et de généalogie (comment les différentes unités d’œuvre sont reliées entre elle, comment une opération met en œuvre un ou plusieurs lots des opérations précédentes…)
  • Grandeurs de mesure et unités : nous offrons un cadre standard permettant de gérer l’homogénéité des données manipulées ainsi que la traçabilité et la conversion automatique des unités pour le stockage et pour la restitution aux utilisateurs
  • Description et étiquetage des données pour faciliter leur identification et leur regroupement (site, équipement, ligne…) avec le support de plusieurs langues simultanément.
  • Gestion des droits d’accès aux données pour un accès cloisonné aux données en fonction des utilisateurs.

Un traitement des données en continu

Mais le Process Data Lake ne s’arrête pas là et intègre une véritable couche de calcul qui permet de combiner les données entre elles pour les transformer en « informations » tout en s’appuyant sur la structuration en place. En particulier elle permet de centraliser les calculs avec un large éventail de fonctions (mathématiques, logiques, statistiques, spécifiques aux problématiques rencontrées dans les industries de procédés…). Cette couche permet par exemple de :

  • Calculer des indicateurs associés à un lot de production en combinant les informations de traçabilité et celles des capteurs.
  • Calculer un bilan matière en combinant des données de capteurs (par exemple des débits) et des données de laboratoire d’analyse (par exemple des concentrations).
  • Agréger des paramètres dans le temps ou entre eux en fonction de leurs caractéristiques (par exemple pour comparer des lignes de production entre elles, faire des bilans énergétiques)

Pour compléter cette couche de calcul et étendre les capacités du Process Data Lake à l’infini ce dernier intègre un module d’exécution de code Python qui permet de gérer votre code, qu’il s’agisse de calculs numériques, de modèles de Machine Learning ou tout autre traitement réalisable en Python. Ce code peut ensuite être exécuté automatiquement dans différents contextes en se nourrissant des données et calculs disponibles pour générer de nouvelles informations et enrichir le contenu du Process Data Lake.

Une architecture technique performante et fiable

Performance : nous combinons des technologies à la pointe en termes de stockage et de traitement des données pour vous offrir une expérience utilisateur fluide.

Fiabilité des flux de données : en association avec notre agent de collecte OIBus, le Process Data Lake permet de mettre en place des remontées de données multi-sources en continu et robustes.

Sécurité, durabilité et intégrité des données : nous nous appuyons sur des infrastructures cloud éprouvées permettant d’offrir un niveau très élevé de sécurité. Pour plus de détails, nous disposons d’un Plan d’Assurance Sécurité reprenant les mesures mises en place.

Avec le Process Data Lake, digitalisez dès aujourd’hui votre production industrielle

Tous ces éléments de notre Process Data Lake vous permettent :

  • De réduire le temps d’implémentation d’un projet autour des données de production grâce à un cadre préexistant. Ainsi, vous pouvez directement commencer à intégrer vos données sans avoir à vous reposer de nombreuses questions pour lesquelles nous avons déjà réfléchi aux multiples alternatives et choisi les bons compromis. En général un déploiement du Process Data Lake se déroule sur une période pouvant aller de 2 à 5 mois en fonction de sa complexité.
  • De faciliter l’usage des données par vos équipes sur le terrain grâce à des outils intuitifs et des données structurées selon une logique métier, mais aussi par vos équipes R&D et Data en leur simplifiant l’accès à des jeux de données (data set) propres et structurés à la maille adéquate pour leurs travaux.
  • De bénéficier de toute la puissance de nos infrastructures pour manipuler des données volumineuses et diverses au meilleur coût grâce à une mutualisation de la puissance de calcul.
  • D’être agiles et de garder la main sur vos traitements de données grâce à des outils conçus pour vous faciliter la configuration.
  • De servir de source de données privilégiée pour vos processus de production, grâce à ses capacités et son ouverture (au travers d’API REST), le Process Data Lake est ainsi en mesure alimenter vos différents SI avec des informations agrégées à forte valeur ajoutée. Vous capitalisez ainsi sur le travail de structuration et configuration réalisé.

Vous voulez en savoir plus

Contactez-nous pour que nous échangions sur vos enjeux