ASAMisez vos données de mesure

Lorsqu'on parle de données de mesure, l’accent est généralement mis sur les données stockées dans des fichiers. Ces fichiers sont produits par divers systèmes de mesure qui stockent les informations dans différents formats. Les différents formats de fichiers varient des simples fichiers de valeurs séparées par des virgules (CSV) aux formats binaires spécifiques adaptés aux besoins particuliers (matériel de mesure), des documents XML structurés aux dumps binaires de voies, ou aux combinaisons et variations de ces éléments. Chaque format de fichier répond à un objectif spécifique, incluant un échange plus facile de données avec des outils tableurs (CSV), ou un flux de données à haute vitesse (TDMS) ; mais aussi l’absence de normes adaptées à certains cas d'utilisation génère le besoin de formats de fichiers personnalisés.

La multiplicité des formats de fichiers présente un défi dès lors que l’analyse, la création de rapports, la visualisation ou d’autres outils similaires sont nécessaires pour traiter les fichiers de données et les stocker dans différents formats afin de permettre l’échange de données entre produits. Considérant X formats de fichiers et Y outils, la complexité du problème est de l’ordre de X multiplié par Y – ce qui signifie que plus de formats ou d’outils entraînera une croissance exponentielle de l’effort. La variété des formats, la vitesse à laquelle les données sont acquises et stockées, ainsi que le volume de données généré ont été identifiés par National Instruments comme le problème des Big Analog Data^TM.

^{Figure 1 : X formats de fichiers et Y outils lecteurs augmentent la complexité de l'analyse et de la génération de rapports sur les données.}

La clé pour résoudre ce problème est de réduire les degrés de liberté tout en maintenant la chaîne d’outils opérationnelle. Il semble peu probable que la variété des formats de fichiers disparaisse. Il y aura toujours un producteur de données spécifique avec un besoin particulier qui ne peut être satisfait par un format de fichier standard. Ainsi, au lieu de contraindre tous les producteurs de données à utiliser le même format de fichier, la solution souhaitable est l’introduction d’un format de données intermédiaire (ou modèle de données) capable d’accueillir le contenu (données) des X différents formats de fichiers. Ou, en d’autres termes, un format vers lequel tous les autres formats de données peuvent être mappés ou convertis.

L’utilisation d’une interface de programmation d’application (API) standard pour lire ces données intermédiaires réduit la complexité du système à l’ordre de X + 1, surtout que de nombreux consommateurs de données auront déjà implémenté l’API.

Avec une technologie commune de mappage des fichiers de données de mesure vers un modèle de données intermédiaire, une solution Big Analog Data ^TM voit le jour, aidant à accroître la visibilité et la valeur.

National Instruments a introduit une telle solution en proposant la technologie DataPlugin pour mapper les fichiers de mesure à un modèle de données approprié : TDM. L’indexation de ces fichiers à l’aide du SystemLink TDM DataFinder Module permet de les récupérer grâce à une recherche paramétrique et en texte intégral, et les données indexées sont rendues accessibles par une interface standard : ASAM ODS. 

^{Figure 2 : Tout format de fichier peut être mappé au modèle TDM grâce à une technologie appelée DataPlugins, ce qui permet d’utiliser un outil unique pour accéder à diverses sources de données et les analyser.}

Examinons plus en détail la solution proposée en explorant ses différents composants :

Le modèle de données TDM est simple mais adapté et flexible pour les données de mesure. Il est dérivé du modèle de base ASAM ODS en mettant l’accent sur une complexité minimale.

^{Figure 3 : Illustration du modèle de base complet ASAM ODS et des trois niveaux sur lesquels le modèle TDM se concentre afin de minimiser la complexité.}

La hiérarchie à trois niveaux du modèle TDM permet d’organiser vos voies en groupes, puis d’organiser les différents groupes sous une racine unique. Sur chacun des trois niveaux, vous pouvez stocker un nombre illimité de propriétés personnalisées. Vous pouvez en savoir plus sur les avantages du modèle TDM et sur la structure interne.

Un DataPlugin est la description programmatique de la manière de mapper n’importe quel format de fichier personnalisé au modèle de données TDM. La plupart des DataPlugins sont écrits en VBScript en raison des API existantes pour accéder aux fichiers textuels, binaires ou tableurs, mais il existe aussi des API pour C++ ou LabVIEW. NI DIAdem propose également des assistants pour créer vos propres DataPlugins. Avant de commencer à écrire votre propre DataPlugin, vérifiez sur ni.com/dataplugins si un DataPlugin pour votre format de fichier spécifique existe déjà et est disponible en téléchargement gratuit.

ASAM signifie « Association for the Standardization of Automation and Measuring Systems » et ODS signifie « Open Data Services ».

ASAM ODS est une norme industrielle internationale (automobile) pour le stockage des données de mesure. National Instruments, l’un des cofondateurs d’ASAM et membre actif du groupe de travail ASAM ODS, a introduit la norme ASAM ODS dans l’industrie de la mesure, même en dehors du secteur automobile.  ASAM ODS définit le stockage des données, par exemple dans un serveur Oracle ou en mode mixte, ainsi qu’une API Corba pour l’accès aux données. Le principal avantage est la spécification d’un modèle de données de base qui ajoute des (méta-)informations sémantiques aux données.

Le modèle de données TDM est dérivé du modèle de base ASAM ODS. Dans le contexte d’ASAM ODS, le modèle de données TDM+ offre en plus une hiérarchie personnalisée d’une profondeur arbitraire issue des (méta)données existantes et un catalogue d’unités extensible, tout en conservant le modèle de données TDM (et les fichiers de mesure) inchangés.

L’API Corba et le modèle de données TDM+ font tous deux partie de la DataFinder Server Edition.

NI SystemLink™ TDM DataFinder Module est un logiciel de gestion centralisée des données permettant de gérer les grandes quantités de données générées lors des tests et simulations. SystemLink TDM DataFinder Module fonctionne immédiatement en indexant les fichiers de test sur un serveur ou réseau, sans nécessiter de support informatique ni de connaissances en bases de données. L’index des données se construit et évolue automatiquement à mesure que vos fichiers de test changent.

DataFinder permet d’accéder aux données indexées soit via les fichiers originaux en utilisant DIAdem ou LabVIEW DataFinder Toolkit, soit via une API Corba ASAM ODS.

^{Figure 4 : Offrant à la fois une interface basée sur les fichiers et une interface ASAM ODS, DataFinder s’intègre facilement aux processus existants et apporte de la valeur et de la visibilité aux données.}

• En savoir plus sur la norme ASAM ODS
• En savoir plus sur la configuration d’un serveur ASAM ODS avec NI DataFinder