Le format de fichier NI TDMS

Aperçu

Plusieurs obstacles peuvent entraver l'échange optimal des informations techniques. Le plus connu est la mauvaise capture des informations lors du test ou de la simulation. Bien trop souvent, les données sont conservées sans informations descriptives, dans des formats inconsistants, et dispersées sur plusieurs ordinateurs, créant ainsi un cimetière d'informations rendant particulièrement difficile de localiser un ensemble de données spécifique et de baser des décisions sur celui-ci. Lorsque des ensembles de données ne peuvent pas être localisés, les test ou les simulations doivent être refaits. C'est pourquoi de nombreuses entreprises observent une diminution de l'efficacité et une augmentation importante des coûts de développement. Pour relever ces défis, NI a définit une solution de gestion des données techniques (TDM, technical data management) incluant trois éléments constitutifs :

  • Le format NI TDMS permettant de sauvegarder les données de mesure solidement documentées.
  • NI DataFinder permettant de localiser rapidement les ensembles de données stockés antérieurement.
  • DIAdem ou la boîte à outils LabVIEW DataFinder permettant de traiter les données et de générer des rapports.


La première étape pour parvenir à une gestion des données cohérente consiste à s'assurer que les données soient stockées de la manière la plus efficace, organisée et évolutive que possible. Ce whitepaper précise le premier volet de la solution NI TDM (le format de fichier NI TDMS), un format de fichier optimisé pour sauvegarder les données de mesure sur disque.

Contenu

Approches classiques du stockage des données de mesure

Vous pouvez choisir parmi plusieurs options de formats pour le stockage des données de mesure. Malheureusement, une étude attentive des options de stockage des données n'est généralement pas au centre de la planification des applications. Le choix du format de fichier est souvent négligé au profit de décisions plus visibles telles que la conception du système matériel ou l'architecture logicielle. Les décisions en matière de stockage des données sont parfois prises arbitrairement ou en fonction des besoins de chaque application sans réfléchir au caractère réutilisable et évolutif, ce qui entraîne une ré-architecture complexe et coûteuse du logiciel. Parce que les applications et les exigences évoluent avec le temps, même les formats de stockage traditionnels les plus populaires cessent rapidement de répondre aux besoins des ingénieurs et des scientifiques stockant des données de mesure temporelles. Le tableau 1 montre les avantages et les inconvénients de certaines des options les plus souvent utilisées pour le stockage des données de mesure.

*Peut nécessiter un toolkit ou un module complémentaire.​


Tableau 1 : Le format de fichier TDMS combine les avantages de plusieurs options de stockage de données dans un seul et même format.

NI a créé le format de fichier Technical Data Management Streaming (TDMS) en raison des insuffisances des autres options de stockage de données fréquemment utilisées pour les applications de test et de mesure. Le format de fichier binaire TDMS est facilement interchangeable, naturellement structuré, et capable de transfert à haute vitesse qui, lorsqu'il est associé à d'autres technologies de la solution NI TDM, devient rapidement consultable sans la nécessité d'une conception, d'une architecture ou d'une maintenance complexes et coûteuses de la base de données.

Pour une présentation plus approfondie des différentes options de stockage des données du tableau 1, consultez Comparer les E/S de fichiers courantes et les approches du stockage des données.

 

 

Présentation de la structure de fichier TDMS

La caractéristique unique et la plus importante permettant de comprendre le format interne de la structure de fichier TDMS est son organisation hiérarchisée propre. Le format de fichier TDMS est structuré à l'aide de trois niveaux de hiérarchisation, tel qu'indiqué dans le tableau 1 : fichier, groupe et voie. Le niveau du fichier peut contenir un nombre illimité de groupes, et chaque groupe un nombre illimité de voies. Ce regroupement par voies vous permet de choisir comment organiser vos données pour faciliter leur analyse. Par exemple, vous pourriez avoir un groupe contenant vos données brutes et un autre groupe contenant vos données analysées au sein d'un même fichier.1 Ou, vous pourriez avoir plusieurs groupes correspondant aux types de capteurs ou aux emplacements.

Figure 1. Chaque fichier TDMS contient des informations descriptives sur les niveaux de fichier, de groupe et de voie.

Vous pouvez stocker un nombre illimité de propriétés scalaires personnalisées à chaque niveau de hiérarchisation. Chaque niveau accepte un nombre illimité d'attributs personnalisés afin d'obtenir des fichiers de données bien documentés dans lesquels il est facile de faire des recherches. Les informations descriptives contenues dans le fichier, principal avantage de ce modèle, facilitent la documentation des données sans exiger la conception d'une structure à en-têtes. Lorsque vos besoins en documentation augmentent, vous n'avez ainsi plus besoin de repenser votre application. Il vous suffit d'étendre le modèle pour satisfaire vos besoins spécifiques. Plus vous utilisez des propriétés personnalisées pour documenter vos données de mesure, plus il sera facile de les localiser ultérieurement à l'aide d'un client NI DataFinder qui extrait des informations complexes de bases de données de l'utilisateur.

Pour obtenir une description technique détaillée de la structure interne du format de fichier TDMS ouvert, consultez Structure interne du format de fichier TDMS.

1 Les fichiers TDMS génèrent aussi automatiquement un fichier *.tdms_index supplémentaire. Ce fichier fournit également des informations consolidées sur tous les attributs et les pointeurs du fichier de données de masse qui accélèrent considérablement l'accès en lecture des données faisant partie d'ensembles de données plus volumineux. Ce fichier index n'est pas nécessaire pour le stockage ou la distribution et se génère à nouveau automatiquement.

 

 

Écriture et lecture des fichiers TDMS avec les logiciels NI

Le format de fichier NI TDMS est un format de fichier de NI sur plate-forme. Tous les environnements de développement de logiciels NI communiquent avec les fichiers TDMS en tant qu'élément de leur palette de fonctions native ou bibliothèques. Ces interfaces réduisent la complexité du stockage de données structurées tout en facilitant l'ajout d'informations descriptives associés aux données de mesure ou de simulation enregistrées.

 

LabVIEW

Il existe plusieurs interfaces pour les fichiers NI TDMS dans le logiciel NI LabVIEW. La façon la plus facile de commencer à écrire des fichiers TDMS dans LabVIEW est d'utiliser le VI Express Écrire dans un fichier de mesures. Ce VI Express offre la facilité de configuration basée sur les boîtes de dialogue au détriment de la performance et n'est pas adapté au transfert à haute vitesse ou aux applications en temps réel.

Pour plus de flexibilité et pour atteindre la meilleure performance, utilisez les VIs primitifs de TDMS à partir de la palette de fichier I/O. Ces VIs vous permettent de lire et d'écrire des fichiers TDMS et leurs propriétés de la manière la plus efficace qui soit. Cette méthode d'accès aux fichiers TDMS peut être effectuée en temps-réel à l'aide du Module LabVIEW Real-Time. La palette TDM Streaming a été ajoutée à LabVIEW 8.2.

L'installation de LabVIEW ou de pilotes lancés en août 2010 ou ultérieurement incluent l'accès à une toute nouvelle palette avancée TDMS pour un niveau de contrôle des fichiers TDMS extrêmement bas, vous permettant d'effectuer des techniques avancées telles que l'écriture et la lecture asynchrone.

Figure 2. Vous pouvez choisir parmi plusieurs interfaces sur LabVIEW pour lire et écrire des fichiers TDMS.

Figure 3. La palette TDM en continu offre la méthode de lecture et d'écriture des fichiers TDMS à l'aide de LabVIEW la plus flexible et la plus efficace .

Pour une présentation détaillée sur la lecture et l'écriture des fichiers TDMS avec LabVIEW, consultez Présentation des VIs LabVIEW TDM Streaming.

LabWindows™/CVI

Vous pouvez accéder aux fichiers TDMS dans le logiciel NI LabWindows™/CVI en utilisant l'une des deux bibliothèques. La première (la bibliothèque LabWindows/CVI TDM Streaming) est de loin la méthode la plus rapide et la plus généralisée. Avec cette IPA, vous pouvez communiquer avec les fichiers TDMS dans les applications en temps réel à l'aide du module LabWindows/CVI Real-Time. La bibliothèque TDM Streaming a été ajoutée à LabWindows/CVI 8.1.

L'interface intermédiaire pour les fichiers TDMS dans LabWindows/CVI est l'API de connectivité DIAdem, qui utilise le logiciel NI DIAdem comme système intermédiaire pour écrire et lire les fichiers TDMS.

Figure 5. LabWindows/CVI offre deux interfaces pour les fichiers TMDS, mais la bibliothèque TDM Streaming est de loin la plus performante et la plus flexible des deux.

Pour obtenir des instructions et des exemples de code pour l'utilisation de TDMS dans LabWindows/CVI, consultez Présentation de la bibliothèque TDM Streaming de LabWindows/CVI.

 

Languages .NET en utilisant Measurement Studio

La bibliothèque de classe .NET de NI Measurement Studio TDM Streaming, intégrée à Mesurement Studio 8.6, offre une manière flexible et rapide de communiquer directement avec les fichiers TDMS en utilisant les langages .NET. Remarque : L'accès la bibliothèque de classe .NET pour TDM Streaming est limité au versions Professionnel et Entreprise de Measurement Studio.

Figure 6. Measurement Studio inclut une bibliothèque de classe .NET pour TDM Streaming intégrée.

Pour obtenir des instructions et des exemples de code pour l'utilisation de TDMS dans Measurement Studio, consultez Présentation de la bibliothèque de classe .NET pour Measurement Studio TDM Streaming.

 

NI DIAdem

Le logiciel NI DIAdem est un environnement flexible de post-traitement, de visualisation et de création de rapports sur les données facilement extensible pour fonctionner avec tout format de fichier personnalisé à l'aide de DataPlugins. DIAdem est spécifiquement conçu pour lire et écrire des fichiers TDMS prêts à l'emploi ; toutefois, toutes données enregistrées sur le Portail des données (le Data Portal, une représentation visuelle de la mémoire interne de DIAdem) est naturellement mise en correspondance avec le modèle TDMS. En utilisant DIAdem (un client de NI DataFinder et le troisième volet de la solution NI TDM), vous pouvez rechercher l'index du NI DataFinder pour localiser les données que vous recherchez aussi facilement que vous localisez des informations sur Internet à l'aide de moteurs de recherche tels que Google.

Figure 7. Vous pouvez configurer DIAdem pour faire correspondre tout fichier personnalisé avec le modèle TDMS pour tirer parti de ces avantages.

Pour en savoir plus sur DIAdem pour la visualisation, l'analyse et la création de rapports interactifs, consultez ni.com/diadem.

 

NI VeriStand

NI VeriStand est un environnement logiciel basé sur la configuration pour effectuer des tests en temps réel vous permettant d'enregistrer les mesures sur des fichiers TDMS de multiples façons. Vous pouvez utiliser l'outil éditeur de profil de stimulus intégré pour créer des scripts tests automatiques afin de générer des stimulus en temps réel vers un appareil en phase de test tout en enregistrant les paramètres du système sur le fichier. Vous pouvez également configurer des mesures et enregistrer des données directement depuis l'interface utilisateur à l'aide de l'objet d'enregistrement des données de l'espace de travail ajouté a NI VeriStand 2013. NI VeriStand 2013 ajoute également l'intégration directe de DIAdem afin que vous puissiez automatiser à la fois le post-traitement et la création de rapports. Ceci garantit que vos fichiers de données sont traités et présentés de manière identique lors de chaque test, ce qui vous permet de prendre des décisions plus rapidement et d'améliorer la qualité du produit.

Regardez cette vidéo de présentation pour apprendre comment créer et gérer des données de test en temps réel avec VeriStand et DIAdem.


 

 

Écrire et lire des fichiers TDMS avec un logiciel de programmation tiers

NI fournit plusieurs outils pour lire et écrire des fichiers TDMS à l'aide d'applications tierces.

 

TDM C DLL

NI propose le téléchargement gratuit de TDM C DLL. Il contient les fonctions nécessaires à la lecture et à l'écriture de fichiers TDMS à partir de tout environnement de développement des applications assez flexible pour permettre la communication DLL. Pour télécharger le DLL et les exemples associés gratuitement, téléchargez le TDM C DLL depuis la section fichiers joints de cette page.

Figure 8. Le TDM C DLL est une interface gratuite pour les fichiers TDMS pouvant être utilisée dans les environnements tiers.

 

OpenOffice.org Calc

Avec le complément pour OpenOffice.org Calc, vous pouvez télécharger et traiter des fichiers TDMS incluant des informations descriptives dans OpenOffice.org Calc. Il vous suffit de télécharger le complément logiciel, de l'installer, et d'utiliser les fonctions d'OpenOffice.org Calc avec un menu supplémentaire pour télécharger les fichiers TDMS et configurer le complément logiciel.

Figure 9. Le complément logiciel gratuit pour OpenOffice.org Calc installe un nouveau élément de menu sur OpenOffice.org Calc permettant d'importer des fichiers TDMS.

Pour en savoir plus, ou pour télécharger le complément logiciel gratuit, consultez le Guide utilisateur du complément TDM pour OpenOffice.org Calc.

 

Le logiciel MATLAB® de MathWorks, Inc.

NI a créé un exemple illustrant comment adapter le TDM C DLL avec un fichier d'en-tête personnalisé pour qu'il corresponde avec des fichiers TDMS depuis le logiciel MATLAB® de The MathWorks, Inc. ​

Pour en savoir plus et télécharger l'exemple, consultez le Guide utilisateur de l'exemple MATLAB TDM.

 

 

Distribuer et échanger des fichiers TDMS avec des collègues à l'aide de Microsoft Excel.

Bien que tous les environnements de développement de NI puissent écrire et lire les fichiers TDMS, il est parfois utile de partager des fichiers de données avec des collègues ou des managers qui ne possèdent pas de logiciels NI. C'est pourquoi National Instrument offre un complément logiciel gratuit (disponible lors de l'installation d'un logiciel NI ou pouvant être téléchargée sur le Web) pour un environnement logiciel commun (Microsoft Excel) auquel de nombreux ingénieurs ont accès. Bien que Microsoft Excel ne soit pas l'outil idéal pour traiter les données de mesure, il reste un environnement adapté à la lecture rapide de petits fichiers de données. Ce complément logiciel gratuit est accessible à partir de l'environnement Excel.

Tous les logiciels de NI installent une technologie toute nouvelle permettant d'interagir avec les fichiers TDMS directement depuis Windows Explorer. Ce nouveau programme « Excel Importer » apparait dans la section « Ouvrir avec » dans le menu contextuel s'affichant lorsque vous cliquez sur le bouton droit de votre souris, et permet à vos collègues n'ayant pas accès au logiciel NI de définir Microsoft Excel en tant que programme par défaut pour ouvrir les fichiers TDMS.Après que l'extension de fichier ait été associée avec Excel Importer (un processus automatique si DIAdem n'est pas installé sur l'ordinateur), vos collègues pourront simplement double-cliquer sur un fichier TDMS pour l'ouvrir dans Excel.

Pour en savoir plus ou pour télécharger le complément logiciel TDM pour Excel, consultez le Guide utilisateur du complément logiciel TDM Excel pour Microsoft Excel.

Figure 10. En utilisant un complément logiciel gratuit, vous pouvez double-cliquer sur les fichiers TDMS dans Windows Explorer et les ouvrir dans Microsoft Excel, même si le logiciel NI n'est pas installé sur votre ordinateur.

 

 

Associer des fichiers de données existants au format de fichier de données TDMS.

Il est parfois impossible d'utiliser le format de fichier TDMS. Par exemple, les exigences des fournisseurs ou des clients imposent parfois que vous utilisiez un type de fichier particulier pour stocker les données. Certains outils classiques fournissent automatiquement des fichiers de sortie de données dans un format personnalisé. De plus, les données de mesure existantes ayant déjà été collectées d'une manière spécifique ne peuvent être simplement collectées à nouveau pour être stockées au format de fichier TDMS.

Pour ce faire, NI a créé une technologie pouvant être utilisée pour indiquer comment faire correspondre n'importe quel format de fichier avec le modèle TDMS. Vous pouvez créer cette technologie (appelée DataPlugins) à l'aide de l'assistant DIAdem ou la programmer à l'aide de VBScript, C++ ou LabVIEW. Une fois que vous aurez indiqué comment interpréter votre fichier personnalisé à l'aide du modèle TDMS, le DataFinder pourra identifier et indexer les informations descriptives, les rendant consultables par un client NI DataFinder tel que l'outil LabVIEW DataFinder ou DIAdem.

NI offre des centaines de DataPlugins gratuits pouvant être téléchargés. Pour télécharger un DataPlugin pour que les formats de fichier les plus courants utilisent le modèle TDMS, ou pour demander qu'un DataPlugin soit créé gratuitement pour votre format de fichier personnalisé, consultez ni.com/dataplugins.

Figure 11. Avec DataPlugins, vous pouvez indiquer l'emplacement du fichier, le groupe de voies et les informations sur les voies dans n'importe quel format de fichier personnalisé (tel que celui sur cette image) à utiliser avec le modèle TDMS.

 

 

La manière la plus rapide de transférer des données de mesure sur disque

Avec NI-DAQmx 9.0 et les versions suivantes, vous pouvez enregistrer des données sur des fichiers TDMS directement depuis l'API DAQmx. En configurant l'enregistrement via le VI DAQmx - Configurer l'enregistrement, vous pourrez facilement intégrer l'enregistrement TDMS dans vos applications actuelles. De plus, cette méthode de transfert de données sur disque vous permet de véritablement repousser les limites du transfert à haute vitesse de données de mesure, en optimisant plusieurs opérations de mémoire et en contournant les mémoires tampon de Windows, LabVIEW et TDMS pour une performance maximale. Les tests avec le VI DAQmx - Configurer l'enregistrement ont atteint des taux de transfert de plus de 1,2 GB/s. Pour en savoir plus sur la façon d'intégrer l'enregistrement TDMS dans votre application NI-DAQmx, consultez le tutoriel Intégration directe du TDMS dans l'enregistrement de NI-DAQmx.

 

Image 12. En utilisant le VI DAQmx - Configurer l'enregistrement, vous pourrez transférer des données sur disque au format de fichier TDMS en une seule petite étape supplémentaire.

 

 

Concentrez-vous sur les données, pas sur le format

NI a créé le format de fichier TDMS pour permettre aux ingénieurs et aux scientifiques de stocker adéquatement les importants volumes de données qu'ils génèrent durant un test ou une simulation. Grâce à une interface facile d'utilisation permettant de stocker des fichiers documentés et bien organisés, vous pouvez concentrer vos efforts sur des points plus urgents concernant vos applications et laisser évoluer naturellement l'aspect stockage des données de l'interface de votre application.

 

 

Effectuer les étapes suivantes aujourd'hui

MATLAB® est une marque déposée de The MathWorks, Inc.

The mark LabWindows is used under a license from Microsoft Corporation. Windows is a registered trademark of Microsoft Corporation in the United States and other countries.

Téléchargements

Requirements

 

Software

Language(s): VB Script

Requirements

 

Software

Language(s): VB Script