Das NI-TDMS-Dateiformat

Überblick

Ein optimaler Austausch technischer Informationen trifft häufig auf verschiedene Hürden. Die fehlerhafte Erfassung von Informationen zum Zeitpunkt des Tests oder der Simulation ist ein häufiges Versäumnis. Allzu oft werden Daten ohne beschreibende Zusatzinformationen in diversen Dateiformaten verteilt auf mehreren Computern gespeichert. So entsteht schnell ein Datenfriedhof, aus dem sich nur mühsam die Datensätze extrahieren lassen, die für die Entscheidungsfindung benötigt werden. Lassen sich Datensätze nicht finden, dann müssen Tests oder Simulationen neu erstellt werden. Ein Rückgang an Effizienz und erheblich steigende Entwicklungskosten sind die Folge. Um diesen Herausforderungen zu begegnen, hat NI eine Lösung definiert: Technical Data Management (TDM). Folgende drei Bausteine sind dabei von zentraler Bedeutung:

  • Das NI-TDMS-Dateiformat zum Speichern umfassend dokumentierter Messdaten
  • Der NI DataFinder zum schnellen Auffinden zuvor gespeicherter Datensätze
  • NI DIAdem oder Konnektivitäts-VIs für LabVIEW DataFinder zur Verarbeitung von Daten und Erstellung von Berichten


Der erste Schritt zu einer einheitlichen Lösung für das Datenmanagement besteht darin, sicherzustellen, dass die Daten so effizient, organisiert und skalierbar wie möglich gespeichert werden. In diesem Whitepaper wird der erste Aspekt der NI-TDM-Lösung – das NI-TDMS-Dateiformat – vorgestellt. Dabei handelt es sich um ein Format, das für die Speicherung von Messdaten auf einem Datenträger optimiert wurde.

Contents

Traditionelle Ansätze bei der Messdatenspeicherung

Sie können aus einer Reihe von Formatoptionen für das Speichern von Messdaten wählen. Jedoch steht ein genaues Abwägen der Möglichkeiten für die Datenspeicherung bei der Anwendungsplanung meist nicht im Vordergrund. Die Auswahl des Dateiformats wird oft zugunsten anderer, offensichtlicherer Entscheidungen wie Hardwaresystemdesign oder Softwarearchitektur vernachlässigt. Entscheidungen über die Datenablage sind manchmal willkürlich oder werden je nach Bedarf getroffen, ohne weiter an Wiederverwendbarkeit und Skalierbarkeit zu denken, sodass komplexe und kostenaufwendige Softwarearchitekturen entstehen. Da sich Anwendungen und Anforderungen mit der Zeit ändern, erfüllen selbst die gängigsten Speicherformate schon bald nicht mehr die Erfordernisse der Ingenieure und Wissenschaftler, die zeitbasierte Messdaten speichern. Tabelle 1 zeigt die Vor- und Nachteile einiger der am häufigsten gewählten Speicheroptionen für Messdaten.

Das TDMS-Dateiformat verbindet die Vorteile etlicher Datenablageoptionen in einem Dateiformat.

*Erfordert ggf. ein Toolkit oder Zusatzmodul.

Tabelle 1: Das TDMS-Dateiformat verbindet die Vorteile etlicher Datenablageoptionen in einem Dateiformat.

NI hat das TDMS-Dateiformat (Technical Data Management Streaming) eingeführt, da andere häufig in Anwendungen für die Mess- und Prüftechnik eingesetzte Datenablageoptionen unzureichend waren. Das binäre TDMS-Dateiformat ist ein einfach austauschbares und inhärent strukturiertes Dateiformat. Es unterstützt das Hochgeschwindigkeits-Streaming. In Kombination mit anderen Technologien der NI-TDM-Lösung können TDMS-Dateien schnell durchsucht werden, ohne dass komplizierte und teure Datenbanken, Architekturen oder Wartungsarbeiten erforderlich wären.  

Einen besseren Überblick über die verschiedenen Speichermöglichkeiten aus Tabelle 1 bietet das Tutorium Vergleich gängiger Datei-I/O und Ansätze zur Datenablage.

Überblick über die TDMS-Dateistruktur

Die wichtigste Eigenschaft des internen Formats der TDMS-Dateistruktur ist seine hierarchische Organisation. Das TDMS-Datenformat ist anhand dreier Hierarchieebenen strukturiert (siehe Abbildung 1): Datei, Gruppe und Kanal. Die Dateiebene kann eine unbegrenzte Anzahl von Gruppen und jede Gruppe eine unbegrenzte Anzahl von Kanälen enthalten. Aufgrund dieser Kanalgruppierung können Sie Ihre Daten benutzerfreundlich organisieren. So kann beispielsweise in einer einzelnen Datei eine Gruppe für Rohdaten und eine weitere für die analysierten Daten angelegt werden.1 Alternativ können auch mehrere Gruppen angelegt werden, die Sensortypen oder Positionen entsprechen.

Jede TDMS-Datei umfasst Zusatzeigenschaften zu den Datei-, Gruppen- und Kanalebenen.

Abbildung 1: Jede TDMS-Datei umfasst Zusatzeigenschaften zu den Datei-, Gruppen- und Kanalebenen.

Sie können auf jeder der Hierarchieebenen eine unbegrenzte Anzahl benutzerdefinierter Skalareigenschaften speichern. Jede Ebene nimmt eine unbegrenzte Anzahl von anwenderdefinierten Attributen auf, um umfangreich dokumentierte und suchoptimierte Datendateien zu erhalten. Die Zusatzinformationen innerhalb der Datei – ein wichtiger Vorteil dieses Modells – bieten eine einfache Möglichkeit, Daten zu dokumentieren, ohne dass eine eigene Header-Struktur erstellt werden muss. Mit zunehmenden Dokumentationsanforderungen muss die Anwendung nicht neu entwickelt werden. Stattdessen wird einfach das Datenmodell erweitert, um spezifische Anforderungen zu erfüllen. Je mehr Zusatzeigenschaften Sie zur Dokumentation Ihrer Messdaten verwenden, desto einfacher können diese später mit einem NI-DataFinder-Client gefunden werden, sodass sich der Anwender nicht mit komplexer Datenbankkommunikation auseinandersetzen muss.

Nähere technische Informationen zur internen Struktur des offenen TDMS-Dateiformats finden Sie im Tutorium Interne Struktur des TDMS-Dateiformats.

1TDMS-Dateien erzeugen automatisch eine *.tdms_index-Datei. Diese Datei enthält zusammengefasste Angaben zu allen Attributen und Zeigern in der Massendatendatei. Dadurch wird ein sehr viel schnellerer Lesezugriff auf Daten größerer Datensätze ermöglicht. Die Indexdatei ist nicht für das Speichern oder Verteilen erforderlich und aktualisiert sich automatisch.

Schreiben und Lesen von TDMS-Dateien mit NI-Software

Das NI-TDMS-Dateiformat ist ein von der NI-Plattform unterstütztes Dateiformat. Alle Softwareentwicklungsumgebungen von NI bieten eine direkte Schnittstelle zu TDMS-Dateien als Teil ihrer systemeigenen Funktionspaletten oder -bibliotheken. Diese Schnittstellen abstrahieren die Komplexität der Speicherung strukturierter Daten und erleichtern es, beschreibende Informationen zusammen mit den erfassten Mess- oder Simulationsdaten hinzuzufügen.

LabVIEW

Die Software NI LabVIEW bietet mehrere Schnittstellen zu NI-TDMS-Dateien. Am einfachsten ist der Einstieg zum Schreiben von TDMS-Dateien in LabVIEW über das Express-VI „Messwerte in Datei schreiben“. Dieses Express-VI bietet die Einfachheit der dialogbasierten Konfiguration, hat aber Leistungseinbußen und ist nicht für Hochgeschwindigkeits-Streaming oder Real-Time-Anwendungen geeignet.

Mehr Flexibilität und das beste Leistungsvermögen liefern die TDMS-Low-Level-VIs der Datei-I/O-Palette. Mit diesen VIs können Sie TDMS-Dateien und ihre Eigenschaften so effizient wie möglich schreiben und lesen. Diese Zugriffsmethode auf TDMS-Dateien ist unter Nutzung des LabVIEW Real-Time Module echtzeitfähig. Die TDM-Streaming-Palette wurde in LabVIEW 8.2 eingeführt.

Eine Installation von LabVIEW oder Treibern (ab August 2010) beinhaltet eine brandneue TDMS-Advanced-Palette für eine sehr hardwarenahe Steuerung des TDMS-Dateizugriffs, sodass Sie anspruchsvolle Techniken wie asynchrone Schreib- und Leseoperationen ausführen können.

Sie haben die Auswahl aus mehreren LabVIEW-Schnittstellen zum Lesen und Schreiben von TDMS-Dateien

Abbildung 2: Sie haben die Auswahl aus mehreren LabVIEW-Schnittstellen zum Lesen und Schreiben von TDMS-Dateien.

Sie haben die Auswahl aus mehreren LabVIEW-Schnittstellen zum Lesen und Schreiben von TDMS-Dateien

Abbildung 3: Die TDM-Streaming-Palette bietet den flexibelsten und effizientesten Ansatz beim Schreiben und Lesen von TDMS-Dateien mit LabVIEW.

Eine detaillierte Übersicht über das Lesen und Schreiben von TDMS-Dateien mit LabVIEW bietet Ihnen das Tutorium Einführung in LabVIEW-TDM-Streaming-VIs.

LabWindows™/CVI

Sie können auf TDMS-Dateien in NI LabWindows™/CVI über eine von zwei Bibliotheken zugreifen. Die erste Bibliothek – die LabWindows/CVI TDM Streaming Library – ist die bei Weitem schnellere und universeller einsetzbare Variante. Mit dieser API erhalten Sie durch Einsatz des LabWindows/CVI Real-Time Module eine Schnittstelle zu TDMS-Dateien in Echtzeitanwendungen. Die TDM Streaming Library wurde in LabWindows/CVI 8.1 eingeführt.

Die alternative Schnittstelle zu TDMS-Dateien aus LabWindows/CVI ist die DIAdem Connectivity Library, die die NI-DIAdem-Software als Zwischenmechanismus zum Schreiben oder Lesen von TDMS-Dateien verwendet. 

Hinweis: Die DIAdem Connectivity Library wird seit LabWindows/CVI 2017 nicht mehr unterstützt. Es wird empfohlen, für vorhandene Projekte die TDM Streaming Library und für neue Projekte die (angefügte) TDM-C-DLL zu verwenden.

Abbildung 5: LabWindows/CVI bietet zwei Schnittstellen zu TDMS-Dateien, aber die TDM Streaming Library ist die bei Weitem effizientere und flexiblere der beiden.

.NET-Sprachen und Measurement Studio

Die TDM-Streaming-.NET-Klassenbibliothek von NI Measurement Studio (seit Measurement Studio 8.6) bietet eine schnelle und flexible Möglichkeit, eine direkte Schnittstelle zu TDMS-Dateien durch Nutzung von .NET-Sprachen herzustellen. Hinweis: Zugriff auf die TDM-Streaming-.NET-Klassenbibliothek ist auf die Versionen Professional und Enterprise von Measurement Studio beschränkt.

Measurement Studio umfasst eine integrierte TDM-Streaming-.NET-Klassenbibliothek

Abbildung 6: Measurement Studio umfasst eine integrierte TDM-Streaming-.NET-Klassenbibliothek.

NI DIAdem

Die Software NI DIAdem ist eine flexible Umgebung für die Datennachbearbeitung, Visualisierung und Berichterstellung. Durch den Einsatz von DataPlugins kann sie auch mit jedem beliebigen benutzerdefinierten Dateiformat arbeiten. DIAdem ist speziell darauf ausgelegt, TDMS-Dateien standardmäßig schreiben und lesen zu können. Allerdings werden Daten, die ins Datenportal – eine visuelle Darstellung des internen DIAdem-Speichers – geladen werden, auf das TDMS-Modell abgebildet. Mit DIAdem – einem Client für NI DataFinder und somit die dritte Komponente der NI-TDM-Lösung – können Sie den NI-DataFinder-Index durchsuchen, um Daten so einfach wie Internetinformationen mit einer Suchmaschine wie Google zu finden. 

Sie können DIAdem so konfigurieren, dass sich jedes benutzerdefinierte Dateiformat auf dem TDMS-Modell abbilden lässt.

Abbildung 7: Sie können DIAdem so konfigurieren, dass sich jedes benutzerdefinierte Dateiformat auf dem TDMS-Modell abbilden lässt.

Mehr zu DIAdem für eine interaktive Visualisierung, Analyse und Berichterstellung finden Sie unter ni.com/diadem.

NI VeriStand

NI VeriStand ist eine konfigurationsbasierte Softwareumgebung für Echtzeittests, mit der Sie Messungen auf verschiedene Arten in TDMS-Dateien protokollieren können.  Mithilfe des enthaltenen Stimulus Profile Editor können Sie automatisierte Testskripte für das Erzeugen von Echtzeitstimuli für Prüflinge erstellen, während Systemparameter in eine Datei protokolliert werden.  Außerdem können mit dem seit NI VeriStand 2013 integrierten Arbeitsbereich-Datenaufzeichnungsobjekt Messungen konfiguriert und Daten direkt über die Benutzeroberfläche protokolliert werden.  NI VeriStand bietet seit der Version 2013 zudem die direkte Integration in DIAdem, sodass die Nachbearbeitung wie auch die Protokollerstellung automatisiert werden können.  Dadurch wird gewährleistet, dass Ihre Datendateien bei jedem Test immer gleich verarbeitet und dargestellt werden, wodurch Entscheidungen schneller getroffen werden können und die Produktqualität verbessert wird.

Im nachfolgenden Video erfahren Sie, wie Sie Daten von Echtzeittests mit VeriStand und DIAdem erzeugen und verwalten. 

 

Schreiben und Lesen von TDMS-Dateien mit Programmiersoftware von Drittanbietern

NI stellt zahlreiche Werkzeuge zur Verfügung, um TDMS-Dateien mit Drittanbieteranwendungen zu schreiben und zu lesen. 

TDM C DLL

NI bietet die TDM-C-DLL kostenlos zum Download an. Die DLL enthält alle benötigten Funktionen zum Lesen und Schreiben von TDMS-Dateien aus jeder Entwicklungsumgebung, die DLLs einbinden kann. Um die DLL und die dazugehörigen Beispiele kostenlos herunterzuladen, laden Sie die TDM-C-DLL aus dem Bereich „Anhänge“ dieser Seite herunter.

Die TDM-C-DLL ist eine kostenlose Schnittstelle zu TDMS-Dateien, die Sie in Umgebungen von Drittanbietern nutzen können

Abbildung 8: Die TDM-C-DLL ist eine kostenlose Schnittstelle zu TDMS-Dateien, die Sie in Umgebungen von Drittanbietern nutzen können.

OpenOffice.org Calc

Mithilfe des kostenlosen Zusatzpakets für OpenOffice.org Calc können Sie TDMS-Dateien einschließlich beschreibender Informationen in OpenOffice.org Calc laden und verarbeiten. Sie müssen lediglich das Zusatzpaket herunterladen, installieren und die Funktionen von OpenOffice.org Calc mit einem zusätzlichen Menü verwenden, um TDMS-Dateien zu laden und das Zusatzpaket zu konfigurieren.

Das kostenlose Zusatzpaket für OpenOffice.org installiert einen neuen Menüpunkt in OpenOffice.org Calc zum Importieren von TDMS-Dateien

Abbildung 9: Das kostenlose Zusatzpaket für OpenOffice.org installiert einen neuen Menüpunkt in OpenOffice.org Calc zum Importieren von TDMS-Dateien.

Weitere Informationen und den Download-Link für das kostenlose Zusatzpaket liefert die Anleitung TDM Add-In Tool for OpenOffice.org Calc User Guide.

The MathWorks, Inc. MATLAB®-Software

NI hat ein Beispiel entwickelt, in dem gezeigt wird, wie TDM- und TDMS-Dateien von MATLAB® von der Softwareumgebung The MathWorks aus gelesen werden.

 

Austausch von TDMS-Dateien mit Kollegen mithilfe von Microsoft Excel

Obwohl alle Entwicklungsumgebungen von NI TDMS-Dateien schreiben und lesen können, ist es gelegentlich von Vorteil, Datendateien mit Kollegen oder Managern auszutauschen, die nicht über NI-Software verfügen. Daher stellt NI das TDM-Excel-Zusatzpaket als kostenloses Zusatzpaket für eine gängige Softwareumgebung – Microsoft Excel – bereit, sodass viele Ingenieure auf diese TDMS-Dateien zugreifen können. Dieses Zusatzpaket wird mit NI-Software installiert und steht auch als Stand-alone-Download für Benutzer zur Verfügung, die Daten anzeigen möchten und keine NI-Software auf ihrem Computer installiert haben. Zwar ist Microsoft Excel kein ideales Werkzeug für die Nachbearbeitung von Messdaten, aber es eignet sich gut, um schnell kleine Datendateien zu sichten. Der Zugriff auf dieses kostenlose Zusatzpaket erfolgt aus der Excel-Umgebung.

Sämtliche Software von National Instruments installiert eine brandneue Technologie, um direkt aus dem Windows-Explorer eine Schnittstelle zu TDMS-Dateien zu erhalten. Dieses neue Excel-Importutility wird im Abschnitt „Öffnen mit“ des Rechtsklick-Kontextmenüs des Windows-Explorers angezeigt und ermöglicht es Kollegen ohne Zugriff auf NI-Software, Microsoft Excel als Standardprogramm für die Anzeige von TDMS-Dateien zuzuordnen. Sobald die Dateiendung mit dem Excel-Importer verknüpft ist (ein automatischer Prozess, falls DIAdem nicht auf dem Computer vorhanden ist), können Kollegen einfach doppelt auf eine TDMS-Datei klicken, um sie in Excel zu öffnen.

Abbildung 10: Durch Nutzung eines kostenlosen Zusatzpakets können Sie im Windows-Explorer einen Doppelklick auf TDMS-Dateien ausführen und sie in Microsoft Excel öffnen selbst ohne NI-Software.

 

Abbildung bestehender Datendateien auf das TDMS-Dateiformat

Manchmal kann das TDMS-Dateiformat nicht verwendet werden. So schreiben etwa manche Anforderungen von Kunden oder Zulieferern vor, dass Sie ein bestimmtes Dateiformat für die Datenablage verwenden müssen. Gewisse herkömmliche Messgeräte stellen Datenausgangsdateien mithilfe eines benutzerdefinierten Formats automatisch zur Verfügung. Außerdem können ältere Messdaten, die bereits auf bestimmte Art und Weise erfasst wurden, nicht erneut erfasst werden, um sie im TDMS-Dateiformat zu speichern.

Zu diesem Zweck hat NI eine Technologie entwickelt, mit der Sie eine Beschreibung dazu bereitstellen können, wie ein beliebiges benutzerdefiniertes Dateiformat auf dem TDMS-Modell abgebildet wird. Sie können diese Technologie – sogenannte DataPlugins – mithilfe eines DIAdem-Assistenten erstellen oder mit VBScript, C++ oder LabVIEW programmieren. Sobald Sie beschrieben haben, wie Ihr spezifisches Dateiformat mithilfe des TDMS-Modells interpretiert werden soll, kann NI DataFinder beschreibende Eigenschaften identifizieren und indizieren. Dadurch wird eine Suche aus einem NI-DataFinder-Client wie den Konnektivitäts-VIs für LabVIEW DataFinder oder DIAdem ermöglicht.   

NI bietet Hunderte kostenlose DataPlugins zum Download an. Unter ni.com/dataplugins finden Sie die DataPlugin-Downloads für die gängigsten Dateiformate, um das TDMS-Modell zu nutzen, oder Sie können sich kostenlos ein DataPlugin für Ihr spezielles Dateiformat erstellen lassen.

Abbildung 11: Mit DataPlugins können Sie den Ort der Datei, der Kanalgruppe und der Kanalinformationen innerhalb jedes beliebigen benutzerdefinierten Dateiformats wie dem in dieser Abbildung für die Verwendung mit dem TDMS-Modell beschreiben.

 

Die schnellste Methode zum Streaming von Messwerten auf einen Datenträger

Ab NI-DAQmx 9.0 ist es möglich, Daten in TDMS-Dateien direkt über die DAQmx-API aufzuzeichnen. Indem das Aufzeichnen über das VI „DAQmx – Protokollierung konfigurieren“ konfiguriert wird, können Sie die TDMS-Protokollierung ganz einfach in bestehende Anwendungen integrieren. Des Weiteren trägt diese Methode des Daten-Streamings dazu bei, die Messlatte beim Hochgeschwindigkeits-Messdaten-Streaming höher zu legen. Dazu werden mehrere Speichervorgänge optimiert und Windows-, LabVIEW- und TDMS-Puffer umgangen, um maximale Effizienz zu erzielen. Bei Tests mit dem VI „DAQmx – Protokollierung konfigurieren“ wurden Datenstromraten von mehr als 1,2 GB/s erzielt. Weitere Informationen zum Einbinden der TDMS-Protokollierung in Ihre NI-DAQmx-Anwendung finden Sie unter Direkte Integration von TDMS in NI-DAQmx-Protokollierung.

 

Abbildung 12: Mithilfe des VIs „NI-DAQmx – Protokollierung konfigurieren“ können Sie Daten mithilfe des TDMS-Dateiformats mit nur einem zusätzlichen Schritt auf einen Datenträger streamen.

Im Vordergrund stehen die Daten, nicht das Format

NI entwickelte das TDMS-Dateiformat, um Ingenieure und Wissenschaftler bei der richtigen Speicherung großer Datenmengen zu unterstützen, die sie während der Simulations- und Testphase generiert haben. Mithilfe einer einfach zu bedienenden Schnittstelle für das Speichern umfassend organisierter und dokumentierter Dateien können Sie sich auf dringendere Bereiche Ihrer Anwendungen konzentrieren. Der Datenablageaspekt Ihrer Anwendungsschnittstelle skaliert von selbst mit Ihrer Anwendung.

 

Nächste Schritte

MATLAB® ist eine eingetragene Marke von The MathWorks, Inc.

Für die Verwendung der Marke LabWindows wurde eine Lizenz bei der Microsoft Corporation eingeholt. Windows ist ein in den USA und anderen Ländern eingetragenes Warenzeichen der Microsoft Corporation.

Downloads

Anforderungen

 

Software

Sprache(n): VB-Script