計測データについて語る際、通常はファイルに保存されたデータが主な焦点となります。このようなファイルは、多様な測定システムで生成され、それぞれ情報を異なる形式で保存しています。ファイル形式は、単純なカンマ区切り値(CSV)ファイルから、特定の(測定ハードウェア)要件向けにカスタマイズされた専用のバイナリ形式、構造化XML文書、バイナリチャンネルダンプ、またはそれらの組み合わせや変形まで多岐にわたります。各ファイル形式は、スプレッドシートツールとのデータ交換が容易なCSVファイルや高速データストリーミングのTDMSなど、特定の目的に対応しています。しかし、特定のユースケースに適した標準が不足しているため、カスタマイズされたファイル形式の必要性も生じています。
多様なファイル形式は、データ解析、レポート作成、視覚化、その他のツールによってデータファイルを処理し、異なる形式で保存して製品間のデータ交換を可能にする際に課題となります。X種類のファイル形式とY種類のツールを考慮すると、問題の複雑さはおおよそX×Yに比例します。つまり、ファイル形式やツールが増えれば増えるほど、対応の労力は指数的に増大します。多様な形式、データの収集と格納速度、およびそれに伴う膨大なデータ量は、NIによってBig Analog DataTM問題として認識されています。
図1: X種類のファイル形式とY種類のリーダーツールがデータ解析およびレポート作成の複雑さを増大させます。
この問題の解決の鍵は、ツールチェーンを機能させたまま自由度を削減することにあります。多様なファイル形式が消滅する可能性は低いと考えられます。標準的なファイル形式では対応できない特定のニーズを持つ個別のデータ生産者は常に存在します。したがって、すべてのデータ生産者に同一のファイル形式での書き込みを強制するのではなく、X種類の異なるファイル形式の内容(データ)を収容可能な中間データ形式(またはデータモデル)を導入することが望ましい解決策です。別の言い方をすれば、すべての他のデータ形式をマッピングまたは変換可能な形式です。
中間データを読み取るために標準のアプリケーションプログラミングインタフェース(API)を使用することで、システムの複雑さはX+1の指数に減少します。特に、多くのデータ消費者がすでにAPIを実装している場合に効果的です。
計測データファイルを中間データモデルにマッピングする共通技術により、可視性と価値の向上に貢献するBig Analog DataTMソリューションが誕生します。
NIは、計測ファイルを次のような適切なデータモデルにマッピングするデータプラグイン技術の提供により、このようなソリューションを導入しました: TDM。SystemLink TDM DataFinderモジュールを使用してこれらのファイルにインデックスを付けると、パラメトリック検索および全文検索によりファイルを取得でき、インデックス付けされたデータには次の標準インタフェースでアクセスできます: ASAM ODS。
図2:任意のファイル形式は、データプラグインと呼ばれる技術でTDMモデルへマッピング可能であり、これにより単一のツールを使ってさまざまなデータソースへアクセスして解析が可能となります。
提供されているソリューションの詳細を、各コンポーネントを探りながら見ていきましょう。
データプラグインは、任意のカスタムファイル形式をTDMデータモデルにマッピングするプログラム的記述です。多くのデータプラグインは、テキスト、バイナリ、またはスプレッドシートファイルにアクセスするAPIがあるためVBScriptで作成されていますが、C++やLabVIEW用のAPIも存在します。NI DIAdemは、独自のデータプラグインを作成するためのウィザードも提供しています。独自のデータプラグインの作成を始める前に、ni.com/datapluginsで特定のファイル形式用のデータプラグインが既に存在し、無料でダウンロード可能かどうかをご確認ください。
ASAMは「自動化および計測システムの標準化協会」の略称で、ODSは「オープンデータサービス」の略称です。
ASAM ODSは、計測データを保存するための国際的な(自動車)業界標準です。NIは、ASAMの共同設立者のひとりであり、ASAM ODSワーキンググループの積極的なメンバーとして、自動車業界以外の計測業界にもASAM ODS標準を普及させてきました。 ASAM ODSは、たとえばOracleやミックスモードサーバでのデータ保存や、CorbaベースのAPIによるデータアクセスを定義しています。主な利点は、データにセマンティック(メタ)情報を付加する、いわゆるベースデータモデルの仕様にあります。
TDMデータモデルは、ASAM ODSベースモデルから派生しています。ASAM ODSの文脈において、TDM+データモデルは、既存の(メタ)データに基づく任意の深さのカスタム定義階層と拡張可能なユニットカタログを提供しつつ、TDMデータモデル(および計測ファイル)は変更しません。
Corba APIとTDM+データモデルはどちらもDataFinder Serverエディションの一部です。
NI SystemLink™ TDM DataFinderモジュールは、テストおよびシミュレーション中に生成された大量のデータを集中管理するソフトウェアです。SystemLink TDM DataFinderモジュールは、サーバ上またはネットワーク経由でテストファイルを自動でインデックス化し、ITサポートやデータベース知識なしにすぐに導入可能です。テストファイルの変化に応じてデータインデックスは自動的に構築および拡張されます。
DataFinderは、DIAdemまたはLabVIEW DataFinder Toolkitを介した元ファイルから、あるいはASAM ODS Corba API経由でインデックス付けされたデータにアクセスできます。
図4: ファイルベースのインタフェースとASAM ODSインタフェースの両方を提供するDataFinderは、既存プロセスにスムーズに統合され、データに価値と可視性を加えます。