在谈论测量数据时,通常主要关注存储在文件中的数据。这些文件由多种测量系统生成,信息以不同格式存储。文件格式种类繁多,从简单的逗号分隔值(CSV)文件,到针对特定(测量硬件)需求定制的特定二进制格式;从结构化的XML文档,到二进制通道转储,或上述格式的组合与变体。每种文件格式都有特定用途,包括便于与电子表格工具交换数据的CSV或实现高速数据流的TDMS;但同时,针对特定应用场景缺乏合适标准也催生了定制的文件格式。
当需要进一步处理数据文件,比如数据分析、报告生成、可视化等,并以不同格式存储以实现跨产品数据交换时,文件格式的多样性成为一大挑战。考虑X种文件格式和Y种工具,问题复杂度大约为X乘Y——即文件格式或工具越多,工作量将呈指数增长。格式多样性、数据采集与存储速度迅捷以及随之产生的数据量庞大,被NI定义为大模拟数据TM难题。
图1:X种文件格式和Y种读取工具提升了数据分析和报表生成的复杂性。
解决该问题的关键在于减少自由度,同时维持工具链的活跃。各种不同文件格式的多样性不太可能消失。总会存在特定的数据生成者,其特殊需求无法被标准文件格式满足。因此,理想的解决方案不是强制所有数据生成者使用同一文件格式,而是引入一个能容纳这X种不同文件格式内容(数据)的中间数据格式(或数据模型)。换言之,就是所有其他数据格式都能映射或转换到该格式。
通过标准应用程序编程接口(API)读取中间数据,系统复杂度降低至X + 1的数量级,特别是因为许多数据使用者已经实现了该API。
凭借通用技术将测量数据文件映射至中间数据模型,诞生了大模拟数据TM解决方案,有助于提升数据的可见性和价值。
NI通过提供数据插件技术,将测量文件映射至合适的数据模型,推出了此类解决方案:TDM。利用SystemLink TDM DataFinder模块对这些文件建立索引,可以通过参数及全文搜索检索文件,并通过标准接口访问索引数据:ASAM ODS。
图2:任何文件格式都可以通过数据插件技术映射到TDM模型,从而使用单一工具访问和分析多种数据源。
让我们通过探索不同组件,更深入了解所提供的解决方案:
数据插件是关于如何将任意自定义文件格式映射至TDM数据模型的编程描述。多数数据插件采用VBScript编写,因其具备访问文本、二进制或电子表格文件的现有API,亦支持C++或LabVIEW的API。NI DIAdem还提供向导,便于创建自定义数据插件。开始编写自定义数据插件前,请访问ni.com/dataplugins,查看是否已有针对您的特定文件格式的数据插件可供免费下载。
ASAM代表“自动化与测量系统标准化协会”,ODS代表“开放数据服务”。
ASAM ODS是国际(汽车)行业标准,用于存储测量数据。NI作为ASAM的联合创始成员及ASAM ODS工作组的积极成员,已将ASAM ODS标准推广至汽车行业之外的测量领域。 ASAM ODS定义了数据的存储方式,例如Oracle或混合模式服务器,并通过基于Corba的API实现数据访问。其主要优势在于规范了所谓基础数据模型,为数据增加语义(元)信息。
TDM数据模型是基于ASAM ODS基础模型派生而来。在ASAM ODS背景下,TDM+数据模型提供了基于现有(元)数据的任意深度自定义层次结构和可扩展单位目录,同时保持TDM数据模型(及测量文件)不变。
Corba API和TDM+数据模型均为DataFinder Server Edition的一部分。
NI SystemLink™ TDM DataFinder模块是一款集中式数据管理软件,用于处理测试和仿真过程中产生的大量数据。SystemLink TDM DataFinder模块开箱即用,可索引服务器或网络上的测试文件,无需IT支持或数据库知识。随着测试文件的不断变化,数据索引自动构建和扩展。
DataFinder支持通过使用DIAdem或LabVIEW DataFinder工具包访问原始文件的索引数据,亦支持通过ASAM ODS Corba API访问。
图4:DataFinder同时提供基于文件和ASAM ODS的接口,便于轻松集成到现有流程中,提升数据的价值和可见性。