談及量測資料時,重點通常是儲存在檔案中的資料。這類檔案是由各種量測系統產生,並以不同格式儲存資訊。不同的檔案格式涵蓋從簡單的逗號分隔值 (CSV) 檔案,到為特定(量測硬體)需求量身打造的專屬二進位格式,從結構化XML 文件到二進位通道轉存,或上述各種格式的組合與變體。每種檔案格式皆有特定用途,包括方便與試算表工具 (CSV) 交換資料,或高速資料串流 (TDMS);同時,某些特殊使用案例缺少適用標準,因而衍生出客製化檔案格式的需求。
當須使用資料分析、報告產生、視覺化或類似工具進行資料檔案進一步處理並以不同格式儲存以利跨產品交換資料時,檔案格式眾多便成為一大挑戰。考慮 X 種檔案格式與 Y 種工具時,問題複雜性呈現 X 乘 Y 的規模—意味著檔案格式或工具數量增加,將導致工作量呈指數級成長。NI 將資料格式的多樣性、資料取得與儲存速度,以及產生的資料量歸納為巨量類比資料 (Big Analog DataTM) 問題。
圖 1:X 種檔案格式與 Y 種讀取工具增加了資料分析與報告製作的複雜性。
解決此問題的關鍵是降低自由度,同時維持工具鏈的正常運作。各種不同檔案格式的多樣性看似不太可能消失。總會有特定資料產生者擁有標準檔案格式無法滿足的特定需求。因此,理想的解決方案並非強迫所有資料產生者使用相同檔案格式,而是引入一種中介資料格式(或資料模型),使其能容納 X 種不同檔案格式的內容(資料)。換言之,即是引入一種所有其他資料格式均可映射或轉換至的格式。
使用標準應用程式介面 (API) 讀取中介資料,可將系統複雜度降低至 X + 1 級,尤其是許多資料使用者已經實作此 API。
借助將量測資料檔案映射到中介資料模型的共通技術,即創造出巨量類比資料 (Big Analog DataTM) 方案,助力提升資料的能見度與價值。
NI 推出此類解決方案,提供 DataPlugin 技術將量測檔案映射至合適的資料模型:TDM。使用 SystemLink TDM DataFinder Module 為這些檔案建立索引,能夠透過參數搜尋與全文檢索的方式尋找檔案,且可透過標準介面存取已建立索引的資料:ASAM ODS。
圖 2:任何檔案格式皆可使用 DataPlugin 技術映射至 TDM 模型,隨後可用單一工具存取並分析各種資料來源。
讓我們探索不同元件,深入瞭解所提供的解決方案:
DataPlugin 是以程式描述如何將任何客製化檔案格式映射到 TDM 資料模型。多數 DataPlugin 使用 VBScript 編寫,因已有可用於存取文字、二進位或試算表檔案的現成 API,另外也有適用於 C++ 或 LabVIEW 的 API。NI DIAdem 也提供精靈工具以協助您建立自訂 DataPlugin。開始編寫您的 DataPlugin 前,請先造訪 ni.com/dataplugins,確認是否已有針對您特定檔案格式的 DataPlugin 可供免費下載。
ASAM 代表「自動化與量測系統標準化協會」,ODS 代表「開放式資料服務」。
ASAM ODS 是國際(汽車)產業用以儲存量測資料的標準。作為 ASAM 共同創始者之一,同時也是 ASAM ODS 工作小組的活躍成員,NI 已將 ASAM ODS 標準推廣至汽車產業外的量測產業。 ASAM ODS 定義資料的儲存方式 (例如使用 Oracle 或混合模式伺服器),以及基於 Corba 的 API 存取資料。主要優點在於形成一個名為基本資料模型的規範,為資料添加語義(元)資訊。
TDM 資料模型衍生自 ASAM ODS 基本模型。在 ASAM ODS 環境中,TDM+ 資料模型還提供衍生自現有(元)資料與可擴展單元目錄的任意深度自訂階層,且保持 TDM 資料模型(與量測檔案)不變。
Corba API 及 TDM+ 資料模型皆包含於 DataFinder Server 版本中。
NI SystemLink™ TDM DataFinder Module 是一款集中式資料管理軟體,能處理測試與模擬期間產生的大量資料。SystemLink TDM DataFinder Module 立即可用,於伺服器或網路上建立測試檔案索引,無需 IT 支援或資料庫知識。資料索引會隨測試檔案變化自動建立與擴充。
DataFinder 可透過兩種方式存取建立索引的資料:一是使用 DIAdem 或 LabVIEW DataFinder 工具組存取原始檔案;二是透過 ASAM ODS Corba API 存取。
圖 4:DataFinder 提供基於檔案的介面及 ASAM ODS 介面,可輕鬆整合至現有流程,並提升資料的價值與能見度。