측정 데이터에 대해 이야기할 때, 주로 파일에 저장된 데이터에 초점을 맞춥니다. 이러한 파일들은 서로 다른 포맷으로 정보를 저장하는 다양한 측정 시스템에서 생성됩니다. 파일 포맷은 단순한 쉼표로 구분된 값(CSV) 파일부터 특정 측정 하드웨어 요구에 맞춘 바이너리 포맷, 구조화된 XML 문서, 바이너리 채널 덤프, 혹은 이들 조합 및 변형까지 다양합니다. 각 파일 포맷은 스프레드시트 도구(CSV)와의 용이한 데이터 교환이나 고속 데이터 스트리밍(TDMS) 등 특정 목적에 맞게 사용됩니다. 하지만 특정 용례에 적합한 표준이 부족해 맞춤형 파일 포맷의 필요성이 발생합니다.
파일 포맷이 다양할 경우 데이터 분석, 보고서 생성, 시각화 등의 도구가 필요할 때 데이터 파일을 추가로 처리하고 서로 다른 포맷으로 저장하여 제품 간 데이터 교환을 가능하게 하는 데 어려움이 있습니다. 파일 포맷 X개와 도구 Y개를 고려할 때, 문제의 복잡도는 X 곱하기 Y 수준이며, 포맷이나 도구가 많아질수록 노력은 기하급수적으로 증가합니다. 여러 포맷, 데이터 수집 및 저장 속도, 그리고 결과 데이터 양은 National Instruments가 Big Analog DataTM 문제로 규정하였습니다.
그림 1: X 파일 포맷과 Y 수신자 도구가 있을 때 데이터 분석 및 보고의 복잡성이 증가합니다.
이 문제 솔루션의 핵심은 도구 체인을 유지하면서 자유도를 줄이는 것입니다. 다양한 파일 포맷이 사라질 가능성은 거의 없습니다. 표준 파일 포맷으로 충족할 수 없는 특정 요구가 있는 고유 데이터 생산자는 항상 존재할 것입니다. 따라서 모든 데이터 생산자가 동일한 파일 포맷을 사용하도록 강제하는 대신, X가지 서로 다른 파일 포맷의 내용을 수용할 수 있는 중간 데이터 포맷(또는 데이터 모델)을 도입하는 것이 바람직합니다. 다시 말해, 다른 모든 데이터 포맷을 매핑하거나 변환할 수 있는 단일 포맷입니다.
표준 어플리케이션 프로그래밍 인터페이스 (API)를 사용하여 중간 데이터를 읽으면, 특히 많은 데이터 소비자가 이미 API를 구현했기 때문에 시스템의 복잡도가 X + 1의 차수로 줄어듭니다.
측정 데이터 파일을 중간 데이터 모델에 매핑하기 위한 공통 기술을 통해 가시성과 가치를 높이는 Big Analog DataTM 솔루션이 탄생합니다.
National Instruments는 측정 파일을 적절한 데이터 모델로 매핑하는 DataPlugin 기술을 도입하여 이러한 솔루션을 제공하고 있습니다. TDM. SystemLink TDM DataFinder Module을 사용하여 해당 파일을 인덱싱하면 파라메트릭 및 전체 텍스트 검색으로 파일을 검색할 수 있으며, 인덱싱된 데이터는 표준 인터페이스를 통해 접근할 수 있습니다. ASAM ODS.
그림 2: 어떤 파일 포맷도 DataPlugin이라는 기술로 TDM 모델에 매핑할 수 있으며, 이를 통해 단일 도구로 다양한 데이터 소스에 접근하고 분석할 수 있습니다.
제공되는 솔루션의 다양한 구성요소를 더 자세히 살펴보겠습니다.
TDM 데이터 모델은 측정 데이터를 위한 단순하지만 적합하고 유연한 데이터 모델입니다. 이는 최소한의 복잡성에 중점을 두고 ASAM ODS 기본 모델에서 파생되었습니다.
그림 3: 전체 ASAM ODS 기본 모델과 TDM 모델이 복잡성 최소화를 위해 초점을 맞춘 세 가지 레벨에 관한 도식입니다.
TDM 모델의 3단계 계층 구조는 채널을 그룹으로 구성하고, 이후 여러 그룹을 단일 루트 아래에 조직할 수 있게 합니다. 각 세 개 레벨에서는 무제한의 사용자 정의 속성을 저장할 수 있습니다. TDM 모델의 장점과 내부 구조에 대해 자세히 알아볼 수 있습니다.
DataPlugin은 임의의 사용자 정의 파일 포맷을 TDM 데이터 모델에 매핑하는 방법을 프로그래밍적으로 설명하는 것입니다. 대부분 DataPlugin은 텍스트, 바이너리 또는 스프레드시트 파일 액세스를 위한 기존 API 때문에 VBScript로 작성되나, C++ 또는 LabVIEW용 API도 제공됩니다. NI DIAdem은 또한 사용자만의 DataPlugin을 만들 수 있는 마법사를 제공합니다. 직접 DataPlugin을 작성하기 전에, 웹에서 특정 파일 포맷에 적합한 DataPlugin이 이미 무료로 제공되는지 ni.com/dataplugins에서 확인하시기 바랍니다.
ASAM은 “Association for the Standardization of Automation and Measuring Systems”의 약자이며, ODS는 “Open Data Services”의 약자입니다.
ASAM ODS는 측정 데이터를 저장하기 위한 국제(자동차) 산업 표준입니다. National Instruments는 ASAM의 공동 창립자이자 ASAM ODS 작업 그룹의 적극적인 회원으로서, 자동차 분야 외에서도 측정 산업에 ASAM ODS 표준을 도입하였습니다. ASAM ODS는 데이터를 Oracle이나 혼합 모드 서버에 저장하고, 데이터를 접근하기 위한 Corba 기반 API를 정의합니다. 주요 이점은 데이터에 의미적(메타) 정보를 추가하는 기본 데이터 모델의 스펙입니다.
TDM 데이터 모델은 ASAM ODS 기본 모델에서 파생되었습니다. ASAM ODS 맥락에서, TDM+ 데이터 모델은 기존 (메타) 데이터로부터 파생된 임의 깊이의 사용자 정의 계층 구조와 확장 가능한 단위 카탈로그를 추가로 제공하며, TDM 데이터 모델과 측정 파일은 변경하지 않습니다.
Corba API와 TDM+ 데이터 모델은 모두 DataFinder Server Edition에 포함되어 있습니다.
NI SystemLink™ TDM DataFinder Module은 테스트 및 시뮬레이션 과정에서 생성되는 방대한 데이터를 처리하는 중앙 집중식 데이터 관리 소프트웨어입니다. SystemLink TDM DataFinder Module은 IT 지원이나 데이터베이스 지식이 없어도, 서버나 네트워크 상의 테스트 파일을 인덱싱하여 즉시 사용할 수 있도록 설계되었습니다. 데이터 인덱스는 테스트 파일 변경에 따라 자동으로 생성되고 확장됩니다.
DataFinder는 DIAdem 또는 LabVIEW DataFinder Toolkit을 통해 원본 파일에서, 혹은 ASAM ODS Corba API를 통해 인덱싱된 데이터에 접근할 수 있도록 지원합니다.
그림 4: DataFinder는 파일 기반 인터페이스와 ASAM ODS 인터페이스를 모두 제공해, 기존 프로세스에 쉽게 통합되고 데이터에 가치를 더하며 가시성을 제공합니다.