모범 사례—테스트 데이터를 규정에 맞는 자동 리포트로 전환하기

개요

​검증 또는 테스트를 수행하는 경우, 테스트가 완료되고, 데이터가 잘 나타나고, 이제 결과를 공유할 시간이 되었습니다. 그러나 보고 단계는 작업의 가장 눈에 띄는 부분인 경우가 많으며, 또한 가장 많은 시간이 소요됩니다.

 

​현대적인 하드웨어와 자동 수집을 사용하더라도 엔지니어는 데이터를 정리하고, 슬라이드로 플롯을 복사하고, 테이블을 포맷하여 프레젠테이션을 준비하기 위해 몇 시간을 사용합니다.

 

​이 백서에서는 NI LabVIEW+ Suite의 일부인 NI DIAdem을 사용하는 보다 효율적인 접근 방식을 소개합니다. 다음과 같은 태스크를 수행하는 방법을 설명합니다.

 

  • ​복잡한 테스트 데이터를 재사용 가능한 리포트로 변환
  • ​팀 전체에서 리포트를 표준화
  • ​기존 NI LabVIEW 또는 NI TestStand 워크플로에 보고를 통합합니다.
  • ​공급업체에 관계없이 모든 인스트루먼트에서 데이터를 처리

​이러한 방법을 적용하면 포맷에 소요되는 시간을 줄이고 분석에 소요되는 시간을 늘릴 수 있습니다. 결과적으로 리포트 프로세스는 추적 가능하고, 반복 가능하며, 추가적인 오버헤드를 추가하지 않고 감사 준비가 되었습니다.

내용

​검증 및 테스트의 보고 병목

모든 엔지니어는 얼마나 많은 시간이 소요되는지 알고 있습니다. 테스트를 실행한 후에는 TDMS, CSV, MDF, MAT, 또는 고유 바이너리와 같은 다양한 포맷의 수백 개의 파일이 남게 됩니다. 입력을 추출하기 전에, 단위를 정렬하고, 타임스탬프를 잘라내고, 서로 다른 소스의 채널을 결합해야 합니다. 이러한 단계는 공학적 가치를 더하지 않지만, 수일의 노력을 소모할 수 있습니다.

대부분의 보고 작업 흐름에는 여전히 수동 프로세스가 포함됩니다.

  1. 수집 도구에서 원시 데이터를 반출합니다.
  2. Microsoft Excel 또는 MathWorks® MATLAB® 소프트웨어에서 정리 및 플롯합니다.
  3. 스크린샷과 테이블을 Microsoft Word 또는 PowerPoint에 복사합니다.
  4. 다음에 새 데이터가 도착하거나 요구사항이 변경될 때 모든 것을 다시 실행합니다.

수동 리포트를 만드는 과정은 느릴 뿐만 아니라, 찾기 어려운 에러도 발생할 수 있습니다.  
결과가 Excel, Word 또는 PowerPoint로 어셈블리되면, 수식, 스케일링 또는 레이아웃에 약간의 차이점이 있는 여러 버전의 같은 파일을 쉽게 배포할 수 있습니다.  
시간이 지남에 따라 이러한 차이로 인해 리포트를 비교하기 어려워지고 결과를 신뢰하기 어렵게 됩니다.  
ISO 9001, ISO 26262, FDA 21 CFR Part 11 등의 규격을 준수하는 팀의 경우, 이러한 불일치는 추적성의 문제도 야기합니다.

더 신뢰할 수 있는 접근법은 보고를 테스트 워크플로 자체의 일부로 만드는 것입니다. 즉, 구조화되고 자동화되며 버전 관리가 되어 엔지니어가 일관성을 유지하고 규정 준수를 보장하며, 결과를 재생성하는 대신 해석하는 데 집중할 수 있게 하는 것입니다.

범용 도구가 테스트 리포트에 부족한 이유

스프레드시트는 간단한 데이터를 잘 처리하지만, 엔지니어링 테스트는 한계를 벗어납니다. 스케일, 동기화 또는 테스트 데이터의 메타데이터 복잡성을 위해 설계된 것이 아닙니다.

단일 테스트는 범용 도구가 처리하도록 설계된 것보다 더 많은 기가바이트의 여러 채널 동기화 데이터를 생성할 수 있습니다. 또한 스프레드시트는 교정 정보, 센서 ID 또는 수집 조건과 같은 중요한 메타데이터를 제거합니다.

DIAdem 테스트 및 측정 데이터를 위해 특별히 설계된 작업 공간을 제공하여 이 문제를 해결합니다. DIAdem 사용하여 다음과 같은 태스크를 수행할 수 있습니다.

DIAdem은 LabVIEW+ Suite의 일부이므로 NI 소프트웨어에 직접 연결됩니다. LabVIEW, TestStand, FlexLoggerTM, InstrumentStudioTM 및 SystemLinkTM - 하나의 툴체인에서 수집, 분석 및 보고를 연결합니다. 

여러 제조업체 간의 데이터 호환성

대부분의 랩은 단일 플랫폼에서 실행되지 않습니다. 일부 측정에는 NI PXI 시스템, 다른 측정에는 키사이트 오실로스코프, 고속 카메라를 사용하여 비디오를 캡처하고 CAN 데이터를 위한 벡터 로거를 사용할 수 있습니다.

DIAdem 이러한 현실에 맞게 설계되었습니다. DIAdem 다양한 엔지니어링 데이터 포맷을 기본적으로 지원하며, 무료 DataPlugin으로 확장하여 테스트 및 측정에 사용되는 거의 모든 다른 포맷을 읽을 수 있습니다. DataPlugin은 다양한 파일 구조를 DIAdem 통합 데이터 모델로 변환하여 단일 환경에서 서로 다른 소스의 데이터를 쉽게 비교하고 분석할 수 있도록 합니다.

사용하는 인스트루먼트나 공급업체에 상관없이 DIAdem 실험실 전체에서 결과를 보고, 분석하고 보고할 수 있는 단일 환경을 제공합니다. 테이블 1은 일반적인 데이터 소스와 DIAdem 통합된 리포트 작업 흐름 내에서 각각을 처리하는 방법을 요약한 것입니다.

 

더 빠르고 규정을 준수하는 엔지니어링 보고서 작성을 위한 모범 사례

다음의 권장 방법은 DIAdem 사용하여 리포트 파이프라인을 성공적으로 자동화한 팀이 사용하는 방법을 기반으로 합니다.

자동화된 테스트 데이터 분석을 위한 재사용 가능한 리포트 템플릿 생성

모든 리포트를 매번 처음부터 작성할 경우, 채널 이름 변경이나 단위 변경과 같은 사소한 수정만으로도 템플릿에 오류가 발생할 수 있습니다. 재사용 가능한 템플릿을 만들면 리포트가 깨지지 않고 자동으로 새 데이터에 적용되도록 합니다.

템플릿을 적용하기 전에, 파일에서 채널 이름, 단위, 스케일링 형식을 표준화합니다. DataPlugin 또는 미리 처리 스크립트를 통해 처리되는 이러한 조정은 템플릿을 프로젝트 전체에서 더 유연하고 일관되게 만듭니다.

자동 테스트 데이터 분석을 위한 재사용 가능한 보고서 템플릿 구축 방법:

  • DIAdem 리포트 레이아웃 또는 템플릿에서 한 번 차트, 테이블, 메타데이터 필드를 정의하여 모든 데이터 세트(예: Report.TDR, Compressed.TDRZ 또는 Master.TDRM)에 대해 동일한 구조를 재사용합니다. 그림 1과 같이 하드 코딩 이름이 아닌 채널에 다이나믹하게 연결합니다.
  • 템플릿을 공유 작업 공간 또는 NI SystemLink 저장소에 저장합니다.
  • 규정 준수 포맷을 충족하도록 헤더, 브랜딩 및 무시 표시를 잠급니다.

결과: 리포트 재생성을 한 번 클릭합니다. 다시 포맷, 에러, 시간 낭비 없음

차트, 테이블 및 메타데이터가 포함된 보고서 템플릿

그림 1. 차트, 테이블, 메타데이터가 있는 리포트 템플릿
 
 

DIAdem 스크립트 캡처 및 Python을 통한 테스트 데이터 처리 자동화

노이즈 필터링, 통계 계산, 결과 반출 등 같은 분석 단계를 반복적으로 실행하면, 코드를 처음부터 작성하지 않고 이를 자동화할 수 있습니다. DIAdem 스크립트 기록은 동작을 자동으로 수집하여 VBScript 또는 Python 스크립트로 변환합니다.

DIAdem 스크립트 캡처 및 Python을 사용하여 테스트 데이터 처리를 자동화하는 방법:

  • 대화식으로 분석을 한번 기록합니다.
  • 임계점 또는 파일 경로와 같은 값을 파라미터화합니다.
  • 스크립트를 저장하고 모든 데이터 세트에 대해 다시 사용합니다.
  • 스크립트를 TestStand 또는 LabVIEW 통합하여 각 테스트 또는 시퀀스 후 자동으로 실행되도록 합니다.

DIAdem 이제 스크립트 외에 venv 또는 호환 가능한 버전의 virtualenv로 생성된 Python 가상 환경을 지원합니다. 이 개선 기능을 사용하면 실행 전에 DIAdem 특정 Python 환경을 사용하도록 설정할 수 있으므로 각 팀 또는 프로젝트는 고유한 모듈과 의존성을 유지할 수 있습니다.

DIAdem NumPy, SciPy, Pandas와 같은 파이프 설치 패키지를 오랫동안 지원하고 있습니다. 가상 환경 지원은 엔지니어가 파이썬 빌드가 DIAdem 사용하는 것을 선택할 수 있기 때문에 이러한 유연성을 확장합니다. 결과적으로 DIAdem 표준화된 보고 작업 흐름과 사내 분석 라이브러리가 원활하게 통합되어 그림 2와 같이 Python 환경을 완벽하게 컨트롤할 수 있는 고급 반복 가능한 프로세스를 가능하게 됩니다. 

스크립트 기록 언어 선택.

그림 2. 스크립트 기록 언어 선택.
 

ISO 및 FDA 요구사항에 대한 일관된 보고서 제공

서로 다른 포맷 스타일로 인해 결과를 비교하기 어렵고 감사하기는 거의 불가능합니다.  
보고서의 형식과 논리를 표준화하면 ISO 9001, ISO 26262, FDA CFR Part 11과 같은 업계 표준이 요구하는 추적성, 재현성, 규정 준수를 보장할 수 있습니다.

ISO 및 FDA 요구 사항을 충족하는 일관된 보고서를 보장하는 방법:

  • 버전 제어 템플릿 및 잠금 레이아웃 사용―스크립트에서 템플릿을 호출할 때 ReadOnly=True를 사용하여 리포트 생성 중 편집을 방지합니다. 
  • 리포트에 직접 메타데이터를 포함합니다. 각 리포트가 원인을 명확히 식별하도록 운영자, 테스트 ID, 교정 상태 및 템플릿 버전 필드를 포함시킵니다.
  • 스크립트 버전 추적—VBScript 또는 Python 스크립트에 버전 또는 "최종 수정" 태그를 추가하여 결과를 분석 로직의 특정 개정에 연결할 수 있습니다.
  • 자동 감사 로깅—리포트가 생성될 때마다 로그 파일을 작성하도록 DIAdem을 구성합니다. 데이터 파일 이름, 템플릿 버전, 스크립트 버전, 연산자 및 타임스탬프를 수집하여 추적이 가능합니다.
  • 중앙 스토리지 사용—SystemLink 또는 제어된 저장소에서 검증된 템플릿과 스크립트를 호스팅하여 액세스를 관리하고 버전 히스토리를 유지하고 업데이트를 단순화합니다.

이러한 컨트롤을 사용하면 각 리포트는 원형과 메소드를 문서화하여 그림 3과 같이 규정 준수 기능을 추가하는 것이 아니라 내장되어 있으며, 추가적인 문서화 없이 ISO 및 FDA 요구사항을 충족하는 데이터 소스 및 처리 로직으로 추적할 수 있습니다. 리포트를 검토하는 사람은 어떤 데이터 세트, 분석, 템플릿이 리포트를 생성했는지 즉시 확인할 수 있습니다. 이는 감사 과정에서 팀 전체에서 일관성과 신뢰성을 보장합니다.

예를 들어 추적성 탭을 사용하여 자동으로 메타데이터, 스크립트 버전 및 템플릿 정보를 기록하여 감사 준비를 합니다.

그림 3. 예제 DIAdem 리포트는 전용 추적성 탭을 사용하여 자동으로 메타데이터, 스크립트 버전, 템플릿 정보를 기록하여 감사 준비를 합니다.

리포트를 Test Toolchain에 통합

DIAdem 주요 장점은 보다 광범위한 LabVIEW 생태계에 잘 맞는지에 있습니다. 테이블 2는 DIAdem LabVIEW 사용할 수 있는 다양한 도구와 통합되는 방법을 보여줍니다.

테스트가 완료되면 자동으로 리포트를 생성할 수 있습니다. 수동 데이터 전송 또는 잃어버린 컨텍스트가 없음.

 

이 도구들은 그림 4와 같이 수집에서 파악까지 폐루프 작업 흐름을 구성합니다.

LabVIEW VI에서 DIAdem 스크립트 호출하기

 
그림 4. LabVIEW VI에서 DIAdem 스크립트 호출하기
 
 

테스트 엔지니어링 팀 전체에서 자동화된 리포트 작업 흐름 확장

수동 리포트는 한 개 또는 두 개의 “전원 사용자”에 의존하는 경우가 많습니다. DIAdem 사용하면 모든 사용자가 일관되게 리포트를 생성할 수 있도록 전문성을 확장할 수 있습니다.

DIAdem 보고를 LabVIEW, TestStand 및 기타 테스트 도구와 통합하는 방법:

  • DIAdem 작업 공간을 사용자 정의하여 각 역할이 필요로 하는 도구만 보이도록 합니다. 새 데이터 파일을 추가하거나, 미리 생성된 특정 유형의 분석을 실행하거나, 스크립트를 실행하든 상관없이. 그림 5는 DIAdem 환경에 새로 추가된 도구를 보여줍니다.

사용자 정의 DIAdem 도구 모음

그림 5. 맞춤형 DIAdem 사용자 도구 모음
 
  • 특정 작업 흐름에 맞게 승인된 템플릿에 연결된 “리포트 생성” 버튼을 한 번 클릭하여 공개합니다. 그림 6에서는 사용자 정의 가능한 대화 상자를 사용하여 단일 인터페이스에서 여러 스크립트를 트리거할 수 있어, 팀 전체에서 표준화와 규정을 유지하면서 기본 사용자의 분석 및 리포트 생성을 단순화하는 방법을 확인할 수 있습니다.

DIAdem의 사용자 정의 가능한 대화 상자

그림 6. DIAdem 사용자 정의 가능한 대화 상자
 
  • 그림 7과 같이 사용자 권한, SystemLink 통한 버전 컨트롤을 관리하고 데이터를 반입합니다.

DIAdem에 대한 SystemLink Server 연결

그림 7. DIAdem SystemLink Server 연결
 

이러한 모범 사례를 따르는 결과, 주니어 엔지니어는 전문가가 분석 및 설계에 중점을 두는 반면 첫날에 고품질의 보고서를 작성할 수 있습니다.

측정된 워크플로 개선사항

DIAdem LabVIEW 워크플로에 통합하는 조직은 테이블 3과 같이 측정 가능한 효율성 향상을 지속적으로 보고합니다.

 

 

실험실 또는 조직에서 자동화된 테스트 리포트 구현 방법

시작하려면 개정이 필요하지 않습니다. 하나의 리포트로 시작하고 확장하면 자신감이 커질 수 있습니다.

  1. 현재 작업 흐름 평가—시간 소모 및 오류 발생 위치를 맵핑합니다.
  2. 파일럿 사용 사례 선택—빈번하게 반복되며 영향력이 큰 보고서를 선택합니다.
  3. DIAdem에서 표준 템플릿을 생성—비주얼 및 메타데이터 필드를 정의합니다.
  4. 스크립트 캡쳐를 사용하여 분석 단계 기록—첫 자동화 스크립트를 만듭니다.
  5. 확인 및 문서화—자동화된 결과를 기존 보고서와 비교합니다.
  6. 팀에 배포—SystemLink 또는 공유 저장소를 통해 공유합니다.
  7. 확장 및 통합—자동화를 TestStand 또는 LabVIEW에 연결하여 종합적인 작업 흐름을 수행할 수 있습니다.

대부분의 팀은 몇 번의 테스트 주기 내에 실현 가능한 ROI를 얻습니다: 보다 신속한 리포트, 개정 수, 감사 용이성.

데이터로부터 결정까지

테스트 데이터는 사용자가 처리할 수 있는 능력만큼만 중요합니다. DIAdem 및 LabVIEW+ Suite를 사용하면 원시 측정값을 일관성 있는, 감사할 수 있는 보고서로 몇 분 안에 변환할 수 있습니다. DIAdem 거의 모든 제조업체의 데이터를 읽기 때문에, 하드웨어를 변경하지 않고 실험실을 통합할 수 있습니다.

단일 테스트 벤치 또는 분산 검증 연구소를 관리할 경우, DIAdem 수집, 분석, 리포트 사이의 루프를 닫을 수 있도록 지원합니다.

데이터 소스예제 포맷DIAdem 지원일반적인 사용 사례
NI 도구TDMS, TDM기본 읽기/쓰기LabVIEW, FlexLogger, PXI 시스템
키뷰/텍스트로닉스CSV, BIN내장 또는 DataPlugin을 통해 사용 오실로스코프/분석기 데이터
벡터/ETASMDF, MF3, ASCDataPlugin자동차용 CAN 및 ECU 로깅
맞춤형 시스템TXT, DAT, JSON, 고유Python 또는 VBScript DataPlugin특정 랩 또는 레거시 디바이스
시뮬레이션 및 모델링MAT, HDF5, XML내장모델 상관 또는 버추얼 테스팅

 

표 1. 일반적인 데이터 소스
도구통합 이점
LabVIEWDIAdem 직접 읽을 수 있는 TDMS 파일을 씁니다. 수집이 끝나면 API를 사용하여 분석 및 리포트 스크립트를 실행하는 DIAdem 자동화할 수 있습니다. LabVIEW DIAdem Connectivity VI를 설치하는 방법에 대해 알아봅니다.
TestStand시퀀스 이후 콜백에서 DIAdem 스크립트를 호출하여 요약 보고서를 생성하고 실행 로그에 첨부합니다.
FlexLoggerDIAdem 가져오기 준비가 된 구조화된 로그를 내보냅니다. 프로 에디션은 메타데이터 태그를 추가하여 쉽게 검색 및 인덱싱합니다.
InstrumentStudio벤치 레벨 결과를 분석 및 자동화된 테스트 데이터와 결합합니다.
SystemLink테스트 데이터와 리포트를 위한 중앙 저장소, 버전 히스토리 활성화, 엔터프라이즈 가시성을 위한 팀 접근 기능을 제공합니다.
 
표 2. DIAdem과 LabVIEW+ 소프트웨어 통합
수치이전DIAdem 및 LabVIEW+ Suite 이후
리포트 생성 시간테스트 당 1-3일

1 시간 미만  

(Jim Knuff, Raytheon)
수동 편집 단계리포트당 15–30

0–2시간  

(Keimei Fujita, Toyota)
에러 리포트하기자주 발생하고 추적하기 어려움

자동으로 로그 및 감사 가능

(Simon Foster, Jaguar Land Rover)
규정 준수 문서매뉴얼임베디드 메타데이터 및 버전 관리 
엔지니어 포커스포맷 및 정리분석 및 혁신
 
표 3. 숫자 외에, 팀은 다음과 같은 문화적 변화를 설명합니다. 리포트는 빠르고 안정적이며 반복이 가능하다는 워크플로의 자연스러운 부분이 됩니다.