원시 데이터를 엔지니어링 결과로 전환: NI 기술 데이터 관리 솔루션

개요

본 기술백서는 관리자, 엔지니어 그리고 과학자들이 방대한 양의 테스트와 시뮬레이션 데이터를 관리하는데 필요한 다양한 옵션들의 이해를 돕기 위해 제작되었습니다. 본 문서에서는 데이터를 관리하는 다양한 방식과 그 장단점을 살펴봅니다. 또한 데이터 관리에 필요한 높은 비용과 시간 문제를 해결하기 위한 새로운 NI 솔루션을 소개합니다.

내용

데이터 관리시 애로 사항

오늘날의 복합적인 제품들은 설계, 개발 그리고 검증 과정 전반에 걸쳐 데이터 수집을 요구합니다. 테스트 엔지니어들은 복합적인 디자인을 더 빠른 시간과 낮은 비용을 들여 테스트하여 고객들이 요구하는 저가의 고품질 제품을 출시해야 하는 부담을 안고 있습니다. 시뮬레이션 시스템의 비용에서부터 데이터 수집 하드웨어, 자동화 시스템, 그리고 테스트를 수행/분석하는 인력 투자에 이르기까지 기업들은 막대한 투자를 합니다. 그러나, 모든 사항을 처리할 수 있는 완벽한 테스트 시스템을 개발하는데 있어서는 많은 애로사항을 겪습니다. 그 이유는 데이터를 수집하고 난 후, 수집된 데이터의 관리 방법에 대한 고려와 투자를 제대로 하지 않았기 때문입니다. 마이크로 프로세서 속도와 저장 능력이 향상되고, 하드웨어/소프트웨어 비용이 절감되면서, 파일과 데이터베이스에 저장할 수 있는 데이터 양이 폭발적으로 증가했습니다. 이에 따른 기술의 진보로 더욱 더 신속하고 집약적인 데이터 보존이 가능하게 되었지만, 데이터를 관리하고 적절하게 사용하는 것은 여전히 해결되지 않은 과제로 남아있습니다. 오늘날의 비즈니스 환경에서는 각 기업들은 이러한 테스트와 시뮬레이션 데이터를 필요로 하는 유용한 정보로 신속하게 전환함으로써 효율적인 제품 개발과 시장 출시 시간 단축을 위해 노력하고 있습니다.

모든 기업들이 테스트 시스템을 처음부터 설계할 수 있을 만큼 여유가 있는 것은 아닙니다. 다양한 시뮬레이션 및 테스트 시스템이 수년간 발전해옴에 따라, 서로 독립적이며 각기 다른 장비들을 다양한 업체로부터 제공받고 있습니다. 그 결과 기업들은 데이터를 각기 다른 파일 포맷으로 임의의 위치에 저장했습니다. 물론 데이터에 대한 정보도 제대로 기술해 놓지 않았습니다. 이러한 모든 요인들이 정보의 교환과 데이터로부터 결정을 도출해내는데 있어서 심각한 방해 요인으로 작용하고 있습니다.

한편 데이터 포맷을 일관적으로 관리하였다 하더라도, 외부인이 데이터에 접근하여 효율적으로 사용하는 데에는 무리가 있습니다. 그렇다면 조직의 모든 고객들이 원하는 데이터를 검색할 수 있도록 하는 방법에는 어떤 것이 있을까요? 일단 원하는 데이터를 찾았다 하더라도 해당 데이터를 유용한 정보로 신속하게 전환하는 적절한 툴을 보유하고 있는지는 확신하기는 힘듭니다. 이러한 문제에 대한 보편적인 접근법으로는 초기 파일/폴더 이름 규약에서부터 복합적인 고가의 데이터베이스 솔루션까지 다양한 방법이 존재합니다. 원시 데이터를 해석 가능한 결과로 전환하고, 그 결과를 조직으로 편리하게 공유할 수 있는 능력은 전반적인 개발 과정의 성공에 절대적인 요소입니다.

기존의 데이터 관리 방식

확장 가능한 데이터 관리 시스템 구축과 유지 보수에 대한 해결방법으로 많은 기업들은 파일 및 폴더의 이름을 일정한 규약으로 저장하는 방법을 통하여 데이터 자산을 관리하고 있습니다. 파일/폴더 데이터 관리 방식은 선행 투자 비용이 들지 않지만, 필요한 데이터를 검색하기 위해서는 대용량의 디렉토리를 손수 검색해야 한다는 점에서 장기적으로는 비용 손실을 유발하게 됩니다. 더군다나 이런 데이터들은 각기 다른 위치에, 다른 형식으로 저장되어 있을 때가 많기 때문에, 그 복잡성은 배가 될 것입니다. 이러한 이유로 여러 장비에 존재하는 다양한 형식의 데이터와 테스트 결과를 서로 연관시키는 작업은 굉장히 어렵고도 시간 소모적인 작업이 됩니다. 이와 같이 파일/폴더 데이터 관리 시스템은 효율성이 결여되어, 생산성을 저하시키며, 부주의로 인해 파일이 위치 또는 이름이 다르게 저장되었을 경우 혼란을 불러오기 쉽습니다.


그림 1. 여러 테스트 장비에서 파일/폴더 방식

위의 문제점을 감수하면서도 이런 방식을 고수하는 이유는 데이터를 Microsoft Excel과 같은 스프레드시트에 로드할 수 있기 때문일 것입니다. 그러나, 비즈니스 중심적인 스프레드 시트 패키지는 일반적인 엔지니어링 분석/리포팅 루틴을 제공하지 않기 때문에 이를 재생성하는데 드는 비용과 리소스를 고려한다면, 전용 엔지니어링 소프트웨어의 구매하지 않음으로써 절약한 비용은 그다지 의미가 없습니다.

이와는 정반대로 전용 데이터베이스를 사용하여 데이터를 관리하는 방법이 있습니다. 편리한 데이터 검색과 추출 기능으로 호평받고 있는 데이터베이스는 데이터 관리를 위한 한가지 방편으로써 엔지니어들의 주목을 받고 있습니다. 하지만, Oracle이나 Access와 같은 표준 데이터베이스를 데이터 관리 시스템에 적용하는 데에는 여러 가지 단점이 존재합니다. 그 이유는 데이터베이스 시스템이 테스트 데이터와 바로 연동될 수 있도록 설정되지 있지 않기 때문입니다. 따라서, 우선 엄청난 양의 데이터 모델과 그에 따른 데이터베이스 설계 작업을 완성해야 하는데 이 작업의 준비와 계획만 해도 몇 달 가량이 소요가 됩니다. 대형 솔루션의 경우, 데이터베이스 구성의 초기 비용만 억대에 이릅니다. 더군다나 이 비용에는 데이터베이스를 시작하고 실행을 유지하기 위해 필요한 유지보수 비용이 빠졌다는 사실을 주목해야 합니다. 또한 테스트에 변경이 필요할 때마다 데이터베이스 디자인과 클라이언트 소프트웨어 확장을 위한 추가의 시간과 노력이 요구됩니다. 이러한 유지와 확장에 따른 비용은 시간이 지남에 따라 더욱 증가할 뿐 아니라, 시스템 관리 방법을 잘 아는 IT 전문가의 도움까지 필요하게 됩니다. 그러나 IT 그룹은 테스트 그룹을 항상 지원할 수 있을 정도로 상황이 여의치 않을 수도 있습니다.


그림 2. 중앙 위치에 데이터를 저장하는 데이터베이스 방식

결과적으로 파일/폴더 방식이나 데이터베이스 방식 모두, 테스트 그룹의 요구를 완벽하게 충족시키지 못합니다. 두 방식 모두가 설계 당시에는 실용적인 솔루션인 것처럼 보이겠지만, 테스트가 변경되고 더욱 많은 데이터가 지속적으로 저장되는 경우, 유지보수 및 효율성에 있어 문제가 발생하게 되는 것입니다.

NI 데이터 관리 솔루션

내쇼날인스트루먼트는 테스트 시스템의 설계와 유지보수시에 엔지니어와 과학자들이 직면하는 데이터 관리에 관련된 문제들을 잘 이해하고 있습니다. 많은 시간을 소모하여 디렉토리와 파일을 일일이 검색해야 하는 방식이나, 고비용의 데이터 베이스와 클라이언트 어플리케이션을 재설계하는 방식 모두 동일한 문제를 가지고 있습니다. 그 문제는 다름아닌 테스트 데이터로부터 원하는 엔지니어링 데이터를 얻어내지 못한다는 것입니다. 테스트 데이터에서 결과 테스트를 신속하게 도출하는 테스트를 설계하고 수행하는데 많은 시간을 투자해야 합니다. 그러나 현실적으로 적절한 데이터 관리 툴 없이 데이터 테스트에서 결과 테스트로 전환을 해야 하는 경우가 대부분입니다. 따라서, NI는 앞서 언급한 문제를 해결하는 동시에 데이터 수집에서 유용한 결과를 신속하고 편리하게 도출하기 위한 데이터 관리 솔루션을 개발하였습니다.


그림 3. 세 가지 컴포넌트로 구성된 NI TDM 솔루션

NI는 데이터 관리의 문제를 해결하기 위한 세 가지 주요 요소를 (1) 유연하고 체계적인 파일 저장, (2) 포괄적인 검색 기능, (3) 인터랙티브 포스트 프로세싱 환경 세가지로 규명하였습니다. 그 결과, NI 데이터 관리 (TDM) 솔루션은 (1) 파일 내 설명 정보 저장을 위한 TDM 데이터 모델, (2) 파일 포맷과 무관한 데이터 검색을 위한 NI DataFinder, (3) 데이터 분석과 리포트를 위한 NI DIAdem 소프트웨어, 이 세 가지 요소로 구성하였습니다. 많은 엔지니어들이 원시 데이터 파일 작성, 분석과 리포트, ASCII 파일을 저장 및 Excel 내 분석 수행 등을 위한 컴포넌트를 이미 보유하고 있지만, 데이터 관리 방식을 완성하기 위한 중간 컴포넌트인 NI DataFinder가 결여되어 있습니다.

NI 데이터 관리 솔루션은 NI DataFinder를 사용하여 검색할 수 있는 테스트 데이터와 저장된 풍부한 메타 정보 데이터를 포함합니다. NI TDM 데이터 모델을 통해 테스트 파일 내에 편리하게 프로퍼티를 저장하고 데이터를 계층적으로 구성할 수 있습니다. TDM과 TDM Streaming 파일은 NI DIAdem, LabVIEW, 또는 LabWindows™/CVI를 사용하여 작성되었으며, 테스트 데이터를 구조화하기 위해 파일, 그룹, 채널의 세 가지 레벨 계층을 제공합니다. TDM 데이터 모델을 사용하면 맞춤식 파일 포맷을 설계하고 유지해야 하는 부담이 사라집니다. TDM 데이터 모델은 요구에 맞게 확장되도록 설계되어 LabVIEW와 LabWindows/CVI에서 테스트 및 시뮬레이션 데이터를 적절하게 문서화할 수 있는 가장 효율성 있는 방법을 제공합니다. 파일, 그룹, 채널과 관련된 종합적인 프로퍼티들이 존재하여 검색 조건 범위가 대폭 증대됩니다.


그림 4. TDM 데이터 모델로 문서화된 테스트 데이터 저장

NI DataFinder는 데이터에 프로퍼티를 적절하게 입력한 후, 대형 데이터베이스의 설정/변경해야 하는 번거로움 없이 테스트 데이터를 검색하고 조사하는 out-of-the-box 기능을 제공합니다. NI DataFinder로 회사 인트라넷 내의 위치하는 모든 형식의 데이터 파일을 편리하게 검색할 수 있습니다. DIAdem으로 NI DataFinder를 설치하고 데이터 파일의 위치를 지정하기만 하면, 몇 초 후에 인터넷에서 정보를 검색하는 것과 같은 방식으로 파일을 검색할 수 있습니다.

NI DataFinder의 작동 원리는 파일의 유형과 위치 조건을 만족하는 모든 파일에 대한 인덱스를 자동적으로 구축하고 유지함으로써 이루어집니다. 사용자는 쿼리 조건에 맞게 NI DataFinder 인덱스에 자동 저장된 프로퍼티를 사용할 수 있습니다. 유효한 데이터 파일이 생성, 삭제 또는 편집되면, NI DataFinder는 본 파일에 대한 계층과 프로퍼티를 자동적으로 알리고 다시 인덱스 작업을 합니다. 새로 생성된 파일에 프로퍼티를 저장하면 프로퍼티는 인덱스에 자동으로 추가됩니다. NI DataFinder는 동적으로 데이터 테이블을 관리하며, 각 파일의 파일 이벤트와 내용에 기반하여 업데이트를 진행합니다. 따라서, 다양한 데이터베이스 솔루션과는 달리, 데이터 관리 솔루션을 재설계할 필요 없이 변경이 필요한 정보를 변경하고 추가할 수 있습니다.

원시 데이터와 엔지니어링 결과간의 신속한 전환을 위한 NI TDM 솔루션의 마지막 컴포넌트는 테스트 분석 후 작업과 보고를 위한 NI DIAdem입니다. DIAdem이 있으면, 수백가지의 내장된 엔지니어링 분석 함수를 통하여 원시 데이터로부터 의미 있는 결과를 도출할 수 있으며, 그 후 생성이 편리하고, 재사용 가능한 리포트 템플릿을 사용하여 그 결과를 공유할 수 있습니다. 또한 DIAdem은 DIAdem DataFinder와 NI DataFinder Server Edition으로 내장된 인터페이스를 제공합니다. 따라서, DIAdem 내에서 인터랙티브한 검색을 진행할 수 있으며, 쿼리의 저장 및 자동화를 할 수 있습니다. 단일 환경 내에서, 데이터를 조사하여 트렌드를 발견하고 분석하여 그 결과를 저장하고 보고합니다. NI DataFinder 솔루션은 테스트 그룹의 규모와 수집 데이터 양을 기반으로 각 요구사항을 충족합니다.

NI DataFinder

NI TDM 솔루션의 중추적인 컴포넌트인 NI DataFinder를 사용하면 원하는대로 데이터 관리 및 검색 솔루션을 구성할 수 있습니다. 일단 NI DataFinder를 설치한 후, 특정 파일 유형에 대해 특정 폴더 및 디렉토리를 검색하도록 NI DataFinder를 구성합니다. 그러면 NI DataFinder는 본 파일의 메타 데이터를 완벽하게 검색 가능하도록 인덱스를 자동 구축합니다. 클릭 한 번만으로 검색 영역을 추가 또는 제거할 수 있으며, 맞춤 파일 포맷 인덱스를 위해 NI DataFinder를 구성할 수도 있습니다.

일단 검색 영역을 설정한 후, DIAdem의 두 가지 인터페이스로 (단순 검색 및 고급 검색) 데이터를 검색할 수 있습니다. 단순 검색에서는 단어나 값을 입력하면 신속하게 검색하여 파일 내의 모든 값을 포함한 파일을 나타내줍니다. 고급 검색을 사용하면, 특정 계층 레벨 (파일, 그룹 및 채널)에서 프로퍼티를 검색할 수 있고 결과를 채널, 그룹 또는 파일 목록으로 나타냅니다. 예를 들어, “Group.Test_Status = fail”를 검색하면 본 프로퍼티를 포함하는 모든 그룹을 보여줍니다. 이 경우, 검색 조건을 만족하는 모든 파일과 포맷의 모든 채널을 검색할 수 있으며, 각 파일에서 반환된 채널을 로드할 수 있습니다. 각 파일로부터 관심있는 채널이나 프로퍼티만을 로드했으므로 데이터에 대한 컨트롤이 강화됩니다.


[+] 크게 보기


그림 5. 고급 검색을 통한 데이터의 트렌드와 상호연관성 검색

NI DataFinder는 사용 시작과 동시에 사용자가 지정한 검색 영역 내에서 TDM과 TDM Streaming 파일을 자동적으로 인덱스합니다. 뿐만 아니라 NI DataFinder를 사용하여 다른 포맷 형태의 다수 파일을 검색할 수도 있습니다. 이 경우에는 DataPlugin을 사용하여 DIAdem이나 LabVIEW에서 파일을 불러올 수 있습니다. 특정 데이터 파일에 대한 DataPlugin이 있으면, 사용자는 TDM 파일과 마찬가지로 인덱스, 검색 그리고 로드를 할 수 있게 됩니다. 75개 이상의 무료 DataPlugin을 ni.com/dataplugins에서 다운로드할 수 있습니다. 또한 DataPlugin API는 사용자가 구성한 포맷 형태로 고유의 DataPlugin을 작성할 수 있도록 예제를 제공합니다.


그림 6. 파일에 포함된 설명 정보를 저장하는 인덱스가 있어 값을 조사 및 검색 가능

이미 언급된 바와 같이 NI DataFinder 인덱스에는 완벽한 자체 구성 및 자체 유지 기능이 있습니다. 인덱스하고자 하는 폴더와 디렉토리에 NI DataFinder를 지정하면, 파일 내에 저장된 모든 메타데이터의 인덱스를 구축합니다. 검색 영역 내에서 더 많은 테스트 데이터를 수집하고 파일을 저장할수록, NI DataFinder는 Windows File Event 알림을 받으며 새로운 데이터 파일을 자동으로 인덱스합니다. 또한 NI DataFinder는 파일이 변경되거나 삭제될 때 트리거되는 파일 이벤트를 모니터링하므로 사용자는 항상 데이터의 최신 인덱스를 보유하게 됩니다. NI DataFinder에는 이름 및 설명 등과 같이 모든 파일에 저장된 여러 고유 프로퍼티가 있습니다. 그러나, 테스트 수행 중에, Test Status나 Test Procedure와 같은 맞춤형 프로퍼티를 저장해야 하는 경우도 있습니다. NI DataFinder는 모든 메타 데이터를 완벽하게 자체 확장하므로, 인덱스는 자동적으로 새로운 프로퍼티에 적용되며 고유의 프로퍼티와 함께 인덱스됩니다. 기존의 데이터베이스 솔루션의 경우, 데이터베이스가 애초에 새로운 프로퍼티를 추가하도록 설계되지 않았다면 본 작업을 추가하여 비용이 많이 들 수 있습니다.

DIAdem DataFinder와 NI DataFinder Server Edition

내쇼날인스트루먼트는 고객의 요구를 만족하기 위한 두 가지 데이터 관리 옵션을 제공합니다. - DIAdem DataFinder와 NI DataFinder Server Edition을 포함한 모든 DIAdem 패키지로 사용자의 장비나 네트워크에 저장되어 있는 데이터를 검색하는 작업이 수월해집니다. 제한된 네트워크 대역폭과 수많은 파일 포맷으로 다양한 장비의 데이터에 액세스해야 하는 대규모 조직에서 보다 일관되고 통일된 방식이 필요하게 됩니다.

NI DataFinder Server Edition은 서버에 설치되는 소프트웨어이지만 IT 기기에 대한 지식 없이 간편하게 설치하고 구성하도록 제작되었습니다. 로컬 DIAdem DataFinder와 마찬가지로 인덱싱을 위해 특정 검색 영역과 파일 포맷을 구성할 수 있습니다. 일단 이러한 검색 영역을 구성하게 되면 DIAdem을 사용하는 여러 클라이언트 컴퓨터는 서버에 있는 중앙 공유 인덱스를 사용하여 수집된 테스트 데이터를 동시에 볼 수 있습니다. 따라서 전체 그룹과 부서에서는 여러 장비에 산재해있는 파일과 폴더에서 각각 검색하는 번거로움 없이 데이터를 일괄적으로 검색 및 분석할 수 있습니다. NI DataFinder Server Edition에 연결을 선택하기만 하면, 로컬 DIAdem DataFinder 인덱스에 연결된 것처럼 서버 인덱스에 즉시 연결됩니다.


그림 7. NI DataFinder Server Edition은 여러 테스트 스테이션의 메타 데이터를 종합하므로, 여러 클라이언트에서 동시에 데이터에 간편한 액세스와 검색 가능

NI DataFinder Server Edition은 로컬 장비 뿐 아니라 모든 네트워크 장비에 저장된 데이터에 신속하고 편리한 액세스를 제공합니다. 데이터에 신속하게 접근하면 데이터 검색에 시간과 리소스를 낭비하지 않고 설계와 분석과 같은 더욱 중요한 작업에 집중할 수 있습니다. 찾고자 하는 데이터를 검색하는 기능 이외에도, 여러 파일을 한번에 검사할 수 있으므로 중요한 트렌드나 오류 등을 발견할 수 있습니다.

동시연결 지원 능력에서부터 사용자 관리 및 저장 기능에 이르기까지 NI DataFinder Server Edition은 NI DataFinder에 비해 대규모 그룹을 위하여 여러 가지 장점을 제공합니다. NI DataFinder Server Edition이 어떤 방식으로 시뮬레이션 및 테스트 데이터 관리 솔루션을 원활하게 진행하는 지에 대한 자세한 정보는 NI DataFinder Server Edition 기술 백서를 참조하십시오.

테스트 데이터 분석과 보고

NI TDM 솔루션의 마지막 요소는 쿼리 및 리포팅 클라이언트인 DIAdem입니다. DIAdem은 NI DataFinder에 사용자 인터페이스를 제공하므로 인터넷 같은 간단한 키워드 검색이나 강력한 고급 검색으로 인덱스화된 모든 데이터 파일을 검색할 수 있습니다. DIAdem은 데이터 검색 기능을 데이터 시각화, 분석 및 리포트 환경과 통합합니다. 일단 필요한 데이터를 DIAdem DataFinder나 NI DataFinder Server Edition을 통해 검색하면, 수 백개의 내장된 엔지니어링 함수를 사용하여 데이터를 분석하고 다른 사람과의 결과 공유를 위해 일관성 있는 레포트를 생성합니다. DIAdem은 가장 흔히 사용되는 쿼리, 리포트, 인터랙티브하게 보기로부터 재사용 가능한 템플릿을 뽑아내는 기능 덕분에 맞춤형 포스트 프로세싱 솔루션을 제공이 가능합니다. 데이터 처리 환경으로서 DIAdem과 NI DataFinder를 사용하는 것 이외에도 VBScript와 맞춤 다이얼로그를 통해 완벽하게 자동화할 수 있습니다. 엔지니어들은 완벽하게 맞춤화 된 데이터 관리 및 평가 어플리케이션을 위한 기반으로써 본 솔루션을 사용합니다.


[+] 크게 보기
그림 8. 데이터 후분석, 리포트 및 자동화를 위한 DIAdem

결론

NI 데이터 관리 솔루션은 확장가능하고, 효율적이며, 즉시 검색 가능한 데이터 관리 시스템의 모든 이점을 가지고 있습니다. 따라서 이제는 파일 분석, 데이터 모델 및 데이터 테이블 구조의 세부사항, 데이터베이스 관리, 검색 GUI 디자인, 그리고 타그룹 (IT 부서)으로부터 지원 여부 등에 대해 신경 쓸 필요가 없습니다. 그 대신, 구성이 편리한 DIAdem DataFinder나 NI DataFinder Server Edition을 사용하여 데이터 인덱스를 자동적으로 생성하고 유지하기만 하면 됩니다. 결과적으로, DIAdem 내장 검색 GUI와 사용이 간편한 인터랙티브 데이터 분석/리포트 환경을 활용하면 저장된 데이터를 사용자에게 필요한 결과 정보로 신속하게 전환할 수 있습니다.

DIAdem DataFinder와 NI DataFinder Server Edition의 장점은 다음으로 요약됩니다.

- 초기 구입 및 유지보수 비용이 낮음
- 고가의 복합적인 데이터베이스를 설치, 설계, 유지할 필요가 없음
- 간단한 설정 : 인덱스하고자 하는 디렉토리를 선택하여 사용자의 데이터 포맷에 적절한 DataPlugin을 설치하기만 하면됨
- NI DataFinder 검색 영역에 추가되는 데이터 파일을 자동 인덱스
- 단일 사용자에서 전체 엔지니어링 그룹과 회사 전체로 자동 확장
- 맞춤형 파일 포맷을 위해 간편하게 DataPlugin 생성
- 인터랙티브하며 자동적인 데이터 분석 및 보고

LabWindows 마크는 Microsoft사의 라이센스 하에서 사용됩니다. Windows는 미국 및 여러 나라에서 Microsoft 사의 등록 상표입니다.