테스트 데이터 관리를 위한 인프라 구축

저자:

Simon Foster - Jaguar Land Rover
Pablo Abad - Jaguar Land Rover

Jaguar Land Rover의 빅 아날로그 데이터 문제

오랜 기간에 걸친 JLR(Jaguar Land Rover)의 성공에는 고급 설계, 엔지니어링, 기술이 모두 중대한 역할을 했습니다. 당사는 영국 제조업체 중 연구개발에 가장 많은 투자를 해왔으며, 덕분에 수천 명의 엔지니어들이 세계 최고 수준의 혁신 기술을 개발할 수 있었습니다. R&D에 대한 투자의 결과로, 파워트레인 교정 및 제어 부서에서 400명이 넘는 엔지니어들이 매일 최대 500GB의 시계열 데이터를 수집합니다.

이렇게 막대한 규모로 수집되는 데이터를 한 부서에서 모두 관리하기에는 역부족이었습니다. 게다가 원하는 테스트 결과를 찾기 어려워 테스트를 반복 수행하는 일이 잦은 것도 문제였습니다. 과거에는 일상 업무를 수동으로 처리했는데, 그 이후 개발되어 현재 사용 중인 자동화 프로세스와 비교해 보면 20배 정도 더 많은 시간을 소모했던 것 같습니다. 저희는 여러 도구를 분석에 사용했으며, 각 도구은 모두 알고리즘을 구현하기 위해 특수한 스크립트가 필요했습니다. 표준화된 것은 하나도 없었습니다. 메타데이터나 채널 이름조차도 표준화되어 있지 않았습니다. 이 프로세스로 인해 저희는 수집하는 데이터의 10%밖에 분석하지 못했습니다.

현 상황에 맞는 최상의 솔루션을 찾기 위한 벤치마킹 기준

이 빅 아날로그 데이터 문제를 해결하기 위해 저희는 9개 도구를 벤치마킹하여 가장 적합한 플랫폼을 파악하기 위한 전담 팀을 조직했습니다. 도구 평가에 사용한 기준 중 몇 가지는 다음과 같습니다.

• 데이터 업로드 자동화 능력—400명이 넘는 솔루션 사용자들이 최대한 쉽게 사용하려면, 컴퓨터가 네트워크에 연결될 때마다 자동으로 새로운 데이터 세트를 업로드하고 해당 파일을 중앙 서버로 옮길 수 있어야 했습니다.
• 메타데이터 관리—여기에는 여러 소스의 메타데이터를 결합하고, 원래는 파일에 저장되지 않았던 메타데이터를 추가하고, 메타데이터에서 데이터를 검색할 수 있는 일까지 포함됩니다.
• 분석을 수행하기 위한 인터랙티브 도구—엔지니어들이 다른 프로그래밍 언어를 배우고 싶어하지 않았기 때문에 솔루션은 인터랙티브 분석 기능을 갖추고 있어야 했습니다. 또한 이 덕분에 엔지니어들은 소수의 분석 전문가들에게 전적으로 의존하지 않고 스스로 분석을 수행할 수 있게 되었습니다.
• 일괄 프로세스로 실행되는 병렬 분석—수천 개의 파일에서도 동시 처리를 실행할 수 있게 됩니다.
• 리포팅 템플릿—저희는 신뢰성 있고 일관되며 의사 결정에 도움이 되는 리포트를 작성하고자 했습니다.
• 유연한 플랫폼—저희는 솔루션을 기존 데이터 수집 프로세스에 통합하고 향후 다른 부서로도 확장하기를 원했습니다.

DIAdem 및 DataFinder Server Edition 기반 솔루션을 선택한 이유

벤치마킹한 9개 도구의 결과를 검토한 후에 저희는 DIAdem 소프트웨어와 현재 SystemLink TDM DataFinder Module이라고 불리는 모듈을 기반으로 솔루션을 구축하기로 결정했습니다. NI 기술 데이터 관리 플랫폼을 선택한 이유는 위에 나열한 기준을 충족함은 물론, 다음과 같은 이유 때문이기도 했습니다.

• DataFinder Server Edition은 메타데이터를 인덱싱하는 상용 데이터베이스 솔루션으로 쿼리를 보내 원하는 테스트 결과를 찾을 수 있습니다.
• DIAdem은 1,000개가 넘는 파일 포맷을 읽고 로드할 수 있습니다. 따라서 기존의 데이터 수집 프로세스를 바꿀 필요가 전혀 없으며, 향후 프로세스가 변경되더라도 데이터 분석 프로그램과의 호환성을 걱정할 필요가 없습니다.
• DIAdem을 사용하면 프로그래밍 없이도 상호 간에 호환되는 분석 대시보드를 만들 수 있습니다.
• 데이터를 선택해서 로드할 수 있습니다. 때로는 200개가 넘는 채널이 파일에 포함되어 있는데 그 중에서 5개 채널만 분석하고자 하는 경우도 있습니다. 이때는 DataFinder를 사용하여 쿼리를 수행함으로써 분석하고자 하는 데이터의 범위를 좁힌 후, 하나 이상의 파일에서 원하는 데이터를 선택적으로 로드하여 DIAdem 클라이언트에서 분석할 수 있습니다.
• 문제가 발생하거나 궁금한 점이 있을 때 NI에서 기술 지원을 받을 수 있었던 점도 더할 나위 없이 중요했습니다.

완전 자동화된 분석 프로세서의 작업 흐름

자동차를 테스트할 때는 다양한 방법으로 데이터를 수집합니다. 그중 하나는 장착된 데이터 로거를 통해 시운전 중에 센서로부터 정보를 캡처하는 것입니다. 테스트가 완료되면 데이터가 WiFi 또는 3G를 통해 덤프 영역으로 전송되어 사전 처리됩니다. 노트북을 차량에 직접 연결하여 CAN, MOST, FlexRay 또는 ECU 프로토콜, CCP, XCP, ETK를 비롯한 차량 네트워크 데이터를 수집하기도 합니다. 테스트를 완료한 후에 JLR 네트워크에 안정적으로 연결되면 데이터가 덤프 영역으로 자동 전송됩니다. 사용자가 이 프로세스를 시작하기 위해 별도의 조치를 취할 필요가 없습니다.

데이터가 수집된 후에는 항상 올바른 메타데이터가 있는지를 확인합니다. 이를 위해 저희는 파일 식별자/태그를 다른 내부 데이터베이스(차량 데이터베이스, 엔진 교정 데이터베이스)와 교차 참조하거나 CAN 로그와 같은 신호를 위한 네트워크 데이터를 디코딩합니다. 그리고 몇몇 매개변수(예: 평균 온도, 속도, MPG 등)를 계산하고 해당 데이터를 DataFinder Server Edition 기반 서버에 저장합니다. 그러면 엔지니어가 데이터를 쿼리할 때 지정된 매개변수와 일치하는 모든 테스트 결과가 반환됩니다.

엔지니어는 이 결과를 바탕으로 일상적인 분석 업무를 수행할 수 있습니다. 보다 면밀한 조사가 필요한 데이터에 대해서는 사전 정의된 루틴이나 맞춤형 임시 분석을 수행할 수 있습니다. 그런 다음에 일부 파일에 대해 분석을 실행하거나, 서버 솔루션에 보낼 일괄 프로세스를 실행할 수 있습니다. 이러한 작업을 때로는 수천 개의 파일에서 실행할 수도 있기 때문에 멀티코어 처리 기능을 갖추는 것이 매우 중요합니다. 사용자가 기존 분석 도구 및 알고리즘을 사용할 수도 있습니다. 덕분에 이 새로운 데이터 관리 및 분석 솔루션을 원활하게 기준 시스템에 통합할 수 있습니다.

분석을 실행한 후에는 템플릿을 기반으로 작성되는 종합적인 리포트가 제공되므로, 반복적인 디자인 작업을 처리하고 데이터를 기반으로 한 결정을 보다 신속하게 내릴 수 있습니다. 자동화된 리포트에서 템플릿을 사용할 때의 이점은 정보가 같은 방법(같은 축 또는 확대 영역의 그래프, 같은 데이터 및 계산 하위 집합이 있는 표 등)으로 제공되므로 보다 쉽게 비교하고 정확하게 결정할 수 있다는 것입니다.

현재까지의 결과

불과 1년이라는 짧은 기간에 이 솔루션을 개발하고 구현함으로써 데이터 분석 비율을 약 95%로 높였으며, 테스트를 여러 번 반복해야 할 필요가 없어 연간 테스트 비용과 횟수를 크게 줄였습니다.

또 다른 이점은 시스템이 더욱 복잡해졌음에도 불구하고 최종 제품을 고객에게 전달하기 전에 예전보다 많은 문제를 찾아서 해결할 수 있다는 것입니다. 이렇게 과거보다 더욱 견고한 제품을 생산하게 되면서 고객 만족도가 더욱 상승했습니다.

저희는 이 데이터 관리 및 분석 솔루션을 파워트레인 교정 및 제어 부서 외의 다른 부서로 확장할 계획이므로 DIAdem, DataFinder Server Edition, 그리고 NI와의 파트너십은 앞으로도 더욱 중요해질 것입니다.

저자 정보:

Simon Foster
Jaguar Land Rover
sfoste31@jaguarlandrover.com