​모델 기반 시스템에 대한 신뢰 구축

전통적으로, 테스트 단계는 한 개발 단계에서 다음 단계로 나아가기 위한 점검 지점 역할을 해왔습니다. 예를 들어, 프로토타입은 설계 기준에 근거해 테스트를 받고, 이 기준을 충족하면 설계가 다음 설계 단계로 진행됩니다. 하지만 테스트 데이터 자체는 설계와 함께 전달되지 않습니다. 설계 테스트의 목적은 오직 프로토타입 단계가 성공적으로 완료되었음을 확인하는 데만 있습니다. 이 패턴은 시장 조사 및 개념 개발부터 생산과 유지보수 테스트에 이르기까지 모든 설계 단계에서 반복됩니다. 결과적으로 제품 개발 과정에서 귀중한 테스트 데이터가 활용되지 않아 중요한 학습 기회를 놓치게 됩니다.

이러한 복잡성에 더해, 많은 기업이 순차적 설계 방법론에서 보다 유연하고 애자일한 제품 개발 방법으로 전환했습니다. 전통적인 선형적이고 단독적인 개발 프로세스가 진화한 것입니다. 그 결과 테스트는 이제 개발의 모든 단계에 걸쳐 지속적이고 연속적인 활동이 되었습니다.

애자일 개발의 도입과 데이터 및 인사이트의 확산 필요성이 핵심 질문에 주목하게 했습니다—전체 개발 프로세스에서 정보를 효과적으로 수집하고 공유하는 방법은 무엇인가?

데이터 저장 및 전송 행위 자체는 본질적으로 어렵지 않습니다. 그러나 그 데이터를 효과적으로 관리하는 것은 엔지니어링 팀이 오랜 기간 고민해온 과제입니다. 데이터가 최신 정보를 정확히 반영하도록 어떻게 보장할 수 있습니까? 이 질문에 답하는 것은 디지털 엔지니어링의 기본 원칙, 즉 단일하고 신뢰할 수 있는 진실 공급원을 확립하는 것입니다. 단일 진실 공급원의 수립을 포함한 엄격한 데이터 관리 없이는 팀이 확실하고 자신 있게 정보를 활용할 수 없습니다.

개발 주기 동안 권위 있는 진실 공급원는 이에 맞게 진화해야 합니다. 각 테스트 단계에서 획득한 최신 정보는 기존 지식에 통합되어야 합니다. 테스트를 개발 프로세스 내의 분리된 일련의 절차로 보는 대신, 제품 개발을 강화하는 견고한 지식 기반 구축 수단으로 보아야 합니다.

테스트를 일련의 단계로 간주하는 것은 테스트 과정을 효율화하는 핵심입니다. 이 접근 방식은 엔지니어링 팀이 다음 두 가지 중요한 질문에 답할 수 있는 능력에 달려 있습니다.

"이전 단계에서 습득한 정보를 어떻게 보존하고 이어나갈 것인가? 새로운 테스트 단계마다 어떤 새로운 정보를 습득해야 하는가?"

이 정보를 총합해 디지털 스레드라 부르며, 개발 과정 전반에 정보를 전달합니다. 디지털 스레드는 단일 권위 있는 진실 공급원가 되며, 요구 사항 목록, 디지털 모델, 센서 매핑, 기록된 테스트 데이터, 모델 기반 동작, 성능 변동, 제조 결함, 개별 변이, 실제 사용 이력 등 디지털 산출물을 포함합니다. 디지털 스레드는 개발 과정에서 정보를 수집하고 유지하는 방법에 관한 첫 번째 질문에 대한 답을 제공합니다. 디지털 스레드 품질 향상은 디지털 엔지니어링 프로세스 구현을 담당하는 팀의 주요 도전 과제입니다.

두 번째 질문, 즉 각 새로운 테스트에서 필요한 정보를 수집하는 문제는 개발 과정을 더욱 효율화하는 데 기여할 수 있습니다. 이 질문에 대한 답변의 정확성과 완전성이 디지털 스레드 완료 시 품질을 결정합니다.

모듈로 구성된 시스템에서 에러 발생 원인은 크게 두 가지가 있습니다. 오류는 모듈 간 상호작용에서 발생하며, 이 상호작용이 개별 구성요소의 동작에 영향을 미치는 방식에서도 발생합니다. 이러한 효과를 모델링하는 것은 개별 구성요소 동작의 모델링보다 훨씬 더 어려울 수 있습니다. 이러한 사항들은 개발 후반 단계의 테스트 엔지니어링에서의 의사결정을 안내해야 합니다. 테스트 목표는 단순히 다음 단계로 넘어가기 위한 자격 확인에서, 디지털 스레드에 대한 신뢰, 특히 시스템을 나타내는 모델에 대한 신뢰 확보로 전환되어야 합니다.

다양한 모델은 서로 다른 목표를 달성합니다. 모델은 개념을 시각적으로 표현하는 데 사용되며, 정밀한 기능 대신 제품 설계 안내를 위한 피드백 수집에 집중할 수 있습니다. 모델은 요구사항 추적이나 구매용 자재 명세서 작성에도 활용됩니다. 또한, 실제 구성요소가 준비될 때까지 시스템 내에서 기능이 중요하지 않은 물리적 플레이스홀더로 작용할 수 있습니다. 디지털 모델은 유한요소해석이나 보안 테스트 같은 시나리오 테스트에 유용하게 사용될 수 있으며, 여기서 모델의 동작과 반응이 핵심적인 역할을 합니다. 마지막으로, 모델은 특정 시리얼 번호와 연계된 디지털 트윈으로 활용되어 생산 시점의 데이터를 포함하고 시간이 지남에 따라 실제 물리 시스템의 사용 조건을 모방합니다.

이러한 다양한 적용 범위에서 물리 시스템과 일치하는 정확도 요구는 달라집니다. 개념 모델은 물리 시스템의 정확한 성능을 재현할 수 없으나, 유지보수 예측에 사용되는 디지털 트윈은 실제 사용 및 고장과 밀접하게 부합하는 높은 정확도가 필요합니다. 모델의 정확성에 대한 신뢰도는 시스템 내 모델 신뢰도를 평가하는 척도가 됩니다. 여기서 신뢰도는 "개인이 모델에서 도출된 정보를 기반으로 개인이 의사 결정을 내릴 수 있는 정도"를 의미합니다.¹

모델 신뢰도을 높이기 위해서는 신뢰도을 정량화하고 진행 상태를 측정하는 방법이 필요합니다. Eann Patterson가 제안한 개념은 재료 과학 등 여러 분야 모델에 적용되어 현재 논의에 유용합니다. 이 모델에서, Dr. Patterson은 모델을 두 축으로 정의하여 특성화할 것을 제안합니다. 모델의 테스트 가능성과 모델 과학에 대한 이해도는 어느 정도지 평가해야 합니다.

이 프레임워크에서 그래프의 왼쪽 아래로 갈수록 모델에 대한 신뢰가 증가합니다. 그림 1과 같이 필드를 네 영역으로 나누는 것이 도움이 되지만, 이 선들은 경계가 명확하지 않다는 점을 인지해야 합니다.

그림 1. 네 가지 모델 분류

이 네 구간에는 네 가지 모델 분류가 있습니다. 모델의 신뢰도를 위해 엔지니어가 모델의 위치를 이해하는 것은 필수적입니다. 이 분류에 대한 간략한 설명은 다음과 같습니다.

    I. 검증 가능한 모델로 알려진 과학―이 영역에서 엔지니어는 다양한 도구와 측정기준을 사용해 모델의 적절한 적용을 보장합니다. 이 범주 예시로는 기계적 레버, 재료 샘플, 이상적인 물리 문제 등이 있습니다.

    II.            실험 결과와 잘 맞는 단순화된 모델―이 영역에서는 과학적 이해가 부족할 수 있으나 충분한 데이터로 현상을 정확히 모델링합니다. 엔지니어는 이 모델들을 실험 데이터와 비교하며 주의해서 사용해야 합니다. 예를 들어 암흑 물질에 대한 과학적 이해가 부족하지만, 우주 모델이 충분히 정확하여 우주 탐사 임무 수행에 활용할 수 있습니다.

    III.            견고한 과학적 근거를 갖지만 검증할 수 없는 모델―이 모델들은 정확성 검증 테스트가 불가능할 때도 현실 적용 가능성을 위해 인식론적 가치를 기반으로 합니다. 이 범주 속하는 예시로는 극한 열음향 피로에 노출된 구성요소가 있습니다.

    IV.            구축과 테스트가 어려운 모델―이 영역 모델은 알려진 과학에 일부 기반하지만 기본 과학 정보나 테스트 경로가 없습니다. 블랙홀에서의 상호작용이 이 범주에 속할 수 있습니다.

이 구조는 모델을 얼마나 신뢰할 수 있는지 판단하는 데 유용합니다. 다음 섹션에서는 이것이 엔지니어링 팀의 특정 모델 신뢰도 향상에 어떻게 기여하는지 설명합니다.

이제 이러한 분류를 확인했으니, 신뢰도가 높아지는 그래프 왼쪽 아래 방향으로 모델을 발전시키는 전략을 고려할 수 있습니다.

그림 2. 모델 신뢰도 향상을 위한 전략들

그림 2에 나타난 첫 번째 전략은 테스트 기법과 기술을 개선하여 개발하는 것입니다. 측정 시스템은 향상된 정확도, 정밀도, 속도, 분석 기술을 통해 매년 발전하고 있습니다. 이러한 기술의 발전은 모델을 그래프의 왼쪽 위(III분면)에서 왼쪽 아래(I분면)로 이동시킵니다. 측정 분야 기업인 NI는 이전에 접근 불가능했던 측정을 가능하게 하는 이 전략에 집중하고 있습니다.

신뢰도 낮은 왼쪽 상단 모델에 직면한 엔지니어링 팀은 이전에는 가능하지 않았던 측정법을 개발하는 데 집중할 수 있습니다. NI와 같은 측정 기업과 산업 파트너십은 특정 모델 문제에 가장 적합한 측정 방식을 개발하는 데 기여할 수 있습니다.

두 번째 전략은 새로운 과학적 이해를 모델에 도입하는 것입니다. 이 접근의 목표는 블랙박스를 대체하는 과학 기반 모델을 개발하는 것입니다. 이에 NI는 Ansys 같은 회사들과 협력해 공표된 과학 원리를 기반으로 한 물리 시뮬레이션을 개발하고, 실험 데이터를 통해 검증합니다. 상세 모델은 차수 축소 모델(ROM) 생성에 사용되며, ROM은 시스템 시뮬레이션 수행, 센서 최적화 계측 개선, 가상 센서를 통한 물리적 측정 보완, 고장 확률 분석에 활용됩니다. 물리 모델과 실험 데이터를 결합해 시스템 불확실성을 정량화하고, 기계 학습과 구성 법칙을 활용해 보통 모델링되지 않는 잔류 물리를 캡처하며, 확률적 분석으로 시스템 내 주요 고장점을 식별하는 하이브리드 모델을 구축할 수 있습니다.

세 번째 전략은 정확한 테스트가 불가능하고 과학 원리를 알 수 없는 시스템 부품(IV분면)에 적용됩니다. 이 시스템들은 현상을 측정하거나 근본 물리를 이해하기 위한 새로운 연구 접근법이 필요합니다. NI는 전 세계 학술의 연구 프로그램과 협력해 이런 개념들의 이해와 측정 역량을 향상시키고 있습니다.

모델의 중요성이 커짐에 따라, 엔지니어는 테스트 계획의 일부로 적절히 신뢰할 방법을 찾아야 합니다. 모델 활용의 핵심은 모델을 어디에서 신뢰할 수 있는지,그리고 테스트 대상의 거동을 정확히 이해하기 위해 추가 데이터가 필요한 영역이 어디인지를 파악하는 것입니다. NI 도구를 활용해 설계 과정 각 단계에서 데이터를 수집하여 모델 정확도를 높일 수 있습니다. 모델에 근거한 가정을 하기 전에, NI의 데이터 수집 및 분석 도구를 활용하여 모델이 예상대로 작동하는지 검증할 수 있습니다. 이를 통해 디지털 엔지니어링 도구의 힘을 활용할 수 있을 만큼 모델에 대한 신뢰를 높일 수 있습니다.

• NI의 전체 데이터 수집 제품 포트폴리오에 대해 자세히 알아보기