​Vertrauen in modellbasierte Systeme aufbauen

Traditionell dient die Testphase als Kontrollpunkt, um von einer Entwicklungsstufe zur nächsten zu gelangen. So wird z. B. ein Prototyp anhand von Entwurfskriterien getestet, und wenn diese Kriterien erfüllt sind, geht der Entwurf zur nächsten Stufe des Entwurfsprozesses über. Die Testdaten selbst werden jedoch nicht mit dem Entwurf mit übertragen. Der Zweck des Entwurfstests besteht lediglich darin, den erfolgreichen Abschluss der Prototypphase sicherzustellen. Dieses Muster wiederholt sich in allen Entwurfsphasen, von der Marktforschung und Konzeptentwicklung bis hin zu Produktions- und Wartungstests. Bei der Entwicklung des Produkts bleiben daher wertvolle Testdaten zurück, wodurch wichtige Lernmöglichkeiten verloren gehen.

Hinzu kommt, dass viele Unternehmen von einer sequenziellen Entwurfsmethode zu einem flexibleren und agileren Ansatz für die Produktentwicklung gewechselt haben. Der traditionelle lineare und einsame Verlauf des Entwicklungsprozesses hat sich weiterentwickelt. Daher ist das Testen heute ein fortlaufender und ständiger Aspekt, der sich durch jede Entwicklungsphase zieht.

Die Einführung der agilen Entwicklung und die Notwendigkeit, Daten und Erkenntnisse zu verbreiten, hat eine zentrale Frage in den Fokus gerückt: Wie können Informationen effektiv erfasst und im gesamten Entwicklungsprozess ausgetauscht werden?

Die Speicherung und Übertragung von Daten selbst ist nicht unbedingt schwierig. Die effektive Verwaltung dieser Daten ist jedoch eine Herausforderung, mit der sich Ingenieurteams seit langem auseinandersetzen. Wie kann gewährleistet werden, dass die Daten die aktuellsten Informationen widerspiegeln? Die Auseinandersetzung mit dieser Frage bildet ein grundlegendes Prinzip der Digitaltechnik – die Etablierung einer einzigen, maßgeblichen Wahrheitsquelle. Ohne ein diszipliniertes Datenmanagement, einschließlich der Schaffung einer einzigen Wahrheitsquelle, können Teams die Informationen nicht mit Sicherheit und Vertrauen nutzen.

Während des gesamten Entwicklungszyklus sollte sich die maßgebliche Quelle der Wahrheit entsprechend entwickeln. Mit jeder Testrunde sollten neu gewonnene Informationen in den vorhandenen Wissensbestand integriert werden. Anstatt Tests als eine Reihe diskreter Schritte innerhalb des Entwicklungsprozesses zu betrachten, sollten sie als Mittel betrachtet werden, um eine solide Wissensbasis zu schaffen, die die Produktentwicklung verbessert.

Die Betrachtung von Tests als eine Reihe von Schritten ist der Schlüssel zur Effizienz des Testprozesses. Dieser Ansatz basiert auf der Fähigkeit eines Ingenieurteams, zwei kritische Fragen zu beantworten:

„Wie bewahren und übertragen wir die in früheren Phasen gelernten Informationen? Welche neuen Informationen müssen wir mit jeder neuen Testphase lernen?“

Die Summe dieser Informationen kann als digitaler Thread bezeichnet werden, der Informationen durch den Entwicklungsprozess leitet. Der digitale Thread wird zur einzigen maßgeblichen Wahrheitsquelle und umfasst digitale Artefakte wie eine Anforderungsliste, digitale Modelle, Sensor-Mapping, aufgezeichnete Testdaten, modelliertes Verhalten, Leistungsunterschiede, hergestellte Defekte, individuelle Variationen und Anwendungshistorie in der Praxis. Der digitale Thread beantwortet die erste Frage, wie Informationen während des Entwicklungsprozesses erfasst und gespeichert werden. Die Verbesserung der Qualität des digitalen Threads ist die wichtigste Herausforderung für ein Team, das mit der Implementierung eines digitalen Engineering-Prozesses beauftragt ist.

Die zweite Frage, die sich auf die Erfassung notwendiger Informationen während jedes neuen Tests bezieht, kann helfen, die Effizienz innerhalb des Entwicklungsprozesses zu steigern. Die Genauigkeit und Vollständigkeit der Antwort auf diese Frage wird die Qualität des digitalen Threads nach Fertigstellung bestimmen.

In einem System aus Modulen gibt es mindestens zwei Hauptfaktoren, die zu Fehlern beitragen. Fehler entstehen aus den Interaktionen zwischen Modulen und ergeben sich auch daraus, wie diese Interaktionen das Verhalten einzelner Komponenten verändern. Die Modellierung dieser Effekte kann sich als erheblich schwieriger erweisen als die Modellierung des Verhaltens einzelner Komponenten. Diese Überlegungen sollten Entscheidungen in der Testentwicklung in späteren Entwicklungsphasen leiten. Das Ziel des Testens muss von der einfachen Qualifikation für die nächste Phase hin zum Aufbau von Vertrauen in den digitalen Thread, insbesondere in das Modell, das zur Darstellung des Systems verwendet wird, verlagert werden.

Verschiedene Modelle erreichen unterschiedliche Ziele. Modelle können verwendet werden, um ein Konzept visuell darzustellen, wobei das Sammeln von Feedback für die Produktentwicklung priorisiert wird, anstatt sich auf präzise Funktionalität zu konzentrieren. Modelle können verwendet werden, um Anforderungen zu verfolgen oder eine Stückliste für Einkaufszwecke zu erstellen. Modelle können auch als physische Platzhalter innerhalb eines Systems fungieren, bis die eigentliche Komponente verfügbar ist, wobei der Funktionsumfang möglicherweise nicht entscheidend ist. Digitale Modelle können bei Szenariotests wie der Finite-Elemente-Analyse oder Sicherheitstests nützlich sein, bei denen das Verhalten und die Reaktion des Modells kritisch werden. Schließlich können Modelle als digitale Zwillinge verwendet werden, die mit bestimmten Seriennummern verknüpft sind und Daten enthalten, die im Laufe der Zeit altern, um die tatsächlichen Nutzungsbedingungen des physischen Systems zu imitieren.

Die Anforderungen an die Genauigkeit des physikalischen Systems variieren in diesem Bereich. Während ein konzeptionelles Modell nicht die exakte Leistung des physischen Systems abbilden kann, erfordert ein digitaler Zwilling, der zur Wartungsprognose verwendet wird, Genauigkeit, die eng mit der realen Nutzung und Ausfällen in Einklang steht. Das Vertrauen in die Genauigkeit eines Modells dient als Maß für die Glaubwürdigkeit des Modells im System. Glaubwürdigkeit bezieht sich in diesem Zusammenhang auf „den Grad, in dem Einzelpersonen bereit sind, ihre Entscheidungen auf die aus dem Modell abgeleiteten Informationen zu stützen“¹.

Um die Glaubwürdigkeit von Modellen zu erhöhen, müssen wir diese quantifizieren und Fortschritte messen können. Das von Eann Patterson vorgeschlagene Konstrukt wurde auf Modelle in mehreren Bereichen angewendet, einschließlich der Materialwissenschaft und ist hilfreich für die aktuelle Diskussion. In diesem Modell ist Dr. Patterson schlägt vor, Modelle entlang zweier Achsen zu charakterisieren: Wie testbar ist das Modell und wie gut verstehen wir die Wissenschaft des Modells?

In diesem Rahmen steigt das Vertrauen in das Modell, wenn das Modell weiter links im Graphen charakterisiert wird. Es ist hilfreich, das Feld in vier Segmente zu unterteilen, wie in Abbildung 1 dargestellt, obwohl wir erkennen müssen, dass es sich bei diesen Linien um Fuzzy-Linien und nicht um unterschiedliche Grenzen handelt.

Abbildung 1. Vier Modellkategorien

In diesen vier Segmenten sehen wir vier Kategorien von Modellen. Für die Glaubwürdigkeit eines Modells ist es wichtig, dass Ingenieure verstehen, wo das Modell hinfällt. Es folgt eine kurze Beschreibung dieser Kategorien:

    I. Wissenschaft mit nachprüfbaren Modellen—In diesem Feld verwenden Ingenieure eine Reihe von Werkzeugen und Metriken, um die ordnungsgemäße Anwendung der Modelle zu gewährleisten. Beispiele in dieser Kategorie sind mechanische Hebel, Materialproben und ideale physikalische Probleme.

    II.            Vereinfachte Modelle, die den Versuchsergebnissen entsprechen – in diesem Feld ist die Wissenschaft vielleicht nicht gut verstanden, aber es liegen genügend Daten vor, um das Phänomen genau zu modellieren. Ingenieure sollten diese Modelle mit Vorsicht verwenden und mit empirischen Daten vergleichen. Ein Beispiel dafür mag dunkle Materie sein – wir verstehen die Wissenschaft nicht, aber unser Modell des Universums ist genau genug, dass wir Weltraummissionen leiten können.

    III.            Modelle, die eine solide wissenschaftliche Grundlage haben, aber nicht verifiziert werden können—Diese Modelle basieren auf epistemischen Werten, um sie für den Einsatz in realen Anwendungen nutzbar zu machen, auch wenn wir keine Tests zur Überprüfung der Genauigkeit durchführen können. Beispiele in dieser Kategorie können Komponenten mit extremer thermoakustischer Ermüdung sein.

    IV.            Modelle, die schwierig zu bauen und zu testen sind—Ein Modell in diesem Bereich basiert möglicherweise lose auf bekannten wissenschaftlichen Erkenntnissen, aber ohne Zugang zu den zugrunde liegenden wissenschaftlichen Informationen oder einem Testpfad. Die Interaktionen in einem Schwarzen Loch können in diese Kategorie fallen.

Dieses Konstrukt ist hilfreich, um festzustellen, wie sehr einem Modell vertraut werden kann. Im nächsten Abschnitt besprechen wir, wie dies einem Ingenieurteam hilft, das Vertrauen in ein bestimmtes Modell zu stärken.

Jetzt, da wir diese Kategorien identifiziert haben, können wir Strategien erwägen, um Modelle weiter nach links unten zu treiben, wo das Vertrauen steigt.

Abbildung 2. Strategien zur Erhöhung des Vertrauens in Modelle

Wie in Abbildung 2 dargestellt, besteht die erste Strategie darin, bessere Testverfahren und -technologien zu entwickeln. Messsysteme verbessern sich jedes Jahr durch bessere Genauigkeit, Präzision, Geschwindigkeit und Analysetechnologien. Jeder Fortschritt in diesen Technologien verschiebt Modelle von links oben (Quadrant III) nach links unten (Quadrant I). Als Messunternehmen konzentriert sich NI auf diese Strategie – Messungen zugänglich zu machen, die zuvor nicht möglich waren.

Bei einem Modell mit geringem Vertrauen in der linken oberen Ecke kann sich ein Ingenieurteam darauf konzentrieren, Messungen durchzuführen, die zuvor nicht verfügbar waren. Industriepartnerschaften mit Messunternehmen wie NI im Zusammenhang mit spezifischen Modellproblemen können zu Messansätzen führen, die sich auf die relevantesten Probleme konzentrieren.

Die zweite Strategie besteht darin, neue wissenschaftliche Erkenntnisse in Modelle einzubringen. Ziel dieses Ansatzes ist es, wissenschaftsbasierte Modelle zu entwickeln, um Blackboxen zu ersetzen. In diesem Bereich arbeitet NI mit Unternehmen wie Ansys zusammen, um Physiksimulationen basierend auf veröffentlichten wissenschaftlichen Prinzipien zu entwickeln, die dann mit experimentellen Daten validiert werden. Diese detaillierten Modelle werden dann zur Erzeugung von Modellen reduzierter Ordnung (ROMs) verwendet, mit denen Systeme simuliert, die Messtechnik durch Sensoroptimierung verbessert, physikalische Messungen mit virtuellen Sensoren erweitert und Fehlerwahrscheinlichkeiten analysiert werden können. Die Kombination von Physikmodellen mit experimentellen Daten kann verwendet werden, um Unsicherheiten im System zu quantifizieren und hybride Modelle zu erstellen, die konstitutive Gesetze und Prinzipien des maschinellen Lernens verwenden, um Restphysik zu erfassen, die oft nicht modelliert ist, und eine stochastische Analyse durchzuführen, um wahrscheinliche Fehlerpunkte im System zu identifizieren.

Die dritte Strategie gilt für Teile des Systems, die nicht genau getestet werden können und bei denen die wissenschaftlichen Prinzipien nicht verstanden werden (Quadrant IV). Systeme hier erfordern neue Forschungsansätze, um die Phänomene zu messen oder die zugrunde liegende Physik zu verstehen. National Instruments arbeitet weltweit mit wissenschaftlichen Forschungsprogrammen zusammen, um diese Konzepte besser verstehen und messen zu können.

Da Modelle immer wichtiger werden, müssen Ingenieure Wege finden, ihnen für die Verwendung als Teil des Testplans zu vertrauen. Ein wichtiger Teil der Arbeit mit Modellen ist es zu verstehen, wo ihnen vertraut werden kann und wo weitere Daten benötigt werden, um die Funktionsweise des Testartikels korrekt zu verstehen. Durch die Arbeit mit Werkzeugen von NI können Sie bei jedem Schritt des Entwicklungsprozesses Daten erfassen, um die Genauigkeit Ihrer Modelle zu verbessern. Bevor Sie Annahmen basierend auf diesen Modellen treffen, können Sie mit Hilfe der Datenerfassungs- und Analysewerkzeuge von NI überprüfen, ob Ihr Modell wie erwartet funktioniert. All dies führt zu einem höheren Vertrauen in Ihr Modell, so dass Sie die Leistungsfähigkeit digitaler Engineering-Tools nutzen können.

• Weitere Informationen zum kompletten Portfolio an Datenerfassungsprodukten von NI