测试​左​移:​汽车​验证​测试​的​演变

概览

几十年​来,​设计​和​验证​一直​依赖​于​V​型​图,​除了​V​型​图​出现​了​几个​变​体外,​这​一​状况​持续​至今。​这​主要​归功​于​V​型​图​的​有效性、​扩展​能力​和​行业​的​充分​验证。

 

随着​汽车​不断​互​联​化、​自动​化、​共享​化​和​电​动​化​(CASE),​严苛​的​安全​要求​使得​设计​和​测试​不断​朝​V​型​图​的​左侧​移动,​从而​导致​测试​范围​大幅​提升:​因为​不仅​汽车​内​运行​的​大量​软件​需要​测试,​而且​先进​技术​对应​的​测试​用例​包含​了​许多​未知​情况,​加上​开发​和​售​后​期间​软件​会​不断​更新,​种种​因素​都​要求​扩大​测试​范围。

 

接​下来​让​我们​从​汽车​工业​测试​的​角度​来看​V​型​图,​探索​可以​优​化​设计​的​机会。

汽车​行业​的​V​型图

过去​汽车​以​机械​为​主,​但​未来​的​汽车​必定​由​软件​定义。 尽管​软件​在​现代​汽车​中起​着​主要​作用,​但​该​行业​仍​需要​大幅​投资​到​原型​车​测试​上。​虽然​从​安全​角度​来看​这​是​非常​必要​的,​但​由于​成本​高、​故障​发现​得​晚​以及​缺乏​可​重复​性,​几乎​不可能​在​真实​条件下​对​设计​进行​验证。

鉴于​这些​限制,​公司​希望​从一​开始​就​尽可能​获得​最佳​状态​的​物理​原型,​从而​获得​最佳​的​最终​设计。​汽车​原始​设备​制造​商​正在​调整​V​图,​更加​注重​前期​的​开发​和​测试,​并​将​越来越​多​地​利用​虚拟​原型​(图​1),​来​大幅​降低​成本​和​返工,​加快​开发​速度。 这​就​要求​在​整个​过程​中​设计、​开发​和​验证​团队​更​早​地​紧密​协作。

虚拟原型和硬件验证方法可减少返工

图​1.通过​软件​和​数据​工具​链​实现​快速​测试​迭代,​减少​返工,​将​开发​重心​放在​前期。

将​重心​放在​前期​开发​会​使​V​型​图​变为​图​1​中的​双​V​图,​与​此​类似,​公司​正在​尝试“缩​窄​V”或“向左​移”。​但是,​无论​设计​过程​如何,​他们​将​越来越​多​地​采用​仿真​和​实验​室​技术,​在​更​安全、​更​快速、​成本​更低​的​虚拟​世界中​扩大​测试​范围。 2018​年,​研究​人员​发现,​通过​将​自动​驾驶​功能​测试​用例​分为​虚拟​和​物理​用例,​其​测试​成本​远​低于​现场​测试。 1研究​人员​估计​节省​的​成本​最高​可达​90%。

对于​像​Waymo​这样​专注​于​研究​自动​驾驶​并​拥有​软件​测试​专业​知识​的​新兴​汽车​公司​来说,​转向​虚拟​仿真​技术​几乎是​一种​本能。 根据​经验,​这些​公司​非常​清楚​更​大幅​采用​仿真​测试​可:

  • 在​单位​时间​内​执行​更多​测试​案例​和​场景,​从而​扩大​测试​范围
  • 在​测试​场景​和​条件​中​添加​更多​故障​用例,​从而​提高​可靠性 
  • 实现​高度​自动​化,​从而​降低​成本,​并​降低​物理​测试​在​总​成本​的​占比
  • 提高​可​重复​性,​从而​更好​地​进行​产品​特性​分析,​同时​还​可​提高​可​追溯性
     

既然​虚拟​原型​可以​给​汽车​公司​带来​诸​多​益处,​为什么​该​技术​不​普及​呢?

转变​面临​的​挑战 

测试​左​移​并​没有​既定​的​流程,​由于​人员、​过程​和​技术​紧密​相关,​因此​在​转变​过程​中,​存在​着​各种​错​综​复杂​的​挑战。​但​挑战​同时​也​意味​着​机会。​在​研究​这些​机会​之前,​让​我们​先​来​定义​这些​挑战: 

人员—​这​涉及​技能​和​培训,​组织​如何​持续​支持​虚拟​以及​基于​实验​室​的​测试​和​集成,​内部​团队​之间​的​共识​以及​供应​商​和​协作​者​等​外部​支持。  

流程—​涉及​使用​自动​化​测试​管理​技术​和​方法​来​将​虚拟、​实验​室​和​真实​测试​结果​相关​联,​并​确定​测试​的​对象​以及​时间​点。​这些​方法​需要​各​部门​达成​一致,​并​结合​上述​所​说的​技能​和​培训,​才能​加快​开发​和​测试​过程,​而​不会​增加​预算​或​牺牲​可靠性​或​测试​范围。 流程​还​包括​ISO-26262​等​安全​标准​以及​现有​和​即将​颁布​的​法规。 

技术—​技术​就是​指​与​技能​和​流程​相​匹配​的​工具。 利用​技术,​测试​人员​可以​执行“X​在​环”(“模型​在​环”和“软件​在​环”)​测试,​并​将​测试​结果​引入​硬件​在​环​系统​或​实验​室​测试​中。 技术​涵​盖了​从​单​个​组​件​或​域​到​真实​整​车​测试​的​方​方面​面。 

这​三​个​要素​及其​相关​元素​盘​根​错节,​非常​值得​深入​研究。 我们​建议​先​评估​现有​情况,​然后​确定​要​针对​特定​业务​目标​优​化​的​变量​或​流程,​以​在​这​三​个​要素​之间​取得​适当的​平衡。 

但​此​处,​我们​将​重点​介绍​技术​及其​如何​影响​前期​开发​的​测试​(请​记住,​仅​从​该​要素​着手​并不​足以​攻克​测试​挑战)。 

​在​图​2​中,​我们​看到​传统​的​表示​法​是​按​设计​和​测试​执行​的​环境​进行​划分​的,​即​虚拟​环境、​实验​室、​物理​环境。 这样​划分​有助​于​发现​可​及早​进行​测试​的​机会,​在​正确​的​时间​和​地点​进行​测试​迭代,​并​尽可能​高效​地​进行​物理​测试。 

图​2.扩展​V​型​图,​观察​测试​发生​在​哪个​阶段,​从而​找出​左​移​(shift-​left)​的​机会。

显然,​越​往​V​型​图​的​右侧​和​上​侧​进行,​时机​越​晚,​识别​出​的​缺陷​越​复杂,​对​开发​的​负面​影响​越​大。​但​别​忘了,​测试​环境​会​影响​关键​变量​(图​3)。​综​上​所述,​在​左侧​部署​强大​而​全面​的​测试​同样​可以​逐步​过渡​到​真实​测试,​而且​提供​了​同样​高​的​测试​覆盖​率。

 

路测和仿真测试都需要权衡复杂性和时机

图​3.该​图表​显示​了​在​不同​阶段​进行​测试​的​取舍​和​优势。2

现在,​让​我们​看一下​哪些​方面​可以​通过​技术​来​实现​V​图​左​移​和​增加​左侧​的​测试。

测试​左​移​如何​优​化 

当​您​尝试​测试​左​移、​提高​实验​室​和​物理​测试​以及​其他​方面​的​效率​时,​建议​先​对​测试​进行​优​化。​这里​就​需要​介绍​技术​带来​的​优势​及其​局限性。  

过去,​测试​供应​商​只需要​专注​于​在​某​个​领域​(仿真、​实验​室​或​物理​测试),​但​不需要​三​方面​都​做得​很好。 但​如果​采用​基于​软件​的​模​块​化​方法​来​优​化​测试,​可​带来​以下​三​个​方面​的​好处: 

1. 测试​组​件​复​用  

虽然​组​件​复​用​可​带来​成本​优势,​但​其​最大​的​价值​在于​时间​的​节省​——​而且​它​绝对​以​软件​为​中心。​通过​最大​程度​地​减少​V​型​图​阶段​之间​的​返工,​您​可以​实现​更加​集成​的​设计​和​测试。  

但​实际​应用​中,​挑战​无处​不在,​比如​与​供应​商​之间​的​紧张​关系,​组织​的​架构、​部门​之间​的​相互​孤立、​企业​的​考核​方式​以及​技术​等​各方面​都会​带来​各种​各样​的​挑战。​其中​技术​挑战​应该​是​最​容易​克服​的,​因为​通过​采用​正确​的​测试​架构,​工程​师​可以​从​组​件​测试​到​系统​再到​集成​测试​等​不同​阶段​循环​复​用​测试​模​块。  

利用​开放​的​测试​系统​和​测试​开发​软件​架构,​我们​不仅​可以​在​开发​同一​产品​的​不同​小组​之间​复​用​测试​用例、​设备​和​工程​开发​成果,​也可以​在​同一​系列​的​产品​开发​中​继续​复​用。 沃​尔​沃​的​案例刚好​可以​佐证​正确​的​架构​和​技术​如何​确保​测试​系统​满足​未来​的​需求,​满足​交付​日期、​质量​标准​和​预算​要求。​沃​尔​沃​有效​地​集成​了​多个​供应​商​的​产品,​重复​使用​了​现有​组​件,​并​实现​了​系统​的​灵活​性,​从而​轻松​自如​地​应对​未来​需求。 整个​系统​无缝​集成,​我们​能够​在​资源​有限​的​情况​下,​以​合理​的​成本​按时​交付​高​质量​的​产品​和​服务。 

2.​更​高效​利用​数据

在​进行​测试​左​移​时,​我们​需要​让​数据​为​我们​提供​支持,​而不是​让​数据​成为​另一​项​挑战。​对于​CASE​来说,​这​一点​尤其​重要,​因为​随着​测试​数据​呈​爆炸​式​增长,​组织​必须​以​数据​为​驱动​力。  

由于​技术​和​方法​的​局限性,​通常​我们​只​分析​一部分​测试​数据​(随后​很少​将​其​链​接​回​先前​的​测试​阶段,​或者​基于​这些​数据​实现​测试​智能,​以便​为​未来​的​测试​做​准备) 而捷​豹​路​虎​通过​对​其​数据​进行​自动​化​管理,​大幅​提高​了​分析​的​数据​量,​避免​了​大量​测试​的​重新​运行,​并且​降低​了​物理​测试​的​成本,​提高​了​测试​可靠性。 

使用​数据​更​早​地​进行​测试,​还有​助​于:

  • 提供​最​精准​的​模拟​和​统计​建​模,​这​一点​对于​测试​新​技术、​之前​未经​测试​的​技术​或有​文​档​记录​的​技术​(例如​自动​驾驶)​非常​重要
  • 改进​并​自动​化​测试​用例​的​生成,​从而​避免​不必要​的​重新​测试,​并​扩大​了​测试​范围,​提高​结果​可​溯源性
  • 严格​跟踪​每​个​产品​的​设计​和​测试​结果,​以​规避​风险,​避免​最终​失败​(或​召回)
  • 通过​虚拟、​实验​室​和​物理​测试,​提供​更​广泛、​多​角度、​多​过程​的​测试​视图,​从而​帮助​您​更好​地​了解​测试​范围
  • 测试​和​开发​投资​决策​的​制定​(资本​支出​和​运营​支出)
  • 为​真正​利用​人工​智能、​机器​学习​和​其他​工业​过程​技术​打下​坚实​的​第​一步
     

而且,​也许​最​重要​的是,​以​数据​为​桥梁,​可以​让​开发​特定​产品​的​不同​小组​之间​高效​地​沟通,​从而​加快​决策、​协作​和​纠​错​过程。 

3. 了解​您​的​起点 

与​任何​旅行​一样,​起点​与​终点​同样​重要。​理解​测试​的​过程​有助​于​您​发现​测试​中​存在​的​缺陷,​以及​修正​这些​缺陷​可以​为​公司​带来​哪些​益处。  

其实,​基本​概念​很简单: 避开​红色​区域​中的​返工,​如​图​4​所​示。 

在V的右侧进行返工会非常浪费时间和资源

图​4. 各个​阶段​的​返工​可能​会​让​您​陷入​红色​区域,​导致​时间​和​资源​显著​浪费。

说起来​容易​做​起来​难,​而且​通常​很​难​单枪匹马​地​完成,​因为​这​要求​公司​必须​具有​自我​批判​思维,​具备​多​领域​知识,​以​数据​为​驱动​力,​并且​对​行业​的​最佳​工程​实践​有​适当的​了解。​庆幸​的是,​NI​及​其他​咨询​服务​提供​商​拥有​强大​的​专业​和​行业​背景,​可​从​不同​的​角度​为​您​提供​多​媒介​(人员、​流程​和​技术)、​多元化​的​观点,​帮助​您​洞察​有​价值​的​信息,​并​最终​制定​出​具体​的​行动​计划。

开始​自我​评估​之前,​请先​考虑​一下​您​在​测试​中​所​处的​位置:​仿真​测试、​HIL​测试、​实验​室​测试​和​路​测​的​比例​分别​是​多少,​如何/​哪些​方面​可以​优​化​投资? 如果​您​觉得很​难​回答​这​一​问题,​这​就​意味​着​您​需要​更多​地​转向​仿真​和​HIL​测试,​才能​提高​测试​效率。 

结论​ 

我们​往往会​因为​实施​过程​中​可能​面临​的​风险​而​踌躇​不​前,​但​请​您​思考​一下​不​作为​的​惨​痛​代价。​如果​没有​清晰​的​战略​和​结构​化​的​方法,​您​很有​可能​会​经常​重蹈​覆辙,​总是​得到​不​理想​的​结果。 如果​您​能够​反​思​当前​的​流程,​确定​需要​优​化​的​领域​以及​关键​性能​指标,​并从​战略​上​确定​需​优先​解决​的​问题,​将​有助​于​您​一步步​迈​向​长久​的​成功。 

我们​后​续​将​探讨​人员​和​流程​两​个​方面​面临​的​挑战​和​策略,​但​就​目前​而言,​了解​技术​如何​帮助​实现​测试​左​移​是​我们​测试​演进​之​旅​的​第​一个​里程碑。​NI​拥有​专业​的​团队、​知识​和​技术,​可​助​您​优​化​测试,​成功​开发​出​自动​驾驶​汽车。

下一步