Nextgen ATAMを用いてグローバル自動車OEMが新たに市場投入したインフォテインメントシステムのテストとデバッグをどの様に支援できたか説明します
「NextgenのCobotとビジョンシステムは、フィールドサービス問題に素早くソリューションを提供してくれました。手動デバッグでは、テストと分析に数ヶ月掛かるところ、数週間で修正プログラムを開発することができたのです。」
グローバル自動車OEM、リード プロジェクト エンジニア
現在ほとんどの製品テストは、エンジニアが手作業で機能や性能テストを行う必要があります。 調査会社のGlobal Market Insights社によると、下図に示す通リ、ほとんどのソフトウェアテストは、未だにテストエンジニアによって行われています。これは、テストを自動化するためには、ソフトウェアエンジニアがテストのフレームワークを作成し、ユースケース毎に個別スクリプトの作成が必要なためです。もし、システム機能が変更された場合、テストケースの更新が必要です。テストケースのメンテナンスは、ソフトウェアテスト自動化業界が直面している重要な課題の1つです。
製品テストは、製品毎に物理的インターフェイスが異なるため、ソフトウェアよりも複雑なテストが行われます。 この様に物理的インターフェイスは、既存のタッチスクリーンをはじめとする ボタン、スライダー、回転式コントローラ、感圧インターフェイス等多様です。多くの場合、この様な物理的制御を確認し操作等の複雑さが、自動化ソリューションを構築する上で障壁となっています。一般的に機械的又は電気的装置を介した操作は、複雑過ぎてコストが嵩みコスト的非効率です。そこで、最新のCobot (協調ロボット）が大きな役割とメリットをもたらします。Cobotは、プログラムが簡単で安全機能を備えているため、エンジニアと共に協働作業ができ作業空間を効率的に利用可能です。
製品テスト自動化のメリット
製品テストの自動化は、設計・開発チームにデバイス性能に関する重要な洞察を提供します。 これまでのNextgen社の経験から、全体のテスト項目に対して手動テストが必要な機能と、自動化できる機能の重要な選定作業が必要となります。 手動テストは、一般的にテストケースを1～5回反復後、その結果を記録する事になります。しかし、自動化すればテスト回数を数百回まで増やし製品動作に対するより深い洞察が得られるので、テストカバレッジ不足や問題の断続的性質により、手動テストでは簡単に見落とされる「隠れバグ」の発見に有用です。自動化テストは、10又は20回に1回しか発生しない問題の発見に適しています。
自動化によりテスト回数を増やすことで、エンジニアは製品性能をより深く知ることができます。例えば、システム負荷中の応答性能等の指標を確認できます。
下図は、26回のテスト実施中のBluetooth Low Energyリンクを使用し電源再投入後の接続時間を示したものです。接続時間に1秒以上の差が多数あることがわかります。
自動化テストにより、設計チームはゼロ又は僅かな作業で、より多くのテスト回数の性能分布を正確に測定できます。上記ケースでは、最小の追加コストで500～１000回のテストを実施できます。その結果、テストエンジニアは根本原因の分析に集中でき、反復手動テストの実施に掛かる時間を削減できます。
Cobot (協働ロボット)を利用した製品テスト
Cobotは、製品の実操作と制御が必要な製品テストで、比較的低コストで適応性の高いソリューションを提供します。これまでの主な課題は、“ツールパス(Tool Path)”と呼ばれる個々の動作を実行するためにCobotをプログラミングすることでした。“ツールパス(Tool path)”と呼ばれる個別作業を遂行するようCobotをプログラミングするプロセスを通して、容易に動作を記憶し実行出来ます。各ツールパスは、例えばボタンを押す等の特定動作の為の３D空間を定義する一連の基準点が必要です。
エンジニアはCobotの希望動作を定義し、該当する動作を容易にCobotで操作出来ます。また、高度なツールを使って、3D空間に特徴的な平面を定義、その平面に対してCobotの動作を参照することで、高度な制御と移動が実現できます。この事例は後述します。
最新のCobot特性一つは、エンドエフェクターやタッチスタイラス等の付加装置との連携が可能で、タッチスリーン等に適用される実際のタッチ圧力を確認・調節でき、タッチ及びスワイプ等、人と同様な操作が可能です。
Cobotとビジョンシステムを組合せてテスト範囲を拡大し、テスト中に進行する各機能やテスト結果を確認できます。もちろん、テスト進行中に問題が発生した場合、各故障モードの動画撮影もできます。
この事例研究では、NextgenのFlex Flow Cobotとビジョンシステムを使った自動化テストを用いて、長時間の手動テストを必要とせず、市場で発生した問題を数週間で解決した例を紹介しました。
挑戦と課題
ある自動車OEMは、最近発売されたインフォテイメントシステムから通話ができないという市場クレーム受付けました。 この問題で新型車両に対する消費者の全般的な満足度が低下ししたことを確認しました。 このOEMは、コネクティビティ問題を解決するシステムのファームウェアの更新を迅速に配布する為、報告された問題を再現し分析する為の広範囲なストレステストが必要だと判断しました。
しかし、自動車OEM業界インフォテインメントのセキュリティポリシーにより、最終生産ファームウェアビルドではファームウェアテストインターフェイスが利用できない事が判明しました。 即ち、テストインターフェイスを使用する必要がある一般的な自動化テストの実施が不可能だったのです。
また、このOEMはテストを手動で行うための人力と時間が不足した為、テストインターフェイスなしで自動化テストを遂行するソリューションを提供できるNextgen社に支援を求めてきました。
Nextgenの解決方案
Nextgen社は、ATAM FlexFlow Cobotとビジョンシステムを利用して、インフォテインメントシステムのユーザーインターフェイスを制御・操作し、量産ファームウェアに対する必要なテストを実行しました。
ATAM FlexFlow Cobotシステムを使用して、Bluetoothコネクティビティと通話安定性をモニターしながら、様々な通話時間のテストを迅速に実行しました。Nextgen社のテストエンジニアは、Nextgen FlexFlow Cobotの動作を直接指示し調整する為のポイント&クリック式マクロシステムを使用し各テストケースを迅速に作成できました。
ATAM FlexFlowコードレス テストユーザーインターフェイスを用いて、誰でも複雑なテストケースを作成できます
自動化テストの初期セットアップ後、自動化テストシーケンスは車輛インフォテインメントシステムの画面上の電話機ペアリングメニューにアクセスし、Cobotとビジョンシステムを使って実際の利用者と同一のHMIを操作しペアリングと通話テストを実行しました。関連テストに利用した携帯電話機は、Nextgen固有のスマートフォンアプリを用いて制御モニタリングを行いました。
ATAM FlexFlow Cobotビジョンシステムは、またテスト過程で異なるネットワーク上の20台の主要な携帯電話機を順次制御出来るよう設定されています。多様な通話時間を適用した電話機テストの全所要時間は5時間であったのに対し、Cobotは1日24時間集中的にテストを実施した結果、全体のテストを5日間で完了出来ました。その結果、各携帯電話機と車両用システムに対するより高い水準の通話品質と接続安定性を確保出来ました。
ATAM FlexFlow Cobotを利用した問題解決
ATAM FlexFlow Cobotビジョンシステムを利用した自動車OEMのエンジニアリングチームとの協業とそれに続く迅速な処置が、発生した市場問題に対する迅速な解決に繋がりました。別途コーチング作業が不要で直感的に利用可能なビジョンシステムとポイント＆クリックインターフェイスにより、車両インフォテインメントシステムの複雑なテストシナリオを遂行できるようCobotの動作と複雑なタスクをコード不要で実行できました。
ATAM FlexFlowのブロックダイアグラムと視覚的なドラッグ＆ドロップ式GUIを利用して、エンジニアは特別なコーチング作業なしで車両インフォテインメントシステムのヘッドユニットと接続された携帯電話機に対する詳細なテスト手順を作成・更新できました。 また、テスト手順をより簡単で迅速に生成するだけでなくテストフロー上の潜在的な問題を容易に特定し、テスト全体をより迅速で強力に実行できるようになりました。
結果
テストデータを分析した結果、特定のメーカーの携帯電話機で通話が切断させることが直ぐに確認できました。Bluetoothトレースを確認した結果、携帯電話機のBluetoothスタックとシステムの期待される応答タイミングで不一致があり、車両用インフォテインメントシステムから特定の条件下で携帯電話機が予期せず切断されることが判りました。
自動車OEMは、その後リリースされる携帯電話機ファームウェア配布時、直ちに適用できるよう Bluetooth Stack実行問題の修正を希望したため、電話機メーカーに報告・協力するとともに市場に於ける携帯電話機の接続問題を解決する為に、車両用インフォテインメントのファームウェア更新を即時配布しました。これにより、関連する問題を迅速に解決できました。
「当社のファームウェア検証チームは、Nextgen ATAMを使って、予想出来なかったバグが深刻なビルド問題に発展しお客様のご不便を招く前に迅速に発見・修正する事が出来ました。」
グローバル自動車OEM、開発エンジニア
Nextgenの自動化テストプラットフォーム(ATAM)とCobotビジョンシステムが、相互運用性テストの高速化にどのように役立つかをご紹介します。
Share this post on:
