넥스젠의 ATAM으로 글로벌 자동차 OEM업체가 새롭게 출시한 차량의 인포테인먼트 시스템을 어떻게 테스트하고 디버그하는데 도움이 되었는지 알려드립니다.
“넥스젠의 코봇과 비전 시스템은 필드 서비스 이슈에 대해 신속한 솔루션을 제공했습니다…수동 디버그의 경우 테스트 및 분석에 몇 개월이 소요되는 것에 비해 단 몇 주만에 문제를 해결할 수 있었습니다.”
글로벌 자동차 OEM 회사, 프로젝트 책임 엔지니어
오늘날 대부분의 제품에 대한 테스트는 여전히 엔지니어가 수동으로 그 기능과 동작 성능을 테스트해야 합니다. 리서치 그룹인 글로벌 마켓 인사이트에 따르면 대부분의 소프트웨어 테스트는 여전히 아래 다이어그램과 같이 테스트 엔지니어에 의해 주로 수행되고 있습니다.
테스트 자동화의 여러 이점에도 불구하고 자동화를 위해서는 소프트웨어 엔지니어가 테스트 프레임워크를 만든 다음 각 사용 용도에 따라 개별 스크립트를 작성해야 하는 과정을 거쳐야 하기 때문입니다. 만약 시스템 기능이 변경되면 이러한 변경된 사항을 적용하기 위해 테스트 케이스를 업데이트 해야 합니다.
테스트 케이스의 유지 관리는 소프트웨어 테스트 자동화 산업이 직면한 주요 과제 중 하나입니다.
제품 테스트는 제품 각각의 특정 물리적 인터페이스로 인해 소프트웨어 테스트보다 더 복잡하게 진행됩니다. 이러한 물리적 인터페이스는 기존의 터치스크린을 비롯하여 버튼, 슬라이더, 회전식 제어기 및 압력 감지 인터페이스에 이르기까지 매우 다양합니다. 많은 경우에 있어서 이러한 물리적 제어를 확인하고 조작해야 하는 복잡한 단계는 자동화 솔루션을 구축하는 데 장애요인이 되고 있습니다. 일반적으로 기계적 또는 전기적 장치를 통한 조작은 너무 복잡하고 비용 효율적이지 않습니다. 이러한 이유로 협동로봇이 필요한 것입니다. 코봇(협동로봇)은 프로그래밍하기 쉽고 안전 기능이 내재되어 있어 엔지니어와 같이 협업할 수 있어서 효율적인 공간활용이 가능합니다.
제품 테스트 자동화의 장점
자동화된 제품 테스트는 설계 및 개발 팀에 관련한 장치 성능에 대하여 중요한 통찰력을 제공합니다. 당사의 경험에 의하면 전체 테스트항목에 대해 수동으로 테스트해야 하는 기능과 자동화할 수 있는 기능의 중요한 선정작업이 필요합니다. 수동 테스트는 일반적으로 테스트 케이스를 1~5회 반복한 후 그 결과를 기록하게 됩니다.
하지만 자동화는 테스트를 수백 번 늘려 진행할 수 있으며 이로써 제품 동작에 대해 보다 깊은 사고를 만들어가며 테스트 커버리지가 부족하거나 이슈가 간헐적으로 발생되어 수동 테스트 수행 중 쉽게 놓치는 숨겨진 버그를 찾을 때 특히 유용합니다. 자동화된 테스트는 10회 또는 20회 테스트 수행 시 한번정도 발생할 수 있는 문제를 찾는데 매우 효과적입니다.
자동화를 통해 테스트 주기를 늘리는 것으로 엔지니어는 어떻게 제품 성능에 대한 통찰력을 늘릴 수 있을까요. 일례로 시스템 로딩 중의 반응성 같은 지표를 확인할 수 있습니다.
아래 그래프는 26회의 테스트 동안 블루투스 LE 링크를 사용하여 전원을 껐다 켠 후 기기간 연결하는데 걸리는 시간을 보여줍니다. 여러 경우에 블루투스 연결 시간이 1초 이상 차이가 나는 것을 확인할 수 있습니다.
자동화된 테스트를 통해 설계팀은 동일 시간 투자로 더 많은 회차의 테스트를 수행하여 정확한 제품 성능상의 분포를 측정할 수 있습니다. 동일 테스트의 경우 최소한의 추가 비용으로 500~1000회차의 테스트를 수행할 수 있습니다.
이를 통해 테스트 엔지니어는 반복적인 수동 테스트를 수행하는 데 소요되는 시간을 절약하고 근본 원인 분석에 보다 집중할 수 있습니다.
코봇(협동로봇)을 이용한 제품 테스트
코봇은 제품의 조작 및 제어가 필요한 제품의 테스트에 비교적 저렴한 비용으로 가능한 솔루션을 제공합니다. ‘툴 패스’라고 불리는 개별 작업을 수행하도록 코봇을 프로그램하는 프로세스를 통하여 쉽게 동작을 기억시키고 수행할 수 있습니다.
각 툴 패스에는 예를 들어 버튼을 누르는 것과 같은 특정 행동을 위해 3D공간에 정의할 일련의 기준점이 필요합니다.
엔지니어는 코봇으로 직접 원하는 동작을 정의하고 해당 동작을 쉽게 코봇에게 저장할 수 있습니다. 또 다른 경우로는 보다 정교한 별도의 툴을 사용하여 3D 공간에서 평면을 정의하고 모든 코봇의 동작을 해당 평면에 적용하여 보다 정교한 제어 및 이동을 가능하게 할 수 있습니다. 좀 더 자세한 예시는 이 사례 연구의 뒷부분에 안내되어 있습니다.
최신 코봇의 한 가지 특성은 엔드 이펙터 또는 터치 스타일러와 같은 부가 장치와의 연계입니다. 이를 이용해 터치스크린 등에 작용하는 실제 터치압력을 확인하고 조정할 수 있으며 터치 및 스와이프와 같은 실제 인간과 같은 동작을 구현할 수 있습니다.
코봇에 비전 시스템을 결합하면 테스트 범위를 확장할 수 있고 테스트 도중에 진행되는 사항을 모니터링 할 수 있습니다. 몰론 테스트가 진행되는 동안 이슈가 발생되었을 때의 동영상을 확보할 수도 있습니다.
사례 연구에서 넥스젠의 플렉스 플로우 코봇 및 비전 시스템을 이용한 테스트 자동화를 통해 장시간의 수동 테스트가 필요없이 단 몇 주 만에 시장에서 발생한 이슈를 해결한 방법을 확인하세요.
도전 과제
자동차 OEM업체에서 최근에 출시된 차량용 인포테인먼트 시스템에서 전화가 가끔 끊긴다는 이슈를 접수하였습니다. 해당 이슈로 인해 새로운 차량에 대한 소비자의 전반적인 만족도가 떨어지고 있음을 확인하였습니다. 이에 OEM 업체는 이 커넥티비티 이슈를 해결할 시스템 펌웨어 업데이트를 빠른 시일내에 배포하기를 원하였고 이를 위해선 해당 이슈를 재현하고 심층적으로 분석할 수 있는 광범위한 스트레스 테스트가 즉시 필요하다고 결정했습니다.
그러나 자동차 OEM업체의 인포테인먼트 보안 정책의 사유로 인해 최종 생산 펌웨어 빌드에서는 테스트용 펌웨어 테스트 인터페이스가 사용이 불가능하다는 것을 알게 되었습니다. 즉, 테스트 인터페이스를 사용해야 하는 일반적인 자동화 테스트가 불가능했던 것입니다.
또한 이 업체는 테스트를 수동으로 수행할 만한 테스트 인력 및 시간이 부족했고 결국은 테스트 인터페이스 없이 자동화 테스트를 수행하는 솔루션을 제공할 수 있는 넥스젠에 도움을 요청하였습니다.
넥스젠의 해결 방안
넥스젠은 즉시 ATAM 플렉스 플로우 코봇과 비전 시스템을 이용하여 사용자 인터페이스를 제어하여 양산 펌웨어에서 필요한 테스트를 수행하였습니다.
ATAM 플렉스 플로우 코봇 시스템을 사용하여 블루투스 연결 및 통화 안정성을 모니터링하면서 다양한 통화 시간의 전화 걸기 테스트를 수행하였습니다. 넥스젠의 테스트 엔지니어들은 코봇의 움직임을 직접 지시하고 저장하기 위해 시각적 포인트 및 매크로 시스텝을 사용하여 각 테스트 케이스를 신속하게 작성할 수 있었습니다.
ATAM 무선 플렉스플로우 테스트 유저 인터페이스를 사용하면 누구나 복잡한 테스트 케이스를 손쉽게 만들 수 있습니다.
자동화 테스트의 기초 설치 이후 관련 절차에 의하여 차량용 인포테인먼트 시스템 화면상의 전화 페어링 메뉴에 진입하고 코봇과 비전 시스템을 사용하여 실제 사용자와 동일하게 HMI를 이용한 페어링을 진행한 후 통화 테스트를 수행하였습니다.
관련 테스트에 사용된 휴대폰은 넥스젠 고유의 스마트폰 제어 앱을 이용해 제어되고 모니터링 되었습니다.
ATAM 플렉스 플로우 코봇 비전 시스템은 또한 테스트 과정에서 다른 네트워크에서 20개의 주요 휴대폰들을 순차적으로 제어하도록 설치 되었습니다. 다양한 통화 시간을 적용한 전화 테스트의 총 소요시간은 5시간이었으며 코봇은 일 24시간동안 집중적으로 테스트한 결과 전체 테스트를 5일만에 완료할 수 있었습니다. 그 결과로써 각 휴대폰과 차량용 시스템에 대한 높은 수준의 통화 연결 안정성과 품질이 확보되었습니다.
ATAM 플렉스 플로우 코봇을 사용한 문제 해결
ATAM 플렉스 플로우 코봇 비전 시스템을 사용한 자동차 OEM 엔지니어링 팀과의 협업 및 그에 따르는 신속한 조치가 필드 이슈의 빠르고 성공적인 해결을 이끌어 내었습니다. 별도의 코딩작업이 필요없이 직관적으로 사용가능한 비전 시스템과 Point & Click 인터페이스로 차량 인포테인먼트 시스템에서 복잡한 테스트 시나리오를 수행하도록 코봇의 동작을 구현하였습니다.
ATAM 플렉스 플로우의 블럭 다이아그램과 유사한 방식의 드레그 앤 드롭 그래픽 인터페이스를 통해 엔지니어는 별도의 코딩작업 없이 차량용 인포테인먼트 시스템 헤드 유닛과 연결된 휴대폰들에 대한 상세한 테스트 절차를 만들어내고 수정할 수 있었습니다. 또한 테스트 절차를 더 간단하고 빠르게 생성할 수 있을 뿐만 아니라 테스트 흐름상의 잠재적인 문제를 더 쉽게 간파할 수 있어 전체 테스트 상에 있어서 더 빠르고 강력한 실행을 할 수 있게 하였습니다.
결 과
테스트 데이터를 분석한 결과 특정 제조업체의 휴대폰에서 전화가 끊겼다는 사실이 빠르게 확인되었습니다. BT Trace를 확인한 결과 휴대폰의 블루투스 스텍과 시스템의 예상 응답 타이밍이 일치하지 않아 차량용 인포테인먼트 시스템에서 전화 연결이 끊어지는 결과가 초래되었음을 알게 되었습니다.
자동차 OEM 업체는 후속 폰 펌웨어 배포 때 바로 적용할 수 있도록 블루투스 스텍 실행 이슈를 수정하기를 원하였고 이를 위해 해당 휴대폰 제조업체와 이슈를 공유하고 협력했으며 시장에서의 전화 연결 이슈를 해결하기 위해 차량용 인포테인먼트 펌웨어 업데이트를 즉시 배포하였습니다. 그리하여 관련한 이슈를 빠르게 해결해 나갈 수 있었습니다.
“우리의 펌웨어 검증팀은 넥스젠과 ATAM의 도움으로 예상치 못한 버그가 심각한 필드 이슈로 발전해 고객들에게 불편을 끼치기 전에 신속하게 이를 찾아내 수정할 수 있었습니다.”
글로벌 자동차 OEM회사, 개발 엔지니어
넥스젠의 automated 자동 테스트 플랫폼(ATAM) 과 코봇 비전 시스템이 어떻게 상호호환성 테스트를 빠르고 강력하게 만들 수 있는지 알아보세요.
공유게시물:
