수동 상호 호환성 테스트는 여전히 많이 쓰이고 있습니다. 종전에 발생되었던 이슈가 해결되었는지 확인하기 위한 스모크 테스트를 빠르게 수행하기 위해 적합하고 제조업체에게 제품의 사용자 경험에 대한 이해를 줄 수 있습니다. 수동 테스트를 통해 엔지니어와 QA 직원은 사용자의 관점에서 제품을 볼 수 있습니다.
그러나 중요한 제한 역시 있습니다.
수동 테스트는 가능한 사용 케이스와 그 치환을 테스트하는 것에만 진행될 수 있습니다. 매년 수십억 대의 장치가 제조되고 그 사용의 복잡함이 더욱 증가하고 있는 상황에서 수동 테스트만으로는 발생되는 이슈를 놓칠 가능성이 높다고 할 수 있습니다.
수동테스트 전용의 접근 방식을 채택하는 기업은 다양한 잠재적인 문제에 취약합니다. 왜냐하면 제품을 정시에 출시할 수 있도록 확장할 수 없을 뿐만 아니라, 수동 테스트는 정확히 무슨 일이 일어나고 있는지, 버그가 발생하는 경우, 이슈가 발생한 있는 곳과 이를 재현하는 데 필요한 정확한 시나리오를 식별하는데 있어 인간이 수행하는데 제한이 됩니다.
그리고 이러한 인간의 한계 때문에 동일한 유형의 문제가 수동 테스트 중에는 확인되지 않는 경우가 많습니다. 이경우에는 자동화 테스트가 버그에서 가능한 자유롭게 성공적인 제품과 장치의 품질을 보장할 수 있게 합니다.
다음은 수동 테스트 중에 확인 될 수는 있지만 자동화가 없이는 근본 원인을 찾기 어려울 수 있는 세 가지 문제입니다.
공존(coexistence) 이슈
블루투스와 Wi-Fi 공존은 현대의 대부분의 제품에서 자동으로 처리됩니다. 그러나 Bluetooth와 Wi-Fi 간에 안테나를 공유하는 경우에 있어서 문제가 발생될 수 있습니다.
예를 들면 송신기와 수신기가 서로 가까이에 있는 경우 이슈가 발생될 수 있습니다. 송신기가 우연히 수신기를 포화시키면 전송의 간격이 문제가 될 수 있습니다. 전송 전력이 높은 경우에도 다른 주파수에서 발생될 수 있습니다.
최신의 장치에서는 블루투스 또는 Wi-Fi를 다른 장치보다 우선시하고 '용인되는' 작은 손실을 허용하여 이러한 문제를 처리할 수 있습니다. 그러나 이것은 제품을 관리하데 있어 복잡한 작업입니다. 이미 콘텐츠 스트리밍으로 많이 로드되고 있는 Wi-Fi와 같은 실제 시나리오는 Bluetooth 검색 기능에 영향을 줄 수 있습니다.
모든 다른 치환되는 사항을 수동으로 테스트하는 것은 사실 현실적으로 인간 능력 밖의 일입니다. 따라서 자동화는 제품의 공존 상황에 있어서 품질의 확신을 가질 수 있는 가장 빠르고 신뢰할 수 있으며 가장 효과적인 방법입니다.
숨겨진 데이터 재 전송
데이터 전송 프로토콜을 사용하여 성공적으로 상대 기기에 도착할 때까지 데이터를 다시 전송하는 것은 최신 장치 연결에서 매우 유용한 부분입니다. 그러나 수동 테스트는 이러한 데이터 재전송에 의해 '잡힐' 수 있으며, 엔지니어는 동일한 유즈케이스가 예기치 않게 실제 환경에서는 “Fail”될 수 있다는 것을 의식하지 못하고 다만 제한된 조건에서의 테스트결과로써 “Pass”를 기록하는 오류를 범할 수 있습니다.
외부 간섭은 데이터 재전송을 유발하는 가장 큰 문제이며 매우 짧은 오디오 단절과 같은 인식이 힘들고 놓치기 쉬운 결과를 낳을 수 있습니다.
자동화된 상호 호환성 테스트는 보다 상세한 내용을 보여줄 수 있습니다. 즉, 자동 테스트는 경계 조건을 감지하고 연속적으로 데이터 재전송이 발생하는 위치를 강조하여 표시합니다. 이러한 내용으로 제품 개발자는 제품이 출시되기 전에 잠재적으로 발생가능한 문제에 대해 미리 대응할 수 있으며 출시 이후 제품의 평판이 하락되는 것을 피할 수 있습니다.
버그를 확인하는 방법
수동 테스트는 대부분 발생하는 문제 나 오류를 찾는 일반적으로 신뢰할 수 있는 하나의 방법입니다. 수동으로 테스트를 수행하여야 하고 그 자체의 노동 집약적인 한계로 인해 단지 수 회의 반복 테스트만 수행됩니다.
그러나 수동테스트에서는 상대적으로 드물게 발생하는 이슈가 사실 실제 사용에 있어서는 문제가 되고 있다는 사실이 간과될 수 있다는 것입니다. 자동화된 상호 호환성 테스트는 충분히 반복 테스트를 수행하여 드물게 발생하는 이슈에 대해 필요한 내용을 보여줍니다. 또한 여러가지 변수가 있는 복잡한 테스트 시나리오를 적용하여 버그를 효과적으로 찾을 수도 있습니다.
아래 그림은 각 테스트에 있어서 반복 횟수를 늘리는 것이 어떠한 가치가 있는지를 보여줍니다. 어떤 이슈들은 상대적으로 많이 발생하지 않더라도 사용자의 경험에 큰 영향을 미칠 수 있습니다. 이 사례에서는 500번 연결 테스트를 수행하였으며 연결의 98%가 5초 미만으로 확인 되었습니다. 그러나 한 번의 연결에는 13.5초가 걸렸습니다. 이것은 수동 테스트로 단지 몇 번만 테스트를 수행할 때는 결코 발견되지 않을것으로 보입니다.
상호 호환성 테스트 자동화의 중요성
Bluetooth 및 Wi-Fi 상호 호환성 테스트에 있어 자동화가 이루는 가치는 의심의 여지가 없습니다. 테스트 시나리오를 인간의 능력을 넘어서 확장함으로써 수동 테스트만으로는 결코 얻어낼 수 없는 결과와 충분한 내용을 기대할 수 있습니다.
공존(coexistence) 문제를 해결하고, 숨겨진 데이터 재전송을 관리하고, 버그가 어떻게 나타나는지 이해하는 것은 결국 신제품을 성공적으로 출시하는 주요 요인이 됩니다. 그리고 자동화는 기본적인 검증을 커버할 수 있는 유일한 방법입니다.
자동화된 상호 호환성 테스트를 통해 더 나은 커넥티드 제품을 얻고자 하면 Nextgen 전문가에게 바로 문의하십시요.
공유게시물:
