手动互操作性测试有很多优点。它可以快速部署也是'冒烟'测试的完美选择,可以快速确定以前的问题是否已经得到解决。它可以让制造商了解其产品的用户体验。通过手动测试,工程师和QA人员可以设身处地为客户着想。
但也有很大的局限性。
手动测试的局限主要是因为它根本不可能测试到每个用例和排列。在一个每年制造数十亿个设备,并且用例的复杂性急剧上升的现实世界,仅仅依靠手动测试是一种几乎可以肯定会遗漏问题的策略。
采用纯手动测试方法的公司有可能面临一系列潜在问题。为什么?因为除了无法扩展以确保产品按时发布之外,人工测试还受到人类识别问题的局限、比如受怎么发现问题出处以及需要哪些精确场景来重现它们的限制。
而且由于人类的局限性,在手动测试过程中,通常不会过度注意到相同类型的问题。在这方面,更深入的自动化测试可以提供所需的额外见解,以确保成功的产品和设备尽可能不存在bug。
下面是三个可能存在的问题,如果不部署自动化,则很难找到根本原因。
共存问题
在大多数现代产品中,蓝牙和Wi-Fi共存是自动处理的。然而,挑战仍然存在,特别是当蓝牙和Wi-Fi之间共享天线时。
如果发射机和接收机靠近,也会出现困难。如果发射机无意中使接收机饱和,则传输中的间隙可能会成为问题。如果发射功率足够高,这种情况甚至会发生在不同的频率上。
现代设备通过优先考虑蓝牙或Wi-Fi而不是其他设备来处理这些问题,并允许很小的 “可接受”的损失。但对于一个产品来说,这是一项复杂的任务。现实世界中的场景,比如Wi-Fi已经被大量的内容流加载,可能会影响蓝牙发现功能。
手动测试所有不同的排列是任何现实的人类能力所不能及的。因此,自动化是最快、最可靠、最有效的方法,可以让您对产品的兼容控制充满信心。
隐藏数据的重新传输
使用数据传输协议来重新传输数据,直到数据成功到达,这是现代设备连接的一个非常有用的方面。但是,人工测试可能会被这些数据重新传输“抓住”,让工程师在边缘条件下记录测试通过情况,而不知道完全相同的用例可能在现实世界中意外失败。
外部干扰是导致数据重传的最大问题。但是,由于很短的音频丢失通常不被注意到,因此很容易被忽略。
自动化互操作性测试提供了更详细的洞察力。它会检测边缘条件并突出显示连续重传发生的位置,这让产品开发人员在产品上市前提前得到警告潜在的问题,并有助于解决问题,避免潜在的高成本声誉影响。
如何让缺陷显现
手动测试通常只是查找每次或大概率会发生的问题或故障的可靠方法。由于手动测试的局限性以及进行每项测试的劳动密集程度,通常只重复几次测试。
这就意味着,相对小概率但在实际使用中仍然存在的故障可能会被忽略掉。自动化互操作性测试提供了测试用例的重复性,以生成对较低故障率问题的必要见解。它还可以通过复杂的测试场景(使用变量)来查找缺陷。
下面的插图披露了增加测试重复次数的价值。虽然相对少见,但外部因素可以明显影响用户体验。在这500次循环测试中,98%的连接在5秒内建立。然而其中一次连接花费了13.5秒。几乎可以肯定的是,如果手动测试的次数有限,则可能会错过这一点。
充分利用自动化互操作性测试
蓝牙和Wi-Fi自动化互操作性测试的价值是毋庸置疑的。通过将测试场景扩展到远远超出人类能力的范围,它可以获得手动测试根本无法实现的结果和洞察力。
解决共存问题、管理隐藏的数据重传以及了解缺陷是如何显现的,这些都是成功地将新产品推向市场的关键。自动化是确保所有方面都能覆盖的唯一途径。
想与Nextgen专家讨论如何通过自动化互操作性测试创建更好的连接产品,现在就联系我们吧!