全球领先的医疗设备公司收到了制造商APP商店客户的反馈,客户在连接设备和同步测试结果时遇到了问题。
随着两大手机制造商主导地位的减少和新品牌知名度的日益提高,在设备上执行互操作性测试的需求也变得越来越大。
通常,在没有自动化的情况下,执行夜间回归测试的时间和预算来是不充足的。
ATAM 提供了自动化解决方案,使整个系统能够从终端客户的角度进行验证,无需任何手动干预。
测试设置
- ATAM 监视并控制手机(iOS 和 安卓系统)上的应用程序以及正在被测试的设备。
- 通过在用户按钮和显示器添加数字界面来检测血压监测器。数字接口允许 ATAM"按下"用户按钮,并监控显示屏上的显示,就像终端客户一样。
- ATAM 还能够连接到正在运行APP的手机(iOS 和 安卓系统)。 并完全控制运行的APP,通过触摸屏按下和显示文本验证。
测试如何运行
可以从测试中获得以下:
开箱即用
被测设备和各款手机在数千个周期内的初始连接(配对)通过/失败状态。除了通过/失败标准外,系统会自动生成性能指标。例如,执行配对的时间会自动生成为Excel图表。
日常使用
运行血压监测器,确保泵和电磁阀正确操作,使臂带充气。达到特定压力的时间将自动显示在图表上。测量完成后,ATAM 验证新的测试结果是否准确无误传输到手机上运行的APP。
结果
初始连接测试运行 1000 次。测试在 20% 的测试周期中失败,手机无法连接设备。这证实了客户对制造商 APP商店的反馈。
下表显示了连接成功的800个周期中连接所用的时间。图表显示,连接时间的扩展为正/负1秒时,成功连接的过程处于控制之下。
每日使用测试执行 400 次。在大多数情况下,将臂带充气至 3mHg 的时间为 12 秒。有一小部分情况需要两倍的时间来充气。随附的视频和测试日志可用于帮助确定造成这种差异的根本原因
日常使用案例的第二部分 显示了将这些测试结果同步回手机APP所需的时间. 共进行了100 个周期的循环。传输在 4 个周期内失败(失败率为4%),这证实了 App Store 上报告的客户体验。
结论
开发过程中使用ATAM,可以将让客户通常会遇到的问题在实验室中重现,并在产品发布之前得到修复。
通过在夜间回归测试中使用ATAM,软件和硬件发布可以在产品继续运行而不会引起任何新的问题。