Cypress和TestCafe这两个工具相比于Selenium都更加的轻量级,且在不同的方面有了改进,比如安装更简单,增加了内置等待机制,调试更加方便等。
Cypress、TestCafe、Puppeteer在技术雷达中被誉为后Selenium时代Web UI测试的三驾马车。
一、初步印象
谈起Web UI自动化测试,首先想到的肯定是Selenium了,毕竟Selenium是名噪一时的Web UI自动化测试工具。在一次QA Community的Catch Up上,大家聊起了最近火起来的Cypress、TestCafe等测试工具,那时候还不知道这是什么,心里想着大概就像是Selenium的改进版吧。后来在同事聊天时、在QA的微信群里,越来越多的听到这两个单词。终于,忍不住准备自己探索一下这两个小东西。他们究竟为什么就开始被频繁的提起了呢?
首先,翻翻ThoughtWorks技术雷达,我坚信一切前沿的值得被采纳的技术都会出现在我司的技术雷达里。果然没有失望,在技术雷达中,他们的定位是这样的:我们不断收到关于Cypress 、TestCafe 和 Puppeteer等 “后Selenium” web UI测试工具的积极反馈。运行端到端测试时经常会遇到一些棘手的问题,如运行时间过长、测试过于零碎、还需要修复无头模式下运行的测试所导致的CI失败。我们的团队借助Cypress很好地解决了性能差、响应时间长、资源加载慢等常见问题。Cypress已成为我们团队内部执行端到端测试的首选工具。
TestCafe 试验在使用Cypress、TestCafe和Puppeteer等 “后Selenium” web UI测试工具方面,我们拥有良好的体验。TestCafe支持采纳JavaScript或TypeScript来编写测试,并在浏览器中运行测试。TestCafe提供了开箱即用的并行执行、HTTP请求模拟等有用的功能。TestCafe使用异步执行模型而无需指定等待时间,有效提升了测试套件的稳定性。它的选择器API可更轻松实现PageObject模式。TestCafe最近发布了1.0.x版本,进一步提升了稳定性和功能性。
技术雷达中明确的指出了Cypress在采纳阶段,TestCafe在试验阶段。这就意味着他们很牛啊,如果项目有需要,那么请放心大胆的尝试吧。读到这里,大家可能开始好奇了,说好的三驾马车,怎么只剩下了两驾?这是因为Puppeteer具有其自己的特殊性。Puppeteer是谷歌出品的一个通过Devtools 协议控制Chromium或Chrome的Node库。由于其只支持Chrome,无法进行跨浏览器的兼容性测试,所以有评论提出,Puppeteer从严格意义上来讲并不算是自动化测试工具,而是一款自动化工具。如果你想打造更加灵活可控的自有平台,Puppeteer可能会比Cypress和TestCafe更加适用。而Cypress和TestCafe作为前端测试框架,其易用性和较低的学习成本会使得测试人员用起来更加得心应手,后文中也主要是对Cypress和TestCafe的种草。二、相比于Selenium的小优势
(1)简单到令人惊喜的安装过程对TestCafe和Cypress初有好感是从安装开始的。对于Web的自动化测试,大部分人熟悉的还是Selenium + Webdriver 的解决方案。还记得去年在某通信类企业用Selenium进行自动化测试时,仅安装就耗费了两天时间,Webdriver版本问题、环境变量配置问题和特殊环境限制下出现的其他问题等等,安装体验非常痛苦,若不是为了赚钱养家,几乎就是要放弃了。而本文种草的两种工具,其安装真的是非常简单,只需要一行命令就可以自动安装和配置所有驱动程序和依赖项:还可以选择本地安装,以支持不同项目使用不同的版本:
就算没写过代码的QA同学也完全都够上手,瞧,是不是非常的惊喜。Actions:元素出现前不运行action,而是持续监听selector,直到元素出现或超时。
Selectors:监听selector,直到元素出现或超时。
Assertions:智能断言查询机制,重试断言结果直到通过或超时。
XHR and Fetch Requests:执行测试动作之前,等带XHR 和 fetch request,测试在收到响应或超时后运行下一步。
Redirects:当触发重定向时,自动等待服务器响应。
Cypress更是将使用cy.wait()当作是反模式,明文写在其文档中。例如,以下代码中的等待就是不需要的:
三、TestCafe的独特优势
(1)Live模式TestCafe支持Live模式,该模式下进行调试工作会简单一些。启用Live模式运行测试时TestCafe会打开浏览器运行测试,并显示报告。然后,TestCafe会监视测试文件和其引用的所有文件,一旦发现这些文件有更改并且进行了保存,TestCafe就会重新运行测试,实时展示代码运行情况。测试完成后,浏览器会保留在最后打开的页面上,方便使用开发者工具进行调试。实时模式可以在任何浏览器中使用:本地,远程,移动或无头。使用-L(-live)标志从命令行界面启用实时模式。
(2)多浏览器并发测试变得很简单TestCafe允许执行并发测试,运行以下的命令启动测试:
当需要调用一个浏览器的多个实例同时运行时,可以用-c或—concurrency命令,如用以下命令调用三个Chrome实例同时运行:
还可以针对多个不同的浏览器进行并发测试,例如启用4个Safari实例和4个Firefox实例:
甚至可以使用all在全部本地计算机已经安装的浏览器中运行测试,这种一下子把全部本地浏览器都打开进行测试的感觉太酷了,我自己都没想到电脑上装了这么多浏览器,哈哈哈:
(3)可以在远程计算机和移动设备进行测试可以在没有安装TestCafe的计算机设备上运行测试,只要这台设备可以访问已安装了TestCafe的这台计算的网络即可。在远程计算机上运行测试:1、用testcafe remote启用一个web服务器,供远程测试机访问。
1、用testcafe remote启用一个web服务器,添加--qr-code标志以生成移动设备的QR码。
2、TestCafe将二维码输出到控制台,如下图所示。
3、 使用移动设备上的浏览器,扫描二维码,TestCafe将在移动浏览器中启动测试。
四、Cypress的杀手锏
(1)吹爆Time travel功能Cypress的Time travel功能绝对是它的最大亮点,支持回退至任意时间的Snapshot,像是在回放电影一样,将测试运行过程中的每个细节重现出来。可以非常快速的定位问题,极大的提高了调试自动化测试的体验,相信调试过自动化的同学一定可以体会到它的好处。不过目前该功能的使用是有限制的,若想更好的使用该功能是需要付费的。在它的运行界面中可以看到每一步的操作,只需点击你想重现的步骤即可看到该步的截屏。如下图所示,点击“找到包含type的元素”这一行代码,右侧就会呈现出此时的场景,并高亮出这个元素。
对于包含动作的步骤(如Click),还会出现两个场景:before和after(箭头3所指向的位置),完全不需要重新跑测试就可以重现,节省了大量为了重现某一问题而需要跑前面若干场景的时间。
五、TestCafe和Cypress小对比
(1)从对浏览器的支持度上来看:明显TestCafe更占优势。Cypress目前只支持Chrome,其开发团队目前正在致力于对IE、Firefox等浏览器的支持,以满足对跨浏览器测试的支持。TestCafe支持市面上主流的浏览器,包括:Google Chrome: Stable, Beta, Dev and CanaryInternet Explorer (11+)Microsoft EdgeMozilla FirefoxSafariAndroid browserSafari mobile(2)从github角度看两个工具:可以看出Cypress的Star更多,表示有更多的人认可该工具。而TestCafe的Open/Issue的比例更低,表明TestCafe社区对问题的修复率更高。(3)支持语言TestCafe和Cypress都是只支持JavaScript的,对一些只会python的QA同学就有些没那么友好了。六、小结
这两个工具相比于Selenium都更加的轻量级,且在不同的方面有了改进,比如安装更简单,增加了内置等待机制,调试更加方便等。当然,这两个工具也有其局限性。比如,有同事指出TestCafe和Cypress对视觉测试(Visual Testing)的支持并不是很友好,TestCafe中Visual Regression Testing相关的issue还是Open状态,而Cypress需要通过plugin来支持视觉测试,其本身也不支持。再比如,我个人在使用testcafe过程中遇到了框架不稳定的问题,执行typetext()(用于在输入框中输入字符串)时,文字的后半部分输入尚未完整就继续执行下一个action,且在排除了版本匹配问题后仍不稳定出现。若想了解更多这两个工具的特点,大可以亲自试用一下。如果刚巧项目需要进行Web UI自动化,同学们也不妨试试这两个新工具。作为一篇种草贴,必然是要附上两款自动化测试工具的链接哒:https://devexpress.github.io/testcafe/
https://www.cypress.io/