你好,我是高楼。

在开篇词中,我已经提出过,全链路压测只是性能容量场景中的一个具体案例,它并没有跑出“RESAR性能工程”的范围。你可能会问,既然这样,这个全链路压测专栏还有什么新鲜的内容呢?这个专栏讲的是另一套性能工程级的逻辑吗?下面我们就来仔细地说一下。

这张RESAR性能工程的全景图已经在开篇词中展示过,性能需求指标、性能环境、性能场景、性能分析、性能报告是其中重要的五个部分。全链路压测同样也可以按这五个大的部分来讨论。

请注意,这五个部分看似是做事情的先后顺序,但顺序不是我想表达的。我想表达的是,对完整的性能项目来说,应该从哪几个方面来保证性能项目的成功。而这些事情是跟用什么开发模型来实施关系不大的。所以,这五个部分,你放到瀑布模型中也好,放到敏捷也好,放到DevOps也好,都可以。重点是你必须要做到,不然性能项目的结果就是不可控的。

那既然全链路压测只是一个特定的性能场景,对应到RESAR性能工程中,也就是性能场景了。

既然这样,我们为什么还要用这么多篇幅来讨论全链路压测呢?那是因为,全链路压测场景需要做的工作实在是有点多,“需求-环境-场景-分析-报告”几乎都有要考虑的内容,所以将它拆开仔细研究很有价值。

下面我们就从流程的角度来说明一下,全链路压测场景,在整个RESAR性能工程的执行流程中,有哪些是需要特别关注的。

RESAR性能工程的通用流程在全链路压测中的具体变化

在RESAR性能工程的通用流程中,我画过这样的一个工作流程图来说明各个环节要做什么事情。

针对这个通用流程,如果要满足全链路压测,我们来做一下标记,看一下,有哪些变化。

图中,蓝色字体标示的是变化的关键点,这些内容和线下环境中性能项目要做的事有一些区别。我们一一对应看一下。

显然,由于要考虑“全链路”,那就要梳理要压测的链路有哪些。如果是业务不复杂的系统,这项工作还是比较好做的。但如果是复杂的系统,就要分清主次了。其实全链路要考虑的范围,通常不是一个企业的所有业务链路,而是要把最核心的业务场景覆盖的链路梳理出来。

这部分其实和传统的性能模型没有太大区别,动作都是要做的。即便你说我的容量模型就是和生产一致,那也要有一个判断。在具体实施的时候,不管你是生产引流、录制流量回放还是用压力工具,目标都是为了让性能模型和生产一致。

这部分将有非常大的变化,因为会涉及到大量的改造动作。这些改造的动作不仅是开发去做个旁路的逻辑,还会涉及到部署的变化,所以这个方案是最最重要的内容。当然你可以把方案中的内容拆到其他阶段去完成,但是内容上不可少。

由于全链路压测是在线上直接进行的,所以环境的准备也要格外地小心。在这一环节中,就可以看出不同企业的不同策略了。举例来说,互联网企业之所以可以做线上压测,主要是因为风险可控;而对银行业来说,在线上做全链路压测的风险极有可能是不能承担的,最多做做业务缩减版(比如说做查询业务)的“全链路”压测。如果你做了其他业务的压测,万一出现问题,银监会会立马找上门来。而互联网企业最多就是承受自己企业的风险,相比较而言风险就可控多了。

性能监控部分应该说区别不太大,最多是把改造多出来的部分加到已有的监控体系中去。这里要多啰嗦一句,一定要保证监控计数器的完整性,因为在我的经验中,很多企业说是做了全方位360度无死角、透明度100%的监控平台,但是在我看来,也只是达到了模块级的覆盖,具体分析问题时,仍然是缺东少西的。

这算是性能行业中最活跃的部分,但也是投入多见效少的部分。我们看到市场上也有一些标识为“全链路压测工具”的产品,也有一些为了实现全链路压测而特意开发的功能。而实际上,真正要做到让全链路压测工具覆盖不同用户特性,根本不是压测工具的功劳,而是网络本身的功劳。所以你用传统压力工具也好,用新的压力工具也好,只要压力机分布在不同的网络中,就可以实现模拟真实用户的特性。 至于工具执行上的策略,和RESAR性能工程理论中的场景执行策略一致就行了。

在这一部分中,除了需要完成RESAR性能工程之前规定的动作之外,还要做数据清理工作。毕竟,这些压力数据都是生产上的垃圾数据。

通过以上的详细说明,你大概可以发现,RESAR性能工程的思维逻辑是完全可以覆盖全链路压测的。因为RESAR性能工程是一套方法论,在具体的落地中,你把它用在什么样的性能场景都可以,而全链路压测场景就是一个具体的落地场景。

有了这个认识之后,我们再来看看,RESAR性能工程中规定的其他内容,在全链路压测中有必要改动吗?下面我们找几个关键部分来分析。

RESAR性能分析决策树

性能分析决策树是我在RESAR性能工程中提到的一个非常重要的概念,因为我强调性能项目要有分析调优的动作,而性能分析决策树就决定了能否做到这一点。如下图所示:

不管是在什么样的性能项目中,项目级的性能分析决策树都是必须要有的。因为它展示的是一个架构级的、全技术栈的、全组件模块的计数器全集。有了这个全集,在出现性能问题时,才会有要分析的数据。

在线下环境做性能场景时,如果出现了问题,反正也不影响谁,我们直接再来一遍就可以了。但全链路压测就不一样了。因为压测是在生产环境中执行的,如果出现问题,为了不影响真实用户,你不能把问题就这么放着不管,你要做的第一步就是恢复。但是恢复之后怎么找问题呢?那就得靠监控数据了。

所以性能分析决策树对全链路压测来说,更为重要了。在每个全链路压测的项目中,都要先把性能分析决策树创建好,再根据RESAR性能工程的理论逻辑,把监控平台能覆盖的计数器和性能分析决策树中的计数器一一比对,有缺失时,一定要补全。

有了性能分析决策树和性能监控平台给出的具体数据之后,就来到了我们的“RESAR性能分析七步法”了。

RESAR性能分析七步法

我把性能分析的逻辑归纳为如下七步,这个归纳总结,在我的每个性能项目中都有具体的落地实践,这个思维引导着我解决了一个又一个未知的性能问题。

在全链路压测的过程中,如果出现了性能问题,其分析逻辑依旧可以按这七步来走。记住,这里要分析的可能就是历史监控数据了,因为我们上面说到了,全链路压测在线上出现问题时,首先是恢复,其次才是分析问题。

那这里又有一个致命的问题了:做定向监控分析时,数据不全,或需要做下一步动作才能得到有效的数据,怎么办?

我的建议是:先到测试环境中去模拟这个问题,能复现最好,但是如果测试环境中复现不了,就只能祈祷性能分析决策树的完整性了。如果还是不行,你只能到线上再执行一遍,让问题再次出现。与此同时,也要做好相关工作,使得即使是在测试时,用户的体验也不受太大影响。

总之,不管是什么样的性能问题,都是RESAR性能分析七步法可以覆盖到的,全链路压测的问题也不可能例外。

性能瓶颈证据链

有了RESAR性能分析七步法,就必然会有性能瓶颈的证据链。没有证据链的性能瓶颈分析就是耍流氓。而这个证据链的查找逻辑可以对应七步法中的“定向监控分析”部分。我在图片中给出了示例,你可以看一下:

对每个计数器,它的分析过程就是产生证据链的过程。也就是说,每个计数器出现问题(当然,大部分时候是需要多个计数器关联分析的)时所做的动作、产生的结果,你都严格地记录下来,然后通过自己的背景知识找到其间的关联性,这就成了证据链。

这个分析逻辑,在全链路压测的场景中是更为重要的。因为在线上环境中,我们没有多少试错、重复执行的机会,所以重视分析过程,才能让我们花更少的时间来精确地判断瓶颈产生的根本原因。

通过上面的描述,我相信你已经能理解RESAR性能工程和全链路压测之间的关系了。当然,在RESAR性能工程中还有大量的细节。比如说:业务模型的具体落地、场景实现的具体要求、性能指标的细化程度等等。它们在全链路压测落地的过程中,都是和RESAR性能工程中的要求完全一致的。

总结

好了,今天的课程就讲到这里,我们再来回顾一下今天的内容。

RESAR性能工程从前到后、从上到下地描述了一个性能项目的完整过程,它可以应用在所有的性能项目中,因而也可以覆盖全链路压测这个话题。

尽管在全链路压测中,一些具体动作(比如说要改造很多内容)和传统线下压测的内容不同,但这些都是为了准备环境。 而RESAR性能分析决策树、性能分析七步法、性能瓶颈证据链的思路,在全链路压测项目中仍然是快速找到问题的关键。倘若没有这些思维逻辑,我们还是只是实现了“压测”,而不“分析调优”。

有人会问:“在全链路压测中,分析调优是性能测试工程师的职责吗?如果是的话,那么大的系统,怎么可能看得过来呢?”在我看来,问出这个问题的人一定是从“性能测试工程师”的角度出发的,而我一直在说的分析调优,是一个项目组的事情,甚至是整个企业中所有相关方的事情。所以,分析调优的人员范围不限于性能测试工程师,毕竟,全链路压测也不是性能测试工程师能组织得起来的,而是需要高层的支持、多团队的协作才能办得到。

思考题

在课程结束前,我也想听一听你的思考。

  1. 在RESAR性能工程中,你能想到哪些细节是在全链路压测中要重点关注的?
  2. 全链路压测中的性能问题分析有什么特点?和传统的线下性能项目中的性能问题分析有什么具体的区别?

欢迎你在留言区与我交流讨论。当然,你也可以把这节课分享给你身边的朋友,分享学习所得,共同进步。我们下节课见!