clojure-jobs 的 10 个反模式,你中了几个?
先说背景。我们的场景是 clojure-jobs + 三个下游服务,日均请求量七位数,峰值集中在晚上九点前后。
排查顺序(按性价比排): 1. 先看下游 RT,八成问题不在自己身上 2. 再看连接池命中率与等待队列长度 3. 然后才是 GC 与内存分配 4. 最后才怀疑框架
第一件事是把变量收敛干净。我们最开始同时在改配置和升级版本,结果两组数据的差异根本说不清是哪个带来的。后来回滚到只动一个变量,重跑了三遍,曲线才稳定下来。这一步很枯燥,但省不掉。
顺便说一句,官方文档里这段其实有写,只是藏在一个很不起眼的位置。我是在翻源码注释的时候才发现的,注释里作者解释了为什么这么设计 —— 大意是「为了在极端情况下退化成可预期的行为」。
监控这块我们也顺手改了:把原来的平均值告警换成分位数,并且按接口拆分。改完之后误报少了大概七成,值班同学的怨气肉眼可见地下降了。