4
复盘一次线上事故:offline-first-opensource 连接池耗尽的全过程
网上关于 offline-first-opensource 的文章大多停在「怎么用」,很少有人写「什么时候不该用」。这篇想补上后半句。
# 压测命令:注意 -c 不要一次拉满,要阶梯上升 # 直接拉满会错过拐点 for c in 50 100 200 400 800; do wrk -t8 -c$c -d60s --latency http://127.0.0.1:8080/api/feed sleep 20 done
监控这块我们也顺手改了:把原来的平均值告警换成分位数,并且按接口拆分。改完之后误报少了大概七成,值班同学的怨气肉眼可见地下降了。
真正让我意外的是长尾。平均值一直很漂亮,P99 却在某个阈值之后直接跳了一个数量级。原因不在 offline-first-opensource 本身,而是我们上游的连接复用没做好,压测流量太「干净」,掩盖了长尾请求。
第一件事是把变量收敛干净。我们最开始同时在改配置和升级版本,结果两组数据的差异根本说不清是哪个带来的。后来回滚到只动一个变量,重跑了三遍,曲线才稳定下来。这一步很枯燥,但省不掉。
2 条评论