3
high-concurrency-review 的日志规范:从「能看」到「能用」差了什么
这个问题我断断续续查了两周,中间走了不少弯路,把过程原样记下来,希望后面遇到的人能少花点时间。
顺便说一句,官方文档里这段其实有写,只是藏在一个很不起眼的位置。我是在翻源码注释的时候才发现的,注释里作者解释了为什么这么设计 —— 大意是「为了在极端情况下退化成可预期的行为」。
监控这块我们也顺手改了:把原来的平均值告警换成分位数,并且按接口拆分。改完之后误报少了大概七成,值班同学的怨气肉眼可见地下降了。
最后提醒一个坑:容器环境下一定要记得同步调整内存相关的参数,否则宿主机的限制和进程内部的预期会对不上,表现就是偶发的、无法复现的失败。
真正让我意外的是长尾。平均值一直很漂亮,P99 却在某个阈值之后直接跳了一个数量级。原因不在 high-concurrency-review 本身,而是我们上游的连接复用没做好,压测流量太「干净」,掩盖了长尾请求。
1 条评论