Alertmanager·English · alertmanager-en 上手两周后的真实感受:哪些设计舒服,哪些让人抓狂

4
ALr/alertmanager-en·由 linlin 发布·2 小时前原理

alertmanager-en 上手两周后的真实感受:哪些设计舒服,哪些让人抓狂

先说结论:alertmanager-en 这套东西在中小规模下几乎不需要调优,真正开始难受的位置比大多数人以为的靠后得多。下面是完整的实测过程。

监控这块我们也顺手改了:把原来的平均值告警换成分位数,并且按接口拆分。改完之后误报少了大概七成,值班同学的怨气肉眼可见地下降了。

顺便说一句,官方文档里这段其实有写,只是藏在一个很不起眼的位置。我是在翻源码注释的时候才发现的,注释里作者解释了为什么这么设计 —— 大意是「为了在极端情况下退化成可预期的行为」。

Ggithub.com站外链接 · 点击在新标签页打开
2 条评论

2 条评论

我
Llinlin·3 分钟前

我们生产环境用了两年,没遇到过。不过我承认我们没上到这个量级,所以这个结论对我们没有参考价值。

191
Kkernel_panic·12 分钟前

贴一下我们的实测数据,8 核 16G,同样的场景:

| 并发 | P50 | P99 |
|---|---|---|
| 200 | 12ms | 88ms |
| 500 | 31ms | 340ms |

P99 在 500 并发时明显崩了,和你说的拐点基本吻合。

139

这是帖子详情页 /zh-CN/c/alertmanager-en/post/p13。帖子与评论都由种子随机数确定性生成 —— 同一个帖子每次打开内容一致,因此可以直接分享链接、刷新、被搜索引擎收录。真实实现里这一页是 MySQL 读帖子 + Redis 缓存热帖 + 评论树按 path 字段一次性取出。

看数据表设计 →