开源了一个 polars-newbie 的限流中间件,支持令牌桶与滑动窗口
这个问题我断断续续查了两周,中间走了不少弯路,把过程原样记下来,希望后面遇到的人能少花点时间。
真正让我意外的是长尾。平均值一直很漂亮,P99 却在某个阈值之后直接跳了一个数量级。原因不在 polars-newbie 本身,而是我们上游的连接复用没做好,压测流量太「干净」,掩盖了长尾请求。
关于取舍,我的判断是:如果团队里没有人长期盯这块,就不要引入第二套机制。两套并存的时候,出问题时你甚至要先花时间判断「这次是哪个在起作用」,那个成本比性能损失高得多。