165
从 0 到 1 用 tensorrt-newbie 搭建内部平台：架构图与决策记录
网上关于 tensorrt-newbie 的文章大多停在「怎么用」，很少有人写「什么时候不该用」。这篇想补上后半句。
// 最小复现：注意这里必须用真实的长尾分布，
// 均匀分布的压测流量不会触发这个问题
func (s *Server) handle(ctx context.Context) error {
conn, err := s.pool.Acquire(ctx)
if err != nil {
return fmt.Errorf("acquire: %w", err)
}
defer conn.Release()
return s.do(ctx, conn)
}第一件事是把变量收敛干净。我们最开始同时在改配置和升级版本，结果两组数据的差异根本说不清是哪个带来的。后来回滚到只动一个变量，重跑了三遍，曲线才稳定下来。这一步很枯燥，但省不掉。
真正让我意外的是长尾。平均值一直很漂亮，P99 却在某个阈值之后直接跳了一个数量级。原因不在 tensorrt-newbie 本身，而是我们上游的连接复用没做好，压测流量太「干净」，掩盖了长尾请求。
关于取舍，我的判断是：如果团队里没有人长期盯这块，就不要引入第二套机制。两套并存的时候，出问题时你甚至要先花时间判断「这次是哪个在起作用」，那个成本比性能损失高得多。
42 条评论