人工智能Agent
2026-07-04
FP8量化实战:vLLM与SGLang部署DeepSeek显存减半、吞吐翻倍——Agent推理引擎篇(二)
专栏《人工智能Agent从部署到生产》第18篇:不换GPU、不降模型质量,用FP8量化把显存占用砍掉50%、吞吐提升最多3倍。从在线量化到离线静态校准,每一步都有可复现命令。
TL;DR
F...
80
0