分类

人工智能Agent

SGLang + DeepSeek-V3 部署五大崩溃:DP Attention CUDA OOM 炸穿 8×H100、flashinfer 编译失败、NCCL SIGSEGV 多节点暴毙——逐一修复指南

SGLang + DeepSeek-V3 部署五大崩溃:DP Attention CUDA OOM 炸穿 8×H100、flashinfer 编译失败、NCCL SIGSEGV 多节点暴毙——逐一修复指南

如果说 vLLM 是推理引擎里的"老牌劲旅",那 SGLang 就是 DeepSeek、xAI、NVIDIA 官方都在用的"新生代杀手"。但它的坑不比 vLLM 少——甚至更隐蔽。


一、为...

72 0
发现更多