开发工具·EASYHUB 选读
SGLang v0.5.21 发布:新增 Decisions / Score API,PD 实例可动态切换,前缀缓存默认迁到 Rust

这次有什么变化
SGLang 10 月 2 日发布 v0.5.21,汇集 779 个 PR、227 位贡献者。新版本新增 /v1/decisions 与 /v1/score,可把 LLM/VLM 用作低延迟分类器、打分器;prefill/decode 实例可无需重启动态换角色,prefix cache 默认改用 Rust 核心。官方还加入 DeepSeek-V4.1 Flash、MiMo-V2.6、Qwen-Image 2.1、FLUX 3 Action 等模型支持,并报告 DeepSeek-V4.1 长提示首 token 最多快 22%、Kimi K3 PD serving prefill 吞吐提升 20.6%;这些性能数字属于项目自测。
- 原文标题
- v0.5.21
- 来源
- GitHub · github.com
- 主题
- 开发工具
- 原文月份
- 2026-10
本页是 EasyHub 根据所列来源整理的简短选读,不是完整报道或原创采访。预览、计划开放与正式可用以摘要及原文说明为准。
本站摘要页面发布 · 更新 · 内容说明