Kaka KAKA WEB3快讯
SGLang给普通大模型加上Jev式决策模式，不微调也能直接做选择
律动 BlockBeats·2026-09-30 18:32 GMT+8
动察 Beating AI 快讯，大模型推理/部署框架 SGLang 新增原生决策 API，让 Qwen3.8-27B 这类现成 LLM 和多模态模型不用改权重、也不用重新微调，就能直接做选择、判断和打分。开发者给出当前情况和几个候选答案，模型直接返回每个选项的概率，不再先生成一段文字再解析。 它利用的是大模型本来就会计算的「下一个 token 概率」。比如候选答案是 A、B、C，普通聊天模型会继续生成文字；SGLang 则直接读取模型对 A、B、C 的概率，看看它更倾向哪个答案。模型本身没变，只是换了一种读取结果的方式。 SGLang 用 Qwen3.8-27B 做了一个《宝可梦 FireRed》演示。模型根据实时游戏状态判断攻击、换精灵还是治疗，单次决策低于 100ms，并一次打通四天王和冠军。Qwen3.
动察 Beating AI 快讯，大模型推理/部署框架 SGLang 新增原生决策 API，让 Qwen3.8-27B 这类现成 LLM 和多模态模型不用改权重、也不用重新微调，就能直接做选择、判断和打分。开发者给出当前情况和几个候选答案，模型直接返回每个选项的概率，不再先生成一段文字再解析。 它利用的是大模型本来就会计算的「下一个 token 概率」。比如候选答案是 A、B、C，普通聊天模型会继续生成文字；SGLang 则直接读取模型对 A、B、C 的概率，看看它更倾向哪个答案。模型本身没变，只是换了一种读取结果的方式。 SGLang 用 Qwen3.8-27B 做了一个《宝可梦 FireRed》演示。模型根据实时游戏状态判断攻击、换精灵还是治疗，单次决策低于 100ms，并一次打通四天王和冠军。Qwen3.8-27B 本身支持图像输入，所以这套方法也能处理多模态决策。 SGLang 还新增 /v1/systemone 接口，兼容 Jev 使用的 TypeSafe SDK。已经使用这套 SDK 的应用，可以把服务地址改成自己的 SGLang 实例继续调用。新功能已经进入 nightly 版本，计划随 v0.5.21 正式发布。
来自 Kaka Web3 的公开内容。市场与数字资产信息不构成投资建议。