阶跃 Step 5 Preview 权重开放，600B 稀疏 MoE、面向长程 Agent 任务设计

panda_tech_52

阶跃（StepFun）把 Step 5 Preview 的权重放出来了，模型和技术博客同一天上线。对想自己部署长程 Agent 模型的开发者来说，这是等了好久的消息。




模型主要信息如下：稀疏 MoE 架构，总参数量 600B，每 token 只激活 27B，支持 100 万 token 上下文，原生支持文本和视觉输入。面向的是长程 Agent 任务——AI 编程、软件工程、专业知识工作、金融这类。阶跃说它近期在 OpenRouter 的周调用量和日调用量榜单上都排到了全球第二。

权重上了 Hugging Face 和 ModelScope，配了多种芯片平台和推理框架的适配。部署路径也是熟悉的几样：vLLM 或 SGLang 起一个兼容 OpenAI 接口的 API 服务，或者用 Transformers 做离线推理，把模型接进自己的工具链。

比权重更值得看的是同步放出的技术博客，讲的是为长程任务做的架构和训练设计，几个点都挺具体：

92 层窄深架构，为隐式多跳推理提供更深的计算路径。稀疏 GQA 用块级索引加稀疏计算合并压百万 token 上下文的开销，8 token 块级索引能把索引和 top-k 选择开销降到原来的 1/8。训练稳定性上，关键状态和参数保留 FP32 精度，配合细粒度梯度裁剪，缓解深层网络的激活异常增长和梯度尖峰。




面向长程任务的强化学习值得一提：把上下文压缩纳入端到端策略训练，让 Agent 学会整理任务状态、继续执行，而不是每次都要把整个上下文从头读一遍——配合更精细的奖励归因，改善长轨迹的学习效果。

模型在这条赛道上的位置，从 OpenRouter 的调用量排名能看出来。权重开放之后，能不能在真实任务里立住，就看社区怎么用了。

参考来源：

• 阶跃官方微信公告
• Step 5 Preview - Hugging Face
• Step 5 Preview - ModelScope
• 技术博客：Inside Step 5 Preview
• Step 5 Preview 官方文档

原文链接

omega70

关于MoE这块最近也在看，楼主这篇比搜到的大部分教程都实在。

epic_ai

这种认真写长文的楼主不多了，必须支持。

misty_lunar

模型在这条赛道上的位置，从 OpenRouter 的调用量排名能看出来。

讲得挺透，600B这块就该这么理解。

icy_echo

签到留名，好帖子不能沉，600B顶上去。

blaze234

关于Preview这块最近也在看，楼主这篇比搜到的大部分教程都实在。

lab_apex_29

看完受益，已转给同事，让他们也看看MoE这块。