找回密码
 立即注册
搜索
查看: 71|回复: 6

从GPU池化到节省token,上海开源大赛「智算云赛道」情报公开

[复制链接]

主题

0

回帖

0

积分

积分
0
发表于 2026-8-26 13:30:12 | 显示全部楼层 |阅读模式
2026 上海开源软件应用创新大赛正火热报名中,本次大赛由开源中国主办,总奖池 100 万,设 AI+工业软件、智算云、开源 AI 工具三个赛道。





其中「智算云」这条赛道,面向用云加速、简化或稳定 AI 运行的开源项目。从底层的异构算力调度、GPU 池化、分布式训练,到上层的 AI 应用开发平台、模型部署服务、Serverless 推理、工作流编排,再到多云管理、边云协同、FinOps 成本优化,都在征集范围内。

赛道不区分基础设施或应用层,征集口径其实比想象中的宽。只要参赛项目和云原生技术相关,或者提升了 AI 应用的开发、部署、运行效率,又或者降低了 AI 的使用成本,比如让 AI Agent 干活更快、让推理少烧 token、让资源不浪费,都可以参与此赛道。

为什么要设这样一条赛道?先看一组数字:中国信通院数据显示,2025 年国内智算算力使用占比仅约 37%,每投入 100 元建算力,就有约 70 元在空转。一次推理请求可能占用半张 GPU,只消耗几秒;训练结束资源回收不及时,就会导致 GPU 空转。每浪费 1% 的利用率,一个月可能就是几十万元成本。

算力浪费的问题,底层的开源项目已经在着手解决。7 月 2 日,HAMi 经 CNCF 技术监督委员会全票通过,从 Sandbox 晋升 Incubating,成为国内首个在异构 GPU 虚拟化调度领域进入 CNCF 孵化级的开源项目。此外,华为联合三所高校开源的 Flex:ai,基于 Kubernetes 做 XPU 池化与调度;HeteroFlow 则把 8 种国产 GPU 架构统一纳管。它们解决的是同一个问题,算力碎片化、利用率低、运维成本高。

但要让 AI 真正稳定跑起来,光有底层调度还不够,上层同样需要一批开源工具来支撑。字节跳动开源的 AIBrix,做云原生大模型推理的系统层,针对 Serverless 场景优化冷启动和高密度部署;cube-studio 这类云原生一站式 AI 平台,把开发、编排、训练、微调收进一个平台;工作流编排工具 n8n,镜像一键部署,没有请求时缩容到零。

除了底层和上层,横向上还有一批工具解决跨集群、跨地域和成本管理的问题。多云管理要跨集群统一视图,边云协同让算力下沉到边缘,FinOps 把 GPU 账单按项目算清楚。

这三层覆盖了 AI 上云的完整链路,也是智算云赛道的重要征集范围。

从上海来看,产业环境和政策供给都在为这条赛道创造条件。一方面,摩尔线程、沐曦、壁仞、天数智芯四家国产 GPU 企业密集登陆资本市场,国产算力产业基础逐步成型;另一方面,上海累计发放 10 亿元“AI 券”,其中 6 亿元算力券、3 亿元模型券和 1 亿元语料券,直接降低了企业用算力的成本。算力调度、推理平台、成本优化这些开源项目,正处在这个产业和政策交汇的窗口期。

回到大赛,智算云赛道征集的项目可以概括为几类:


一类在底层,为千卡集群减负,让异构 GPU 被更高效地调度和利用,比如算力虚拟化、资源调度器、集群管理平台。


一类在上层,为开发者提供一键部署的 AI 应用环境,让模型从训练到上线少走弯路,比如模型部署工具、应用开发平台、工作流编排器。


还有一类在效率与成本侧,凡是能提升 AI 应用运行效率、降低推理成本、减少 token 消耗、让 AI Agent 更好用的开源项目,哪怕只是解决一个具体的小痛点,都在征集范围内。



举几个具体的例子,为 AI 应用做流量治理和负载均衡的,优化提示词和上下文的,做缓存加速的,让微调更省算力的,这些项目都可以投智算云赛道。

评审尤其关注三个方面,实际痛点是否真实,技术方案是否落地,有没有可量化的效果。即利用率、成本和部署时间。
评审维度

技术创新(30%)

关注技术路线是否具有独创性,是否解决了已有方案未能解决的问题,与国内外同类方案相比是否有明确的技术优势。重复造轮子、仅做现成工具简单组合的项目在此维度得分较低。

场景落地(30%)

关注项目是否可部署、可运行、可测试,需求场景是否真实存在,技术方案是否适配场景需求,验证数据是否来自真实或仿真环境,是否具备实际部署条件。

开源治理(20%)

关注开源协议和第三方依赖是否合规,社区治理机制是否明确,包括贡献机制、文档规范、Issue/PR 响应等。新项目重点考察规划和治理意识,已有社区项目重点考察实际运营情况。

长期发展(20%)

关注团队是否具备持续维护能力,项目是否有长期发展规划,治理结构是否清晰,是否有社区或组织支撑。

大赛报名截止 10 月 11 日,欢迎所有开源爱好者报名参赛,赢取丰厚奖励。
参赛说明

赛道将逐步上线合作企业命题。参赛选手可选择两种路径:

路径一:可以直接提交符合赛道要求的开源项目参赛,适合本身已有较为成熟开源项目的团队

路径二:可以选做对应赛道的企业命题,选做命题的队伍将获得命题企业提供的专家指导与工具支持,在评审环节也可获得一定的加分权重,该路径适合参赛期间从零开发新项目的团队

赛事详情请查看:https://www.oschina.net/os2026



原文链接

打赏作者

当前余额:0 Token,打赏后立即到账

主题

0

回帖

0

积分

积分
0
发表于 2026-8-26 13:31:12 | 显示全部楼层
潜水很久了,从GPU池化到节省token这个话题必须冒个泡。

主题

0

回帖

0

积分

积分
0
发表于 2026-8-26 13:31:12 | 显示全部楼层
先马后看,从GPU池化到节省token的资料太散了,这篇梳理得挺清楚。

主题

0

回帖

0

积分

积分
0
发表于 2026-8-26 13:31:12 | 显示全部楼层
好文,从GPU池化到节省token的趋势基本被楼主说中了。

主题

0

回帖

0

积分

积分
0
发表于 2026-8-26 13:56:36 | 显示全部楼层
坐等更新,从GPU池化到节省token系列要是能写下去就更好了。

主题

0

回帖

0

积分

积分
0
发表于 2026-8-26 14:04:23 | 显示全部楼层
收藏了,明天上班路上细读,从GPU池化到节省token持续关注中。

主题

0

回帖

0

积分

积分
0
发表于 2026-8-26 14:17:37 | 显示全部楼层
好帖,先顶后看,慢慢消化。
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

{ template common/footer}