ARTICLE / DEEP READING

行业资讯

将值得长期关注的观点与事实整理成更清晰的阅读内容。

易胜博·(中国)官方网站 行业资讯 3210亿参数塞进单张显卡,26 token每秒跑起来了
3210亿参数塞进单张显卡,26 token每秒跑起来了文章展示图片
READ
IN DEPTH

FEATURED ARTICLE

3210亿参数塞进单张显卡,26 token每秒跑起来了

本篇体育资讯由易胜博整理:

把总参数 3210亿 的模型塞进一台只有一张显卡的机器里,这件事现在有了开源方案。

免费开源工具「Project Maya」给出的思路很直接:不要求你把几百GB的模型权重全塞进显存,而是把显存、内存、固态硬盘拼成一个层级,条件凑齐就能跑。

它支持的模型清单不止一个:GLM-5.

3(744B)、GLM-5.

3-Flash(321B)、DeepSeek-V4.

1-Flash(748B)、MiniMax-M3.

1-Flash(428B),一套引擎、一块面板,对外提供与 OpenAI、Anthropic 兼容的接口。

GLM-5.

3-Flash 是这里的主角。

3210亿总参数,能写文章、写代码,也能读取图片内容。

公开的用户实测数据里,单张 RTX 3090 的配置跑出每秒 26 token ;

两张 RTX 5090 加一张 RTX 4090 的配置跑到每秒 148.

6 token 。

token 是模型处理文本的单位,这个数值越大,回答显示得越快。

不过两次测量的条件不同,光看显卡数量没法直接比速度。

并发方面,Project Maya 最多同时处理 8 个请求 ,面向多人使用和 AI 编程代理的场景。

8 路并发不等于 8 倍生成速度,它的意义是把多个请求并行接住,而不是把单条回答加速八倍。

为什么装不进显存的模型能跑起来 关键在于 MoE,也就是混合专家结构。

模型内部准备了多个叫「Expert」的专门计算单元,常用的专家放在显卡显存里,接下来要用的挪到内存,剩下的存进固态硬盘,按需换入换出。

显存不够,就用内存和硬盘顶上。

另一层工夫是量化,把模型数值用更少的比特存下来。

GLM-5.

3-Flash 对应的版本有这么几档: Maya-XS :73.

4GB Maya-S :96.

5GB,标准版 Maya-S24 :面向 24GB 以下显存的显卡 Maya-M :116GB Maya-L :156.

3GB 官方零样本评测给出的精度保持率是:Maya-XS 为原 FP8 模型的 92.

4% ,Maya-S 为 97.

9% ,Maya-L 为 99.

2% 。

这组数字是特定评测题目的相对值,不等于所有问题的正确率。

about image

跑起来到底要多少内存 官方文档给出的推荐显存加主内存合计:Maya-XS 为 88GB ,Maya-S 为 128GB ,Maya-L 为 192GB 。

最低运行条件是支持的显卡、32GB 主内存加固态硬盘。

但最低条件不等于能启动。

实际拿 64GB 主内存配一张 8GB 显存的显卡去启动,程序直接报「显存不足」,起不来。

想省显存,得先看清楚自己卡在哪一档。

对想在自己机器上跑大模型的人来说,Project Maya 多了一个选项。

代价是动手之前得把内存容量和固态硬盘性能这两笔账算清楚,否则卡在启动那一步,参数再大也只是一串数字。

特别

以上内容由易胜博整理发布。

SHARE THE IDEA

觉得有用?分享给朋友

让更多人看到这篇内容。

返回资讯列表

YOU MAY ALSO LIKE

推荐阅读

TRENDING STORIES

热点新闻

曾批任天堂"破坏游戏史"的机构,如今等来了它的档案员

曾批任天堂"破坏游戏史"的机构,如今等来了它的档案员

游戏保存一直是行业里最难啃的问题之一。据电子游戏历史基金会(Video Game History Foundation)的说法,美国发行的经典电子游戏中,有 87% 处于严重濒危或已经失传的状态。想留住这段历史的人,很多只能转向盗版——在大公司对自家游戏与技术档案保存投入有限的情况下,这成了最后的手段。而现在,游戏界最大的名字之一,正式加入了这场保存行动。 任天堂美国分公司发布的一则新招聘启事显示

19岁中卫违约金2000万欧,巴萨还没谈续约

19岁中卫违约金2000万欧,巴萨还没谈续约

据SPORT报道,巴萨青训中卫哈菲兹·加里巴(Hafiz Gariba)正开始吸引多家欧洲俱乐部的关注。这名 19岁 中卫本赛季已成为巴萨竞技队(Barça Atletic)的关键一员,他的进步显然没有被外界忽视。 加里巴出生于加纳,2025年2月加盟巴萨,此前他在Marcet Foundation的表现引起了俱乐部球探的注意。进入拉玛西亚体系后,他的上升速度很快:加盟之初先从青年B队起步,随后迅

红果短剧,正在悄悄透支整整一代人的未来。

红果短剧,正在悄悄透支整整一代人的未来。

这是爱吃糖的猫cat第871篇原创文章 作者|爱吃糖的猫 标题说的有点夸张,但意思不变,现在无论是男女老少,每个人都捧着一个手机看短剧,还全是ai生成的短剧。 不是说ai不好,只是生活中处处都是ai的影子,侵入到我们的日常中,突然觉得很无聊,似乎很多思想都在慢慢退化了。 我早上坐地铁,上班的年轻人都死气沉沉,每个人手里都直勾勾的盯着手机,大多数人都在空闲时间里追短剧,我有个年轻的同事,前几天看短剧

美论坛曾称:若日本敢再次侵略中国,在美国帮助下能够将其击败吗

美论坛曾称:若日本敢再次侵略中国,在美国帮助下能够将其击败吗

海外论坛上长期飘着一个挺扎眼的假设:要是日本再度出兵侵略中国,背后有美国搭把手,有没有可能把中国压下去?真要掰扯这个问题,绕来绕去还是得回到二战那场战争。 跟这个话题绑在一起的,是网上传了很多年的另一种论调:当年抗战之所以能赢,全靠美苏托底,单靠中国自己根本打不过日本。持这种看法的人,常把日本投降时的诏书搬出来当证据。 1945 年 8 月,日本宣布接受《波茨坦公告》,诏书中点名的对象是美、英、中

舍甫琴科回应穆德里克:若有证据就拿出来,否则希望他道歉

舍甫琴科回应穆德里克:若有证据就拿出来,否则希望他道歉

据The Athletic记者Jordan Campbell报道,乌克兰足协主席舍甫琴科指责穆德里克发表毫无根据的诽谤性言论,并要求这名边锋公开道歉。此前,穆德里克在接受乌克兰媒体采访时,将自己兴奋剂检测阳性并遭到禁赛一事归咎于乌克兰队的环境和国家队工作人员,称自己体内的违禁物质只能是在乌克兰进入身体的。对此,舍甫琴科否认乌克兰足协及国家队工作人员存在不当行为,并详细介绍了俱乐部与国家队此前围绕穆