3210亿参数塞进单张显卡,26 token每秒跑起来了
将文章核心主题、阅读路径与关联内容进行更清晰的组织,帮助用户以更流畅的节奏进入正文。
当前位置
当前正在查看文章详情,可沿路径返回栏目页或继续切换其他内容。
3210亿参数塞进单张显卡,26 token每秒跑起来了
UED整理如下:
把总参数 3210亿 的模型塞进一台只有一张显卡的机器里,这件事现在有了开源方案。
免费开源工具「Project Maya」给出的思路很直接:不要求你把几百GB的模型权重全塞进显存,而是把显存、内存、固态硬盘拼成一个层级,条件凑齐就能跑。
它支持的模型清单不止一个:GLM-5.
3(744B)、GLM-5.
3-Flash(321B)、DeepSeek-V4.
1-Flash(748B)、MiniMax-M3.
1-Flash(428B),一套引擎、一块面板,对外提供与 OpenAI、Anthropic 兼容的接口。
GLM-5.
3-Flash 是这里的主角。
3210亿总参数,能写文章、写代码,也能读取图片内容。
公开的用户实测数据里,单张 RTX 3090 的配置跑出每秒 26 token ;
两张 RTX 5090 加一张 RTX 4090 的配置跑到每秒 148.
6 token 。
token 是模型处理文本的单位,这个数值越大,回答显示得越快。
不过两次测量的条件不同,光看显卡数量没法直接比速度。
并发方面,Project Maya 最多同时处理 8 个请求 ,面向多人使用和 AI 编程代理的场景。
8 路并发不等于 8 倍生成速度,它的意义是把多个请求并行接住,而不是把单条回答加速八倍。
为什么装不进显存的模型能跑起来 关键在于 MoE,也就是混合专家结构。
模型内部准备了多个叫「Expert」的专门计算单元,常用的专家放在显卡显存里,接下来要用的挪到内存,剩下的存进固态硬盘,按需换入换出。
显存不够,就用内存和硬盘顶上。
另一层工夫是量化,把模型数值用更少的比特存下来。
GLM-5.
3-Flash 对应的版本有这么几档: Maya-XS :73.
4GB Maya-S :96.
5GB,标准版 Maya-S24 :面向 24GB 以下显存的显卡 Maya-M :116GB Maya-L :156.
3GB 官方零样本评测给出的精度保持率是:Maya-XS 为原 FP8 模型的 92.
4% ,Maya-S 为 97.
9% ,Maya-L 为 99.
2% 。
这组数字是特定评测题目的相对值,不等于所有问题的正确率。
跑起来到底要多少内存 官方文档给出的推荐显存加主内存合计:Maya-XS 为 88GB ,Maya-S 为 128GB ,Maya-L 为 192GB 。
最低运行条件是支持的显卡、32GB 主内存加固态硬盘。
但最低条件不等于能启动。
实际拿 64GB 主内存配一张 8GB 显存的显卡去启动,程序直接报「显存不足」,起不来。
想省显存,得先看清楚自己卡在哪一档。
对想在自己机器上跑大模型的人来说,Project Maya 多了一个选项。
代价是动手之前得把内存容量和固态硬盘性能这两笔账算清楚,否则卡在启动那一步,参数再大也只是一串数字。
特别
本文内容由UED整理。
推荐阅读
Search
热点新闻
1个NBA首轮秀,2个NCAA主力,何时能一起代表中国男篮出战?
如今中国男篮在郭士强的带领下,似乎仍在黑暗中摸寻。但其实现在国家队已经有了一个“三巨头”雏形,目前在海外征战的杨瀚森、林葳和王俊杰,不仅年轻,且有很大的潜力可挖。 杨瀚森是去年的NBA首轮秀,此前在对阵马刺的比赛中拿到了NBA生涯首个两双,而林葳和王俊杰,也已经在NCAA打上了主力轮换。只不过在顽固派主帅郭士强的执掌之下,这三名中国男篮未来的核心,很难一起在国家队打球。 本赛季继续留在俄勒冈大学的
俄16州被袭!泽连斯基下令全方位突袭俄罗斯,俄指出反击目标
视角之前就多次讲过,俄乌双方每次谈判之后,必定会爆发一轮全方位战争,这都成惯例了!这不,由美国主导的阿联酋三方会谈刚刚结束,乌克兰总统泽连斯基就迫不及待下令对俄罗斯发动全面战争。而这次乌军所用出的武器装备基本都是以无人机为主,这样做的好处就是速度快,而且还是远程操控,主要目的就是针对俄罗斯复地炼油厂。这明显就是准备给俄罗斯上一课的做派,当然,俄罗斯应该能够预判到三方会谈之后乌克兰的小动作,但没想到
黎耀祥賣35.9元平價臍橙看似辛酸 實情坐擁豪宅兼千萬名車超富貴
三屆視帝黎耀祥近年將事業重心全面北移,除了接拍劇集與商演,亦積極經營內地社交平台化身美食KOL。向來親力親為的黎耀祥,近日更現身抖音直播間帶貨賣水果,推銷江西贛州尋烏縣的贛南臍橙,親民作風引起網民關注。 三屆視帝黎耀祥近日現身抖音直播間,落力推銷江西贛南臍橙。(抖音截圖) 黎耀祥身穿簡約白Tee上陣帶貨,身前擺滿切開的臍橙展示果肉質素。(抖音截圖) 親力親為推銷平價臍橙 下單送簽名照 從網上流出的
霸气,扬尼斯·阿德托昆博回击了那些说热火队很烂的黑粉
霸气,扬尼斯·阿德托昆博回击了那些说热火队很烂的黑粉 扬尼斯·阿德托昆博深知,热火队必须继续保持良好的习惯,因为他们终于找到了成功之道。 迈阿密热火队取得了六连胜,在扬尼斯·阿德托昆博首次面对老东家密尔沃基雄鹿队的比赛中,以137-130的比分战胜了雄鹿队。看来,在经历了赛季初的艰难开局后,热火队终于找到了成功的秘诀,并且在这一阶段展现出了联盟顶级球队的风采。 赛后,阿德托昆博被问及,既然球队已经
法国总统马克龙表态:他不想法国成为中国或者美国的附属国
11月17日,法国总统马克龙在吉隆坡出席法国与马来西亚经济论坛并发表演讲。他把“附庸”问题摆到台面上:当今世界处于“全面失序”状态,各国面对两股越来越强的外部拉力,要么依附中国,要么依附美国。 马克龙的看法是,中美都想扩大自己的影响范围,法国和马来西亚需要守住独立决策的空间。他给出的办法是维护多边秩序、强化战略自主。他也特意说明,法国不打算与中国或美国脱钩,而是要分散合作伙伴、供应链和安全依赖,降