Strata
是什么?
不方便开声音?往下看图文版。
看文字稿
下面是视频旁白的全文。
李賢志在评论区问:Strata 是什么?先看两个数。阿里千问团队有个很聪明的新 AI,平常住在机房,要几百个 G 的显卡才装得下。而一台打游戏的电脑,显卡只有十二个 G。
Strata 是个免费的小程序:装上它,游戏电脑就能把这个大 AI 跑起来。九月二十四号放到网上,不到三周,两万一千多人点了收藏。显卡明明装不下,它怎么跑起来的?我们跟着这个 AI 写一个字,走一趟。
先看它长什么样。它不是一个大脑,是一大群小专家。一共四十八层,每层五百一十二个,加起来两万四千多个。写一个字,要从第一层走到最后一层。可每到一层,只叫十个专家干活,其他的都歇着。
所以团队虽大,写一个字用到的,不到五十分之一。歇着的专家放哪儿?想想你家厨房。常用的盐和油放灶台边,伸手就拿;不常用的,放进储藏室。
显卡就是灶台,快,但小。内存条是储藏室,大,但远一点。Strata 把最常被叫的几千个专家摆在显卡上,全部两万多个都放进内存条。它还边用边学:记住哪些专家最忙,换到灶台上。
要是叫到的专家不在灶台上呢?电脑里还有个帮手,处理器。它守在储藏室,当场把活干了。两边同时开工,谁也不等谁。还有第二招:先猜,再改。
一个小学徒先猜后面三个字,大 AI 一口气看完,对的留下,错的重写。每个字都是大 AI 拍板,所以答案一样,只是快了六到八成。结果呢?作者拿十二个 G 的显卡配六十四个 G 内存条测:一秒写出几十个词,比人读得还快。
而且你说的每句话,都不出这台电脑。也有代价:这是压缩版,比原版笨一点;内存条最少要三十二个 G;第一次启动,电脑会卡一到三分钟。速度是作者自己测的,换台电脑会不一样。所以显卡装不下,Strata 就不硬塞:常用的放手边,其余的放仓库,处理器顺手帮忙,再让学徒先猜。
常用的放手边,你家里还有哪儿也这么摆?李賢志,你先说一个。
两个数,
差了几十倍
阿里千问团队有个很聪明的新 AI,平常住在机房,要几百个 G 的显卡才装得下。一台打游戏的电脑,显卡只有 12 个 G。
Strata 是个免费的小程序:
装上它,这台电脑
就能把这个大 AI 跑起来。
9 月 24 日放到网上,不到三周,两万一千多人点了收藏。AI 的名字为啥这么长,往期讲过。
它不是一个大脑,
是一大群小专家
这个 AI 一共 48 层,每层 512 个小专家,加起来两万四千多个。写一个字,要从第一层走到最后一层;可每到一层,只叫 10 个专家出来干活,其他的都歇着。
团队虽大,写一个字
用到的不到五十分之一。
灶台和储藏室
常用的盐和油放灶台边,伸手就拿;不常用的,放进储藏室。电脑里也一样:显卡快,但小;内存条大,但远一点。
两边同时开工,
谁也不等谁。
第二招:
先猜,再改
一个小学徒先猜后面三个字,大 AI 一口气看完:对的留下,错的重写。每个字都是大 AI 拍板,所以答案一样,只是快了六到八成。
跑起来有多快,
要付什么代价
作者拿 12 G 显卡配 64 G 内存条测:一秒写出几十个词,比人读得还快。你说的每句话,都不出这台电脑。
速度是作者自己测的,换台电脑会不一样;下载大约 70 G,要 Windows 或 Linux。
就不硬塞:
常用的放手边,
其余的放仓库。
读完考考你
显卡只有 12 G,Strata 凭什么能跑几百 G 的大 AI?
常用的盐和油放灶台边,其余的进储藏室:显卡是灶台,内存条是储藏室,处理器在储藏室里当场干活。