This is an old revision and may have been superseded. Go to the latest revision
脑构之芯
From Virapedia
脑构之芯是一循之躯那具身体里负责「想」的那一层器件的名目与实况:它按事件干活,它记着两层东西,它每天真正吃掉的瓦特比界内讲稿喊的要少两个数量级。本页记的是界内讲稿非此身之墙与比特之价算出来的那张账单,以及本界为什么在近年把「为降热而把模型搬上片」这条劝告正式收回。现实里的同族名目(神经形态、类脑、事件驱动加速器)见硅上的名目,本页不重复其名目之辨。
两名之辨
- 脑构
- 界内通俗的叫法,指这颗芯片按脉冲与事件排布工作:没有输入的那一拍不费电。
- 皮质与脊髓
- 界内把这具身体的算力分成两层。脊髓那一层必须在每一个控制周期跑完,管的是不摔倒;皮质那一层可以慢,可以隔几秒才答一句话。
- 本界一切争论的起点是这两层的大小刚好相反:常跑的那层小,慢跑的那层大。
界内记的两层
| 名目 | 大小 | 每秒跑几回 | 每秒走多少字节 | 界内的账 |
|---|---|---|---|---|
| 反射网(脊髓) | 一百兆字节 | 一百次 | 十吉字节 | 搬运 3.21 瓦,乘加 0.38 瓦,共 3.59 瓦 |
| 反射网(降级) | 一百兆字节 | 二十次 | 二吉字节 | 共 0.72 瓦 |
| 语言控制器(皮质) | 七千兆字节 | 二次 | 十四吉字节 | 搬运 4.49 瓦,乘加 0.53 瓦,共 5.03 瓦 |
| 语言控制器(每五秒) | 七千兆字节 | 零点二次 | 一点四吉字节 | 共 0.50 瓦 |
上列四行的每一项数字都由比特之价表上的格数相乘而得,不是测量。「一参数一字节、一参数一乘加」是界内公认的算法约定,量化一改,绝对数随之等比改,比例不动。
全账
- 界内给这具身体的算力配额是 60 瓦;
- 最坏的一行(七千兆、二次每秒)总共 5.03 瓦,是配额的 8.4%;
- 同一瓦数对全身能干的 315 瓦干墙而言是 1.6%;
- 也就是说:这具身体想事情的时候,比它站着不动的时候还凉。
界内旧告示多写「大模型会把这具身体煮熟」。此句依上表收回,收回理由与逐格算式见非此身之墙。
搬运份额为什么不算证据
四行账单里,搬运各占 89.4%,一分不差。这不是巧合,是一条恒等式:每取一个字的花费除以每次乘加的花费是 1284÷4÷38 = 8.45,而字节数与速率在分子分母两边同现,一约就没了。
- 恒等式的脾气
- 它不随流量动、不随速率动、不随模型大小动。所以「搬运占九成」这句话在本界一分钱信息都不值。
- 值钱的是什么
- 绝对瓦数。上表最坏一行 5.03 瓦。此句的收回过程记在数之未验「同一堵墙」一条。
搬上硅片能省几瓦
界内一度主张:把权重放上片(堆叠之名那一层工艺、硅上的名目所谓近存计算与存算一体),热就下来了。本页记下收回之后的说法:
- 堆叠与存算最多删掉搬运那一栏;
- 搬运那一栏在最坏的一行是 4.49 瓦,占 315 瓦干墙的 1.4%;
- 一百倍的架构红利落在 1.4% 上,买到的是 1.4%。
堆叠不是这具身体的散热方案。它仍然值得做,但理由只剩两个,都与热无关:垂直互连(而非此身之墙已算出这两行的带宽都不缺,故此项在本界也不成立),以及芯猎与魂猎那条法律账。
为什么还叫「脑构」
界内的答复是:名目留着,因为它记的是这具身体的真实作息——静默时不费电,一有风吹草动才动。这具身体每天有大量时间站着不动(长班),事件驱动的排布在这段时段里确实省,而省下的仍是乘加那一栏,不是取权重那一栏。
至于「像大脑」这件事,本界不拿它当任何结论的凭据。见硅上的名目末栏「名目不等于证据」。
参见
- 比特之价 · 移动之税与换算之税 · 非此身之墙 · 堆叠之名 · 硅上的名目
- 芯猎与魂猎 · 启封之录 · 静作之价 · 标记之役 · 魂体数据集
- 一循之躯 · 体表之账 · 湿墙 · 四次方之壁 · 长班 · 数之未验 · 假说档
出处
- 两层算力的规模、速率与「一参数一字节、一参数一乘加」的约定,出自假说档所列《ktema》一文对权重流的定价;四行账单的瓦数皆为其上格数相乘所得的算术。
- 315 瓦干墙、60 瓦算力配额、40 瓦静息耗热,沿用体表之账与长班所载界内定值,本页不重推。[1]
- 「搬运份额 89.4%」一条为本界恒等式,其算式与本界的处置见非此身之墙与数之未验。
- 「堆叠不是散热方案」为收回之后的说法,其两次收回(「同一堵墙」与「孔距之争」两条)见数之未验。
- 条目由本馆依界内记载整理;「脊髓小而快、皮质大而慢」这一层排序为本馆撮合多处记载所得,属「本馆推定」。 back