HBM内存：韩国人的游戏
编者按：本文来自微信公众号硅基研习社（ID:gh_8448ad119f2e），作者：何律衡，创业邦经授权发布。
2020年5月，一年两度的英伟达GTC大会由于疫情原因无法举办，英伟达官方索性连线上直播都懒得走形式，发布会改为播放CEO黄仁勋在自家厨房拍摄的视频。
视频中，老黄从灶台里掏出了当晚的主角：基于7nm工艺的A100 GPU。
黄仁勋“预热”A100 GPU
这颗芯片和今年3月发布的H100 GPU一起，成为了大炼AI的入场券，直接把英伟达送上了万亿美元市值。伴随单价25万人民币的H100 GPU供不应求，背后的另一个大赢家也慢慢浮出水面：韩国内存厂商。
A100和H100的显存模块并没有采用常用的DDR/GDDR内存，而是HBM内存。目前，能够稳定量产HBM的厂家，只有韩国的三星和SK海力士。
相比DDR/GDDR等路线，HBM大幅度提高了内存带宽，完美贴合了AI训练对数据传输效率近乎病态的追求。
所谓带宽，可以简单理解为内存读取/写入数据的效率，一般带宽越高，数据的吞吐能力就越强。英伟达针对美国禁令专门推出的特供版A800、H800 GPU中，主要缩水的部分就是带宽，只有原版GPU的3/4左右。
包括内存在内的存储芯片是当之无愧的“半导体石油”，市场规模长期占据整个半导体市场近三分之一。广义的存储包括内存、硬盘、闪存等门类。
不过由于产品高度标准化，每隔几年就要来一次价格战，上演大鱼吃小鱼的戏码。在市场规模较大的内存和闪存两个门类，经过多次价格周期，主流玩家已经所剩无几。
这两年原本是存储市场的冬天，DRAM和NAND芯片价格持续下探，SK海力士连续亏损两个季度，三星一季度净利润更是暴跌86.1%。原本大家都在节衣缩食过日子，但AI训练的热潮让原本不温不火的HBM内存逆势增长，成了全村的希望。
在消费电子时代大杀四方的韩国内存，似乎又成了AI时代的第一个赢家。
日本人先动的手HBM内存的前身3D DRAM内存，诞生在韩国芯片产业的死对头日本。
2009年9月，日本存储大厂尔必达宣布，成功开发了业内首款3D DRAM。尔必达成立于世纪初日本半导体产业风雨飘摇的年代，由日立、NEC和三菱三家企业的存储部门组合而来，肩负着重振日本半导体产业的使命。
结果金融危机期间，由于需求萎缩叠加三星逆势扩产，尔必达积累了天量的亏损和债务，命悬一线。
作为公司掌舵者，坂本幸雄深知尔必达难以在大规模生产能力上战胜三星，于是选择与日本官方合作，加快鲜有厂商涉足的3D DRAM的研究，从技术上反攻韩国人。同一时期，东芝在技术路线上类似的闪存门类，成功量产了全球首款3D NAND闪存，无疑大大增强了尔必达的信心。
所谓3D DRAM/3D NAND，可以简单理解为将很多块DRAM/NAND芯片像盖房子一样垂直堆叠起来。东芝的第一块3D NAND就通过自研的BiCS技术，垂直堆叠了8块NAND芯片。
从2D DRAM到3D DRAM；图源：Business Korea
3D堆叠的优势在于，可以在不增加芯片面积的情况下，尽可能做大容量和带宽，而且不需要先进制程。另一个思路则是用更先进的工艺制程，可以做到同样的效果，但成本会大幅增加。这在成本决定输赢的存储领域，无异于饮鸩止渴。
（具体原因涉及比较复杂的DRAM运行原理，感兴趣的读者可以移步文末“注1”浏览）
尔必达的另一个算盘在于，为当时方兴未艾的移动终端市场做准备，实现弯道超车：
作为iPhone的内存供应商，坂本幸雄深知智能手机、平板、超级本这类便携设备的市场潜力，3D DRAM封装体积小、功耗低的特点，与移动设备便携省电的诉求，几乎是天作之合。
2011年6月，尔必达宣布，由4片DRAM堆叠而成的8G内存颗粒已经进入送样阶段。尔必达通过直通硅晶穿孔(Through Silicon Vias；TSV) 技术，在堆叠芯片的同时大幅度提高了内存带宽，相比传统的8G DRAM，芯片面积缩小了70%，预计一年后就可以量产。
但人算不如天算，一年之后，尔必达没等来3D DRAM的订单，反而等来了公司的破产。
金融危机后，三星依靠体量优势在内存价格低谷期疯狂扩产，顶住亏损进一步拉低价格，将竞争对手挤压出去。同在韩国的海力士半导体就因为债台高筑，在尔必达破产的同一年被SK集团收入囊中，成为了如今的SK海力士。
考虑到三星的反周期屠刀砍起来连同胞都不放过，利润率更微薄的尔必达处境可想而知。坂本幸雄在破产发布会上的一句“尔必达技术水平很高”，浓缩了所有的落寞与不甘。
伴随尔必达的坍塌，被寄予厚望的3D DRAM也随之沉寂。虽然以iPhone为代表的移动终端市场增长迅猛，但绝大部分产品都采用了成本更低的LPDDR（Low Power DDR）内存。3D DRAM作为一种非常超前的技术理念，在昙花一现后便被束之高阁。
直到2015年，另一个与尔必达处境极其相似的公司，把这项技术从故纸堆里翻了出来。
美国人来了2015年6月，AMD在洛杉矶的贝拉斯科剧院发布了其新款旗舰显卡：Fiji架构的Radeon R9 Fury X。
在这块GPU的封装基板上，除了GPU芯片，只有供电电路和输出接口器件，原本围绕在GPU芯片周围的显存芯片不见了，取而代之的是和GPU封装在一起，由多颗显存芯片垂直堆叠而成的显存颗粒，整块显卡的面积大幅度缩小。
在发布会上，AMD也给这种新型显存取了个新的名字：HBM（High Bandwidth Memory）。
AMD的Fiji系列显卡将显存与GPU封装在了一起，大幅缩小了芯片面积
2006年，AMD豪掷54亿美元收购了GPU公司ATI，希望凭借CPU和GPU的集成路线，扭转与英特尔竞争中的颓势。然而此后几年，CPU产品线的存在感一度只剩下网络段子，收购而来的GPU也一如既往的被英伟达按在地上摩擦。
伴随Tesla架构和CUDA平台的推出，英伟达大有一统GPU市场的气势。以9800GT为代表的Geforce 9系列显卡，一度成为国内网吧的一代神卡。
2012年，苏姿丰在AMD股价最低点接手后，把大部分资源倾斜到了公司的老本行CPU业务，面对英伟达在GPU市场越来越夸张的市场份额，AMD也寄望以新技术作为突破口弯道超车。
这个突破口，就是当时GPU领域正在暴露的痛点：带宽。
GPU和CPU都遵循着冯·诺依曼架构，其核心在于“存算分离”——即芯片处理数据时，需要从外部的内存中调取数据，计算完成后再传输到内存中，一来一回，都会造成计算的延迟。同时，数据传输的“数量”也会因此受限制。
举例来说，可以将GPU和显存/内存的关系比作上海的浦东和浦西，两地间的物资（数据）运输需要依赖南浦大桥，南浦大桥的车道数量决定了物资运输的效率，这个车道数量就是内存带宽，它决定了数据传输的速度，也间接影响着GPU的计算速度。
1980年到2000年，GPU和显存/内存的“速度失配”以每年50%的速率增加。也就是说，南浦大桥车道拓宽的速度，远远无法满足两地物资运输的增长，这就导致在游戏等高性能计算的场景下，带宽成为了越来越明显的瓶颈。
CPU/GPU性能与DRAM性能之间的差距正在拉大
为了解决这个问题，AMD的思路很直接：把浦东和浦西拼起来。
AMD的设想是将DRAM芯片和GPU芯片封装在一起，相当于把浦东和浦西拼在一块，彻底车道拓宽运输问题。但传统的2D DRAM由于芯片面积大，封装在一起难以控制功耗和发热问题。而多颗DRAM垂直堆叠，就成了最完美的方案。
于是，沉寂了多年的3D DRAM技术以HBM的新身份，又一次站上了台前。
（理论上来说，3D DRAM和HBM并非相同的技术路线，感兴趣的读者可以移步文末“注2”浏览）
将显存从主芯片外移到主芯片旁边
早在2008年，尔必达攻坚3D DRAM的同一时期，AMD就与海力士半导体结为联盟共同攻克HBM。当时，全球范围内只有东芝和海力士拥有3D NAND闪存的堆叠经验，但东芝在2001年就退出了DRAM业务，海力士成了AMD唯一的选择。
2015年前后，4K分辨率开始普及，AMD希望借助4K游戏对带宽的需求，抄一波英伟达的后路。随后，搭载AMD Fiji的Radeon R9 Fury X，功耗比超越了英伟达同年的Kepler架构新品，首次在纸面性能上压了对手一头。
但遗憾的是，由于老旧的GCN架构拖后腿，没能让HBM的好处完全凸显出来。同时，相对主流的DDR/GDDR路线，HBM的高成本问题依然难以解决，无法在消费级市场大面积铺开。
苹果的MacBook曾推出过一款HBM显存的机型，选配价格感人：
AMD厉兵秣马多年，最终换来了一个铩羽而归的结局，但HBM的春天却在人工智能的浪潮中意外到来。
韩国人的游戏2016年，谷歌的AlphaGo在全球社交媒体的注视下，战胜围棋世界冠军李世石，深度学习横空出世，将科幻作品中的人工智能变得触手可及。
抛开文艺作品的滤镜，深度学习的本质是数学和概率论，其核心在于通过海量数据训练模型，确定函数中的参数，在决策中带入实际数据得到最终的解。在这当中，承担模型训练的就是AI芯片。
理论上来说，数据量越大得到的函数参数越可靠，这就给AI芯片的数据吞吐量及数据传输的延迟性带来了挑战。这也是AlphaGo使用英伟达的GPU作为模型训练芯片的原因：
在当时，没有什么芯片比英伟达的GPU数据吞吐量更高、更适合训练模型的了。
但这还不够，因为AI模型对算力的需求正在以月为单位指数级暴涨，OpenAI在2018年发布过一份报告：AI算力需求每个月翻番，这是被芯片行业奉为圭臬的摩尔定律花费18个月才能完成的事情。
于是，原本在GPU/CPU上只是稍显棘手的性能瓶颈，放在AI芯片上，就变成了刻不容缓解决的大问题。在这个节骨眼上诞生的HBM，其高带宽、低延迟的特性，几乎是为AI芯片量身定做的。
2017年，AlphaGo再战另一世界围棋冠军柯洁，训练芯片却换上了自家研发的TPU。在芯片设计上，从第二代开始的每一代TPU，都采用了HBM的设计。
同一时期，英伟达紧跟AMD推出了针对数据中心和深度学习的新款GPU：Tesla P100，搭载了三星的首个第二代HBM内存（HBM2）。
目前，面向高性能计算市场的GPU芯片，几乎都配备了HBM内存。
伴随AI的快速繁荣，存储巨头们围绕HBM的竞争也迅速展开，但主角只有韩国人。
2010年，三星就紧随SK海力士开始了HBM内存的研发，并在2016年抢先SK海力士成功量产HBM2，将每个HBM堆栈容量提升至8GB，此后又率先量产第三代HBM的青春版HBM3E。
2021年10月，一直紧咬三星的SK海力士又成功量产HBM3，重新夺回主动权。
韩国公司你追我赶的时候，内存三巨头之一的美光却因为技术路线判断失误意外掉队，成为了一个尴尬的旁观者。
2022年，全球50%的HBM出货来自SK海力士，40%来自三星，美光只有10%（TrendForce口径）。TrendForce预测，今年SK海力士会将占比进一步扩大至53%，三星将拿下38%，美光则将下滑至9%。
至此，HBM彻底成为了韩国人的游戏。
韩国人做对了什么？存储曾是日本半导体产业的一块金字招牌，在经历了美国人领导20年（1966-1986）、日本人垄断的12年（1986-1998）后，已经迎来韩国人统治的第25年。
提及韩日在半导体产业的多年鏖战，三星“越亏越投”的反周期大法似乎是绕不开的环节，但这并不足以概括韩国人从落后到反超的原因。
存储芯片是一类特殊的芯片产品，它需要技术上的领先，但新技术的普及又需要下游终端市场的带动。同时， 由于产品高度标准化，再高端的技术路线也需要与成本相权衡。
HBM并不是一项新技术，但由于长期缺乏规模足够大的下游市场，导致HBM一直无法普及，直到深度学习的出现改变了这一点。
即便在日韩存储产业竞争最激烈的时期，韩国公司的思路依然是：不花费太多成本研究最先进的技术，只需要做到“日本人有的我们也有”。
2007年，东芝率先量产了3D NAND闪存，尔必达随后成功试产3D DRAM，但三星和SK海力士迅速推出了类似的技术，并且依靠更强大的生产能力与产业链覆盖实现了反超。
由于HBM大多需要与GPU/CPU封装在一起，涉及到制造、封装等多个芯片生产流程，并非存储企业单兵作战可以解决。尔必达当年虽然做出了3D DRAM的技术方案，但在最关键的良率爬坡环节，不得不向台湾地区的代工、封装企业求援。
比起三番五次求日本银行业贷款支援的尔必达，韩国公司无论是资源整合能力，还是对本国产业链的号召力，在全球半导体市场几乎都独一无二，在SK海力士开发HBM的过程中，就有多家韩国本土供应商加入，大大加快了开发进程。
虽然HBM目前的市场规模还不到整个存储芯片市场的1/10，也不乏其他技术竞争，但决定其能否普及的成本问题，恰恰却是三星和SK海力士最擅长解决的——依靠大规模生产能力快速降低成本，拉高其他公司参与竞争需要的投资门槛。
有些讽刺的是，用大规模生产能力将诞生在美国的新技术快速产业化，恰恰是日本存储芯片在80年代大放异彩的原因。90年代后，日本社会普遍不满足于生产制造环节的成功，尤其是以贝尔实验室为代表的大公司研究院模式，更是被日本反复学习效仿。
对技术的崇信可以在一些产业获得巨大的成功，比如至今仍被日本垄断的半导体材料。但在存储市场，技术并不是唯一的胜负手。
尔必达的3D DRAM纵然在移动设备上有无可比拟的技术优势，但并没有阻挡成本更低的LPDDR方案迅速普及。当更适合AI的HBM迅速增长时，日本人早就下了牌桌。正如汤之上隆在书中概括：
日本人通常把性能和质量放在第一位，往往忽视生产成本。这是因为日本人拥有一种独特的感性认识，他们习惯将技术和金钱划清界限，主张技术神圣，金钱肮脏。
技术的领先可以毕其功于一役，但一个产业的拔地而起，既需要产业链的合理布局，又需要强大的资源整合能力与供应链上下游的密切协作，以及技术与商业上的反复权衡。日本在技术上一度领先，但韩国人最终获得了商业的胜利。
坂本幸雄反复念叨的“尔必达技术世界第一”并没有什么问题，直到破产那天，尔必达的生产工艺和技术储备依然领先韩国人。但在京畿道城南市三星电子总部彻夜的欢呼声中，他的不甘与叹息是如此不值一提。
参考资料[1]“HBM”词条，SemiWiki
[2]HBM需求激增 SK海力士受益，TrendForce
[3]HBM提供了令人印象深刻的性能提升，NetworkWorld
[4]人工智能推动HBM增长，EETAsia
[5]内存革命：存储巨头争霸HBM，TrendForce
[6]数据中心即将进入HBM3时代，半导体产业纵横
[7]HBM在AI系统中的问题，Semiengineering
[8]HBM会替代DDR 成为计算机内存吗？EETAsia
[9]为什么存储器会成为阻碍AI发展的难题？雷锋网
[10]厂商戮力开发新应用 晶片立体堆叠技术未来可期，新电子杂志
[11]TSV 3D IC面临诸多挑战，DIGITIMES
[12]一文看懂3D NAND Flash，超能网
[13]3D DRAM Makers Inch CloserTo Production，SemiEngineering
注1:与依靠晶体管传递电气信号的逻辑芯片（如CPU）不同，大部分存储器依靠核心单元中电荷的多寡区分“0”和“1”，用这种手段来存储信息。随着存储器2D平面（也就是不堆叠的一块晶圆）微缩进入纳米制程，这种运行机制带来的不稳定性越发凸显：
用于存储电荷的单元越小，电荷越容易跑出去，也就是我们常说的“漏电”，最终的结果是数据错误，可靠性下降。问题并非不可解决，也就是用更先进的制程。但这样做的话，成本也会大幅度提高。
苹果的A系列芯片已经用上了3nm制程，但主流的存储芯片还在“考虑”是否应用10nm。
注2:作为存储器市场最大的两个品类，NAND闪存和DRAM垂直堆叠上有相似之处，但也有不同的地方：
NAND闪存是存储器阵列（memory array）堆叠，字位线（bitline）竖着做，可以想象成公寓楼的架构。目前，主要的生产商已经堆叠到了300层。根据最新可查的信息，长江存储的NAND闪存已经堆叠到了232层，达到了国际一流水平。
但3D DRAM堆叠的难处在于，电容器是柱状结构，要从竖着做变成横着放，字位线也要相应的竖着做，与NAND堆叠难度不在一个级别。
伴随尔必达破产，3D DRAM昙花一现便被束之高阁，厂商们继续着DDR内存规格的迭代升级，寻找着除了2D平面微缩之外提高存储颗粒密度的其他办法，比如从传统的6F2架构改成4F2架构等。
NAND闪存堆叠方法
DRAM堆叠方法