（文/ 吕栋）
。系统论 “芯片问题其实没必要忧虑
，芯片用叠加和集群等办法 ，问题核算成果上与最先进水平是不必适当的 。”近期 ，忧虑华为总裁任正非的使用一次揭露发声，增强了社会各界对我国AI开展的系统论决心
。 咱们都知道，芯片我国现已形成了“百模千态”的问题大模型工业 ，有多个大模型走在全球前列 。不必但不管AI工业怎么开展 ，忧虑算力都是使用驱动模型演进的底子动力 。跟着外部技能封闭步步紧逼
，系统论国产算力能否担任大用？芯片是否只能做推理而不能做杂乱练习 ？很多人其实心里没底 。 “咱们单芯片仍是问题落后美国一代
，咱们用数学补物理，非摩尔补摩尔 ，用群核算补单芯片 ，在成果上也能到达有用情况
。”任正非的揭露发声，给国内AI工业吃下了一颗“定心丸”。 带着对国产算力开展的关怀 ，与华为2012实验室的技能专家的做了一次交流 ，咱们了解到
，昇腾算力不只完成推理功能全球抢先，一起体系稳定性也保持在高水平 ，能高效训出国际一流的万亿参数大模型
。特别是CloudMatrix 384超节点技能 ，以体系补单点
，从堆芯片到拼架构
，中心目标比肩英伟达，成为我国AI开展的坚实算力底座 。 
芯片问题为何不必忧虑？ 在外部制裁围堵下，芯片问题就像“达摩克里斯之剑”相同
，一向悬在我国工业界头上。特别跟着中美AI竞赛益发剧烈
，美国一方面极力遏止我国先进芯片制作的才能
，另一方面又不断收紧对英伟达高端芯片的出口控制
，企图让我国AI工业在“算力囚笼”中止步不前 。 但危中也有机 。职业的开展趋势是 ，当Transformer这样的大型神经网络模型横空出世 ，万亿参数模型开端呈现
，对算力和显存的需求呈爆破式添加 ，单个GPU乃至单个服务器都难以招架
，集群算力成为大势所趋 ，这也给我国用体系办法处理算力窘境带来要害。 说起“体系论” ，老一辈我国人或许并不生疏 。钱学森的《论体系工程》 ，中心思维便是把研讨目标看做一个全体而不是孤立的点 ，经过全体优化补偿单点落后 。 华为制裁中包围 ，正是遭到体系工程的启示 。技能专家对表明 ，算力根底设施是杂乱的体系，华为把各个部分打通了 ，在内部组织了算力会战
，把华为云 、模型 、底座 、芯片
、硬件工程
、根底软件的研制力气集结在一起
，跨部门作战 ，深度协同 。这样的环境和机制 ，能够发生协同效应和体系工程的整合 ，完成了“大杂烩”技能的有用使用和协同立异 。 根据体系工程，华为构建了巨型算力根底设施CloudMatrix 384超节点，经过全对等高速互联架构 ，让384张昇腾卡能够像一台核算机相同作业 。它的算力总规划达300Pflops，是英伟达旗舰NVL72的1.7倍；网络互联总带宽达269TB/s ，比英伟达NVL72提高107%；内存总带宽达1229TB/s ，比英伟达NVL72提高113% 。更要害的是 ，它还能扩展为包括数万卡的Atlas 900 SuperCluster超节点集群
，未来能够支撑更大规划的模型演进 。 
“超节点是杂乱体系
，单卡的技能目标并不代表体系的效能，咱们‘体系工程’
，要到达的是体系最佳 ，而不是单点最强
。处理这些超杂乱体系的问题需求懂理论 ，如体系论
，控制论
，信息论 ，核算数学等；一起，咱们经过数学的办法对核算体系进行建模 、仿真 ，想办法把每一部分都用起来，做到不糟蹋
，各个部分完美合作
，高效协同。”华为技能专家表明 。 咱们都知道 ，芯片制作遵从着“摩尔规律”
，但条件是获取先进的设备资料 。在制裁围堵下 ，华为经过杂乱体系优化
，完成了“非摩尔补摩尔”的作用 ，让单芯片短板不再是限制
。 华为技能专家指出 ，单芯片制程从7纳米到5纳米 、3纳米
、2纳米 ，每代功能提高不超越20% ，总体能提高50%左右
。华为经过高效的超节点体系 ，提高了芯片算力使用率 。“MoE大模型练习 ，咱们曾经MFU（模型算力使用率）是30%
，业界也是差不多这个水平 ，咱们最新发布的数据提高到41% ，实验室是45%多。从30%提高到45% ，使用率适当于提高了50% 。在硬件什么也没有改动的情况下 ，经过体系工程的优化
，资源的高效调度 ，必定程度补偿了芯片工艺的缺乏 。” 。 “西方不断打补丁 ，咱们从头界说架构” 。 华为被制裁的这几年
，算力工业其实也处在革新过程中。 跟着大模型Scaling Law（标准规律）的继续演进 ，整个AI职业发生了巨量算力需求。可是传统的核算集群现已呈现瓶颈 ，无限制的堆卡并不能带来算力的线性提高 ，反而会发生“内存墙”
、“规划墙”和“通讯墙”的问题。这是由于在集群内部，算力卡之间和服务器之间并不是独立作业
，而是需求边核算边“交流”，假如通讯才能跟不上 ，就会呈现算力搁置 。 曩昔8年间 ，单卡硬件算力添加了40倍 ，但节点内总线带宽只添加了9倍
，跨节点的网络带宽只添加了4倍
，这使得集群网络通讯成为当时大模型练习和推理的最大应战 。因而假如不能提高通讯功率，单纯把384张昇腾卡堆起来 ，核算作用并不必定就比72张英伟达卡更好 ，由于卡间和服务器间的通讯开支会抵消算力添加的收益
，导致有用算力不升反降。 
作为算力工业先行者，英伟达早早意识到这个问题 。黄仁勋的做法是 ，把之前消费级显卡上的NVLink技能移植到核算集群中 ，适当于给GPU之间建立一条“专用超宽车道”而且把多颗GPU 、CPU、高带宽内存
、NVLink/NVSwitch等高度集成 ，打造了NVL72超节点 。 但问题是 ，NVLink只能用于英伟达自家GPU之间的通讯 ，节点内的NPU 、FPGA等非GPU异构硬件，并不能走这条“超宽车道” ，仍是要经过功率较低的PCIe协议走CPU中转，一起节点之间经过以太网/InfiniBand等协议跨机互联 ，在巨量核算中也存在带宽堵点。 不同于这种做法
，华为CloudMatrix 384超节点对核算架构进行重构 ，完全打破了传统以CPU为中心的冯诺依曼架构 ，立异提出了“全对等架构” 。它经过3168根光纤和6912个400G光模块构建了高速互联总线，并把总线从服务器内部扩展到整机柜 、乃至跨机柜 ，最终将CPU、NPU 、DPU 、存储和内存等资源悉数互联和池化 ，这样做就能去除掉了繁复的中转环节
，然后完成真实的点对点互联 ，从而完成更大的算力密度和互联带宽 。 “西方是承继开展
，任总形象地比喻为‘百纳衣’
，便是衣服破了今后不断地打补丁
，协议不同 ，互通要转化的
，包头套包头 ，有用载荷就很小了 。咱们从头界说了对等的架构 ，一致了一切的通讯协议 ，互通就不需求转化 ，提高了有用载荷 。”华为技能专家对说道 。 “打铁还需本身硬 ，充沛满意国内需求”
。 华为构建了这么强壮的昇腾算力，实践使用作用怎么样 ？特别是在英伟达高端算力被封闭的情况下，昇腾算力究竟能不能给我国AI开展带来底气和决心？这是职业表里真实关怀的 。
| 
楼主
收藏
点赞