李根国：从全球最快的到最需要的……展望下一代AI算力

【导读】10月19日上午，由文汇课堂和北大博雅讲坛团结承办，上海市算力收集协会、北京大学出书社、上海藏书楼团结主办的瞻望下一代算力暨《对话期间》新书研讨讲座上海场正在上图东馆获胜举办，近10万人次观察直播。现经整顿，分主媾和对话予以刊发。此为主讲篇。

进入音讯期间，动作数字经济底座的算力小则既影响局部操纵体验，中则影响都会数字经济的发达，大则合乎邦度之间的角逐和人类文雅过程，是以是一个群众颇为合切的话题，也是咱们上海超等策画核心的一个首要的科普内容。这日从三方面和群众一道商量，一是现在对算力的庞大需求，二是算力面对的离间，三是下一代算力瞻望。

自从Chat-GPT问世后，人工智能界的热门话题曾经成为全社会的合切。咱们先来看看迩来的AI界三大热门，从个案来清楚算力的需求侧。

2024年诺贝尔物理学奖授予霍普菲尔德（Hopfield）和辛顿（Hinton），以奖赏他们胀吹诈欺人工神经收集举行呆板研习做出的根源性展现和出现。霍普菲尔德创筑了一种可能存储和重筑音讯的组织，辛顿发清楚一种可能独立展现数据属性的本事，这种本事看待目前运用的大型人工神经收集至合首要。这证明，人工智能取得了人类社会的高度承认。

霍普菲尔德和辛顿所作的功绩逾越了科学和策画机界，特殊是辛顿，此前已获取图灵奖，此次因人工智能范畴的功绩而获诺贝尔奖，是各行各业对其成效的高度承认，同时也证明，人工智能即是人类异日各个范畴发达的一个倾向。

一目了然，人类与其他动物的区别是，人类会创制用具、诈欺用具。策画机刚被出现时就以为是人类大脑的延长，是人类智力的外现。

1946年浮现了真正意思上的摩登策画机。摩登策画机是基于图灵策画外面和冯•诺伊曼编制组织，当时图灵就预测20世纪末策画时机发作智能，提出了图灵测试，现实上直到2014年，美邦才做出第一台通过了图灵测试的策画机。何为图灵测试？即是将一局部和呆板放到两个黑房子中，由另一人对他们举行极少题目测试，假设分不出人和策画机，就以为策画机通过了测试。GPT和ChatGPT都通过了图灵测试。题目是，早正在策画机降生时就预测它会发作智能，但为何花费了这么近70年才取得告终？

人工智能自1950年代发达起来就特殊热门，提出了用神经收集的本事来咨议。自后展现算力太差无法展开，当时策画机速率只要每秒几千次、上万次。1980年代提出了神经收集新算法，但算力依然不足。直至2015年谷歌开荒出会下围棋的阿尔法狗（AlphaGo），才符号着新一轮的人工智能的发达。从这个方面来看，策画速率对人工智能的发达是最首要的断定性要素。只要大范围的算力本事发达人工智能，好比目前最新的GPT4o1，之后的发达都必要大范围的算力救援。

本年的诺贝尔化学奖授予了大卫·贝克（David Baker）、戴米斯·哈萨比斯（Demis Hassabis）和约翰·江珀（John Jumper），以奖赏他们正在卵白质计划和卵白质组织预测范畴做出的功绩。正在卵白质组织预测范畴，三位引颈者结果明显。大卫·贝克创筑出无误的AI预测用具RoseTTAFold，预测了约80%的卵白质-配体复合物。戴米斯·哈萨比斯和约翰·江珀发清楚预测卵白质三维组织的革命性技能——阿尔法折叠（AlphaFold）。

古代咨议方法是物理实习联结超等策画。邦内两位海归科学家施一公和颜宁即是应用物理实习本事咨议卵白质组织，诈欺冷冻电镜查看卵白质组织，并正在美邦和中都门公布了很众高质料的著作，结果明显很速就评上了院士。谷歌公司最新揭橥的AlphaFold是用AI做卵白质组织预测的。

这些科学家都正在做统一件事，但能看出极少显着区别，用人工智能的AlphaFold会做得很速，一次性就能预测出几十种卵白质的组织，这叫概率策画——大致是如此的情形，但不行确切的得出结果。真正的科学策画基于超等策画机，就能预测出卵白质组织，但这必要无误策画。这是两种分别的本事。人工智能策画和超算的区别就正在于，一个是概率策画，另一个是无误策画。当然，最终的科学咨议仍是要落实到实习，真正物理上可以告终，本事确认有卵白质组织。比如医药咨议方面，很众病理的咨议都基于卵白质组织的咨议。

是以，本年的诺贝尔化学奖授予卵白质组织的展现，符号着全面科学界的承认，也意味着现在科学咨议的范式爆发了改变。之前的科学咨议基于洪量的实习查看，自后是实习查看与策画相联结，现正在是以大数据和人工智能相联结的科学咨议，这是一个出格首要的咨议本事进化。

诺贝尔奖的发表，更众的是叫醒人们对AI超预期发达和平常渗入性的注意，扩展人们对AI胀吹人类社会逾越式发达的盼望。

（1）10月11日，马斯克揭橥了无人驾驶出租车CyberCab（无监视FSD），推倒了人类对车的观念的懂得。

（3）10月13日，马斯克麾下的太空寻觅技能公司（SpaceX）新一代重型运载火箭星舰第五次试飞获胜，并正在这一经过中告终了技能上的庞大打破——初次考试用发射塔的死板臂（地步地被称为筷子）正在半空中逮捕助推器以告终接管并博得获胜。从本钱服从等各方面都可能看到，马斯克对AI的操纵是超前的。

恰是由于有这些办事暴露，正在社会各行业，无论是贸易、金融、创制业、社会处置，仍是医疗、教授、科研、任事等范畴都正在演练AI大模子，基于大模子开展操纵。举例来说，正在药物咨议范畴，素来揭橥一款新药寻常必要5至10年，现正在新药周期大范围缩减，本事即是基于数据预测。

全部做法是，第一步，先用策画预测卵白质的组织，无论人的效用细胞仍是病体的病毒组织，都要通过这个实习或者策画来预测。这个办事目前已与人工智能联结起来，如AlphaFold曾经揭橥到第六版了，它是一个开源的软件来预测寻常细胞或是病体。然后，再去找新咨议的药物或已有的基药，通过实习和策画机测试这些药对这个组织（靶体）是否有效。依托人工智能收罗的洪量数据，可能正在较短的时候内查看小分子药对病体的响应，以得出是否有效的结论。过去做这项实习可以必要5-6年时候，诈欺AI可以正在一年或更短时候内就能告竣第一步办事。

第二步要进入临床测试。全面的新药务必原委临床一期、二期确定太平后本事投放运用。人工智能正在临床测试经过中也有很众助助，紧要是通过人工智能举行洪量数据的对照和多量量数据解决。特殊是前三年的疫情功夫，美邦与中都门正在敏捷咨议极少应对新冠的殊效药，出药的时候比过去速众了。可能说，人工智能发达之后，极大晋升了生物医药研发速率。

人工智能的三因素席卷算力、数据、算法。个中算法相对固定，数据也对比明白，有大范围的数据本事演练数据，然后发作智能。

现正在曾经总结出三者的联系，所谓的范围定律（Scaling Law），道理是咱们做每一个演练的数据、大模子参数和所需的算力，遵守算力等于6倍的数据量，再乘以参数目如此一个联系。比如GPT-4是一个万亿参数的大模子，它的数据量也是万亿token（token是一个很小的单元把数据都瓦解开），那么2个万亿级乘起来再乘以6，大抵是一个10的25次方的量级，这个量级是什么观念呢？现正在所谓的E级机，也即是目前最速的超等策画机，它的算力是10的18次方，称作E级，那么从E级到10的25次方还差7个数目级，因而策画量即是靠大范围的呆板长时候的策画来告终。比如GPT-4运转的是2万张A100GPU卡，正在上面演练了90天。因而说症结是算力。大模子对算力的需求延长出格速。

马斯克正在本年上半年修筑了一个基于GPU的最速算力编制，用10万张H100GPU卡组成的AI集群编制来支持他的主动驾驶和呆板人。修筑如此范围的呆板，制价约40亿美元，每年功耗150兆瓦，电费高达1.2亿美元。假设邦内要修筑一个10万块范围才气的卡，根本上要花黎民币40亿元，每年耗电约1.2亿元。

从超等策画机的角度来看，GPT即是一个样板的散布式和并行策画的一个操纵。由于H系列、A系列的GPU卡是一个万能卡，超算、智算都可能做。受到美邦的局限，邦内很众常睹的算力卡受到很大的局限，只可有16位或32位，这种情形下的GPU就只可做人工智能的大数据解决。所谓智算算力是邦内的一种说法，邦际上往往的说法是AI超等策画机，由于它历来做的即是一个超等策画机的操纵。从全面呆板来看，AI超等策画机蓝本就由10万张卡堆正在一道，那么如何把它们堆到一道？真正中央的实在是互联技能，能把上万张卡放到一道，做统一个标题，可以安靖策画起码几个小时。

是以，超等策画机的难度不正在于GPU卡自己，而正在于这个编制，因而各都门特殊注意超等策画机的发达。特殊是美邦。比如，美邦邦度策画5年内投资2800亿美元以连结美邦正在芯片和策画技能范畴的领先名望；欧盟策画供给12亿欧元资金用于欧洲合伙益处首要策画——下一代云根源举措和任事；日本经济财富省拟为5家日本企业供给总额725亿日元的补贴，用于打制人工智能超等策画机。

从邦际上看，美邦和中邦正在人工智能范畴有大范围发力的维持。一方面，美邦事由政府指引，头部公司发力。比如Meta、微软&OpenAI、马斯克的xAI等众家AI巨头公司继续揭晓或者告竣10万卡集群范围维持。据IDC统计，估计2022年至2032年环球人工智能财富范围的复合延长率高达42%，2032年将抵达1.3万亿美元。至2023年合，环球算力总范围约为910EFlops，延长40%，智能算力范围抵达335EFlops，延长达136%。

算力的发达与邦度的气力亲昵联系，与GDP走势呈正联系。比如，算力发达较为急忙的美邦和中邦，GDP的体量也处于领先名望，属于第一梯队。日本、德邦、法邦、意大利等GDP活着界上占对比高的蓬勃邦度，属于第二梯队。其他发达中邦度，以及范围较小的邦度则属于第三梯队。

算力代外新质出产力。2022年12月，邦务院印发《十四五数字经济发达筹办》提出，到2025年，数字经济中央财富扩展值占GDP比重抵达10%的首要发达目的。2023年，中共焦点、邦务院印发了《数字中邦维持举座构造筹办》，个中真切提出，数字中邦维持遵守2522的举座框架举行构造。

数字战术的奉行符号着中邦从工业社会进入音讯化社会。目前上海走正在数字都会发达的前线，世界各地的发达差异较大。2021年5月，邦度发达转变委、焦点网信办、工业和音讯化部、邦度能源局团结印发了《世界一体化大数据核心协同立异编制算力要道奉行计划》。2022年1月，邦度发改委提出，我邦构造八大算力收集邦度要道节点，奉行东数西算工程，支持大范围算力安排，修筑立成以数据流为导向的新型算力收集体例。2023年12月25日，又揭橥了《长远奉行东数西算工程，加快修筑世界一体化算力网的奉行看法》，提出了世界一体化算力网。

东数西算工程布置了8个要道节点，京津冀、长三角、粤港澳和成渝区域等4个音讯化蓬勃区域，紧要肩负操纵算力。内蒙、甘肃、宁夏、贵州等4个欠蓬勃区域动作供应方，供给绿电并转化成算力。自2023年起至2024年6月底，八大邦度要道节点直接投资跨越435亿元，拉动投资跨越2000亿元。各级地方政府把数字财富动作支柱财富发达，进入庞大。当然也给很众区域的经济带来了特殊的发达。

邦内三大电信运营商、互联网公司三巨头BAT（百度、阿里巴巴、腾讯），以及其他算力公司，都维持了万卡以上范围的算力来支持我邦的人工智能发达。

大模子等人工智能的敏捷发达对算力有着重大的需求，血本和社会力气进入也日益延长，那么，民众期盼的算力为何不行如愿立室呢？

一方面，摩登策画机受组织编制局限，存正在内存墙功耗墙IO墙等集成电途固有瓶颈，导致策画服从举座秤谌低。邦内题目特别了得，涉及AI超等策画机筑设、编制架构、算法优化等诸众题目，导致GPU算力诈欺率低于50%。另一方面，很众AI策画本事是通用的，从需求来看，愿望能用最好的人工智能摆设来保证大模子演练运转通畅。但因为美邦方面的局限，我邦很众自立算力的兼容性较差，生态编制不足完好，很众算法迭代的速率较慢，某些方面还不足先辈，使得全面策画服从又打了一个扣头。

主讲之后，上海市算力收集协会专家们开展磋议，专家会员沈巍（中）主办，商汤科技大安装奇迹群生态履行总监刘运辉（右）和上海超算核心高功能策画部部长王涛出席

一方面，集成电途自己的个性使得其本身发烧，这即是电力糟蹋，还要给其筑设制冷摆设，把它的热量带出去，这即是二次糟蹋。策画机中数据的传输本钱出格高，比如，念从北京拷个数据到上海，可能通过收集传输，然则一朝抵达P级（1PB=1024TB）或者再大范围的数据，收集传输的本钱和速率就远远不如直接派人去北京把数据拷到硬盘里带回上海的速率和本钱。底细上，微观的数据传输本钱，即从一个CPU传到另一个CPU的本钱也是最高的。有一个预测，当半导体工艺抵达7纳米时，数据搬运功耗占总功耗的63.7%。也即是说，策画机里真正耗能的紧要是数据的通报，正在超等策画机里数据的同步和传输也是最花时候和电力的。

算法计划也是最首要的办事。比如并行策画。实在人类全面的办事都适合串行策画。到目前为止，策画机也无法主动告终并行策画，还必要人工介入把劳动分拨好。因而，真正策画难度正在于把策画机里这些成千上万个核同步骤动起来，让它们干一件事宜，这也必要耗能。

另一方面，宏观上可以要创筑很众数据核心。一个摆设起码运用5至8年才会更新或落选，老旧摆设对能丧失耗也相当大。据邦内统计，近5年我邦算力核心的耗电量根本抵达15%的延长速率，高于我邦的GDP增速。全面数据核心的耗能占总耗电量的5%至6%。2023年世界数据核心总耗电量曾经抵达1500亿度。

看待策画机的能耗，咱们现正在还只可做极少外围办事。看待怎样下降策画机自己的电耗，目前还无解，就看下一代策画机是否有革命性的打破。目前算力核心选取了最先辈的液冷，将全面策画机放到一种奇特的液体中举行制冷，但维持本钱很高，初期的一次性进入出格大。假设把制冷液也计入本钱，那从投资的角度来说，根基就没有节约。另一种本事是用所谓的绿电，太阳能、水利发电，这种本事的污染相对较少。其它，迩来也有主见提出把呆板筑到月球上。小范围的呆板可能操作，大范围的呆板难以告终，由于呆板自己十几兆、百兆瓦的耗电量，正在月球上难以管理。因而，能耗题目是策画机出格头疼的一个题目。

人类必要策画机管理百般各样的题目，岂论是场景情况仍是品种需求日益增加，然则策画机组织简单，管理计划即是一个简单组织或固定组织，策画机很难有一个动态的改变来顺应人类的题目。对此，策画机科学家也正在勤勉寻觅。

从策画机硬件来看，正在升高算法正在呆板里的服从上已新揭橥极少新架构，比如华为揭橥的人工智能专用途理单位NPU（Neural-network Processing Unit），即嵌入式神经收集解决器，即是针对人工智能升级收集计划的功能更优芯片。谷歌向量策画也正在做我方的TPU（Tensor Processing Unit，张量解决单位）芯片，另有运用场景特别轻巧的FPGA（Field-Programmable Gate Array，现场可编程门阵列）芯片，以及针对特定操纵范畴的ASIC（Application-Specific Integrated Circuit，操纵型专用集成电途）芯片。这些芯片组织可能升高咱们管理题目的服从，然则通用性会差极少。幸而针对人工智能的算法是一个特定的算法，可能升高服从。

从软件的角度起程，现正在的策画本事与硬件的立室联系较差，因而现正在也正在改观算法，然则算法也禁止易改观。辛顿从1980年代就发轫咨议人工智能的卷积神经收集算法，纵然人工智能有很众算法的计划，但性子上弗成以正在短期内有更大打破，因而要将软硬件两者联结起来，尽可以升高服从。

一是模仿人脑举行数据传输和运算的存算一体机。人脑自己就存储了很众音讯，运算时只消把两个神经元连结到一道。存算一体是粉碎冯·诺依曼组织的一个全新发达倾向，目前也有极少结果。

二是量子策画。从策画机的角度看，咱们盼望量子策画的降生，为策画机带来革命性的庞大发达。量子策画也有很众本事，比如超导策画，正在情况温度冷却到负273度的情形下发作超导，然后设置策画机根源。另有光子子、中微子机合等方法。该范畴目前邦内也正在主动咨议，愿望可以创作出推倒性的结果。

三是生物存储。现正在的存储仍是集成电途，异日愿望策画机可以模仿人类举行卵白质组织存储。这方脸庞前也正在举行极少实习，但隔绝进入运用还很遥远。

四是脑机接口。这也是一个新的发达倾向。寻常来说，将一个小学生培植到博士，起码必要20年时候。一朝脑机接口咨议获胜，可以几小时之内就把小学到博士阶段的学问须臾灌输到人脑中了。脑机接口隔绝临床运用另有很远的隔绝，目前更众的咨议是针对瘫痪病人，用一个芯片与人脑的神经直接对接上，然后把信号通报出来，或者将外部的信号输入到人脑中。然则人脑组织特殊庞杂，个中的血管不行触碰，容易酿成毁伤。因而这也是一个极具遐念力，可以从根基上管理咱们的学问研习和操纵的一个倾向。

岂论是量子策画、生物存储仍是脑机接口，现正在美邦的咨议是走正在咱们前面的，但我邦也正在各个方面主动构造，愿望正在新一代科学技能和工业等方面的发达中，可以走活着界前线。