黄仁勋TWG声明:每个公司都必须了解“养虾”

作者:网易情报创建小编|王凤智 3 月 16 日,在加利福尼亚州圣何塞,超过 18,000 名观众共同见证了 NVIDIA 年度 GTC 大会的开幕。在长达两个多小时的密集发言中,黄仁勋透露了AI市场的中心转变:从“训练”到“推理”。基于此,他做出了一个令人震惊的预测。到 2027 年底,Blackwell 和 Vera Rubin 的两代架构将提供至少 1 万亿美元的累计收入机会。为了解决推理时代巨大的计算能力差距,NVIDIA 打破了单芯片处理的传统,将推理分为两个步骤。 “预填充”的第一阶段(将自然语言转换为标记)由下一代处理器 Vera Rubin 处理。第二个“解码”阶段(根据令牌生成响应)专门负责新集成的 Groq 芯片。这种组合提供了数十时间每瓦性能更高。其中,专注于低延迟计算的Groq(称为Groq 3 LPU)计划于今年晚些时候推出。同时,Vera Rubin系统的高价值层性能是上一代Grace Blackwell的10倍,计划于2026年底发布。在长期硬件规划方面,黄仁勋预览了代号Kyber的下一代架构。它将144个GPU垂直集成到计算托盘中,旨在进一步提高密度并减少延迟,预计将在2027年出货的Vera Rubin Ultra中使用。它还暗示了继以物理学家Rubin-the-Feynman命名的Rubin-the-Feynman芯片之后的长期产品线。此外,英伟达的野心不再局限于地球。 Vera Rubin与Axiom Space等公司合作,推出Space-1模块,正式启动“轨道数据中心”计划,并宣布进军AI太空计算。除了即兴发挥除了极限计算能力之外,这种变化也影响了软件生态系统。在面对流行的开源项目OpenClaw时,黄仁勋形容其重要性堪比Linux和HTML。这不仅允许人工智能代理调用工具、分解任务并自主执行它们,还允许重构软件架构。为了确保企业级应用程序的安全性和控制,NVIDIA 发布了 NemoClaw 参考设计。 “今天,世界上每家公司都需要有一个 OpenClaw 策略,一个代理系统策略。这就是新计算机。”黄仁勋强调,传统SaaS将彻底演变成“Apeople as a service(GaaS)”。为每位工程师提供“代币年度预算”将成为未来业务运营的新规范,从而带来 10 倍的生产力提升。以下是黄仁勋演讲全文(共25000字),字幕由编辑添加: 01 CUDA 20年,计算的基石欢迎来到 GTC,在这里方向盘与神经表征相遇。首先,我想提醒大家,这是一个技术会议。大家一大早就在排队。我很高兴认识大家。 GTC,我想谈谈技术和平台。你可能认为我们只谈论与其中之一相关的平台,即CUDA X。我们的系统是一个单独的平台,现在我们有一个新平台称为“AI Factory”。或者更重要的是,Ecosys我也会谈论Tim。但在开始之前,我要感谢几位热身环节的主持人,他们做得很好,包括人工智能投资公司 Conviction 的创始人郭锐、红杉资本(Nvidia 的第一个风险投资人)合伙人林俊瑞,以及科技投资者 Gavin Baker(Nvidia 的第一个主要机构投资者)。这三人对技术有着深刻的理解,对当前行业趋势有着深刻的理解,并且对技术生态系统的覆盖面极其广泛米。这是我亲自挑选的参加今天活动的全明星VIP阵容。谢谢大家。我们对所有参观我们展位的企业表示诚挚的谢意。如您所知,NVIDIA 是一家平台公司。我们拥有技术、平台和丰富的生态系统。目前,100个万亿产业几乎100%都集中在这里。 450家公司赞助了此次活动。谢谢大家。 1,000 场技术会议,2,000 名演讲者。这次会议将涵盖人工智能“五层蛋糕”的各个层面,从土地、电力和计算机实验室等基础设施,到芯片、平台、模型,当然还有真正让这个行业起步的应用程序。这一切都始于 CUDA。今年是CUDA诞生20周年。我们致力于 CUDA 已有 20 年了。我们20年来一直专注于这个架构。这是一项革命性的发明,称为SIMT(单结构多线程)。建造只需编写标量代码即可实现多线程应用程序。我们最近添加了一个平铺结构,以允许开发人员对张量核心进行编程。这些数学结构是当前人工智能的基础。我们拥有数千个开源工具、编译器、框架和库。 Probab 实际上有数十万个公共项目。 CUDA 真正集成到任何生态系统中。这张图基本上解释了Nvidia的整个战略。总之,最低的水平,即装机容量,是最难达到的。花了 20 年时间,如今全球已有数亿个 GPU 和计算机系统运行 CUDA。我们遍布所有云、所有 IT 公司,我们为几乎所有行业提供服务。 CUDA的巨大装机量是飞轮加速的原因。安装基础汇集了开发人员来创建新算法并实现深度学习和许多其他进步。这些进步创造了新市场和新生态围绕它们形成的茎,吸引其他公司的参与并建立更大的安装基础。这个方向盘正在加速。 NVIDIA 软件库下载 它正在呈爆炸式增长,规模庞大,而且增长速度比以往任何时候都快。该飞轮使该计算平台能够支持大量应用程序和许多新的进步。但最重要的是,这些基础设施的使用寿命非常长。原因很简单。可以在 CUDA 上运行的应用程序太多了。我们支持人工智能生命周期的每个阶段,为任何数据处理平台提供服务,并根据科学原理加速多种类型的求解器。由于这种多功能性,一旦采用 NVIDIA GPU,它的使用寿命就非常长。这就是为什么我们大约六年前发送到云端的 Ampere 架构 GPU 的价格不降反升。这一切之所以成为可能,主要是因为安装基数大、轮子转动快、开发人员范围广。当发生这种情况并且您继续更新软件时,您的计算成本将会降低。计算加速操作允许应用程序运行得更快。同时,在整个软件生命周期中持续维护和更新。您不仅会在第一次使用时获得更好的性能,而且随着时间的推移,您将继续享受加速计算带来的成本节省。全球所有这些 GPU 在架构上都是兼容的,因此我们很乐意维护和支持它们。我们之所以这样做,是因为装机容量非常大。当我们发布新的优化时,我们可以使数百万 GPU 和世界上的每个人受益。这种动态组合使 NVIDIA 的架构能够降低计算成本,同时扩大覆盖范围并加速增长,最终推动新的增长。所以 CUDA 是一切的中心。但我们的旅程实际上是在 25 年前从 GeForce 开始的。我相信你们中的许多人都是玩 GeForce 长大的。 GeForce 是 Nvidia 的 m最成功的营销活动。早在您可以自己购买之前,我们就开始吸引您,我们的未来客户。你的父母付钱让你成为 Nvidia 的客户。他们每年都会付钱给你,直到有一天你成为一名伟大的计算机科学家、真正的客户和真正的开发人员。但这些都是 GeForce 25 年前奠定的基础。我们从这里开始并逐步发展到 CUDA。 25 年前,我们发明了可编程着色器。让加速器可编程是一个当时看来没有必要的想法。世界上第一个可编程加速器像素着色器于 25 年前推出。这激励我们去探索更多。五年后,我们发明了 CUDA。这是我们有史以来最大的投资之一,但当时我们确实无力承担。这消耗了公司很大一部分利润;不过,我们仍然将 CUDA 放在 GeForce 和所有计算机上。我们建立这个平台是我全身心投入的,因为我强烈感受到它的潜力。在 th归根结底,这一切都取决于公司的努力。虽然一开始很困难,但我们一天比一天更加相信。经过 13 代产品和 20 年的发展,CUDA 现在已经无处不在。像素着色器确实彻底改变了 GeForce。然后,10 年前,我们推出了 RTX,并针对现代计算机图形时代完全重新设计了我们的架构。 GeForce 将 CUDA 推向世界,Alex Krizhevsky、Ilya Sutskever、Geoffrey Hinton、Andrew Ng 等人发现 GPU 可以帮助加速深度学习。这引起了人工智能的爆炸式增长。十年前,我们决定采用可编程着色并引入两个新想法。其中之一是光线追踪,它涉及硬件闪电追踪,这是非常困难的。另一个在当时是一个新想法。大约 10 年前,我们认为人工智能将彻底改变计算机图形学。正如 GeForce 将 AI 带给世界一样,它将彻底改变计算机图形的整个工作方式。今天我想向您展示未来会怎样。这是我们称为神经渲染的下一代图形技术,它结合了 3D 图形和人工智能。那是DLSS5。计算机图形变得栩栩如生,将可控 3D 图形和结构化数据与生成式人工智能和概率计算相结合。一种是完全预测性的,另一种是概率性的,但非常现实。我们将这两个想法结合起来,让您在生成数据的同时完全控制结构化数据。结果是令人难以置信的美丽和完全可控的内容。这种融合结构化信息和生成人工智能的概念将继续在所有行业中复制。结构化数据是值得信赖的人工智能的基础。 02 DayData 基础设施 cuDF/cuVS 核心库与云生态系统集成。您可能听说过 SQL、Spark、Pandas、Velox 以及许多其他非常重要的大型平台,例如 Snowflake、Databricks、Amazon EMR、Azure Fabric、Google Cloud BigQuery 等更多的。所有这些平台都处理数据帧。这些数据框是巨大的电子表格,包含您生活中的所有信息。这是结构化数据,是业务的事实基础,也是企业计算的事实基础。为了让人工智能处理数据,需要最大化数据处理速度。在没有加速的情况下可以对其进行处理之前。当然,您还将找到加速结构化数据处理的方法,以便您可以以更低的成本处理更多数据,每天更频繁地运行数据,并在整个企业中更同步地执行它们。然而,未来这些数据结构将被人工智能所使用,其处理速度将比人类快得多。未来的代理还将使用结构化数据库。当然,还有覆盖整个世界的非结构化生成数据库。大部分信息都是关于。每年生成的信息中大约 90% 是非结构化数据。截至目前,该数据已被公开对世界没什么用处。读取它,将其保存到您的文件系统中并保存。没有办法联系他们,很难找到他们,对付他们也极其麻烦。原因是非结构化数据难以索引,需要理解其含义和目的。那么现在让AI来做这件事吧。正如人工智能可以解决多模态感知和理解问题一样,相同的技术也可用于读取 PDF 文件、理解其含义,并根据该含义将其集成到更大的搜索和查询结构中。为此,NVIDIA 创建了两个基本库。为数据帧和结构化数据创建 cuDF,就像我们为 3D 图形创建 RTX,为矢量存储、语义数据、非结构化数据和 AI 数据创建 cuVS 一样。这两个平台将是未来最重要的两个平台。我特别渴望看到这两个库在这个复杂的全球数据处理系统中在网络上得到广泛采用。是因为数据处理领域已经存在很长时间了,有许多不同的公司、平台和服务。我们花了很长时间才深度融入这个生态系统。我对我们在这一领域所做的工作感到非常自豪。今天我们宣布了一些更重要的进展。第一个是IBM。作为 SQL(有史以来最重要的特定领域语言之一)的发明者,IBM 使用 cuDF 来加速 Watson X Data 平台。回顾历史,IBM在60年前就推出了System/360。它是第一个通用计算的现代平台,并开启了整个计算时代。后来,SQL 作为一种声明性语言的诞生,使得查询数据成为可能,而无需向计算机提供逐步指令。随着数据仓库的出现,它们为现代企业计算奠定了基础。现在,IBM 和 NVIDIA 正在使用 GPU 计算库来加速 IBM Watson X Data SQL 引擎并重新构想数据的处理方式d 人工智能时代。数据是赋予人工智能背景和意义的事实上的基础。人工智能需要快速访问大量数据,传统的基于CPU的数据处理系统已无法满足这一需求。例如,雀巢每天处理数千个供应链决策。该公司的订单到现金数据中心汇集了全球 185 个国家和地区的所有供应订单和交付事件。此前,雀巢每天只能多次更新 CPU 上的数据集市。 GPU Watson的使用标志着AI时代高速计算平台的到来。 NVIDIA 不仅可以加速云端的数据处理,还可以加速本地的数据处理。作为全球领先的计算机系统制造商和存储提供商,戴尔正在帮助构建戴尔人工智能数据平台。该平台集成了cuDF和cuVS,打造AI时代的加速数据基础设施。 NTT Data 的项目已经取得了显着的性能改进nts。至于谷歌云,我们和谷歌云有长期的合作。我们正在加速 Google 的 Vertex AI,我们也开始加速 BigQuery,这是一个非常重要的框架和平台。与 Snapchat 的合作项目发现 IT 成本可降低近 80%。加速数据处理和计算不仅可以提高速度和规模,更重要的是提供成本效益。所有这些好处合二为一。此前,这一进步来自摩尔定律,该定律规定性能每隔几年就会翻一番。换句话说,计算机性能每两年就会翻一番,或者计算成本会减半,但价格基本保持不变。现在摩尔定律已经结束,需要新的方法来实现持续的性能改进和成本优化。加速计算可实现这些显着的性能改进。并继续通过优化我们的算法,结合我们广泛的合作平均和庞大的安装基础,我们可以继续降低计算成本,扩大规模,并提高世界各地每个人的速度。但如果我们以 Google Cloud 为例,你可以看到我上面提到的模式。 NVIDIA 创建了一个运行一组软件库的高速计算平台。我举了三个例子。 RTX 是其中之一,cuDF 是另一个,cuVS 是第三个。这些软件库是建立在我们的平台上的。但最终我们希望融入全球和OEM云服务,并与其他平台合作,覆盖整个世界。这种模式会一遍又一遍地重复。这只是一个例子。 NVIDIA 和 Google Cloud 携手加速 Vertex AI 和 BigQuery。我们为与 JAX XLA 的合作伙伴关系感到自豪。我们在 PyTorch 方面表现出色,并且是世界上唯一在 PyTorch 和 JAX XLA 中都运行良好的加速器。我们支持的客户,例如 Baseten、CrowdStrike、Puma 和 Salesforce,不是我们的直接客户,但他们是我们的开发商。我们将 NVIDIA 技术集成到我们的系统中,并最终将其部署到云端。我们与云服务提供商的关系本质上是将您带到云服务提供商。整合软件库以加速工作负载并将这些客户转移到云端。正如您所看到的,大多数云服务提供商都喜欢与我们合作,并且总是要求我们将他们的下一个客户放在他们的云上。我想告诉你,我们有很多客户。让我们都加速吧。将会有许多客户能够访问云。请耐心等待。此外,我们与 AWS 有着悠久的合作历史。今年令我特别兴奋的一件很酷的事情是我们将 OpenAI 引入 AWS。这将推动 AWS 上云计算的大规模消费,扩大 OpenAI 的覆盖范围和计算能力。正如你所看到的,OpenAI 目前完全受到计算能力的限制。在 AWS,我们加速 EMR、加速 SageMaker 和 Accelera基岩。 Nvidia 和 AWS 之间的集成非常紧密。 AWS 是我们的第一个云合作伙伴。接下来是微软Azure。 Nvidia A100 超级计算机:我们构建的第一台超级计算机是供我们自己使用的,并且首次安装在 Azure 上。此次合作为 OpenAI 带来了巨大成功。我们与 Azure 合作已经很长时间了。我们目前正在加速 Azure 云并与 AI Foundry 密切合作。加快 Bing 搜索速度并与 Azure 区域中的 Microsoft 集成。该领域对于人工智能在全球范围内的持续扩张至关重要。我们提供的关键功能之一是机密计算。机密计算要求即使操作员也不能看到数据、触摸或看到模型。 Nvidia GPU 是世界上第一个实现这一目标的 GPU。现在,凭借我们的机密计算能力,我们可以支持机密计算以及 OpenAI 和 Anthropic 等高价值模型在云端和跨区域的安全部署。机密公司计算非常重要。例如,Synopsys 对我们来说是一个很好的合作伙伴。我们加速所有 EDA 和 CAE 工作流程并将其放入 Microsoft Azure 中。我们是甲骨文的第一个人工智能客户。大多数人可能认为我们是他们的第一个供应商。我们是您的第一个供应商,但我们也是您的第一个人工智能客户。我非常自豪,我是第一个向Oracle解释AI云概念的人,然后我们成为他们的第一个客户。从那时起,甲骨文才真正成长起来。 CoreWeave、Fireworks AI 和 MochiWe 有多个合作伙伴,其中包括 OpenAI 和 CoreWeave 之间的合作。 CoreWeave 是世界上第一个云原生人工智能。创办这家公司的唯一目的是开启加速计算时代,提供GPU托管,托管AI云。他们拥有优秀的客户,并且正在经历令人难以置信的增长。另一个让我真正兴奋的平台是 Palantir 和戴尔的结合。我们三个公司共同创建了一种新型人工智能平台:e Palantir 本体平台和人工智能平台。这些平台可以部署在任何国家、任何隔离区,完全在本地、完全在现场、完全自然的环境中。如果没有合理的计算能力,从构建端到端系统和提供数据处理(无论是矢量数据还是结构化数据)到人工智能加速计算以及人工智能软件堆栈的全部功能,这一切都是不可能的。我们想与您分享我们与世界各地的云服务提供商的独特合作伙伴关系的一些示例。他们都在这里。我很高兴在展位参观中见到您。感谢大家的辛勤工作。 Nvidia 是一家垂直整合但水平开放的公司。原因很简单。因为加速计算与芯片或系统无关。加速计算这一术语实际上遗漏了一个部分:应用程序加速。如果一台计算机可以高速运行所有程序速度,它就被称为CPU。但这不能再继续下去了。未来继续实现显着的应用加速并持续降低成本的唯一途径是对特定应用或特定领域进行加速。这就是为什么 Nvidia 需要按软件库、按领域和按垂直行业来推进其圣经软件库。我们公司是一家垂直整合的计算机公司。没有其他办法。我们需要了解应用程序,我们需要从根本上了解算法。我们需要弄清楚如何在每个所需的场景中部署算法:在数据中心、云中、本地、边缘和机器人系统中。所有这些计算机系统都是不同的。最后是系统和芯片。我们可以与您想要集成 NVIDIA 技术的任何平台合作。我们提供与您的技术集成的软件和软件库,为世界各地的每个人带来高速计算。此 GTC 插图评价很好。这里的每个人都代表了 NVIDIA 生态系统,包括供应链的上游和下游。真正有趣的是,在过去的一年里,无论是50年、70年还是150年的公司,我们整个上游供应链都成为了NVIDIA供应链的一部分,并与我们合作。大家,去年是创纪录的一年,对吗?恭喜大家。我们正在做一些大事。这是一个非常重要的事件的开始。 03 垂直行业驱动CUDA X软件库,为AI原生企业实现爆发式增长。正如你所看到的,我们已经为加速计算的计算平台奠定了基础。但要真正为这些平台注入活力,它们还需要特定领域的软件库来解决每个垂直领域重要的核心问题。现在它活跃在各个领域。以自动驾驶汽车为例。我们的覆盖范围、影响力和影响力已达到令人难以置信的水平。我们举办专门探讨这一领域的会议。在金融方面在社交服务中,算法交易正在发生,从传统的机器学习和人工特征工程到使用超级计算机检查大量数据,使系统能够自行发现见解和模式。该领域基于我们独特的深度学习和变革技术。我们正在享受这一刻。医疗保健行业也正在经历 ChatGPT 时刻。我们在这个领域正在做非常有趣的工作,并且有精彩的演讲。我们正在研究药物发现、人工智能物理学、人工智能生物学、用于客户服务和诊断支持的人工智能代理,当然还有物理人工智能和机器人系统。这些不同的 AI 方向有不同的平台,NVIDIA 都支持。在行业中,我们正在经历彻底的重置,并着手进行人类历史上最大规模的建设任务。如今,全球大部分行业都在建设人工智能工厂、芯片工厂和计算机工厂ies 位于此处。在媒体和娱乐领域(当然包括游戏),有实时人工智能平台可以支持翻译、流媒体、实时游戏和实时视频,其中许多都是由人工智能提供支持的。在量子领域,35家公司正在合作构建下一代混合量子GPU系统。零售和消费品行业使用 NVIDIA 技术来管理供应链、创建生成式采购系统以及创建用于客户服务的人工智能代理。这是一个价值 35 万亿美元的行业,还有很多工作要做。机器人技术是一个价值 50 万亿美元的制造业,Nvidia 已在该领域深耕 10 年,建造了三台计算机,它们是构建机器人系统所需的基本计算机。我们与全球几乎所有知名机器人制造公司都有合作。本次展会将有110台机器人参展。电信行业的规模与全球 IT 行业大致相同,约为 2 万亿美元在。基站无处不在,是世界上最大的基础设施之一。这是即将被彻底改造的老一代计算基础设施。原因很简单:到目前为止,基站仅起到基站的作用,但未来它们将成为运行AI的基础设施平台。人工智能运行到了极限。所以将会有一场大辩论。我们在这个领域的平台称为 Aéreo 或 AI-RAN。我们与诺基亚、T-Mobile 等许多公司合作。回到我们业务的核心,我刚才提到的一切都是建立在计算平台上的,但其中一个非常重要的就是CUDA X软件库。 CUDA X 软件库是 NVIDIA 发明的算法。我们本质上是一家算法公司。这就是我们的独特之处。这种能力使我能够深入研究每个行业,并想象一个世界上最好的计算机科学家可以编写问题、解决问题、重新思考问题、重新设计问题的未来。对其进行规范化,并将其变成一个软件库。我们取得了很多成就。我想我们在这次展会上推出了大约 70 个软件库和可能 40 个模型。始终更新。这些软件库是我们皇冠上的宝石。他们才是真正能够让这些计算平台解决实际问题并产生深远影响的人。我们创建的最大、最重要的软件库之一是 cuDNN,即 CUDA 深度神经网络软件库。这彻底改变了人工智能领域,并导致了现代人工智能的爆炸式增长。 20 多年前,我们创建了 CUDA,一种用于加速计算的独特架构。今天,我们彻底改变了计算。数千个 CUDA X 软件库之一可帮助开发人员在科学和工程的所有领域实现突破。用于决策优化的 cuOpt、用于计算光刻的 cuLitho、用于直接稀疏求解器的 cuDSS、用于几何感知神经网络的 cuEquivariance、用于 AI-RAN 的 Aerial、用于 d 的 Warp可微物理学和基因组学的 ParaBricks。从本质上讲,它们是算法,而且是美丽的东西。你刚才看到的一切都是模拟。其中一些是原则求解器,即基本物理求解器。其中包括人工智能代理模型、人工智能物理模型等等。其他包括人工智能机器人的物理模型。一切都是模拟的。没有手工动画或舞台动作。这基本上就是 Nvidia 正在做的事情。将算法理解与计算平台连接起来可以释放这些机会。这是CUDAX。我们现在有几个非常成熟的大公司,比如沃尔玛、欧莱雅,还有摩根大通。这些公司定义了当今社会。丰田就是其中之一。这些是世界上最大的公司。与此同时,还有很多你从未听说过的公司,我们称之为原生人工智能公司、初创公司。该名单包括许多新公司。您可能听说过其中一些,包括 OpenAI 和 Anthropic。但除此之外除此之外,还有更多的公司服务于不同的领域。近两年,特别是去年,发生了一些大的变化。我们与本土AI公司合作已经很长时间了,但是去年这个领域突然爆发了。我想解释一下原因。该行业呈爆炸式增长,已有 1500 亿美元的风险资本投资于初创企业,成为人类历史上最大的一轮投资。这也是投资规模首次从数百万、数千万美元跃升至数亿甚至数十亿美元。这是因为,所有这些公司历史上第一次需要大量的计算能力。需要大量代币。您需要创建和生成自己的代币,或者集成 Anthropic、OpenAI 等公司创建的现有代币以增加价值。因此,虽然这个行业在很多方面都有所不同,但有一件事是明确的:它所产生的影响以及令人难以置信的影响它已经提供的价值是非常明确的。原生人工智能公司的崛起是因为我们重新发明了计算。类似于P革命、C革命、互联网革命、移动云时代。无数新公司涌现。每个时代都有其标志性企业,我们谈论的是这个时代刚刚发生的重要变化。这一代人也有自己非常特别的公司。我们重塑计算。自然地,不可避免地会出现许多对未来世界产生重大影响的重要新公司。受影响的公司。谷歌、亚马逊和 Meta 等公司都是计算平台最新变革的结果。现在我们正处于新平台转型的开始。 04 范式转变 推理工作负载的爆炸式增长和代币经济 我想重点关注三件事。首先,ChatGPT无疑迎来了生成式AI时代。不仅仅是理解和识别,而是翻译和生成创造吃了独特的内容。我们向您展示如何集成人工智能生成器和计算机图形学使计算机图形学变得栩栩如生。大家好,大家都应该使用ChatGPT。我每天早上都用它,今天早上我用了很多次。 ChatGPT 开启了生成式人工智能时代。其次,生成计算与传统的计算方法完全不同。尽管生成式人工智能是一项软件功能,但它极大地改变了计算的完成方式。计算过去是基于搜索的,你需要的一切都会被搜索到。如今,系统具有生成能力,可以自行创建内容。当你听我谈论它时,请记住这一点,你就会明白为什么我们所做的一切都会改变计算机的设计、交付和构建方式以及计算的整个含义。生成式人工智能,即从 2022 年底到 2023 年。下一步是推理人工智能,从 o1 模型开始,认真从 o3 开始。推理能力让你思考难以理解的问题遇到问题,自己思考,计划,并将其分解为可理解的步骤和部分。您可以根据您的研究得出结论。 o1 基于可信事实创建生成式人工智能,让 ChatGPT 变得完全无处不在我实现了。那是一个非常非常重要的时刻。为了获得良好的结果,需要的输入令牌数量和为推理生成的输出令牌数量都显着增加。当然,更大的型号也是可能的。 o1 型号稍大一些,但也不算太大。然而,它需要输入标记来理解上下文,并需要输出标记来进行思维过程,这显着增加了计算量。然后是 Claude Code,第一个真正的代理模型。读取文件、编写代码、编译、测试、评估并返回迭代结果。克劳德代码彻底改变了工程软件行业。如您所知,NVIDIA 员工目前使用 Claude Code。我通常结合使用三种工具:Claude 代码、Codex 和光标。如今,没有一个软件工程师在没有一个或多个代理的帮助下编写代码。克劳德·科德(Claude Cord)是第一个指出这一转折点的人。现在,我们不再只是向人工智能询问“什么、在哪里、何时以及如何”等基本问题。开始创建、运行和构建。了解如何使用这些工具,包括访问上下文和读取文件。你将能够聪明地分解复杂的问题,一步步推理和反思。最后,不要只是找到答案,而是完成任务。可以感知的人工智能已经变成了可以生成的人工智能,然后是可以推理的人工智能,现在变成了可以工作的人工智能,而且工作效率非常高。我们都知道,过去两年计算需求大幅增长,对 NVIDIA GPU 的需求巨大。现货价格不断上涨,即使你想找 GPU,也找不到。但与此同时,我们出货了大量 GPU,需求持续增长。这背后是有原因的。因为根本性的变化正在发生。最后,我们已经达到了推理的转折点,人工智能可以完成富有成效的工作。人工智能现在需要思考,并且思考需要推理。人工智能现在必须采取行动,而要采取行动,它必须推理。人工智能必须阅读,而阅读它必须推理。 AI的每个部分都需要时刻思考、推理、行动、生成代币。现在我们已经过了简单训练的阶段,进入了推理领域。因此,我们已经达到了推理的临界点,此时所需的令牌数量和计算量比之前增加了大约10,000倍。让我们到此结束吧。在过去两年中,工作中的计算需求增加了 10,000 倍,使用量可能增加了 100 倍。人们听我的,但我认为计算需求在过去两年里增加了一百万倍。这是我们所有人的感受,这是每个初创公司的感受,也是 OpenAI 和 Anthropic 的感受。拥有更多的计算能力意味着可以产生更多的代币,可以产生更多的收入,更多的人可以使用代币,人工智能可以变得更加先进和智能。我们现在采用的是直接循环飞轮系统。我们已经到了那一刻。推理的转折点已经到来。去年的这个时候,我在这里说,到 2026 年,我们将看到来自 Blackwell 和 Rubin 的约 5000 亿美元的非常可靠的需求和订单。我不知道你是否有同感,但 5000 亿美元是一笔很大的收入,没有人感到惊讶。也许你会明白为什么你不感到惊讶。因为你们都度过了创纪录的一年。今天,也就是去年 GTC 过去一年,我站在这里告诉大家,到 2027 年,我们看到了至少 1 万亿美元的市场机会。这看起来合理吗?下面我会谈到这一点。事实上,供给不能满足需求。我确信实际的计算要求比这高得多。这是有原因的。首先,去年我们做了很多工作。 2025年肯定会对于 Nvidia 来说是重要的一年。我们的目标不仅是在训练期间和训练后做好工作,而且要在人工智能的每个阶段提供最佳性能。我希望能够证明这一点。通过这种方式,我们将能够尽可能长时间地扩大对基础设施的投资。 Nvidia 的基础设施使用寿命较长,因此从长远来看成本非常低。您使用它的次数越多,您的成本就越低。毫无疑问,NVIDIA 系统是世界上成本最低的人工智能基础设施。第一部分是去年全行业对推理人工智能的关注导致了这个拐点。同时,我们很高兴 Anthropic 去年加入了 NVIDIA 生态系统,Meta 也选择了 NVIDIA。这些合作伙伴合计占全球人工智能计算能力的三分之一。此外,开源模型接近最前沿并且几乎无处不在。如今,NVIDIA 是世界上唯一可以运行任何人工智能领域,无论何种语言,包括语言、生物学、计算机图形学、计算机视觉、语音、蛋白质、化学、机器人等。我们涵盖所有人工智能模型,包括语言、生物学、计算机图形学、计算机视觉、语音、蛋白质、化学、机器人等。 NVIDIA 的架构适用于所有这些领域,并且我们在每个领域都表现出色。这使我们成为最可靠、成本最低的平台。当你考虑构建这些系统时,正如我之前提到的,1 万亿美元的基础设施是一项非常大的投资。您必须完全相信您所投资的数十亿美元将得到充分利用、表现良好、获得高额利润,并且您的 NVIDIA 基础设施投资具有可预测的使用寿命。只有这样你才能放心投资。事实证明,这是世界上唯一可以在任何地方安全建造的基础设施。如果您想将其放入云端,我们将很乐意这样做。如果您想将其放置在本地我们将很乐意这样做。如果您想将其安装在任何国家/地区的任何地方,我们将很乐意为您提供帮助。vinegar。我们现在是一个可以运行所有类型人工智能的计算平台。接下来我们看一下我们的业务结构。约60%来自超大规模云服务提供商,主要是排名前五的超大规模云服务提供商。但即使在排名前五的公司中,部分原因是内部人工智能消耗。例如,推荐系统正在从传统的基于表格的协作过滤和内容过滤技术转向深度学习和大规模语言模型。搜索正在经历类似的变化。几乎所有这些超大规模工作负载都正在转变为 Nvidia GPU 非常擅长的工作负载。此外,我们与原生人工智能公司组成的庞大生态系统密切合作,这些公司可以与任何人工智能实验室合作,加速任何人工智能模型,并将其部署在云端,因此无论您的投资有多大,无论您的计算速度有多快,水将被消耗。该部门占我们业务的 60%。剩下的 40% 分布在各个地方,包括区域云、主权云、企业、工业、机器人、边缘、大型系统、超级计算系统、小型服务器和企业服务器。系统数量惊人。 AI的多样性也是其韧性的源泉。人工智能之所以具有这种弹性,是因为它涵盖的范围很广。毫无疑问,它不是单一的应用技术。这是一个根本性的变化,绝对是新计算平台的转折点。因此,我们的工作就是不断推进技术。我去年说的最重要的事情之一是,这是推理的一年。我们会尽力而为。当 Hopper 架构处于全盛时期且运行良好时,我们决定冒很大的风险,彻底改造它。我们认为Hopper架构中的NVLink连接数量(NVLink 8)应该更上一层楼。所以我们彻底重新设计编辑了整个系统,并通过完全拆卸系统创建了 NVLink 72。它的构建、制造和编程方式已经完全改变。 Grace Blackwell NVLink 72 是一场豪赌,对任何人(包括我这里的许多合作伙伴)来说都不是一件容易的事。感谢大家的辛勤工作。此外,NVFP4 是一种完全不同类型的张量核心和计算单元。我们证明,使用 NVFP4 进行推理不会损失准确性,并显着提高性能和能源效率。 NVFP4 也可用于训练。这就是为什么我们看到 NVLink 72、NVFP4、Dynamo、TensorRT-LLM 的发明以及许多新算法的崛起。我们还构建了一台超级计算机,帮助我们优化内核,优化整个软件堆栈。这称为 Nube DGX。我们在超级计算能力上投资了数十亿美元,以帮助开发使其成为可能的核心和软件。所有结果都将被合并。过去有人对我说过这样的话:“Jensen,太容易推理了。”但实际上,推理是根本问题,非常重要,因为它直接影响你的收入。这是最终结果。这是有史以来最广泛、最全面的人工智能推理基准测试 SemiAnalysis 的报告。向左看,这个轴是每瓦特生成的代币数量。这很重要,因为每个数据中心、每个工厂都有固有的功率限制。一个 1 GW 的工厂永远不会变成 2 GW,这是物理定律。因此,1 吉瓦的数据中心需要推送最大数量的代币,这就是该工厂的输出,并且 X 轴越高越好。当然,我们响应的速度越快,我们的响应速度就越快。但更重要的是,更快的推理意味着您可以运行更大的模型,处理更长的上下文,这意味着您可以产生更多的想法。代币,本质上决定了AI的智能程度。所以x轴实际上是AI的性能和AI的智能水平。然而,请记住,随着人工智能变得更加智能,性能将会下降。这很自然,对吧?因为需要时间思考。所以这个轴就是速度。我稍后会回到这里。这非常重要,所以可能会有点痛苦,但是非常重要。请看一下。未来,世界上的每一位首席执行官都会以我即将描述的方式看待他们的业务。 ,因为这是你的代币工厂,这是你的人工智能工厂,这是你的收入来源。这绝对是未来。所以这就是性能,这就是智能。对于给定的数据中心功耗,每瓦性能越好,吞吐量越高,可以生成的令牌越多。另一个因素是成本。你可以看到Nvidia拥有世界上最好的性能。这本身可能并不令人惊讶。什么是真正令人印象深刻的ssive是一代产品的改进程度。根据摩尔定律,性能可以在短短几年内翻倍。升级第一代产品中的晶体管可将性能提高 1.5 倍。下一代产品预计将比 Hopper H200 强大 1.5 倍。但谁也没想到竟然增长了35倍。去年的这个时候,我说过 Nvidia 的 Grace Blackwell NVLink 72 提供了 35 倍的每瓦性能。没有人会相信我。 Semianalysis 随后发表了一份报告,迪伦·帕特尔 (Dylan Patel) 发表了评论。他指责我拖拖拉拉(出气筒)。 “Jensen 有一些保留,但实际上是 50 次,”他说。他没有错。因此,我们的每个代币成本是世界上最低的,没有什么可以打败它。正如我之前所说,如果架构是错误的,即使它是免费的,它也不够便宜。发生了什么,这是因为我们还要建设一个1GW的数据中心和一个1GW的工厂。对于那1吉瓦工厂,15 年投资回收期的摊销成本约为 400 亿美元。即使我们不投入任何东西,这仍然是 400 亿美元的投资。因此,最好确保您的设施中拥有最好的计算机系统,以最大限度地降低代币成本。 Nvidia 的代币成本是世界一流的,目前基本上没有竞争对手。这是可能的原因取决于软件和硬件的极端协同设计。所以我很高兴他们给了我们这个称号。曾经有美猴王,现在有令牌王。正如我所说,我们正在垂直整合所有软件,但水平开放。我们以任何可能的方式为世界各地的推理服务提供商打包和集成所有软件和技术。这些公司发展得太快了。比如Fireworks AI的林(林俊瑞)今天也来了。它们增长得非常快,去年就增加了 100 倍。他们是芯片工厂。对于他们来说,什么是重要的是代币生产的效率、性能和成本。这就是发生的事情。我更新了软件,但我仍然使用相同的系统。如果你看看他们代币的速度,差异是令人难以置信的。在NVIDIA推出所有算法、所有软件和所有技术之前,每秒处理的令牌平均数量约为700个。此后已提高到近5000个。7倍。这就是终极协作设计的不可思议的力量。我之前提到过工厂的重要性。这就是工厂的重要性。曾经是存储文件的数据中心现在是生成令牌的工厂。无论如何,工厂都是有限的。每个人都在寻找土地、电力和发动机室的外壳。一旦建成,您就受到电力的支配。如果您有功率限制。我们知道推理是工作量,代币是新产品,计算是收入来源,所以我们需要确保推理是在我们的基础设施上可靠地执行。我们需要确保我们未来的架构尽可能优化。未来,所有人的云服务商(CSP)、所有的IT公司、所有的云公司、所有的AI公司(其实就是所有的公司)都会思考代币工厂的运营效率。这是你未来的工厂。我知道这一点,因为这个房间里的每个人都受到智慧的驱动。未来,这种智能将通过代币得到增强。 05 硬件架构路线图 Vera Rubin 和 Groq 系统集成 让我们看看我们是如何走到今天这一步的。大约 10 年前,即 2016 年 4 月 6 日,我们推出了 DGX-1,这是世界上第一台专为深度学习设计的计算机。八个 Pascal GPU 通过第一代 NVLink 连接。该计算机的运算能力为 170 teraflops。这是世界上第一台为人工智能研究人员构建的计算机。 Volta 推出了 NVLink 交换机。 16 个 GPU 以全带宽连接,并且它们很重要ke巨型GPU。这是向前迈出的一大步,但模型继续变得越来越大。数据中心应该成为一个单一的计算单元。随后 Mellanox 加入了 Nvidia。 2020 年,DGX A100 SuperPOD 成为第一台将升级和升级架构相结合的 GPU 超级计算机。 NVLink 3提供垂直扩展,而ConnectX-6和Quantum InfiniBand提供水平扩展。随后Hopper,第一个搭载 FP8 Transformer 引擎的 GPU,迎来了生成式 AI 时代。 NVLink 4、ConnectX-7、BlueField-3 DPU、第二代 Quantum InfiniBand:彻底改变计算。 Blackwell 通过 NVLink 72 重新定义了 AI 超级计算机的系统架构。72 个 GPU 通过 NVLink Spine 连接,提供每秒 130 TB 的全带宽。该计算托盘集成了Blackwell GPU、Grace CPU、ConnectX-8和BlueFi Eldo-3。水平扩展在Spectrum-4以太网上完成。随着预训练、后训练、推理三大扩展定律的全面推进速度的提高以及当今智能代理系统的出现,计算需求继续呈指数级增长。如今,Vera Rubin 的架构专为人工智能代理的各个阶段而设计,推动了计算的各个支柱,包括 CPU、存储、网络和安全性。 Vera Rubin NVLink 72,3.6 exaflops 的计算能力,每秒 260 TB 的全对全 NVLink 带宽。该引擎提供智能AI时代的超能力。 Vera CPU 机架专为编排和代理工作流程而设计。 STX 机架是基于 BlueField-4 的 AI 原生存储,使用 Spectrum-X 进行水平扩展和通用封装光学器件,以提高电源效率和可靠性。我们还添加了一个有趣的新产品:Groq 3 LPX 机架。与维拉·鲁宾关系密切。 Groq LPU 具有大量片上 SRAM,使其成为 Vera Rubin 已经非常快的令牌加速器。两者相结合可将每兆瓦性能提高 35 倍。新维拉鲁宾平台rm:7 个芯片、5 个机架级计算机和专为智能 AI 设计的创新超级计算机。短短10年,算力翻了4000万。在过去,漏斗意味着持有筹码。非常好。维拉·鲁宾.当我们谈论维拉·鲁宾时,我们谈论的是整个系统。垂直集成、与软件完全集成、端到端可扩展并作为一个巨型系统进行优化。为什么它是为代理系统设计的,这是非常明显的。 Agent最重要的负载是思想,它是一个自由的语言模型。nde。大型语言模型变得更大并更快地产生更多标记,因此它们可以更快地思考。但它也需要访问内存,会消耗大量内存,比如KV缓存、结构化数据(cuDF)、非结构化数据(cuVS)。这对我们的存储系统影响很大,所以我们对它们进行了彻底的检修。我也使用工具。与人类对慢速计算机具有很高的容忍度不同,人工智能希望其工具尽可能快。这些工具(Web 浏览器以及未来可能的虚拟云 PC)需要尽可能快。这就是为什么我们创建了一款新的 CPU,旨在提供极高的单线程性能、极高的数据吞吐量、极高的数据处理能力和极高的能效。它是全球唯一一款采用 LPDDR5X 的数据中心 CPU,可提供无与伦比的单线程性能和每瓦性能。我们设计它可以与这些机架结合使用进行代理处理。这就是维拉鲁宾系统。请注意,从现在开始,它将采用 100% 水冷。所有的电缆都消失了。令人惊奇的是,以前需要一天两次安装的工作现在可以在两个小时内完成。制造周期显着缩短。这是一台 45°C 热水冷却超级计算机。它还减轻了数据中心的压力,并释放了最初用于冷却数据中心以供系统使用的成本和能源。这是我们的秘密。我们是世界上唯一一家构建了第六代可扩展交换系统的公司。这不是以太网、InfiniBand 或 NVLink。第6代NVLink非常困难。嗯,这非常困难,但绝对是。我为我们的团队感到自豪。 NVLink 真的很酷。这是新的 Groq 系统。我稍后会详细解释这一点。 LP30由8颗GU芯片组成,在世界上是独一无二的。世人看到的是第三代V1。目前已进入量产阶段。稍后会详细介绍。全球首款 CPO Spectrum-X 交换机也已全面投产。当光学器件封装在一起时,它们直接安装在芯片上并直接连接到硅。电子被转换成光子并直接连接到芯片。我们与台积电共同发明了这项工艺技术,也是目前唯一一家量产的公司。它被称为 CPO,它是完全革命性的。 Nvidia已经完全量产Spectrum-X。这是维拉C聚氨酯系统。它的每瓦性能是世界上任何 CPU 的两倍,并且已批量生产。我们从来没有想过我们会单独销售单个CPU,但现在我们单独销售许多CPU。这已经是一项价值数百万美元的业务。我对 CPU 架构师特别满意。我们设计了一款创新的 CPU,包括 Vera CPU、BlueField-4、STX 和新的存储平台。这是CX9。这些是机架并且相互连接。所有这些机架,这是我之前向您展示的 NVLink 机架,都非常重,而且这些年来似乎变得越来越重。我认为这是因为电缆的数量逐年增加。这项技术对于使用电缆系统构建结构化电缆数据中心非常有效,因此我也决定使用它。它是以太网,机架中有 256 个水冷节点,并且使用这些出色的连接器。您想看 Rubin Ultra 吗?这是 Rubin Ultra 计算节点。与水平滑动的 Rubin 不同,Rubin Ultra 可以滑入名为 Kyber 的新机架中并且可以将 144 个 GPU 连接到单个 NVLi 域。是的,您可以举起这个 Kyber 架子,但它太重了,您举不动。这是一个垂直滑入 Kyber 机架的计算节点。这里连接的是中景镜头。顶部的四个 NVLink 连接器滑入其中并成为节点之一。每个机架都是一个不同的计算节点。这是神奇的部分。这是中间安装背板,背面不再有布线系统:布线系统的铜缆运行距离受到限制。目前,该系统已连接 144 个 GPU。这也是新的 NVLink,它也垂直放置并连接到中央面板的背面。计算位于正面,NVLink 开关位于背面。巨大的计算机。鲁宾超。去年的幻灯片唯一一次再次展示是在 Nvidia 的主题演讲上。因为我想让他们知道,去年我说了一些足够重要的话,值得再次发言。这可能是未来最重要的图是人工智能工厂。世界上每一位CEO都遵循它并深入研究它。尽管现实情况比这复杂得多、多维得多,但我们还是探索了具有恒定能耗的 AI 工厂代币的性能和速度。这是因为功耗就是一切。代币性能和速度对于工厂来说始终很重要。这种分析直接反映在其结果中。你今年所做的事情将会反映在明年的收入中。这张图表是这一切的中心。正如我之前提到的,纵轴是收益率,横轴是代币利率。今天我将再次向您展示这一点。我想。这是因为模型大小不断增加,令牌长度和上下文长度不断增加,从而允许更快的令牌速度。根据不同应用场景的级别,输入长度可以从10万个token到数百万个token。输入token的长度增加了,t的长度他的产出代币也增加了。所有这些最终都会影响未来代币的营销和价格。代币是一种新产品。和任何产品一样,当它达到转折点、达到成熟期或成熟期时,它就会被分成不同的部分。免费套餐可能使用更高的性能和更低的速度。下一个级别可能是中间级别。更大的模型适合不同的价位,更不用说更快的速度和更长的输入上下文长度。正如您在所有不同的服务中所看到的,这是一个免费套餐。第一级可能是每百万代币 3 美元。下一阶段可能是每百万代币 6 美元。我们需要继续突破极限。因为模型越大,它就变得越聪明,输入的 token 上下文越长,相关性就越强,速度就越快,思考和迭代的次数越多,AI 模型就变得越聪明。这些都是更智能的人工智能模型。有了更智能的型号,您可以每次升级都提高价格年级。这个售价 45 美元。也许有一天会出现一种可以超快生成代币的优质服务。因为您处于关键路径上或进行长期研究,所以每百万代币 150 美元并不是什么大问题。我们来转换一下。假设您作为一名研究人员,每天使用 5000 万个代币。这相当于每百万人 150 美元。作为一个研究团队来说,这不算什么。这就是为什么我们相信这就是未来,人工智能的发展方向,这就是我们今天所处的位置。从这里开始建立价值和效用,然后越来越多。未来,大多数服务将覆盖所有这些层。是霍珀。我也开始行动了。这是 50,这是 100。料斗看起来像这样。你可能预计下一代会更贵,但没有人想到它会这么贵。格蕾丝·布莱克威尔. Grace Blackwell 所做的就是大幅提高免费套餐的性能。但主要的好处是性能提高了 35 倍。这与产品制造商没有什么不同由世界各地的公司设计。更高的级别意味着更高的质量、更好的性能、更低的吞吐量和更少的容量。这与世界上任何其他企业没有什么不同。您现在可以将该级别提高 35 倍。我们引入了一个全新的水平。这就是格蕾丝·布莱克威尔的伟大之处。对于霍珀来说,这是一个巨大的飞跃。是的,格蕾丝·布莱克威尔。好吧,让我们重新开始吧。维拉·鲁宾.现在考虑每个级别会发生什么。他们的各个层面的表现都得到了提高。而在平均售价(ASP)最高、价值最高的细分市场,我们将其乘以10。这需要付出努力,而且在这个水平上很难做到。这就是 NVLink 72 的好处、极低延迟的好处以及可以改善整个领域的最大协同设计好处。那么从客户的角度来看,这最终意味着什么呢?假设您将所有这些加起来。假设您将 25% 的能源消耗用于免费套餐,25% 用于中等套餐,25% 用于高端套餐,高级会员为 25%。我的数据中心只有 1 吉瓦,所以我需要决定如何分配它。免费套餐可让您吸引更多客户并为最有价值的客户提供服务。所有这一切的产物基本上就是你的收入。在这个简化的示例中,Blackwell 的收入可以增加五倍。 Vera Rubin 的产能是原来的 5 倍。是的。因此,如果您是 Rubin,您应该尽快获得它,因为 Costoken 价格下降,性能上升。我会做的。但我们想要更多。我想要更多。正如已经提到的,这种性能需要大量的浮点运算,并且这种延迟和交互性需要大量的带宽。由于任何系统中的芯片表面积都是有限的,因此计算机不喜欢大量的浮点运算和极端的带宽。高吞吐量优化和低延迟优化实际上是相互矛盾的。所以当我将它与 Groq 结合起来时,就发生了这样的事情。我们获得开发 Groq 芯片的团队感到非常兴奋,获得了技术许可,并与他们合作集成了系统。看起来像这样。在最有价值的层面上,我们希望将性能提高 35 倍。这个非常简单的图表显示了为什么 Nvidia 对于大多数工作负载来说都如此强大。原因是这方面的表现太过逃避。我爱你。 NVLink 72 非常创新且架构良好,即使添加了 Groq,它也很难被击败。但是,如果将图表扩展到这一点,则每秒需要 1000 个令牌,而不是每秒 400 个令牌,突然之间,NVLink 72 就超出了其能力范围,根本无法实现。没有足够的带宽。这就是 Groq 的用武之地。这超出了 NVLink 72 的能力。那么 Vera Rubin 的收入将是 Blackwell 的五倍。如果您的大部分工作负载都是高性能的,我会 100% 选择 V​​era Rubin。如果您的工作负载需要大量编码和高价值工程令牌,请添加 Groq一代。我们可能会将整个数据中心的大约 25% 添加到 Groq,其余的将由 Vera Rubin 负责。以下概述了如何将 Groq 添加到 Vera Rubin 以进一步扩展其性能和价值。我之所以被 Groq 吸引,是因为它的计算系统是一个确定性数据流处理器,由编译器静态编译和编程。这样做的目的是,这意味着编译器决定何时执行计算,并且计算和数据同时到达。一切都完全通过软件静态预执行和编程,无需动态编程。该架构采用大量 SRAM 设计,专为该工作负载的推理而设计。而这个工作量竟然正是AI工厂的工作量。随着世界想要生成的快速、超级智能代币数量持续增长,这种整合将变得越来越有价值。这是两个极端的处理器。尽你所能看,一个芯片有 500 MB 的 SRAM,而 Rubin 芯片有 288 GB。许多 Groq 芯片都需要适应参数的大小。Rubin 的 tros 以及所有附带的 KV 缓存上下文。这限制了 Groq 变得流行和时尚的能力。直到我们有了一个好主意:如果我们使用名为 Dynamo 的软件完全打破推理,会发生什么?如果我们重构流程中推理的执行方式,会发生什么?这样我们就可以为 Vera Rubin 做正确的工作,并将解码生成(工作负载中这个困难、低延迟、带宽有限的部分)卸载给 Groq。因此,我们组合并集成了两种截然不同的处理器,一种用于高性能,另一种用于低延迟。这仍然没有改变它需要大量内存的事实。因此我们添加了一堆 Groq 芯片来扩展内存量。您可以想象,对于十亿个参数模型,所有这些都需要存储在 Groq 芯片上。但它就在 Nvidia Ver 旁边鲁宾.存储了处理所有代理 AI 系统所需的大型 KV 缓存。这是基于分解推理的思想。预加载很容易。但我们有紧密集成的解码。解码时要小心的部分是IDIA的NVVera Rubin完成的,但是需要大量的数学运算。同时,前向网络部分的解码和token生成部分都是在Groq上完成的。两者通过以太网紧密合作,使用一种特殊模式,将延迟减少约一半。此功能允许您集成两个系统。此外,我们还运行 Dynamo,这是一个非常适合人工智能工厂的操作系统。您将获得 35 倍的提升。提高 35 倍。更不用说代币生成的推理性能达到了前所未有的新水平。这是带有 Groq 的 Vera Rubin 系统。我们要感谢三星制造 Gro Chipq LP30。他们正在全力生产。我非常感激。我们正在生产大量的 Groq芯片预计将在今年晚些时候(可能是第三季度)发货。 Grok LPX,维拉·鲁宾。很难想象拥有更多的客户。我真正高兴的是,虽然第一个 Grace Blackwell 样本与 NVLink 72 的组合相当复杂,但 Vera Rubin 样本却进展顺利。事实上,我收到了 Satya 发来的短信,说 Vera Rubin 的第一个机架已经在 Microsoft Azure 上启动并运行。我为他们感到非常兴奋。我们需要继续满负荷生产。我们现在正在建立一个供应链,每周可以生产数千个这样的系统,基本上每月在供应链内生产千兆瓦的人工智能工厂。因此,我们致力于生产Vera Rubin机架,我们致力于生产GB300机架。目前已完全量产。 Vera CPU 取得了巨大成功。这是因为 AI 需要 CPU 来使用其工具,而 Vera CPU 就是针对这一最佳点而设计的。 Vera CPU 是下一代的理想选择n 数据处理。 Vera CPU 以及 BlueField-4 和 CX9 连接到 BlueField-4 STX,全球存储行业 100% 参与该系统的采用。原因是他们认识到同样的事情。这意味着您的存储系统将无法工作。过去,人类使用SQL和存储系统。从现在开始,AI将使用这些存储系统来存储cuDF加速存储、cuVS加速存储以及至关重要的KV缓存。嗯,这就是维拉·鲁宾系统。现在,这就是真正的魔力。使用刚刚显示的计算结果,摩尔定律可能会导致在短短两年内为发电厂提供数项改进措施,发电量达到 1 吉瓦。您可能将晶体管的数量乘以某个因子,将浮点运算的数量乘以某个因子,并将带宽量乘以某个因子。然而,这种架构将代币生成率从每秒 200 万个提高到了 7 亿个,增长了 350 倍。这就是终极协同设计的力量。那这就是我的意思。我们纵向整合优化,横向开放给大家享用。这就是我们的路线图。很快,奥布朗系统布莱克威尔到来了。对于鲁宾,我们有 Oberon 系统。我们始终向后兼容。因此,如果您想继续使用新架构而不进行任何更改,您可以这样做。旧的标准 Oberon 机架系统仍然可用。 Oberon On 是铜秤。 Oberon 还可以进行光学放大。抱歉,NVLink 576 光学放大倍率。最近,关于Nvidia是否会使用铜缆升级或光纤升级的讨论很多。因此我们使用 Kyber 和 NVLink 576 光学缩放器。 Ultra 适用于 NVLink 72。我们有 Rubin。 Ultra 芯片,回到磁带,我们有一个新芯片,LP35。 LP35 首次集成 Nvidia 的 NVFP4 计算结构,提供数倍的速度。这是 Oberon NVLink 72 光学定标器,它使用全球首款 Packa Spectrum-6ged光开关,全部量产。这里的下一代是费曼。当然,费曼有一个新的 GPU。还有一个新的LP40 LPU。巨大的进步,令人惊叹的新技术。现在 Nvidia 和 Groq 团队已经成长,这将是令人惊奇的。一个名为 Rosa(Rosalind 的缩写)的新 CPU 连接到了下一个 CPU CX10。获取 Khyber,这是一种铜秤。 CPO 升级:首次使用铜缆和封装光学器件来完成升级。很多人问:“Jensen,铜还重要吗?” Jensen,你打算扩展你的光学系统吗?是的。因此,需要更多的容量,这对生态系统中的每个人都很重要。我们需要更多的铜缆产能和光缆产能。这就是为什么我们与您合作,为这一水平的增长奠定基础。 n 都有。让我们看看我们是否错过了什么。就这样。每年都会有一个全新的结构。 06 基础设施建设 人工智能工厂 数字孪生与空间计算 综述至今,NVIDIA已经从一家芯片公司成长为一家AI工厂公司、一家AI基础设施公司、一家AI计算公司。这些系统现在正在建造整个人工智能工厂。这些人工智能工厂浪费了太多的能源。我们希望确保这些人工智能工厂以尽可能最好的方式集成。其中大部分组件以前从未见过。大多数技术提供商现在彼此认识,但以前从未在数据中心见过面。这种事永远不会再发生了。我们正在构建一个如此复杂的系统,我们实际上必须在其他地方遇到。我会这么做的。因此,我们创建了 Omniverse 和 Omniverse DSX 世界。这是一个我们可以虚拟聚集在一起设计这些千兆瓦级工厂、千兆瓦级人工智能工厂的平台。我们为机械、热力、电气和网络应用提供机架式仿真系统。这些仿真系统与我们所有生态系统合作伙伴的领先工具公司集成。另外,因为我们连接到电网,我们可以相互通信和发送信息,这样我们就可以更好地平衡电网上的电力和数据中心的电力,以节省能源。在数据中心内,Max-Q 使我们能够动态调整电力和冷却系统以及我们共同开发的所有不同技术,以便我们能够节省能源、以最佳速度运行并实现巨大的象征性性能。绝对有双重改进的空间。就我们正在谈论的规模而言,双重改进是巨大的。我们称之为 NVIDIA DSX 平台。与所有平台一样,有硬件层、软件库层和生态系统层。完全一样。让我告诉你。历史上最大的基础设施建设项目正在进行中。世界正在竞相建造人工智能芯片、系统和工厂。每个月的延误都意味着数十亿美元的收入损失。 AI工厂营收等于nu每瓦特的代币数量。因此,在功率限制内,每一未使用的瓦特都会作为收入而损失。 NVIDIA DSX 是 Omniverse 数字孪生模式,用于设计和运营 AI 工厂,以实现最大的代币吞吐量、弹性和能源效率。开发人员通过各种 API(应用程序编程接口)进行连接。 DSX SIM 用于物理、电气、热和网络仿真。 DSX Exchange用于AI工厂运营数据。 DSX Flex 用于网络之间的安全动态电源管理。 DSX Max-Q 用于动态最大化令牌性能。首先是由 NVIDIA 和设备制造商提供并由 PTC Windchill PLM 管理的支持 SIM 的资产。然后与达索一起进行基于模型的系统工程;使用 Systèmes 3DEXPERIENCE 完成。 Jacobs 将数据输入定制的 Omniverse 应用程序以完成设计。使用领先的仿真工具进行测试,包括用于外部热仿真的Siemens Star-CCM+、用于 i 的 Cadence Reality内部热模拟、电气模拟 EAP 以及 NVIDIA 的 DSX Air 网络模拟器。通过 Procore 进行虚拟调试,缩短施工时间。一旦站点投入运行,数字孪生就成为运营商。 AI 代理与 DSX Max-Q 配合动态调整您的基础设施。 FEDRA 代理监控电气和冷却系统并向 Max-Q 发送信号,Max-Q 不断优化计算性能和能源效率。 Emerald AI 代理实时解读网络电压和需求信号并动态调整能耗。通过 DSX,NVIDIA 及其合作伙伴生态系统竞相在世界各地构建 AI 基础设施,以确保最大的弹性、效率和性能。难以置信,对吧? Omniverse 旨在将数字孪生传输到世界各地。从地球开始,我们将携带各种规模的数字双胞胎。我们拥有良好的合作伙伴生态系统。谢谢大家。所有这些公司对于我们的世界都是新的。只是几年前,我们对你知之甚少。我们现在正在密切合作,建造全球范围内有史以来最大的计算机。所以NVIDIA DSX是我们新的AI工厂平台。这次我没有花太多时间。但我们仍然必须去太空。我们已经到太空了。雷神已经获得了辐射认证,我们现在已经登上了卫星。图像也可以从卫星获取。未来我们计划在太空建设数据中心。显然这是一项非常复杂的任务。这就是为什么我们正在与合作伙伴合作开发一种名为 Vera Rubin Space-1 的新型计算机,它将进入太空并开始在太空中建立数据中心。当然,在太空中没有传导或对流,只有辐射。因此,我们必须找到一种方法来冷却太空中的这些系统。但我们有很多优秀的工程师正在研究这个问题。 07 推出OpenClaw代理软件框架和企业IT重组。我们来谈谈新的事情吧。彼得·斯坦伯格来了。赫克吃了一个叫OpenClaw的软件。我不知道他是否意识到自己会如此成功。但它很深。 OpenClaw 是第一名。这是人类历史上最受欢迎的开源项目,我们在短短几周内就完成了它。这比 Linux 30 年来取得的成就还要多。这非常重要。效果很好。这是你必须做的。我们宣布对此的支持。我马上去查一下。我想向您展示其中的一些。只需将其输入控制台,OpenClaw 就会启动、搜索、下载并创建您的 AI 代理。然后你可以告诉它做你需要的任何其他事情。开源ecto项目已经启动。安德烈·卡帕蒂 (Andrei Karpathy) 刚刚开始了这项称为研究的工作,这非常棒。如果你给 AI 代理一个任务,然后去睡觉,AI 代理每晚可以运行 100 次实验,保留有效的实验,丢弃无效的实验。我真的很喜欢人们可以用我的工作做些什么。他说他 60 岁的父亲安装了它,并且 br我们说他制作了一台机器并通过蓝牙将机器连接到 OpenClaw。然后,他们使用 OpenClaw 实现一切自动化,包括龙虾订购网站(有数百人排队订购龙虾)。我想使用 OpenClaw 来构建 OpenClaw。每个人都在谈论 OpenClaw。但 OpenClaw 到底是什么?不管你相信与否,Claw Con 已经存在。我简直不敢相信。现在我已经向您解释了 OpenClaw 是什么,希望您能够理解。但让我们考虑一下到底发生了什么。 OpenClaw 到底是什么?这是一个系统。调用并连接到大型语言模型。首先,您拥有管理和访问大型工具、文件系统和语言模型的资源。您可以设置计划、运行计划任务以及将用户指令分解为分步步骤。可以生成并调用其他子代理。它具有输入和输出 (I/O),可以以任何模式进行通信。如果你向他打招呼,他就会理解你。你可以用任何方式说话。发送消息、短信和电子邮件伊尔斯。也就是说,它有一个入口和一个出口。还有什么?根据这些描述,我们可以说它实际上是一个操作系统。这正是我们之前用来描述操作系统的语法。所以,OpenClaw本质上是一个开源的智能计算机操作系统。这与 Windows 允许您创建个人计算机没有什么不同。 OpenClaw 允许您创建个人代理。它的影响是令人难以置信的。首先,他推出的速度说明了一切。但结论是这样的。在每家公司、每家软件公司、每家科技公司,CEO 面临的问题都是 OpenClaw 战略。现在我明白那是什么了。正如我们曾经需要 Linux 策略一样,我们需要 HTTP HTML 策略来打开互联网。需要一个 Kubernetes 策略来支持移动云。如今,世界上每家公司都必须制定 OpenClaw 战略,即智能系统战略。这是一台新电脑。现在到了令人兴奋的部分。这是企业IT。 OpenClaw 出现之前,企业工业 IT 是如何工作的:我之前提到过,这些大房间和建筑物被称为数据中心,因为它们存储数据、人员文件和结构化业务数据。该软件附带内置工具、日志系统和各种工作流程。他们投资于人类和数字工作者的工具。那是旧的IT行业。软件公司创建工具并存储文件,GSI(全球系统集成商)和咨询公司帮助公司了解如何使用和集成这些工具。这些工具对于治理、安全、隐私、合规性等都很有价值。所有这些仍然适用。然而,这就是后 OpenClaw 和后 Agent 时代将会发生的情况。这是令人惊讶的部分。每个IT公司、每个企业、每个SaaS公司都将成为GaaS公司,即代理即服务公司。毫无疑问。令人惊奇的是 OpenClaw 提供了业界领先的产品在正确的时间需要。正如 Linux 在正确的时间为行业提供了所需的东西一样,Kubernetes 在正确的时间出现了,就像 HTML 出现一样,它让整个行业能够利用这个开源软件堆栈并用它做一些事情。只有一个问题。公司网络内的代理系统可以访问敏感信息。它可以执行代码并与外界通信。只要大声说出来即可。访问敏感信息,执行代码,让我们考虑一下与外界的沟通。当然,您还可以访问敏感信息,例如员工信息、供应链和财务信息,并将其发送用于外部通信。显然这是不允许的。所以我们所做的就是和彼得一起工作。我们汇集了世界一流的 IT 和安全专家,并与 Peter 合作开发 OpenClaw 的企业级安全和私有化功能。这是 NemoClaw,NVIDIA OpenClaw 参考设计。这是一个参考使用所有这些用于代理的 AI 工具包来实现 OpenClaw,其中第一部分是一种称为 OpenShell 的技术,该技术现已集成到 OpenClaw 中。现在您已准备好开展业务。该软件堆栈附带一个名为 NemoClaw 的参考设计。下载、试用并连接到世界上每个 SaaS 公司的策略引擎。策略引擎极其重要,也极其有价值。您可以将策略引擎连接到 NemoClaw 或使用 OpenShell 在 OpenClaw 上运行它。策略防火墙和隐私路由器有助于保护企业内的 Claw。我们还为代理系统添加了一些功能。最重要的是,您可以使用自己的定制爪子来创建自己的定制模型。这是 NVIDIA 对开放模式的承诺。目前我们在人工智能模型的各个领域都处于领先地位,包括Nemotron、Cosmos、世界模型、GROOT、通用人工智能机器人、类人机器人模型、自主Alpamo、BioNeMo数字生物学和Earth-2人工智能物理。我们在各个领域都处于领先地位。请过来看看。世界是多种多样的。没有适合所有行业的单一模式。开放模型是全球最大、最多样化的AI平台生态系统之一。使用近 300 万个涵盖语言、视觉、生物学、物理和自主系统的开放模型为专业领域创建 AI。 NVIDIA 是开源 AI 的最大贡献者之一。我们创建并发布了 6 个系列的 Open Frontier 模型,以及训练数据、配方和框架,以允许开发人员自定义和部署新模型。每个系列都推出了名列前茅的新型号。 Nemotron 的核心是语言、视觉理解、RAG、安全和语音的推理模型。适合世界一代的尖端宇宙模型和理解人工智能的物理原理。 Alpamo,世界上第一辆具有人工智能思考和推理能力的自动驾驶汽车。通用机器人GROOT基本模型。 BioNeMo 是一个开放模组el 用于生物学、化学和分子设计。基于人工智能物理学的地球二号气候和天气预报模型。 NVIDIA 的开放模型为研究人员和开发人员提供了在其专业领域创建和实施 AI 的基础。我们的模型对您很有价值,因为首先,它们是最好的、世界一流的。但最重要的是我们永不放弃。我会继续每天学习。 Nemotron 3 之后是 Nemotron 4。Cosmos 1 之后是 Cosmos 2。这是第二代 GROOT。我们将继续改进每个模型。纵向整合,横向开放,每个人都可以加入AI革命,在研究、演讲、世界模型、AI机器人、自动驾驶、推理以及当然最重要的方面登上排行榜的顶端。 OpenClaw 的 Nemotron 3。看前三个。这是世界上最好的三个模型,这就是我们处于领先地位的原因。同样,我们要创建一个基础模型任何人都可以调整并训练以获得他们所需的精确智能。 Nemotron 3 Ultra。这是世界上迄今为止建造的最好的基础模型。事情就是这样。这将使我们能够帮助各国建立主权人工智能。我们与世界各地的多家公司合作。我们今天宣布的最令人兴奋的事情之一是 Nemotron 联盟。我们完全致力于此。我们已在人工智能基础设施上投资了数十亿美元,这将使我们能够开发所有推理软件库等所需的核心人工智能引擎。同时,也是打造AI模型,振兴全球各行各业。大语言的模型非常重要。这当然很重要,但人类的智力也不能不重要。但全球不同行业、不同国家都需要定制自己的模型的能力,而且模型的领域完全不同,从生物学到物理学、自动驾驶、一般的机器人技术,当然还有人类语言。我们有能力与每个地区合作,创建特定于其领域的主权人工智能。今天,我们宣布建立合作伙伴关系,让 Nemotron 4 变得更加精彩。这个财团中有一些大公司。 Black Forest Labs 是一家图像处理公司。 Cursor是我们经常使用的知名编码公司。 LangChain,用于创建自定义代理的下载量达 10 亿次。 “米斯特拉尔,”阿瑟说,“我想他就在这里,很棒的伙伴。”每个人都使用 Perplexity,它是一个非常酷的多模式代理系统。反思,印度的 Sarvam,思考机器,莫拉迪实验室(镜子)。我们有优秀的公司加入我们。谢谢。我说世界上每个企业、每个软件公司都需要一个代理系统,需要一个代理策略。需要 OpenClaw 策略。他们都同意并正在与我们合作集成 NemoClaw 参考设计、NVIDIA Agent AI 工具包,当然还有所有开放模型s。一家又一家公司。许多太多了。我们正在与您合作。我真的很感激。这是我们的时刻。这就是重塑。这是企业 IT 的复兴,从 2 万亿美元的产业发展到数十亿美元的产业。我们不仅提供人们可以使用的工具,而且还提供我们可以租用的特定专业领域的情报。很容易想象,未来公司的每位工程师都需要象征性的年度预算。他的年基本工资约为数十万美元。除此之外,给予一半的代币价值可以将效率提高 10 倍。我当然会的。这现在是硅谷的招聘工具之一。我的作品有多少个代币?原因很明显。每一位有权访问代币的工程师都会提高工作效率,因为如您所知,这些代币是由您和我们共同构建的人工智能工厂生成的。因此,所有合作今天的公司基于文件系统和数据中心。未来所有的软件公司都会变得聪明,成为代币制造者。他们为工程师使用代币,并为所有工程师使用代币。客户端创建一个令牌。 OpenClaw案件的重要性不可低估。这和HTML一样重要,和Linux一样重要。我们现在拥有世界一流的开放代理框架,任何人都可以使用它来创建 OpenClaw 策略。我们创建了一个名为 NemoClaw 的参考设计,该设计可供所有人使用,经过优化、有效、安全且可靠。 08 物理AI自动驾驶与机器人生态系统简介 说到智能体,如你所知,智能体识别、推理和行动。我今天谈论的大多数全球代理都是数字代理。他们在数字世界中运作,逻辑思考并创建软件。都是数字化的。然而,我们长期以来一直接触到被称为机器人的物理实体。我一直在努力。他们需要的AI是实体的人工智能。我们在这里有一个重要的公告。我很快就会讲一些。这里有110个机器人。我想不出有哪家公司生产的机器人不与 NVIDIA 兼容;世界上几乎所有的公司。我们有三台电脑。训练计算机、模拟和合成数据生成计算机,当然还有机器人内的机器人计算机。我们拥有您需要的所有软件堆栈和人工智能模型来帮助您。这一切都内置于我们的全球生态系统和我们所有的合作伙伴中,从西门子到 Cadence,他们都是世界各地令人难以置信的合作伙伴。今天我们宣布了一系列新的合作伙伴。我们多年来一直在研究自动驾驶。 ChatGPT的自动驾驶时代已经到来。我们现在知道自动驾驶是可以成功实现的。今天,我们宣布了 NVIDIA 自主出租车平台的四个新合作伙伴。比亚迪、现代、日产和五十铃每年生产 1800 万辆汽车。加入之前的合作伙伴梅赛德斯、丰田和总经理。未来,能够驾驶自动驾驶出租车的车辆数量将非常巨大。我们还宣布与 Uber 建立重要合作伙伴关系。我们计划在几个城市部署这些支持出租车的自动驾驶汽车,将它们连接到我们的网络。还有很多新车。这里有很多机器人公司,比如ABB、优傲机器人、库卡等,我们正在与他们合作实现物理AI模型并将其集成到仿真系统中,以便将这些机器人引入到世界各地的生产线中。毛毛虫来了。这里还有 T-Mobile。原因是,未来,曾经的无线电塔将变成 NVIDIA Aerial AI-RAN。这将是一个机器人无线电塔。这意味着它可以推断流量并找到调整波束成形的方法,以尽可能节省功耗并最大限度地提高保真度。物理人工智能的首次全球重大部署就在这里。自动驾驶汽车。借助 NVIDIA Alpamo,您的车辆具有以下推理功能能力:在各种场景下安全、智能地运行。让车辆讲述您的行为。 “我要向右变道以遵循路线。”解释一下你做出决定时的想法。车道上停着一辆车,我绕着它转。按照说明操作:你好梅赛德斯,你能开快点吗?当然可以。这是物理、人工智能和机器人的时代。世界各地的开发人员正在创造各种各样的机器人。然而,现实世界极其多样化、不可预测,并且充满边缘情况。仅靠真实世界的数据不足以训练所有场景。数据必须通过人工智能和模拟生成。对于机器人来说,计算能力就是数据。开发人员通过互联网规模的视频和真人演示来预训练世界模型,评估模型性能,并为后续训练做好准备。使用经典和神经模拟从合成数据中生成大量数据并大规模训练策略。加速开发者,NVIDIA 创建了开源 Isaac 实验室,用于机器人训练、测试和模拟。 Newton,用于可微分、可扩展、GPU 加速的物理模拟。 Cosmos世界模型用于神经模拟,GROOT开放机器人基础模型用于机器人动作的推理和生成。凭借足够的计算能力,世界各地的开发者正在填补物理人工智能的数据空白。 Paratas AI 在 NVIDIA Isaac 实验室训练或支持机器人,并将这些数据与 NVIDIA Cosmos 全局模型进行交叉引用。 Skild AI 使用 Isaac Lab 和 Cosmos 为 Skild AI.vinegar 大脑生成训练后数据。他们使用强化学习来增强模型的数千种变化。 Humanoid使用Isaac Lab来训练和操纵和控制整个身体的策略。 Hexagon Robotics 使用 Isaac Lab 进行训练和数据生成。富士康正在与 Isaac Lab 一起完善其 GROOT 模型,Noble Machines 也是如此。迪士尼研究中心使用 N 的 Chamelo 物理模拟器ewton Labs 和 Isaac Labs 训练每个宇宙中的机器人角色策略。女士们先生们,奥拉夫来了!牛顿成功了!全宇宙成功了!黄仁勋:你好吗?奥拉夫:很高兴认识你。黄仁勋:我知道,因为电脑是我给你的。奥拉夫:那是什么?黄仁勋:在你的胃里。奥拉夫:那很好。黄仁勋:你学会了在全宇宙中行走。奥拉夫:我喜欢散步。这比骑着驯鹿看着美丽的天空要好得多。黄仁勋:这是由于物理原因。借助与 Disney 和 Google DeepMind 共同开发的 NVIDIA Warp 上运行的牛顿解算器,适应物理世界并变得更加智能。 Yukiho:我是Yuki,我不是学者,而是一个人。黄仁勋:你能想象吗?未来的迪士尼乐园。所有这些机器人,所有这些角色到处跑。说实话,我以为会高一点。说实话,我从来没有见过这么矮的雪人。让我告诉你,你想给我一个最爱吗或者?奥拉夫:太棒了。黄仁勋:通常,在我的主题演讲结束时,我会总结我所讲的内容。我们讨论了推理和临界点、人工智能工厂、Open Claw 代理革命,当然还有物理和机器人人工智能。但是听着,你为什么不邀请一些朋友来帮助你把故事拼凑起来呢?奥拉夫:当然。我。 (机器人演示视频) 黄仁勋:嗯,祝大家在GTC一切顺利。谢谢大家。

推荐文章

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注