合作咨询热线:

400-123-4567

新利体育新闻
联系我们

电话:400-123-4567

邮箱:www.xiongtucq.com

地址:广东省广州市天河区天河路88号

您当前位置: 新利体育 > 新利体育新闻
新利体育基建24Q3业绩会:扩大生成式AI影响范围预计2025年将持续增长
发布时间:2023-11-22 15:46:37 浏览:[ ]次

  英伟达(NVDA.US)召开2024Q3业绩会,英伟达指出,公司预计2025年也将持续增长。AI浪潮将从初创企业、CSP向消费互联网客户推进,并向企业客户发展,英伟达AI和英伟达Omniverse也有望结合。一切的转变是全面的,将影响每个公司、每个行业、每个国家。

  推理:TensorRT LLM使GPU实现2倍以上的推理性能或一半的LLM推理成本。

  网络:Spectrum-X平台将于明年一季度导入戴尔、惠普、联想服务器;网络年化run rate已经超过100亿美元,主要受InfiniBand推动。

  软件:今年有望实现10亿美元的软件、支持和服务收入,DGX cloud、A1 企业软件为公司创造了更多的业务机会。

  1)公司积极参与国家级A1基建项目,比如与印度政府和印度最大的科技公司 展开合作,以及与法国私有云服务商简历基于H100、InfiniBand和Al企业软件的区域AI云项目;

  2)公司本季度向LaSalle、Localimos、国家实验室、瑞士国家超级计算机中 心交付Grace Hopper系统;

  4)公司预计明年美国、欧洲、日本所有基于Grace Hopper建设的超级计算机算力总和将超过200 exaflops; 国家级A!基建意味着未来几年数十亿美元的机会。

  出口管制:A100、A800、H100、H800和L40S不得向中国和沙特阿拉伯、阿联酋等国出口,相关地区客户过去几年占数据中心收入20%-25%,该政策未对Q3产生重大影响,但会约束Q4经营活动,不过其他地区的强劲需求将抵消这个消极影响;公司正在积极扩展产品组合,以符合监管规定。库存47.79亿美元(YoY+7.3%,QoQ+10.7%),Ampere相关的GPU库存释放带来1pcts的收益;预付款12.89亿美元(YoY+79.5%,QoQ-7.2%)。

  数据中心业务:收入145.14亿美元, 受益于40系产品的强劲需求和渠道库存的正常化。

  游戏业务:收入28.56亿美元, 收入主要由Hopper产品推动,Ampere占比较低,L40S和GH200开始产生收入:计算同比增长324%,环比增长38%;网络同比增长155%,环比增长52%,受InfiniBand推动。CSP和消费互联网客户占比各半。

  专业可视化业务:收入41.6亿美元, 主要受企业工作站、基于Ada Lovelace笔记本工作站的需求推动。

  汽车与自动驾驶业务:收入2.61亿美元(YoY+4%,QoQ+3%),同比增幅 反映智能座舱、自动驾驶的增长;

  Q&A Q:中国市场Q4将带来多少收入?公司认为AI处于什么位置?考虑到明年数据中心数据支出可能要增长30%,未来的可持续性是什么?公司关注什么指标?

  A:(1)相关地区收入过去几年占数据中心收入20%-25%,预计Q4后会大幅下降,目前仍无法评估政策的长期影响程度,不过公司会尽力推出新产品,新产品将于未来几个月上市,以满足新法规的要求,不过预计这些市 场在Q4的共享都仍然较低。

  (2)生成式AI是公司几十年来见到最大的软件、硬件TAM增长机会,它将应用于很多不同场景。软件行业方面,它将改变行业通过人工构建工具的模式,copilot和其他助手工具将帮助人们开发和使用软件,软件的这种转变会反过来改变底层的硬件。

  (3)加速计算方面,加速计算效率显著高于通用计算,这能够减少时间和能耗成本。新型数据中心将增强这点,传统数据中心一般是多个用户租赁,并运行不同程序、储存不同资料,但新数据中心只会用于专一或少量应用,公司称新数据中心为AI工厂。公司看到各个国家都在建设AI工厂,大语言模型初创公司、生成式AI初创公司、消费互联网客户都在其中,此外也有国家级AI基础建设项目。随着AI在各个行业、各个公司、各个地区渗透,市场将会看到新的发展,公司正处于计算方式转变的拐点

  Q:公司如何看待以太网的加入?spectrum与传统以太网相比有什么优势?未来能带来多少增量?

  (1)绝大多数Al工厂都建立在InfiniBand,InfiniBand速率高、延迟低,而且适用于Al所需要的东西流向,借助InfiniBand和软件定义网络,用户可以控制网络拥塞、自适应路由、性能隔离、噪声隔离。

  新利体育

  (2)InfiniBand不仅是网络,它也可视为计算架构,交换机上由浮点计算的架构,这是InfiniBand和以太网的巨大差异,对于一个20亿美元的基础设施,InfiniBand和以太网的效率差异可能达到20%-30%,InfiniBand的价值是不可否认的。

  新利体育

  (3)但对于企业级客户而言,他们并不一定需要这么大的模型,而需要专业化、定制化的模型,比如公司近期正在创建的chip nemo,对于这种级别的模型训练,公司希望能够在以太网环境运行,公司扩建了以太网新平台,可以兼容以太网,同时对东西流量做优化,并通过Bluefield和 spectrum交换机形成端到端的方案,能够部分达到InfiniBand的效果;

  (4)公司也在和合作伙伴一起合作,比如HPE、联想,通过他们的销售网络,有助于将端到端A!以太网方案导入全球企业客户。

  A:Grace hopper已投入量产,预计明年会在HPC、Al获得设计胜利,公司正在以非常快的速度将数据中心CPU发展为价值数十亿美元的产品线。Grace Hopper能够创建非常快、非常大的内存,并支持REG(检索增强生成),还可以进一步扩展上下文长度。此外,Grace也为那些想要非X86的客户提供新的选项,比如一些欧洲超级计算机项目客户希望ARM架构,Grace符合他们的需求。

  (1)HGX是一个零件非常多,结构非常复杂,制造、测试、运输也非常复杂的系统,但团队正出色的扩展供应链,并增加新的产品和新的客户,尤其是国家级AI基建。

  新利体育

  (2)此外,公司也在为企业提供更多价值,包括2个形式:(1)ChatGPT等现成的Al模型;(2)企业专有的、定制的Al模型.公司可以通过Al Foundry的新服务为企业客户定制他们的Al模型和应用,公司能够提供计算、网络硬件以及AI企业软件堆栈,并通过HPE、DELL和联想等合作伙伴提供服务。

  因此,公司看到AI浪潮将从初创企业、CSP向消费互联网客户推进,并向企业客户发展,英伟达AI和英伟达Omniverse也有望结合。一切的转变是全面的,将影响每个公司、每个行业、每个国家。

  Q:面向中国等市场的新产品为什么Q4无法上市?如果将在明年上市,是否预期会成为Q1的另一个增长驱动力?还是这部分产品单价会比较低,影响有限?

  A:公司将确保和美国政府充分讨论,让他们了解公司新产品的意图,同时也需要时间研究客户需求、与客户进行讨论。目前公司正在试图取得平衡,能披露的信息有限。

  A:(1)Al Foundry是一个很大的机遇。公司已经宣布与SAP、ServiceNow、Dropbox、Getty的合作,未来还会有更多平台,企业客户希望有他们自己的专用A!,但又无法承担将核心情报、数据交给其他外包团队的风险,他们就会来找英伟达合作。有几个事情对Al Foundry很重要,一方面是AI技术能力,另一方面是需要知道最佳方案,最后是需要有独特的工厂,对于公司而言就是DGX Cloud。公司用于创建AI的CAD系统称为NEMO,在被称为DGX Cloud的英伟达工厂上运行,每一个合作伙伴都会在DGX Cloud上租用一部分基建,并带来他们在各自领域的专业知识和数据,然后公司为他们定制AI,一切都在英伟达产品上运行,有充足的安全性,也能提供持续的修补、优化支持新利体育。

  (2)Al Enterprise的价格是每年4500美元,基本上是许可证模式,公司的基本业务是帮助客户创建自定义模型,然后再Al Enterprise上面运行。

  A:(1)公司本季度推出了一个非常好的编译器TensorRT LLM,他在 GitHub的下载量非常大,在同样的GPU上,TensorRT LLM可以带来2倍的性能提升,加上H200的2倍性能,意味着推理性能在近一年提升了4倍。

  (2)推理引擎受到欢迎的原因是安装基础,几乎每个行业的公司都在使用公司的产品,而且他们在架构上是兼容的,公司让市场看到公司平台的稳定性和确定性,这会吸引他们优先在英伟达平台进行开发、优化:

  (3)如果你是一个软件应用供应商,首先在训练之前的数据处理方面,这些数据是以TB和PB为量级的,体量非常大,可能占总工程量的30%-50%;公司正在通过CUDA加速Pandas数据科学框架,使用者无需新增任何代码,这有效提高数据处理效率。

  Q:考虑到更积极的路线图规划,公司研发运营会有什么调整?公司采取什么措施?

  A:(1)公司加速的原因是新产品可以从根本上降低客户的使用成本,此外软件也有所提升;另一方面是试图扩大生成式AI的影响范围。

  (2)公司正在和每一个CSP合作,每个CSP的平台都不一样,但公司已经将集成到所有CSP的堆栈中,并保持良好的合作,公司的产品可以投入超级计算机、企业等场景,并正在把所有产品推向市场。因此,复杂性包括技术、细分市场和速度,以及对架构兼容性的保持。每家计算机公司都能够不假思索的将英伟达集成到他们的路线图并推向市场,公司在各个细分市场都有足够的需求。

  (3)最后,公司又数据中心端到端方案,覆盖包括InfiniBand、以太网、 X86和ARM, 几乎提供了所有组合的可能性,这意味着拥有最多数量的生态系统软件开发人员、最大的系统制造商生态系统和最大的分销网络,这肯定会需要很多资源,但重要的是一切在架构上是兼容的。当公司为云优化TensorRT时,也针对企业客户进行优化,这种兼容性原则已经持续几十年,是英伟达始终高效的原因,公司有28万名员工,能够为全球每一个公司、行业、市场服务。

  投资者关系关于同花顺软件下载法律声明运营许可联系我们友情链接招聘英才用户体验计划

  不良信息举报电话举报邮箱:增值电信业务经营许可证:B2-20090237

  新利体育

关注新利体育

服务热线

400-123-4567

邮箱:www.xiongtucq.com
地址:广东省广州市天河区天河路88号