华尔街盛赞TPU,但学术界却一头雾水。何凯明五年前就是TPU编程高手,那么这有多新呢?

克雷西 |奥飞斯量子位QbitAI学术社区公众号对此看不下去,直接曝光。华尔街吹嘘谷歌 TPU!这是因为据透露,Meta 与谷歌签署了一份价值数百万美元的 TPU 订单。此消息传出后,英伟达盘中跌幅高达7%。按照目前的市值计算,超过3000亿美元已经一举蒸发。与此同时,谷歌股价盘中上涨高达4%,市值增加约1500亿美元,约合人民币1万亿元以上。 《华尔街日报》将此视为谷歌向英伟达市场主导地位发起攻击的信号。但在专家看来,华尔街对这一举措的看法实际上是局外人的看法。包括 Meta 和 xAI 在内的大公司和学术机构多年来一直在使用 TPU,但突然间,市场开始将它们视为计算能力的救世主?谷歌没有外部护城河,英伟达也没有 OpenAI 工程师s。 Clive Chan 表示,Google 自己的 Gemini,以及 Claude、Ilya 的 MidJourney 和 SSI 图形模型都使用了 TPU。因此,在他看来,Meta 与谷歌签署 TPU 订单并不奇怪。如果梅塔没有使用过的话,他会更加惊讶。 Clive对Meta的看法也得到了现实的验证。没过多久,谢赛宁亲自证实,Meta 在 2020 年初就已经开始使用 TPU。谢赛宁介绍,当时何凯明主导了 TF 和 JAX 代码库的初步开发,MAE、MoCo v3、ConvNeXt v2、DiT 等研究项目都是用 TPU 开发的。同时,纽约大学谢彩宁团队进行的多项研究中也使用了TPU。在新的Meta授权被曝光后,Nvidia也祝福Google。不过,他很快就岔开了话题,表示自己公司的产品还是先进得多,是唯一可以运行所有AI模型、适用于所有计算领域的平台。场景。有趣的是,这条推文在三个句子中使用了两个破折号。网友一度怀疑这是不是AI写的。不过,在克莱夫看来,所谓的“NVIDIA护城河”实际上非常薄弱。例如,OpenAI 专门开发了 Triton,以避免 CUDA,仅用 25 行 Python 代码即可实现 cuBLAS 的性能。所以从技术角度来看,谷歌、Meta、OpenAI这样的巨头至少绕过Nvidia并不困难。当然,除了CUDA之外,还有一个因素需要考虑,那就是使用成本。 Artificial Analysis 使用 Llama 3.3 评估了多种 Nvidia 芯片、AMD 的 MI300X 和 Google TPUv6e 的盈利能力。结果显示,从H100到B200,每美元的代币收入是TPU v6e的5倍。具体来说,每秒使用 30 个令牌快速运行 Llama 3.3,并使用每个 100 万个令牌进行输入和输出,在 H100 上仅花费 1.06 美元,但在 TPU v6e 上花费 5.13 美元。如果你算一下,谷歌最新的 TPU v7 的成本与 B200 相似。 TPUv7 FP8的运行速度为4.6 PFLOP/s,功耗约为1000瓦。 GB200的FP8运行速度为5PFLOP/s,功耗约为1200瓦。所以总体来说,英伟达和谷歌无论是在技术还是成本上都未能形成强大的外部护城河。不过,也有分析人士指出,谷歌选择出售GPU的初衷并不是为了赚钱,其目标也不是英伟达。谷歌赚钱我们不只是为了TPU而卖,我们卖它是为了创造产能。 《Artificial Intuition》的作者 Carlos E. Perez 讨论了 Meta 与 Google 的 TPU 交易,大家都认为这是 Meta 规避 NVIDIA 风险的一种方式,但事实并非如此。 Perez 认为,谷歌在这笔交易中使用 Meta 来交换运输和生产计划,以及价格优惠以弥补芯片代工厂的风险。铸造厂必须先获得有效的多年期合同e 推出新的 2 纳米生产线。这种“安心”是初创企业无法承受的。佩雷斯想象了以下场景。谷歌来到代工厂表示:“我与Meta和苹果签署了为期六年的云服务协议。无论他们愿意与否,他们每年都会消耗20万个TPU。请按成本价借给我你的N2容量的25%。” Foundry流口水,连忙答应。现在任何小型芯片公司(Groq、Cerebras、Tenstorrent 等)都可以进来并需求相同的晶圆。 Pérez coHe继续想象,一旦这些小公司进入代工厂,得到的回应将是:“抱歉,接下来的24个月已经卖给谷歌了,剩下的只能按原价购买。”他们使用 Meta 和苹果的股权投资作为抵押品来预购下一代芯片的未来供应。这与苹果当年在 iPhone 屏幕上使用的技巧完全相同。当时,苹果支付了巨额前期费用来确保所有高质量的产品nels,让其他制造商多年来只能使用二流显示器。当然,仅仅靠谷歌的一巴掌还不够,但由于谷歌的 TPU 是目前唯一可以批量供应的芯片,Meta 和苹果也很乐意签署这些协议。结果,代工厂与谷歌竞争。只有英伟达可以做到。推荐链接:[1]https://x.com/itsclivetime/status/1993869419337142772[2]https://x.com/ArtificialAnlys/status/1993878037226557519[3]https://x.com/IntuitMachine/status/1993117888140439943
特别提示:以上内容(包括图片、视频,如有)由自有媒体平台“网易账号”用户上传发布。本平台仅提供信息存储服务。
注:以上内容(包括图片和视频,如有)由网易号用户上传发布,网易号是一个仅提供信息存储服务的社交媒体平台。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

相关文章

开始在上面输入您的搜索词,然后按回车进行搜索。按ESC取消。

返回顶部