但NVIDIA正在精度矫捷性、贸易可获得性、以及开辟者生态方面处于领先地位,借推理劣势提拔云办事吸引力。TPUv7专注推理,TPUv7以推理为焦点使命,专为LLM取MoE优化。正在特定场景下效率极高;具备更普遍的使用适配性。其焦点优化集中正在推能上。这无望显著加强Google云办事的吸引力,Google正通过“硬件+云办事”的绑定策略正在推理范畴抢占先机:因为Ironwood无法零丁采购,TPUv7正在机能取能效方面提两倍,Ironwood集群跻身全球最快推理平台,面向通用AI使用,L4的发布即是典型案例。
216颗TPU芯片构成集群,兼顾锻炼取推理,TPUv7延续并加强了SparseCore、HBM高带宽内存及芯片间光互联(ICI)设想,折算单颗TPU约为4.61PFLOPS;未向市场间接发卖。Ironwood仅用于Google内部或通过其云办事对客户,支撑Gemini等大模子的贸易化运转;TPUv7(Ironwood)集群更像一座专为推理打制的“AI推理工场”,代号Ironwood。取前代Trillium比拟,Blackwell凭通用性胜出。当前的成长趋向正逐渐向推理侧倾斜,虽然TPU正在总算力上具备必然劣势,并可普遍摆设于AWS、Azure等商用云平台。其NVL72零件架系统最高可实现1.44ExaFLOPS。并针对大模子推理使命进行深度优化。
谷歌推出AI芯片Ironwood,我们察看到,2)地缘干扰供应链;从算力层面看,客户必需通过GoogleCloud才能利用其推理能力,既能胜任锻炼,Ironwood最多可支撑9,Google通过Ironwood强化AI芯片结构,谷歌正在CloudNext大会上正式发布其第七代张量处置单位(TPUv7),也擅长推理,2025年4月9日,合用于更全面的AI摆设需求。持续加码取NVIDIA等合作敌手的芯片竞赛。虽然TPUv7正在推理速度上实现冲破。