Google 公布 TPU 8tx 与 8i Max：分别面向机密推理和超长上下文

同一代 TPU 增加两种系统配置

11 月 9 日，Google 首席技术专家 Amin Vahdat 公布 TPU 8tx 和 TPU 8i Max，分别面向机密推理与超长上下文工作负载。它们加入此前的 8t、8i 产品组合；官方强调，本次是围绕芯片、内存、网络和封装组织的新系统，不应一概理解成重新设计了两款全新芯片。

8tx 沿用 8t 的芯片，搭配第五代 AMD EPYC 主机，在数据和模型权重使用过程中提供硬件层的保护与隔离。8i Max 则将两颗 8i 放入一个封装，官方称其计算能力、SRAM 和 HBM 带宽均为 8i 的两倍。这是对应配置的比较，不是任意应用速度翻倍的保证。

机密计算与内存带宽解决不同问题

8tx 的目标客户包括处理敏感数据的受监管企业和政府，8i Max 则针对需要大量上下文的 Agent。一般系统设计中，保护正在处理的数据，与提高数据供应给处理器的速度，属于不同问题；选择前需要先识别工作负载的约束。

例如，模型计算能力、内存容量和内存带宽并非同一个指标。更多算力不必然消除读取状态时的等待，硬件隔离也不自动代替应用权限配置。这些是理解方案的一般技术区别，不能据此推断某个客户已经取得特定收益。

TPU Sync 把缓存传输放进共同的状态层

同期技术文章介绍 TPU Sync：一个原生 C++ 模型状态传输库，连接 TPU HBM、主机内存和网络。推理时可把 KV 缓存扩展到主机内存，并连接分离的预填充与解码节点；强化学习中的权重同步模块，以及向共享存储进一步分层的部分，仍标为实验性。

官方报告中，Qwen3 235B 的低并发受控测试首 Token 时间平均降低约 60%，480B 测试约降低 90%。测试基于 7 月的 TPU v7x、特定软件和网络配置，不能直接写成新发布 8i Max 的实测成绩，也不能当作所有线上请求的统一降幅。

GKE 动态切片正式可用，按任务组合资源

另一份 11 月 9 日公告确认，GKE 动态切片已正式可用。它把物理节点池准备和逻辑 TPU 切片形成分开：super-slicing 连接多个 TPU cube 形成较大切片，sub-slicing 则把一个 cube 分成多个独立工作负载所需的小切片。

使用前仍需预配置以 16 台虚拟机为单位的节点池，启用切片控制器并配置调度器，再通过工作负载注解提出需求。公告限定该能力仅支持 TPU All Capacity 的预留模式；“动态”描述的是切片组织，不代表可以跳过容量准备或任意使用所有资源。

不同开放阶段要分别制定接入计划

TPU Sync 技术说明提供面向 PyTorch 和 JAX 的 Python 安装包，并列出与 vLLM、SGLang、llm-d 的集成；这与 GKE 动态切片的正式可用声明是两项不同的软件进展。本文依据原始公告报道，没有在付费 TPU 集群中进行独立性能复测。

对于平台团队，一般可先分别记录安全要求、缓存流量和任务拓扑，再判断需要哪一层改造。硬件规格、缓存传输测试与调度能力应各自对应评估方案；把三种改进简单叠加成总加速倍数，会丢失各项结果成立的条件。

继续阅读