介绍设备网格、张量分片和局部形状，并分析 AllGather、ReduceScatter、AllToAll 等集合通信在分片矩阵乘法中的开销。
2026-08-01
Scaling Book 中文（02）：理解 TPU——芯片、内存和互连
从 TensorCore、MXU、VPU、VMEM 和 HBM 出发，理解 TPU 芯片结构、矩阵乘法流水线以及多芯片互连方式。
2026-07-25
Scaling Book 中文（01）：Roofline 分析——计算、带宽和内存的上限
使用 Roofline 模型分析计算吞吐、通信带宽和内存容量对模型性能的限制，并推导矩阵乘法的算术强度与性能上限。
2026-07-18
Scaling Book 中文（00）：导读——为什么要理解模型扩展
介绍模型扩展需要解决的计算、通信和内存问题，并概览 TPU、GPU、Transformer 训练与推理的系统分析路线。
2026-07-11
JAX 101（八）：用 lax.scan 表达重复层与循环状态
从 Python 循环展开的问题出发，介绍 lax.scan 的 carry、参数层堆叠和自动微分，并说明如何结合 jax.checkpoint 控制 Transformer 的激活内存。
2026-07-04
JAX 101（七）：JAX 中的通用卷积
从卷积如何提取局部特征出发，结合图像解释 padding、stride、空洞卷积和转置卷积的效果与应用，再用 JAX 实现一维、二维和三维卷积。
2026-06-27
JAX 101（六）：从零拼出迷你 Transformer
将数组、PyTree、随机 key、自动微分和 JIT 组合起来，从零实现一个 decoder-only 迷你 Transformer 的前向传播与训练步骤。
2026-06-20
JAX 101（五）：有状态计算、Ref 与训练循环
从计数器和模型参数入手，说明 JAX 如何显式传递状态、使用 Ref 表达可变数组，并将参数、优化器状态和随机数组织进训练循环。
2026-06-13
JAX 101（四）：显式随机数与可复现实验
解释 JAX 为什么显式管理伪随机数 key，以及如何通过 key 拆分完成参数初始化、Dropout、自回归采样和可复现实验。
2026-06-06
JAX 101（三）：用 PyTree 组织模型参数
介绍 PyTree 的树结构、叶子遍历和整体映射，并用它组织 Transformer 参数、梯度与训练状态。
2026-05-30