CPU 三级缓存与缓存行

🧱 背景：内存墙（Memory Wall）

CPU 的运算速度在过去几十年里呈指数级增长，但主内存（DRAM）的访问速度却没有跟上。这就产生了一个巨大的速度鸿沟——内存墙。

举个例子：如果 CPU 执行一条指令只需要 1 秒钟，那么去主内存取一次数据可能需要几百秒。CPU 绝大多数时间都在等待内存，这显然是一种巨大的浪费。

🏗️ 金字塔结构

现代 CPU 采用三级缓存（L1 / L2 / L3）的金字塔结构。越靠近 CPU，速度越快、容量越小、成本越高；越远离 CPU，速度越慢、容量越大、成本越低。

📦 缓存的最小单位

CPU 缓存不是以单个字节为单位与内存交换数据的，而是以缓存行（Cache Line）为单位。现代 CPU 的缓存行大小通常是 64 字节（少数架构如 ARM 某些型号是 128 字节）。

🎯 为什么用缓存行？

程序访问内存时有一个重要特性——空间局部性（Spatial Locality）：如果访问了地址 A，那么接下来很可能访问 A 附近的地址。一次加载 64 字节，可以让后续对相邻地址的访问都命中缓存，避免多次内存访问。

🧮 地址如何映射到缓存行？

一个内存地址被拆成三部分，用于定位缓存中的数据：

🗺️ 三种映射方式

内存块如何放入缓存？有三种经典的映射策略：

🤝 多核时代的难题

现代 CPU 有多个核心，每个核心有自己的 L1/L2 缓存。如果核心 A 修改了某个缓存行的数据，核心 B 怎么知道数据已经变了？这就是缓存一致性（Cache Coherence）问题。

🔑 MESI 协议四状态

MESI 是现代 CPU 最常用的缓存一致性协议，名字来自四种状态的缩写：

📋 状态转换示例

❌ 什么情况下缓存会"失效"？

缓存不是万能的。当 CPU 需要的数据不在缓存中时，就发生了缓存未命中（Cache Miss）。根据原因不同，分为三种类型：

🎭 隐藏的性能杀手

伪共享是并发编程中最隐蔽的性能陷阱之一。它的原理很巧妙：

两个线程修改不同的变量，但如果这两个变量恰好落在同一个缓存行里，MESI 协议会让这个缓存行在多个核心间反复失效和同步，造成巨大的性能损失。

🛠️ C/C++ 代码示例

// ❌ 有伪共享问题：x 和 y 可能在同一缓存行
struct Bad {
    int x;  // 线程 0 修改
    int y;  // 线程 1 修改
};

// ✅ 用 padding 避免伪共享（C++17 可用 alignas）
struct Good {
    alignas(64) int x;  // 确保 x 独占一个缓存行
    alignas(64) int y;  // 确保 y 独占一个缓存行
};

💡 写出缓存友好的代码

理解缓存原理后，你可以写出性能更好的代码。以下是几条核心建议：

📝 数组遍历：行优先 vs 列优先

// C/C++ 数组行优先存储
for (int i = 0; i < N; i++) {
    for (int j = 0; j < N; j++) {
        sum += arr[i][j];
    }
}
          

// 跳跃式访问，缓存行利用率低
for (int j = 0; j < N; j++) {
    for (int i = 0; i < N; i++) {
        sum += arr[i][j];
    }
}