Python GIL 完全解析

/*
 * CPython 3.x 的 GIL 实现（ceval.c / gil.c）
 * 核心数据结构（简化）：
 *
 * gil_mutex:   保护 GIL 的互斥锁
 * gil_cond:    条件变量，用于线程间通知
 * gil_timeout:  当前持有 GIL 的线程最长持有时间（~5ms）
 * drop_request: 其他线程请求当前线程释放 GIL 的标志
 */

// 线程获取 GIL 的简化逻辑
take_gil(PyThreadState *tstate) {
    wait_for_gil();   // 等待 GIL 可用
    // 获取成功，设置定时器
    set_gil_timeout(5_MS);
}

// 字节码执行主循环（ceval.c 核心）
PyEval_EvalFrameDefault(...) {
    for (;;) {
        // 检查是否该释放 GIL 了（超时或 drop_request）
        if (gil_must_exit()) {
            drop_gil();    // 释放 GIL
            take_gil(tstate); // 重新竞争 GIL
        }
        // 执行一条字节码指令
        execute_opcode(opcode);
    }
}

// C 扩展如何主动释放 GIL（NumPy 等使用此宏）
// Py_BEGIN_ALLOW_THREADS 展开为：
//   PyThreadState *_save; \
//   _save = PyEval_SaveThread();
//
// Py_END_ALLOW_THREADS 展开为：
//   PyEval_RestoreThread(_save);

CPython 源码根目录/
├── Python/
│   ├── gil.c          ← GIL 核心实现（获取/释放/超时逻辑）
│   ├── ceval.c        ← 字节码执行主循环（解释器核心）
│   ├── thread_pthread.h  ← POSIX 线程实现（Linux/macOS）
│   └── thread_nt.h      ← Windows 线程实现
├── Include/
│   └── cpython/
│       └── pyatomic.h  ← 原子操作（用于无锁计数）
└── Modules/
    └── _threadmodule.c  ← threading 模块的 C 实现

// CPython 3.12+ 的 GIL 实现（简化版）
// 实际源码：https://github.com/python/cpython/blob/main/Python/gil.c

// 每个线程的状态
typedef struct {
    int gil_held;       // 是否持有 GIL
    int gil_locked;     // GIL 锁计数（可重入）
    double last_tick;   // 上次获取 GIL 的时间戳
} PyThreadState;

// GIL 全局状态
typedef struct {
    pthread_mutex_t mutex;   // POSIX 互斥锁
    pthread_cond_t  cond;    // 条件变量（用于线程等待/唤醒）
    int pending_events;       // 待处理事件计数
    int gil_drop_request;     // 其他线程请求释放 GIL
    struct timespec last_switch; // 上次切换时间
} GILState;

// ==========================================
// 获取 GIL（线程启动时或恢复执行时调用）
// ==========================================
void take_gil(PyThreadState *tstate) {
    // 1. 加锁（原子操作）
    pthread_mutex_lock(&gil.mutex);

    // 2. 等待 GIL 可用（自旋 + 条件变量）
    while (gil.gil_held) {
        // 等待 gil_cond 信号（由 drop_gil 发出）
        pthread_cond_wait(&gil.cond, &gil.mutex);
    }

    // 3. 标记自己持有 GIL
    gil.gil_held = 1;
    tstate->gil_held = 1;

    // 4. 记录时间戳（用于超时判断）
    clock_gettime(CLOCK_MONOTONIC, &gil.last_switch);

    pthread_mutex_unlock(&gil.mutex);
}

// ==========================================
// 释放 GIL（I/O 前、超时、sleep 时调用）
// ==========================================
void drop_gil(PyThreadState *tstate) {
    pthread_mutex_lock(&gil.mutex);

    // 1. 标记 GIL 空闲
    gil.gil_held = 0;
    tstate->gil_held = 0;

    // 2. 唤醒一个等待 GIL 的线程
    pthread_cond_signal(&gil.cond);

    pthread_mutex_unlock(&gil.mutex);
}

// ==========================================
// 检查是否该释放 GIL（在 ceval.c 的字节码循环中调用）
// ==========================================
int _gil_check(PyThreadState *tstate) {
    struct timespec now;
    clock_gettime(CLOCK_MONOTONIC, &now);

    // 计算持有 GIL 的时间
    double held_ms = (now.tv_sec - gil.last_switch.tv_sec) * 1000.0
                   + (now.tv_nsec - gil.last_switch.tv_nsec) / 1e6;

    // 超过 5ms，请求释放（Python 3.2+ 的改进版 GIL）
    if (held_ms > 5.0) {
        gil.gil_drop_request = 1;
        return 1;  // 该释放了
    }
    return 0;
}