Kafka Partition 深度解析

如果 Topic 只有一个分区，所有消息只能串行读写，吞吐量受限于单台机器的 I/O 和 CPU。 Partition 的本质就是分片（Sharding），把数据拆到多个机器上并行处理，突破单机瓶颈。

下方是 Kafka 集群的完整架构示意。点击 Partition 查看详情，拖动滑块调整分区数，观察数据如何分布。

Producer 发送消息时，通过 Partitioner 决定消息写入哪个 Partition。 不同的策略直接影响有序性和负载均衡。

// Kafka 默认分区策略（Java）
// 1. 指定了 key → 按 key 的 hash 分配到固定 partition（保证同 key 有序）
int partition = Utils.toPositive(Utils.murmur2(key)) % numPartitions;

// 2. 没有 key → StickyPartition（尽量发往同一 partition，批次更大）
// 3. 自定义 Partitioner
class MyPartitioner implements Partitioner {
  public int partition(String topic, Object key, byte[] keyBytes,
                           Object value, byte[] valueBytes, Cluster cluster) {
    // 自定义路由逻辑
    return customRoute(key, cluster.partitionCountForTopic(topic));
  }
}

Kafka 保证：一个 Partition 同一时刻只能被一个 Consumer 消费。 Consumer Group 内的 Consumer 会均匀分配 Partition，实现并行消费。

• 1
  Partition = 并行度单元：Kafka 的并行能力完全取决于 Partition 数量，每个 Partition 是一个独立的并行处理单元。
• 2
  Partition 内有序，跨 Partition 无序：如果需要全局有序，只能用 1 个 Partition（牺牲并行度）。
• 3
  Partition 数一旦设定无法直接修改：增加容易（已有数据不动），减少需要手动迁移数据，建议初期就合理规划。
• 4
  Replica 保证高可用：每个 Partition 可以有 N 个副本，Leader 挂了自动故障切换，数据不丢失。
• 5
  分区数规划公式：目标吞吐量 ÷ 单个 Consumer 吞吐量 = 最小 Partition 数。实际建议 2x~3x 预留扩展空间。
• 6
  Key 决定有序性：相同 Key 的消息会路由到同一个 Partition，这是实现"某用户所有事件有序"的关键。