向量索引 · 完全图解

①什么是向量索引

在数据世界里，万物都可以被嵌入模型（Embedding）映射成一组浮点数——一个高维向量：

这些向量的「相似」用距离衡量：欧氏距离（L2）、内积（IP）、余弦相似度（COSINE）。向量索引的目标，就是让「算距离 + 找最近」这步不要每次都和全库逐个比一遍。

②它到底解决什么问题：暴力搜索不行吗

最直接的方法叫暴力（Flat / Brute Force）：拿查询向量和库里每一个向量都算一次距离，排序取最小。问题是——太慢。

向量索引的核心思想，就是用「少量精度」换「数量级的速度」——把精确最近邻（KNN）放松为近似最近邻（ANN, Approximate Nearest Neighbor）：允许漏掉极少数并非真正最近的向量，但换回几倍到几十倍的召回加速、内存与延迟大幅下降。

所以：小数据（几万条）暴力即可；一旦上到百万、千万、亿级，向量索引是必选项。

③主流向量索引算法（一图一理）

工业界常见的向量索引，大致分四类思路。理解它们的「取舍三角」：召回率 ↔ 速度 ↔ 内存/磁盘占用。

1) 暴力 Flat —— 不算索引的「索引」

不建结构，存原始向量，查询时全量扫描 + 排序。是准确率 100% 的基线，也是很多库做「精确召回」或小规模数据的默认。缺点是随 N 增大线性变慢。

2) IVF 类（倒排 + 聚类）——「先分桶，再精查」

IVF = Inverted File（倒排文件）。先用 K-Means 把所有向量聚成 nlist 个簇（桶），查询时只拿查询向量去最近的若干簇（nprobe 个）里找，其余簇直接跳过。

IVF 的压缩变体（省内存，精度略降）：

3) HNSW 类（图索引）——「跳表式的近邻图」

HNSW = Hierarchical Navigable Small World（分层可导航小世界图）。它建一张多层图：上层节点少、边长（像高速公路，快速拉近大范围），下层节点密、边短（做局部精细跳转）。查询时从顶层「俯冲」到底层，沿途只看邻居，极快收敛到最近点。

4) DiskANN / 量化类 —— 「放磁盘也能快」

DiskANN 用「可导航小世界图 + 乘积量化 + 磁盘存储 + 缓存」的组合，把十亿级向量放到 SSD 上也能毫秒级查询，显存/内存占用远低于 HNSW。适合数据量极大、想省钱的场景。LSH（局部敏感哈希）、Annoy（随机投影树）则是更早期、工程上逐渐被前几种取代的方案。

④MySQL 有向量索引吗

有，但很新。传统 MySQL（5.x / 8.0 早期）完全不具备向量能力，只能自己把向量存成 BLOB 然后在应用层算——既慢又难索引。

CREATE TABLE docs (
  id BIGINT PRIMARY KEY,
  embedding VECTOR(1536),
  INDEX idx_vec (VECTOR(embedding)) USING HNSW
);

SELECT id, DISTANCE(embedding, VECTOR('[0.1,0.2,...]')) AS d
FROM docs
ORDER BY d ASC
LIMIT 10;

⑤Elasticsearch 有向量索引吗

有且相当成熟。ES 从 7.x 起支持 dense_vector 字段类型，8.x 起 kNN 检索（基于 HNSW）已稳定可用，把向量检索直接嵌进你本来就有的搜索里。

# 定义带向量的字段
{
  "mappings": {
    "properties": {
      "title": { "type": "text" },
      "vec": {
        "type": "dense_vector",
        "dims": 768,
        "index": true,
        "similarity": "cosine"
      }
    }
  }
}

# kNN 查询（可和 keyword/range 过滤混用）
{
  "knn": {
    "field": "vec",
    "query_vector": [0.1,0.2,...],
    "k": 10,
    "filter": { "term": { "category": "tech" } }
  }
}

⑥Milvus 的向量索引长啥样

Milvus 通过底层的 Knowhere 引擎集成了上面几乎所有算法，并统一了「建索引 → 查询」的接口。它按数据类型自动推荐索引，也允许你显式指定。常用索引一览：

在 Milvus 里建索引、查询的样子

from pymilvus import MilvusClient, DataType

client = MilvusClient("milvus.db")  # 或连接集群地址

# 1) 建集合，定义向量字段
schema = MilvusClient.create_schema()
schema.add_field("id", DataType.INT64, is_primary=True)
schema.add_field("vec", DataType.FLOAT_VECTOR, dim=768)
schema.add_field("category", DataType.VARCHAR, max_length=64)
client.create_collection("docs", schema=schema)

# 2) 建向量索引（指定 HNSW，给索引参数）
index_params = MilvusClient.prepare_index_params()
index_params.add_index(
    field_name="vec",
    index_type="HNSW",
    metric_type="COSINE",
    params={"M": 8, "efConstruction": 200},
)
client.create_index("docs", index_params)

# 3) 插入数据后，标量 + 向量混合查询
client.search(
    collection_name="docs",
    data=[[0.1, 0.2, ...]],      # 查询向量
    limit=10,
    filter="category == 'tech'",   # 标量过滤，谓词下推
    output_fields=["id", "category"],
)

三家一句话对比

⑦选型速查：我该用哪种索引 / 哪个系统