用sqlite-vec在本地做向量检索，不装Milvus也能跑RAG
之前在自己那台老笔记本上折腾RAG，一上来就装Milvus，docker拉镜像加内存占用，风扇狂转。机器一共16G内存，embedding模型跑起来就剩不下多少了。后来换成sqlite-vec，问题全解决。它是个SQLite扩展，pip装sqlite-vec之后Python绑定直接用，建一张虚拟表vec_documents，存embedding和原文id就行。我那批文档三千多段，768维向量，写入和top10检索都是毫秒级。关键是整个库就一个.db文件，备份就是拷文件，删库就是删文件，心累程度直线下降。
准确说它没有ANN索引那些复杂花活，暴力扫表在几十万条以内完全够用，超过百万条再考虑专门的向量库不迟。配合sqlite3自带的FTS5做混合检索也方便，关键词命中和向量召回各取top20再rerank，效果比纯向量好不少。轻量需求真不用上大家伙。
https://www.metk.cn/img/posts/sqlite_vec_local_rag_01.jpg
页:
[1]