查看: 18|回复: 0

[相关教程] 用sqlite-vec在本地做向量检索,不装Milvus也能跑RAG

[复制链接]

96

主题

5

回帖

951

积分

UID
2
贡献
9 点
钻石
7 个
C币
993 个
发表于 2026-9-21 09:47:05 | 显示全部楼层 |阅读模式
之前在自己那台老笔记本上折腾RAG,一上来就装Milvus,docker拉镜像加内存占用,风扇狂转。机器一共16G内存,embedding模型跑起来就剩不下多少了。后来换成sqlite-vec,问题全解决。

它是个SQLite扩展,pip装sqlite-vec之后Python绑定直接用,建一张虚拟表vec_documents,存embedding和原文id就行。我那批文档三千多段,768维向量,写入和top10检索都是毫秒级。关键是整个库就一个.db文件,备份就是拷文件,删库就是删文件,心累程度直线下降。

准确说它没有ANN索引那些复杂花活,暴力扫表在几十万条以内完全够用,超过百万条再考虑专门的向量库不迟。配合sqlite3自带的FTS5做混合检索也方便,关键词命中和向量召回各取top20再rerank,效果比纯向量好不少。轻量需求真不用上大家伙。

温馨提示:
1、在论坛里发表的文章仅代表作者本人的观点,与本网站立场无关。
2、论坛的所有内容都不保证其准确性,有效性,时间性。阅读本站内容因误导等因素而造成的损失本站不承担连带责任。
3、当政府机关依照法定程序要求披露信息时,论坛均得免责。
4、若因线路及非本站所能控制范围的故障导致暂停服务期间造成的一切不便与损失,论坛不负任何责任。
5、注册会员通过任何手段和方法针对论坛进行破坏,我们有权对其行为作出处理。并保留进一步追究其责任的权利。
6、网络世界也请遵守我国的法律法规!一旦发现违法行为,将立即封存相关信息并报警处理!
回复

使用道具 举报

温馨提示:
1、在论坛里发表的文章仅代表作者本人的观点,与本网站立场无关。
2、论坛的所有内容都不保证其准确性,有效性,时间性。阅读本站内容因误导等因素而造成的损失本站不承担连带责任。
3、当政府机关依照法定程序要求披露信息时,论坛均得免责。
4、若因线路及非本站所能控制范围的故障导致暂停服务期间造成的一切不便与损失,论坛不负任何责任。
5、注册会员通过任何手段和方法针对论坛进行破坏,我们有权对其行为作出处理。并保留进一步追究其责任的权利。
6、网络世界也请遵守我国的法律法规!一旦发现违法行为,将立即封存相关信息并报警处理!
您需要登录后才可以回帖 登录 | 立即加入

本版积分规则

QQ客服返回顶部