pgvector
1. 概述
向量数据库是生成式人工智能(GenAI)的关键组成部分。pgvector作为PostgreSQL的重要扩展,不仅能够支持高达16000维度的向量计算,还提供了强大的向量操作和索引功能,使得PostgreSQL能够直接转化为高效的向量数据库。由于IvorySQL基于PostgreSQL研发,这使得它具备了与pgvector扩展无缝集成的能力,从而为用户提供了更广泛的数据处理和分析选项。在Oracle兼容模式下,pgvector扩展同样可用,这为Oracle用户使用向量数据库提供了极大的便利,使其能够轻松地迁移和管理数据,实现更高效的业务操作。
2. 原理介绍
IVFFLAT和HNSW是PGVector的两个索引算法
2.1. IVFFLAT
IVFFLAT的工作原理是将相似的向量聚类为区域,并建立一个倒排索引,将每个区域映射到其向量。这使得查询可以集中在数据的一个子集上,从而实现快速搜索。通过调整列表和探针参数,ivfflat 可以平衡数据集的速度和准确性,使 PostgreSQL 有能力对复杂数据进行快速的语义相似性搜索。通过简单的查询,应用程序可以在数百万个高维向量中找到与查询向量最近的邻居。对于自然语言处理、信息检索等,ivfflat 是一个比较好的解决方案 在建立 ivfflat 索引时,你需要决定索引中包含多少个 list。每个 list 代表一个 "中心";这些中心通过 k-means 算法计算而来。一旦确定了所有中心,ivfflat 就会确定每个向量最靠近哪个中心,并将其添加到索引中。当需要查询向量数据时,你可以决定要检查多少个中心,这由 ivfflat.probes 参数决定。这就是 ANN 性能/召回率的结果:访问的中心越多,结果就越精确,但这是以牺牲性能为代价的。
3. 安装
|
环境中已经安装了IvorySQL5及以上版本,安装路径为/usr/local/ivorysql/ivorysql-5 |
3.1. 源码安装
-
设置PG_CONFIG环境变量
export PG_CONFIG=/usr/local/ivorysql/ivorysql-5/bin/pg_config
-
拉取pg_vector源码
git clone --branch v0.8.1 https://github.com/pgvector/pgvector.git
-
安装 pgvector
cd pgvector sudo --preserve-env=PG_CONFIG make sudo --preserve-env=PG_CONFIG make install
-
创建pgvector扩展
[ivorysql@localhost ivorysql-5]$ psql psql (18.6) Type "help" for help. ivorysql=# create extension vector; CREATE EXTENSION
至此,pgvector扩展安装已完成。 更多用例,请参考 pgvector文档
4. Oracle兼容性
在IvorySQL Oracle兼容模式下,pgvector扩展同样可以正确运行
| 建议用户使用1521端口进行测试, psql -p 1521 |
4.1. 双监听端口
Oracle 模式集群中,同一个 postmaster 会同时监听两个端口,连哪个端口就由哪套解析器接管:
参数 |
默认端口 |
连该端口时生效的解析器 |
|
5432 |
PostgreSQL 解析器( |
|
1521 |
Oracle 兼容解析器( |
两个参数都有内置默认值,postgresql.conf 里不写也照样生效。用 psql 分别连接两个端口就能看到差别:
$ psql -h 127.0.0.1 -p 1521 -d postgres -c "select current_setting('ivorysql.compatible_mode'), current_setting('ivorysql.port'), current_setting('port')"
current_setting | current_setting | current_setting
-----------------+-----------------+-----------------
oracle | 1521 | 5432
(1 row)
$ psql -h 127.0.0.1 -p 5432 -d postgres -c "select current_setting('ivorysql.compatible_mode'), current_setting('ivorysql.port'), current_setting('port')"
current_setting | current_setting | current_setting
-----------------+-----------------+-----------------
pg | 1521 | 5432
(1 row)
同一个用户、同一个数据库、同一个集群,只换了连接端口,会话的兼容模式就跟着变。模式在连接建立时确定,判定依据是服务端本地端口,与客户端地址、用户名、数据库名都无关。
|
要判断当前会话处在哪种模式,请读 不要用 |
ivorysql.compatible_mode 可以在会话里用 SET 临时改掉,但重连即复位,新连接会被端口重新判定一次。ivorysql.database_mode 则是集群属性,在 initdb 时写进 pg_control,与连哪个端口无关。
|
两个监听端口必须不相等。默认的 5432 与 1521 本身正确,不需要额外配置。 不要用 也不要在 LOG: could not bind IPv4 address "127.0.0.1": Address already in use HINT: Is another postmaster already running on port 1521? If not, wait a few seconds and retry. WARNING: could not create listen socket for "localhost" FATAL: could not create any Oracle TCP/IP sockets
|
确实需要换端口时,只改 ivorysql.port,并保持两个值不相等:
port = 5432 ivorysql.port = 1522
重启后连 1522 得到 oracle,连 5432 得到 pg。
双监听是 Oracle 模式集群独有的:只有 initdb --dbmode=oracle 建出的集群,postmaster 才会额外创建 Oracle 监听套接字(源码里对应 DB_ORACLE == database_mode 判断)。PostgreSQL 模式的集群只有 port 一个监听端口。
4.2. 数据类型
ivorysql=# CREATE TABLE items5 (id bigserial PRIMARY KEY, name varchar2(20), num number(20), embedding bit(3));
CREATE TABLE
ivorysql=# INSERT INTO items5 (name, num, embedding) VALUES ('1st oracle data',0, '000'), ('2nd oracle data', 111, '111');
INSERT 0 2
ivorysql=# SELECT * FROM items5 ORDER BY bit_count(embedding # '101') LIMIT 5;
id | name | num | embedding
----+-----------------+-----+-----------
2 | 2nd oracle data | 111 | 111
1 | 1st oracle data | 0 | 000
4.3. 匿名块
ivorysql=# declare i vector(3) := '[1,2,3]'; begin raise notice '%', i; end; ivorysql-# / NOTICE: [1,2,3] DO