数据库内核月报

数据库内核月报 - 2018 / 07

MySQL · myrocks · clustered index特性

Author: 张远

Cluster index介绍

最近在RDS MyRocks中,我们引入了一个重要功能,二级聚集索引(secondary clustering index). 我们知道innodb和rocksdb引擎的主键就是clustered index。二级聚集索引和普通二级索引的区别是,普通二级索引只包括索引列和主键列数据,而二级聚集索引列包含表的所有列数据。可以说二级聚集索引是表数据的一个完整的copy.

下面通过例子来看下二级聚集索引和普通二级索引在查询优化上的区别

Cluster index用法

建表时指定cluster index

create table t1(c1 int primary key, c2 int clustering, c3 int) engine=rocksdb;
create table t2(c1 int primary key, c2 int clustering unique, c3 int) engine=rocksdb;
create table t3(c1 int primary key, c2 int, c3 int, clustering key(c3)) engine=rocksdb;

修改cluster index

create clustering index idx1 on t1(c2);
alter table t1 add clustering key(c3);

一个表支持同时建多个cluster index

create table t1(c1 int primary key, c2 int clustering , c3 int, clustering key(c3)) engine=rocksdb;

cluster index的优势

二级聚集索引相对普通二级索引,查询可以走cover index,可以省去二级索引回主键查数据的代价。对于MyRocks读能力不强的引擎来说,cover index显得尤为重要。

那么问题来了,如果我把表的所有列都建成一个普通二级索引,那么和二级聚集索引可以达到一样的效果,一样也可以使用cover index. 然而,二级索引有一些限制

另外,二级聚集索引性能更好

二级聚集索引更易维护

cluster index数据格式

MyRocks中普通二级索引对应的KV存储格式如下:

key: index_id,NULL-byte, 二级索引列, 主键列 value: unpack_info

key由index_id,二级索引键和主键组成, 其中NULL-byte表示索引列是否为空。 value只有unpack_info,表示二级索引键和主键列转换为memcomparable格式的信息,如果不需要额外转换信息则unpace_info为null

MyRocks中二级聚集索引对应的KV存储格式如下:

key: index_id,NULL-byte, 二级索引列, 主键列 value: unpack_info, 表中其他所有列

相对普通二级索引,value中还包括索引其他所有列的数据

cluster index更新

由于二级聚集索引包含所有列信息,执行update语句更新非索引列时,二级聚集索引数据也需要更新。例如, t1表c2列为普通二级索引,c3列为二级聚集索引

   create table t1(c1 int primary, c2 int unique, c3 int clustering, c4 int) engine=rocksdb;
   insert into t1 values(1,1,1,1);

执行以下更新时,c2列为普通二级索引不需要更新,但二级聚集索引需要更新(delete+insert)。

   update  t1 set c4=2 where c1=1;

总结

二级聚集索引是MyRocks表数据的一个完整copy, 结合MyRocks高压缩特性,这种冗余数据的方式在MyRocks上非常合适。二级聚集索引是MyRocks的一个重要feature,它能够让查询尽量走cover index,避免回表操作,提升了MyRocks的读能力。