数据库内核月报

TokuDB的数据库文件组织方式比较随意，给我们一种“乱”的假象，今天就来漫谈下TokuDB数据库文件。

一个“新生”的TokuDB数据库，基础文件是这样的：

tokudb.directory --表/索引文件信息
tokudb.environment --TokuDB版本号信息
tokudb.rollback --undo记录
log000000000001.tokulog27 --redo记录
__tokudb_lock_dont_delete_me_* --文件锁，保证同一个datadir只能被一个TokuDB进程使用

在test数据库下面新建个表t1，并写几条数据：

CREATE TABLE `t1` (
`a` int(11) NOT NULL,
`b` int(11) DEFAULT NULL,
`c` int(11) DEFAULT NULL,
PRIMARY KEY (`a`),
KEY `bc` (`b`,`c`)
) ENGINE=TokuDB

就会发现目录下多出3个文件，表t1：

file1: _test_t1_key_bc_90_3_1b.tokudb --索引(bc)文件
file2: _test_t1_main_90_2_1b.tokudb --主文件
file3: _test_t1_status_90_1_1b.tokudb --表元数据文件

可以发现每个表最少2个文件，命名规则为：

_database_table_main*.tokudb
_database_table_status*.tokudb

索引是一个单独的.tokudb文件。

好了，下面是问题时间。

问题1: TokuDB如何知道哪些文件属于表t1

现在来dump下tokudb.directory：

{key={len=17 data="./test/t1-key-bc\000"} xid=0000000000000003 val={len=33 data="./_test_t1_key_bc_90_3_1b.tokudb\000"}}
{key={len=15 data="./test/t1-main\000"} xid=0000000000000002 val={len=31 data="./_test_t1_main_90_2_1b.tokudb\000"}}
{key={len=17 data="./test/t1-status\000"} xid=0000000000000001 val={len=33 data="./_test_t1_status_90_1_1b.tokudb\000"}}

TokuDB在启动的时候，会读取tokudb.directory，根据key信息组织出表t1的相关文件，并写到information_schema.tokudb_file_map表。

问题2: TokuDB如何知道表t1有哪些索引以及列信息

这些信息全部存在_test_t1_status_90_1_1b.tokudb文件里。

问题3: TokuDB的分区表文件是怎样的

实验走起来，首先创建一个按时间的分区表t2：

CREATE TABLE `t2` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT,
  `c1` int(11) DEFAULT NULL,
  `date` datetime NOT NULL,
  KEY `id` (`id`),
  KEY `c1` (`c1`)
) ENGINE=TokuDB DEFAULT CHARSET=latin1
/*!50100 PARTITION BY RANGE ( TO_DAYS(date))
(PARTITION p201508 VALUES LESS THAN (736176) ENGINE = TokuDB,
 PARTITION p201509 VALUES LESS THAN (736207) ENGINE = TokuDB,
 PARTITION rxMORES VALUES LESS THAN MAXVALUE ENGINE = TokuDB) */

现在分区表的文件是什么样的呢？

data/_test_t2_P_p201508_key_c1_ba_4_1b.tokudb
data/_test_t2_P_p201508_key_id_ba_3_1b.tokudb
data/_test_t2_P_p201508_main_ba_2_1b.tokudb
data/_test_t2_P_p201508_status_ba_1_1b.tokudb
data/_test_t2_P_p201509_key_c1_bb_4_1b.tokudb
data/_test_t2_P_p201509_key_id_bb_3_1b.tokudb
data/_test_t2_P_p201509_main_bb_2_1b.tokudb
data/_test_t2_P_p201509_status_bb_1_1b.tokudb
data/_test_t2_P_rxMORES_key_c1_bc_4_1b.tokudb
data/_test_t2_P_rxMORES_key_id_bc_3_1b.tokudb
data/_test_t2_P_rxMORES_main_bc_2_1b.tokudb
data/_test_t2_P_rxMORES_status_bc_1_1b.tokudb

可以看到每个分区表有4个文件：1个main文件，1个status文件，还有2个key索引文件。对于分区表来说，总的文件数目基本是：分区数目 * (1 + 1 + 索引数目)。

所以如果您的分区非常多，open-files-limit 配置可要小心了，要尽可能的大点，否则可能会出现”Too many open files”，从而导致实例crash！

希望本文能帮助您了解到TokuDB的文件组织结构，祝玩得开心！

数据库内核月报－ 2015 / 09

MySQL · TokuDB · 文件目录谈