数据库内核月报 - 2016 / 05

PG&GP · 特性分析 · 外部数据导入接口实现分析

背景

社区 PostgreSQL 和 GreenPlum 都提供了读写外部数据源的方法,它们都提供了一套编程接口,用户可以在这上面做二次开发,建立外部数据源和数据库间的数据通道。
本文介绍 PostgreSQL 和 GreenPlum 这部分编程接口的实现和编程方法。结合 RDS 开发的 oss_ext 接口。展示外部数据源接口的能力。

PostgreSQL FDW

FDW 的全称是 foreign-data wrapper,是一套读写外部数据源的编程接口。它提供了多个回调函数编程接口,开发者可以逐一实现这些接口,封装成动态库,然后加载到内核中使用。
下面逐一介绍下这套编程接口

1 扫描类接口

  1. GetForeignRelSize_function GetForeignRelSize;

    返回给数据库对应数据源的规模信息

  2. GetForeignPaths_function GetForeignPaths;

    优化器接口,提供对应数据源的查询路径。

  3. GetForeignPlan_function GetForeignPlan;

    优化器接口,提供对应数据源的查询计划。

  4. BeginForeignScan_function BeginForeignScan;

    执行器接口,外部表扫描开始的准备工作。

  5. IterateForeignScan_function IterateForeignScan;

    执行器接口,外部表扫描实现,一次返回一个 tuple slot。

  6. ReScanForeignScan_function ReScanForeignScan;

    执行器接口,外部表扫描节点重新开始,重置所有状态参数和内存结构。

  7. EndForeignScan_function EndForeignScan;

    执行器接口,外部表扫描节点结束,释放资源。

2 更新数据接口

  1. AddForeignUpdateTargets_function AddForeignUpdateTargets;

    构造要更新的外部数据源的目标列信息

  2. PlanForeignModify_function PlanForeignModify;

    构造外部数据源修改的(包括insert update delete的)的数据结构

  3. BeginForeignModify_function BeginForeignModify;

    执行器接口,数据更新节点的数据准备

  4. ExecForeignInsert_function ExecForeignInsert;

    执行器接口,insert 一行数据

  5. ExecForeignUpdate_function ExecForeignUpdate;

    执行器接口,update 一行数据

  6. ExecForeignDelete_function ExecForeignDelete;

    执行器接口,delete 一行数据

  7. EndForeignModify_function EndForeignModify;

    执行器接口,修改结束,释放相关资源

  8. IsForeignRelUpdatable_function IsForeignRelUpdatable;

    执行器接口,修改结束,释放相关资源

3 查询计划展示接口

  1. ExplainForeignScan_function ExplainForeignScan;

    展示扫描节点的相关信息

  2. ExplainForeignModify_function ExplainForeignModify;

    展示修改数据节点的相关信息

4 外部数据源统计信息接口

  1. AnalyzeForeignTable_function AnalyzeForeignTable;

    分析外部数据的数据分布状况接口

总结

  1. 用户可以根据需求实现他们,如只需要读取数据,则不用实现第二部分;
  2. 除了支持读取数据相关接口,还支持了对统计信息的接入。这样,PostgreSQL 真正的把外部数据源当作了“表”。考虑到了数据的规模,使得优化器合理的规划了外部表的执行路径。和执行阶段执行器深度结合。整套接口设计清晰分工明确;
  3. 这套接口的实现可以参考已经实现的 PostgreSQL_FDW

GreenPlum external table

GreenPlum external table 和 PostgreSQL FDW 的区别

GreenPlum external table 在实现上和 PostgreSQL FDW 完全不同,有自己的特点:

  1. GreenPlum 只提供了两个对外的接口 readfunc 和 writefunc;
  2. GreenPlum external table 接口和内核交互的的内容是数据块,而 PostgreSQL FDW 是 tuple slot。
    也就是说,通过 PostgreSQL FDW 需要把外部数据源做完整的行列解析,而 GreenPlum external table 则不同;
  3. 最大的不同 GreenPlum external table 执行过程中是驱动 segment 工作,可以通过这个接口让所有 segment 同时并行工作并行读写数据,大大提高了整个集群的性能;
  4. GreenPlum external table 没有像 PostgreSQL FDW 那样的读取统计信息,并提供给优化器的接口,在复杂查询场景下使用 GreenPlum external table 可能查询计划不是最优的;

GreenPlum external table 接口

  1. readfunc

    按数据块读取数据

  2. writefunc

    按数据块写数据

从 oss 读取数据

基于上述编程接口,我们开发了一套用于从 oss 导入数据到 GreenPlum 和 PostgreSQL 的插件,性能杠杠的。帮助云上用户更好的使用 RDS 数据库产品。

从 oss 导入数据到 GreenPlum