数据库内核月报

前言

MariaDB MaxScale 是一款数据库中间件，可以按照语义分发语句到多个数据库服务器上。它对应用程序透明，可以提供读写分离、负载均衡和高可用服务。

proxy protocol 是 MaxScale 引入，为了解决使用proxy作为中间件连接mysql时，mysql获取client ip用 client通过proxy中间价连接mysql时，mysql server接收到认证报文中，包含的是proxy节点的IP。如果mysql.user表中指定了client的IP，无法通过认证。

一种传统处理方式是在proxy节点上保存client的ip和密码，用于client的认证，而在mysql server上使用另一套ip和密码用于proxy 节点到mysql server的认证。

MariaDB MaxScale引入了proxy protocol来解决client ip透传的问题。proxy节点获取到client ip后，把client ip包装在proxy protocol报文中发给server，server解析到了proxy protocol报文，再用报文中的ip替换proxy节点的ip

因为 proxy protocol 本身不包含鉴权，同时可能影响数据库的鉴权行为，所以在数据库 server 端设置了一个ip白名单，只有白名单ip发送的 proxy protocol 报文才会被接受。

mysql连接与认证过程和网络模块数据结构可以参考以前的月报

MySQL · 源码分析 · 连接与认证过程

MySQL · 源码分析 · 网络通信模块浅析

报文格式

proxy protocol 有两个版本 v1 和 v2 通过报文签名区分

v1

v1 报文是字符串形式 “PROXY %s %s %s %d %d”

字段	内容
签名	PROXY
%s.1	address family
%s.2	client address
%s.3	server address
%d.1	client port
%d.2	server port

v2

字段	内容
报文签名12字节	\x0D\x0A\x0D\x0A\x00\x0D\x0A\x51\x55\x49\x54\x0A
ver_cmd 1 字节	version 高四位 0x2 « 4， command 0x1(PROXY) 0x0 (LOCAL)
family 1 字节	IPV4 0x11，IPV6 0x21，AF_UNIX 0x21
length 2字节	addr 部分的数据长度，IPV4 12， IPV6 36， AF_UNIX 216
addr 以IPV4为例	client地址4字节，server地址4字节，client port 2字节， server port 2字节

客户端改造

MaxScale 使用场景下，Proxy Protocol Header 由 MaxScale 发送，这里暂不分析

MariaDB 为了测试，也改造了 client，可以通过 mysql_option 设置 Proxy Protocol

使用方法：在mysql_real_connect之前，调用 mysql_option

mysql_optionsv(mysql, MARIADB_OPT_PROXY_HEADER, header_data, header_lengths);

第一个参数是 MYSQL 句柄，第二个参数是 PROXY_HEADER 标志位，第三个参数是 Proxy Protocol Header，第四个参数是 Header length

Proxy Protocol Header 按照上述规则传入即可

/* st_mysql_options_extension 结构体对应 mysql->options->extension */
struct st_mysql_options_extension {
  ...
  
  /*  */
  char *proxy_header;
  size_t proxy_header_len;
}

int
mysql_optionsv(MYSQL *mysql,enum mysql_option option, ...)
{
   ...
   switch (option) {
     case MARIADB_OPT_PROXY_HEADER:                                                                                                                                                                          
     {
       size_t arg2 = va_arg(ap, size_t);
       /* 把 proxy_header 和 proxy_header_len 保存到extension中 */
       OPT_SET_EXTENDED_VALUE(&mysql->options, proxy_header, (char *)arg1);
       OPT_SET_EXTENDED_VALUE(&mysql->options, proxy_header_len, arg2);
     }
       break;
   }
}

/*
  mysql_real_connect 过程中发送 proxy header
  发送时机在建连后，接收挑战码之前
  这样在鉴权时可以使用 proxy header 中保存的 ip port
*/
MYSQL *mthd_my_real_connect(MYSQL *mysql, const char *host, const char *user,
                   const char *passwd, const char *db, 
                   uint port, const char *unix_socket, unsigned long client_flag)
{
  ...
  
  /* 如果extension中保存了 proxy_header，则把header发送给server */
  if (mysql->options.extension && mysql->options.extension->proxy_header)                                                                                                                                 
  {
    char *hdr = mysql->options.extension->proxy_header;
    size_t len = mysql->options.extension->proxy_header_len;
    if (ma_pvio_write(pvio, (unsigned char *)hdr, len) <= 0)
    {
      ma_pvio_close(pvio);
      goto error;
    }
  }
}

服务端改造

我们知道，server 通过对比自己的 net->pkt_nr 和 client 发送过来的 net->pkt_nr 来保证包没有乱序。而proxy header 没有包含正确的 pkt_nr，就可以通过判断 pkt_nr 乱序来识别 proxy header。

对于一对client和server线程，pkt_nr是共享的。

假设 server 发送的第一个包 pkt_nr == 1，下一个包是 client 回包 pkt_nr == 2，那么server再发给client 的包 pkt_nr == 3 以此类推。

/*
  正常的 mysql 都包含4字节 header，前三字节是size，第四字节是 pkt_nr
*/
my_bool my_net_write(NET *net, const uchar *packet, size_t len)
{
  ...

  /* 如果大于最大包长度，则分成多个包发送 */
  while (len >= MAX_PACKET_LENGTH)
  {
    const ulong z_size = MAX_PACKET_LENGTH;
	/* 前三个字节保存size */
    int3store(buff, z_size);
    /* 第四字节保存pkt_nr */
    buff[3]= (uchar) net->pkt_nr++;
    if (net_write_buff(net, buff, NET_HEADER_SIZE) ||
        net_write_buff(net, packet, z_size))
    {
      MYSQL_NET_WRITE_DONE(1);
      return 1;
    }
    packet += z_size;
    len-=     z_size;
  }
  /* Write last packet */
  int3store(buff,len);
  buff[3]= (uchar) net->pkt_nr++;

  ...
}


/* my_real_read 里面处理 proxy header */
static ulong
my_real_read(NET *net, size_t *complen,
             my_bool header __attribute__((unused)))
{
retry:
    /* 收到的包不满足 pkt_nr 约束，可能是 proxy header，跳转到 packets_out_of_order */
    if (net->buff[net->where_b + 3] != (uchar) net->pkt_nr)
      goto packets_out_of_order;
     
packets_out_of_order:
	/*
	  判断是否是 proxy protocol header
	  判断标准是报文前几位是否符合 proxy protocol header 的 signature
	  前面已经提到
	  	v1 signature 五字节：PROXY
	 	v2 signature 12字节：\x0D\x0A\x0D\x0A\x00\x0D\x0A\x51\x55\x49\x54\x0A
	*/
    if (has_proxy_protocol_header(net)
        && net->thd && 
        ((THD *)net->thd)->get_command() == COM_CONNECT)
    {
      /* Proxy information found in the first 4 bytes received so far.
         Read and parse proxy header , change peer ip address and port in THD.
       */
      /* 处理 proxy header，修改 THD 中的 ip port */
      if (handle_proxy_header(net))
      {
        /* error happened, message is already written. */
        len= packet_error;
        goto end; 
      }
      
      /* proxy protocol header 处理成功，跳到函数头重新读取 */
      goto retry;
    }

static int handle_proxy_header(NET *net)
{
  /*
    判断 proxy protocol header 的来源 ip 是否在白名单中
    白名单是一个全局变量 proxy_protocol_networks
    白名单 ip 以逗号分隔保存在全局变量中
  */
  if (!is_proxy_protocol_allowed((sockaddr *)&(thd->net.vio->remote)))
  {
     /* proxy-protocol-networks variable needs to be set to allow this remote address */
     my_printf_error(ER_HOST_NOT_PRIVILEGED, "Proxy header is not accepted from %s",
       MYF(0), thd->main_security_ctx.ip);
     return 1;
  }

  /*
    根据格式解析 proxy protocol header，格式在上文中已做介绍
    解析结果保存在 peer_info 中
  */
  if (parse_proxy_protocol_header(net, &peer_info))
  {
     /* Failed to parse proxy header*/
     my_printf_error(ER_UNKNOWN_ERROR, "Failed to parse proxy header", MYF(0));
     return 1;
  }

  /* Change peer address in THD and ACL structures.*/
  /* 将 peer_info 中的信息转存到 thd 中 */
  return thd_set_peer_addr(thd, &(peer_info.peer_addr), NULL, peer_info.port, false);
}

数据库内核月报－ 2019 / 01

Mariadb · 源码分析 · proxy protocol

前言

报文格式

v1

v2

客户端改造

服务端改造