Mycat1.6.7.6全局序列号的使用

Posted on by ITZE

环境

  • 操作系统：CentOS 7
  • Mysql版本：Mysql8
  • Mycat版本：Mycat1.6.7.6

全局序列号(sequence)

数据切分后，原有的关系数据库中的主键约束在分布式条件下将无法使用，因此需要引入外部机制保证数据
唯一性标识，这种保证全局性的数据唯一标识的机制就是全局序列号（sequence），因此一般全局序列号用于分表情况

全局序列号介绍

在实现分库分表的情况下，数据库自增主键已无法保证自增主键的全局唯一。为此，MyCat提供了全局sequence，并且提供了包含本地配置和数据库配置等多种实现方式。

1.本地文件方式

原理： 此方式MyCAT将sequence配置到文件中，当使用到sequence中的配置后，MyCAT会更下 classpath中的sequence_conf.properties文件中sequence当前的值。
配置方式：
在 sequence_conf.properties 文件中做如下配置：

GLOBAL_SEQ.HISIDS= GLOBAL_SEQ.MINID=1001
GLOBAL_SEQ.MAXID=1000000000
GLOBAL_SEQ.CURID=1000

其中 HISIDS 表示使用过的历史分段(一般无特殊需要可不配置)，MINID表示最小ID值，MAXID表示最大ID值，CURID表示当前ID值。
server.xml 中配置：

<system>
    <property name="sequnceHandlerType">0</property>
</system>

注：sequnceHandlerType 需要配置为 0，表示使用本地文件方式。
使用示例：

insert into table1(id,name) values('next value for MYCATSEQ_GLOBAL','test');

函数：next value for MYCATSEQ_GLOBAL 会在下面数据库模式讲到
缺点： 当 MyCAT 重新发布后，配置文件中的 sequence 会恢复到初始值。
优点：本地加载，读取速度较快。

2.数据库方式

原理：
在数据库中建立一张表，存放 sequence 名称(name)，sequence 当前值(current_value)，步长(increment int类型每次读取多少个sequence，假设为K)等信息
Sequence获取步骤：
1. 当初次使用该sequence时，根据传入的sequence名称，从数据库这张表中读取current_value，和increment到MyCat中，并将数据库中的current_value设置为原 current_value值+increment值。
2. MyCat将读取到current_value+increment作为本次要使用的sequence值，下次使用时，自动加1，当使用 increment次后，执行步骤1)相同的操作。
3. MyCat负责维护这张表，用到哪些sequence，只需要在这张表中插入一条记录即可。若某次读取的sequence 没有用完，系统就停掉了，则这次读取的sequence剩余值不会再使用
配置方式：
server.xml 配置：

<system>
    <property name="sequnceHandlerType">1</property>
</system>

注：sequnceHandlerType 需要配置为1，表示使用数据库方式生成sequence
数据库配置：
1. 创建 MYCAT_SEQUENCE 表

CREATE TABLE MYCAT_SEQUENCE (NAME VARCHAR(50) NOT NULL,current_value INT NOT
NULL,increment INT NOT NULL DEFAULT 100, PRIMARY KEY(NAME)) ENGINE=INNODB;
  1. 创建相关函数
#获取当前 sequence 的值 (返回当前值,增量）
#注意！此处后面加空格加两个美元符号，编辑器显示！如：DELIMITER 空格 美元符号1美元符号2，END后面同理，以下三个函数同理
DELIMITER CREATE FUNCTION mycat_seq_currval(seq_name VARCHAR(50)) RETURNS VARCHAR(64)
DETERMINISTIC 
BEGIN
DECLARE retval VARCHAR(64);
SET retval="-999999999,null";
SELECT CONCAT(CAST(current_value AS CHAR),",",CAST(increment AS CHAR)) INTO retval FROM
MYCAT_SEQUENCE WHERE NAME = seq_name;
RETURN retval;
END
DELIMITER ;
#设置sequence值
DELIMITER CREATE FUNCTION mycat_seq_setval(seq_name VARCHAR(50),VALUE INTEGER) RETURNS 
VARCHAR(64)
DETERMINISTIC
BEGIN
UPDATE MYCAT_SEQUENCE SET current_value = VALUE
WHERE NAME = seq_name;
RETURN mycat_seq_currval(seq_name);
END
DELIMITER ;
#获取下一个sequence值
DELIMITER CREATE FUNCTION mycat_seq_nextval(seq_name VARCHAR(50)) RETURNS VARCHAR(64) 
DETERMINISTIC
BEGIN
UPDATE MYCAT_SEQUENCE
SET current_value = current_value + increment WHERE NAME = seq_name;
RETURN mycat_seq_currval(seq_name);
END
DELIMITER ;

初始化一个值

#初始化序列表记录
INSERT INTO MYCAT_SEQUENCE(NAME,current_value,increment) VALUES ('GLOBAL', 100,100);

此时情况如下图

  1. sequence_db_conf.properties相关配置,指定 sequence 相关配置在哪个节点上：
    例如，上图中mycat_sequence中有一条数据的NAME值为GLOBAL
    sequence_db_conf.properties配置如下,配置中的dn1，根据自己实际schema.xml中配置的主机对应的节点！
    GLOBAL=dn1
    注意：
    MYCAT_SEQUENCE表和以上的3个function，需要放在同一个节点上。function请直接在具体节点的数据库上执行，如果执行的时候报：
    you might want to use the less safe log_bin_trust_function_creators variable
    需要对数据库做如下设置：

– windows下 my.ini[mysqld]加上 log_bin_trust_function_creators=1
– linux下/etc/my.cnf 下 my.ini[mysqld]加上 log_bin_trust_function_creators=1

修改完后，即可在mysql数据库中执行上面的函数。
使用示例：

insert into table1(id,name) values('next value for MYCATSEQ_GLOBAL',"testName")；

注意： next value for MYCATSEQ_GLOBAL函数亲测1.6.7需要添加单引号！单引号不能省略！否则无法识别函数！

函数使用格式：next value for MYCATSEQ_+MYCAT_SEQUENCE表中NAME的值

本地时间戳方式

ID=64位二进制(42(毫秒)+5(机器 ID)+5(业务编码)+12(重复累加)换算成十进制为18位数的long类型，每毫秒可以并发 12 位二进制的累加。
使用方式：
1. 配置 server.xml

<property name="sequnceHandlerType">2</property>
  1. 在mycat下配置：sequence_time_conf.properties
    WORKID=0-31 任意整
    DATAACENTERID=0-31 任意整数
    多个个 mycat 节点下每个 mycat 配置的 WORKID，DATAACENTERID 不同，组成唯一标识，总共支持32*32=1024 种组合。
    ID 示例：5676308347551

分布式ZK ID生成器

配置server.xml

<property name="sequnceHandlerType">3</property>

Zk的连接信息统一在myid.properties的zkURL属性中配置。
基于ZK与本地配置的分布式ID生成器(可以通过 ZK 获取集群（机房）唯一 InstanceID，也可以通过配置文
件配置 InstanceID)
ID 结构：long 64 位，ID 最大可占 63 位
* |current time millis(微秒时间戳 38 位,可以使用 17 年)|clusterId（机房或者 ZKid，通过配置文件配置 5
位）|instanceId（实例 ID，可以通过 ZK 或者配置文件获取，5 位）|threadId（线程 ID，9 位）
|increment(自增,6 位) * 一共 63 位，可以承受单机房单机器单线程 1000(2^6)=640000 的并发。
* 一共 63 位，可以承受单机房单机器单线程 1000(2^7)=1280000 的并发。
* 无悲观锁，无强竞争，吞吐量更高
配置文件：sequence_distributed_conf.properties，只要配置里面：INSTANCEID=ZK 就是从 ZK 上获取
InstanceID。

Zk递增方式

配置server.xml

<property name="sequnceHandlerType">4</property>

Zk的连接信息统一在myid.properties 的zkURL属性中配置
* 配置文件：sequence_conf.properties
* 只要配置好ZK地址和表名的如下属性
* TABLE.MINID 某线程当前区间内最小值
* TABLE.MAXID 某线程当前区间内最大值
* TABLE.CURID 某线程当前区间内当前值
* 文件配置的 MAXID 以及 MINID 决定每次取得区间，这个对于每个线程或者进程都有效
* 文件中的这三个属性配置只对第一个进程的第一个线程有效，其他线程和进程会动态读取ZK

其他方式

  1. 使用catelet注解方式
    /*!mycat:catlet=demo.catlets.BatchGetSequence */SELECT mycat_get_seq(‘GLOBAL’,100);
    注：此方法表示获取 GLOBAL 的 100 个 sequence 值，例如当前 GLOBAL 的最大 sequence 值为 5000，
    则通过此方式返回的是 5001，同时更新数据库中的 BLOBAL 的最大 sequence 值为 5100。
  2. 利用zookeeper方式实现…

自增长主键方式

说明：
1. mysql 本身对非自增长主键，使用 last_insert_id()是不会返回结果的，只会返回 0；
2. mysql 只会对定义自增长主键，可以用 last_insert_id()返回主键值；
3. MyCAT目前提供了自增长主键功能，但是如果对应的mysql节点上数据表，没有定义auto_increment，那么在 MyCAT层调用last_insert_id()也是不会返回结果的。
正确的配置方式
1. 首先你的表需要有自增ID主键
2. 在mycat配置文件schema.xml中配置

        <table name="talbeName" primaryKey="id" autoIncrement="true" dataNode="dn1" subTables="talbeName$0-10" rule="modRuleName"></table>

主要是添加primaryKey=”id” autoIncrement=”true” 这两个属性
3. 在MYCAT_SEQUENCE表中，添加记录值，这里操作同数据库模式中，但是添加的记录值需要时schema.xml配置中table标签中的name值的全部大写
例如：name=”talbeName”，那么MYCAT_SEQUENCE表中NAME值应该是：TABLENAME
4. 修改mycat对应 sequence_db_conf.properties 增加相应设置，这一步同数据库模式，如下
TABLENAME=dn1

完成所有配置后不要忘记重启mycat服务！

最后

作者在测试使用数据库模式时，会遇到1062问题，即mysql在插入一条数据是报自增主键值已存在，多次测试均会出现，目前mycat官方社区还没有回复这个问题，不知道是不是1.6.7版本的问题
第一次测试写入93条数据，出现了20次
第二次测试写入722条数据，636条成功写入，86条同样的原因失败
作者最后使用的是自增长主键方式，暂时没有出现1062问题