日志

错误日志

二进制日志

1. 灾难时的数据恢复；

2. MySQL的主从复制。

• log_bin_basename：当前数据库服务器的binlog日志的基础名称（前缀），具体的binlog文件名需要再该basename的基础上加上编号（编号从000001开始）。

• log_bin_index：binlog的索引文件，里面记录了当前服务器关联的binlog文件有哪些。

格式

查看

删除

查询日志

慢查询日志

主从复制

1. 主库出现问题，可以快速切换到从库提供服务。

2. 实现读写分离，降低主库的访问压力。

3. 可以在从库中执行备份，以避免备份期间影响主库服务。

原理

1. Master 主库在事务提交时，会把数据变更记录在二进制日志文件 Binlog 中。

2. 从库读取主库的二进制日志文件 Binlog ，写入到从库的中继日志 Relay Log 。

3. slave重做中继日志中的事件，将改变反映它自己的数据。

搭建

• 192.168.200.200 作为主服务器 master

• 192.168.200.201 作为从服务器 slave

主库配置

1. 修改配置文件 /etc/my.cnf

2. 重启MySQL服务器：systemctl restart MySQLd

3. 登录MySQL，创建远程连接的账号，并授予主从复制权限

4. 通过指令，查看二进制日志坐标

字段含义说明： file：从哪个日志文件开始推送日志文件 position：从哪个位置开始推送日志 binlog_ignore_db：指定不需要同步的数据库

从库配置

1. 修改配置文件 /etc/my.cnf

2. 重启MySQL服务器：systemctl restart MySQLd

3. 登录MySQL，设置主库配置

8.0.23版本的参数名	含义	8.0.23之前版本的参数名
SOURCE_HOST	主库IP地址	MASTER_HOST
SOURCE_USER	连接主库的用户名	MASTER_USER
SOURCE_PASSWORD	连接主库的密码	MASTER_PASSWORD
SOURCE_LOG_FILE	binlog日志文件名	MASTER_LOG_FILE
SOURCE_LOG_POS	binlog日志文件位置	MASTER_LOG_POS

4. 开启同步操作

5. 查看主从同步状态

分库分表

1. IO瓶颈：热点数据太多，数据库缓存不足，产生大量磁盘IO，效率较低。 请求数据太多，带宽不够，网络IO瓶颈。

2. CPU瓶颈：排序、分组、连接查询、聚合统计等SQL会耗费大量的CPU资源，请求数太多，CPU出现瓶颈。

拆分策略

垂直拆分

垂直分库

1. 每个库的表结构都不一样。

2. 每个库的数据也不一样。

3. 所有库的并集是全量数据。

垂直分表

1. 每个表的结构都不一样。

2. 每个表的数据也不一样，一般通过一列（主键/外键）关联。

3. 所有表的并集是全量数据。

水平拆分

水平分库

1. 每个库的表结构都一样。

2. 每个库的数据都不一样。

3. 所有库的并集是全量数据。

水平分表

1. 每个表的表结构都一样。

2. 每个表的数据都不一样。

3. 所有表的并集是全量数据。

MyCat

概述

MyCatwww.mycat.org.cn

www.mycat.org.cn

是开源的、活跃的、基于Java语言编写的MySQL数据库中间件。可以像使用MySQL一样来使用MyCat，对于开发人员来说根本感觉不到MyCat的存在。

原理

1. 8066 数据访问端口，即进行 DML 和 DDL 操作。

2. 9066 数据库管理端口，即 MyCat 服务管理控制功能，用于管理MyCat的整个集群状态

配置

schema.xml

schema标签

• schema 定义逻辑库
schema标签用于定义 MyCat实例中的逻辑库，一个MyCat实例中，可以有多个逻辑库，可以通过 schema 标签来划分不同的逻辑库。MyCat中的逻辑库的概念，等同于MySQL中的database概念，需要操作某个逻辑库下的表时，也需要切换逻辑库（use xxx）。核心属性如下：
• name：指定自定义的逻辑库库名。
• checkSQLschema：在SQL语句操作时指定了数据库名称，执行时是否自动去除；true：自动去除，false：不自动去除。
• sqlMaxLimit：如果未指定limit进行查询，列表查询模式查询多少条记录。

• schema 定义逻辑表
table 标签定义了MyCat中逻辑库schema下的逻辑表 , 所有需要拆分的表都需要在table标签中定义 。核心属性如下：
• name：定义逻辑表表名，在该逻辑库下唯一。
• dataNode：定义逻辑表所属的dataNode，该属性需要与dataNode标签中name对应；多个dataNode逗号分隔。
• rule：分片规则的名字，分片规则名字是在rule.xml中定义的。
• primaryKey：逻辑表对应真实表的主键。
• type：逻辑表的类型，目前逻辑表只有全局表和普通表，如果未配置，就是普通表；全局表，配置为 global。

datanode标签

• name：定义数据节点名称。

• dataHost：数据库实例主机名称，引用自 dataHost 标签中name属性。

• database：定义分片所属数据库。

datahost标签

• name：唯一标识，供上层标签使用。

• maxCon/minCon：最大连接数/最小连接数。

• balance：负载均衡策略，取值 0,1,2,3。

• writeType：写操作分发方式（0：写操作转发到第一个writeHost，第一个挂了，切换到第二个；1：写操作随机分发到配置的writeHost）。

• dbDriver：数据库驱动，支持native、jdbc。

rule.xml

server.xml

• system标签
主要配置MyCat中的系统配置信息，对应的系统配置项及其含义，如下：



属性	取值	含义
charset	utf8	设置MyCat的字符集，字符集需要与MySQL的字符集保持一致
nonePasswordLogin	0,1	0：需要密码登陆；1：不需要密码登陆。默认为0，设置为1则需要指定默认账户。
useHandshakeV10	0,1	使用该选项主要的目的是为了能够兼容高版本的jdbc驱动, 是否采用HandshakeV10Packet来与client进行通信。1：是；0：否
useSqlStat	0,1	开启SQL实时统计, 1：开启；0：关闭。 开启之后，MyCat会自动统计SQL语句的执行情况； MySQL -h 127.0.0.1 -p 9066 -u root -p show @@sql;查看MyCat执行的SQL。 show @@sql.slow; 执行效率比较低的SQL。 show @@sql.sum; SQL的整体执行情况、读写比例等。
useGlobleTableCheck	0,1	是否开启全局表的一致性检测。1：开启；0：关闭。
sqlExecuteTimeout	1000	SQL语句执行的超时时间，单位为 s。如果SQL语句执行超时, 将关闭连接，默认300s。
sequnceHandlerType	0,1,2	用来指定MyCat全局序列类型，0：本地文件，1：数据库方式，2：时间戳列方式，默认使用本地文件方式，文件方式主要用于测试
sequnceHandlerPattern	正则表达式	必须带有MyCatSEQ或者 MyCatseq进入序列匹配流程 注意MyCatSEQ_有空格的情况
subqueryRelationshipCheck	true,false	子查询中存在关联查询的情况下，检查关联字段中是否有分片字段。默认 false
useCompression	0,1	开启MySQL压缩协议，0：关闭，1：开启
fakeMySQLVersion	5.5,5.6	设置模拟的MySQL版本号
defaultSqlParser	ㅤ	由于MyCat的最初版本使用了FoundationDB的SQL解析器，在MyCat1.3后增加了Druid解析器，所以要设置defaultSqlParser属 性来指定默认的解析器；解析器有两个：druidparser 和 fdbparser，在MyCat1.4之后，默认是druidparser，fdbparser已经废除了
processorBufferChunk	ㅤ	指定每次分配Socket Direct Buffer默认值为4096字节，也会影响BufferPool长度，如果一次性获取字节过多而导致buffer不够用，则会出现警告，可以调大该值。
processorExecutor	ㅤ	指定NIOProcessor上共享businessExecutor固定线程池的大小； MyCat把异步任务交给 businessExecutor线程池中，在新版本的MyCat中这个连接池使用频次不高，可以适当地把该值调小
packetHeaderSize	ㅤ	指定MySQL协议中的报文头长度，默认4个字节
maxPacketSize	ㅤ	指定MySQL协议可以携带的数据最大大小，默认值为16M
idleTimeout	30	指定连接的空闲时间的超时长度；如果超时，将关闭资源并回收，默认30分钟
txIsolation	1,2,3,4	初始化前端连接的事务隔离级别，默认为REPEATED_READ=3 READ_UNCOMMITED=1; READ_COMMITTED=2; REPEATED_READ=3; SERIALIZABLE=4;
serverPort	8066	定义MyCat的使用端口，默认8066
managerPort	9066	定义MyCat的管理端口，默认9066

• user标签
配置MyCat中的用户、访问密码，以及用户针对于逻辑库、逻辑表的权限信息，具体的权限描述方式及配置说明如下：

分片规则

范围分片

• schema.xml配置

• rule.xml配置
分片规则配置属性含义：

属性	描述
columns	标识将要分片的表字段
algorithm	指定分片函数与function的对应关系
class	指定该分片算法对应的类
mapFile	对应的外部配置文件
type	默认值为0；0：Integer；1：String
defaultNode	默认节点。默认节点的用法：枚举分片时，如果碰到不识别的枚举值，就让它路由到默认节点；如果没有默认值，碰到不识别的则报错。

取模分片

• schema.xml配置

• rule.xml配置
分片规则配置属性含义：

属性	描述
columns	标识将要分片的表字段
algorithm	指定分片函数与function的对应关系
class	指定该分片算法对应的类
count	数据节点的数量

该分片规则，主要是针对于数字类型的字段适用。

一致性hash分片

• schema.xml配置

• rule.xml配置
分片规则属性含义：

属性	描述
columns	标识将要分片的表字段
algorithm	指定分片函数与function的对应关系
class	指定该分片算法对应的类
seed	创建murmur_hash对象的种子，默认0
count	要分片的数据库节点数量，必须指定，否则没法分片
virtualBucketTimes	一个实际的数据库节点被映射为这么多虚拟节点，默认是160倍，也 就是虚拟节点数是物理节点数的160倍；virtualBucketTimes*count就是虚拟结点数量
weightMapFile	节点的权重，没有指定权重的节点默认是1。以properties文件的 格式填写，以从0开始到count-1的整数值也就是节点索引为key， 以节点权重值为值。所有权重值必须是正整数，否则以1代替
bucketMapPath	用于测试时观察各物理节点与虚拟节点的分布情况，如果指定了这个 属性，会把虚拟节点的murmur hash值与物理节点的映射按行输出 到这个文件，没有默认值，如果不指定，就不会输出任何东西

固定分片hash算法

1. 如果是求模，连续的值，分别分配到各个不同的分片；但是此算法会将连续的值可能分配到相同的分片，降低事务处理的难度。

2. 可以均匀分配，也可以非均匀分配。

3. 分片字段必须为数字类型。

• schema.xml配置

• rule.xml配置

属性	描述
columns	标识将要分片的表字段
algorithm	指定分片函数与function的对应关系
class	指定该分片算法对应的类
partitionCount	分片个数列表
partitionLength	分片范围列表

约束：
1. 分片长度：默认最大为1024；
2. count, length的数组长度必须是一致的；

以上rule.xml配置分为三个分区：0-255，256-511，512-1023

字符串hash解析算法

• schema.xml配置

• rule.xml配置
分片规则属性含义：

属性	描述
columns	标识将要分片的表字段
algorithm	指定分片函数与function的对应关系
class	指定该分片算法对应的类
partitionCount	分片个数列表
partitionLength	分片范围列表
hashSlice	hash运算位，根据子字符串的hash运算。0 代表 str.length()；-1 代表 str.length() - 1；大于0只代表数字自身。可以理解为substring(start, end)，start为0则只表示0

枚举分片

• schema.xml配置

• rule.xml配置
partition-hash-int.txt 的内容如下
分片规则属性含义：

属性	描述
columns	标识将要分片的表字段
algorithm	指定分片函数与function的对应关系
class	指定该分片算法对应的类
mapFile	对应的外部配置文件
type	默认值为0；0：Integer；1：String
defaultNode	默认节点。默认节点的用法：枚举分片时，如果碰到不识别的枚举值，就让它路由到默认节点；如果没有默认值，碰到不识别的则报错。

应用指定算法

• schema.xml配置

• rule.xml配置
分片规则属性含义：

属性	描述
columns	标识将要分片的表字段
algorithm	指定分片函数与function的对应关系
class	指定该分片算法对应的类
startIndex	字符子串起始索引
size	字符长度
partitionCount	分区（分片）数量
defaultPartition	默认分片（在分片数量定义时，字符标示的分片编号不在分片数量内时，使用默认分片）

按天分片算法

• schema.xml配置

• rule.xml配置
分片规则属性含义：

属性	描述
columns	标识将要分片的表字段
algorithm	指定分片函数与function的对应关系
class	指定该分片算法对应的类
dateFormat	日期格式
sBeginDate	开始日期
sEndDate	结束日期，如果配置了结束日期，则代码数据到达了这个日期的分片后，会重复从开始分片插入
sPartionDay	分区天数，默认值 10 ，从开始日期算起，每个10天一个分区

自然月分片

• schema.xml配置

• rule.xml配置
分片规则属性含义：

属性	描述
columns	标识将要分片的表字段
algorithm	指定分片函数与function的对应关系
class	指定该分片算法对应的类
dateFormat	日期格式
sBeginDate	开始日期
sEndDate	结束日期，如果配置了结束日期，则代码数据到达了这个日期的分片后，会重复从开始分片插入

读写分离

一主一从

• schema.xml配置
上述配置的具体关联对应情况如下：



writeHost代表的是写操作对应的数据库，readHost代表的是读操作对应的数据库。 所以要想实现读写分离，就得配置writeHost关联的是主库，readHost关联的是从库。 而仅仅配置好了writeHost以及readHost还不能完成读写分离，还需要配置一个非常重要的负责均衡的参数 balance，取值有4种，具体含义如下：

参数值	含义
0	不开启读写分离机制，所有读操作都发送到当前可用的writeHost上
1	全部的readHost与备用的writeHost 都参与select 语句的负载均衡（主要针对于双主双从模式）
2	所有的读写操作都随机在writeHost，readHost上分发
3	所有的读请求随机分发到writeHost对应的readHost上执行， writeHost不负担读压力

所以，在一主一从模式的读写分离中，balance配置1或3都是可以完成读写分离的。

• server.xml配置

双主双从

• schema.xml配置
具体的对应情况如下：



属性名	含义
balance="1"	代表全部的 readHost 与 stand by writeHost 参与 select 语句的负载均衡。简单的说，当双主双从模式（M1→S1，M2→S2，并且 M1 与 M2 互为主备），正常情况下，M2，S1，S2 都参与 select 语句的负载均衡。
writeType	0：写操作都转发到第1台writeHost，writeHost1挂了, 会切换到writeHost2上。 1：所有的写操作都随机地发送到配置的writeHost上。
switchType	-1：不自动切换 1：自动切换

• user.xml配置
配置root用户也可以访问到逻辑库 ITCAST_RW2。