|
|
51CTO旗下网站
|
|
移动端

MySQL读写分离那些事,用Docker轻轻松松搞定

根据MySQL的官方文档介绍,MySQL支持读写分离的集群配置,并且MySQL提供两种类型的读写分离数据复制类型;一种是二进制日志文件方式的数据复制,另一种是Global Transaction Identifiers (GTIDs)。

作者:云计算AND容器技术来源:今日头条|2019-11-28 10:21

一个应用系统是否高可用,整个系统的效率是否满足预期,往往受到多方面的制约因素,例如:运行环境,网络环境以及数据的吞吐量等;作为一般的大型应用系统来说,我们想要提升整个系统的效率,我们大多数情况下会从我们的后端数据库做优化,从而提高我们整个系统的数据吞吐量,如果我们后端采用的是关系型数据,我们可能会想到两种解决方案,一种是更换非关系型数据库,这种方案代价比较昂贵,它会涉及到数据的迁移,以及程序代码的修改;另一种是通过数据库集群的方式,来横向和纵向扩展我们的数据库,这种方案容易实现并且程序代码修改量比较小;

根据MySQL的官方文档介绍,MySQL支持读写分离的集群配置,并且MySQL提供两种类型的读写分离数据复制类型;一种是二进制日志文件方式的数据复制,另一种是Global Transaction Identifiers (GTIDs)。

下面我们通过一个小实验来看看MySQL数据基于二进制日志数据复制方式的主从集群是如何实现的。

OS环境:CentOS7

软件环境:Docker(最新版),MySQL:latest镜像

我们通过Docker容器快速的构建两个MySQL数据库服务器

  1. docker pull mysql 
  2. [root@dev01 ~]# docker images 
  3. REPOSITORY TAG IMAGE ID CREATED SIZE 
  4. mysql latest 62a9f311b99c 4 weeks ago 445MB 

可以看到我们已经拉取到最新的MySQL Docker容器,为了在本地环境中启动两个不同的MySQL Docker容器,我们需要通过修改容器的配置文件的方式来改变MySQL的配置;

首先,我们修改MySQL Master(主数据库)的容器配置文件:

一,创建Master数据库的配置文件

  1. vi master.cnf 
  2. [mysqld] 
  3. # master server id 
  4. server-id = 1 
  5.  
  6. # bin log 
  7. log_bin = mysql-master-bin 
  • server-id,在MySQL集群数据库中,这个参数必须唯一
  • log_bin,MySQL采用二进制日志文件复制的文件名

二,将该配置文件拷贝到MySQL Docker容器中

  1. docker run --name mysql -e MYSQL_ROOT_PASSWORD=root -d mysql 
  2. docker cp master.cnf fdb98bbd52b6:/etc/mysql/conf.d 

三,提交修改后的Docker容器

  1. docker commit -m "add master configure file" fdb98bbd52b6 mysql:master 
  2. [root@dev01 ~]# docker images 
  3. REPOSITORY TAG IMAGE ID CREATED SIZE 
  4. mysql master 345465966cb5 3 hours ago 445MB 
  • commit -m是修改容器后提交的信息,类似Git提交;
  • fdb98bbd52b6是刚才修改的容器;
  • mysql:master是我们为修改后的容器打上tag标签master

接下来我们修改MySQL Slave(从数据库)的容器配置文件

一,创建Slave数据库的配置文件

  1. vi slave.cnf 
  2. [mysqld] 
  3. # slave server id 
  4. server-id = 2 
  5.  
  6. # bin log 
  7. log_bin = mysql-slave-bin 
  8. relay_log = mysql-relay-bin 
  9. log_slave_updates = 1 
  10. read_only = 1 
  • server-id为从数据库的ID,该参数在MySQL集群中必须保持唯一性;
  • log_bin如果slave为其它slave的master,必须设置bin_log,在这里我们暂时开启;
  • relay_log配置中继日志
  • log_slave_updates表示slave将复制事件写进自己的二进制日志(后面会看到它的用处);
  • read_only尽量使用read_only,它防止改变数据(除了特殊的线程);

二,将配置文件拷贝到容器中

  1. docker run --name mysql -e MYSQL_ROOT_PASSWORD=root -d mysql 
  2. docker cp slave.cnf 8ee82abb2e91:/etc/mysql/conf.d 

三,提交修改后的Docker容器

  1. docker commit -m "add slave configure file" 8ee82abb2e91 mysql:slave 
  2. [root@dev01 ~]# docker images 
  3. REPOSITORY TAG IMAGE ID CREATED SIZE 
  4. mysql slave 3a53cd39ee45 4 hours ago 445MB 

到此,所需要的两个MySQL容器已经修改完毕,并且保存在我们本地的容器仓库中,接下来我们开始启动刚才修改的两个容器进行后续的配置

一,启动Master数据库

  1. docker run --name master -e MYSQL_ROOT_PASSWORD=root -d mysql:master 
  • --name master是我们为启动的容器名;
  • mysql:master是我们刚才修改后并且提交到本地的Docker镜像
  • 默认数据库root的密码设置为root

二,启动Slave数据库

  1. docker run --link master:master --name slave -e MYSQL_ROOT_PASSWORD=root -d mysql:slave 
  • 为了master容器与slave容器的网络互通,我们添加了--line选项来连接到我们刚才启动的名为master容器;
  • --name slave是我们为启动的容器名;
  • mysql:slave是我们刚才修改后并且提交到本地的Docker镜像;
  • 默认数据库root的密码设置为root

三,进入master容器中通过mysql命令进入数据库

  1. docker exec -it master /bin/bash 
  2. mysql -u root -proot 

四,在master数据库中创建用于复制数据的账号,并且给该账号相应的权限

  1. create user 'repl'@'%' identified by 'repl-pwd'
  2. grant replication slave on *.* to 'repl'@'%'
  3. flush privileges

五,查看master数据库的状态

  1. mysql> show master status; 
  2. +-------------------------+----------+--------------+------------------+-------------------+ 
  3. | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set | 
  4. +-------------------------+----------+--------------+------------------+-------------------+ 
  5. | mysql-master-bin.000003 | 2743 | | | | 
  6. +-------------------------+----------+--------------+------------------+-------------------+ 
  7. 1 row in set (0.00 sec) 

六,进入slave容器中通过mysql命令进入数据库

  1. docker exec -it slave /bin/bash 
  2. mysql -u root -proot 

七,配置slave,将master数据库指向刚才配置好的master数据库节点,并且启动slave

  1. change master to master_host='master', master_user='repl', master_password='repl-pwd', master_log_file='mysql-master-bin.000003', master_log_pos=0; 
  2. start slave; 

八,查看slave数据库状态

  1. mysql> show slave status\G 
  2. *************************** 1. row *************************** 
  3.  Slave_IO_State: 
  4.  Master_Host: master 
  5.  Master_User: repl 
  6.  Master_Port: 3306 
  7.  Connect_Retry: 60 
  8.  Master_Log_File: mysql-master-bin.000003 
  9.  Read_Master_Log_Pos: 4 
  10.  Relay_Log_File: mysql-relay-bin.000001 
  11.  Relay_Log_Pos: 4 
  12.  Relay_Master_Log_File: mysql-master-bin.000003 
  13.  Slave_IO_Running: No 
  14.  Slave_SQL_Running: No 
  15.  Replicate_Do_DB: 
  16.  Replicate_Ignore_DB: 
  17.  Replicate_Do_Table: 
  18.  Replicate_Ignore_Table: 
  19.  Replicate_Wild_Do_Table: 
  20.  Replicate_Wild_Ignore_Table: 
  21.  Last_Errno: 0 
  22.  Last_Error: 
  23.  Skip_Counter: 0 
  24.  Exec_Master_Log_Pos: 4 
  25.  Relay_Log_Space: 155 
  26.  Until_Condition: None 
  27.  Until_Log_File: 
  28.  Until_Log_Pos: 0 
  29.  Master_SSL_Allowed: No 
  30.  Master_SSL_CA_File: 
  31.  Master_SSL_CA_Path: 
  32.  Master_SSL_Cert: 
  33.  Master_SSL_Cipher: 
  34.  Master_SSL_Key: 
  35.  Seconds_Behind_Master: NULL 
  36. Master_SSL_Verify_Server_Cert: No 
  37.  Last_IO_Errno: 2061 
  38.  Last_IO_Error: error connecting to master 'repl@master:3306' - retry-time: 60 retries: 1 message: Authentication plugin 'caching_sha2_password' reported error: Authentication requires secure connection
  39.  Last_SQL_Errno: 0 
  40.  Last_SQL_Error: 
  41.  Replicate_Ignore_Server_Ids: 
  42.  Master_Server_Id: 0 
  43.  Master_UUID: 
  44.  Master_Info_File: mysql.slave_master_info 
  45.  SQL_Delay: 0 
  46.  SQL_Remaining_Delay: NULL 
  47.  Slave_SQL_Running_State: 
  48.  Master_Retry_Count: 86400 
  49.  Master_Bind: 
  50.  Last_IO_Error_Timestamp: 190912 06:06:14 
  51.  Last_SQL_Error_Timestamp: 
  52.  Master_SSL_Crl: 
  53.  Master_SSL_Crlpath: 
  54.  Retrieved_Gtid_Set: 
  55.  Executed_Gtid_Set: 
  56.  Auto_Position: 0 
  57.  Replicate_Rewrite_DB: 
  58.  Channel_Name: 
  59.  Master_TLS_Version: 
  60.  Master_public_key_path: 
  61.  Get_master_public_key: 0 
  62.  Network_Namespace: 
  63. 1 row in set (0.00 sec) 

由于最新版的MySQL为了提升安全性更改了密码校验插件,在这里我们还是采用之前的密码校验插件,我们在master数据库上用如下的命令来修改刚才在master数据库创建的用户

  1. alter user 'repl'@'%' identified by 'repl-pwd' password expire never; 
  2. alter user 'repl'@'%' identified with mysql_native_password by 'repl-pwd'
  3. flush privileges

九,再次查看slave状态

  1. mysql> show slave status\G 
  2. *************************** 1. row *************************** 
  3.  Slave_IO_State: Waiting for master to send event 
  4.  Master_Host: master 
  5.  Master_User: repl 
  6.  Master_Port: 3306 
  7.  Connect_Retry: 60 
  8.  Master_Log_File: mysql-master-bin.000003 
  9.  Read_Master_Log_Pos: 2743 
  10.  Relay_Log_File: mysql-relay-bin.000002 
  11.  Relay_Log_Pos: 2971 
  12.  Relay_Master_Log_File: mysql-master-bin.000003 
  13.  Slave_IO_Running: Yes 
  14.  Slave_SQL_Running: Yes 
  15.  Replicate_Do_DB: 
  16.  Replicate_Ignore_DB: 
  17.  Replicate_Do_Table: 
  18.  Replicate_Ignore_Table: 
  19.  Replicate_Wild_Do_Table: 
  20.  Replicate_Wild_Ignore_Table: 
  21.  Last_Errno: 0 
  22.  Last_Error: 
  23.  Skip_Counter: 0 
  24.  Exec_Master_Log_Pos: 2743 
  25.  Relay_Log_Space: 3179 
  26.  Until_Condition: None 
  27.  Until_Log_File: 
  28.  Until_Log_Pos: 0 
  29.  Master_SSL_Allowed: No 
  30.  Master_SSL_CA_File: 
  31.  Master_SSL_CA_Path: 
  32.  Master_SSL_Cert: 
  33.  Master_SSL_Cipher: 
  34.  Master_SSL_Key: 
  35.  Seconds_Behind_Master: 0 
  36. Master_SSL_Verify_Server_Cert: No 
  37.  Last_IO_Errno: 0 
  38.  Last_IO_Error: 
  39.  Last_SQL_Errno: 0 
  40.  Last_SQL_Error: 
  41.  Replicate_Ignore_Server_Ids: 
  42.  Master_Server_Id: 1 
  43.  Master_UUID: f6e8062e-d521-11e9-9009-0242ac110008 
  44.  Master_Info_File: mysql.slave_master_info 
  45.  SQL_Delay: 0 
  46.  SQL_Remaining_Delay: NULL 
  47.  Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates 
  48.  Master_Retry_Count: 86400 
  49.  Master_Bind: 
  50.  Last_IO_Error_Timestamp: 
  51.  Last_SQL_Error_Timestamp: 
  52.  Master_SSL_Crl: 
  53.  Master_SSL_Crlpath: 
  54.  Retrieved_Gtid_Set: 
  55.  Executed_Gtid_Set: 
  56.  Auto_Position: 0 
  57.  Replicate_Rewrite_DB: 
  58.  Channel_Name: 
  59.  Master_TLS_Version: 
  60.  Master_public_key_path: 
  61.  Get_master_public_key: 0 
  62.  Network_Namespace: 
  63. 1 row in set (0.00 sec) 

我们主要查看Slave_IO_Running和Slave_SQL_Running,表示我们的slave数据库节点已经成功的连接到了我们的master数据库节点。

十,验证,我们在master数据库节点上创建一个空的数据库

  1. mysql> create database data; 
  2. Query OK, 1 row affected (0.10 sec) 
  3.  
  4. mysql> show databases; 
  5. +--------------------+ 
  6. Database | 
  7. +--------------------+ 
  8. | data | 
  9. | information_schema | 
  10. | mysql | 
  11. | performance_schema | 
  12. | sys | 
  13. +--------------------+ 
  14. rows in set (0.01 sec) 

十一,验证slave,查看刚才在master数据库节点上创建的数据库是否同步到slave数据节点

  1. mysql> show databases; 
  2. +--------------------+ 
  3. Database | 
  4. +--------------------+ 
  5. | data | 
  6. | information_schema | 
  7. | mysql | 
  8. | performance_schema | 
  9. | sys | 
  10. +--------------------+ 
  11. rows in set (0.01 sec) 

可以看到,我们刚才在master数据库节点上创建的数据库已经同步到我们的slave数据库节点,master和slave的数据库数据已经保持一致。

以上实验我们选取了两个数据库(一主一从)的方式,在实际的应用中我们会根据我们的应用场景,slave数据库节点也有可能被选择作为主数据库,这个时候slave数据库节点就有可能是1到N个。

参考:

https://dev.mysql.com/doc/refman/5.7/en/replication.html

【编辑推荐】

  1. 数据库连接池技术的原理
  2. 详解SQL Server数据库sql优化注意事项25条
  3. 我常用的免费MySQL图形化管理工具
  4. 值得关注的五大SQL数据库恢复软件
  5. 记一次Oracle数据库实验--索引的常见执行计划
【责任编辑:武晓燕 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

订阅专栏+更多

骨干网与数据中心建设案例

骨干网与数据中心建设案例

高级网工必会
共20章 | 捷哥CCIE

398人订阅学习

中间件安全防护攻略

中间件安全防护攻略

4类安全防护
共4章 | hack_man

146人订阅学习

CentOS 8 全新学习术

CentOS 8 全新学习术

CentOS 8 正式发布
共16章 | UbuntuServer

291人订阅学习

读 书 +更多

SUN Solaris 9/10系统管理员认证指南

本书专门根据SUN官方的SCSA for Solaris 9&10考试大纲撰写而成,全面覆盖了SCSA for Solaris 9/10的认证考点,除此之外本书还有大量的非考...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO官微