一、说明

前面我们说了mysql的安装配置(并提供一键安装脚本),mysql语句使用以及备份恢复mysql数据;本次要介绍的是mysql的主从复制,读写分离;及高可用MHA。
环境如下:
master:CentOS7_x64 mysql5.721 172.16.3.175 db1
slave1:CentOS7_x64 mysql5.7.21 172.16.3.235 db2
slave2:CentOS7_x64 mysql5.7.21 172.16.3.235 db3
proxysql/MHA:CentOS7_x64 mysql5.7.21 172.16.3.235 proxysql

架构图:

MySQL主从复制读写分离与高可用配置

说明:
配置测试时为了方便关闭了防火墙头,selinux安全策略;
现实中请开放防火墙策略;myslqdb的安装已经有脚本一键安装并配置好;这里就不在重复配置;只对对应的角色贴出对应的配置或安装与之相关的软件;

二、主从复制配置

一台主数据库,N从节点;从节点开启两个线程,通过Slave_IO_Running线程和主节点上有权限的账号从 主数据库节点复制binlog日志到本地,能过Slave_SQL_Running线程在本地执行binlog日志,达到主从节点内容同步;

master配置:
egrep -v '(^$|^#)' /usr/local/mysql/etc/my.cnf

  1. [mysqld] 
  2. datadir=/data1/mysqldb 
  3. socket=/tmp/mysql.sock 
  4. key_buffer_size         = 16M 
  5. max_allowed_packet      = 16M 
  6. thread_stack            = 192K 
  7. thread_cache_size       = 8 
  8. query_cache_limit       = 1M 
  9. query_cache_size        = 64M 
  10. query_cache_type        = 1 
  11. symbolic-links=0 
  12. innodb_file_per_table=ON 
  13. skip_name_resolve=ON 
  14.  
  15. server-id       = 1 
  16. log_bin         = /data1/mysqldb/mysql-bin.log 
  17. [mysqld_safe] 
  18. log-error=/usr/local/mysql/logs/error.log 
  19. pid-file=/data1/mysqldb/mysql.pid 
  20. !includedir  /usr/local/mysql/etc/my.cnf.d 

创建从节点同步账号:

  1. mysql > grant replication client,replication slave on *.* to 'repluser'@'172.16.3.%' identified by 'replpass'
  2. mysql > flush privileges
  3. mysql >show master logs; 
  4. +------------------+-----------+ 
  5. | Log_name         | File_size | 
  6. +------------------+-----------+ 
  7. | mysql-bin.000001 |       622 | 

主节点上的binlog日志文件及位置;请记下;从节点第一次同步时需要用;

slave节点:
egrep -v '(^$|^#)' /usr/local/mysql/etc/my.cnf

  1. [mysqld] 
  2. datadir=/data1/mysqldb 
  3. socket=/data1/mysqldb/mysql.sock 
  4. key_buffer_size         = 16M 
  5. max_allowed_packet      = 16M 
  6. thread_stack            = 192K 
  7. thread_cache_size       = 8 
  8. query_cache_limit       = 1M 
  9. query_cache_size        = 64M 
  10. query_cache_type        = 1 
  11. symbolic-links=0 
  12.  
  13. innodb_file_per_table=ON 
  14. skip_name_resolve=ON 
  15.  
  16. server-id               = 11         #从节点标识ID  各从节点均不一样  
  17. relay_log = relay-log 
  18. read_only=ON 
  19.  
  20. [mysqld_safe] 
  21. log-error=/usr/local/mysql/log/error.log 
  22. pid-file=/var/run/mysql/mysql.pid 
  23. !includedir /usr/local/mysql/etc/my.cnf.d 

启动mysq数据库
注意:两台从节点的server-id 值不一样;其他的都一样;因此从节点只展示一个配置文件;
登录数据库并同步数据启动slave
两台slave均要同步并启动

  1. mysql > CHANGE MASTER TO MASTER_HOST="172.16.3.175",MASTER_USER="repluser",MASTER_PASSWORD="replpass",MASTER_PORT=3306,MASTER_LOG_FILE="mysql-bin.000001",MASTER_LOG_POS=622; 
  2. mysql > start slave;     #启动从节点() 
  3.  
  4. #查看从节点状态 
  5. mysql > SHOW SLAVE STATUS; 
  6. *************************** 1. row *************************** 
  7.                Slave_IO_State: Waiting for master to send event 
  8.                   Master_Host: 172.16.3.175                  #主节点 
  9.                   Master_User: repluser                          #同步账号 
  10.                   Master_Port: 3306 
  11.                 Connect_Retry: 60 
  12.               Master_Log_File: mysql-bin.000001 
  13.           Read_Master_Log_Pos: 622 
  14.                Relay_Log_File: relay-log.000001 
  15.                 Relay_Log_Pos: 582 
  16.         Relay_Master_Log_File: mysql-bin.000001 
  17.              Slave_IO_Running: Yes                      #同步线程正常 
  18.             Slave_SQL_Running: Yes                   #本地写线程正常 
  19.               Replicate_Do_DB:                              #同步过滤为空(可以只同步某个或某些库) 
  20.           Replicate_Ignore_DB:                             #不同步的库 
  21.            Replicate_Do_Table:                      
  22.        Replicate_Ignore_Table:  
  23.       Replicate_Wild_Do_Table:  
  24.   Replicate_Wild_Ignore_Table:  
  25.                    Last_Errno: 0               #最后同步的错误 0表示正常同步 
  26.                    Last_Error:  
  27.                  Skip_Counter: 0 
  28.           Exec_Master_Log_Pos: 622 
  29.               Relay_Log_Space: 615 
  30.               Until_Condition: None 
  31.                Until_Log_File:  
  32.                 Until_Log_Pos: 0 
  33.            Master_SSL_Allowed: No 
  34.            Master_SSL_CA_File:  
  35.            Master_SSL_CA_Path:  
  36.               Master_SSL_Cert:  
  37.             Master_SSL_Cipher:  
  38.                Master_SSL_Key:  
  39.         Seconds_Behind_Master: 0 
  40. Master_SSL_Verify_Server_Cert: No 
  41.                 Last_IO_Errno: 0 
  42.                 Last_IO_Error:  
  43.                Last_SQL_Errno: 0 
  44.                Last_SQL_Error:  
  45.   Replicate_Ignore_Server_Ids:  
  46.              Master_Server_Id: 1 
  47.                   Master_UUID: 57017c43-36e3-11e8-ac76-080027393fc7 
  48.              Master_Info_File: /data1/mysqldb/master.info 
  49.                     SQL_Delay: 0 
  50.           SQL_Remaining_Delay: NULL 
  51.       Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates 
  52.            Master_Retry_Count: 86400 
  53.                   Master_Bind:  
  54.       Last_IO_Error_Timestamp:  
  55.      Last_SQL_Error_Timestamp:  
  56.                Master_SSL_Crl:  
  57.            Master_SSL_Crlpath:  
  58.            Retrieved_Gtid_Set:  
  59.             Executed_Gtid_Set:  
  60.                 Auto_Position: 0 
  61.          Replicate_Rewrite_DB:  
  62.                  Channel_Name:  
  63.            Master_TLS_Version:  
  64. 1 row in set (0.00 sec) 
  65. ERROR:  
  66. No query specified 

测试主从同步
在master导入测试数据;修改数据并查看slave 中的数据是否一致;

  1. [root@db1 ~]# mysql < Testdb.sql 
  2. 登录数据库 
  3. [root@db1 ~]# mysql -uroot -p 
  4. mysql> show databases; 
  5. +--------------------+ 
  6. Database           | 
  7. +--------------------+ 
  8.  study              | 
  9. +--------------------+ 
  10. rows in set (0.00 sec) 
  11. ###study测试数据库导入成功 
  12. mysql> use study; 
  13. Database changed 
  14. mysql> show tables; 
  15. +-----------------+ 
  16. | Tables_in_study | 
  17. +-----------------+ 
  18. | class           | 
  19. | course          | 
  20. | part            | 
  21. | score           | 
  22. | student         | 
  23. | tb31            | 
  24. | tb32            | 
  25. | teacher         | 
  26. | test1           | 
  27. | test2           | 
  28. | user_info       | 
  29. +-----------------+ 
  30. 11 rows in set (0.00 sec) 
  31. #删除test1 test2表 

slave从节点上查看

  1. mysql> show tables; 
  2. +-----------------+ 
  3. | Tables_in_study | 
  4. +-----------------+ 
  5. | class           | 
  6. | course          | 
  7. | part            | 
  8. | score           | 
  9. | student         | 
  10. | tb31            | 
  11. | tb32            | 
  12. | teacher         | 
  13. | user_info       | 
  14. +-----------------+ 
  15. rows in set (0.00 sec) 

数据已经可以正常同步;注意主从同步只需要第一次手动启动;之后都随mysql服务自动启动;主从同步架构只方便了数据的同步,此时如果没有 第三方工具介入想做到读写分离就需要在程序中去做,难免出错;而出错了,就需要手动同步数据;这里通过proxysql来做读写分离;

三、proxysql之读写分离

以上已经完成了主从复制配置;然而这只是一个基本配置,加上一个proxysql实现mysql读写分离,proxysql类似haproxy七层代理路由功能且支持MySQL 协议的的数据库代理;是dba开发给dba使用的;用户请求发向proxysql,如果是写请求发往主节点;读请求发下从节点组中;以此实现读写分离;一定程序上减轻了主数据库的io压力;
下载安装proxysql
目前最新版本是1.4.7-1(由于最新版本有问题)
我们这里下载使用1.3.6-1的基于CentOS7的rpm包;下载到本地并yum安装

  1. [root@proxysql ~]# yum install   proxysql-1.3.6-1-centos7.x86_64.rpm -y 
  2. [root@proxysql ~]# rpm -ql proxysql 
  3. /etc/init.d/proxysql 
  4. /etc/proxysql.cnf       #主配置文件 
  5. /usr/bin/proxysql 
  6. /usr/share/proxysql/tools/proxysql_galera_checker.sh 
  7. /usr/share/proxysql/tools/proxysql_galera_writer.pl 

配置如下:
在配置proxysql之前需要在主节点配置授权账号以作proxysql对主从节点操作;另外proxysql上的mysql客户端工具需要和主从节点上的保持一致;
在主节点master上授权登录账号

  1. mysql > GRANT ALL ON *.* TO 'myadmin'@'172.16.3.%' identified by 'mypass'

proxysql.cnf配置

  1. [root@proxysql ~]# egrep -v '(^$|^#)' /etc/proxysql.cnf 
  1. datadir="/var/lib/proxysql" 
  2. admin_variables= 
  3. {    
  4.     admin_credentials="admin:admin"               #proxysql自己的管理用户名密码 
  5.     mysql_ifaces="127.0.0.1:6032;/tmp/proxysql_admin.sock" 
  6. mysql_variables= 
  7.     threads=4                         #线程数,建议和cpu核心数一致 
  8.     max_connections=2048      #最大连接 
  9.     default_query_delay=0 
  10.     default_query_timeout=36000000 
  11.     have_compress=true 
  12.     poll_timeout=2000 
  13.     interfaces="0.0.0.0:3306;/tmp/proxysql.sock"             #对外接口 
  14.     default_schema="information_schema" 
  15.     stacksize=1048576 
  16.     server_version="5.5.30" 
  17.     connect_timeout_server=3000 
  18.   monitor_username="monitor" 
  19.     monitor_password="monitor" 
  20.     monitor_history=600000 
  21.     monitor_connect_interval=60000 
  22.     monitor_ping_interval=10000 
  23.     monitor_read_only_interval=1500 
  24.     monitor_read_only_timeout=500 
  25.     ping_interval_server_msec=120000 
  26.     ping_timeout_server=500 
  27.     commands_stats=true 
  28.     sessions_sort=true 
  29.     connect_retries_on_failure=10 
  30.  
  31. #####主从节点的配置 
  32. mysql_servers =                         
  33.     { 
  34.         address = "172.16.3.175" # no default, required . If port is 0 , address is interpred as a Unix Socket Domain 
  35.         port = 3306           # no default, required . If port is 0 , address is interpred as a Unix Socket Domain 
  36.         hostgroup = 1           # 设置组号 
  37.         status = "ONLINE"     # default: ONLINE 
  38.         weight = 1            # default: 1 
  39.         compression = 0       # default: 0 
  40.         max_connections = 200            ###定义最大的连接 
  41.     }, 
  42.     { 
  43.         address = "172.16.3.235" # no default, required . If port is 0 , address is interpred as a Unix Socket Domain 
  44.         port = 3306           # no default, required . If port is 0 , address is interpred as a Unix Socket Domain 
  45.         hostgroup = 2           # no default, required 
  46.         status = "ONLINE"     # default: ONLINE 
  47.         weight = 1            # default: 1 
  48.         compression = 0       # default: 0 
  49.         max_connections=1000 
  50.     }, 
  51.     { 
  52.         address = "172.16.3.241" # no default, required . If port is 0 , address is interpred as a Unix Socket Domain 
  53.         port = 3306           # no default, required . If port is 0 , address is interpred as a Unix Socket Domain 
  54.         hostgroup = 2           # no default, required 
  55.         status = "ONLINE"     # default: ONLINE 
  56.         weight = 1            # default: 1 
  57.         compression = 0       # default: 0 
  58.         max_connections=1000 
  59.     } 
  60. mysql_users: 
  61.     { 
  62.         username = "myadmin" # no default , required 
  63.         password = "mypass" # default'' 
  64.         default_hostgroup = 1 # default: 0 
  65.         max_connections=1000 
  66.         default_schema="test" 
  67.         active = 1            #是否激活 
  68.     } 
  69. mysql_query_rules: 
  70. scheduler= 
  71. mysql_replication_hostgroups= 
  72.         { 
  73.                 writer_hostgroup=1         #定义写组号1 
  74.                 reader_hostgroup=2      #定义读组号2 
  75.                 comment="test repl 1"   #注释内容 
  76.        } 

启动proxysql服务

  1. [root@proxysql ~]# service proxysql start 

测试proxysql

模拟通过proxysql使用数据库

  1. [root@proxysql ]# mysql -h172.16.3.175 -umyadmin -pmypass 
  2. mysql: [Warning] Using a password on the command line interface can be insecure. 
  3. Welcome to the MySQL monitor.  Commands end with ; or \g. 
  4. Your MySQL connection id is 17406 
  5. Server version: 5.7.21-log MySQL Community Server (GPL) 
  6. Copyright (c) 2000, 2018, Oracle and/or its affiliates. All rights reserved. 
  7. Oracle is a registered trademark of Oracle Corporation and/or its 
  8. affiliates. Other names may be trademarks of their respective 
  9. owners. 
  10. Type 'help;' or '\h' for help. Type '\c' to clear the current input statement. 
  11. mysql>  
  12.  
  13. mysql > show databases; 
  14. mysql> show databases; 
  15. +--------------------+ 
  16. Database           | 
  17. +--------------------+ 
  18. | information_schema | 
  19. | mysql              | 
  20. | performance_schema | 
  21. | study              | 
  22. | sys                | 
  23. +--------------------+ 
  24. rows in set (0.00 sec) 
  25. ###删除study数据库user_info中6 -12之间的数据 


删除之前:

  1. mysql> select * from user_info; 
  2. +-----+-------+------+--------+----------+ 
  3. | nid | name  | age  | gender | part_nid | 
  4. +-----+-------+------+--------+----------+ 
  5. |   1 | san   |   20 | 男     |        1 | 
  6. |   2 | dong  |   29 | 男     |        2 | 
  7. |   4 | Ling  |   28 | 男     |        4 | 
  8. |   5 | ling  |   28 | 男     |        3 | 
  9. |   6 | dong  |   30 | 男     |        1 | 
  10. |   7 | b     |   11 | 女     |        1 | 
  11. |   8 | c     |   12 | 女     |        1 | 
  12. |   9 | d     |   18 | 女     |        4 | 
  13. |  10 | e     |   22 | 男     |        3 | 
  14. |  11 | f     |   23 | 男     |        2 | 
  15. |  12 | dongy |   22 | 男     |        1 | 
  16. +-----+-------+------+--------+----------+ 
  17. 11 rows in set (0.00 sec) 


删除之后:

  1. mysql> delete from user_info where nid >6 and nid <12; 

  2. Query OK, 5 rows affected (0.03 sec) 

  3.  

  4. mysql> select * from user_info; 

  5. +-----+-------+------+--------+----------+ 

  6. | nid | name  | age  | gender | part_nid | 

  7. +-----+-------+------+--------+----------+ 

  8. |   1 | san   |   20 | 男     |        1 | 

  9. |   2 | dong  |   29 | 男     |        2 | 

  10. |   4 | Ling  |   28 | 男     |        4 | 

  11. |   5 | ling  |   28 | 男     |        3 | 

  12. |   6 | dong  |   30 | 男     |        1 | 

  13. |  12 | dongy |   22 | 男     |        1 | 

  14. +-----+-------+------+--------+----------+ 

  15. rows in set (0.00 sec) 

到主从节点上查看,会发现以上的查和修改数据都被proxysql正确的代理到后端处理了;
以上看了并不直观;为了查看proxysql与各主从节点通讯我们在主从节点上安装tcpdump并过滤包

主节点:
类似如下:

  1. [root@db1 ~]# tcpdump -i enp0s3 -nn tcp port 3306 
  2. tcpdump: verbose output suppressed, use -v or -vv for full protocol decode 
  3. listening on enp0s3, link-type EN10MB (Ethernet), capture size 262144 bytes 
  4. 18:04:34.678861 IP 172.16.3.254.42191 > 172.16.3.175.3306: Flags [S], seq 3385407732, win 29200, options [mss 1460,sackOK,TS val 17576713 ecr 0,nop,wscale 7], length 0 
  5. 18:04:34.678908 IP 172.16.3.175.3306 > 172.16.3.254.42191: Flags [S.], seq 1579426335, ack 3385407733, win 28960, options [mss 1460,sackOK,TS val 29413673 ecr 17576713,nop,wscale 7], length 0 
  6. 18:04:34.680902 IP 172.16.3.254.42191 > 172.16.3.175.3306: Flags [.], ack 1, win 229, options [nop,nop,TS val 17576715 ecr 29413673], length 0 
  7. 18:04:34.681264 IP 172.16.3.175.3306 > 172.16.3.254.42191: Flags [P.], seq 1:83, ack 1, win 227, options [nop,nop,TS val 29413675 ecr 17576715], length 82 
  8. .... 


从节点:
类似如下:

  1. [root@db2 data1]# tcpdump -i enp0s3 -nn tcp port 3306 

  2. tcpdump: verbose output suppressed, use -v or -vv for full protocol decode 

  3. listening on enp0s3, link-type EN10MB (Ethernet), capture size 262144 bytes 

  4. 18:02:57.932043 IP 172.16.3.254.42733 > 172.16.3.235.3306: Flags [S], seq 76520456, win 29200, options [mss 1460,sackOK,TS val 17479189 ecr 0,nop,wscale 7], length 0 

  5. ........... 

proxysql命令行管理接口:支持运行时修改

  1. [root@proxysql]#  mysql -u admin -padmin -h 127.0.0.1 -P6032 --prompt='Admin> ' 
  2. Admin> show databases; 
  3. +-----+---------+-------------------------------+ 
  4. | seq | name    | file                          | 
  5. +-----+---------+-------------------------------+ 
  6. | 0   | main    |                               | 
  7. | 2   | disk    | /var/lib/proxysql/proxysql.db | 
  8. | 3   | stats   |                               | 
  9. | 4   | monitor |                               | 
  10. +-----+---------+-------------------------------+ 
  11. rows in set (0.00 sec) 

以上stats,monitor,main都从配置文件中获取的数据库;可以通过类似mysql运行时修改;而不需要重启;更多命令行的配置请参考github;

至此我们基于proxysql主从复制读写分离架构已经完成;
双主或多主模型是无须实现读写分离,仅需要负载均衡:haproxy, nginx, lvs等;