|
|
|
|
公众号矩阵

读写分离原来这么简单,一个小注解就够了

相信有经验的同学都清楚,当db的读写量过高时,我们会备份一份或多份的从库用于做数据的读取,然后主库就主要承担写入的功能(也有读取需要,但压力不大),当db分好主从库后,我们还需要在项目实现自动连接主从库,达到读写分离的效果。

作者:鄙人薛某来源:鄙人薛某|2021-03-15 09:23

 前言

相信有经验的同学都清楚,当db的读写量过高时,我们会备份一份或多份的从库用于做数据的读取,然后主库就主要承担写入的功能(也有读取需要,但压力不大),当db分好主从库后,我们还需要在项目实现自动连接主从库,达到读写分离的效果。实现读写分离并不困难,只要在数据库连接池手动控制好对应的db服务地址即可,但那样就会侵入业务代码,而且一个项目操作数据库的地方可能很多,如果都手动控制的话无疑会是很大的工作量,对此,我们有必要改造出一套方便的工具。

以Java语言来说,如今大部分的项目都是基于Spring Boot框架来搭建项目架构的,结合Spring本身自带的AOP工具,我们可以很容易就构建能实现读写分离效果的注解类,用注解的话可以达到对业务代码无入侵的效果,而且使用上也比较方便。

下面就简单带大家写个demo。

环境部署

数据库:MySql

库数量:2个,一主一从

关于mysql的主从环境部署网上有很多文章可以参考,这里不做介绍了。

开始项目

首先,毫无疑问,先开始搭建一个SpringBoot工程,然后在pom文件中引入如下依赖:

  1. <dependencies> 
  2.         <dependency> 
  3.             <groupId>com.alibaba</groupId> 
  4.             <artifactId>druid-spring-boot-starter</artifactId> 
  5.             <version>1.1.10</version> 
  6.         </dependency> 
  7.         <dependency> 
  8.             <groupId>org.mybatis.spring.boot</groupId> 
  9.             <artifactId>mybatis-spring-boot-starter</artifactId> 
  10.             <version>1.3.2</version> 
  11.         </dependency> 
  12.         <dependency> 
  13.             <groupId>tk.mybatis</groupId> 
  14.             <artifactId>mapper-spring-boot-starter</artifactId> 
  15.             <version>2.1.5</version> 
  16.         </dependency> 
  17.         <dependency> 
  18.             <groupId>mysql</groupId> 
  19.             <artifactId>mysql-connector-java</artifactId> 
  20.             <version>8.0.16</version> 
  21.         </dependency> 
  22.         <!-- 动态数据源 所需依赖 ### start--> 
  23.         <dependency> 
  24.             <groupId>org.springframework.boot</groupId> 
  25.             <artifactId>spring-boot-starter-jdbc</artifactId> 
  26.             <scope>provided</scope> 
  27.         </dependency> 
  28.         <dependency> 
  29.             <groupId>org.springframework.boot</groupId> 
  30.             <artifactId>spring-boot-starter-aop</artifactId> 
  31.             <scope>provided</scope> 
  32.         </dependency> 
  33.         <!-- 动态数据源 所需依赖 ### end--> 
  34.         <dependency> 
  35.             <groupId>org.springframework.boot</groupId> 
  36.             <artifactId>spring-boot-starter-web</artifactId> 
  37.         </dependency> 
  38.      <dependency> 
  39.             <groupId>org.projectlombok</groupId> 
  40.             <artifactId>lombok</artifactId> 
  41.             <optional>true</optional> 
  42.         </dependency> 
  43.         <dependency> 
  44.             <groupId>com.alibaba</groupId> 
  45.             <artifactId>fastjson</artifactId> 
  46.             <version>1.2.4</version> 
  47.         </dependency> 
  48.         <dependency> 
  49.             <groupId>org.springframework.boot</groupId> 
  50.             <artifactId>spring-boot-starter-test</artifactId> 
  51.             <scope>test</scope> 
  52.         </dependency> 
  53.         <dependency> 
  54.             <groupId>org.springframework.boot</groupId> 
  55.             <artifactId>spring-boot-starter-data-jpa</artifactId> 
  56.         </dependency> 
  57.     </dependencies> 

目录结构

引入基本的依赖后,整理一下目录结构,完成后的项目骨架大致如下:


建表

创建一张表user,在主库执行sql语句同时在从库生成对应的表数据

  1. DROP TABLE IF EXISTS `user`; 
  2. CREATE TABLE `user` ( 
  3.   `user_id` bigint(20) NOT NULL COMMENT '用户id'
  4.   `user_name` varchar(255) DEFAULT '' COMMENT '用户名称'
  5.   `user_phone` varchar(50) DEFAULT '' COMMENT '用户手机'
  6.   `address` varchar(255) DEFAULT '' COMMENT '住址'
  7.   `weight` int(3) NOT NULL DEFAULT '1' COMMENT '权重,大者优先'
  8.   `created_at` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间'
  9.   `updated_at` datetime DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '更新时间'
  10.   PRIMARY KEY (`user_id`) 
  11. ) ENGINE=InnoDB DEFAULT CHARSET=utf8; 
  12.  
  13. INSERT INTO `userVALUES ('1196978513958141952''测试1''18826334748''广州市海珠区''1''2019-11-20 10:28:51''2019-11-22 14:28:26'); 
  14. INSERT INTO `userVALUES ('1196978513958141953''测试2''18826274230''广州市天河区''2''2019-11-20 10:29:37''2019-11-22 14:28:14'); 
  15. INSERT INTO `userVALUES ('1196978513958141954''测试3''18826273900''广州市天河区''1''2019-11-20 10:30:19''2019-11-22 14:28:30'); 

主从数据源配置

application.yml,主要信息是主从库的数据源配置

  1. server: 
  2.   port: 8001 
  3. spring: 
  4.   jackson: 
  5.    date-format: yyyy-MM-dd HH:mm:ss 
  6.    time-zone: GMT+8 
  7.   datasource: 
  8.     type: com.alibaba.druid.pool.DruidDataSource 
  9.     driver-class-name: com.mysql.cj.jdbc.Driver 
  10.     master: 
  11.       url: jdbc:mysql://127.0.0.1:3307/user?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&failOverReadOnly=false&useSSL=false&zeroDateTimeBehavior=convertToNull&allowMultiQueries=true 
  12.       username: root 
  13.       password
  14.     slave: 
  15.       url: jdbc:mysql://127.0.0.1:3308/user?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&failOverReadOnly=false&useSSL=false&zeroDateTimeBehavior=convertToNull&allowMultiQueries=true 
  16.       username: root 
  17.       password

因为有一主一从两个数据源,我们用枚举类来代替,方便我们使用时能对应

  1. @Getter 
  2. public enum DynamicDataSourceEnum { 
  3.     MASTER("master"), 
  4.     SLAVE("slave"); 
  5.     private String dataSourceName; 
  6.     DynamicDataSourceEnum(String dataSourceName) { 
  7.         this.dataSourceName = dataSourceName; 
  8.     } 

数据源配置信息类 DataSourceConfig,这里配置了两个数据源,masterDb和slaveDb

  1. @Configuration 
  2. @MapperScan(basePackages = "com.xjt.proxy.mapper", sqlSessionTemplateRef = "sqlTemplate"
  3. public class DataSourceConfig { 
  4.      
  5.      // 主库 
  6.       @Bean 
  7.       @ConfigurationProperties(prefix = "spring.datasource.master"
  8.       public DataSource masterDb() { 
  9.   return DruidDataSourceBuilder.create().build(); 
  10.       } 
  11.  
  12.     /** 
  13.      * 从库 
  14.      */ 
  15.     @Bean 
  16.     @ConditionalOnProperty(prefix = "spring.datasource"name = "slave", matchIfMissing = true
  17.     @ConfigurationProperties(prefix = "spring.datasource.slave"
  18.     public DataSource slaveDb() { 
  19.         return DruidDataSourceBuilder.create().build(); 
  20.     } 
  21.  
  22.     /** 
  23.      * 主从动态配置 
  24.      */ 
  25.     @Bean 
  26.     public DynamicDataSource dynamicDb(@Qualifier("masterDb") DataSource masterDataSource, 
  27.         @Autowired(required = false) @Qualifier("slaveDb") DataSource slaveDataSource) { 
  28.         DynamicDataSource dynamicDataSource = new DynamicDataSource(); 
  29.         Map<Object, Object> targetDataSources = new HashMap<>(); 
  30.         targetDataSources.put(DynamicDataSourceEnum.MASTER.getDataSourceName(), masterDataSource); 
  31.         if (slaveDataSource != null) { 
  32.             targetDataSources.put(DynamicDataSourceEnum.SLAVE.getDataSourceName(), slaveDataSource); 
  33.         } 
  34.         dynamicDataSource.setTargetDataSources(targetDataSources); 
  35.         dynamicDataSource.setDefaultTargetDataSource(masterDataSource); 
  36.         return dynamicDataSource; 
  37.     } 
  38.     @Bean 
  39.     public SqlSessionFactory sessionFactory(@Qualifier("dynamicDb") DataSource dynamicDataSource) throws Exception { 
  40.         SqlSessionFactoryBean bean = new SqlSessionFactoryBean(); 
  41.         bean.setMapperLocations( 
  42.             new PathMatchingResourcePatternResolver().getResources("classpath*:mapper/*Mapper.xml")); 
  43.         bean.setDataSource(dynamicDataSource); 
  44.         return bean.getObject(); 
  45.     } 
  46.     @Bean 
  47.     public SqlSessionTemplate sqlTemplate(@Qualifier("sessionFactory") SqlSessionFactory sqlSessionFactory) { 
  48.         return new SqlSessionTemplate(sqlSessionFactory); 
  49.     } 
  50.     @Bean(name = "dataSourceTx"
  51.     public DataSourceTransactionManager dataSourceTx(@Qualifier("dynamicDb") DataSource dynamicDataSource) { 
  52.         DataSourceTransactionManager dataSourceTransactionManager = new DataSourceTransactionManager(); 
  53.         dataSourceTransactionManager.setDataSource(dynamicDataSource); 
  54.         return dataSourceTransactionManager; 
  55.     } 

设置路由

设置路由的目的为了方便查找对应的数据源,我们可以用ThreadLocal保存数据源的信息到每个线程中,方便我们需要时获取

  1. public class DataSourceContextHolder { 
  2.     private static final ThreadLocal<String> DYNAMIC_DATASOURCE_CONTEXT = new ThreadLocal<>(); 
  3.     public static void set(String datasourceType) { 
  4.         DYNAMIC_DATASOURCE_CONTEXT.set(datasourceType); 
  5.     } 
  6.     public static String get() { 
  7.         return DYNAMIC_DATASOURCE_CONTEXT.get(); 
  8.     } 
  9.     public static void clear() { 
  10.         DYNAMIC_DATASOURCE_CONTEXT.remove(); 
  11.     } 

获取路由

  1. public class DynamicDataSource extends AbstractRoutingDataSource { 
  2.     @Override 
  3.     protected Object determineCurrentLookupKey() { 
  4.         return DataSourceContextHolder.get(); 
  5.     } 

AbstractRoutingDataSource的作用是基于查找key路由到对应的数据源,它内部维护了一组目标数据源,并且做了路由key与目标数据源之间的映射,提供基于key查找数据源的方法。

数据源的注解

为了可以方便切换数据源,我们可以写一个注解,注解中包含数据源对应的枚举值,默认是主库,

  1. @Retention(RetentionPolicy.RUNTIME) 
  2. @Target(ElementType.METHOD) 
  3. @Documented 
  4. public @interface DataSourceSelector { 
  5.  
  6.     DynamicDataSourceEnum value() default DynamicDataSourceEnum.MASTER; 
  7.     boolean clear() default true

aop切换数据源

到这里,aop终于可以现身出场了,这里我们定义一个aop类,对有注解的方法做切换数据源的操作,具体代码如下:

  1. @Slf4j 
  2. @Aspect 
  3. @Order(value = 1) 
  4. @Component 
  5. public class DataSourceContextAop { 
  6.  
  7.  @Around("@annotation(com.xjt.proxy.dynamicdatasource.DataSourceSelector)"
  8.     public Object setDynamicDataSource(ProceedingJoinPoint pjp) throws Throwable { 
  9.         boolean clear = true
  10.         try { 
  11.             Method method = this.getMethod(pjp); 
  12.             DataSourceSelector dataSourceImport = method.getAnnotation(DataSourceSelector.class); 
  13.             clear = dataSourceImport.clear(); 
  14.             DataSourceContextHolder.set(dataSourceImport.value().getDataSourceName()); 
  15.             log.info("========数据源切换至:{}", dataSourceImport.value().getDataSourceName()); 
  16.             return pjp.proceed(); 
  17.         } finally { 
  18.             if (clear) { 
  19.                 DataSourceContextHolder.clear(); 
  20.             } 
  21.  
  22.         } 
  23.     } 
  24.     private Method getMethod(JoinPoint pjp) { 
  25.         MethodSignature signature = (MethodSignature)pjp.getSignature(); 
  26.         return signature.getMethod(); 
  27.     } 
  28.  

到这一步,我们的准备配置工作就完成了,下面开始测试效果。

先写好Service文件,包含读取和更新两个方法,

  1. @Service 
  2. public class UserService { 
  3.  
  4.     @Autowired 
  5.     private UserMapper userMapper; 
  6.  
  7.     @DataSourceSelector(value = DynamicDataSourceEnum.MASTER) 
  8.     public int update(Long userId) { 
  9.         User user = new User(); 
  10.         user.setUserId(userId); 
  11.         user.setUserName("老薛"); 
  12.         return userMapper.updateByPrimaryKeySelective(user); 
  13.     } 
  14.  
  15.     @DataSourceSelector(value = DynamicDataSourceEnum.SLAVE) 
  16.     public User find(Long userId) { 
  17.         User user = new User(); 
  18.         user.setUserId(userId); 
  19.         return userMapper.selectByPrimaryKey(user); 
  20.     } 

根据方法上的注解可以看出,读的方法走从库,更新的方法走主库,更新的对象是userId为1196978513958141952 的数据,

然后我们写个测试类测试下是否能达到效果,

  1. @RunWith(SpringRunner.class) 
  2. @SpringBootTest 
  3. class UserServiceTest { 
  4.  
  5.     @Autowired 
  6.     UserService userService; 
  7.  
  8.     @Test 
  9.     void find() { 
  10.         User user = userService.find(1196978513958141952L); 
  11.         System.out.println("id:" + user.getUserId()); 
  12.         System.out.println("name:" + user.getUserName()); 
  13.         System.out.println("phone:" + user.getUserPhone()); 
  14.     } 
  15.  
  16.     @Test 
  17.     void update() { 
  18.         Long userId = 1196978513958141952L; 
  19.         userService.update(userId); 
  20.         User user = userService.find(userId); 
  21.         System.out.println(user.getUserName()); 
  22.     } 
  23.  

测试结果:

1、读取方法

2、更新方法

执行之后,比对数据库就可以发现主从库都修改了数据,说明我们的读写分离是成功的。当然,更新方法可以指向从库,这样一来就只会修改到从库的数据,而不会涉及到主库。

最后

上面测试的例子虽然比较简单,但也符合常规的读写分离配置。值得说明的是,读写分离的作用是为了缓解写库,也就是主库的压力,但一定要基于数据一致性的原则,就是保证主从库之间的数据一定要一致。如果一个方法涉及到写的逻辑,那么该方法里所有的数据库操作都要走主库。

假设写的操作执行完后数据有可能还没同步到从库,然后读的操作也开始执行了,如果这个读取的程序走的依然是从库的话,那么就会出现数据不一致的现象了,这是我们不允许的。

【编辑推荐】

  1. 5分钟让你理解K8S必备架构概念,以及网络模型
  2. 92年百度程序员被抓,给我们警示什么?
  3. 开源云盘利器:Nextcloud 21私有云盘搭建
  4. 更纯净,微软 Windows10 21H2 重大更新将减少系统臃肿软件数量
  5. 996工作制究竟是好是坏?
【责任编辑:姜华 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

订阅专栏+更多

数据湖与数据仓库的分析实践攻略

数据湖与数据仓库的分析实践攻略

助力现代化数据管理:数据湖与数据仓库的分析实践攻略
共3章 | 创世达人

7人订阅学习

云原生架构实践

云原生架构实践

新技术引领移动互联网进入急速赛道
共3章 | KaliArch

36人订阅学习

数据中心和VPDN网络建设案例

数据中心和VPDN网络建设案例

漫画+案例
共20章 | 捷哥CCIE

227人订阅学习

视频课程+更多

老汤大数据课程之 Hadoop 3

老汤大数据课程之 Hadoop 3

讲师:老汤1099人学习过

HTML5CSS3JAVASCRIPT三合一教程实战

HTML5CSS3JAVASCRIPT三合一教程实战

讲师:张晨光26499人学习过

鸿蒙手机应用开发入门(Java)

鸿蒙手机应用开发入门(Java)

讲师:钟洪发3828人学习过

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO官微