数据库连接配置策略和实践指南

运维 数据库运维
应用执行SQL请求完成的过程中,数据库连接占很重要一部分。尤其是涉及到流量瞬间暴涨,需要创建大量连接,或者网络异常导致重连时,从业务端来看,sql执行缓慢的问题,此时sql执行并非真的慢。

一 前言

应用执行SQL请求完成的过程中,数据库连接占很重要一部分。尤其是涉及到流量瞬间暴涨,需要创建大量连接,或者网络异常导致重连时,从业务端来看,sql执行缓慢的问题,此时sql执行并非真的慢。本文是基于我们自己的生产环境的Durid实践,仅供各位参考,当然不同公司的链路/业务压力可能不一样。具体到个别参数需要区别对待。

[[281409]]

二 具体实践

从整体系统的角度,我们要考虑几个点 ,数据库连接数配置多少合适,针对空闲连接,网络异常的超时时间,如何高效复用连接,druid 版本选择这几个方面来介绍。

2.1 如何设置连接池大小

合适的连接池大小和业务请求的 QPS 和 单个请求的 RT(单位为毫秒)。基本公式:

连接数 = QPS /(1000/RT) + N = QPS * RT /1000 + N

注意: 此处 QPS 和 RT 为单个应用端统计。假定随连接数量增加,客户端能处理的请求数线性增加。

举个例子

  1. 比如 一个请求的耗时rt=2ms,每个连接能处理的请求数量  
  2. S = 1000/2 =500 ,  
  3. 业务层总请求量是 M=5000 ,那么合理的连接数为 
  4. M/S=5000/500=10 
  5. 为了避免连接数被占满,我们会在上面的连接数的基础上再加上N ,最终的连接数为10+N . 

统计平时的最大 QPS 和此时的 RT,以此计算 minIdle,并设置 initialSize = minIdle。

统计峰值时的 QPS 和此时的 RT,以此计算 maxActive。

可以通过以下方法,通过 jmx 观察 Druid 实际的连接池状况,重点关注 ActiveCount:活动连接数,PoolingCount:池子中的连接数。并根据实际情况考虑调整。

  1. java -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+TieredCompilation -XX:TieredStopAtLevel=1 -Xverify:none -client -jar /PATH/cmdline-jmxclient-0.10.3.jar - 127.0.0.1:7777 'com.alibaba.druid:type=DruidDataSourceStat' DataSourceList |& grep -E 'ActiveCount|PoolingCount' 

2.2 如何设置超时时间

连接池中的超时时间主要有:

  • connectTimeout 建立 TCP 连接的超时时间
  • maxWait 从连接池获取连接的最长等待时间
  • socketTimeout 发送请求后等待响应的超时时间

其中,connectTimeout 建议不要小于 1200ms。TCP 在建立连接时,SYN 包的超时重传时间为 1s。connectTimeout 设置过短,很可能造成应用发布时,初始化连接池过程中由于网络抖动,或中间网络设备需要初始化状态发生丢包触发超时,从而造成连接池初始化失败而导致发布失败。

socketTimeout 可以根据应用最长的查询返回时间设置。过长会造成生网络问题,或数据库服务有问题时雪崩;过短也会造成频繁请求超时。不要短于 300ms。TCP 的最小 RTO 为 200ms,并根据延迟动态调整。过短的超时时间会造成单个丢包就造成请求超时。生产环境数据库都配置有 SQL Killer,会自动杀死执行时间过长的请求。因此,设置过长的 socketTimeout 也是没有意义的。

maxWait 可以根据应用期待的等待时间设置。为避免在发生网络问题,或数据库服务有问题时雪崩,这个时间设置不要过大。下面的默认值 800ms 是个保守的设置。应用可以设置一个更短的时间,如 300ms。过短的时间也会造成在连接池中连接数不足,需要新建连接时造成大量超时。建议不要低于 100ms。

2.3 如何设置连接保持时间

设置连接保持活跃的时间需要考虑是直连还是通过数据库中间件proxy连接。一般现在的生产环境大多为:

  1. App -> LVS -> Proxy -> DB 

其中应用到 RDS 的访问路径为 App -> LVS -> Proxy 。

其中,LVS 空闲连接保留时间为 90s。Proxy 为了避免访问到已被关闭的连接,自身的空闲连接保留时间为 [70, 85) s。因此,应用程序为了避免从连接池获取到已被关闭的连接,应当设置自身保留空闲连接时间不能超过70s。打开KeepAlive之后的效果

  • 初始化连接池时会填充到minIdle数量。
  • 连接池中的minIdle数量以内的连接,空闲时间超过
  • minEvictableIdleTimeMillis,则会执行keepAlive操作。
  • 当网络断开等原因产生的由ExceptionSorter检测出来的死连接被清除后,自动补充连接到minIdle数量。
  1. timeBetweenEvictionRunsMillis=10000,  
  2. minEvictableIdleTimeMillis=44000,  
  3. maxEvictableIdleTimeMillis=55000。 

2.4 必选配置项

以下默认配置可以根据实际情况调整。

  1. <bean id="cartDataSource" class="com.alibaba.druid.pool.DruidDataSource" 
  2.  
  3. init-method="init" destroy-method="close"
  4.  
  5. <property name="url" value="${cluster.jdbc.url}"/> 
  6.  
  7. <property name="username" value="${cluster.jdbc.username}"/> 
  8.  
  9. <property name="password" value="${cluster.jdbc.password}"/> 
  10.  
  11. <property name="connectionInitSqls" value="set names utf8mb4"/> 
  12.  
  13. <!-- 连接池初始连接数 --> 
  14.  
  15. <property name="initialSize" value="5" /> 
  16.  
  17. <!-- 允许的最大同时使用中(在被业务线程持有,还没有归还给druid) 的连接数 --> 
  18.  
  19. <property name="maxActive" value="20" /> 
  20.  
  21. <!-- 允许的最小空闲连接数,空闲连接超时踢除过程会最少保留的连接数 --> 
  22.  
  23. <property name="minIdle" value="5" /> 
  24.  
  25. <!-- 从连接池获取连接的最大等待时间 800毫秒;业务方根据可以自行调整--> 
  26.  
  27. <property name="maxWait" value="800" /> 
  28.  
  29. <!-- 一条物理连接的最大存活时间 120分钟--> 
  30.  
  31. <property name="phyTimeoutMillis" value="7200000"/> 
  32.  
  33. <!-- 强行关闭从连接池获取而长时间未归还给druid的连接(认为异常连接)--> 
  34.  
  35. <property name="removeAbandoned" value="true"/> 
  36.  
  37. <!-- 异常连接判断条件,超过180 秒 则认为是异常的,需要强行关闭 --> 
  38.  
  39. <property name="removeAbandonedTimeout" value="180"/> 
  40.  
  41. <!-- 从连接池获取到连接后,如果超过被空闲剔除周期,是否做一次连接有效性检查 --> 
  42.  
  43. <property name="testWhileIdle" value="true"/> 
  44.  
  45. <!-- 从连接池获取连接后,是否马上执行一次检查 --> 
  46.  
  47. <property name="testOnBorrow" value="false"/> 
  48.  
  49. <!-- 归还连接到连接池时是否马上做一次检查 --> 
  50.  
  51. <property name="testOnReturn" value="false"/> 
  52.  
  53. <!-- 连接有效性检查的SQL --> 
  54.  
  55. <property name="validationQuery" value="SELECT 1"/> 
  56.  
  57. <!-- 连接有效性检查的超时时间 1 秒 --> 
  58.  
  59. <property name="validationQueryTimeout" value="1"/> 
  60.  
  61. <!-- 周期性剔除长时间呆在池子里未被使用的空闲连接, 10秒一次--> 
  62.  
  63. <property name="timeBetweenEvictionRunsMillis" value="10000"/> 
  64.  
  65. <!-- 空闲多久可以认为是空闲太长而需要剔除 44 秒--> 
  66.  
  67. <property name="minEvictableIdleTimeMillis" value="44000"/> 
  68.  
  69. <!-- 如果空闲时间太长即使连接池所剩连接 < minIdle 也会被剔除 55 秒 --> 
  70.  
  71. <property name="maxEvictableIdleTimeMillis" value="55000"/> 
  72.  
  73. <!-- 是否设置自动提交,相当于每个语句一个事务 --> 
  74.  
  75. <property name="defaultAutoCommit" value="true"/> 
  76.  
  77. <!-- 记录被判定为异常的连接 --> 
  78.  
  79. <property name="logAbandoned" value="true"/> 
  80.  
  81. <!-- 网络读取超时,网络连接超时 
  82.  
  83. socketTimeout : 对于线上业务小于5s,对于BI等执行时间较长的业务的SQL,需要设置大一点 
  84.  
  85. --> 
  86.  
  87. <property name="connectionProperties" value="socketTimeout=3000;connectTimeout=1200"/> 
  88.  
  89. <property name="proxyFilters"
  90.  
  91. <list> 
  92.  
  93. <ref bean="log-filter"/> 
  94.  
  95. </list> 
  96.  
  97. </property> 
  98.  
  99. </bean> 

1.0.28版本之后,新加入keepAlive配置,缺省关闭。使用keepAlive功能,建议使用1.1.16或者更高版本。一般业务无需打开,除非分钟请求量在个位数或者启动时间超长导致初始连接都过期。

2.5 druid版本

建议使用最新版本,不要使用太老的版本,以免遇到 bug。

e.g. Maven 配置:

  1. <dependency> 
  2.      
  3. <groupId>com.alibaba</groupId> 
  4.      
  5. <artifactId>druid</artifactId> 
  6.      
  7. <version>1.0.27</version> 
  8.    
  9. </dependency> 

三 小结

本文算是数据库连接池配置(案例及排查指南) 的一个补充,希望对需要关注数据库连接配置的朋友有所帮助。

 

责任编辑:武晓燕 来源: 服务端思维
相关推荐

2023-09-12 09:45:54

Java数据库

2023-04-27 09:36:43

2021-11-01 05:54:01

数据库安全信息安全网络攻击

2009-03-19 10:08:09

C#数据库查询

2023-07-24 09:00:00

数据库

2023-07-06 15:05:34

矢量数据库数据库

2011-07-04 09:12:53

数据库采购

2022-06-29 11:01:17

K8s数据库Cassandra

2011-07-05 10:16:16

Qt 数据库 SQLite

2011-04-01 12:32:37

aspaccess数据库

2009-06-16 09:25:31

JBoss配置

2009-07-20 13:31:50

Ruby on Rai

2023-12-28 08:00:00

数据库人工智能

2011-03-25 09:05:02

Oracle数据库共享连接专用连接

2022-09-01 07:23:53

云原生数据库Aurora

2009-06-15 15:26:00

NetBeans连接数使用JSTL

2010-08-10 15:02:18

Oracle认证数据库

2021-04-09 08:21:25

数据库索引数据

2021-03-02 08:00:00

项目管理组织工具

2023-08-01 14:35:00

关系数据库排列
点赞
收藏

51CTO技术栈公众号