中国领先的IT技术网站
|
|

Python MySQL数据库连接池组件

pymysqlpool 是数据库工具包中新成员,目的是能提供一个实用的数据库连接池中间件,从而避免在应用中频繁地创建和释放数据库连接资源。

作者:冰是睡着的水来源:36大数据|2017-06-22 14:13

Tech Neo技术沙龙 | 11月25号,九州云/ZStack与您一起探讨云时代网络边界管理实践


Python MySQL数据库连接池组件

引言

pymysqlpool 是数据库工具包中新成员,目的是能提供一个实用的数据库连接池中间件,从而避免在应用中频繁地创建和释放数据库连接资源。

功能

  1. 连接池本身是线程安全的,可在多线程环境下使用,不必担心连接资源被多个线程共享的问题;
  2. 提供尽可能紧凑的接口用于数据库操作;
  3. 连接池的管理位于包内完成,客户端可以通过接口获取池中的连接资源(返回 pymysql.Connection );
  4. 将最大程度地与 dataobj 等兼容,便于使用;
  5. 连接池本身具备动态增加连接数的功能,即 max_pool_size 和 step_size 会用于控制每次增加的连接数和最大连接数;
  6. 连接池最大连接数亦动态增加,需要开启 enable_auto_resize 开关,此后当任何一次连接获取超时发生,均记为一次惩罚,并且将 max_pool_size 扩大一定倍数。

基本工作流程

注意,当多线程同时请求时,若池中没有可用的连接对象,则需要排队等待

  1. 初始化后优先创建 step_size 个连接对象,放在连接池中;
  2. 客户端请求连接对象,连接池会从中挑选最近没使用的连接对象返回(同时会检查连接是否正常);
  3. 客户端使用连接对象,执行相应操作后,调用接口返回连接对象;
  4. 连接池回收连接对象,并将其加入池中的队列,供其它请求使用。
  1. |--------|                                |--------------| 
  2. |        | <==borrow connection object==  | Pool manager | 
  3. | Client |                                |              | 
  4. |        | ==return connection object==>  |  FIFO queue  | 
  5. |--------|                                |--------------| 

数配置

  • pool_name: 连接池的名称,多种连接参数对应多个不同的连接池对象,多单例模式;
  • host: 数据库地址
  • user: 数据库服务器用户名
  • password: 用户密码
  • database: 默认选择的数据库
  • port: 数据库服务器的端口
  • charset: 字符集,默认为 ‘utf8’
  • use_dict_cursor: 使用字典格式或者元组返回数据;
  • max_pool_size: 连接池优先最大连接数;
  • step_size: 连接池动态增加连接数大小;
  • enable_auto_resize: 是否动态扩展连接池,即当超过 max_pool_size 时,自动扩展 max_pool_size ;
  • pool_resize_boundary: 该配置为连接池最终可以增加的上上限大小,即时扩展也不可超过该值;
  • auto_resize_scale: 自动扩展 max_pool_size 的增益,默认为 1.5 倍扩展;
  • wait_timeout: 在排队等候连接对象时,最多等待多久,当超时时连接池尝试自动扩展当前连接数;
  • kwargs: 其他配置参数将会在创建连接对象时传递给 pymysql.Connection

使用示例

1.使用 cursor 上下文管理器(快捷方式,但每次获取都会申请连接对象,多次调用效率不高):

  1. from pymysqlpool import ConnectionPool 
  2.  
  3. config = { 
  4.     'pool_name''test'
  5.     'host''localhost'
  6.     'port': 3306, 
  7.     'user''root'
  8.     'password''root'
  9.     'database''test' 
  10.  
  11. def connection_pool(): 
  12.     # Return a connection pool instance 
  13.     pool = ConnectionPool(**config) 
  14.     pool.connect() 
  15.     return pool 
  16.  
  17. # 直接访问并获取一个 cursor 对象,自动 commit 模式会在这种方式下启用 
  18. with connection_pool().cursor() as cursor
  19.     print('Truncate table user'
  20.     cursor.execute('TRUNCATE user'
  21.  
  22.     print('Insert one record'
  23.     result = cursor.execute('INSERT INTO user (name, age) VALUES (%s, %s)', ('Jerry', 20)) 
  24.     print(result, cursor.lastrowid) 
  25.  
  26.     print('Insert multiple records'
  27.     users = [(name, age) for name in ['Jacky''Mary''Micheal'for age in range(10, 15)] 
  28.     result = cursor.executemany('INSERT INTO user (name, age) VALUES (%s, %s)', users) 
  29.     print(result) 
  30.  
  31.     print('View items in table user'
  32.     cursor.execute('SELECT * FROM user'
  33.     for user in cursor
  34.         print(user
  35.  
  36.     print('Update the name of one user in the table'
  37.     cursor.execute('UPDATE user SET name="Chris", age=29 WHERE id = 16'
  38.     cursor.execute('SELECT * FROM user ORDER BY id DESC LIMIT 1'
  39.     print(cursor.fetchone()) 
  40.  
  41.     print('Delete the last record'
  42.     cursor.execute('DELETE FROM user WHERE id = 16' 

2.使用 connection 上下文管理器:

  1. import pandas as pd 
  2. from pymysqlpool import ConnectionPool 
  3.  
  4. config = { 
  5.     'pool_name''test'
  6.     'host''localhost'
  7.     'port': 3306, 
  8.     'user''root'
  9.     'password''root'
  10.     'database''test' 
  11.  
  12. def connection_pool(): 
  13.     # Return a connection pool instance 
  14.     pool = ConnectionPool(**config) 
  15.     pool.connect() 
  16.     return pool 
  17.  
  18. with connection_pool().connection() as conn: 
  19.     pd.read_sql('SELECT * FROM user', conn) 
  20.  
  21. # 或者 
  22. connection = connection_pool().borrow_connection() 
  23. pd.read_sql('SELECT * FROM user', conn) 
  24. connection_pool().return_connection(connection) 

3.更多测试请移步 test_example.py 。

依赖

1.pymysql :将依赖该工具包完成数据库的连接等操作;

2.pandas :测试时使用了 pandas。

安装

1.移步 pymysqlpool: https://github.com/ChrisLeeGit/pymysqlpool 下载源码,然后使用 pip 安装即可: pip3 setup.py install ,注意需要使用 Python3 环境。

2.欢迎反馈,共同学习进步

【编辑推荐】

  1. 拆解 MySQL 的高阶使用与概念
  2. 如何迈开MySQL数据库的安全合规使用第一步?
  3. 在OS X上使用 Sequel Pro 来管理MySQL数据库
  4. MySQL主从同步延迟原因及解决办法
  5. MySQL如何利用ibd文件恢复数据?
【责任编辑:枯木 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

读 书 +更多

用户体验要素

本书是AJAX之父的经典之作。本书用简洁的语言系统化地诠释了设计、技术和商业融合是最重要的发展趋势。全书共8章,包括关于用户体验以及为...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊
× Phthon,最神奇好玩的编程语言