Mysql批量插入executeBatch的性能问题

字体大小: 中小 标准 ->行高大小: 标准
移动MAS短信平台用的是Mysql 4.0.20版本。虽提供有各种接口,但DB接口相信是效率最高的。开发接口程序,使用JDBC连接,prepareStatement和executeBatch批量插入数据,然而当每批量设为200条时,耗时约7秒左右。问题出在哪里?

     SmsSent.connMysql.setAutoCommit(false);
     SmsSent.logger.debug("Mysql批量执行开始");
     SmsSent.insMysql.executeBatch();
     SmsSent.logger.debug("Mysql批量插入");
     SmsSent.connSybase.setAutoCommit(false);
     SmsSent.updSybase.executeBatch();
     SmsSent.logger.debug("Sybase批量更新");
     SmsSent.connSybase.commit();
     SmsSent.logger.debug("Sybase批量更新成功。");
     SmsSent.connMysql.commit(); //

     SmsSent.logger.debug("Mysql批量更新成功。");
     SmsSent.connMysql.setAutoCommit(true);
     SmsSent.connSybase.setAutoCommit(true);
查看日志,会发现耗时主要出现在“mysql批量执行开始”和“Mysql批量插入”之间,其余操作包括Sybase的200条语句更新都是毫秒级的。查找文档,得出以下结论:

老版Mysql的JDBC驱动中对批量更新executeBatch仍是以逐条方式进行的,这一点有网友捕捉通讯报文得以证实。虽然已经使用了预编译语句,仍会与Mysql产生200次通讯交互,由于该移动服务器不在本省,ping之有30多毫秒的延迟,200X30就是将近6秒的时间,当然如此计算并不科学,但仍能反映出问题所在。

所以结论就是200条更新的时间花费在通讯开销上。

若要解决问题需使用Mysql的JDBC驱动mysql-connector-java-5.1.13以上,此时可在连接URL中加入rewriteBatchedStatements=true 来使其缓冲后批量更新以提高性能。从网友的测试结果上来看性能提高将近10倍以上。Mysql库本身在3.1.13以上支持此参数。

悲剧的是,之前自己的测试证实Mysql 4.0.20是不支持5甚至4以上版本的JDBC驱动的(官方文档中也有注明)。本人使用的是3.1.14版驱动,加入以上参数后,并未报错,然而性能未有任何提高。

Mas升级mysql版本可能性不大,那么将程序放在Mas库所在机器上倒可以解决问题。

此文章由 http://www.ositren.com 收集整理 ,地址为: http://www.ositren.com/htmls/68209.html