100万条数据导入SQL SERVER数据库仅用4秒_SQL SERVER数据库_黑客防线网安服务器维护基地--Powered by WWW.RONGSEN.COM.CN

100万条数据导入SQL SERVER数据库仅用4秒[图]

作者:黑客防线网安SQL维护基地 来源:黑客防线网安SQL维护基地 浏览次数:0

本篇关键词:数据库导入数据方法
黑客防线网安网讯:  实际工作中有时候需要把大量数据导入数据库,然后用于各种程序计算,本实验将使用5中方法完成这个过程,并详细记录各种方法所耗费的时间。  本实验中所用到工具为VS2008和SQL SERVER ...

  实际工作中有时候需要把大量数据导入数据库然后用于各种程序计算本实验将使用5中方法完成这个过程,并详细记录各种方法所耗费的时间

  本实验中所用到工具为VS2008和SQL SERVER 2000、SQL SERVER 2008,分别使用5中方法将100万条数据导入SQL 2000与SQL 2008中,实验环境是DELL 2850双2.0GCPU,2G内存的服务器感兴趣的朋友可以下载源代码自己验证一下所用时间。

  还要有一点需要进行说明,本实验中执行SQL语句的地方使用了IsLine FrameWork框架中的DataProvider模块,这个模块只是对SQL配置的读取和封装,并不会对最终结果有本质性的影响,关于IsLine FrameWork框架方面的知识,请参考“IsLine FrameWork”框架系列文章。

  下面进入正题,分别使用基本的Insert 语句、使用BULK INSERT语句、在多线程中使用BULK INSERT、使用SqlBulkCopy类、在多线程中使用SqlBulkCopy类五种方法,挑战4秒极限。

  数据库方面使用SQL 2000与SQL 2008,表名TableB,字段名称为Value1,数据库名可以在App.config中修改,默认为test。

图 1 试验中的5种方法

  方法一.使用基本的Insert 语句

  这种方法是最基本的方法,大多数人一开始都会想到这种方法。但是Insert语句似乎并不适合大批量的操作,是不是这样呢?

  本方法中将100万数据分为10个批次,每个批次10万条,每10万条1个事务,分10次导入数据库。

  基本语句:Insert Into TableB (Value1) values (‘”+i+”’);

  说明:语句中的i是宿主程序中的一个累加变量,用于填充数据库字段中的值。

  SQL 2000 耗时:901599

  SQL 2008耗时:497638

  方法二.使用BULK INSERT语句

  这个类的效果,在本实验中可以说是最令人满意的了,它的使用最简便、灵活,速度很快。

  “BULK INSERT”语句似乎不是很常用, Aicken听说Oracle中有一种可以将外部文件映射为Oracle临时表,然后直接将临时表中的数据导入Oracle其他表中的方法,这种方法的速度非常令人满意,SQL SERVER的BULK INSERT是不是同样令人满意呢?

    黑客防线网安服务器维护方案本篇连接:http://www.rongsen.com.cn/show-10526-1.html
网站维护教程更新时间:2012-03-21 03:05:43  【打印此页】  【关闭
我要申请本站N点 | 黑客防线官网 |  
专业服务器维护及网站维护手工安全搭建环境,网站安全加固服务。黑客防线网安服务器维护基地招商进行中!QQ:29769479

footer  footer  footer  footer