200，编程时数据读取用缓存（1 / 1）

大家知道大量数据处理时，对编程技巧要求特别高，特别是处理百万级数据的时候，这个时候用sql语句的insert语句，再加循环，大概一秒钟处理5行左右，但用到微软的缓冲语句，把数据读进内存，然后以每秒5万行的速度写入数据库，就很快，我的程序就是这样，5分钟处理百万行数据，有一次为了测试，把几百万行数据读进内存，系统直接益处死机了，哈哈，就是为了测下速度，千兆网传输速度每秒1兆，内存速度是硬盘的几千倍，只要把数据预先读入内存，生成xml文本数据库，在内存里操作数据，就很快，弄好了的数据再以每秒5万行速度写入数据库，软件运行时，从数据库把数据读进内存，生成xml数据库，然后断开与主数据库连接，减轻数据库压力，软件就可以飞速运转，操作完了，再把修改添加的数据变化同步到主数据库，哈哈