java如何读取1千万级别的数据 如何处理千万级以上的数据
java如何读取1千万级别的数据
如果数据很庞大的情况，估计没有人会直接使用
select * from table
select * from table limit 10000001之类的SQL语句，这样的操作别说数据库的操作很慢了，在网络IO传输也是一个很大的问题，
把一千万的数据读取出来在网络进行传输，这样性能消耗也会有瓶颈。
所以，读取大批量的数据一般都是采用分批次的读取方式。
(一)通过测试，一万条数据一次性读取出来所花费的时间要比分十次，每次读1千数据的速度要慢很多。
(二)，主键是uuid，可以进行排序，利用排序和比较值的大小来分批读取数据。
SELECT * FROM `kw_seo_keyword` as t
WHERE t.id > 31baf874-0fc5-4bb0-82ff-7bc77c6b63f5
ORDER BY t.id
LIMIT 1000123每一次，读取一千条数据，然后取这一千条数据的有序集合的最后一条数据的id，在进行大小的比较。如此反复，直到数据读取完为止。
(三)，安全性的考虑，执行上千万的数据，有时候程序出现异常，结果修改异常后再重新这上千万的数据，那就太蛋疼了。所以我们分批次处理数据的时候。
比如说，我们每次读取一千条数据，等集合的数据超过100万的时候，就处理数据，然后通过一个redis的key来保存最后一次的id。
如何处理千万级以上的数据
在MongoDB中，文档是对数据的抽象，它被使用在Client端和Server端的交互中。所有的Client端（各种语言的Driver）都会使用这种抽象，它的表现形式就是我们常说的BSON（Binary JSON ）。
BSON是一个轻量级的二进制数据格式。
MongoDB能够使用BSON，并将BSON作为数据的存储存放在磁盘中。
当Client端要将写入文档，使用查询等等操作时，需要将文档编码为BSON格式，然后再发送给Server端。同样，Server端的返回结果也是编码为BSON格式再放回给Client端的。
django怎么用
Django的主要目的是简便、快速的开发数据库驱动的网站。它强调代码复用,多个组件可以很方便的以“插件”形式服务于整个框架，Django有许多功能强大的第三方插件，你甚至可以很方便的开发出自己的工具包。这使得Django具有很强的可扩展性。它还强调快速开发和DRY(Do Not Repeat Yourself)原则。
Django基于MVC的设计十分优美：
对象关系映射 (ORM,object-relational mapping)
以Python类形式定义你的数据模型，ORM将模型与关系数据库连接起来，你将得到一个非常容易使用的数据库API，同时你也可以在Django中使用原始的SQL语句。
URL 分派
使用正则表达式匹配URL，你可以任意设计的URL，没有框架的特定限定。象你喜欢的一样灵活。
模版系统
使用Django强大而可扩展的模板语言，可以分隔设计、内容和Python代码。并且具有可继承性。
表单处理
你可以方便的生成各种表单模型，实现表单的有效性检验。可以方便的从你定义的模型实例生成相应的表单。
Cache系统
可以挂在内存缓冲或其它的框架实现超级缓冲 －－ 实现你所需要的粒度。
会话(session)，用户登录与权限检查
快速开发用户会话功能。
国际化
内置国际化系统，方便开发出多种语言的网站。
自动化的管理界面
不需要你花大量的工作来创建人员管理和更新内容。Django自带一个ADMIN site,类似于内容管理系统。
千万量级数据库设计能力是指什么？
所谓千万级，亿级，无非告诉你用的是大型数据库，在设计上就要考虑一些优化的方法，比如读写分开，分库，分表技术。以及应用程序的数据缓存技术等等。
hibernate相关，应该指的是hibernate的原理，以及安装，以及在开发中怎么使用吧。
千万级数据库多表查询解决方案
1. 建立合理的索引,避免扫描多余数据，避免表扫描！
2.使用子查询为确保消除重复值，必须为外部查询的每个结果都处理嵌套查询。在这种情况下可以考虑用联接查询来取代。
3.用EXISTS替代IN、用NOT EXISTS替代NOT IN。因为EXISTS引入的子查询只是测试是否存在符合子查询中指定条件的行，效率较高。无论在哪种情况下,NOT IN都是最低效的。因为它对子查询中的表执行了一个全表遍历。
django数据模型中如何支持多表连接
关系系统就是说关系数据库。我认为 ORM 都是把关系数据库中的行映射为对象的实例，这一点上我认为 django 和 sqlalchemy 是一样的。对于简单的关系，比如 one-to-many，sqlalchemy 也很简单：articles_table = ...comments_table = ...class Article(object):passclass Comment(object):passmapper(Article, articles_table, properties=dict( comments = relation(mapper(Comment, articles_table))))而再给 relation 传些参数就能完成些 django 所不能完成的任务了，比如 lazy=False 就是 left outer join 了，甚至 relation 第一个参数还能是子查询！django 只是把一些过程隐含地处理掉了，把 table，class 的定义合并了，mapping 也不用显式地写出来了，many-to-many 的中间表也自动完成了。也正因为基本思想一致，所以可以在 sqlalchemy 的基础上构造 turboentity [http://turboentity.ematia.de/] 这样的东西了。
Django处理与数据库的连接问题，怎么解决
由于创建连接的代价是很高的, 我们每次访问数据库都重新创建连接的话是非常消耗性的.
我们可以再程序启动的时候先创建出一些连接, 放在一个集合中, 访问数据库的时候从集合中获取, 使用结束再放回集合中.
这样做只是在程序启动的时候消耗性能去创建连接, 每次访问数据库的时候都是从内存中获取连接, 可以大大提升效率.
注意事项:
由于池中增删非常频繁, 使用集合LinkedList效率较高
集合中所有连接都被占用时创建新连接, 但需要注意连接总数
使用组合模式/动态代理处理释放连接的方法, 当运行close方法时, 将连接放回池中
关于数据库连接池：
数据库连接是一种关键的有限的昂贵的资源，这一点在多用户的网页应用程序中体现得尤为突出。对数据库连接的管理能显著影响到整个应用程序的伸缩性和健壮性，影响到程序的性能指标。数据库连接池正是针对这个问题提出来的。
数据库连接池负责分配、管理和释放数据库连接，它允许应用程序重复使用一个现有的数据库连接，而再不是重新建立一个；释放空闲时间超过最大空闲时间的数据库连接来避免因为没有释放数据库连接而引起的数据库连接遗漏。这项技术能明显提高对数据库操作的性能。
数据库连接池在初始化时将创建一定数量的数据库连接放到连接池中，这些数据库连接的数量是由最小数据库连接数来设定的。无论这些数据库连接是否被 使用，连接池都将一直保证至少拥有这么多的连接数量。连接池的最大数据库连接数量限定了这个连接池能占有的最大连接数，当应用程序向连接池请求的连接数超 过最大连接数量时，这些请求将被加入到等待队列中。