关于mongodb的aggregate问题，求解答 用java连接mongodb3报错，不知道问题在哪
关于mongodb的aggregate问题，求解答
aggregate是monogodb的聚合函数。完成类似于sql中的sum,count,group by等相关操作
1：count(*)
/**
* select count(*) count from zipsController
*/
var pipeline = [
{
$group: {
_id: null,
count: {$sum: 1}
}
}
]
2:sum(*)
/**
* select sum(pop) total from zipsController
*/
var pipeline = [
{
$group: {
_id: null,
total: {$sum: "$pop"}
}
}
]
3:group by
/**
* select sum(pop) total from zipsController group by state
*/
var pipeline =[
{
$group: {
_id: "$state",
totalpop: {$sum: "$pop"}
}
}
]
用java连接mongodb3报错，不知道问题在哪
在对超过百万条记录的集合进行聚合操作。 DBObject match=(DBObject)JSON.parse("{$match:{logType:{$in:[5,9]}}}") DBObject group=(DBObject)JSON.parse("{$group:{_id:$domainUrl,count:{$sum:1}}}") AggregationOutput output = logCollection.aggregate(match,group) 偶尔会发生Read timed out 异常。 com.mongodb.MongoException$Network: Read operation to server /192.168.10.202:27017 failed on database adLogTable at com.mongodb.DBTCPConnector.innerCall(DBTCPConnector.java:253) at com.mongodb.DB.command(DB.java:261) at com.mongodb.DB.command(DB.java:243) ... Caused by: java.net.SocketTimeoutException: Read timed out at java.net.SocketInputStream.socketRead0(Native Method) at java.net.SocketInputStream.read(SocketInputStream.java:152) 通过多次测试，发现执行一次聚合平均时间为5s，超过5s时就会报错！ 然后查看MongoDB的配置信息： socket-timeout="5000" //5s socket-timeout的默认配置为0，也就是没有限制。 没有超时限制，系统出了问题也不容易发现，应该根据实际情况，给出合理的超时时间。 通过多次测试发现最长执行时间为6秒，就把超时时间设置成了10000。 socket-timeout="10000" //10s 注意：MongoDB在与Spring整合时，如果要配置多个MongDB源，只会启用最后一个配置。 应该把参数配置信息存储在properties文件中。 通过Java API获取配置参数 DBCollection logCollection = mongoTemplate.getCollection(collName) MongoOptions mongoOptions = logCollection.getDB().getMongo().getMongoOptions() System.out.println(mongoOptions.getSocketTimeout()) 最后一点： ConnectionTimeOut和SocketTimeOut的区别： 一次完整的请求包括三个阶段： 建立连接 数据传输 断开连接 如果与服务器(这里指数据库)请求建立连接的时间超过ConnectionTimeOut，就会抛 ConnectionTimeOutException，即服务器连接超时，没有在规定的时间内建立连接。 如果与服务器连接成功，就开始数据传输了。 如果服务器处理数据用时过长，超过了SocketTimeOut，就会抛出SocketTimeOutExceptin，即服务器响应超时，服务器没有在规定的时间内返回给客户端数据
java mongodb多条件分组
// 首先利$match筛选出where条件 此处看你的查询范围条件了
BasicDBObject[] array = {new BasicDBObject("startTimeLong", new BasicDBObject("$gte",beginTime)),
new BasicDBObject("startTimeLong", new BasicDBObject("$lt",endTime)) }
BasicDBObject cond = new BasicDBObject()
cond.put("$and", array)
DBObject match = new BasicDBObject("$match", cond)
// 利用$project拼装group需要的数据，包含name列、age列
DBObject fields = new BasicDBObject("name", 1)
fields.put("age", 1)
DBObject project = new BasicDBObject("$project", fields)
// 利用$group进行分组
DBObject _group = new BasicDBObject("name", "$name")
_group.put("age", "$age")
DBObject groupFields = new BasicDBObject("_id", _group)
//总数
groupFields.put("count", new BasicDBObject("$sum", 1))
DBObject group = new BasicDBObject("$group", groupFields)
AggregationOutput output = MongodbUtil.getLogInfoCollection().aggregate(match, project, group)