企业空间 采购商城 存储论坛
首页 > 数据库 > MongoDB教程 > 正文

R对MongoDB的性能测试——RMongo

2013-03-15 00:00:00来源:中存储网
导读: 在九月初的时候,RMongoDB正式发布了修订版本,这也就意味着,从事数值计算的语言也可以于Nosql产品相接轨了,但是鉴于我身边并没有公司真的在使用R和MongoDB的结合,所以在效率问题上,我们也不敢掉以轻心,所以就做了一个这样的测试。测试环境是8核,64

在九月初的时候,RMongoDB正式发布了修订版本,这也就意味着,从事数值计算的语言也可以于Nosql产品相接轨了,但是鉴于我身边并没有公司真的在使用R和MongoDB的结合,所以在效率问题上,我们也不敢掉以轻心,所以就做了一个这样的测试。

测试环境是8核,64位机。 用于测试的库是一个未经Sharding,大概30G左右的Collection。用于存储用户的喜好信息,标签信息等数据。

  1. library(rmongodb)     
  2. mongo <- mongo.create()    
  3. if(mongo.is.connected(mongo))   {  
  4.     ns <- 'rivendell.user'      print('查询一个没有索引的字段,查询一条')  
  5.     print(system.time(p <- mongo.find.one(mongo,ns,list(Friend=600))))       print('查询一个没有索引的字段,多条,without buffer')  
  6.     print(system.time(p <- mongo.find(mongo,ns,list(Friend=600))))       print('看看是否有缓存策略')  
  7.     print(system.time(p <- mongo.find(mongo,ns,list(Friend=600))))    
  8.     print('查询一个没有索引的字段,多条,has buffer')       buf <- mongo.bson.buffer.create()  
  9.     mongo.bson.buffer.append(buf,'Friend',600L)       query <- mongo.bson.from.buffer(buf)  
  10.     print(system.time(p <- mongo.find(mongo,ns,query)))       print('看看是否有缓存策略')  
  11.     buf <- mongo.bson.buffer.create()       mongo.bson.buffer.append(buf,'Friend',600L)  
  12.     query <- mongo.bson.from.buffer(buf)       print(system.time(p <- mongo.find(mongo,ns,query)))  
  13.       print('大于的查询,查询一条记录')  
  14.     print(system.time(p <- mongo.find.one(mongo,ns,list(Friend=list('$gt'=600L)))))       print('大于的记录,查询多条记录')  
  15.     print(system.time(cursor <- mongo.find(mongo,ns,list(Friend=list('$gt'=600L)))))       mongo.cursor.destroy(cursor)  
  16.       print('查询一条有索引的记录')  
  17.     print(system.time(p <- mongo.find.one(mongo,ns,list('_id'=3831809L))))       print('查询索引的记录')  
  18.     print(system.time(p <- mongo.find(mongo,ns,list('_id'=3831809L))))    
  19.     print('插入一条记录')       buf <- mongo.bson.buffer.create()  
  20.     mongo.bson.buffer.append(buf,'name',"huangxin")       mongo.bson.buffer.append(buf,'age',22L)  
  21.     p <- mongo.bson.from.buffer(buf)       print(system.time(mongo.insert(mongo,ns,p)))  
  22.       print('找到刚刚插入的记录')  
  23.     print(system.time(p <- mongo.find.one(mongo,ns,list('name'='huangxin'))))       if(!is.null(p))  
  24.     {           print('success')  
  25.     }    
  26.     print('批量插入')    
  27.     buf <- mongo.bson.buffer.create()       mongo.bson.buffer.append(buf,'name','huangxin')  
  28.     mongo.bson.buffer.append(buf,'age',22L)       p1 <- mongo.bson.from.buffer(buf)  
  29.       buf <- mongo.bson.buffer.create()  
  30.     mongo.bson.buffer.append(buf,'name','huangxin')       mongo.bson.buffer.append(buf,'age',22L)  
  31.     p2 <- mongo.bson.from.buffer(buf)    
  32.     buf <- mongo.bson.buffer.create()       mongo.bson.buffer.append(buf,'name','huangxin')  
  33.     mongo.bson.buffer.append(buf,'age',22L)       p3 <- mongo.bson.from.buffer(buf)  
  34.       print(system.time(mongo.insert.batch(mongo,ns,list(p1,p2,p3))))  
  35.       print('找到刚刚批量插入的记录')  
  36.     print(system.time(cursor <- mongo.find(mongo,ns,list('name'='huangxin'))))    
  37.     i <- 0       while(mongo.cursor.next(cursor))  
  38.     {           i <- i + 1  
  39.     }       print(i)  
  40.       print('批量更新')  
  41.     print(system.time(mongo.update(mongo,ns,list(name='huangxin'),list('name''kym'))))    
  42.     print('查看更新是否成功')       print(system.time(p <- mongo.find.one(mongo,ns,list('name'='kym'))))  
  43.     if(!is.null(p))       {  
  44.         print('success')       }  
  45.       print('批量删除')  
  46.     print(system.time(mongo.remove(mongo,ns,list(name='kym'))))   }  
  47.       print(system.time(p <- mongo.find.one(mongo,ns,list('name'='kym'))))  
  48.     if(!is.null(p))       {  
  49.         print('success')       } 
    1. [1] "查询一个没有索引的字段,查询一条"  user system elapsed  
    2. 0.000 0.000 0.115   [1] "查询一个没有索引的字段,多条,without buffer" 
    3. user system elapsed   0.000 0.000 32.513  
    4. [1] "看看是否有缓存策略"  user system elapsed  
    5. 0.000 0.000 32.528   [1] "查询一个没有索引的字段,多条,has buffer" 
    6. user system elapsed   0.000 0.000 32.685  
    7. [1] "看看是否有缓存策略"  user system elapsed  
    8. 0.000 0.000 33.172   [1] "大于的查询,查询一条记录" 
    9. user system elapsed   0.000 0.000 0.001  
    10. [1] "大于的记录,查询多条记录"  user system elapsed  
    11. 0.000 0.000 0.014   [1] "查询一条有索引的记录" 
    12. user system elapsed   0 0 0  
    13. [1] "查询索引的记录"  user system elapsed  
    14. 0 0 0   [1] "插入一条记录" 
    15. user system elapsed   0 0 0  
    16. [1] "找到刚刚插入的记录"  user system elapsed  
    17. 0.00 0.00 35.42   [1] "success" 
    18. [1] "批量插入"  user system elapsed  
    19. 0 0 0   [1] "找到刚刚批量插入的记录" 
    20. user system elapsed   0.004 0.000 35.934  
    21. [1] 7   [1] "批量更新" 
    22. user system elapsed   0.000 0.004 0.000  
    23. [1] "查看更新是否成功"  user system elapsed  
    24. 0.000 0.000 67.773   [1] "success" 
    25. [1] "批量删除"  user system elapsed  
    26. 0 0 0   user system elapsed  
    27. 0.000 0.000 91.396 

      之前我一直不太理解的就是为什么大于和等于,差距会差这么多。后来当我在用Python去做同样的测试的时候发现,Python两者的效率其实是相同的,所以这就证明了这个不是MongoDB的问题,而我不相信在数据库层面,一个语言的Driver会有这么大的差别。

      后来我发现了Python和R的关于MongoDB Driver的一个区别。首先,Python find的时候,不是将查询到的数据集整体拉回,而是返回一个cursor,也就是说,他在执行find命令的时候并不消耗时间,而如果加上while cursor.next()的时候,才会真正地去执行这个查询。

      但是R不一样,R会首先考虑数据集的大小(或者其他情况),然后视情况而定地返回cursor还是将整个数据集整体拉回。如果我们将之前的while mongo.cursor.next(cursor)也算在计算时间的时候,那么我们就会发现,其实大于和等于的操作,效率相差并不明显了.......

      在实际操作中,批量插入是一个非常常见的应用场景,但是对于R或者Matlab语言来说,循环的效率一直是硬伤,所以接下来,我会尝试着用apply系列来解决R语言的循环问题,如果实际操作发现可行,那么接下来使用mutilab等R的并行计算库来充分发挥多核的效率也值得尝试了!

      原文链接:http://www.cnblogs.com/kym/archive/2011/09/26/2191501.html

继续阅读
中存储网声明:此文观点不代表本站立场,如有版权疑问请联系我们。
相关阅读
  • 弘扬历史传承文化 Samsung Pay助力世界博物馆日

    国家博物馆相关工作人员透露,来国博参观的人大多使用微信、支付宝,少部分人用现金,由此可见移动支付已经深入到大众生活中方方面面,让消费更便捷。

  • 松下从三洋电机收购DVD专利

    松下电器公司已经从三洋电机株式会社获得了DVD专利,松下从三洋收购的DVD专利包括所有根据DVD6C许可计划被确定为必不可少的三洋DVD专利。

  • 美国这座城市无人车产业大热 计算机视觉专业毕业生年薪20万美元

    美国匹兹堡市的无人驾驶汽车行业正迅猛发展,现在那里的人才大战也愈演愈烈,计算机视觉专业毕业的大学生薪酬可达20万美元。

  • 扒一扒出生在猴年的IT企业家!他们果然都是......

    时间进入了2016中国农历丙申年,也即猴年的到来。既然是猴年,我们就来扒一扒那些出生在猴年的IT企业家,出生在猴年的他们各个身怀绝技,凭借着那股精明劲儿和非凡的战斗力,他们已然成为各自“种群”的“猴王”,并是IT这个行当里面响当当的风云人物。

  • ScaleIO 软件定义平台推出节点设备

    EMC在2015年下半年发布了绑定硬件的ScaleIO软件定义存储系统平台的预览版。ScaleIO节点设备让客户可以选择购买预装在商用硬件之上的ScaleIO软件。首批交付设备包括ScaleIO量产版,由广达生产贴EMC品牌的x86存储服务器,以及Arista网络交换机。EMC将提供集成技

  • 关于企业虚拟服务器备份策略的贴士

    虚拟机是短暂的,数据是在不断运动变化的。系统管理员需要一个虚拟服务器的备份策略,以确保正确处理每一个备份。

产品推荐
头条阅读
栏目热点

Copyright @ 2006-2021 ChinaStor.COM 版权所有 京ICP备14047533号

中存储网

存储第一站,存储门户,存储在线交流平台