当前位置:首页>正文

利用hadoop能做什么有趣的事情 Hadoop适用于分布式处理图像么

2024-01-03 17:07:44 互联网 未知

利用hadoop能做什么有趣的事情

主要用于做大数据分析
比如百亿级别的结构化数据SQL分析(求group by,最大最小值,join等)
深一点的话就是做机器学习,一般是配合spark计算引擎使用。
hadoop主要做离线计算,配合hbase可以做实时查询,但仅限查询而已。

Hadoop适用于分布式处理图像么

Hadoop是一个用于运行应用程序在大型集群的廉价硬件设备上的框架。Hadoop为应用程序透明的提供了一组稳定/可靠的接口和数据运动。在Hadoop中实现了Google的MapReduce算法,它能够把应用程序分割成许多很小的工作单元,每个单元可以在任何集群节点上执行或重复执行。此外,Hadoop还提供一个分布式文件系统用来在各个计算节点上存储数据,并提供了对数据读写的高吞吐率。由于应用了map/reduce和分布式文件系统使得Hadoop框架具有高容错性,它会自动处理失败节点。已经在具有600个节点的集群测试过Hadoop框架。

hadoop到底是什么

1、是一个文件系统。相比较WinXP,它可以同时利用多台机器
2、装WinXP,1个WinXP系统你只能装在一台机器上。而1个Hadoop系统可以装在一台机上,也可以装在很多机器上。
3、用WinXP保存一个文件,肯定就保存在一台机器上,而Hadoop就不同,一个文件可能会被拆成很多份,分别放在不同的机器上,而你通过Hadoop不需要知道他们具体存到哪里,可以象WinXP下一样访问1个文件。
4、安装WinXP只需要1台标准的个人电脑做为它的底层需求,而Hadoop还需要Linux系统 JAVA做为它的底层需求。

5、WinXP有个漂亮的操作界面,非富的其它功能,一般用户都可以很方便的使用它;而Hadoop没有这些,很多功能都要通过敲命令,甚至写代码才能使用它。

相关文章

随便看看