博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
IBM推动MapReduce发布Eclipse插件
阅读量:4138 次
发布时间:2019-05-25

本文共 773 字,大约阅读时间需要 2 分钟。

 近日,在其开发技术网站Alphaworks发布了一个Eclipse插件-IBM Tools for ,通过该插件,开发者可以在Eclipse上创建MapReduce应用程序。
  它使用了Hadoop开源MapReduce框架,该框架可以使数据密集型应用程序运行在一般硬件的大型群集之上。
  Hadoop是 labs 的MapReduce的一个实现,Nutch项目的全部数据处理都构建在其之上。MapReduce是一种简化的分布式编程模式,让程序可以自动在普通机器组成的集群中以并行方式分布执行。通过今年的整合工作,已经可以轻松的在Amazon的EC2平台上运行Hadoop MapReduce应用程序,以及把Amazon的S3平台用以存储。Amazon的网络服务博客中表示,“因为在EC2实例之间的带宽和存储在S3中的数据是无法计算的,因此这是一个处理大容量数据的非常有经济效益的方法。”
  IBM的MapReduce插件支持以下功能:
    ·支持以JAR文件方式打包和部署一个Java项目到一个Hadoop服务器(本地和远程)
    ·辅助开发过程的一些技术小提示
    ·可以查看Hadoop服务器、Hadoop分布式文件系统(DFS)和当前任务状态的分离视图
    ·方便基于MapReduce框架的类开发的向导
  该插件可以运行在、或任何可以运行Eclipse的操作系统上。
  它还包含了完善的小技术提示和全面的OS X兼容性。该插件自动创建一个包含Hadoop库的项目以供开发和测试。MapReduce驱动的模板也被提供。在一个项目被完成后,该插件使用SCP(安全拷贝)来部署代码到一个Hadoop服务器上,然后使用SSH在Hadoop服务器上远程执行该代码,在执行过程中,该插件使用HTTP协议与Hasoop任务跟踪器进行会话,并显示任务状态。  

转载地址:http://jjavi.baihongyu.com/

你可能感兴趣的文章
过滤器及JSP九大隐式对象
查看>>
软件(项目)的分层
查看>>
菜单树
查看>>
Servlet的生命周期
查看>>
JAVA八大经典书籍,你看过几本?
查看>>
《读书笔记》—–书单推荐
查看>>
JAVA数据类型
查看>>
【Python】学习笔记——-6.2、使用第三方模块
查看>>
【Python】学习笔记——-7.0、面向对象编程
查看>>
【Python】学习笔记——-7.2、访问限制
查看>>
【Python】学习笔记——-7.3、继承和多态
查看>>
【Python】学习笔记——-7.5、实例属性和类属性
查看>>
git中文安装教程
查看>>
虚拟机 CentOS7/RedHat7/OracleLinux7 配置静态IP地址 Ping 物理机和互联网
查看>>
Jackson Tree Model Example
查看>>
常用js收集
查看>>
如何防止sql注入
查看>>
springmvc传值
查看>>
在Eclipse中查看Android源码
查看>>
Android使用webservice客户端实例
查看>>