博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
getConf 与 new Configuration
阅读量:7024 次
发布时间:2019-06-28

本文共 1471 字,大约阅读时间需要 4 分钟。

hot3.png

#getConf

所有的配置都通过命令的形式,此种情况下支持-files

sudo -uwirelessdev hadoop jar  \/home/q/script/mods/mrjob/mods-1.0-SNAPSHOT-jar-with-dependencies.jar  \-files /home/q/script/mods/mrjob/mods.acid   \-D mapreduce.job.queuename=wirelessdev   \-D mapreduce.job.priority=VERY_HIGH   \-D mapreduce.map.memory.mb=8192   \-D mapreduce.map.java.opts='-Xmx8192M'   \-D mapreduce.reduce.memory.mb=8192  \-D mapreduce.reduce.java.opts='-Xmx8192M'   \-D mapreduce.job.reduces=100    \-D mapred.reduce.tasks=100   \-D mapreduce.job.name=mods_firstjob_leofei.li   \/user/wirelessdev/marmot_warehouse/ods/ods_modss_frame/dt=2016-07-13/platform=Ios-pad/*  \/user/wirelessdev/leofei.li/firstjob

#new Configuration 配置项通过代码进行配置,此时,通过命令行的配置项会失效

Configuration conf =new Configuration();conf.set("fs.defaultFS","hdfs://qunarcluster");conf.set("mapreduce.job.queuename","wirelessdev");conf.set("mapreduce.job.reduces","100");conf.set("mapreduce.job.priority","VERY_HIGH");conf.set("mapreduce.map.memory.mb","8192");conf.set("mapreduce.map.java.opts","-Xmx8192M");conf.set("mapreduce.reduce.memory.mb","8192");conf.set("mapreduce.reduce.java.opts","-Xmx8192M");

该情况下不支持-files,需要使用DistributedCache,默认hdfs路径

DistributedCache.addCacheFile(new Path("/user/wirelessdev/leofei.li/conf/mods.acid").toUri(), conf);

#推荐

Configuration conf =  getConf();        conf.set("mapreduce.job.queuename","wirelessdev");Job job = Job.getInstance(conf,"mods_firstjob_leofei.li");

转载于:https://my.oschina.net/datacube/blog/712685

你可能感兴趣的文章
CLR C++ Set Word CustomDocumentProperties
查看>>
会员数据挖掘
查看>>
13、java中8中基本类型
查看>>
纯css3制作写轮眼开眼及进化过程
查看>>
CSS布局框架 960GS 表单排版示例
查看>>
OSX终端 命令行的一些基本操作
查看>>
《一句顶一万句》—— 读后总结
查看>>
判断Set里的元素是否重复、==、equals、hashCode方法研究-代码演示
查看>>
rem设置网页字体大小
查看>>
2015第16周日
查看>>
在ASP.Net和IIS中删除不必要的HTTP响应头[转]
查看>>
爬虫 测试webmagic (一)
查看>>
arm-linux-gdb+gdbserver环境搭建以及远程调试
查看>>
再谈ORACLE CPROCD进程
查看>>
readline库的使用
查看>>
mysql客户端(Navicat)远程登录操作遇到问题1142 - XXX command denied to ×××
查看>>
C# -- 把json字符串转为对象并读取各属性的值
查看>>
MVC5+EF6 入门完整教程五
查看>>
SqlServer一张表数据导入另一张表,收藏使用,工作中更新数据错误很有用
查看>>
基于FormsAuthentication的用户、角色身份认证
查看>>