Hadoop集群中增加新节点

向一个正在运行的Hadoop集群中增加几个新的Nodes1. 新节点上部署java/hadoop程序,配置相应的环境变量2. 新节点上增加用户,从master上拷贝id_rsa.pub并配置authorized_keys3. 新节点上设置host,需要有集群中各节点的host对应4. 新节点上建立相关的目录,并修改属主5. master的slaves文件中增加上相的节点,master上增加相应的host6. 在新节点上启动datanode和tasktracker/opt/sohuhadoop/hadoop/bin/hadoop-daemon.......

阅读全文

利用Decommission从Hadoop集群中Remove节点

我们现有的Hadoop集群已经运行了一段时间了由于集群中的服务器分布在2个不同的机房,受跨机房带宽的限制集群中在2个机房之间的数据传输很慢所以想把另一个机房的3台服务器从Hadoop集群中去掉Hadoop提供了Decommission的特性,可以按照以下步骤来操作:1. 在hadoop的conf目录下生成一个excludes的文件,写上需要remove的节点ip    一个节点一行,注意要写ip,不能写Hostname,如:10.15.10.4110.15.10.4210.15.10.432. 在hdfs-sit......

阅读全文

Velocity会议的一点小结

前2天,去参加了Velocity Web性能和运维大会,听了不少的讲座有一些讲座还是不错的,感觉能收获不少东西,像FaceBook,Yahoo,Taobao...也有不少,听了后基本没啥收获,有些是一些理论性的东西,框架性的东西,和实际应用完全不搭边,听了后也没啥感觉总体感觉:这个会还是不错的,去参加还是挺值得的下面是我总结的几点,可能对我们有用的东西:1.  Lvs + KeepAlived做负载均衡,实现F5的功能。DBA那边现在据说是在尝试使用KeepAlived做数据库的故障自动切换2.  Ca......

阅读全文

搭建gitweb环境

gitweb是git提供的一个基于web的版本查看工具在新版的git源码中,它已经打包进去了我们可以使用cgi方式,让gitweb运行在apache中安装配置如下:#进入git的src目录中cd /opt/ysz/src/git-1.7.0make clean#编译gitweb,GITWEB_PROJECTROOT为要查看的git仓库目录,bindir为git目录make GITWEB_PROJECTROOT="/opt/gitroot/repositories/" bindir=/usr/local/bin gitweb......

阅读全文

Hbase Shell的常用命令

总结的一些Hbase shell的命令都很简单,可以help来查看帮助create 'user_test','info'describe 'user_test'disable 'user_testinfo'drop 'user_testinfo'put 'user_test','test-1','info:username','test1'put 'user_test','te......

阅读全文

基于Hadoop的Hbase环境搭建

基于现有的Hadoop集群,来搭建Hbase的环境整个过程还是比较简单的1. 下载Hbase源码,并解压cp hbase-0.20.6.tar.gz /opt/hadoop/cd /opt/hadoop/tar zxvf hbase-0.20.6.tar.gzln -s hbase-0.20.6 hbase2.修改hbase-env.sh,加入java环境,并修改log位置export JAVA_HOME=/opt/java/jdkexport HBASE_LOG_DIR=/opt/log/hbaseexport HBASE_MANAGES_......

阅读全文

Hadoop集群的NameNode的备份

Hadoop集群中,NameNode节点存储着HDFS上所有文件和目录的元数据信息如果NameNode挂了,也就意味着整个Hadoop集群也就完了所以,NameNode节点的备份很重要,可以从以下2个方面来备份NameNode节点1. 在hdfs-site.xml中,配置多个name的dir到不同的磁盘分区上:<property>    <name>dfs.name.dir</name>    <value>/pvdata/hadoop......

阅读全文

惊天大悲剧-Hadoop的rmr和trash

这两天在操作Hadoop集群时,由于一个误操作,制作了一个天大的悲剧不小心把Hadoop集群上的所有文件全部删除了,具体情况是这样的:我用hadoop的超级帐户要建立一个目录,结果发现位置错了也是,想使用rmr删掉那个目录,可是不小心把命令写成了hadoop fs -rmr /user于是,悲剧出现了,所有user目录下的所有目录和文件全都没有了当时我就慌神了,赶紧从web查看50070的服务眼看着DFS Used空间从100多G不停的减少后来才反应过来,赶紧停掉namenode节点,然后上网google办法后来,从secondname节点重......

阅读全文

AS的几点心得

今天,Sohu邮箱上线了Flash进度条显示和Flash上传附件功能通过和前端工程师协作,项目进展虽然磕磕碰碰的,但最终总算还是上线了关于Flash AS相关东西,有以下几点心得(可能不完全对....): URLLoader类,在AS中使用它来load相应的js文件。请求虽然是在Flash中,但貌似Flash还是借用浏览器来发送相应的Http请求,UA什么的都和浏览器完全一样,Cookie也能相应的带到后端去,这样的请求在HttpWach中是可以监听到 FileReference类,在AS中使用它来完成附件上传。刚开始以为它Post到......

阅读全文

昕昕趣事-关于上学

一天,奶奶接昕昕下幼儿园昕昕问奶奶:奶奶,我什么时候才能上大学呢?奶奶对他说:还早呢,你上完幼儿园,然后上小学接着初中,高中,然后才能上大学昕昕听后,说了一句很雷的话:那我岂不是要累死啊~

阅读全文

最新文章

最近回复

  • feifei435:这两个URI实际是不一样的
  • zsy: git push origin 分支 -f 给力!
  • 冼敏兵:简单易懂,good fit
  • Jack:无需改配置文件,看着累! # gluster volume se...
  • Mr.j:按照你的方法凑效了,折腾死了。。。。
  • zheyemaster:补充一句:我的网站路径:D:\wamp\www ~~菜鸟站长, ...
  • zheyemaster:wamp2.5(apache2.4.9)下局域网访问403错误的...
  • Git中pull对比fetch和merge | 炼似春秋:[…] 首先,我搜索了git pull和git fe...
  • higkoo:总结一下吧, 性能调优示例: gluster volume s...
  • knowaeap:请问一下博主,你维护的openyoudao支持opensuse吗

分类

归档

其它