Hadoop和Hive的权限问题

如果你的Hadoop集群,是公用的,可能有很多其它部门的文件都存放在上面那么,就一定要考虑权限问题,给各种数据以不同的权限Hadoop目前的权限,实现的比较简单,类似于Shell的权限,是通过操作用户名来控制的它默认的超级用户就是你启动Hadoop时的用户一般,我们所有的服务器都默认是用root来登录的因为,安装Hadoop时一定要新建一个用户来安装,不要安装在root下然后,对于不同的log,再新建不同的用户目录来存放,如:hadoop fs -mkdir /user/test hadoop fs -chmod -R 700 /use......

阅读全文

使用Mysql来存储Hive的Meta信息

Hive默认是采用Derby来存储其Meta信息的,如下:<property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:derby://zw-hadoop-master:1527/metastore_db;create=true</value> <description>JDBC connect string for a JDBC metastore</descri......

阅读全文

Windows下编译Apache2的Passport模块

虽然,线上运行的服务都是在Linux平台,直接在Linux上编译对应的passport模块就可以了但是,我们的很多开发人员仍然是在Windows下工作,所以需要passport模块的windows版本最近,passport模块又进行了升级,可以支持多账号绑定功能了于是,又需要编译一个Windows下的新版本,原来曾经编译过,但编译的环境没有了上午又捣鼓了半天,终于编出来dll了,记录一下过程 安装Apache2.2,选择“自定义安装”,需要把一些headers和libs给装上 安装Win32Openssl,我装......

阅读全文

博客大迁移

这2天,对博客进行了大迁移首先,域名从www.51yu.cn迁移到了www.tech126.com上然后,博客空间从虚拟主机迁移到了VPS上另外,博客也从bo-blog迁移到了wordpres上做这些迁移,其实是很无奈的现在,国内的环境确实很糟糕cn域名和国内的虚机受制于政策造成很不稳定,经常被河蟹......于是,干脆在国外搞个VPS买的这个VPS很便宜,使用优惠码后,年付才$21.60购买的是https://www.123systems.net/billing/cart.php?gid=19详细信息如下:Linux-256-SolusVM......

阅读全文

搭建基于Eclipse的Hadoop测试环境

本机的环境如下:Eclipse 3.6Hadoop-0.20.2Hive-0.5.0-dev1. 安装hadoop-0.20.2-eclipse-plugin的插件。注意:Hadoop目录中的\hadoop-0.20.2\contrib \eclipse-plugin\hadoop-0.20.2-eclipse-plugin.jar在Eclipse3.6下有问题,无法在 Hadoop Server上运行,可以从http://code.google.com/p/hadoop-eclipse-plugin/下载2. 选择Map/Reduce视图:......

阅读全文

昕昕入幼儿园

昨天9月1日,昕昕开始上幼儿园了,上的是枫丹里的鑫星草幼儿园之前一直想等富力桃园的公立幼儿园开园但那边刚开始装修,不知道什么时候才能开园,所以临时先报了这个之前他从来没有上过任何的亲子班只不过在入园的前几天,我们一直给他灌输幼儿园的一些情况昨天早上,我和他奶奶一起送他去幼儿园送他去的时候,他的精神还挺好的,老师拉着他的手进到屋里了他奶奶后来一直躲在旁边,偷看他们在外面的活动据他奶奶说,他一直在哭闹,挣着要回家,老师一直在拽着他的手不过,也没有大哭,昨天中午也睡觉了,估计后来是被老师给叫起来的昨天下午4点,他没在幼儿园吃饭,奶奶就去接他回来了今......

阅读全文

使用Cygwin编译Windows上的Nginx

Nginx的官方最近也开始提供Windows版本的下载了如果不需要附加的第三方模块的话,直接使用其提供的Windows版本就可以了但我们线上运行的Nginx需要编译进好多附加的模块,所以只能自己动手了上网Google一搜,好多关于在Cygwin下编译Nginx的文章但真正自己动手去编译,发现还是出了很多的问题我使用的编译选项如下:折叠展开复制代码./configure --prefix=.--sbin-path=nginx--with-cc-opt="-D FD_SETSIZE=4096"--with-debug --wi......

阅读全文

开启Nginx的gzip压缩功能

默认情况下,Nginx的gzip压缩是关闭的同时,Nginx默认只对text/html进行压缩所以,开启gzip的指令如下:折叠展开复制代码gzip on;gzip_http_version 1.0;gzip_disable "MSIE [1-6].";gzip_types text/plain application/x-javascript text/css text/javascript;注意:1. 其中的gzip_http_version的设置,它的默认值是1.1,就是说对HTTP/1.1协议的请求才会进行gzi......

阅读全文

Nginx的Cache和Set-Cookie的冲突

上周,让NO同学帮忙检测了一下mail登录的数据最后发现,结果很不理想,平均登录时间在50s左右看了相关的数据后,发现以前的CDN也有一定的问题首先,以前的CDN缓存时间太小,只有12个小时,几乎没啥用再次,CDN似乎不太稳定,有时用户访问CDN的时间很长经过和NO的同学讨论后,准备更改CDN从js.sohu.com迁移到js.mail.sohu.com上新的url是我们自己的服务器,上面存储一些静态的资源NO同学负责更改该url的DNS解析,在全国范围内就近解析到最近的CDN上他们的CDN实现似乎也很简单,Nginx+ProxyPass+C......

阅读全文

昕昕三岁了

今天是昕昕三周岁的生日 时间过的可真快,一晃三年就过去了 昕昕也已经慢慢长大懂事了 这段时间他对托马斯比较感兴趣,家里原来有一套小的轨道系列 所以,这次送给他的生日礼物是一套大的托马斯小火车:  生日蛋糕,生日之前他就一直在念叨 8月2日,农历6月22,也是他的农历生日 那天奶奶给他订了一个小蛋糕,晚上据说他吃的还不少   今天,我休了一天假,带他去了中国科技馆儿童科技乐园 早上9点半就到了那里,里面还真是不小,有无数的项目......

阅读全文

最新文章

最近回复

  • feifei435:这两个URI实际是不一样的
  • zsy: git push origin 分支 -f 给力!
  • 冼敏兵:简单易懂,good fit
  • Jack:无需改配置文件,看着累! # gluster volume se...
  • Mr.j:按照你的方法凑效了,折腾死了。。。。
  • zheyemaster:补充一句:我的网站路径:D:\wamp\www ~~菜鸟站长, ...
  • zheyemaster:wamp2.5(apache2.4.9)下局域网访问403错误的...
  • Git中pull对比fetch和merge | 炼似春秋:[…] 首先,我搜索了git pull和git fe...
  • higkoo:总结一下吧, 性能调优示例: gluster volume s...
  • knowaeap:请问一下博主,你维护的openyoudao支持opensuse吗

分类

归档

其它