在Apache和Nginx中实现StickySession功能

当我们使用负载均衡,后端对应多台Server,而且使用了单机Session的如果不进行配置,可能会发生丢Session的问题,因为前端Nginx可能会随机分发Request请求Aapache已经提供了stickysession的功能,前端Apache2的配置如下:ProxyPassMatch ^/(.*)$ balancer://vip stickysession=STICKY_HOSTProxyPassReverse / balancer://vip<Proxy balancer://vip>   ......

阅读全文

修改MongoDB中Replica Set的配置

MongoDB1.6的版本中,向Replica Set中增加成员很简单,如下:#增加新的成员rs.add("192.168.x,210:10000");#增加新的选举成员rs.addArb("192.168.x,216:10001");这样配置好,Mongo会自动把数据同步到新的成员上1.6版本中没有提供remove成员的命令,据说在1.7版本中有这个命令不过,我们可以通过replSetReconfig来完成此操作下面我们去掉set中一个成员,并增加一个新的成员,操作如下:#在remove的成员上停掉M......

阅读全文

Hive中实现自定义函数UDF

Hive的UDF,其实很类似Mysql之类的自定义函数不过它需要用java来编写,而不是用传统的SQL来完成实现一个UDF的步骤如下: 实现一个Java Class,继承自UDF 打成jar包,并加入到Hive的ClassPath中 生成自定义函数,执行select 删除刚才创建的临时函数 下面这个UDF,是我给hive的array增加的一个函数用来判断array中是否包含某个值,hive的标准函数中并没有此功能函数package com.sohu.hadoop.hive.udf; import java.util.*; ......

阅读全文

搭建MongoDB Sharding集群

从1.6版本起,MongoDB开始正式支持Sharding同时,MongoDB也推出了Replica Sets,用以替代之前版本的Replica Pairs通过把Sharding和Replica Sets相结合,我们可以搭建一个分布式的,高可用性,自动水平扩展的集群一个典型的集群结构如下:集群由以下3个服务组成: Shards Server: 每个shard由一个或多个mongod进程组成,用于存储数据 Config  Server: 用于存储集群的Metadata信息,包括每个Shard的信息和chunks信息 Rou......

阅读全文

Apache的Alias和Rewrite

Apache2中通过配置Alias,可以方便的把某个URL给重定向到某个目录下如下述配置:<Directory "e:/ysz">        Options Indexes FollowSymLinks        AllowOverride None        Order allow,deny......

阅读全文

搭建syslog-ng服务器

1. 从syslog-ng官网下载自己合适的版本,可以是src源文件,也可以是rpm包2. 安装rpm包,安装后的位置默认为/opt/syslog-ng下rpm -i syslog-ng-3.1.2-1.rhel5.x86_64.rpm3. 修改配置文件,vi /opt/syslog-ng/etc/syslog-ng.conf@version: 3.0options {    create_dirs(yes);    ts_format(bsd);};# sourcessource ......

阅读全文

手贱

昨天,去西三旗桥那边买了一个都市风的电动车原本打算要买锂电池的,拿着方便一点但后来听说更换锂电池特别贵,就放弃它了最后还是买了铅酸电池的,总共1300后来,又在黄土店买了一把链锁,40元据说是能防盗,防锯...晚上又找到以前我买的那个链锁发现,这2把锁的钥匙是一种类型的当时,想都没想就把新钥匙给插到旧锁中顺势扭了一下,竟然还能拧动一点结果,杯具出现了我想继续拧,无法拧动我想往回拧,无法拧动我想拔掉它,无法拔掉折腾了好久,把新钥匙都弄折了,也没能取出浪费了我的一把链锁和一把新钥匙(更杯具的是,那把新链锁只有2把钥匙,这样就只剩一把可用的了)真是手贱...

阅读全文

hadoop中mapred.tasktracker.map.tasks.maximum的设置

目前,我们邮件的一部分log已经迁移到Hadoop集群上并由Hive来执行相关的查询hadoop中默认的mapred.tasktracker.map.tasks.maximum设置是2也即:每一个tasktracker同时运行的map任务数为2照此默认设置,查询80天某用户的操作日志,耗时5mins, 45sec经过测试,发现将mapred.tasktracker.map.tasks.maximum设置为节点的cpu cores数目或者数目减1比较合适此时的运行效率最高,大概花费3mins, 25sec我们现在的机器都是8核的,所以最终配置如......

阅读全文

从集群外操作Hadoop和Hive

如果在集群里面,可以直接使用hadoop的fs shell来操作集群往上面put/get文件,或者执行一些hive查询但如果要在hadoop集群外面去操作hadoop和hive,那么可以有2个办法:1.  写Java程序,调用hadoop提供的一些API去完成2. 在需要操作的服务器上搭建一个hadoop的环境目前,我们采用的是第2种办法,这种方式比较简单只需要将hadoop master上的hadoop相关目录打个包部署到对应的服务器上,并修改相应的环境变量和hosts就可以了打包时,可以把一些无用的配置信息和脚本给去掉但需要保留......

阅读全文

最新文章

最近回复

  • feifei435:这两个URI实际是不一样的
  • zsy: git push origin 分支 -f 给力!
  • 冼敏兵:简单易懂,good fit
  • Jack:无需改配置文件,看着累! # gluster volume se...
  • Mr.j:按照你的方法凑效了,折腾死了。。。。
  • zheyemaster:补充一句:我的网站路径:D:\wamp\www ~~菜鸟站长, ...
  • zheyemaster:wamp2.5(apache2.4.9)下局域网访问403错误的...
  • Git中pull对比fetch和merge | 炼似春秋:[…] 首先,我搜索了git pull和git fe...
  • higkoo:总结一下吧, 性能调优示例: gluster volume s...
  • knowaeap:请问一下博主,你维护的openyoudao支持opensuse吗

分类

归档

其它