Janle
- 浏览: 67965 次
- 性别:
- 来自: 北京
-
文章列表
hadoop的mapreduce作业出现Java heap space解决方案
在配置文件maprd-site中设置mapred.child.java.opts：-Xmx1024m
hadoop执行出现Unable to initialize any output collector
检查代码是否有导错包。
设置你的maprd-site的属性Map Task缓冲区所占内存大小。mapreduce.task.io.sort.mb默认是100，你可以设置400，最好不要太大
出现 is running beyond virtual memory limits. Current usage: 7 ...
虚拟机的密码都是root/lijian
虚拟机以4台linux的主机
在你的hosts加入各台虚拟机
192.168.8.129 CentOS1
192.168.8.131 CentOS2
192.168.8.130 CentOS3
192.168.8.132 CentOS4
首先需要编译好的hadoop以及jdk相关的环境
配置步骤
1. 配置HA NameNodes文档
http://hadoop.apache.org/docs/r2.6.4/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.h ...
下载zookeeper的包我用的是zookeeper-3.4.6
tar -zxvf zookeeper-3.4.6.tar.gz
cp -a conf/zoo_sample.cfg conf/zoo.cfg
修改配置文件
vi conf/zoo.cfg
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that ...
64位centos 下编译【2.X后官网只有32位编译后的文件】
首先从官网下载hadoop源码这里（我使用的是2.6.3），并且你的虚拟机必须是可以上网这样maven依赖包就可以获得
编译需要的环境
sudo yum -y install gcc*
sudo yum -y install cmake
sudo yum -y install glibc-headers
sudo yum -y install gcc-c++
sudo yum -y install zip-devel
sudo yum -y install openssl-devel
sudo yum -y install svn ...
注：linux服务器的用户名/密码:root/lijian
1.准备Linux环境
1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.8.0 子网掩码：255.255.255.0 -> apply -> ok
回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 -> 双击IPv4 -> 设置windows的IP：192.168.8.1 ...
首先我们从任意的一个地方获得资源，考虑到你的带宽创建线程
我们现在创建一个简单的多线程解析资源
public class DownLoadRunable implements Runnable {
private int threadId;
private int startIndex;
private int endIndex;
private String path;
public DownLoadRunable(String path,int threadId, int startIndex, int endIndex) {
super();
thi ...
定义对象间的一种多对多的的依赖关系，当一个对象的状态发生改变时，多有依赖于他的对象都会得到相应的通知并自动更新
适用于：
一个对象的行为取决于他的状态，并且必须在运行时候根据状态改变它的行为，
一个操作中含有庞大的分支条件，并且依赖于该对象的状态
状态模式将你的每一个分支放入一个个独立的类中。这样使得对象自身情况将对象本身作为一个对象，这个对象不会依赖其他对象而独立变化。
下边我么就用简单的代码解释吧
/**
* @author Janle
*
*/
public interface WebServiceOrderHolder {
String recordMes ...
多线程案例其实也就是一句话，我获得一个线程资源不释放，又要获得另一个资源，
其他线程也是获得一个不释放，又想获得别的线程。其实最多的就是线程之间的相互调用。
/**
* 指两个或两个以上的进程在执行过程中，因争夺资源而造成的一种互相等待的现象，若无外力作用，它们都将无法推进下去。
*
* @author Janle
*
*/
public class 多线程死锁问题 {
public static void main(String[] args) {
/*****************************死锁案例1***************** ...
构建了100个线程， Volatile变量具有 synchronized 的可见性特性，但是不具备原子特性。
同时访问操作i,如果i在使用i++时候是对自身变量的操作，实际它这样的操作不是原子操作。下边我们用一段代码试试。
/**
* Java语言包含两种内 ...
先了解一下在web开发时候使用js要关闭弹出框的几个简单的应用
window.location.href、location.href 是本页面跳转
parent.location.href 是上一层页面跳转，也就是你在弹出时候的页面。
top.location.href是最外层的页面跳转，你懂得，在有iframe的时候你就知道他不会进入你的iframe的窗体
再就是你要从这个页面跳转到别的父级打开的页面window.parent.parent.location.href=“你定义要跳转的页面”
layer使用
本课题只探讨1.9以上的版本
看看基础参数项：调用时候用到的配置项如：lay ...
在使用Activiti Modeler时候先从Activiti获得你所要的，新版的是使用anguarjs写的，比原来好多了，操作也比较人性化。
spring的包不说了，我现在就讲maven依赖放入
<dependency>
<groupId>org.activiti</groupId>
<artifactId>activiti-engine</artifactId>
<version>5.18.0</version>
</d ...
Spring MVC中提交表单请求
在Http请求中，都在使用Content-type来指定不同格式的请求信息，请求的类型有那些，具体是做什么的，以及在Spring MVC中如何使用它们来映射请求信息。
Content-Type
使用Content-Type来表示具体请求中的媒体类型信息。
常见的媒体格式类型如下：
text/html ： HTML格式
text/plain ：纯文本格式
text/xml ： XML格式
image/gif ：gif图片格式
image/jpeg ：jpg图片格式
image/png：png ...
登录页的个性化定制
登录页面在工程中的地址为 cas\WEB-INF\view\jsp\default\ui\casLoginView.jsp，大家可以打开看一看
其实CAS所有的界面位置都是在cas.properties（具体位置：cas\WEB-INF\cas.properties）中指定的。我们打开这个文件，找到下面这行
cas.securityContext.status.allowedSubnet=127.0.0.1
cas.themeResolver.defaultThemeName=cas-theme-default
//注意下面这行
cas.viewResolv ...
我们的项目中使用的版本是3.5.1的（因为已经发布生产了，就没升级）。由于4.0已经是一个Release 版本了，所以决定这系列文章采用4.0的版本作为记录
安装配置JDK、安装Tomcat8，此处不做详解。
到CAS官网下载CAS Server和Client，地址如下：
http://downloads.jasig.org/cas/cas-server-4.0.0-release.zip
http://downloads.jasig.org/cas-clients/cas-client-3.3.3-release.zip
部署CAS服务端
1.将下载的cas-server-4.0.0-re ...
字符串翻转
/**
* 将字符串翻转
*
* @param str
* @return
*/
public static String reverceString(String str) {
if (null == str || str.length() <= 1) {
return str;
}
return reverceString(str.substring(1)) + str.charAt(0);
}
计算a+aa+aaa+……+aa…a(n个a)的值,n和a的值由键盘输入
/**
* 使用递归操作
...