안승규의 블로그 (Stay hungry, stay foolish)

$ sudo apt-get install build-essential maven cmake libssl-dev

$ vi /home/stack/.m2/settings.xml

<settings>

  <proxies>

    <proxy>

      <active>true</active>

      <protocol>http</protocol>

      <host>xx.xx.xx.xx</host>

      <port>8080</port>

      <nonProxyHosts>localhost|127.0.0.1|192.168.75.136|192.168.230.136|ubuntu</nonProxyHosts>

...

$ cd /Hadoop-src/hadoop-2.4.0-src/hadoop-hdfs-project/hadoop-hdfs-httpfs/downloads

$ wget http://archive.apache.org/dist/tomcat/tomcat-6/v6.0.36/bin/apache-tomcat-6.0.36.tar.gz

$ keytool -v -alias mavensrv -import \

> -file /usr/share/ca-certificates/extra/XXX.crt \

> -keystore trust.jks

$ wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz

$ tar xvfz protobuf-2.5.0.tar.gz

$ cd protobuf-2.5.0

$ ./configure

$ make

$ sudo make install                              # /usr/local/lib 에 관련 라이브러리가 설치됨

$ sudo ldconfig

$ wget http://apache.mirror.cdnetworks.com/hadoop/common/hadoop-2.4.0/hadoop-2.4.0-src.tar.gz

$ tar xvfz hadoop-2.4.0-src.tar.gz

$ cd hadoop-2.4.0-src

$ mvn package -Pdist,native -DskipTests -Dtar -X

$ cd ./hadoop-dist/target

$ cp -R ./hadoop-2.4.0/ ~/.

$ vi ~/.bashrc

# Hadoop

export HADOOP_PREFIX="/home/stack/hadoop-2.4.0"

export PATH=$PATH:$HADOOP_PREFIX/bin

export PATH=$PATH:$HADOOP_PREFIX/sbin

export HADOOP_MAPRED_HOME=${HADOOP_PREFIX}

export HADOOP_COMMON_HOME=${HADOOP_PREFIX}

export HADOOP_HDFS_HOME=${HADOOP_PREFIX}

export YARN_HOME=${HADOOP_PREFIX}

# Native Path

export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib/native"

$ source ~/.bashrc

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

$ vi $HADOOP_PREFIX/etc/hadoop/hadoop-env.sh

export JAVA_HOME="/usr/local/jdk1.7.0_51"

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_PREFIX/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib/native"

$ vi $HADOOP_PREFIX/etc/hadoop/yarn-env.sh

export HADOOP_YARN_USER=${HADOOP_YARN_USER:-yarn}

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_PREFIX/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib/native"

$ mkdir -p ${HADOOP_PREFIX}/hadoop/dfs/name

$ mkdir -p ${HADOOP_PREFIX}/hadoop/dfs/data

$ mkdir -p ${HADOOP_PREFIX}/hadoop/mapred/system

$ mkdir -p ${HADOOP_PREFIX}/hadoop/mapred/local

$ vi $HADOOP_PREFIX/etc/hadoop/core-site.xml

<configuration>

    <property>

        <name>fs.default.name</name>

        <value>hdfs://localhost:9000</value>

        <final>true</final>

    </property>

</configuration>

$ vi $HADOOP_PREFIX/etc/hadoop/hdfs-site.xml

<configuration>

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>file:/home/stack/hadoop-2.4.0/hadoop/dfs/name</value>

        <final>true</final>

    </property>

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>file:/home/stack/hadoop-2.4.0/hadoop/dfs/data</value>

        <final>true</final>

    </property>

    <property>

        <name>dfs.permissions</name>

        <value>false</value>

    </property>

</configuration>

$ cp $HADOOP_PREFIX/etc/hadoop/mapred-site.xml.template $HADOOP_PREFIX/etc/hadoop/mapred-site.xml

$ vi $HADOOP_PREFIX/etc/hadoop/mapred-site.xml

<configuration>

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

    <property>

        <name>mapred.system.dir</name>

        <value>file:/home/stack/hadoop-2.4.0/hadoop/mapred/system</value>

        <final>true</final>

    </property>

    <property>

        <name>mapred.local.dir</name>

        <value>file:/home/stack/hadoop-2.4.0/hadoop/mapred/local</value>

        <final>true</final>

    </property>

</configuration>

$ vi $HADOOP_PREFIX/etc/hadoop/yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <property>

        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

        <value>org.apache.hadoop.mapred.ShuffleHandler</value>

    </property>

</configuration>

hdfs namenode -format

$ cd ${HADOOP_PREFIX}/sbin

# hdfs 데몬 실행

$ start-all.sh

# yarn 데몬 실행

$ start-yarn.sh

$ jps

13861 NameNode                             # 네임노드

14347 SecondaryNameNode              # 세컨더리 네임노드

14070 DataNode                               # 데이터 노드

14526 ResourceManager                  # yarn 리소스 매니저 (네임노드)

14745 NodeManager                        # yarn 노드 매니저 (데이터노드)

# yarn Resource Manager 접속

http://localhost:8088

# yarn Node Manager 접속

http://localhost:8042/node

# 네임노드 접속

http://localhost:50070

# 노드 리포트

$ hdfs dfsadmin -report

# free

                   total       used          free     shared    buffers     cached

Mem:       3079912    2870192      209720             0     260776     1637140

-/+ buffers/cache:     972276    2107636

Swap:      5237184             0    5237184

# cat /proc/vmallocinfo | grep -v "ioremap" | awk '{print $2}' | paste -s -d "+" | bc

byte 로 결과 값이 출력됨

# echo "(" $(cat /proc/vmallocinfo | grep -v "ioremap" | awk '{print $2}' | paste -s -d "+") ") / 1024" | bc

KB 로 출력됨

# pmap -x 1154              (sshd 의 프로세스 id 가 1154 임)

출력 예)

Address           Kbytes     RSS   Dirty Mode   Mapping

00007f55459c7000       0      16       0 r-x--  libnss_files-2.15.so

00007f55459d3000       0       0       0 -----  libnss_files-2.15.so

00007f55489a7000       0       4       4 rw---  libwrap.so.0.7.6

00007f55489a8000       0     112       0 r-x--  ld-2.15.so

00007f5548bad000       0      40      40 rw---    [ anon ]

00007f5548bc8000       0       8       8 rw---    [ anon ]

00007f5548bca000       0       4       4 r----  ld-2.15.so

00007f5548bcb000       0       8       8 rw---  ld-2.15.so

00007f5548bcd000       0     232       0 r-x--  sshd

00007f5548e47000       0      12      12 r----  sshd

00007f5548e4a000       0       4       4 rw---  sshd

00007f5548e4b000       0      36      36 rw---    [ anon ]

00007f5548e5b000       0      68      68 rw---    [ anon ]

00007fff2b5e7000         0      20      20 rw---    [ stack ]

00007fff2b687000         0       4       0 r-x--    [ anon ]

ffffffffff600000               0       0       0 r-x--    [ anon ]

[anon] 으로 표시되는 것이 AnonPages 즉 유저 영역 메모리로 malloc 등으로 확보한 메모리를 말한다.

Kbytes 는 논리 어드레스 이고 RSS 는 물리 메모리 용량(KB) 이다.

# command >test.log 2>test.err &

> : 표준출력은 test.log, 에러는 test.err 에 저장한다.

& : 백그라운드 프로세스로 실행한다.

# command >test.log 2>&1 &

2>&1 : 에러출력을 표준출력에 출력한다.

# command >/dev/null 2>&1 &

/dev/null : 버린다.

# nohup command >/test.log 2>&1 &

nohup : bash 프로세스는 종료되면 자식 프로세스에 HUP 시그널을 전송한다. HUP 시그널은 프로세스 종료

            시그널이므로 bash 가 끝나면 백그라운드로 돌리는 자식 프로세스도 종료된다.

            nohup 은 bash 프로세스가 종료되더라도 HUP 시그널을 보내지 말라는 의미

# ps -ef | head -5

출력 예)

UID        PID  PPID  C STIME TTY          TIME CMD

root         1        0   0  16:22   ?              00:00:02 /sbin/init

root         2        0   0  16:22   ?              00:00:00 [kthreadd]

root         3        2   0  16:22   ?              00:00:00 [ksoftirqd/0]

root         5        2   0  16:22   ?              00:00:00 [kworker/u:0]

head -5 : 처음 5줄만 출력

# ps -ef | head -5 | tr -s " " | cut -d " " -f 2 | grep -v "PID"

출력 예)

1

2

3

5

tr -s " " : 여러 공백이 있으면 하나의 공백으로 변환

cut -d " " -f 2 : -d 로 지정한 문자를 기준으로 구분(여기서는 공백) -f 로 지정한 위치필드(여기서는 2) 출력

grep -v "PID" : -v 뒤에 지정한 조건은 제외하고 출력

# ps -ef | grep -E -v "^(root|UID)"

grep -E : 확장 정규표현 식을 사용

^(root|UID) : 처음에 오는 문자가 root 이거나 UID

-v : 일치하는 조건은 제외

# ps -ef | head -5 | awk '{print $2}' | grep -v "PID"

awk '{print $2}' : 연결 공백을 구분 문자로 2번째 위치필드를 출력

# cat /etc/passwd | awk -F ":" '{print $1}'

awk -F ":" '{print $1}' : -F 로 지정한 문자를 기준으로 구분(여기서는 :) 첫번째 필드를 출력

# ps -e --no-headers -o pid | head -5

출력 예) : 프로세스 id 가 우측 정렬로 되어 있어 앞에 공백이 있음

    1

    2

    3

    5

    6

--no-headers : 헤더는 출력에서 제외

-o pid : pid 만 출력

# ps -e --no-headers -o pid | head -5 | sed "s/^ *//"

출력 예)

1

2

3

5

6

s : 변환

/ : 시작

^ : 첫행

(스페이스)* : 정규표현으로 공백이 여러개(*)

/ : 끝

(Null)/ : null 로 치환

# ps -ef | grep -E -v "^(root|UID)" | sed "s/^/kill -9 /"

s/^/kill -9 : 처음문자 앞에 kill -9 를 삽입

# ps -ef | wc -l

출력 예)

196

# ps -ef | head -$(ps -ef |wc -l)

ps -ef | wc -l 의 결과 즉, 196 을 넣어서 ps -ef | head -196 과 같은 뜻이 됨

# yes "kill" | head -5

출력 예)

kill

kill

kill

kill

kill

yes "kill" : kill 이라는 문자를 계속 출력

# pgrep -v -u root

유저가 root 가 아닌 pid 를 출력

# pkill -9 -v -u root

유저가 root 가 아닌 모든 프로세스를 kill -9 로 죽인다.

# tcpdump -i any -vv 'tcp port 80' -w hostname.out

혹은

# tcpdump -i br100 -n -v udp port 53

# netstat -an | grep -i wait | wc -l

# ps -ef | grep ssh[d]

출력 예)

root       1154      1  0 16:23 ?         00:00:00 /usr/sbin/sshd -D

root       3424  1154  0 16:41 ?        00:00:00 sshd: stack [priv]

stack     3578  3424  0 16:41 ?        00:00:00 sshd: stack@pts/0

-ef : 출력을 유저 id, 프로세스 id, 부모 프로세스 id 순으로 표시한다.

[]  : grep 자기 자신에 대한 명령은 제외한다.

# ps aux | grep ssh[d]

출력 예)

root       1154  0.0  0.0  50036  2932 ?        Ss   16:23   0:00 /usr/sbin/sshd -D

root       3424  0.0  0.1  92304  3984 ?        Ss   16:41   0:00 sshd: stack [priv]

stack     3578  0.0  0.0  92304  1848 ?        S     16:41   0:00 sshd: stack@pts/0

S : Sleep

Z : 좀비 프로세스   (끝에 <defunct> 라 표시)

# cat /sys/block/sda/queue/scheduler        (스케줄러 조회)

# echo "cfg" > /sys/block/sda/queue/scheduler       (스케줄러를 cfg 로 변경)

# ionice -c 1 dd if=/dev/zero of=test bs=1M count=500 oflag=direct &

-c 1 : Real time

-c 2 : Best effort

-c 3 : Idle

/dev/zero : 바이트 코드 0 (NULL) 값

oflag=direct : 디스크 캐시를 사용하지 않음