안승규의 블로그 (Stay hungry, stay foolish)

'2016/10'에 해당되는 글 4건

2016.10.18 T-Fabric 소개 동영상
2016.10.10 Kubernetes Authentication and Authorization 설정
2016.10.06 Kubernetes CPU 할당 방법 이해하기 1
2016.10.03 Kubernetes 에 kube-dns 설치하기, kubectl 사용법, glusterFS 연결

T-Fabric 소개 동영상

Miscellaneous 2016. 10. 18. 09:11

저작자표시 변경금지

Posted by seungkyua@gmail.com

Kubernetes Authentication and Authorization 설정

Container 2016. 10. 10. 18:28

kubernetes 의 Authentication 과 Authorization 활용

[ Authentication ]

client-ca-file 로 접속
static password file 사용
static token file 사용
OpenStack Keystone 사용

먼저 client-ca-file 은 Authorization 을 사용할 수 없으니 제외

static password 도 잘됨, 그러나 Authorization 을 연동해 보지는 않았음.

OpenStack Keystone 연계는 아직 알파버전이고 수정이 자주 일어나서 아직 소스까지 볼 단계는 아니라 생략.

static token 방식은 Authorization 과도 잘 연동되므로 이걸 활용

## uuid generate

$ cat /proc/sys/kernel/random/uuid

## {{uuid}} 는 위에서 제너레이션 된 값으로 대치

$ sudo vi /etc/default/kube-token

{{uuid}},admin,1

{{uuid}},ahnsk,2,"tfabric,group1"

{{uuid}},stack,3,tfabric

## api 서버에 token file 옵션 추가

$ sudo chown stack.root /etc/default/kube-token

--token-auth-file=/etc/default/kube-token \

$ sudo systemctl restart kube-apiserver.service

$ kubectl -s https://kube-master01:6443 --token={{uuid}} get node

[ Authorization ]

ABAC Mode
RBAC Mode

RBAC 는 아직 알파라 베타인 ABAC 를 활용

## 전체 admin : admin, tfabric admin : ahnsk, tfabric readOnly user : stack

kubectl 이 api version 을 체크하기 때문에 무조건 nonResourcePath 도 all 로 지정해야 함

$ sudo vi /etc/default/kube-rbac.json

{"apiVersion":"abac.authorization.kubernetes.io/v1beta1","kind":"Policy","spec":{"user":"system:serviceaccount:kube-system:default","namespace":"*","resource":"*","apiGroup":"*", "nonResourcePath": "*"}}

{"apiVersion": "abac.authorization.kubernetes.io/v1beta1", "kind": "Policy", "spec": {"user":"admin", "namespace": "*", "resource": "*", "apiGroup": "*", "nonResourcePath": "*" }}

{"apiVersion": "abac.authorization.kubernetes.io/v1beta1", "kind": "Policy", "spec": {"user":"ahnsk", "namespace": "tfabric", "resource": "*", "apiGroup": "*", "nonResourcePath": "*" }}

{"apiVersion": "abac.authorization.kubernetes.io/v1beta1", "kind": "Policy", "spec": {"user":"stack", "namespace": "tfabric", "resource": "*", "apiGroup": "*", "readonly": true, "nonResourcePath": "*"}}

kube-system 이 kube-apiserver 에 접근하기 위해서는 1라인이 반드시 있어야 함

$ sudo vi /etc/default/kube-apiserver

--authorization-mode=ABAC \

--authorization-policy-file=/etc/default/kube-rbac.json \

$ sudo systemctl restart kube-apiserver.service

$ cd ~/kube

$ vi busybox-tfabric.yaml

apiVersion: v1

kind: Pod

metadata:

namespace: tfabric

spec:

containers:

- image: gcr.io/google_containers/busybox

command:

- sleep

- "3600"

imagePullPolicy: IfNotPresent

restartPolicy: Always

$ kubectl -s https://kube-master01:6443 --token={{uuid}} --v=8 version

token 지정을 매번 하기 귀찮으니 config context 를 활용하는 것이 좋음.

이건 다음에....

저작자표시 변경금지

Posted by seungkyua@gmail.com

Kubernetes CPU 할당 방법 이해하기

Container 2016. 10. 6. 16:30

## https://www.kernel.org/doc/Documentation/scheduler/sched-bwc.txt

보통 cpu.cfs_period_us 는 cpu.cfs_quota 와 같이 사용되어 계산되는데 계산법은 다음과 같다. (단위 : microsecond)

1 CPU 사용률 = cpu.cfs_quota_us / cpu.cfs_period_us * 100

cgoup에서 1cpu 의 20% 를 사용한다면 아래와 세팅하면 된다.

# echo 10000 > cpu.cfs_quota_us /* quota = 10ms */

# echo 50000 > cpu.cfs_period_us /* period = 50ms */

Kubernetes 에선 limit resources 로 cpu 와 memory 를 다음과 같이 할당하다.

--limits='cpu=200m,memory=512Mi'

cpu 는 200m 로 할당하였는데 이는 cpu.cfs_period_us 값으로 1 sec (1000 millisecond) 기준당 0.2 sec 를 할당한다는 의미이다. (최대값은 1sec == 1000000 microsecond 이므로 1000000 임)

보통 cgroup의 디폴트 값은 cpu.cfs_quota=-1 이므로 위의 같은 경우는 20% 의 cpu를 할당하는 의미이다.

저작자표시 변경금지

Posted by seungkyua@gmail.com

Kubernetes 에 kube-dns 설치하기, kubectl 사용법, glusterFS 연결

Container 2016. 10. 3. 23:48

###################################

## kube-dns (skydns) 설치, dashboard 설치

###################################

## http://stackoverflow.com/search?q=%5Bkubernetes%5D+kubedns

## 검색창에 [kubernetes] 을 넣고 검색을 하면 됨

## https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/dns

$ cd ~/kube

$ export KUBE_ROOT=/home/ubuntu/go_workspace/src/k8s.io/kubernetes

$ export DNS_REPLICAS=1

$ export DNS_DOMAIN=cluster.local

$ export DNS_SERVER_IP=192.168.30.200

$ sed -e "s/\\\$DNS_REPLICAS/${DNS_REPLICAS}/g;\

s/\\\$DNS_DOMAIN/${DNS_DOMAIN}/g;" \

"${KUBE_ROOT}/cluster/addons/dns/skydns-rc.yaml.sed" > skydns-rc.yaml

## skydns-rc.yaml 에 kube-master-url 추가

$ vi skydns-rc.yaml

81 - --kube-master-url=http://192.168.30.13:8080

$ sed -e "s/\\\$DNS_SERVER_IP/${DNS_SERVER_IP}/g" \

"${KUBE_ROOT}/cluster/addons/dns/skydns-svc.yaml.sed" > skydns-svc.yaml

$ cat <<EOF >namespace.yaml

apiVersion: v1

kind: Namespace

metadata:

EOF

$ cp ~/go_workspace/src/k8s.io/kubernetes/cluster/addons/dashboard/dashboard-controller.yaml ~/kube/.

$ cp ~/go_workspace/src/k8s.io/kubernetes/cluster/addons/dashboard/dashboard-service.yaml ~/kube/.

## kube-master01 에 복사

$ ssh kube-master01 "mkdir -p kube"

$ scp ~/kube/skydns-rc.yaml kube-master01:~/kube/.

$ scp ~/kube/skydns-svc.yaml kube-master01:~/kube/.

$ scp ~/kube/namespace.yaml kube-master01:~/kube/.

$ scp ~/kube/dashboard-controller.yaml kube-master01:~/kube/.

$ scp ~/kube/dashboard-service.yaml kube-master01:~/kube/.

$ ssh kube-master01 "kubectl create -f ~/kube/namespace.yaml"

$ ssh kube-master01 "kubectl --namespace=kube-system create -f ~/kube/skydns-rc.yaml"

$ ssh kube-master01 "kubectl --namespace=kube-system create -f ~/kube/skydns-svc.yaml"

## dashboard 설치

$ cd ~/kube

$ wget https://rawgit.com/kubernetes/dashboard/master/src/deploy/kubernetes-dashboard.yaml

## master api 에 접속할 수 있게 정보를 추가

$ vi kubernetes-dashboard.yaml

47 - --apiserver-host=http://192.168.30.13:8080

$ scp ~/kube/kubernetes-dashboard.yaml kube-master01:~/kube/.

$ ssh kube-master01 "kubectl create -f ~/kube/kubernetes-dashboard.yaml"

## skydns 설치 확인

$ vi ~/kube/busybox.yaml

apiVersion: v1

kind: Pod

metadata:

namespace: default

spec:

containers:

- image: gcr.io/google_containers/busybox

command:

- sleep

- "3600"

imagePullPolicy: IfNotPresent

restartPolicy: Always

$ scp ~/kube/busybox.yaml kube-master01:~/kube/.

$ ssh kube-master01 "kubectl create -f ~/kube/busybox.yaml"

## -s 옵션으로 api 서버 지정 가능

$ kubectl -s http://kube-master01:8080 get pods --all-namespaces -o wide

$ kubectl -s http://kube-master01:8080 describe pod kube-dns-v19-d1tse --namespace=kube-system

$ kubectl -s http://kube-master01:8080 get pods busybox -o wide

$ kubectl -s http://kube-master01:8080 exec busybox -- nslookup kubernetes.default

###################################

## kubectl 사용법

###################################

## http://kubernetes.io/docs/user-guide/kubectl-cheatsheet/

## http://kubernetes.io/docs/user-guide/quick-start/

## nginx pod 생성 (replication controller 대신 replica set 이 생겼음)

$ kubectl -s http://kube-master01:8080 run nginx --image=nginx (--replicas=2) --port=80

$ kubectl -s http://kube-master01:8080 get pods

$ kubectl -s http://kube-master01:8080 get pods -o wide

$ kubectl -s http://kube-master01:8080 get pod -l run=nginx

## nginx scaling

$ kubectl -s http://kube-master01:8080 scale deployment/nginx --replicas=1

## nginx auto scaling

$ kubectl -s http://kube-master01:8080 autoscale deployment/nginx --min=1 --max=3

## nginx rc 조회

$ kubectl -s http://kube-master01:8080 get rs

## 서비스 멈춤없이 이미지 버전 올리기 (edit 로 파일 수정하면 됨)

$ kubectl -s http://kube-master01:8080 edit deployment/nginx

## nginx service 생성 (port : host에 노출되는 port, target-port : docker 내부에서 뜨는 port)

$ kubectl -s http://kube-master01:8080 expose deployment nginx --port=8080 --target-port=80 (--type=LoadBalancer) --name=nginx

$ kubectl -s http://kube-master01:8080 get services

## nginx pod 삭제

$ kubectl -s http://kube-master01:8080 get deployment (nginx)

$ kubectl -s http://kube-master01:8080 delete deployment nginx

## nginx service 삭제

$ kubectl -s http://kube-master01:8080 delete service nginx

## nginx pod, service 동시 삭제

$ kubectl -s http://kube-master01:8080 delete deployment,service nginx

$ kubectl -s http://kube-master01:8080 delete deployments/nginx services/nginx

## nginx pod, service 동시 삭제 (label 활용 : -l or --selector)

$ kubectl -s http://kube-master01:8080 delete deployment,services -l app=nginx

## nginx replication controller 삭제 (디폴트는 pod 도 삭제됨, --cascade=false : rc 만 삭제)

$ kubectl -s http://kube-master01:8080 delete rc nginx-rc

$ kubectl -s http://kube-master01:8080 delete rc nginx-rc --cascade=false

## nginx 안으로 들어가기

$ kubectl -s http://kube-master01:8080 exec -it nginx-3449338310-sl1ou -- /bin/bash

## pod 내의 컨테이너 로그 보기

$ kubectl -s http://kube-master01:8080 logs -f nginx-3449338310-sl1ou

$ kubectl -s http://kube-master01:8080 logs --tail=20 nginx-3449338310-sl1ou

$ kubectl -s http://kube-master01:8080 logs --since=1m nginx-3449338310-sl1ou

## Guestbook (redis-master, redis-slave, frontend) 샘플

## https://github.com/kubernetes/kubernetes/tree/master/examples/guestbook

## http://kubernetes.io/docs/user-guide/services/

$ ~/go_workspace/src/k8s.io/kubernetes

$ kubectl -s http://kube-master01:8080 create -f examples/guestbook/

## Service frontend 타입을 ClusterIP 에서 NodePort 로 변경

$ kubectl -s http://kube-master01:8080 edit services/frontend

28 type: NodePort

## json format 으로 output 보기

## http://kubernetes.io/docs/user-guide/jsonpath/

## http://www.jsoneditoronline.org/

$ kubectl -s http://kube-master01:8080 get svc frontend -o json

$ kubectl -s http://kube-master01:8080 get svc frontend -o "jsonpath={.spec.ports[0].nodePort}{"\n"}"

## Guestbook 삭제

$ kubectl -s http://kube-master01:8080 delete deployments,services -l "app in (redis, guestbook)"

## 명령어로 pod 생성하는 방법

$ kubectl -s http://kube-master01:8080 run frontend --image=gcr.io/google-samples/gb-frontend:v4 \

--env="GET_HOSTS_FROM=dns" --port=80 --replicas=3 \

--limits="cpu=100m,memory=100Mi" \

--labels="app=guestbook,tier=frontend"

## Service frontend 를 명령어로 NodePort 타입으로 생성

$ kubectl -s http://kube-master01:8080 expose deployment frontend \

--port=80 --target-port=80 --name=frontend --type=NodePort \

--labels=app=guestbook,tier=frontend --selector=app=guestbook,tier=frontend

###################################

## glusterFS 설치 및 Kubernetes 에서 활용

###################################

## glusterFS 설치

## http://gluster.readthedocs.io/en/latest/Quick-Start-Guide/Quickstart/

## gluster01 과 gluster02 모두 수행

# vi /etc/hosts

192.168.30.15 kube-node01 gluster01

192.168.30.16 kube-node02 gluster02

# mkfs.xfs -f /dev/sdb

# mkdir -p /data/gluster/brick1 && chmod -R 777 /data

# echo '/dev/sdb /data/gluster/brick1 xfs defaults 1 2' >> /etc/fstab

# mount -a && mount

# apt-get install -y glusterfs-server glusterfs-client

# service glusterfs-server start

## gluster01 에서

# gluster peer probe gluster02

## gluster02 에서

# gluster peer probe gluster01

## gluster01 과 gluster02 모두 수행

# mkdir -p /data/gluster/brick1/gv0 && chmod -R 777 /data

# mkdir -p /data/gluster/brick1/gv1 && chmod -R 777 /data/gluster/brick1/gv1

## gluster01 에서 수행 (gv1 은 pod 에서 glusterfs 연결할 때 사용할 디스크)

# gluster volume create gv0 replica 2 gluster01:/data/gluster/brick1/gv0 gluster02:/data/gluster/brick1/gv0

# gluster volume start gv0

# gluster volume create gv1 replica 2 gluster01:/data/gluster/brick1/gv1 gluster02:/data/gluster/brick1/gv1

# gluster volume start gv1

## gluster01 과 gluster02 모두 수행

# mkdir -p /ext && chmod 777 -R /ext

# mount -t glusterfs gluster01:/gv0 /ext

## kubernetes 와 glusterFS 테스트

## https://github.com/kubernetes/kubernetes/tree/master/examples/volumes/glusterfs

$ cd ~/go_workspace/src/k8s.io/kubernetes

$ cp examples/volumes/glusterfs/*.json ~/kube && cd ~/kube

$ vi glusterfs-endpoints.json

11 "ip": "192.168.30.15"

23 "ip": "192.168.30.16"

$ vi glusterfs-pod.json

11 "image": "nginx"

25 "path": "gv1",

26 "readOnly": false

$ ssh kube-master01 "mkdir -p kube"

$ scp ~/kube/glusterfs-endpoints.json kube-master01:~/kube/.

$ scp ~/kube/glusterfs-service.json kube-master01:~/kube/.

$ scp ~/kube/glusterfs-pod.json kube-master01:~/kube/.

$ ssh kube-master01 "kubectl create -f ~/kube/glusterfs-endpoints.json"

$ ssh kube-master01 "kubectl create -f ~/kube/glusterfs-service.json"

$ ssh kube-master01 "kubectl create -f ~/kube/glusterfs-pod.json"

$ kubectl -s http://kube-master01:8080 get pods glusterfs -o jsonpath='{.status.hostIP}{"\n"}'

$ ssh kube-node01 "mount | grep gv1"

저작자표시 변경금지

Posted by seungkyua@gmail.com

이전 1 다음

안승규의 블로그 (Stay hungry, stay foolish)

'2016/10'에 해당되는 글 4건

T-Fabric 소개 동영상

Kubernetes Authentication and Authorization 설정

Kubernetes CPU 할당 방법 이해하기

Kubernetes 에 kube-dns 설치하기, kubectl 사용법, glusterFS 연결

카테고리

태그목록

최근에 달린 댓글

글 보관함

링크

티스토리툴바


	Seungkyu Ahn's Blog, Kubernetes, Container, CNCF, OpenStack, Linux, Programming and so on by seungkyua@gmail.com