[ OpenStack Contribution List ]
1. Flavor Type 별 Network QoS 지정
2. Task 별 API 체크
3. Scheduler
- Filter 와 가중치를 적용하는 방법
4. EBS Backup
- EBS를 Snapshot 방식이 아닌 File 방식을 사용하여 Incremental하게 Backup을 하는 서비스
5. ENI (Elastic Network Interface)
6. Project to Host Filter Scheduling
7. EBS 기반으로 Boot 된 VM 에 대한 Live Migration
nova.compute.api.py >> API >> _create_instance()
[ DB 신규 row 입력 ]
create_db_entry_for_new_instance
nova.compute.manager.py >> ComputeManager >> _run_instance()
request_spec = {
"block_device_mapping": [],
"image": {
"status": "active",
"name": "tty-linux",
"deleted": false,
"container_format": "ami",
"created_at": "2012-12-16T10:37:48.000000",
"disk_format": "ami",
"updated_at": "2012-12-16T10:37:49.000000",
"properties": {
"kernel_id": "619a49c6-e653-4ca2-93f0-2e0e8cb50e78",
"ramdisk_id": "619a49c6-e653-4ca2-93f0-2e0e8cb50e78"
},
"min_disk": 0,
"min_ram": 0,
"checksum": "10047a119149e08fb206eea89832eee0",
"owner": "0c74b5d96202433196af2faa9bff4bde",
"is_public": false,
"deleted_at": null,
"id": "011a6a61-70fa-470b-a9cc-fbc7753833fb",
"size": 25165824
},
"instance_type": {
"memory_mb": 512,
"root_gb": 0,
"deleted_at": null,
"name": "m1.tiny",
"deleted": false,
"created_at": null,
"ephemeral_gb": 0,
"updated_at": null,
"disabled": false,
"vcpus": 1,
"extra_specs": {},
"swap": 0,
"rxtx_factor": 1.0,
"is_public": true,
"flavorid": "1",
"vcpu_weight": null,
"id": 2
},
"instance_properties": {
"vm_state": "building",
"availability_zone": null,
"launch_time": "2012-12-24T16:45:50Z",
"ramdisk_id": "619a49c6-e653-4ca2-93f0-2e0e8cb50e78",
"instance_type_id": 2,
"user_data": null,
"vm_mode": null,
"reservation_id": "r-gzio9556",
"user_id": "034120010ad64ecfb1eeb2ac5f16854d",
"display_description": "test01",
"key_data": "ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCiyiud+EmmdRZ50aPPbC7Ys3Td19qp6q3Xnl+W8aFHJ21IbdnCNXZo3pXpeTJy8rvFTitYxpvD5WzGlmPdXoEryJibA6hbPg6hPLINul+SwtuXlqv6pucy+eMVuWhi9MfOKv/uuJpCFIwZuEHGHg3xeW6uVyWSURW9FGH/E6tKdGrB9T2afkPaROOBnK2BRy3Bj55ExZq8qjfsYKDibwoDPddW9rR5zRn7N3pY6rhnULjyWJAd7Ll3UltKMkl3V2BZV0cyvd3c+TMtVtaa8hE9ComrxKOucd84d2+dOyUaV8hr3N3sfe/oXnvlK23Uo9TKwmYfXvTykOtAtaYRss/z nova@folsom\n",
"power_state": 0,
"progress": 0,
"project_id": "0c74b5d96202433196af2faa9bff4bde",
"config_drive": "",
"ephemeral_gb": 0,
"access_ip_v6": null,
"access_ip_v4": null,
"kernel_id": "619a49c6-e653-4ca2-93f0-2e0e8cb50e78",
"key_name": "mykey",
"display_name": "test01",
"config_drive_id": "",
"architecture": null,
"root_gb": 0,
"locked": false,
"launch_index": 0,
"memory_mb": 512,
"vcpus": 1,
"image_ref": "011a6a61-70fa-470b-a9cc-fbc7753833fb",
"root_device_name": null,
"auto_disk_config": null,
"os_type": null,
"metadata": {}
},
"security_group": [
"default"
],
"instance_uuids": [
"1be889ba-fe3b-4eb6-8730-157db1582f88"
]
}
filter_properties = {
"config_options": {},
"limits": {
"memory_mb": 3000.0
},
"request_spec": {
"block_device_mapping": [],
"image": {
"status": "active",
"name": "tty-linux",
"deleted": false,
"container_format": "ami",
"created_at": "2012-12-16T10:37:48.000000",
"disk_format": "ami",
"updated_at": "2012-12-16T10:37:49.000000",
"properties": {
"kernel_id": "619a49c6-e653-4ca2-93f0-2e0e8cb50e78",
"ramdisk_id": "619a49c6-e653-4ca2-93f0-2e0e8cb50e78"
},
"min_disk": 0,
"min_ram": 0,
"checksum": "10047a119149e08fb206eea89832eee0",
"owner": "0c74b5d96202433196af2faa9bff4bde",
"is_public": false,
"deleted_at": null,
"id": "011a6a61-70fa-470b-a9cc-fbc7753833fb",
"size": 25165824
},
"instance_type": {
"memory_mb": 512,
"root_gb": 0,
"deleted_at": null,
"name": "m1.tiny",
"deleted": false,
"created_at": null,
"ephemeral_gb": 0,
"updated_at": null,
"disabled": false,
"vcpus": 1,
"extra_specs": {},
"swap": 0,
"rxtx_factor": 1.0,
"is_public": true,
"flavorid": "1",
"vcpu_weight": null,
"id": 2
},
"instance_properties": {
"vm_state": "building",
"availability_zone": null,
"launch_time": "2012-12-24T16:45:50Z",
"ramdisk_id": "619a49c6-e653-4ca2-93f0-2e0e8cb50e78",
"instance_type_id": 2,
"user_data": null,
"vm_mode": null,
"reservation_id": "r-gzio9556",
"user_id": "034120010ad64ecfb1eeb2ac5f16854d",
"display_description": "test01",
"key_data": "ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCiyiud+EmmdRZ50aPPbC7Ys3Td19qp6q3Xnl+W8aFHJ21IbdnCNXZo3pXpeTJy8rvFTitYxpvD5WzGlmPdXoEryJibA6hbPg6hPLINul+SwtuXlqv6pucy+eMVuWhi9MfOKv/uuJpCFIwZuEHGHg3xeW6uVyWSURW9FGH/E6tKdGrB9T2afkPaROOBnK2BRy3Bj55ExZq8qjfsYKDibwoDPddW9rR5zRn7N3pY6rhnULjyWJAd7Ll3UltKMkl3V2BZV0cyvd3c+TMtVtaa8hE9ComrxKOucd84d2+dOyUaV8hr3N3sfe/oXnvlK23Uo9TKwmYfXvTykOtAtaYRss/z nova@folsom\n",
"power_state": 0,
"progress": 0,
"project_id": "0c74b5d96202433196af2faa9bff4bde",
"config_drive": "",
"ephemeral_gb": 0,
"access_ip_v6": null,
"access_ip_v4": null,
"kernel_id": "619a49c6-e653-4ca2-93f0-2e0e8cb50e78",
"key_name": "mykey",
"display_name": "test01",
"config_drive_id": "",
"architecture": null,
"root_gb": 0,
"locked": false,
"launch_index": 0,
"memory_mb": 512,
"vcpus": 1,
"image_ref": "011a6a61-70fa-470b-a9cc-fbc7753833fb",
"root_device_name": null,
"auto_disk_config": null,
"os_type": null,
"metadata": {}
},
"security_group": [
"default"
],
"instance_uuids": [
"1be889ba-fe3b-4eb6-8730-157db1582f88"
]
},
"instance_type": {
"memory_mb": 512,
"root_gb": 0,
"deleted_at": null,
"name": "m1.tiny",
"deleted": false,
"created_at": null,
"ephemeral_gb": 0,
"updated_at": null,
"disabled": false,
"vcpus": 1,
"extra_specs": {},
"swap": 0,
"rxtx_factor": 1.0,
"is_public": true,
"flavorid": "1",
"vcpu_weight": null,
"id": 2
},
"retry": {
"num_attempts": 1,
"hosts": [
"folsom"
]
},
"scheduler_hints": {}
}
requested_networks = [
[
"0802c791-d4aa-473b-94a8-46d2b4aff91b",
"192.168.100.5"
]
]
injected_files = []
admin_password = "6Ty7wZA9wc5w"
is_first_time = true
instance = {
"vm_state": "building",
"availability_zone": null,
"terminated_at": null,
"ephemeral_gb": 0,
"instance_type_id": 2,
"user_data": null,
"vm_mode": null,
"deleted_at": null,
"reservation_id": "r-gzio9556",
"id": 4,
"security_groups": [
{
"project_id": "0c74b5d96202433196af2faa9bff4bde",
"user_id": "034120010ad64ecfb1eeb2ac5f16854d",
"name": "default",
"deleted": false,
"created_at": "2012-12-16T11:47:01.000000",
"updated_at": null,
"rules": [
{
"from_port": 22,
"protocol": "tcp",
"deleted": false,
"created_at": "2012-12-16T11:47:26.000000",
"updated_at": null,
"id": 1,
"to_port": 22,
"parent_group_id": 1,
"cidr": "0.0.0.0/0",
"deleted_at": null,
"group_id": null
},
{
"from_port": -1,
"protocol": "icmp",
"deleted": false,
"created_at": "2012-12-16T11:47:41.000000",
"updated_at": null,
"id": 2,
"to_port": -1,
"parent_group_id": 1,
"cidr": "0.0.0.0/0",
"deleted_at": null,
"group_id": null
}
],
"deleted_at": null,
"id": 1,
"description": "default"
}
],
"disable_terminate": false,
"root_device_name": null,
"user_id": "034120010ad64ecfb1eeb2ac5f16854d",
"uuid": "1be889ba-fe3b-4eb6-8730-157db1582f88",
"server_name": null,
"default_swap_device": null,
"info_cache": {
"instance_uuid": "1be889ba-fe3b-4eb6-8730-157db1582f88",
"deleted": false,
"created_at": "2012-12-24T16:45:50.000000",
"updated_at": null,
"network_info": "[]",
"deleted_at": null,
"id": 4
},
"hostname": "test01",
"launched_on": null,
"display_description": "test01",
"key_data": "ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCiyiud+EmmdRZ50aPPbC7Ys3Td19qp6q3Xnl+W8aFHJ21IbdnCNXZo3pXpeTJy8rvFTitYxpvD5WzGlmPdXoEryJibA6hbPg6hPLINul+SwtuXlqv6pucy+eMVuWhi9MfOKv/uuJpCFIwZuEHGHg3xeW6uVyWSURW9FGH/E6tKdGrB9T2afkPaROOBnK2BRy3Bj55ExZq8qjfsYKDibwoDPddW9rR5zRn7N3pY6rhnULjyWJAd7Ll3UltKMkl3V2BZV0cyvd3c+TMtVtaa8hE9ComrxKOucd84d2+dOyUaV8hr3N3sfe/oXnvlK23Uo9TKwmYfXvTykOtAtaYRss/z nova@folsom\n",
"deleted": false,
"scheduled_at": "2012-12-24T16:45:50.413093",
"power_state": 0,
"default_ephemeral_device": null,
"progress": 0,
"project_id": "0c74b5d96202433196af2faa9bff4bde",
"launched_at": null,
"config_drive": "",
"ramdisk_id": "619a49c6-e653-4ca2-93f0-2e0e8cb50e78",
"access_ip_v6": null,
"access_ip_v4": null,
"kernel_id": "619a49c6-e653-4ca2-93f0-2e0e8cb50e78",
"key_name": "mykey",
"updated_at": "2012-12-24T16:45:50.441013",
"host": null,
"display_name": "test01",
"task_state": "scheduling",
"shutdown_terminate": false,
"root_gb": 0,
"locked": false,
"name": "instance-00000004",
"created_at": "2012-12-24T16:45:50.000000",
"launch_index": 0,
"memory_mb": 512,
"instance_type": {
"memory_mb": 512,
"root_gb": 0,
"name": "m1.tiny",
"deleted": false,
"created_at": null,
"ephemeral_gb": 0,
"updated_at": null,
"disabled": false,
"vcpus": 1,
"flavorid": "1",
"swap": 0,
"rxtx_factor": 1.0,
"is_public": true,
"deleted_at": null,
"vcpu_weight": null,
"id": 2
},
"vcpus": 1,
"image_ref": "011a6a61-70fa-470b-a9cc-fbc7753833fb",
"architecture": null,
"auto_disk_config": null,
"os_type": null,
"metadata": []
}
image_meta = {
"status": "active",
"name": "tty-linux",
"deleted": false,
"container_format": "ami",
"created_at": "2012-12-16T10:37:48.000000",
"disk_format": "ami",
"updated_at": "2012-12-16T10:37:49.000000",
"properties": {
"kernel_id": "619a49c6-e653-4ca2-93f0-2e0e8cb50e78",
"ramdisk_id": "619a49c6-e653-4ca2-93f0-2e0e8cb50e78"
},
"min_disk": 0,
"min_ram": 0,
"checksum": "10047a119149e08fb206eea89832eee0",
"owner": "0c74b5d96202433196af2faa9bff4bde",
"is_public": false,
"deleted_at": null,
"id": "011a6a61-70fa-470b-a9cc-fbc7753833fb",
"size": 25165824
}
network_info = [
{
"network": {
"bridge": "br100",
"subnets": [
{
"ips": [
{
"meta": {},
"version": 4,
"type": "fixed",
"floating_ips": [],
"address": "192.168.100.2"
}
],
"version": 4,
"meta": {
"dhcp_server": "192.168.100.1"
},
"dns": [
{
"meta": {},
"version": 4,
"type": "dns",
"address": "8.8.8.8"
}
],
"routes": [],
"cidr": "192.168.100.0/24",
"gateway": {
"meta": {},
"version": 4,
"type": "gateway",
"address": "192.168.100.1"
}
},
{
"ips": [],
"version": null,
"meta": {
"dhcp_server": null
},
"dns": [],
"routes": [],
"cidr": null,
"gateway": {
"meta": {},
"version": null,
"type": "gateway",
"address": null
}
}
],
"meta": {
"tenant_id": null,
"should_create_bridge": true,
"bridge_interface": "br100"
},
"id": "da8b8d70-6522-495a-b9f7-9bfadb931a8f",
"label": "private"
},
"meta": {},
"id": "fe9cd80f-c807-4869-9933-cafce241ac0e",
"address": "fa:16:3e:31:f5:00"
}
]
block_device_info = {
"block_device_mapping": [],
"root_device_name": null,
"ephemerals": [],
"swap": null
}
injected_files = []
nova.compute.manager.py >> ComputeManager >> _allocate_network()
vm_states = BUILDING
task_states = NETWORKING
expected_task_states = None
nova.network.api.py >> API >> allocate_for_instance()
nova.network.manager.py >> NetworkManager >> allocate_for_instance()
nova.network.manager.py >> NetworkManager >> _allocate_mac_address()
nova.network.manager.py >> RPCAllocateFixedIP >> _allocate_fixed_ips()
nova.network.manager.py >> NetworkManager >> get_instance_nw_info()
nova.compute.manager.py >> ComputeManager >> _prep_block_device()
vm_states = BUILDING
task_states = BLOCK_DEVICE_MAPPING
nova.compute.manager.py >> ComputeManager >> _spawn()
[ VM 생성 시작할 때 ]
vm_states = BUILDING
task_states = SPAWNING
expected_task_states = BLOCK_DEVICE_MAPPING
[ 생성 종료된 후 ]
power_state = current_power_state
vm_state = ACTIVE
task_state = None
expected_task_states = SPAWNING
nova.virt.libvirt.driver.py >> LibvirtDriver >> spawn()
1. RabbitMQ 의 흐름은 다음과 같다.
Producer -> Exchange -> Queue -> Consumer
-> Queue
2. Exchange 의 타입
- Direct exchange : routing_key 로 일치하는 consumer 만 연결
- Fan-out exchange : 모든 consumer 와 연결
- Topic exchange : *, # 을 사용하여 매치되는 consumer 와 연결
*.stock.# -> us.stock(O), eur.stock.db(O), stock.nasdaq(X)
1. Mac 에서 python setup.py install 실행시 저장되는 경로
/Library/Python/2.7/site-packages
2. package 만들기
python setup.py sdist
3. src install
python setup.py install --record files.txt
3. src 를 pip으로 install
pip install -e .
5. src uninstall
cat files.txt | xargs rm -rf
6. pip require package install
pip install -r pip-requires
7. pip installed package list
pip freeze
8. pip package uninstall
pip uninstall package-name
1. 3 different Cloud Service Models
- IaaS(Infrastructure as a Service)
PaaS (Platform as a Service)
SaaS (Software as a Service)
2. 3 different Cloud Delivery Models
- Private Cloud, Public Cloud, Hybrid Cloud
3. 5 primary characteristics of Cloud computing
- On-demand self-service
- Ubiquitous network access
- Resource pooling
- Dynamic and Elastic resource allocation
- Measured service / Pay-per-use
4. 2 primary characteristics/elements of the Cloud Value Proposition
- IT operations Efficiency, Business innovation
딱딱한 보고서로는 제가 보고 느낀 것을 제대로 보고할 수 없을 것 같아 이렇게 블로그라도 올립니다.
OpenStack Design Summit 뿐만 아니라 여러 회사가 모이는 컨퍼런스는 정말 중요한 것 같습니다.
사실 하나도 모르는 상태에서 관련 컨퍼런스를 참석한다면 아마도 1/3 도 못 얻어갈겁니다.
그러나 어느 정도 관련 기술을 활용하여 프로덕트를 만들고 있는 상태라면 일부 문제에 대한 해답을 찾을 수 있습니다.
1. 새로운 기술, 프로덕트의 장
- 이번 컨퍼런스에서 주로 논의된 것은 클라우드에 맞게 기존의 네트워크의 개념을 뒤엎는 내용이었습니다.
현재 우리가 구축한 시스템도 네트워크 측면에서 Scale out 에 문제가 있습니다.
사실, 국내에서는 아무도 답을 줄 수 없었죠. 그리고 기존 자기 기술의 틀에 갇혀 해답이 없었습니다.
저희 시스템도 당분간은 문제 없습니다. 고객이 빠르게 증가한다고 하더라도 어느 정도 확장이 가능합니다.
근본적인 해결책은 아니더라도 말이죠.
이곳에는 그런 문제들을 고민하고 해결하기 위한 많은 업체들이 자신이 주장하는 것을 제품으로 만들어
참여합니다. 완벽하지는 않지만 어느 정도는 서비스가 가능한 제품들이죠.
그리고 그 제품을 팔기 위해 엔지니어들을 논리적으로 설득시킵니다. 물론 설득에 실패하면 제품도
쓸데없어 지겠지요.
하지만 중요한 것은 문제를 해결할 수 있는 기술과 개념입니다.
그리고 여기서 힌트를 얻어 어느 정도는 우리도 직접 개발이 가능하다는 생각이 듭니다.
절반의 문제는 해결할 수 있는 그림이 그려진 것이죠..
또한 그들의 제품을 보면서 처음에는 구현이 불가능할 것 같은 요구사항을 구현 가능한 아키텍처로까지
그릴 수 있었습니다.
Auto Scaling 및 Hybrid Bursting 구현이 그런 경우입니다.
2. 향후 주요 개발 내용 및 방법에 대한 논의
- OpenStack 의 주요 개발 내용 및 방법은 디자인 서밋에서 결정나는 군요.
사실 어떤 내용들이 개발될지는 어느 정도 결정이 난 상태 같습니다. 하지만 개발자들이 논의해서
어떻게 진행할지를 결정하는 것은 인상깊었습니다. 애자일처럼 설계서없이 그림으로 논의하고
바로 실행에 옮기는 거죠. 그것도 온라인으로.. 이것이 오픈소스 커뮤니티를 가능한게 한거 같습니다.
물론 논의할 때 좀 무시되는 발언들도 있지만, 그래도 모든 것은 열려있으니까.
문제는 향후 적극적 참여를 위해서는 개발자간 face to face 로 논의하고 서로를 아는 것이 중요합니다.
일단 내공을 보여주고 나면 서로에 깊은 관심을 갖게 되는 것이 개발자들이니까요..
그런의미에서 가능하면 많은 개발자가 디자인서밋에 참여해야 합니다.
그리고 그 방향에 맞추어 개발에 적극 참여하여야 합니다.
수동적으로 소스만 갖다 쓸거면 아웃사이더밖에 될 수 없습니다.
문제는 관련 개발자가 저만 왔다는 것이 문제입니다.
아무래도 제가 전달하면 감흥이 떨어지겠죠? 시너지 효과도 덜할 거고..
그리고 여기서 만난 개발자들은 저밖에 기억을 못하겠죠.
관련 시장이 얼마나 큰데.. 그리고 회사에서 얼마를 투자하는데.. 개발자 몇명을 더 못데리고 오다니..
회사 입장에서는 소탐대실이라고 밖에 할 수 없습니다.
3. 여러 업체를 통한 현재 우리 기술력에 대한 객관적 평가
- 같은 기술을 도입하는 여러 업체를 통해서 우리의 기술력을 객관적으로 평가할 수 있었습니다.
우리가 해결한 고민을 질문하는 업체도 있었고, 반대로 우리가 고민한 것을 솔루션으로 만들어 오는
업체도 있었습니다.
또한 질문을 통해서 서로가 얼마나 고민했는지를 알 수 있고요..
제가 판단한 우리의 수준은 중상 정도??
마지막으로 이 곳 실리콘밸리에서는 클라우드 관련 인력과 빅데이터 관련 인력이 없습니다.
구글, 페이스북, HP, DELL, Cisco, IBM, 등등 메이저 업체가 다 데려갔죠..
링크드인에 본인을 잘 소개해 보세요.. 실리콘밸리에서 바로 콜이 올겁니다. ^^
2012 OpenStack Folsom Design Summit 이 San Francisco 에서 열렸습니다.
클라우드 시스템을 구축하는 입장에서 현지에서 우리의 현위치와 방향을 잡을 수 있는 기회였습니다.
이번 디자인서밋의 주요 화두는 Software 기반의 Virtual Network 와 관련된 Quantum 입니다.
거의 이틀에 거쳐서 Quantum 세션을 full 로 잡은 것을 보면 그 중요도도 알 수 있을 것입니다.
Quantum 이 왜 필요한지는 Flat Network 나 VLan 모드를 사용하여 클라우드 시스템을 구축하였다면 다들 몸으로 느끼고 있으실 겁니다. (적어도 저는..)
또 다른 하나는 Hybrid Cloud 입니다.
특히 구축이 거의 불가능할 거 같은 Hybrid Cloud Bursting 에 대한 기본 아키텍처 윤곽이 나왔다는 겁니다.
이 곳에서 여러 회사를 만나면서 힌트를 얻게 되는 군요.
아직 Hybrid Cloud 에 대해서 논의되지는 않았지만 아마도 올 하반기 디자인서밋에서 대두될 것 같습니다.
채택이 안된다면 제가 강력히 주장해야 겠습니다. ^^
디자인서밋은 클라우드 구축을 시작하는 회사도 방향을 잡는 부분에서 도움이 될 것이고, 어느 정도 지식이 있는 상태에서 디자인서밋에 참석하는 회사는 더 많은 것을 얻어갈 거라 생각이 듭니다.
파이썬에서 eventlet 모듈로 쓰레드를 사용하고 싶다면 세가지 방법이 있습니다.
1. eventlet.tpool 을 사용
- 가장 간단한 방법으로 eventlet.tpool.execute(function(), ...) 방식으로 쓰레드를 생성하여 호출.
pool 을 사용하며 쓰레드 20개가 기본.
pool 사이즈를 늘릴려면 환경변수 EVENTLET_THREADPOOL_SIZE 의 값을 변경
2. eventlet 을 사용
- eventlet.spawn(function(), ...) 을 사용하여 쓰레드를 생성하여 호출
리턴값으로 eventlet.greenthread.GreenThread 가 리턴됨.
pool 을 사용할 수 없음
3. eventlet.greenpool 을 사용
- eventlet.greenpool.GreenPool.spawn(function(), ...) 을 사용하여 쓰레드를 생성하여 호출
리턴값으로 eventlet.greenthread.GreenThread 가 리턴됨.
pool 사용이 가능
vhv.enable = "TRUE"
 Seungkyu Ahn's Blog, Kubernetes, Container, CNCF, OpenStack, Linux, Programming and so on by seungkyua@gmail.com |
||
|
