XenServer VM Shutdown 장애 응급조치 방안

XenServer VM Shutdown 장애 응급조치 방안

[장애현상]

l XenServer에서 운영중인 VM을종료시키기 위해

① XenCenter에서 [Shut Down] 버튼클릭

② XenCenter에서 [ForceShutdown] 버튼 클릭

③ Domain0 Console에서 CLI 명령어로 xe vm-shutdown vm=<VM명> 수행

④ Domain0Console에서 CLI 명령어로 xe vm-shutdown vm=<VM명> force=true 수행

모든 방법이 실패한다.

l VM 강제종료가 실패하는 문제를 해결하기 위해

① CLI 명령어로 xevm-reset-powerstate vm=<VM명> force=true 수행

② CLI 명령어로 xe task-list : Pending Task 없음.

③ 백그라운드 작업 확인jobs : 프로세스 없음.

④ xe-toolstack-restart 수행

⑤ servicexapi restart 수행

그래도 VM이 종료되지않는다.

l 다른 서비스 때문에 XenServer HOST를 종료할 수 없을 때…

[응급조치방안]

1. Shutdown 수행 – Error 발생

1. Migrating수행 – Error 발생

1. Snapshot 생성

1. Snapshot 생성 후, Shutdown 수행 – Error발생

1. VM reverting to<Snapshot> 수행 (XenServer는 새로운 Snapshot 생성 후, Revert 한다.)

① Revert 작업 특성상 수행도중 powerstate 값이 ‘Halted’ 로 Update 된다.

(이 때, VM은 드디어 원하던 강제 종료가 된다.)

② 문제가 있던 VM은Revert 작업을 완료하지 못하고 Error를 발생하고멈춘다.

1. 종료된 VM을 시작하면 – Error발생 (에러가발생하지 않을 수 있지만 정상VM은 아니다.)

1. Snapshot 이미지를 Template 으로 변환

1. Template 으로 VM 생성 또는 Snapshot 에서 VM 생성

1. 새로운 VM Shutdown 테스트- 정상

1. 새로운 VM Start 테스트 – 정상

[응급조치방안-요약]

1) Shutdown 수행이 실패하는 VM 에서 Snapshot

2) VM reverting to <Snapshot> : 이 때, 오류 발생하면서 VM 강제종료됨

3) Snapshot 으로 VM 생성

4) 불필요한 Object 제거

[정리]

1) 일반적으로 xe-toolstack-restart 수행을 통해 해결이 가능하지만 이번 문제처럼 불가능한 경우 사용할 임시방안
2) 문제의 원인은 확인중 (- 별도로 업로드 하겠습니다.)
3) 이번 장애 VM 과 같은 현상 재현 가능 (교훈 : 리눅스 프로세스를 임의로 조작하지 말자)

이 글은 Evernote에서 작성되었습니다. Evernote는 하나의 업무 공간입니다. Evernote를 다운로드하세요.