XenServer VM Shutdown 장애 응급조치 방안
XenServer VM Shutdown 장애 응급조치 방안
[장애현상]
l XenServer에서 운영중인 VM을종료시키기 위해
① XenCenter에서 [Shut Down] 버튼클릭
② XenCenter에서 [ForceShutdown] 버튼 클릭
③ Domain0 Console에서 CLI 명령어로 xe vm-shutdown vm=<VM명> 수행
④ Domain0Console에서 CLI 명령어로 xe vm-shutdown vm=<VM명> force=true 수행
모든 방법이 실패한다.
l VM 강제종료가 실패하는 문제를 해결하기 위해
① CLI 명령어로 xevm-reset-powerstate vm=<VM명> force=true 수행
② CLI 명령어로 xe task-list : Pending Task 없음.
③ 백그라운드 작업 확인jobs : 프로세스 없음.
④ xe-toolstack-restart 수행
⑤ servicexapi restart 수행
그래도 VM이 종료되지않는다.
l 다른 서비스 때문에 XenServer HOST를 종료할 수 없을 때…
[응급조치방안]
- Shutdown 수행 – Error 발생
- Migrating수행 – Error 발생
- Snapshot 생성
- Snapshot 생성 후, Shutdown 수행 – Error발생
- VM reverting to<Snapshot> 수행 (XenServer는 새로운 Snapshot 생성 후, Revert 한다.)
① Revert 작업 특성상 수행도중 powerstate 값이 ‘Halted’ 로 Update 된다.
(이 때, VM은 드디어 원하던 강제 종료가 된다.)
② 문제가 있던 VM은Revert 작업을 완료하지 못하고 Error를 발생하고멈춘다.
- 종료된 VM을 시작하면 – Error발생 (에러가발생하지 않을 수 있지만 정상VM은 아니다.)
- Snapshot 이미지를 Template 으로 변환
- Template 으로 VM 생성 또는 Snapshot 에서 VM 생성
- 새로운 VM Shutdown 테스트- 정상
- 새로운 VM Start 테스트 – 정상
[응급조치방안-요약]
1) Shutdown 수행이 실패하는 VM 에서 Snapshot
2) VM reverting to <Snapshot> : 이 때, 오류 발생하면서 VM 강제종료됨
3) Snapshot 으로 VM 생성
4) 불필요한 Object 제거
[정리]
1) 일반적으로 xe-toolstack-restart 수행을 통해 해결이 가능하지만 이번 문제처럼 불가능한 경우 사용할 임시방안
2) 문제의 원인은 확인중 (- 별도로 업로드 하겠습니다.)
3) 이번 장애 VM 과 같은 현상 재현 가능 (교훈 : 리눅스 프로세스를 임의로 조작하지 말자)
| 이 글은 Evernote에서 작성되었습니다. Evernote는 하나의 업무 공간입니다. Evernote를 다운로드하세요. |
