[클러스터] Globus 2.0 사용자 가이드
UserGuide – Globus 2.0
작성자: 권오경 (okkwon@kisti.re.kr)
최종 수정 날짜: 2002-05-27
이 문서는 Globus 2.0 툴킷을 리눅스 PC에 설치한후 사용하는 방법을 설명한다.
RedHat Linux 7.1(Linux 커널 버젼은 2.4.2)을 기준으로 설명하였으며,
Linux 표준 쉘인 bash 쉘을 이용한다고 가정하였다.
‘#’는 root 프롬프트를 의미하고, ‘$’는 사용자 프롬프트를 의미한다.
globus version: 2.0
example hostname: sdd47.hpcnet.ne.kr(localhost), sdd113.hpcnet.ne.kr
OS: RedHat 7.1
kernel version: 2.4.2-2
gcc version: 2.96
목차
설정이 제대로 되었나?
Proxy 생성
Hello World 1
Hello World 2
Hello World 3
Hello World 4
파일 전송
MPICH-G2를 사용해보자.
참고문서
——————————————————————————–
설정이 제대로 되었나? [[목차]]
각 자원이 제대로 사용할 수 있는지 알기 위해서 다음과 같은 명령어를 사용해 본다.
$ globusrun -a -r localhost
$ globusrun -a -r sdd113.hpcnet.ne.kr
localhost에 대해서 다음과 같은 에러가 발생할것이다.
globusrun: Error initializing GRAM: authentication with the remote server failed
인증을 받아서 사용할려면 다음과 같이 Proxy를 만들어야 한다.
(참고로 1.1.x와는 달리 globus-setup-test가 없다.)
Proxy 생성 [[목차]]
Globus를 시작 할때마다 사용자는 Proxy를 먼저 만들어야 한다.
$ grid-proxy-init
Your identity: /O=Grid/O=Globus/OU=hpcnet.ne.kr/CN=globus at sdd47
Enter GRID pass phrase for this identity:
Creating proxy ………………………. Done
Your proxy is valid until Mon May 27 21:07:38 2002
Proxy는 필요할때 Globus에 대한 certificate를 제공한다.
사용자는 한번 Proxy를 만들면 더이상 암호를 입력할 필요가 없다.
하지만 이 Proxy는 정해진 시간에만 유효하다. 기본적으로 12시간을 주고
-hours 옵션을 사용해서 시간을 재조정할 수 있다.
(참고로 1.1.x 버전과는 약간 다른 화면표시를 볼수 있다.)
$ grid-proxy-info -all
subject : /O=Grid/O=Globus/OU=hpcnet.ne.kr/CN=gfk/CN=proxy
issuer : /O=Grid/O=Globus/OU=hpcnet.ne.kr/CN=gfk
type : full
strength : 512 bits
timeleft : 0:00:00
Proxy가 얼마나 유효한지에 대한 정보를 알수 있는 명령어이다.
-all 옵션을 사용해서 유효한 시간 뿐아니라 다른 정보에 대해서 알수 있다.
grid-proxy-destory
grid-proxy-init를 통해 만들어진 Proxy를 소멸 시키는 명령어이다.
/tmp/x509up_u[userid] 형태로 생성이 된 Proxy 파일을 제거시키게 된다.
$ globusrun -a -r localhost
GRAM Authentication test successful
위와 같은 메세지를 받았으면 이제 그리드를 이용해보자.
Hello World 1 [[목차]]
job을 실행하기 위해서 두가지 방법이 있다.
첫번째 방법은 globus-job-run을 사용해서 결과를 바로 얻는 것이다.
문법 :
$ globus-job-run <hostname> </path/executable> <arguments>
예제:
$ globus-job-run localhost /bin/echo “Hello World”
Hello World
$ globus-job-run sdd113 /bin/echo “Hello World”
Hello World
이때 path는 실행 파일(executable)이 있는 곳의 절대 경로를 적어야 한다.
두번째 방법은 globus-job-submit을 사용(batch 작업)해서 결과를 간접적으로 얻는 방법이다.
$ globus-job-submit localhost /bin/echo “Hello World”
https://sdd47.hpcnet.ne.kr:37973/26741/1019356045/
실행을 하고 나면 위와 같은 URL주소를 나타낸다.
즉 작업에 대한 결과는 위의 URL주소를 통해 얻을 수 있다.
위의 https주소는 Globus에서 제공하는 GASS서버의 주소로서
다음과 같이 작업의 상태(진행중인지 마쳤는지)를 먼저 알아야 한다.
$ globus-job-status https://sdd47.hpcnet.ne.kr:37973/26741/1019356045/
DONE
위와 같이 작업이 마쳤는지 확인이 끝나면 이제 작업의 stdout결과를 얻어와야 한다.
$ globus-job-get-output https://sdd47.hpcnet.ne.kr:37973/26741/1019356045/
Hello World
Hello World 2 [[목차]]
Hellow World를 실행하는 shell script를 다음과 같이 만들어 보자.
$ vi hello.sh
#!/bin/sh
echo “Hello World from $1”
:wq
$ chmod +x hello.sh
위와 같이 globus-job-run을 사용해서 로컬 기계(sdd47)에서 실행 시켜보자.
$ globus-job-run localhost hello.sh globus
Hello World from globus
위의 Hello World가 성공 했다면 이것 또한 쉽게 성공할 수 있을 것이다.
이제 sdd113에서 실행을 해보자.
$ globus-job-run sdd113 hello.sh globus
GRAM Job submission failed because the executable does not exist (error code 5)
위의 Hello World 예제는 localhost와 sdd113각 기계에 /bin/echo이
설치가 되어 있어서 sdd113의 기계를 원격적으로 실행할 수 있다.
하지만 a.sh은 sdd113에 있지 않기 때문에 바로 실행이 안된다.
a.sh을 sdd113으로 옮길 수 있어야 한다. 그래서 -stage 옵션을 통해서
실행 파일인 a.sh이 원격지에 자동으로 옮겨지게 된다.
다음을 실행해보자.
$ globus-job-run sdd113 -stage hello.sh globus
Hello World from globus
다음과 같이 globus-job-submit 또한 제대로 작동한다.
$ globus-job-submit sdd113 -stage hello.sh globus
https://sdd113.hpcnet.ne.kr:57579/17837/1022458501/
$ globus-job-status https://sdd113.hpcnet.ne.kr:57579/17837/1022458501/
DONE
$ globus-job-get-output https://sdd113.hpcnet.ne.kr:57579/17837/1022458501/
Hello World from globus
Hello World 3 [[목차]]
이번에는 globusrun이라는 프로그램을 이용해서 Hello World를 호출한다.
globusrun은 Globus Resource Specification Langauge(RSL)로 작성된 스크립트를 작동시키는데 사용된다.
그러면 RSL로 만들어진 script를 하나 만들어보자.
$ vi hello.rsl
& (executable=/bin/echo)
(arguments=”Hello Globus World”)
:wq
$ globusrun -o -r sdd113 -f hello.rsl
Hello Globus World
RSL에서 executable은 실행되는 파일의 절대 경로, arguments는 인자들이다.
globusrun에서 -f 옵션를 통해서 RSL 파일을 정하고, -r 옵션을 통해서 실행되는 리소스를 정한다.
-o 옵션은 실행되는 stdout과 stderr를 로컬로 가져오는 옵션이다.
이번에는 위의 hello.sh를 RSL로 만들어 보자.
$ vi hello2.rsl
& (executable=$(GLOBUSRUN_GASS_URL) # “/home/gfk/hello.sh”)
(arguments=”globus”)
:wq
$ globusrun -s -r sdd113 -f hello2.rsl
Hello Globus World from globus
globusrun은 -s 옵션을 통해 GASS 서버를 실행시킨 다음에 GLOBUSRUN_GASS_URL 변수에
GASS 서버의 주소를 할당하게 된다. executable자체는 로컬시스템의 파일 뿐아니라 위와 같이
GASS서버의 주소까지 사용할 수 있다. 그러면 원격 자원의 HOME
directory에 hello.sh를 복사를 한뒤 실행이 이루어진다.
(실행되는 디렉토리는 directory라는 rsl문법을 통해 설정가능하다.)
다 끝나면 지우는 역할까지 globusrun에서 이루어진다.
(참고로 1.1.x에서는 -s옵션안에 -o옵션기능과 GLOBUSRUN_GASS_URL변수 할당 두가지가
모두 이루어졌지만 2.0부터는 옵션을 나누었다.)
참고 : globus-job-run은 RSL 스크립트를 만든 다음에 globusrun에 해당 스크립트를 넘겨주게 된다.
globus-job-run을 다음과 같이 -dumprsl 옵션을 사용하면 RSL을 볼 수 있다.
$ globus-job-run -dumprsl sdd113 -stage hello.sh globus
&(executable=$(GLOBUSRUN_GASS_URL) # “/home/gfk/hello.sh”)
(arguments= “globus”)
즉 -stage 옵션을 사용하면 GASS서버를 띄워서 원격지로 실행파일을 옮기게 된다.
globus-job-submit 프로그램도 RSL 스크립트를 만든 다음에 globusrun에 넘겨준다.
$ globus-job-submit -dumprsl sdd113 -stage hello.sh globus > submit.rsl
$ more submit.rsl
&(executable=$(GLOBUSRUN_GASS_URL) # “/home/globus/hello.sh”)
(arguments= “globus”)
(stdout=x-gass-cache://$(GLOBUS_GRAM_JOB_CONTACT)stdout anExtraTag)
(stderr=x-gass-cache://$(GLOBUS_GRAM_JOB_CONTACT)stderr anExtraTag)
$ globusrun -b -r sdd113 -f submit.rsl
https://sdd113.hpcnet.ne.kr:40558/31200/1019802180/
$ globus-job-status https://sdd113.hpcnet.ne.kr:40558/31200/1019802180/
DONE
$ globus-job-get-output https://sdd113.hpcnet.ne.kr:40558/31200/1019802180/
Hello Globus World from globus
stdout부분에 x-gass-cache주소로 값을 넣어주면, 프로그램이 실행하는 stdout은
x-gass-cache의 주소로 값을 넣게 된다. 뒤의 anExtraTag는 tag이름이다.
sdd113으로 가서 ~/.gass_cache/globus_gass_cache_state 파일을 확인해보자.
그리고 globus-gass-cache -list를 통해 등록이 되어 있는지 살펴보자.
이렇게 되어 있으면 globus-job-get-output는 위의 cache를 통해 값을 얻어올 수 있다.
globusrun에서 -b 옵션을 통해 batch작업이 이루어지고 GASS에 대한 URL을 얻어 온다.
만약 위의 RSL 같이 stdout을 설정하지 않으면 GASS에 대한 URL을 얻어 오더라도
stdout의 기본설정인 /dev/null로 stdout이 날아가기 때문에
globus-job-get-output을 통해서 값을 못 얻는다.
Hello World 4 [[목차]]
이번에는 localhost와 sdd113에 동시에 Hello World를 호출하는 작업을 해보자.
jobA, jobB 이렇게 두개의 script를 먼저 작성 해보자.
$ vi jobA
#!/bin/csh -f
echo “”
echo -n “Hello World A on ” ; /usr/local/globus/bin/globus-hostname
:wq
$ vi jobB
#!/bin/csh -f
echo “”
echo -n “Hello World B on ” ; /usr/local/globus/bin/globus-hostname
:wq
$ chmod +x jobA jobB
jobA는 localhost에 jobB는 sdd113에 호출을 하기로 한다.
$ globus-job-run -: localhost ./jobA -: sdd113 -stage ./jobB
Hello World A on sdd47.hpcnet.ne.kr
Hello World A on sdd113.hpcnet.ne.kr
-: delimiter를 통해서 각 subjob들을 동시에 요청할 수 있게 된다.
파일 전송 [[목차]]
1.1.x에서 파일 전송을 위한 방법으로 Globus Access to Secondary Storage(GASS)을 사용했다.
2.0에서도 마찬가지로 GASS를 이용해서 원격지와 로컬의 데이터에 대한
쉬운 접근과 사용을 위한 프로그램과 C API를 제공한다.
하지만 여기에 덧붙여 GridFTP가 추가가 되었다.
(globus-rcp가 없어지고 GridFTP관련 유틸리티인 gsincftp를 사용할 수 있게 되었다.)
globus-gass-server
원격의 클라이언트에게 자원을 사용하고 있는 파일들을 사용할 수 있게 한다.
localhost(sdd47)에서 실행을 해보자.
$ globus-gass-server -t -u -r -w -c -o -e &
https://sdd47.hpcnet.ne.kr:38563
위와 같이 URL주소를 출력한다. 사용자는 위의 주소를 사용해서 자원을 얻게 된다.
https://hostname:port/~/file : a file from your home directory
https://hostname:port/./file : a file from the directory in which the globus-gass-server is running
https://hostname:port/tmp/file : a file with an absolute path
하지만 실제로 사용자가 서버를 띄우는 일보단 globus의 각 프로그램들이
자동으로 띄우는 일이 많다. 사용자가 서버를 수동으로 띄우는 경우에는
RSL 파일에서 $(GLOBUSRUN_GASS_URL) 대신 위의 주소를 직접 사용해야 된다.
즉 Hello World 3의 hello2.rsl을 다음과 같이 바꿀 수 있다.
$ more hello2.rsl
& (executable=”https://sdd47.hpcnet.ne.kr:38563/home/gfk/hello.sh”)
(arguments=”globus”)
참고 : globus-gass-server 옵션 중에서 -c는 붙이는게 좋다. 그래야, globus-gass-server-shutdown을 이용해서
GASS 서버가 중지될 수 있다. -c를 붙이지 않는 경우에는 kill을 이용해서
강제적으로 중지시켜야 한다.
만약, 위의 globus-rcp hello.sh sdd113:/home/globus/hello.sh 처럼 sdd47에서 sdd113의
GASS 서버를 이용하고 싶을때는 telnet sdd113으로 들어가서 globus-gass-server를 명령하면 안된다.
다음과 같이 globus-job-run을 이용해서 sdd47에서 실행해주어야 globus-url-copy를 이용할 수 있다.
$ globus-job-run sdd113 /usr/local/globus/tools/i686-pc-linux-gnu/bin/globus-gass-server -t -u -r -w -c -o -e &
https://sdd113.hpcnet.ne.kr:38563
sdd47에서 띄운 sdd113에 띄운 globus-gass-server를 멈추게 하기
위해선 다음과 같이 globus-gass-server-shutdown 스크립트를 이용해서
할수 있다.
$ globus-job-run sdd113 /usr/local/globus/tools/i686-pc-linux-gnu/bin/globus-gass-server-shutdown https://sdd113.hpcnet.ne.kr:38563
globus-url-copy
GASS 서버나 http, https, gsiftp, 로컬 파일 시스템으로 부터 자원을 접근해서 서로간에
파일을 옮기는 일을 한다.
$ more /home/globus/a.txt
hello
$ globus-url-copy https://sdd113.hpcnet.ne.kr:38563/home/globus/a.txt file:/tmp/a.txt
$ more /tmp/a.txt
hello
$ globus-url-copy gsiftp://sdd113.hpcnet.ne.kr/home/globus/a.txt file:/tmp/b.txt
$ more /tmp/b.txt
hello
파일에 대한 주소는 다음과 같은 문법으로 나타낸다. ~는 사용할 수 없다.
fullpath는 절대 주소이어야 되고 상대 주소는 사용이 안된다.
file:fullpath
예제) file:/home/globus/hello.sh
위와 같이 GASS 서버를 원격에서 사용자가 띄운후에 URL주소를 사용해서 하는 것보단
아래와 같이 globusrun을 이용해서 globus-gass-server를 자동으로 띄우는게 편하다.
sdd47(localhost)에서 sdd113의 파일을 가져와 보자.
$ hostname
sdd47.hpcnet.ne.kr
$ vi a.rsl
&(executable=”/usr/local/globus/tools/i686-pc-linux-gnu/bin/globus-url-copy”)
(arguments=”file:/home/globus/a.txt” $(GLOBUSRUN_GASS_URL)/tmp/a.txt)
$ globusrun -s -r sdd113 -f a.rsl
참고 : 로컬에 있는 hello.sh를 sdd113의 /home/globus/hello.sh에 globus-url-copy를 이용해서 복사해보자.
먼저, GASS 서버를 sdd113에 띄워서 복사하는 방법이다.
$ hostname
sdd47.hpcnet.ne.kr
$ pwd
/home/globus
$ globus-job-run sdd113 /usr/local/globus/tools/i686-pc-linux-gnu/bin/globus-gass-server -t -u -r -w -c -o -e &
https://sdd113.hpcnet.ne.kr:38563
$ globus-url-copy file:/home/globus/hello.sh https://sdd113.hpcnet.ne.kr:38563/home/globus/hello.sh
$ globus-job-run sdd113 /usr/local/globus/tools/i686-pc-linux-gnu/bin/globus-gass-server-shutdown \\
https://sdd113.hpcnet.ne.kr:38563
다음은 GridFTP를 이용해서 복사하는 방법이다.
$ hostname
sdd47.hpcnet.ne.kr
$ pwd
/home/globus
$ globus-url-copy file:/home/globus/hello.sh gsiftp://sdd113.hpcnet.ne.kr/home/globus/hello.sh
gsincftp, gsincftpget, gsincftpput
globus-rcp가 없어진 대신에 gsincftp관련 툴을 사용할 수 있게 되었다.
(gsincftp 클라이언트 설치법은 gridtest홈페이지에 있는 globus2.0설치법을 참고하기 바란다.)
로컬의 현재 디렉토리에 있는 hello.sh를 sdd113의 /home/globus/hello.sh로 복사해보자.
# gsincftpput remote-host remote-dir local-files …
$ gsincftpput sdd113.hpcnet.ne.kr /home/globus hello.sh
or
$ gsincftp sdd113.hpcnet.ne.kr
NcFTP 3.0.3 (April 15, 2001) by Mike Gleason (ncftp@ncftp.com).
Connecting to 150.183.234.113…
sdd107.hpcnet.ne.kr FTP server (GridFTP Server 1.0 [GSI patch v0.5] wu-2.6.1(2) Wed May 15 16:28:10 KST 2002) ready.
Logging in…
User globus logged in.
Logged in to sdd113.
ncftp /home/globus > put hello.sh
sdd113의 /home/globus/hello.sh를 로컬의 현재 디렉토리로 복사해보자.
$ rm hello.sh
# gsincftpget remote-host local-dir remote-path-names…
$ gsincftpget sdd113.hpcnet.ne.kr . /home/globus/hello.sh
or
$ gsincftp sdd113.hpcnet.ne.kr
NcFTP 3.0.3 (April 15, 2001) by Mike Gleason (ncftp@ncftp.com).
Connecting to 150.183.234.113…
sdd107.hpcnet.ne.kr FTP server (GridFTP Server 1.0 [GSI patch v0.5] wu-2.6.1(2) Wed May 15 16:28:10 KST 2002) ready.
Logging in…
User globus logged in.
Logged in to sdd113.
ncftp /home/globus > get hello.sh
MPICH-G2를 사용해보자. [[목차]]
두개의 머신(sdd47, sdd113)에 대해서 응답을 주고 받는 간단한 mpi프로그램을 가지고 테스트를 해보자.
참고문서 [[목차]]
1. Globus Toolkit 1.1.3 System Administration Guide, Dec. 2000
2. Globus Quick Start Guide for 1.1.3 and 1.1.4 June 2001
3. Mailing list discuss@globus.org
(http://www-unix.globus.org/mail_archive/discuss/threads.html)
