[클러스터] Globus 2.0 설치
Globus 2.0 설치
작성자: 명훈주 (hjmyung@hpcnet.ne.kr)
수정자: 권오경 (okkwon@kisti.re.kr)
수정자: 안준언 (rocahn@hpcnet.ne.kr)
최종 수정 날짜: 2002-05-31
수정내용 : binary버전 설치 포함 및 내용 추가
이 문서는 Globus 툴킷을 리눅스 PC에 설치하는 방법을 설명한다.
RedHat Linux 7.3(Linux 커널 버젼은 2.4.18-3)을 기준으로 설명하였으며,
Linux 표준 쉘인 bash 쉘을 이용한다고 가정하였다.
‘#’는 root 프롬프트를 의미하고, ‘$’는 사용자 프롬프트를 의미한다.
globus version: 2.0
example hostname: sdd125.hpcnet.ne.kr
OS: RedHat 7.3
kernel version: 2.4.18-3
gcc version: 2.96
목차
다운로드 받기
Globus를 위한 사용자 계정 만들기
설치전에 점검해야 할 사항
Globus 설치
성공적인 설치 여부 확인
gatekeeper를 서비스로 등록하기
Grid Ftp 서버를 서비스로 등록하기
Grid ncftp client를 설치하자.
MDS 설정 (GRIS 설정)
Common Error
——————————————————————————–
다운로드 받기 [[목차]] Globus Toolkit 2.0은 다음 주소에서 다운로드 받을 수 있다.
http://www.globus.org/gt2/install/download.html
Globus Toolkit 2.0 부터는 Grid Packaging Toolkit을 이용해 쉽게 설치할 수 있다.
위의 주소로부터 Grid Packaging Toolkit 과 Source를 다운로드 받도록 한다.
(Binary로도 설치가 가능하나, 여기서는 Source로 설치하는 방법을 설명한다.
binary설치는 4번을 제외하고 같다. 설치법은 binary 버전 설치를 참조한다.)
Globus를 위한 계정 만들기 [[목차]]
globus라는 사용자를 추가한다.
# /usr/sbin/adduser globus
globus의 초기 비밀번호를 설정
# passwd globus
globus 설치 디렉토리를 만들고 globus가 사용할 수 있게 권한을 변경한다.
# mkdir /usr/local/globus
# chown globus.globus /usr/local/globus
설치전에 점검해야 할 사항[[목차]]
perl이 설치되어 있는지 확인: 버전 5.005이상이 설치되어 있어야 한다.
/etc/hosts 에 호스트의 이름이 등록되어 있는지 확인한다.
# vi /etc/hosts
111.222.333.444 hostname.your_full_domain_name
111.222.333.445 sdd125.hpcnet.ne.kr
globusrun을 실행할 때 이 파일을 참조하여 ip 주소를 host name으로 바꾸어 준다.
hostname 이 FQDN(Fully-Qualified Domain Name)으로 설정되어 있는지 확인한다.
다음 과정에서 globus-install이 실행되면서 hostname을 읽어 사용하기 때문이다.
# hostname
sdd125.hpcnet.ne.kr
/etc/sysconfig/network 파일을 열어서 hostname이 FQDN(Fully-Qualified Domain Name)으로
설정되어 있는지 확인한다.
# more /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=sdd125.hpcnet.ne.kr
GATEWAY=111.222.333.1
설치 [[목차]]
globus 툴킷의 설치는 globus 계정으로 한다.
# su globus압축을 해제할 디렉토리로 이동 (globus의 홈디렉토리)
$ cd /home/globus다음과 같은 환경변수를 설정한다.
$ export GLOBUS_LOCATION=/usr/local/globus
Globus 패키지 툴을 설치한다.
$ tar zxvf gpt-1.0.tar.gz
$ cd gpt-1.0
$ ./build_gpt기존에는 /usr/local/globus, /opt/globus와 같이 설치와 배포를 다른 디렉토리에 했지만,
2.0부턴 $GLOBUS_LOCATION하나의 설정 디렉토리에 설치한다.
다음 명령 형식을 이용하여 Globus Toolkit의 번들 파일들을 설치한다.
$ /usr/local/globus/sbin/globus-build -install-only \\
bundle options flavors
위 명령에서 이탤릭체로 된 부분을 다음과 같이 대체해서 사용하면 된다.
BUNDLE OPTIONS FLAVORS Data Management Client gcc32dbg Data Management SDK gcc32dbg Data Management Server -static=1 gcc32dbg Information Services Client gcc32dbgpthr Information Services SDK gcc32dbgpthr Information Services Server gcc32dbgpthr Resource Management Client gcc32dbg Resource Management SDK gcc32dbg Resource Management Server -static=1 gcc32dbg
Data Management Client 번들 설치
$ /usr/local/globus/sbin/globus-build -install-only \\
globus_data_management_bundle-client-src.tar.gz gcc32dbg
Data Management SDK 번들 설치
$ /usr/local/globus/sbin/globus-build -install-only \\
globus_data_management_bundle-sdk-src.tar.gz gcc32dbg
Data Management Server 번들 설치
$ /usr/local/globus/sbin/globus-build -install-only \\
globus_data_management_bundle-server-src.tar.gz -static=1 gcc32dbg
Information Services Client 번들 설치
$ /usr/local/globus/sbin/globus-build -install-only \\
globus_information_services_bundle-client-src.tar.gz gcc32dbgpthr
Information Services SDK 번들 설치
$ /usr/local/globus/sbin/globus-build -install-only \\
globus_information_services_bundle-sdk-src.tar.gz gcc32dbgpthr
Information Services Server 번들 설치
$ /usr/local/globus/sbin/globus-build -install-only \\
globus_information_services_bundle-server-src.tar.gz gcc32dbgpthr
Resource Management Client 번들 설치
$ /usr/local/globus/sbin/globus-build -install-only \\
globus_resource_management_bundle-client-src.tar.gz gcc32dbg
Resource Management SDK 번들 설치
$ /usr/local/globus/sbin/globus-build -install-only \\
globus_resource_management_bundle-sdk-src.tar.gz gcc32dbg
Resource Management Server 번들 설치
$ /usr/local/globus/sbin/globus-build -install-only \\
globus_resource_management_bundle-server-src.tar.gz -static=1 gcc32dbg
globus-build뒤의 설정을 한다.
$ /usr/local/globus/sbin/gpt-postinstall
Creating new ./globus-postinstall-1021614803.sh . . .
globus_gram_job_manager_setup_pgm requires globus_common_setup to be set up
globus_gram_job_manager_setup_pgm requires globus_gatekeeper_setup to be set up
globus_gram_job_manager_setup_pgm requires globus_core_setup to be set up
globus_gram_reporter_setup_pgm requires globus_common_setup to be set up
globus_gram_reporter_setup_pgm requires globus_core_setup to be set up
globus_gram_reporter_setup_pgm requires globus_mds_gris_setup to be set up
creating globus-script-initializer
creating globus-sh-tools.sh
creating globus-makefile-header
Done
(생략)GSI 소프트웨어의 setup을 위해 수퍼 유저의 권한을 얻어 다음 명령을 실행시킨다.
# /usr/local/globus/setup/globus/setup-gsiglobus package 설치가 제대로 되었는지 확인한다.
$ /usr/local/globus/sbin/gpt_verify
globus_gram_job_manager_pgm requires globus_gram_job_manager_setup to be set up
globus_gram_job_manager_pgm_static requires globus_gram_job_manager_setup to be set up
globus_gram_reporter_pgm requires globus_gram_reporter_setup to be set up
globus_gram_reporter_pgm_static requires globus_gram_reporter_setup to be set up
You have a coherent development tree
No packages are missing from your install tree
위의 메시지대로 setup한다.
$ /usr/local/globus/setup/globus/setup-globus-gram-job-manager
$ /usr/local/globus/setup/globus/setup-globus-gram-reporter
다시한번 다음 명령을 수행한다.
$ /usr/local/globus/sbin/gpt_verify
You have a coherent development tree
No packages are missing from your install tree
이 명령의 결과로 위와 같은 메시지가 나오면 설치과정은 끝난다.
성공적인 설치 여부 확인 [[목차]]
사용자 계정에 환경 설정
사용자 계정에 대해서 다음과 같이 환경 설정을 한다.
globus가 사용자이고 shell을 bashrc를 사용한다고 가정하자.
$ vi ~globus/.bashrc
…
export GLOBUS_LOCATION=/usr/local/globus
. $GLOBUS_LOCATION/etc/globus-user-env.sh
…
$ source ~globus/.bashrc인증서 얻기
유저 인증서 요청하기
$ /usr/local/globus/bin/grid-cert-request -cn <name>
이 결과로 ~/.globus/usercert_request.pem을 얻을 수 있고,
http://gridtest.hpcnet.ne.kr/GridCA/ 접속하여 인증서 발급을 요청한다.
인증서를 얻게 되면 ~/.globus/usercert.pem 으로 저장한다.
host에 대한 gatekeeper 인증서 요청하기
슈퍼 유저의 권한을 얻어 다음 명령을 실행한다.
# /usr/local/globus/bin/grid-cert-request -gatekeeper sdd125.hpcnet.ne.kr \\
-key /etc/grid-security/hostkey.pem \\
-cert /etc/grid-security/hostcert.pem \\
-req /etc/grid-security/host.req
마찬가지로 host.req 파일을 가지고
http://gridtest.hpcnet.ne.kr/GridCA/ 접속하여 인증서 발급을 요청한다.
인증서를 얻게 되면 /etc/grid-security/hostcert.pem으로 저장한다.
CA의 인증서 설치하기
http://gridtest.hpcnet.ne.kr/GridCA/ 접속해서 메뉴의
‘List of Certificates’링크를 클릭하여 데이터베이스에 들어 있는
인증서의 목록을 확인한다.
CA의 인증서의 Subject와 일치되는 항목을 찾아서 Subject를 클릭하면
CA의 인증서에 대한 정보가 표시된다. ‘Certificate’ 부분을 복사하여서
/etc/grid-security/certificates 디렉토리에 예를 들어 temp.pem 이라는
임시 화일명으로 저장한다.
쉘 프롬프트 상에서 인증서의 hash 코드를 생성하기 위해서 다음 명령을 사용한다.
# /usr/local/globus/bin/openssl x509 -hash -in temp.pem -noout
82da68f0
temp.pem 화일명을 위에 출력된 헤쉬코드를 이용하여 hashcode.0 형태로 변경한다.
# mv temp.pem 82da68f0.0/etc/grid-security/certificates/ 디렉토리안에
hashcode.signing-policy 파일형태로 다음과 같은 내용을 추가한다.
# vi 82da68f0.signing_policy
# EACL entry #1
access_id_CA X509 ‘/C=KR/O=Globus/CN=KISTI Supercomputing Center CA’
pos_rights globus CA:sign
cond_subjects globus ‘”/C=KR/O=Globus/*” “/O=Grid/O=Globus/*”‘
참고 : 기존에 gatekeeper 인증을 받은 것이 있다면 다시 받지 않고 그대로 사용할수 있다. 기존 인증관련 파일
$GLOBUS_INSTALL_PATH/etc/밑에 globus_gatekeeper.cert, globus_gatekeeper.key, globus_gatekeeper.request파일을 백업 받는다.
각각의 파일을 (순서대로) /etc/grid-security/밑에 hostcert.pem, hostkey.pem, host.req로 복사하여 사용하면 된다.
(CA인증서도 마찬가지로 복사하여 사용하면 된다-기존CA일경우- 단 signing_policy 파일명이 변경되었으므로 주의한다.)
테스트
다음 명령을 실행하여 gatekeeper를 띄운다.
$ /usr/local/globus/bin/grid-proxy-init
$ /usr/local/globus/bin/globus-personal-gatekeeper -start
GRAM contact: sdd125.hpcnet.ne.kr:32915:/O=Grid/O=Globus/OU=hpcnet.ne.kr/CN=globus at sdd125
다음 명령을 수행하여 정상적인 결과가 나오는지 확인한다.
$ /usr/local/globus/bin/globusrun -o -r \\
“sdd125.hpcnet.ne.kr:32915:/O=Grid/O=Globus/OU=hpcnet.ne.kr/CN=globus at sdd125” \\
‘&(executable=/bin/date)’
이 명령의 결과로 유닉스의 date명령의 결과가 나오면 성공한 것이다.
여기까지 되었다면, 다음 명령을 통해서 gatekeeper를 중지하고 proxy를 제거한다.
$ /usr/local/globus/bin/globus-personal-gatekeeper -killall
$ /usr/local/globus/bin/grid-proxy-destroy
gatekeeper를 서비스로 등록하기 [[목차]]
/etc/services 파일에 다음과 같이 추가한다.
globus-gatekeeper 2119/tcp # Globus Gatekeeper
host에서 inetd 혹은 xinetd 데몬이 동작하고 있는지에 따라서 설정 또한 달라진다.
여기서는 xinetd이 동작하고 있다고 가정하고, 이에 따른 설정방법을 설명한다.
inetd의 경우에는 www.globus.org에서 설치 가이드를 참조바란다.
/etc/xinetd.d/ 디렉토리 안에 “globus-gatekeeper”라는 파일을 만들고
다음과 같은 내용을 첨가한다.
service globus-gatekeeper
{
socket_type = stream
protocol = tcp
wait = no
user = root
server = /usr/local/globus/sbin/globus-gatekeeper
server_args = -conf /usr/local/globus/etc/globus-gatekeeper.conf
disable = no
}
xinetd을 재구동한다.
# /etc/rc.d/init.d/xinetd restart
/etc/grid-security/grid-mapfile에 인증서의 subject와 그에 대응되는
username을 추가해야 한다. 다음 명령을 통해서 이 작업이 이루어질 수 있다.
$ grid-cert-info -subject
O=Grid/O=Globus/OU=hpcnet.ne.kr/CN=globus at sdd125
$ whoami
globus
위의 결과를 가지고 /etc/grid-security/grid-mapfile에 추가한다.
“/O=Grid/O=Globus/OU=hpcnet.ne.kr/CN=globus at sdd125” globus
위의 작업의 결과로 정상적으로 동작하는지 확인한다.
$ grid-proxy-init
$ globusrun -o -r localhost ‘&(executable=/bin/date)’
Grid Ftp 서버를 서비스로 등록하기 [[목차]]
2.0에서는 Grid Ftp 서비스가 추가 되었다. 서버를 등록 해서 서비스를 해보자.
/etc/services 파일에 다음과 같이 추가한다.
gridftp 2811/tcp
/etc/xinetd.d/ 디렉토리 안에 “grid-ftp”라는 파일을 만들고
다음과 같은 내용을 첨가한다.
service gridftp
{
instances = 1000
socket_type = stream
wait = no
user = root
server = /usr/local/globus/sbin/in.ftpd
server_args = -l -a -G /usr/local/globus
log_on_success += DURATION USERID
log_on_failure += USERID
nice = 10
disable = no
}
xinetd을 재구동한다.
# /etc/rc.d/init.d/xinetd restart
제대로 동작하는지 테스트 해보자.
globus 2.0에서는 globus-url-copy프로그램에서 gsiftp 프로토콜을 지원하므로,
globus-url-copy를 통해 테스트가 가능하다.
$ more /home/globus/a.txt
hello
$ hostname
sdd125.hpcnet.ne.kr
$ globus-url-copy gsiftp://sdd125.hpcnet.ne.kr/home/globus/a.txt file:///tmp/a.txt
$ more /tmp/a.txt
hello
Grid ncftp client를 설치하자. [[목차]]
grid-ftp에 나와있는 것을 구현한 것이 아니라, GSI부분만 추가한 gsincftp client를 설치하자.
source를 다운받아서 설치하자.
$ wget http://www-unix.globus.org/ftppub/gt2/2.0/contrib/globus_gsincftp-0.2.tar.gz
$ globus-build globus_gsincftp-0.2.tar.gz gcc32dbg
UNPACKING /home/globus/globus_gsincftp-0.2.tar.gz
BUILDING PACKAGE globus_gsincftp
BUILDING FLAVOR gcc32dbg
make: *** No rule to make target `distclean’. Stop.
configure: warning: the following check may take several minutes if networking is not up.
You may want to bring it up now and restart configure, otherwise please be patient.
make[1]: [all] Error 1 (ignored)
make[1]: [all] Error 1 (ignored)
make[1]: [all] Error 1 (ignored)
make[1]: [all] Error 1 (ignored)
make[1]: [all] Error 1 (ignored)
make[1]: [all] Error 1 (ignored)
make[1]: [all] Error 1 (ignored)
make: [install] Error 1 (ignored)
CREATING PACKAGES FOR globus_gsincftp-gcc32dbg…pgm DONE
CREATING PACKAGES FOR globus_gsincftp-noflavor…DONE
제대로 작동하는지 테스트 해보자.
$ gsincftp localhost
NcFTP 3.0.3 (April 15, 2001) by Mike Gleason (ncftp@ncftp.com).
Connecting to 127.0.0.1…
sdd45.hpcnet.ne.kr FTP server (GridFTP Server 1.0 [GSI patch v0.5] wu-2.6.1(2) W
ed May 15 19:23:46 KST 2002) ready.
Logging in…
User globus logged in.
Logged in to localhost.
ncftp /home/globus >
MDS 설정 (GRIS 설정) [[목차]]
여기서는 GRIS를 설정하고 GIIS 서버에 등록하는 방법을 설명한다. GIIS 서버는
giis.hpcnet.ne.kr라고 가정한다.
globus의 일반적인 설정 파일들은 $GLOBUS_LOCATION/etc 디렉토리에 존재한다.
이 디렉토리로 이동하여 다음과 같은 파일을 편집하도록 한다.
$ cd /usr/local/globus/etc/
$ vi grid-info-slapd.conf
…
#(GRIS설정이므로 GIIS관련 설정부분을 모두 주석처리 한다.)
# database giis
# suffix “Mds-Vo-name=site, o=Grid”
# conf /usr/local/globus/etc/grid-info-site-giis.conf
# policyfile /usr/local/globus/etc/grid-info-site-policy.conf
# anonymousbind yes
# access to * by * write
modulepath항목이 다음과 같이 설정되어 있는지 확인한다.
modulepath /usr/local/globus/libexec/openldap/gcc32dbgpthr
GIIS서버의 Mds-Vo-name이 kisti-mds라고 했을때, 다음과 같이 수정한다.
$ vi grid-info-resource-register.conf
…
dn: Mds-Vo-Op-name=register, Mds-Vo-name=kisti-mds, o=grid
…
reghn: sdd125.hpcnet.ne.kr
…
MDS 서비스를 위한 서버 인증서를 만든다.
$ grid-cert-request -cn “ldap/sdd125.hpcnet.ne.kr” \\
-cert /usr/local/globus/etc/server.cert \\
-key /usr/local/globus/etc/server.key \\
-req /usr/local/globus/etc/server.request -nopw \\
-dir /usr/local/globus/etc
server.request파일을 가지고 http://gridtest.hpcnet.ne.kr/GridCA/에
인증서 발급을 요청하고 server.cert에 저장한다.
GRIS 서비스를 가동한다.
$ /usr/local/globus/sbin/SXXgris start
다음 명령을 이용해서 테스트 해보자.
$ /usr/local/globus/bin/grid-info-search -x
Common Error [[목차]]
GRAM Job submission failed because the connection to the server failed (check host and port) (error code 12)
문제점
– Unable to contact gatekeeper. Is the gatekeeper running?
– Host not reachable? Can you ping it?
– Running on a non-standard port?
– Check $GLOBUS_LOCATION/var/globus-gatekeeper.log
해결책
– Add gatekeeper to services, /etc/rc.d/init.d/xinetd restart
– Include a contact string if non-standard port
– Build static if dying on startup with “library not found”
– Install gatekeeper certificate or fix key permissions
Error loading shared library
문제점
– LD_LIBRARY_PATH not set
해결책
– (csh) source $GLOBUS_LOCATION/etc/globus-user-env.csh
– (sh) . $GLOBUS_LOCATION/etc/globus-user-env.sh
GRAM Job submission failed because authentication with the remote server failed (error code 7)
문제점
– globus-gatekeeper.log: Authenticated globus user: /O=Grid/O=Globus/OU=mcs.anl.gov/CN=Charles Bacon
– Failure: globus_gss_assist_gridmap() failed authorization. rc = 1
해결책
– Add to grid-mapfile – Check ‘grid-cert-info -subject’ and ‘id’
gram_init failure:
Problem with local credentials
no proxy credentials: run grid-proxy-init or wgpi first
문제점
– No proxy/expired proxy
해결책
– Run grid-proxy-init (wgpi = Windows grid-proxy-init)
GRAM Job submission failed because the job manager failed to open stdout (error code 73)
문제점
– Other machine cannot open a connection back to the client
– Bad result from globus-hostname?
– Error in .globus/.gass_cache on remote machine? (rare!)
해결책
– Edit /etc/hosts or set $GLOBUS_HOSTNAME
– NFS trouble with ~/.globus on remote server?
GRAM Job submission failed because the provided RSL string includes variables that could not be identified (error code 39)
문제점
– Globus-job-get-output from a 2.0 client to a 1.1.x gatekeeper
해결책
– globus-job-get-output sets GLOBUS_LOCATION, use globus-job-run instead of globus-job-submit
