[클러스터] 그리드 관련 MDS 2.2 설정하기

MDS 2.2 설정

작성자: 임민열 (mylim@grid.supercomputing.re.kr)

최종 수정 날짜: 2002-08-02

이 문서는 Globus toolkit을 설치한 후 Metacomputing Directory Service(MDS)를 설정하는 방법에 대해 기술한다.

RedHat Linux 7.3(Linux 커널 버젼은 2.4.18-3)을 기준으로 설명하였으며,

Linux 표준 쉘인 bash 쉘을 이용한다고 가정하였다.

‘#’는 root 프롬프트를 의미하고, ‘$’는 사용자 프롬프트를 의미한다.

Globus version: 2.0

MDS version: 2.2

Globus 설치 디렉토리: /usr/local/globus

목차

MDS 2.2에 추가된 기능

기존의 MDS 2.1을 지우기

MDS 2.2을 설치하기

MDS를 위한 certificate 설정하기

Hierarchical GIIS 구성하기

MDS 서버 실행하기

MDS 서버 테스트하기

MDS 로깅 서비스

——————————————————————————–

MDS 2.2에 추가된 기능  [[목차]]

  MDS 2.2는 기본적으로 MDS 2.1과 많은 변화는 없다. 몇가지 편리한 기능들이 추가되었고, 보안성을 향상 시켰다.

  자세한 내용은 다음을 참고한다.

  http://www.globus.org/mds/NewFeatures.html

  

  Expanded debugging capabilities

  GIIS registration status checking

  : GIIS 서비스에 현재 등록된 정보를 grid-info-search의 giisregistrationstatus 옵션을 가지고 체크할 수 있다.

  Improved diagnostics and logging

  : OpenLDAP과 GIIS/GRIS back end message들을 로깅하기 위해 Unix syslog 데몬을 사용한다.

  MDS system configuration information provider

  : MDS system configuration 정보를 제공하는 provider를 새로 포함한다.

  GridFTP logfile information provider

  : GridFTP로부터의 performance information을 MDS를 통해 제공할 수 있도록 한다.  

  Mutual authentication in a GIIS hierarchy

  : GIIS와 GRIS사이 또는 GIIS와 GIIS사이에 상호 인증을 통해 데이타를 주고 받을 수 있도록 한다.

  즉, 잘못된 서버와의 연결로 인해 문제가 발생하지 않도록 registration message를 인증 과정을 거쳐 보낼 수 있게 된다.

  이를 위해, grid-info-resource-register.conf 화일에 bindmethod라는 속성이 추가되었다.

  여기에는 다음 3개의 값이 들어갈 수 있다.

  AUTHC-ONLY(인증을 통한 전달), AUTHC-FIRST(인증을 먼저 시도, 안되면 익명으로 전달), ANONUM-ONLY(익명으로 전달)

  Newer version of OpenLDAP

  : OpenLDAP의 2.0.25버전을 사용하여 MDS 서비스를 제공한다.

  Base schema changes (GLUE) in support of clustering, and provider updates

  : 상호호환성을 위한 GLUE(Grid Laboratory Uniform Environment)의 스키마를 제공한다.

  New core information providers

  : Tru64, AIX 운영체제를 위한 새로운 core GRIS information provider를 제공한다.

  New start and stop commands

  : SXXgris 명령어를 globus-mds 명령어로 바꾸었다.

  New location for LDAP server certificate and key

  : LDAP 서버의 certificate와 key 화일을 $GLOBUS_LOCATION/etc/grid-security/ldap/ 디렉토리에 유지한다.

  New command syntax to request LDAP server certificate

  : LDAP 서버의 certificate를 위한 request 화일을 요청하기 위한 명령어가 grid-cert-request -service ldap 으로 바뀌었다.  

  Adjusted default timings for GRIS providers  

  : Caching capabilities를 극대화하기 위해 GRIS의 information provider들의 default timing을 조정하였다.

  

기존의 MDS 2.1을 지우기  [[목차]]

  현재 GPT에서는 globus-uninstall이라는 명령어를 제공하기는 하지만 설치된 번들을 한번에 제공하는 기능을 제공하지 않는다.

  또한, 현재 MDS 2.1위에 MDS 2.2를 다시 설치할 수 없다. 그러므로 Globus를 새로 설치해야 한다.

MDS 2.2를 설치하기  [[목차]]

  Globus 2.0 설치 가이드에 있는 방법대로 설치한다. 즉, MDS 2.2를 위한 Client, SDK, Server 소스 번들을 먼저 다운받은 뒤,

  globus-build 명령어를 사용하여 설치한다.

  

  Globus 2.0 설치 가이드는 다음을 참고한다.

  http://gridtest.gridcenter.or.kr

MDS를 위한 certificate 설정하기  [[목차]]

  MDS 2.1부터 사용자가 MDS로부터 자원 정보를 얻기 전에 상호 인증을 할 수 있도록 제공한다.

  또한, MDS 2.2부터는 GIIS와 GRIS사이 또는 GIIS와 GIIS사이에 상호 인증을 통한 데이타 전송이 가능하도록 지원한다.

  MDS server certificate를 생성한다.

  생성되는 화일들에 대한 디폴트 위치는 /etc/grid-security/ldap/ 이며,

  /usr/local/globus/etc/grid-info-server-env.conf 화일에 설정되어 있다.

  # grid-cert-request -service ldap -host “ngrid-mds.gridcenter.or.kr”

  

  

  certficate를 생성하기 위한 private key와 request화일이 생성되었는지 확인한다.

  % ls -al /etc/grid-security/ldap/*

-rw-r–r–    1 root     root            0  8월  2 16:28 /etc/grid-security/ldap/ldapcert.pem

-rw-r–r–    1 root     root         1250  8월  2 16:28 /etc/grid-security/ldap/ldapcert_request.pem

-r——–    1 root     root          887  8월  2 16:28 /etc/grid-security/ldap/ldapkey.pem

%

  여기서 생성된 certificate request화일(ldapcert_request.pem)을 가지고 certificate를 요청한다.

  certificate를 요청하는 방법은 user certificate를 요청하는 방법과 동일하다.

  예를 들어, GridCA를 이용하여 인증서를 받기 위해서는 Upload a new CSR for a user를 클릭하여 request화일을 업로드하면 된다.

  CA(Certificate Authority)로부터 인증서를 받으면 server.cert라는 화일에 저장하면 된다.

Hierarchical GIIS 구성하기[[목차]]

  먼저 설정화일들에 대해 간략히 설명하면 아래와 같다.

  grid-info-resource-ldif.conf : GRIS에 메타데이타를 넘겨주는 information provider들에 대한 리스트를 포함한다.

  grid-info-resource-register.conf : GRIS가 registration message를 보내는 GIIS서버에 대한 정보를 포함한다.

  grid-info-site-giis.conf : GIIS 서버가 동작하는 방법에 대한 정보를 포함한다. 디폴트로 아무런 내용을 포함하지 않는다.

  grid-info-site-policy.conf : GIIS 서버에 대한 access control을 위한 정보를 포함한다.

  grid-info-slapd.conf : MDS 서버가 동작할 때 사용되는 LDAP 서버에 대한 설정을 포함한다.

  grid-info-deployment-comments.conf : MDS system에 관한 관리자의 comment를 포함한다.

  여기서 입력된 내용은 자원 정보의 일부로 MDS에 포함되어 진다..  

  gridftp-resource.conf : GrifFTP의 성능 정보를 MDS에 포함시키기 위해 사용되는 설정화일이다.

  호스트네임, URL, 로그화일의 위치등을 변경할 수 있다.

  

  

  일반적으로 GIIS서버를 유지하지 않을 경우, 단순히

  아래의 그림은 Hierachical GIIS의 한 예를 보여준다.

  

  

  위의 그림에 나타난 대로 4개의 호스트에 포함된 설정화일의 내용을 차례대로 살펴보자.

  일반적으로 GIIS서버를 유지하지 않을 경우, 1,2,3번 호스트의 내용은 무시하고 단순히 4번 호스트에 포함된 설정을 참고하면 된다.

  

  Host 1 :  kr-mds.gridcenter.or.kr

  grid-info-site-policy.conf

  objectclass: MdsRegistrationPolicy

policydata: (&(Mds-Service-hn=ngrid-mds.gridcenter.or.kr)(Mds-Service-port=2135))

policydata: (&(Mds-Service-hn=ngrid-mds.gridcenter.or.kr)(Mds-Service-port=2135))

  grid-info-slapd.conf

  schemacheck off

include         /usr/local/globus/etc/openldap/schema/core.schema

include         /usr/local/globus/etc/grid-info-resource.schema

include  /usr/local/globus/etc/grid-info-gram-reporter.schema

pidfile         /usr/local/globus/var/resourceslapd.pid

argsfile        /usr/local/globus/var/resourceslapd.args

modulepath      /usr/local/globus/libexec/openldap/gcc32dbgpthr

moduleload      libback_ldif.la

moduleload      libback_giis.la

# database        ldif

# suffix          “Mds-Vo-name=local, o=Grid”

# conf            /usr/local/globus/etc/grid-info-resource-ldif.conf

# anonymousbind   yes

# access to * by * write

database        giis

suffix          “Mds-Vo-name=kr-mds, o=Grid”

conf            /usr/local/globus/etc/grid-info-site-giis.conf

policyfile      /usr/local/globus/etc/grid-info-site-policy.conf

anonymousbind   yes

access to * by * write

  Host 2 :  ngrid-mds.gridcenter.or.kr

  grid-info-resource-register.conf

  dn: Mds-Vo-Op-name=register, Mds-Vo-name=kr-mds, o=grid

regtype: mdsreg2

reghn: kr-mds.gridcenter.or.kr

regport: 2135

regperiod: 600

type: ldap

hn: ngrid-mds.gridcenter.or.kr

port: 2135

rootdn: Mds-Vo-name=ngrid-mds, o=grid

ttl: 1200

timeout: 20

mode: cachedump

cachettl: 30

dn: Mds-Vo-Op-name=register, Mds-Vo-name=ngrid-mds, o=grid

regtype: mdsreg2

reghn: ngrid-mds.gridcenter.or.kr

regport: 2135

regperiod: 600

type: ldap

hn: ngrid-mds.gridcenter.or.kr

port: 2135

rootdn: Mds-Vo-name=local, o=grid

ttl: 1200

timeout: 20

mode: cachedump

cachettl: 30

  grid-info-site-policy.conf

  objectclass: MdsRegistrationPolicy

policydata: (&(Mds-Service-hn=*.gridcenter.or.kr)(Mds-Service-port=2135))

  grid-info-slapd.conf

  schemacheck off

include         /usr/local/globus/etc/openldap/schema/core.schema

include         /usr/local/globus/etc/grid-info-resource.schema

include  /usr/local/globus/etc/grid-info-gram-reporter.schema

pidfile         /usr/local/globus/var/resourceslapd.pid

argsfile        /usr/local/globus/var/resourceslapd.args

modulepath      /usr/local/globus/libexec/openldap/gcc32dbgpthr

moduleload      libback_ldif.la

moduleload      libback_giis.la

database        ldif

suffix          “Mds-Vo-name=local, o=Grid”

conf            /usr/local/globus/etc/grid-info-resource-ldif.conf

anonymousbind   yes

access to * by * write

database        giis

suffix          “Mds-Vo-name=ngrid-mds, o=Grid”

conf            /usr/local/globus/etc/grid-info-site-giis.conf

policyfile      /usr/local/globus/etc/grid-info-site-policy.conf

anonymousbind   yes

access to * by * write

  Host 3 :  ngrid-mds.gridcenter.or.kr

  grid-info-resource-register.conf

  dn: Mds-Vo-Op-name=register, Mds-Vo-name=kr-mds, o=grid

regtype: mdsreg2

reghn: kr-mds.gridcenter.or.kr

regport: 2135

regperiod: 600

type: ldap

hn: ngrid-mds.gridcenter.or.kr

port: 2135

rootdn: Mds-Vo-name=ngrid-mds, o=grid

ttl: 1200

timeout: 20

mode: cachedump

cachettl: 30

dn: Mds-Vo-Op-name=register, Mds-Vo-name=ngrid-mds, o=grid

regtype: mdsreg2

reghn: ngrid-mds.gridcenter.or.kr

regport: 2135

regperiod: 600

type: ldap

hn: ngrid-mds.gridcenter.or.kr

port: 2135

rootdn: Mds-Vo-name=local, o=grid

ttl: 1200

timeout: 20

mode: cachedump

cachettl: 30

  grid-info-site-policy.conf

  objectclass: MdsRegistrationPolicy

policydata: (&(Mds-Service-hn=*)(Mds-Service-port=2135))

  grid-info-slapd.conf

  schemacheck off

include         /usr/local/globus/etc/openldap/schema/core.schema

include         /usr/local/globus/etc/grid-info-resource.schema

include  /usr/local/globus/etc/grid-info-gram-reporter.schema

pidfile         /usr/local/globus/var/resourceslapd.pid

argsfile        /usr/local/globus/var/resourceslapd.args

modulepath      /usr/local/globus/libexec/openldap/gcc32dbgpthr

moduleload      libback_ldif.la

moduleload      libback_giis.la

database        ldif

suffix          “Mds-Vo-name=local, o=Grid”

conf            /usr/local/globus/etc/grid-info-resource-ldif.conf

anonymousbind   yes

access to * by * write

database        giis

suffix          “Mds-Vo-name=ngrid-mds, o=Grid”

conf            /usr/local/globus/etc/grid-info-site-giis.conf

policyfile      /usr/local/globus/etc/grid-info-site-policy.conf

anonymousbind   yes

access to * by * write

  Host 4 :  sdd124.hpcnet.ne.kr

  grid-info-resource-register.conf

  dn: Mds-Vo-Op-name=register, Mds-Vo-name=ngrid-mds, o=grid

regtype: mdsreg2

reghn: ngrid-mds.gridcenter.or.kr

regport: 2135

regperiod: 600

type: ldap

hn: sdd124.hpcnet.ne.kr

port: 2135

rootdn: Mds-Vo-name=local, o=grid

ttl: 1200

timeout: 20

mode: cachedump

cachettl: 30

  grid-info-slapd.conf

  schemacheck off

include         /usr/local/globus/etc/openldap/schema/core.schema

include         /usr/local/globus/etc/grid-info-resource.schema

include  /usr/local/globus/etc/grid-info-gram-reporter.schema

pidfile         /usr/local/globus/var/resourceslapd.pid

argsfile        /usr/local/globus/var/resourceslapd.args

modulepath      /usr/local/globus/libexec/openldap/gcc32dbgpthr

moduleload      libback_ldif.la

moduleload      libback_giis.la

database        ldif

suffix          “Mds-Vo-name=local, o=Grid”

conf            /usr/local/globus/etc/grid-info-resource-ldif.conf

anonymousbind   yes

access to * by * write

# database        giis

# suffix          “Mds-Vo-name=ngrid-mds, o=Grid”

# conf            /usr/local/globus/etc/grid-info-site-giis.conf

# policyfile      /usr/local/globus/etc/grid-info-site-policy.conf

# anonymousbind   yes

# access to * by * write

MDS 서버 실행하기  [[목차]]

  다음 명령을 수행한다.

  $ /usr/local/globus/sbin/globus-mds start

  Starting up Openldap 2.0 SLAPD server for the GRIS  

MDS 서버 테스트하기  [[목차]]

  MDS서버가 유지하고 있는 데이타를 텍스트 포맷(정확히 말하면, LDIF format)으로 보기 위해 다음 명령을 수행한다.

  $ grid-info-search -anonymous(혹은 -x)

  version: 2

#

# filter: (objectclass=*)

# requesting: ALL

#

# sdd124.hpcnet.ne.kr, local, grid

dn: Mds-Host-hn=sdd124.hpcnet.ne.kr,Mds-Vo-name=local,o=grid

objectClass: MdsComputer

objectClass: MdsComputerTotal

objectClass: MdsCpu

objectClass: MdsCpuCache

objectClass: MdsCpuFree

objectClass: MdsCpuSmp

objectClass: MdsCpuTotal

objectClass: MdsCpuTotalFree

objectClass: MdsFsTotal

objectClass: MdsHost

objectClass: MdsMemoryRamTotal

objectClass: MdsMemoryVmTotal

objectClass: MdsNet

objectClass: MdsNetTotal

objectClass: MdsOs

Mds-Computer-isa: IA32

Mds-Computer-Total-nodeCount: 1

Mds-Computer-platform: i686

Mds-Cpu-Cache-l2kB: 256

Mds-Cpu-Free-15minX100: 100

Mds-Cpu-Free-1minX100: 100

Mds-Cpu-Free-5minX100: 100

Mds-Cpu-Smp-size: 1

Mds-Cpu-Total-Free-15minX100: 100

Mds-Cpu-Total-Free-1minX100: 100

Mds-Cpu-Total-Free-5minX100: 100

Mds-Cpu-Total-count: 1

Mds-Cpu-features: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmo

v pat pse36 mmx fxsr sse

Mds-Cpu-model: Pentium III (Coppermine)

Mds-Cpu-speedMHz: 664

Mds-Cpu-vendor: GenuineIntel

Mds-Cpu-version: 6.8.1

Mds-Fs-Total-count: 3

Mds-Fs-Total-freeMB: 32094

Mds-Fs-Total-sizeMB: 37764

Mds-Fs-freeMB: 124

Mds-Fs-freeMB: 15930

Mds-Fs-freeMB: 16040

Mds-Fs-sizeMB: 124

Mds-Fs-sizeMB: 17955

Mds-Fs-sizeMB: 19685

Mds-Host-hn: sdd124.hpcnet.ne.kr

Mds-Memory-Ram-Total-freeMB: 51

Mds-Memory-Ram-Total-sizeMB: 248

Mds-Memory-Ram-freeMB: 51

Mds-Memory-Ram-sizeMB: 248

Mds-Memory-Vm-Total-freeMB: 1023

Mds-Memory-Vm-Total-sizeMB: 1023

Mds-Memory-Vm-freeMB: 1023

Mds-Memory-Vm-sizeMB: 1023

Mds-Net-Total-count: 2

Mds-Net-addr: 127.0.0.1

Mds-Net-addr: 150.183.234.124

Mds-Net-name: eth0

Mds-Net-name: lo

Mds-Net-netaddr: 127.0.0.0/8

Mds-Net-netaddr: 150.183.234.0/24

Mds-Os-name: Linux

Mds-Os-release: 2.4.13-1hl

Mds-keepto: 20020524062812Z

Mds-validfrom: 20020524062812Z

Mds-validto: 20020524062812Z

# processors, sdd124.hpcnet.ne.kr, local, grid

dn: Mds-Device-Group-name=processors, Mds-Host-hn=sdd124.hpcnet.ne.kr,Mds-Vo-n

ame=local,o=grid

objectClass: MdsCpu

objectClass: MdsCpuSmp

objectClass: MdsCpuTotal

objectClass: MdsCpuCache

objectClass: MdsCpuFree

objectClass: MdsCpuTotalFree

objectClass: MdsDeviceGroup

Mds-Device-Group-name: processors

Mds-validfrom: 20020524062812Z

Mds-validto: 20020524062912Z

Mds-keepto: 20020524062912Z

Mds-Cpu-Cache-l2kB: 256

Mds-Cpu-Free-15minX100: 100

Mds-Cpu-Free-1minX100: 100

Mds-Cpu-Free-5minX100: 100

Mds-Cpu-Smp-size: 1

Mds-Cpu-Total-Free-15minX100: 100

Mds-Cpu-Total-Free-1minX100: 100

Mds-Cpu-Total-Free-5minX100: 100

Mds-Cpu-Total-count: 1

Mds-Cpu-features: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmo

v pat pse36 mmx fxsr sse

Mds-Cpu-model: Pentium III (Coppermine)

Mds-Cpu-speedMHz: 664

Mds-Cpu-vendor: GenuineIntel

Mds-Cpu-version: 6.8.1

이하 생략…

  위의 명령은 단순한 anonymous query를 보여준다. 이는 서버와의 어떤 secure한 channel없이 데이타를 가져오는 것을 의미한다.

  만약 security-enable query를 수행하기 위해서는 -anonymous(혹은 -x)를 제거하면 된다.

  grid-info-search에 대해 좀 더 자세히 살펴보면 다음과 같다.

  $grid-info-search [options]

        -mdshost host (-h)                // 호스트 네임, 입력하지 않으면 환경변수 $GRID_INFO_HOST의 값이 사용된다.

        -mdsport port (-p)                // 포트 넘버, 입력하지 않으면 환경변수 $GRID_INFO_PORT의 값이 사용된다.

        -anonymous (-x)                        // anonymous binding

        -mdsbasedn branch-point (-b)          // base Distinguished Name, 입력하지 않으면 환경변수 $GRID_INFO_BASEDN의 값이 사용된다.

        -s scope                         // 검색 범위, base | one | sub의 값을 가진다.

        “attribute”                        // 리턴하고 하는 attribute name

        “filter”                        // serach filter

        giisregistrationstatus        // GIIS 서비스의 registration 상태를 보여준다.

        

  예제 1 : GRIS에 대한 query

  $ grid-info-search -h ngrid-mds.gridcenter.or.kr -p 2135 -x -b “Mds-Vo-name=local, o=Grid”

  검색 결과 확인

  예제 2 : GIIS에 대한 query

  $ grid-info-search -h ngrid-mds.gridcenter.or.kr -p 2135 -x -b “Mds-Vo-name=ngrid-mds, o=Grid”  

  검색 결과 확인

  

  예제 3 : GIIS에 대한 registration 정보

  $ grid-info-search -x -b “Mds-Vo-name=ngrid-mds, o=Grid” -s base giisregistrationstatus  

  검색 결과 확인  

MDS 로깅 서비스  [[목차]]

  MDS와 OpenLDAP이 동작하면서 발생하는 다양한 정보들을 Unix syslog daemon을 통해 로깅할 수 있다.

  이를 위해 필요한 설정은 /etc/syslog.conf화일의 마지막에 다음을 추가한 뒤, 데몬을 띄워주면 된다.

  

  # vi /etc/syslog.conf

    …

    

    …

    local4.*        /usr/local/globus/var/MDS.log

  :wq

# /sbin/syslogd