MapReduce 작업 및 자원 할당 개념 정리 [3]
map input file (big file on hdfs, ex 1024MB) -> splitting (dfs.blocksize, hadoop default 64MB) -> 16 (1024/64) map task...
![MapReduce 작업 및 자원 할당 개념 정리 [3]](http://nblog.syszone.co.kr/wp-content/themes/hueman/assets/front/img/thumb-standard-empty.png)
Monthly Archive: 6월 2015
MapReduce 작업 및 자원 할당 개념 정리 [2] – CDH 설정 적용
YARN -> 구성 -> 리소스 관리 ApplicationMaster 메모리 (yarn.app.mapreduce.am.resource.mb) = 3GB ApplicationMaster Java 최대 힙 크기 = 2.4GB (위...
MapReduce 작업 및 자원 할당 개념 정리 [1]
MapReduce * map task 는 보통 노드당 10~100 실행되게, CPU 부하가 적은 경우 300개 까지도… (메뉴얼상 얘기고 공식은 아래를...
SGE qsub 기본 옵션 정의
qsub 할때 default option 값 지정해두는 방법 $> vi /opt/gridengine/default/common/sge_request 안에 추가한다.
windows crash dump 분석 방법
windbg 유틸을 이용한 windows crash dump 분석 방법에 대해 알아보자. https://msdn.microsoft.com/en-us/windows/hardware/hh852365 위 사이트에서 windbg 설치 파일을 다운 받고...
Hive 날짜 함수
Hive 날짜 함수 (참조 : http://www.programkr.com/blog/MUDMyADMwYTz.html) 1.unix 타임스탬프 회전 시간 함수 문법: from_unixtime(bigint unixtime[, string format]) 복귀 값: string 설명: 전환의...
flexlm 라이선스 모니터링 스크립트
#!/usr/bin/perl use strict; use Switch; my $lmutil = ‘/APP/abaqus/License/lmutil’; sub usage { print <<_END_USAGE_; This utility uses the ‘lmutil’ application...
