Category: 빅데이터_Hadoop
hadoop hdfs 휴지통 비우기
휴지통 비우기 $HADOOP_HOME/conf/hdfs-site.xml 에 정의된 “fs.trash.interval” 옵션 (분단위) 의 속성에 따라 휴지통이 비워집니다. 아래의 명령을 사용하여 휴지통을 비울수 있습니다. 1...
Hadoop Job 목록 확인 및 종료하기
Hadoop job -list Hadoop job –kill <JobID>
MapReduce 작업 및 자원 할당 개념 정리 [3]
map input file (big file on hdfs, ex 1024MB) -> splitting (dfs.blocksize, hadoop default 64MB) -> 16 (1024/64) map task...
MapReduce 작업 및 자원 할당 개념 정리 [2] – CDH 설정 적용
YARN -> 구성 -> 리소스 관리 ApplicationMaster 메모리 (yarn.app.mapreduce.am.resource.mb) = 3GB ApplicationMaster Java 최대 힙 크기 = 2.4GB (위...
MapReduce 작업 및 자원 할당 개념 정리 [1]
MapReduce * map task 는 보통 노드당 10~100 실행되게, CPU 부하가 적은 경우 300개 까지도… (메뉴얼상 얘기고 공식은 아래를...
Hive 날짜 함수
Hive 날짜 함수 (참조 : http://www.programkr.com/blog/MUDMyADMwYTz.html) 1.unix 타임스탬프 회전 시간 함수 문법: from_unixtime(bigint unixtime[, string format]) 복귀 값: string 설명: 전환의...
Hadoop server performance tuning
Hadoop server performance tuning To tune a Hadoop cluster from a DevOps perspective needs an understanding of the kernel principles...
