Daily Archive: 6월 22, 2015

map input file (big file on hdfs, ex 1024MB) -> splitting (dfs.blocksize, hadoop default 64MB) -> 16 (1024/64) map task...

YARN -> 구성 -> 리소스 관리   ApplicationMaster 메모리 (yarn.app.mapreduce.am.resource.mb) = 3GB ApplicationMaster Java 최대 힙 크기 = 2.4GB (위...

MapReduce   * map task 는 보통 노드당 10~100 실행되게, CPU 부하가 적은 경우 300개 까지도… (메뉴얼상 얘기고 공식은 아래를...