MapReduce 작업 및 자원 할당 개념 정리 [3]
map input file (big file on hdfs, ex 1024MB) -> splitting (dfs.blocksize, hadoop default 64MB) -> 16 (1024/64) map task...
![MapReduce 작업 및 자원 할당 개념 정리 [3]](http://nblog.syszone.co.kr/wp-content/themes/hueman/assets/front/img/thumb-standard-empty.png)
Tagged: 빅데이터
MapReduce 작업 및 자원 할당 개념 정리 [2] – CDH 설정 적용
YARN -> 구성 -> 리소스 관리 ApplicationMaster 메모리 (yarn.app.mapreduce.am.resource.mb) = 3GB ApplicationMaster Java 최대 힙 크기 = 2.4GB (위...
MapReduce 작업 및 자원 할당 개념 정리 [1]
MapReduce * map task 는 보통 노드당 10~100 실행되게, CPU 부하가 적은 경우 300개 까지도… (메뉴얼상 얘기고 공식은 아래를...
Hive 날짜 함수
Hive 날짜 함수 (참조 : http://www.programkr.com/blog/MUDMyADMwYTz.html) 1.unix 타임스탬프 회전 시간 함수 문법: from_unixtime(bigint unixtime[, string format]) 복귀 값: string 설명: 전환의...
Hadoop server performance tuning
Hadoop server performance tuning To tune a Hadoop cluster from a DevOps perspective needs an understanding of the kernel principles...
Hadoop – Hive 성능 테스트 및 튜닝
Hadoop – Hive 성능 테스트 및 튜닝 | Hadoop 2012/05/25 16:35 Posted by 달빛방랑 근래에 진행 중이던 프로젝트에서 Hadoop +...
어떤 분산 파일 시스템을 사용해야 하는가?
발췌 : http://helloworld.naver.com/helloworld/textyle/258077 우리는 하나의 데이터를 여러 서버가 공유할 때 분산 파일 시스템을 사용합니다. 최근에는 NFS나 CIFS와 같은 분산...
대용량 데이터(big data) 처리 관련 기술 요소
발췌 : http://wonchanlee.tumblr.com/post/5757863713/the-big-data-cookbook-big-data Big data는 요사이 인터넷상의 신조어로 떠오르고 있습니다. 이것은 많은 현대적 웹서비스들이 다루는 대량의 데이터를 참조합니다. 이 글은...
Cloud Storage에 관하여
발췌 : http://jmlab.tistory.com/16 Cloud Storage ? 클라우드 컴퓨팅에 관해 연구개발 일을 해오 보면서 2010년 중반까지 내 경험상 클라우드 스토리지라는 이름은...
