Category: 빅데이터_Hadoop

hadoop hdfs 휴지통 비우기

hadoop hdfs 휴지통 비우기

휴지통 비우기 $HADOOP_HOME/conf/hdfs-site.xml 에 정의된 “fs.trash.interval” 옵션 (분단위) 의 속성에 따라 휴지통이 비워집니다. 아래의 명령을 사용하여 휴지통을 비울수 있습니다. 1 hadoop dfs -expunge

Hive 날짜 함수

Hive 날짜 함수

Hive 날짜 함수 (참조 : http://www.programkr.com/blog/MUDMyADMwYTz.html) 1.unix 타임스탬프 회전 시간 함수 문법: from_unixtime(bigint unixtime[, string format]) 복귀 값: string 설명: 전환의 UNIX 타임스탬프 (에서 1970-01-01 00:00:00 UTC 지정한 시간 지연) 까지...

Hadoop server performance tuning

Hadoop server performance tuning

Hadoop server performance tuning To tune a Hadoop cluster from a DevOps perspective needs an understanding of the kernel principles and linux. The following article will describe the most important...

Hadoop – Hive 성능 테스트 및 튜닝

Hadoop – Hive 성능 테스트 및 튜닝

Hadoop – Hive 성능 테스트 및 튜닝 | Hadoop 2012/05/25 16:35 Posted by 달빛방랑 근래에 진행 중이던 프로젝트에서 Hadoop + Hive로 시스템을 구성 한 후 간단한 성능 테스트와 튜닝 후기를...

대용량 데이터(big data) 처리 관련 기술 요소

대용량 데이터(big data) 처리 관련 기술 요소

발췌 : http://wonchanlee.tumblr.com/post/5757863713/the-big-data-cookbook-big-data Big data는 요사이 인터넷상의 신조어로 떠오르고 있습니다. 이것은 많은 현대적 웹서비스들이 다루는 대량의 데이터를 참조합니다. 이 글은 big data를 다루는 웹개발자들이 활용할 수 있는 몇가지 유용한 소프트웨어를...

Cloud Storage에 관하여

발췌 : http://jmlab.tistory.com/16 Cloud Storage ? 클라우드 컴퓨팅에 관해 연구개발 일을 해오 보면서 2010년 중반까지 내 경험상 클라우드 스토리지라는 이름은 하둡(Hadooop)에 포함되어 있는 Hadoop Distributed File System(HDFS) 같은 분산 파일...

Copy Protected by Chetan's WP-Copyprotect.