Tagged: 빅데이터

Hive 날짜 함수

Hive 날짜 함수

Hive 날짜 함수 (참조 : http://www.programkr.com/blog/MUDMyADMwYTz.html) 1.unix 타임스탬프 회전 시간 함수 문법: from_unixtime(bigint unixtime[, string format]) 복귀 값: string 설명: 전환의 UNIX 타임스탬프 (에서 1970-01-01 00:00:00 UTC 지정한 시간 지연) 까지...

Hadoop server performance tuning

Hadoop server performance tuning

Hadoop server performance tuning To tune a Hadoop cluster from a DevOps perspective needs an understanding of the kernel principles and linux. The following article will describe the most important...

Hadoop – Hive 성능 테스트 및 튜닝

Hadoop – Hive 성능 테스트 및 튜닝

Hadoop – Hive 성능 테스트 및 튜닝 | Hadoop 2012/05/25 16:35 Posted by 달빛방랑 근래에 진행 중이던 프로젝트에서 Hadoop + Hive로 시스템을 구성 한 후 간단한 성능 테스트와 튜닝 후기를...

대용량 데이터(big data) 처리 관련 기술 요소

대용량 데이터(big data) 처리 관련 기술 요소

발췌 : http://wonchanlee.tumblr.com/post/5757863713/the-big-data-cookbook-big-data Big data는 요사이 인터넷상의 신조어로 떠오르고 있습니다. 이것은 많은 현대적 웹서비스들이 다루는 대량의 데이터를 참조합니다. 이 글은 big data를 다루는 웹개발자들이 활용할 수 있는 몇가지 유용한 소프트웨어를...

Cloud Storage에 관하여

발췌 : http://jmlab.tistory.com/16 Cloud Storage ? 클라우드 컴퓨팅에 관해 연구개발 일을 해오 보면서 2010년 중반까지 내 경험상 클라우드 스토리지라는 이름은 하둡(Hadooop)에 포함되어 있는 Hadoop Distributed File System(HDFS) 같은 분산 파일...

[클러스터] Hadoop File System 환경 구축 하기

[클러스터] Hadoop File System 환경 구축 하기

Hadoop File System 환경 구축 하기 작성일 : 2008년 10월 24일 작성자 : 클루닉스/ 서진우 1. 다운로드 url: http://www.apache.org/dyn/closer.cgi/hadoop/core/ 에서 다운로드 가능 2. 시스템 구성 및 구축 시 유의 사항...

hadoops 설치 1

hadoops 설치 1

Hadoop 공부 #1 – 설치 Hadoop을 2대의 리눅스 서버에 설치해 보았다. 2대면 별로 효능을 기대할 수 없지만 일단 공부한다는 차원에서.. Hadoop이 무엇인지에 대해서 보다 Hadoop의 설치에 대한 간단한 정리부터 올리는...

[hadoop] Hadoop 구조

[hadoop] Hadoop 구조

Hadoop은 분산 컴퓨팅 플랫폼이다. 또한 Hadoop은 수없이 많은 싸구려 하드웨어들을 클러스터로 엮어놓은 시스템에서, 연결된 하드웨어가 몇개 뻗어도 알아서 잘 돌아가야하는(fault-tolerant) 분산파일 시스템(Distributed File System)과 분산된 데이터를 효과적으로 처리(computational)하기위한 패러다임인 구글의...

Copy Protected by Chetan's WP-Copyprotect.