목록Hive & Impala (12)

남는건 기록뿐

Hive에서 Header 확인하기

set hive.cli.print.header; -> set hive.cli.print.header=true;
Hive & Impala 2020. 7. 2. 15:26
First_value, Last_value

Last_value -> ROWS BETWEEN CURRENT ROW AND UNBOUNDED FOLLOWING
Hive & Impala 2020. 7. 2. 15:24
Map side join, Reduce side join

Hive & Impala 2020. 6. 23. 20:37
Hive랑 RDBMS랑 다른점

RDBMS : 관계형 데이터베이스 관리 시스템을 나타낸다. RDBMS는 관계형 데이터베이스를 위해 특별히 설계된 데이터베이스 관리 시스템이다. 관계형 데이터베이스는 행과 열을 사용하여 구조화 된 형식으로 데이터를 저장하는 데이터베이스를 말하며, 구조화 된 형식을 테이블이라고 한다. HIVE : 데이터 쿼리 및 분석을 제공하는 데이터웨어 하우스 소프트웨어 시스템이다. Hive는 SQL과 같은 인터페이스를 제공하여 Hadoop과 통합되는 다양한 데이터베이스 및 파일 시스템에 저장된 데이터를 질의한다. 대용량 데이터 세트를 질의하고 관리하는 데 도움이 된다. 하둡 생태계를위한 ETL 도구이다. RDBMS과 HIVE의 차이 RDBMS HIVE 데이터베이스를 유지 관리하는 데 사용 데이터웨어 하우스를 유지 보수하..
Hive & Impala 2020. 6. 18. 20:28
Hive Meta store의 역할

Hive metastore(메타스토어)란 하이브는 테이블과 파티션과 관련된 메타정보를 모두 메타스토어에 저장한다. 다시 말하면, 하이브에서 생성한 테이블 스키마를 저장하는 곳이라고 할 수 있다. 테스트용으로는 더비(derby) 임베디드 데이터베이스가 사용되고, 실제 서비스용으로는 MySQL과 같은 데이터베이스를 사용할 수 있다. Hive 메타스토어의 유형 하이브의 메타스토어 유형에는 임베디드 메타스토어(Embedded metastore), 로컬 메타스토어(Local metastore), 원격 메타스토어(Remote metastore) 세가지 유형이 있다. 임베디드 메타스토어(Embedded metastore) 하이브를 설치하면 기본적으로 임베디드 메타스토어를 사용한다. 이 경우 메타스토어가 로컬 장비에 ..
Hive & Impala 2020. 6. 17. 14:36
.hiverc setting!

.hiverc에서 hive를 setting 할 수 있다. .hiverc의 경로는 /etc/hive/conf.dist/.hiverc 그리고 이 안의 내용은 set hive.cli.print.header=true; set hive.cli.print.current.db=true; set hive.variable.substitute=true; set hive.groupby.orderby.position.alias=true; --set hive.execution.engine=spark; set hive.execution.engine=mr; set mapreduce.map.output.compress=true; set mapreduce.map.output.compress.codec=org.apache.hadoop...
Hive & Impala 2020. 6. 17. 13:24
Prev 1 2 Next