남는건 기록뿐

.hiverc setting! 본문

Hive & Impala

.hiverc setting!

루크안 2020. 6. 17. 13:24
반응형

.hiverc에서 hive를 setting 할 수 있다.

 

.hiverc의 경로는 /etc/hive/conf.dist/.hiverc

그리고 이 안의 내용은

 

set hive.cli.print.header=true;

set hive.cli.print.current.db=true;

set hive.variable.substitute=true;

set hive.groupby.orderby.position.alias=true;

--set hive.execution.engine=spark;

set hive.execution.engine=mr;

set mapreduce.map.output.compress=true;

set mapreduce.map.output.compress.codec=org.apache.hadoop.io.compress.SnappyCodec;

set hive.exec.compress.intermediate=true;

set hive.exec.compress.output=true;

set hive.auto.convert.join=false;

set mapreduce.map.memory.mb=2048;

set mapreduce.reduce.memory.mb=2048;

set mapreduce.map.java.opts=-Xmx4916m;

set mapreduce.reduce.java.opts=-Xmx4916m;

set mapreduce.task.io.sort.mb=600;

set mapred.reduce.tasks=199;

set hive.exec.dynamic.partition.mode=nonstrict;

...

 

대충 이러한데, 여기서 default engine을 tez로 바꿀 수도 있고 그러하다.

반응형

'Hive & Impala' 카테고리의 다른 글

Hive랑 RDBMS랑 다른점  (0) 2020.06.18
Hive Meta store의 역할  (0) 2020.06.17
Hive Partition, Bucketting에 대하여  (0) 2020.06.17
Hive의 3 가지 Table Type, Data Load  (0) 2020.06.17
MR과 TEZ의 차이  (0) 2020.06.16
Comments