일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 |
- 하이브
- Spark
- Manifold Learning
- Hadoop Ecosystems
- 딥러닝
- Spark Data 불러오기
- hive
- Managed Table
- Deeplearning 키워드
- Auto Encoder
- 차원의 저주
- 스파크
- 캐글
- Over fitting
- learning rate
- One-hot encoding
- Clodera Quick Start
- Hive CLI
- DeepLearning
- Feature extraction
- Haddop
- Data 불러오기
- .hiverc
- 학습률
- Tez
- L2 정규화
- 선형 회귀
- data load
- hive setting
- Spark 설치
- Today
- Total
남는건 기록뿐
.hiverc setting! 본문
.hiverc에서 hive를 setting 할 수 있다.
.hiverc의 경로는 /etc/hive/conf.dist/.hiverc
그리고 이 안의 내용은
set hive.cli.print.header=true;
set hive.cli.print.current.db=true;
set hive.variable.substitute=true;
set hive.groupby.orderby.position.alias=true;
--set hive.execution.engine=spark;
set hive.execution.engine=mr;
set mapreduce.map.output.compress=true;
set mapreduce.map.output.compress.codec=org.apache.hadoop.io.compress.SnappyCodec;
set hive.exec.compress.intermediate=true;
set hive.exec.compress.output=true;
set hive.auto.convert.join=false;
set mapreduce.map.memory.mb=2048;
set mapreduce.reduce.memory.mb=2048;
set mapreduce.map.java.opts=-Xmx4916m;
set mapreduce.reduce.java.opts=-Xmx4916m;
set mapreduce.task.io.sort.mb=600;
set mapred.reduce.tasks=199;
set hive.exec.dynamic.partition.mode=nonstrict;
...
대충 이러한데, 여기서 default engine을 tez로 바꿀 수도 있고 그러하다.
'Hive & Impala' 카테고리의 다른 글
Hive랑 RDBMS랑 다른점 (0) | 2020.06.18 |
---|---|
Hive Meta store의 역할 (0) | 2020.06.17 |
Hive Partition, Bucketting에 대하여 (0) | 2020.06.17 |
Hive의 3 가지 Table Type, Data Load (0) | 2020.06.17 |
MR과 TEZ의 차이 (0) | 2020.06.16 |