일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 | 31 |
- Over fitting
- One-hot encoding
- Spark 설치
- data load
- 스파크
- Spark Data 불러오기
- Feature extraction
- 딥러닝
- 학습률
- Tez
- Data 불러오기
- Manifold Learning
- learning rate
- Managed Table
- Spark
- .hiverc
- DeepLearning
- 캐글
- 차원의 저주
- 하이브
- Clodera Quick Start
- Auto Encoder
- 선형 회귀
- L2 정규화
- Haddop
- Deeplearning 키워드
- Hive CLI
- Hadoop Ecosystems
- hive
- hive setting
- Today
- Total
목록Deep Learnig (3)
남는건 기록뿐

아이패드에 있는걸 다시 어케 옮겨야하나..으앙ㅠㅠ 복습할 겸, 주요부분만 요약! Auto Encoder : Auto Encoder는 크게 Unsupervised Learning, Representation Learning, Dimensionality Reduction, Generative Model Learning에서 쓰이며, 대부분 Dimensionality Reduction, Generative Model Learning에서 사용된다. Dimensionality Redution에서는 또, Feature Extraction과 Manifold Learning으로 나눌 수 있지만, 사실상 같다. 학습된 Auco Encoder에서 Encoder는 차원 축소 역할을 수행(maniford learning)하며,..
1. 머신러닝에서 표현(Representation)이란 단어의 뜻 -- 데이터 표현(representation of the data)은 원시 데이터(raw data)를 특성 벡터(feature vector)에 매핑한 결과이다. 2. 특성 추출(Feature extraction) -- 특성 추출은 원시 데이터를 특성 벡터로 추출하는 과정이다. 3. 원 핫 인코딩(One-hot encoding) -- 관련 벡터 요소를 1로 설정한다. -- 다른 요소는 모두 0으로 설정한다. -- 이 벡터의 길이는 어휘에 있는 요소의 수와 같다. 이러한 표현은 단일 값이 1일 때 one-hot encoding, 여러 값이 1일 때 multi one-hot encoding이라 한다. 4. 좋은 특성(Feature)의 조건 --..
1. 데이터를 학습 세트와 평가 세트로 분할하는 이유 -- 머신러닝 모델을 학습시킨 후에는 모델이 새로운 데이터를 입력했을 때도 범용적으로 잘 작동하는 지 평가할 기준이 필요하다. 이를 위해 평가(test data)가 필요하다. 일반적으로 머신러닝에선 정확한 평가를 위해 데이터를 학습 데이터(train data), 평가 데이터(test data)로 나누거나, 더 나아가서는 학습 데이터(train data), 검증 데이터(validation data), 평가 데이터(test data)로 분리한다. 학습 데이터(train data): 모델을 학습시키는데 필요함 검증 데이터(validation data): 학습한 모델이 적합한지 검증함 평가 데이터(test data); 최종적으로 선택한 모델의 성능을 평가함 ..