일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 |
- Feature extraction
- L2 정규화
- Hive CLI
- 선형 회귀
- 학습률
- hive setting
- 스파크
- 하이브
- Data 불러오기
- hive
- Clodera Quick Start
- Deeplearning 키워드
- One-hot encoding
- Haddop
- Auto Encoder
- 캐글
- learning rate
- Over fitting
- Hadoop Ecosystems
- 딥러닝
- Spark 설치
- Manifold Learning
- Tez
- .hiverc
- Spark Data 불러오기
- Managed Table
- data load
- DeepLearning
- 차원의 저주
- Spark
- Today
- Total
목록DeepLearning (2)
남는건 기록뿐
1. 머신러닝에서 표현(Representation)이란 단어의 뜻 -- 데이터 표현(representation of the data)은 원시 데이터(raw data)를 특성 벡터(feature vector)에 매핑한 결과이다. 2. 특성 추출(Feature extraction) -- 특성 추출은 원시 데이터를 특성 벡터로 추출하는 과정이다. 3. 원 핫 인코딩(One-hot encoding) -- 관련 벡터 요소를 1로 설정한다. -- 다른 요소는 모두 0으로 설정한다. -- 이 벡터의 길이는 어휘에 있는 요소의 수와 같다. 이러한 표현은 단일 값이 1일 때 one-hot encoding, 여러 값이 1일 때 multi one-hot encoding이라 한다. 4. 좋은 특성(Feature)의 조건 --..
1. 데이터를 학습 세트와 평가 세트로 분할하는 이유 -- 머신러닝 모델을 학습시킨 후에는 모델이 새로운 데이터를 입력했을 때도 범용적으로 잘 작동하는 지 평가할 기준이 필요하다. 이를 위해 평가(test data)가 필요하다. 일반적으로 머신러닝에선 정확한 평가를 위해 데이터를 학습 데이터(train data), 평가 데이터(test data)로 나누거나, 더 나아가서는 학습 데이터(train data), 검증 데이터(validation data), 평가 데이터(test data)로 분리한다. 학습 데이터(train data): 모델을 학습시키는데 필요함 검증 데이터(validation data): 학습한 모델이 적합한지 검증함 평가 데이터(test data); 최종적으로 선택한 모델의 성능을 평가함 ..