| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 |
Notice
Recent Posts
- Today
- Total
Tags
- activation function
- AdaGrad
- adaptive learning rate
- arithmetic reasoning
- Attention is all you need
- attention mechanism
- auto encoder
- Back Propagation Trough Time
- Backpropagation
- Bayes Theorem
- BCE
- Bert
- Bidirectional Encoder Representation from Transformer
- Binary classification
- BPTT
- Chain-of-Thought
- CNN
- commonsense reasoning
- Computer Vision
- Confusion Matrix
- convolutional neural network
- Cot
- cot reasoning
- counting
- Cross Entropy Loss
- deep learning
- degradation
- Dimension Reduction
- Few-shot
- fine-tuning
목록adaptive learning rate (1)
데이터 분석 일지
[Deep Learning] Hyper-Parameter & Optimizer
1. Model Parameter model parameter는 모델 내부의 설정의 값으로, 데이터에 의해 값이 정해지고 학습에 의해 값이 변경된다. 즉 사용자로 인해 변경되는 값이 아니다. 이를 딥러닝에서는 Network Weight Parameter라고도 부른다. 그렇다면 모델 외부의 설정 값은 어떤 것이 있을까? 2. Hyper-Parameter hyper-parameter는 모델 외부의 설정값으로, 사용자에 의해서 결정된다. 이 파라미터도 모델의 외부값이지만 모델의 성능을 좌우할 수 있다. 데이터와 모델의 방향성 및 목적에 따라 최적의 값이 다르므로, 보통 Heuristic한 방법에 의해 찾게 된다. 아래는 모두 hyper-parameter이다. Network Depth & Width: 모델의..
Lecture or Textbook Review/Deep Learning
2024. 2. 2. 17:58