| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 |
Notice
Recent Posts
- Today
- Total
Tags
- activation function
- AdaGrad
- adaptive learning rate
- arithmetic reasoning
- Attention is all you need
- attention mechanism
- auto encoder
- Back Propagation Trough Time
- Backpropagation
- Bayes Theorem
- BCE
- Bert
- Bidirectional Encoder Representation from Transformer
- Binary classification
- BPTT
- Chain-of-Thought
- CNN
- commonsense reasoning
- Computer Vision
- Confusion Matrix
- convolutional neural network
- Cot
- cot reasoning
- counting
- Cross Entropy Loss
- deep learning
- degradation
- Dimension Reduction
- Few-shot
- fine-tuning
목록MSE (1)
데이터 분석 일지
[Deep Learning] 신경망 학습 성능 판단
1. Loss(손실값) 원하는 출력값(target, y)과 실제 출력값(output, y_hat)의 차이의 합 $$Loss = \sum_{i = 1}^N \parallel y_i - \hat{y_i} \parallel = \sum_{i = 1}^N \parallel y_i - \ f(x_i) \parallel $$Loss가 작을 수록 좋은 성능을 보인다. 따라서 제일 작은 Loss를 가지는 Linear Layer가 최적의 신경망이 되는 것이다. 2. Loss FuctionLinear Layer의 파라미터를 바꿀 때마다 Loss를 계산입력: Linear Layer의 파라미터출력: Loss$$L( \theta ) = \sum_{i = 1}^N \parallel y_i - f(x_i) \par..
Lecture or Textbook Review/Deep Learning
2024. 1. 22. 19:24