| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 | 31 |
- Today
- Total
- activation function
- AdaGrad
- adaptive learning rate
- arithmetic reasoning
- Attention is all you need
- attention mechanism
- auto encoder
- Back Propagation Trough Time
- Backpropagation
- Bayes Theorem
- BCE
- Bert
- Bidirectional Encoder Representation from Transformer
- Binary classification
- BPTT
- Chain-of-Thought
- CNN
- commonsense reasoning
- Computer Vision
- Confusion Matrix
- convolutional neural network
- Cot
- cot reasoning
- counting
- Cross Entropy Loss
- deep learning
- degradation
- Dimension Reduction
- Few-shot
- fine-tuning
목록residual connection (2)
데이터 분석 일지
[Paper Review] ResNet: Deep Residual Learning for Image Recognition
일반적으로 네트워크가 깊을수록 학습이 어려워지고, gradient vanishing 문제가 발생한다. 본 논문에서는 충분히 깊은 DNN에서도 학습을 쉽게 하기 위하여 residual learning이라는 개념을 도입한다. 각 layer마다의 입력과 출력의 차이인 residual을 학습하여 더 쉽게 최적화할 수 있는 방법이다. 이 개념을 도입하여 본 논문에서는 152개의 layer를 쌓아도 낮은 복잡도를 가지게 된다. 1. Introduction Deep convolutional neural network가 이미지 분류 task에서 점점 발전하고 있다. 또한 network의 depth는 학습하는데 있어서 굉장히 중요하다. layer를 많이 쌓을 수록 성능이 좋아진다는 것을 의미한다. Figure 1을 보면..
[Deep Learning] Computer Vision
0. Introduction cumputer vision 분야에서의 딥러닝은 2012년 이미지넷의 우승으로 큰 주목을 받았다. 아래의 그림과 같이 shallow를 사용하였을 때보다 딥러닝을 사용할 수록 error가 감소하는 것을 볼 수 있다. 추가로 2012년의 AlexNet은 8개의 layer를 사용하였고, 2015년의 ResNet은 152개의 layer를 사용한 것으로 보아, 신경망이 깊어질 수록 성능이 좋아지는 것을 알 수 있다. 0. 1. Types of Computer Vision 컴퓨터 비전 안에서의 작업을 크게 네 가지로 나누어 보았다. 이는 아래와 같다. Image Classification: ImageNet, Anomaly Detections, Out of Distribution Obje..