| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 | 31 |
Notice
Recent Posts
- Today
- Total
Tags
- activation function
- AdaGrad
- adaptive learning rate
- arithmetic reasoning
- Attention is all you need
- attention mechanism
- auto encoder
- Back Propagation Trough Time
- Backpropagation
- Bayes Theorem
- BCE
- Bert
- Bidirectional Encoder Representation from Transformer
- Binary classification
- BPTT
- Chain-of-Thought
- CNN
- commonsense reasoning
- Computer Vision
- Confusion Matrix
- convolutional neural network
- Cot
- cot reasoning
- counting
- Cross Entropy Loss
- deep learning
- degradation
- Dimension Reduction
- Few-shot
- fine-tuning
목록generative pre-training (1)
데이터 분석 일지
[Paper Review] GPT-1: Improving Language Understanding by Generative Pre-Training
본 논문에서는 Unlabeled data를 비지도학습을 사용하여 Generative Pre-Training하고, 지도학습을 사용하여 Discriminative Fine-Tuning을 거쳐 task를 수행하는 GPT-1을 제시한다. 본 연구에서는 최소한의 모델 변경을 목표로 한다. 1. Introduction NLP에서 가공되지 않은 문장으로부터 효과적으로 학습할 수 있는 능력은 지도학습에만 의존하는 것을 완화하는 데에 중요하다. 본 연구에서는 unlabeled data에서 언어 정보를 활용할 수 있는 모델을 개발하는 것을 목적으로 둔다. 이러한 모델은 추가적인 annotation을 수집할 때 많은 시간과 비용을 아낄 수 있게 한다. 게다가 supervision이 가능한 경우에도, 비지도학습에서 좋은 re..
Paper Review/Natural Language Processing
2024. 2. 6. 20:13