| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | ||||
| 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| 11 | 12 | 13 | 14 | 15 | 16 | 17 |
| 18 | 19 | 20 | 21 | 22 | 23 | 24 |
| 25 | 26 | 27 | 28 | 29 | 30 | 31 |
Notice
Recent Posts
- Today
- Total
Tags
- activation function
- AdaGrad
- adaptive learning rate
- arithmetic reasoning
- Attention is all you need
- attention mechanism
- auto encoder
- Back Propagation Trough Time
- Backpropagation
- Bayes Theorem
- BCE
- Bert
- Bidirectional Encoder Representation from Transformer
- Binary classification
- BPTT
- Chain-of-Thought
- CNN
- commonsense reasoning
- Computer Vision
- Confusion Matrix
- convolutional neural network
- Cot
- cot reasoning
- counting
- Cross Entropy Loss
- deep learning
- degradation
- Dimension Reduction
- Few-shot
- fine-tuning
목록Bidirectional Encoder Representation from Transformer (1)
데이터 분석 일지
[Paper Review] BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
본 논문에서는 BERT(Bidirectional Encoder Representations from Transformers)라는 language representation model을 제시한다. BERT는 모든 계층에서 left & right context를 조정하여 unlabeled text에서 심층 양방향 표현을 pre-train하기 위해 설계되었다. 결과적으로 pre-train된 BERT는 광범위한 task에 대해 하나의 추가적인 output layer만 가지고 fine-tune할 수 있다. 1. Introduction 언어 모델을 pre-training하는 것은 많은 natural language processing task에서 성능 향상을 보였다. downstream task에 pre-train..
Paper Review/Natural Language Processing
2024. 3. 12. 21:41