[Deep Learning] 딥러닝 개요

1. 딥러닝

 

딥러닝은 DNN(Deep Neural Network)을 학습시켜 문제를 해결하는 것이다. 이는 기존 신경망에 비해서 깊은 구조를 가진다. 딥러닝은 비선형 함수로, 기존 머신러닝에 비해서 패턴 인식 능력이 월등하고 hand-crafted feature가 필요 없다. 

 

인공지능 모델은 x가 주어졌을 때 y를 반환하는 함수를 의미한다. 추가적인 단어의 개념은 다음과 같다. 

• 파라미터(θ): 함수 f가 동작하는 방식 결정
• 학습: x와 y를 통해 적절한 파라미터를 찾는 것
• 모델: 상황에 따라 알고리즘이나 파라미터를 의미

여기서 성능이 좋은 인공지능 모델은 일반화를 잘하고, 새로운 데이터에 대해서 적절한 예측을 하는 모델을 의미한다. 

 

2. 기존 머신러닝의 한계

• 선형 또는 낮은 차원의 데이터를 다루기 위해 설계됨 ⭢ 차원이 높을 수록 성능이 낮음
• kernel을 사용하여 비선형 데이터 처리가 가능하지만 한계가 명확

 

3. Working Process

1. 문제 정의: x와 y 정의
2. 데이터 수집: 필요에 따라 labeling 작업 수행
3. 데이터 전처리 및 분석: 탐험적 분석(EDA) 필요
4. 알고리즘 적용: 데이터에 대한 가설을 세우고 해당 가설을 위한 모델 적용
5. 평가: 실제 데이터와 유사한 test set 구성
6. 배포: 학습 및 평가가 완료된 모델 가중치 파일 배포 (데이터 분포 변화에 따른 유지 및 보수 필요)

 

4. Linear Layer: 신경망의 기본 구성 요소

• Fully-connected(FC) Layer라고도 불림
• 내부 파라미터에 따른 선형 변환 수행
• 작동 방식: 각 입력 노드에 가중치 W를 곱하고 편향 b를 더함
  • 행렬 곱으로 구현 가능: $$x\in\mathbb{R}^{k \times n}, W\in\mathbb{R}^{n\times m}  \Rightarrow y\in\mathbb{R}^{k\times m}$$
  • n차원에서 m차원으로의 선형 변환 함수

$$y = f(x) = x\cdot W + b$$