[Deep Learning] Logistic Regression (로지스틱 회귀)

1. Structure of Logistic Regression

• Linear Regression과 비슷한 구조이지만, Linear Layer를 거친 후 Sigmoid 함수를 통과시킨다. 
• Sigmoid 함수를 사용하기 때문에 1(True)과 0(False) 사잇값을 출력한다.

 

2. Activation Function

• Sigmoid 함수: 0에서 1 사잇값을 출력하는 함수
• TanH 함수: -1에서 1 사잇값을 출력하는 함수

Sigmoid Fuction & TanH Function

 

3. Parameter Optimization using Gradient Descent

 

Linear Regression과 구조는 같지만 Sigmoid 함수를 추가함으로써 이름은 회귀이지만 사실상 이진 분류 문제라고 봐도 무방하다. 이진 분류 문제라고 생각한다면 BCE Loss Fuction을 사용하고 Accuracy를 확인할 수 있으며 확률 문제로 접근할 수 있다. 

 

Logistic Regression

 

4. Binary Cross Entropy (BCE) Loss Function

BCE Loss Function

 

위 공식은 정답이 1일 경우와 정답이 0일 경우를 합친 확률을 의미한다.