[Deep Learning] 신경망 학습 성능 판단

1. Loss(손실값)

 

원하는 출력값(target, y)과 실제 출력값(output, y_hat)의 차이의 합

 

$$Loss = \sum_{i = 1}^N  \parallel y_i - \hat{y_i}  \parallel  = \sum_{i = 1}^N  \parallel y_i - \ f(x_i)  \parallel $$

Loss가 작을 수록 좋은 성능을 보인다. 따라서 제일 작은 Loss를 가지는 Linear Layer가 최적의 신경망이 되는 것이다. 

 

2. Loss Fuction

• Linear Layer의 파라미터를 바꿀 때마다 Loss를 계산
• 입력: Linear Layer의 파라미터
• 출력: Loss

$$L( \theta ) =  \sum_{i = 1}^N  \parallel y_i - f(x_i)  \parallel$$ $$where$$ $$\theta \in = {W, b}$$

 

3. Euclidean Distance

 

Euclidean distance는 두 점 사이의 거리를 의미한다. 이를 나타내는 수식은 아래와 같다. 

 

$$ \parallel y -  \hat{y}  \parallel_2 =  \sqrt{(y_1 -  \hat{y_1} )^2 + (y_2 -  \hat{y_2} )^2 +  \ldots + (y_n -  \hat{y_n} )^2}   =  \sqrt{ \sum_{i = 1}^N (y_i -  \hat{y_i} )^2 }$$ $$where$$ $$ y \in \mathbb{R}^n,  \hat{y}   \in \mathbb{R}^n$$

 

이 두 점 사이의 거리를 이용하여 Loss를 계산할 수 있다. 

 

4. RMSE(Root Mean Square Error)

 

$$RMSE(y,  \hat{y} ) =  \sqrt{ \frac{1}{n}  \sum_{i = 1}^N (y_i -  \hat{y_i})^2} $$

 

5. MSE(Mean Square Error)

 

$$MSE( y,  \hat{y}  ) = \frac{1}{n}  \sum_{i = 1}^N (y_i -  \hat{y_i})^2 = \frac{1}{n}( \parallel y - \hat{y_i}   \parallel_2)^2 = \frac{1}{n} \parallel y - \hat{y_i}  \parallel{_2^2} \propto  \parallel y - \hat{y_i} \parallel{_2^2} $$