초초보도 이해하는 딥러닝 5탄 : 출력층 설계(feat.Softmax)

2020/03/31 - [IT-Engineering/A.I.] - 초초보도 이해하는 딥러닝 1탄 : 인공지능, 머신러닝, 딥러닝

2020/03/31 - [IT-Engineering/A.I.] - 초초보도 이해하는 딥러닝 2탄 : 퍼셉트론(Perceptron)

2020/04/03 - [IT-Engineering/A.I.] - 초초보도 이해하는 딥러닝 3탄 : 신경망, 활성화 함수

2020/05/16 - [IT-Engineering/A.I.] - 초초보도 이해하는 딥러닝 4탄 : 활성화 함수(activation function)

 

 

이전에 간단하게 개념 정리한 글을 살펴보려거든 위의 글을 읽어보기를 바란다.

 

이번엔 5탄, 출력층 설계에 대해서 초보보다 낮은 초초보적인 수준에서 알아보겠다.

 

1탄에서 기계학습(머신러닝) 안에 심층학습(딥러닝)이 들어가는 것을 확인했었는데,

기계학습은 크게 다음의 세부류로 분류를 하곤한다.

1. Supervised Learning(지도 학습)

2. Unsupervised Learning(비지도 학습)

3. Reinforcement Learning(강화 학습)

 

이 중 지도학습은 크게 

1-1. Classification(분류)

1-2. Regression(회귀)

 

로 나뉘게 된다.

 

분류문제는 MNIST손글씨 문제와 같이, 손글씨를 보고 숫자가 0~9까지 어떤 숫자인지 맞추는 문제 등이 있고,

회귀문제는 사진 속 인물의 몸무게가 몇킬로그램일까를 맞추는 문제 등이 있을 것이다.

신경망(Neural network)의 구조(출처: Wikimedia Commons)

이번 출력층 설계는 3탄에서 다루었던 최종 층인 출력층에 대한 설계 내용이다.

3탄의 신경망(다층 퍼셉트론)에서 출력층(output layer)를 통해 output이 나오는 것을 확인할 수 있는데,

이때 입력된 값이 출력값으로 그대로 나오는 경우도 있고, 그렇지 않은 경우도 있다.

 

위에서 왜 기계학습의 분류를 나누었냐면,

보통 회귀 문제에서는 출력값이 그대로 나오는 항등함수(identity function)을 사용하는 반면,

분류 문제에서는 출력값의 총합이 1이 되는 소프트맥스 함수(softmax function)을 사용하기 때문이다.

 

분류 문제는 예컨대 이미지를 주고 개, 고양이, 사람을 맞추는 문제라고 했을 때,

각각 번호를 붙여서 개=1, 고양이=2, 사람=3 이라고 했을 때,

최종 출력값이 \begin{pmatrix}0.7\\ 0.2\\ 0.1\end{pmatrix} 이 나왔다고 하자.

이 뜻은 개일 확률이 70%, 고양이일 확률이 20%, 사람일 확률이 10%라고 예측했다는 뜻이다.

즉, '이 사진은 아마도 70% 확률로 개인 것 같다.' 라고 결과가 나온 것이다.

 

이 때 출력값을 이와 같은 형태로 바꾸어주는 함수가 바로 위에서 말한 소프트맥스 함수이다.

식은 다음과 같다.

\[y_{k}=\frac{e^{a_k}}{\sum_{i=1}^{n}e^{a_i}}\]

여기서 e는 자연상수, n은 출력층의 뉴런 수, \(y_k\)는 k번 째 출력을 말한다.