초초보도 이해하는 딥러닝 4탄 : 활성화 함수(activation function)

2020/03/31 - [IT-Engineering/A.I.] - 초초보도 이해하는 딥러닝 1탄 : 인공지능, 머신러닝, 딥러닝

2020/03/31 - [IT-Engineering/A.I.] - 초초보도 이해하는 딥러닝 2탄 : 퍼셉트론(Perceptron)

2020/04/03 - [IT-Engineering/A.I.] - 초초보도 이해하는 딥러닝 3탄 : 신경망, 활성화 함수

 

앞의 딥러닝 3탄에 이어 초초보 딥러닝 4탄이다.

검색해보면 딥러닝에 대한 워낙 좋은 글들이 많아서,

보는 사람들을 위해서나 스스로를 위해서나 간단한 내용만 정리하는 차원에서 기록하는 컨셉으로 하려 한다.

 

3탄에서 퍼셉트론과 신경망의 정의에 관해 다소 애매하게 표현한 부분이 있는데,

아무래도 사용하는 사람마다 약간의 정의차가 있어서인듯하다.

앞에서 활성화함수를 계단함수에서 다른 함수로 변경하는 것이 신경망과 다층퍼셉트론의 차이라고 했는데,

무리하지 않는선에서 다층퍼셉트론과 신경망은 같은 의미로 판단해도 될 듯하며,

이번에는 신경망의 핵심이 되는 활성화함수(acvitation function)에 대해서 좀 더 알아보자.

 

3탄에서는 활성화함수로 계단함수를 알아보았고, 시그모이드 ReLU함수는 이름만 소개했다.

우선 활성화함수라는 것은 입력 신호의 총합을 출력 신호로 변환해주는 함수를 말한다.

그리고 신경망에서 이 활성화 함수가 중요한 이유는

활성화 함수의 비선형성(non-linear)이 신경망의 쌓는 층(layer)들의 존재이유가 된다.

활성화 함수없이 중첩된 층들은 결국 가중치(weight)들의 곱과 편향(bias)들의 합의 조합으로만 이루어지는데,

예를들어 활성화 함수 h(x) = cx를 사용한다고 가정하고 두번 중첩한다고 했을 때, y(x)=h(h(x))와 같은 식이 되는데,

결국 y(x) = c*c*x처럼 될테니 다시 나타내면 y(x) = Dx와 같은 식이니 결국 형태의 변화가 없으니,

여러층을 중첩하는 이점을 살릴 수 가 없다.

 

이런 이유로 자주 사용되는 함수가 두개 있으니

시그모이드(sigmoid)함수와

렐루(ReLU)함수이다.

 

시그모이드 함수의 수식은 다음과 같다.

$h(x)=\frac{1}{1+\exp(-x)}$

생김새는 다음과 같다.

sigmoid함수의 모습

잘 관찰해보면, 계단함수와 유사한 경향을 보인다.

계단함수의 모습

input이 높아질수록 1에 가까워지고, 작아질수록 0에 가까워지니 말이다.

 

ReLU(Rectified Linear Unit)함수는 쉽게 나타내면 프로그래밍할 때 등장하는 max함수를 이용한 max(x,0)과 같다.

0보다 큰 값은 그대로 출력해주고, 그 이하의 값은 없는셈친다는 것이다.

ReLU함수의 모습

수식으로는 아래와 같이 쓸 수 있다.

$h(x)=\left\{\begin{matrix}
x(x>0)
\\ 
0(x\leq0)
\end{matrix}\right.$

신경망의 입력에서 (-)값은 대개 유의미한 효과가 적으므로 무시하겠다는 뜻이 내포된다.

 

이러한 각각의 함수 효과와 비선형성이 더불어져서 은닉층의 깊이가 더해질수록 효과가 증폭될 수 있다.

이 사소한 비선형성이 복잡한 은닉층이 실제 현상을 모사할 수 있을 정도의 모델링을 가능케하는 것이다.

 

이 정도까지 정리하고 이번 정리도 끝.