초초보도 이해하는 딥러닝 3탄 : 신경망, 활성화 함수

2020/03/31 - [IT-Engineering/A.I.] - 초초보도 이해하는 딥러닝 1탄 : 인공지능, 머신러닝, 딥러닝

초초보도 이해하는 딥러닝 1탄 : 인공지능, 머신러닝, 딥러닝

2020/03/31 - [IT-Engineering/A.I.] - 초초보도 이해하는 딥러닝 2탄 : 퍼셉트론(Perceptron)

초초보도 이해하는 딥러닝 2탄 : 퍼셉트론(Perceptron)

스스로 공부한 거 정리하는 용도로 시작했는데,
너무 대충 적자니 보는 사람들에게 민폐인 것 같고,
너무 열심히 적자니 배보다 배꼽이 클 것 같은 상황이다.

어찌됐건, 초초보도 이해하는 딥러닝 3탄을 가본다.

지난 시간에는 퍼셉트론에 대해서 간략하게 정리해보았다.

이번 시간에는 딥러닝의 시작이라고 할 수 있는 신경망(neural network)에 대해 알아보겠다.

신경망에 대해서 들어본 사람은 대략 다음과 같은 그림을 보기도 했을 것이고, 본 느낌이라도 있을 수 있다.

신경망(Neural network)의 구조(출처: Wikimedia Commons)

신경망은 위와같이 입력층(input layer), 은닉층(hidden layer), 출력층(output layer)로 구성된다.

그림을 보았을 때는 앞서 살펴본 다층 퍼셉트론(multi-layer perceptron)과 별로 다른게 없어보인다. 

어떤 차이가 있을까?

결론부터 말하자면 차이는 활성화 함수의 차이다.

그런데 활성화 함수라고?

아직 우리는 활성화 함수에 대해 논한바가 없다. 그러면 활성화 함수가 무엇인지 알아보자.

활성화 함수(activation function)에 대해서 알아보기 위해서 퍼셉트론을 잠시 복습해보자.

 

단층 퍼셉트론의 입력 출력 관계를 다음과 같은 수식으로 표현한 바 있었다.

위 식에서 b+w1x1+w2x2를 f로 나타낸다면 y는 0과 1이라는 출력이 나오는 y=h(f)라는 함수로 표현할 수 있다.

수식과 그림으로 표현하면 아래의 형태가 된다.

단층 퍼셉트론의 수학적 표현

위와 같은 h라는 함수를 계단형태라고 하여 계단함수(step function)이라고 부른다.

여기서 이 함수 h가 바로 알아보고자 했던 활성화 함수이다!

퍼셉트론에서는 활성화 함수로 계단함수가 쓰이는 것이다.

신경망과 퍼셉트론의 차이는 여기서 나타나는데, 신경망은 다층 퍼셉트론에서 활성화 함수를 계단 함수에서 다른 함수로 변경하는 것이다.

* 주의사항

일반적으로 단순 퍼셉트론은 단층 네트워크에서 계단 함수(임계값을 경계로 출력이 바뀌는 함수)를 활성화 함수로 사용한 모델을 가리키고 다층 퍼셉트론은 신경망(여러 층으로 구성되고 시그모이드 함수 등의 매끈한 활성화 함수를 사용하는 네트워크)을 가리킵니다.

- 밑바닥부터 시작하는 딥러닝

대표적인 활성화 함수로는 시그모이드(sigmoid), 렐루(ReLU)함수가 있다. 

다음 시간에는 활성화 함수를 더 자세히 알아보도록 하겠다.