4-2 Neural Networks

신경망 모델의 기본 개념, hypothesis등 뉴럴넷의 전반에 대해 알아본다.

뇌 안의 뉴런에선 Dendrite라는 여러 개의 input wire가 존재하며 Axon을 통해 다른 뉴런으로 신호를 전달한다.

간단한 인공지능 신경망 기본구조를 보면 여러 개의 input 뉴런이 다음 레이어의 뉴런과 연결된 wire를 따라 신호를 전달하고 output은 output wire를 따라 어떤 값이 나오게 된다. X_0는 보통 bias unit이라 1이다. 그리고 뉴럴넷 모델의 파라미터들을 weight라고 한다.

뉴럴넷은 이렇게 여러 개의 뉴런들이 서로 복잡하게 연결되어 있다. Input layer와 output layer 사이의 layer를 hidden layer라고 한다. 

히든 레이어 유닛의 activation을 다음과 같이 표기한다. wire를 따라 들어오는 값들을 모두 더한 뒤 sigmoid 함수에 넣어주는 것이다. 

j에서 j+1레이어 사이의 파라미터 θ는 행렬로 나타낸다.

Vectorized implementation을 통해 Forward propagation의 연산이 어떻게 되는지 쉽게 이해할 수 있다.

Activation unit에서 sigmoid로 들어가는 input들의 합을 z라고 하자.

Bias unit까지 고려해서 input x를 하나의 열벡터, 아까 정의했던 z 역시 하나의 열벡터로 나타낼 수 있다.

물론 z^2는 θ^1과 이전 레이어의 activation인 a^1의 곱으로 정의된다.

잠시 Input layer를 가리고 히든 레이어와 로지스틱 유닛만 생각해보자

마지막 레이어로부터 나온 결과값 h(x)는 다음과 같이 정의되며 이러한 계산은 앞에서 정의했던 열벡터의 곱으로 쉽게 나타낼 수 있을 것이다.

만약 히든 레이어가 여러 개 있고 각 레이어마다 존재하는 유닛의 수가 다를지라도 전혀 상관 없이 앞에서 정의했던 방식을 통해 네트워크의 아웃풋이 어떤 연산들로 이루어져 도출되는지 알 수 있다.