02. 얕은 신경망의 수식적 이해

뉴런의 수학적 표현

뉴런은 수학적으로 두 벡터의 내적으로 쉽게 표현할 수 있습니다. bias가 없으면 오직 원점에서만 값의 이동이 이루어집니다 자유롭게 선을 그어주기 위해 편향을 넣어주는 것이 일반적입니다.

w 벡터를 transpose하여 x벡터와 곱한 값과 벡터의 내적은 같기 때문에 위와 같은 공식이 나옵니다.

y 는 activation function( transpose(w) * x + b) 인 것입니다.

전결합 계층의 수학적 표현

FC 계층은 여러 개의 뉴런을 한곳에 모아둔 것으로, Matrix 곱셈 연산으로 표현 됩니다.

 

입력 계층(Input Layer)

• 입력 계층은 아무런 연산도 일어나지 않습니다.
• 신경망의 입력을 받아서 다음 계층으로 넘기는 역할
• 무엇을 입력으로 주어야 하는가? → 특징추출 문제
• 계층의 크기 = Node의 개수 = 입력 Scalar의 수 = 입력 Vector의 길이

(볼드체는 벡터) (이텔릭체는 스칼라값)

왼쪽의 입력계층 그림처럼 세로로 나타내 주어야 하지만 transepose를 사용하여 보기좋게 해놓은 것입니다.

은닉 계층(Hidden Layer)

 

• 은닉 계층은 입력 계층과 연결된 전결합 계층이다.
• 입출력 관점에서 볼 때 드러나지 않는다고 하여, 은닉 계층이라 한다.
• 복잡한 문제를 해결할 수 있게 하는 핵심적인 계층
• 얕은 신경망에서는 1개의 은닉층만을 사용한다.

출력 계층(Output Layer)

• 출력 계층은 은닉 계층 다음에 오는 전결합 계층이다.
• 신경망의 외부로 출력 신호를 전달하는 데에 사용된다.
• 신경망의 기능은 출력 계층의 활성 함수에 의해 결정된다.
• 출력 계층의 크기 = 출력의 Scalar 수 = 출력 벡터의 길이