04. 이진 분류 문제

입력의 범주를 추정하는 분류(Classification)에 대해 조금 더 자세히 알아봅니다. 학습 샘플을 잘 나누는 선을 Decision Boundary라고 합니다.

로지스틱 회귀

이전에는 데이터를 잘 표현하는 방향으로 데이터를 따라가도록 선을 그었다면 로지스틱 회귀는 선형 회귀와 비슷하나, 범주형 데이터를 분류하는 방향으로 선을 긋는다.

로지스틱 회귀는 범주형 데이터를 대상으로 하는 회귀. 분류 기법으로 볼 수 있습니다. 로지스틱 회귀는 선형 회귀와 비슷하지만, 범주형 데이터를 분류하는 방향으로 선을 긋는것 입니다.

Sigmoid Function

• 값이 작아질 수록 0, 커질수록 1에 수렴
• 모든 실수 입력 값에 대해 출력이 정의됨
• 출력이 0~1사이로, 확률을 표현할 수 있음
• 입력값이 0에 가까울 수록 출력이 빠르게 변함
• 모든 점에서 미분 가능

시그모이드를 더 극 적으로 표현한다면 0.5보다 작으면 0 크면 1로 표현될 수 있습니다. 원점을 기준으로 원점과 가까워지면 조금더 극적인 변화를 줄 수 있고 멀면 얕은 변화를 나타낼 수 있습니다. 이진분류 문제에서도 0.5를 기준으로 구분이 가능합니다.

교차 엔트로피 오차

Y~는 추정치를 나타냅니다. 학습 데이터의 추정치가 1일때 정답이 1이라면 그 오차는 0이되는것을 볼 수 있습니다. 두 값이 멀어지면 멀어질 수록 그 오차가 점차 늘어납니다.

얕은 신경망과 분류 알고리즘

얕은 신경망으로 Classification을 수행할 경우, 출력계층은 로지스틱 회귀와 동일합니다. 다만 입력 계층에서 은닉계층으로 추가적인 변환이 있다는 것이 다릅니다.

은닉 계층과 분류

선형적으로 분리되지 않는 Class → 선형적으로 분리되는 은닉계층 → 로지스틱 회귀

입력 Space를 기준으로 Decision Boundary가 곡선이 됩니다.