05. 다중 분류 문제

다중 클래스 분류

이진 분류는 어떤 물체인지 표현할 필요없이 맞는지 아닌지 만 표현하면 됩니다. 하지만 다중 분류에서는 어떤 물체인지 표현 해야 합니다.

정답을 어떻게 표현할 것인가? (원핫 인코딩)

한개의 값만 1이고, 나머지 값은 0인 벡터로 표현하는 기법

원 핫 인코딩된 벡터는 미리 매핑해둔 Table을 이용해 어떤 물체인지 알 수 있습니다.

원 - 핫 인코딩의 희소 표현

Sparse Vector : 대부분의 값이 0 이고 크기가 있는 값이 희소하게 나타나는 벡터

반대로 밀집표현(Dense Presentation)이 있습니다.

얕은 신경망을 이용한 다중 클래스 분류

한가지 확률만 100%이고 나머지는 0%인 것이 정답입니다.

실제 알고리즘 출력을 확률로 변환하기 위해 Softmax 함수를 사용합니다.

Softmax Function

N개의 입력을 N개의 확률로 변환해 주는 것이 SoftMax 함수입니다.

• 각입력의 지수함수를 정규화한 것
• 각 출력은 0~1사이의 값을 가짐
• 모든 출력의 합이 1이됩
• 여러 경우의 수 중 한가지에 속할 확률을 표현

Softmax는 최종 출력단에서 N가지 범주로 분류하는 Multi-class classification에 사용됩니다.

Softmax vs Sigmoid

Sigmoid는 하나의 입력을 0으로 강제한 2-Class Softmax 함수와 동일하다. 2가지 클래스를 구분하기 위해 1개의 입력을 받는 다는 점에 주목

정답과 출력을 비교

원핫 인코딩으로 인해, 정답인 클래스에 대해서만 오차를 계산. 정확히 맞추면 오차가 0 틀릴수록 오차가 무한히 증가하는 특징이 있습니다.

오차를 내는 과정에서는 정답 클래스만 비교하지만, 다중 클래스 분류의 활성함수인 Softmax로 인해 다른 클래스에 대한 학습에도 영향을 줍니다.