devmoon

해당 게시글은 Stack overflow의 "Why use softmax as opposed to standard normalization?"을 참고하여 작성된 글임을 먼저 말씀드립니다. 여러 딥러닝 모델들에서 확률의 개념이 필요할 때, 우리는 softmax함수를 자주 사용하게 된다. Softmax를 사용하는 주된 이유는 벡터의 원소값들을 확률로 해석해 줄 수 있기 때문이라고 보통 학습한다. 하지만 생각해 보면 softmax라는 함수를 배우기 이전, 우리는 확률이라는 것을 계산할 때 그 비율로 확률을 나타냈었다. 예를 들어, 어떤 상자 안에 빨간색과 파란색 구슬들이 들어있고 상자로부터 1000번 복원추출을 했다고 해보자. 이때 결과로 빨간 구슬이 700번, 파란 구슬이 300번 나왔다고 하면 빨간 구슬이..