devmoon

경사하강법과 관련된 여러 기법들을 정리해서 소개하는 이번 논문은 각 경사하강법의 최적화 방법 또는 이론들이 어떻게 등장하였고, 그 원리가 무엇인지 간단하게 이해하기 좋다고 생각되었다. 실제로 읽으면서 각 최적화 알고리즘들이 어떻게 이전의 단점들을 개선시켜 나갔는지 그 흐름을 파악하기가 좋았었다. 이 논문에서 소개하는 것들은 정말 기본적인 Gradient Descent(GD)를 시작으로 SGD, Mini-batch GD 과 최적화 기법인 momentum, NAG, Adagrad, Adadelta, RMSprop, Adam 등이 있다. 이외에도 2가지 최적화 방법 AdaMax와 Nadam이 있지만 자주 등장하는 개념은 아닌 것 같아 세세하게 읽어보지는 않았다. 저자는 처음에 경사하강법이 무엇인지 짧지만 매우..