최적화 방법1- Gradient Descent ~ 목차 ~0. 서론- 왜 갑자기 최적화를 공부하고 있는가1. 최적화란2. 종류 2.1 경사하강법(GD) 2.2 확률적 경사하강법(SGD) 2.3 Momentum 2.4 AdaGrad 2.5 RMSProp 2.6 Adam3. 정리 0. 서론- 왜 갑자기 최적화를 공부하고 있는가- 논문들을 읽으면서 기본기가 부족하다는 것이 다시 느껴졌다. 최적화에 대해서 정확히 알지 못했다. 내가 아는 것은.. 최적화가 기울기를 이용해서 손실함수를 최소로 하는 방법이고, 종류로는 SGD, Adam이 있지만 최근에는 대부분 Adam을 사용한다는 정도 뿐이었다. 그래서 든든한 기본서 『밑바닥부터 시작하는 딥러닝』을 다시 꺼내들었다.- 읽으면서 최적화 갱신 경로 부분이 ..
