Lecture7: Training Neural Networks II- CS231n 강의 [1]를 듣고 공부한 내용을 나름대로 정리했다.CS231n 강의 [1] - 글에 있는 모든 그림, 표, 예시는 [2]에서 가져왔다. ~ 목차 ~1. Optimization 1.1 First-Order Optimization 1.1.1 Problems with SGD 1.1.2 SGD + Momentum 1.1.3 Nesterov Momentum 1.1.4 AdaGrad 1.1.5 RMSProp 1.1.6 Adam 1.1.7 UsingLearning Rate Decay 1.2 Second-Order Optimization..
