학습블로그.. AI를 곁들인..

ResNet 논문리뷰이번 논문리뷰는 ResNet 논문이다 [1].(K. He, X. Zhang, S. Ren, and J. Sun, "Deep Residual Learning for Image Recognition," Proc. IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016, pp. 770-778.) 논문 제목은 Deep Residual Learning for Image Recognition이다.   ~ 목차 ~0. Abstract1. Introduction2. 관련 연구3. Deep Residual Learning  3.1 Residual Learning  3.2 Identity Mapping ..

VGGNet 논문리뷰이번 논문리뷰는 VGGNet 논문이다 [1].(K. Simonyan and A. Zisserman, "Very Deep Convolutional Networks for Large-Scale Image Recognition," Proc. Int. Conf. on Learning Representations (ICLR), 2015.) 논문 제목은 Very Deep Convolutional Networks for Large-Scale Image Recognition이다. (+ VGG는 옥스퍼트 대학교의  연구그룹 Visual Geometry Group에서 나온 이름이다.) ~ 목차 ~0. Abstract1. Introduction2. ConvNet 구성  2.1 구조  2.2 구성  2.3..

AlexNet 논문리뷰첫 논문리뷰는 바로 AlexNet 논문이다 [1].(A. Krizhevsky, I. Sutskever, and G. Hinton, "Imagenet classification with deep convolutional neural networks," in Advances in Neural Information Processing Systems (NIPS), vol. 25, 2012.) 논문 제목은 Imagenet classification with deep convolutional neural networks이다.  ~ 목차 ~0. Abstract1. Introduction2. 데이터  2.1 구성  2.2 전처리방법3. 모델 구조  3.1 ReLU   3.2 멀티 GPU 사용  3..

Adam과 관련된 최적화 방법들(RMSProp, AdaGrad) Adam 논문의 section 5에 있는 AdaGrad의 수식이 그냥 보니 잘 이해가 안 돼서 하나하나 짚고 넘어가고자 한다.Section 5에서는 Adam과 관련된 최적화 방법들을 설명한다.  그리 길지 않으니 이참에 section 전체를 해석하면서 수식도 정리해보겠다.   ~ 목차 ~1. 관련된 최적화 방법들  1.1 RMSProp  1.2 AdaGrad 1. 관련된 최적화 방법들 - Adam과 직접적으로 관련이 있는 최적화 방법은 RMSProp과 AdaGrad이다. - 이 외에 Stochastic한 최적화 방법으로는 vSGD, AdaDelta, Natural Newton Method 가 있고, 이들은 모두   기울기 정보(first-o..