학습블로그.. AI를 곁들인..

11월 결산과 12월 계획11월 마지막 날을 맞아 11월 결산을 하고, 12월 계획을 적어보려고 한다.  ~ 목차 ~1. 11월   1.1 1일 1포스팅   1.2 부트캠프 수료   1.3 운동2. 12월   2.1 CV 정리, 대학원 컨택 시도   2.2 1주 2포스팅   2.3 기말/졸업시험 준비   2.4 운동1. 11월11월을 어떻게 보냈느냐 하면.. 한 마디로 기본기 탄탄의 달이라고 할 수 있겠다.   1.1 1일 1포스팅  월초에 '하루에 하나의 주제만이라도 확실히 이해하자'는 마음가짐으로 1일 1포스팅이라는 목표를 세웠다.  결론은 성공했다.  중간에 크고 작은 이슈들이 있었지만 중꺽마의 마음가짐으로 어떻게 저떻게 30포스팅을 했다.  주로 10월에 보던 논문들을 정리했고, 비전 딥러닝 강의..

Lecture2: Image Classification- CS231n 강의 [1]를 듣고 공부한 내용을 나름대로 정리했다.CS231n 강의 [1] - 글에 있는 모든 그림과 표는 [2]에서 가져왔다.  ~ 목차 ~1. Image Classification의 어려움2. Classifier 종류    2.1 Nearest Neighbor        2.1.1 시각화        2.1.2 수식 표현           2.1.3 코드 구현          2.1.4 CIFAR-10에 적용        2.1.5 한계    2.2 Linear Classification        2.2.1 수식표현        2.2.2 시각화        2.2.3 한계3. Hyperparameters    3.1 Tra..

ResNet 논문리뷰이번 논문리뷰는 ResNet 논문이다 [1].(K. He, X. Zhang, S. Ren, and J. Sun, "Deep Residual Learning for Image Recognition," Proc. IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016, pp. 770-778.) 논문 제목은 Deep Residual Learning for Image Recognition이다.   ~ 목차 ~0. Abstract1. Introduction2. 관련 연구3. Deep Residual Learning  3.1 Residual Learning  3.2 Identity Mapping ..

VGGNet 논문리뷰이번 논문리뷰는 VGGNet 논문이다 [1].(K. Simonyan and A. Zisserman, "Very Deep Convolutional Networks for Large-Scale Image Recognition," Proc. Int. Conf. on Learning Representations (ICLR), 2015.) 논문 제목은 Very Deep Convolutional Networks for Large-Scale Image Recognition이다. (+ VGG는 옥스퍼트 대학교의  연구그룹 Visual Geometry Group에서 나온 이름이다.) ~ 목차 ~0. Abstract1. Introduction2. ConvNet 구성  2.1 구조  2.2 구성  2.3..

AlexNet 논문리뷰첫 논문리뷰는 바로 AlexNet 논문이다 [1].(A. Krizhevsky, I. Sutskever, and G. Hinton, "Imagenet classification with deep convolutional neural networks," in Advances in Neural Information Processing Systems (NIPS), vol. 25, 2012.) 논문 제목은 Imagenet classification with deep convolutional neural networks이다.  ~ 목차 ~0. Abstract1. Introduction2. 데이터  2.1 구성  2.2 전처리방법3. 모델 구조  3.1 ReLU   3.2 멀티 GPU 사용  3..

Adam과 관련된 최적화 방법들(RMSProp, AdaGrad) Adam 논문의 section 5에 있는 AdaGrad의 수식이 그냥 보니 잘 이해가 안 돼서 하나하나 짚고 넘어가고자 한다.Section 5에서는 Adam과 관련된 최적화 방법들을 설명한다.  그리 길지 않으니 이참에 section 전체를 해석하면서 수식도 정리해보겠다.   ~ 목차 ~1. 관련된 최적화 방법들  1.1 RMSProp  1.2 AdaGrad 1. 관련된 최적화 방법들 - Adam과 직접적으로 관련이 있는 최적화 방법은 RMSProp과 AdaGrad이다. - 이 외에 Stochastic한 최적화 방법으로는 vSGD, AdaDelta, Natural Newton Method 가 있고, 이들은 모두   기울기 정보(first-o..

최적화 방법6- Adam앞에서 RMSProp까지 정리했다. 이어서 Adam에 대해서 정리하려고 한다. ~ 목차 ~0. 서론- 왜 갑자기 최적화를 공부하고 있는가1. 최적화란2. 종류  2.1 경사하강법(GD)  2.2 확률적 경사하강법(SGD)  2.3 Momentum  2.4 AdaGrad  2.5 RMSProp  2.6 Adam  2. 종류   2.6 Adam- Adam은 Adaptive Moment Estimation의 약자로, ①Momentum의 장점과 ②RMSProp의 장점을 결합한 방법이다.    ① Momentum의 장점: 기울기 방향성 보존(안정성)    - Momentum의 기본 수식은 $v \leftarrow \alpha v - \eta \frac{\partial L}{\partial ..

토익 950 후기- 오늘 토익 점수가 발표나서 토익 후기를 간단히 적어보려고 한다. ~ 목차 ~1. 응시이유 / 목표2. 베이스3. 공부 방법4. 문제풀이 순서5. 공부 / 시험 팁1. 응시이유 / 목표  - 대학원 진학(공학계열)을 염두에 두고 어학성적을 만들기 위해 응시했다.  - 850 이상을 목표로 했고, 다른 공부도 할 게 많았기 때문에 최소한의 시간을 투자하고자 했다. 2. 베이스  - 3년 전 토익 905점, 2년 전 토스 AL  - 올해 초에 1달 동안 미국 초등학교로 교생실습을 다녀왔다.  - 최근에 영어 논문을 계속 읽어와서 영어가 익숙했다. 3. 공부 방법  - 부담스러운 목표는 아니었기 때문에 실전 감각을 기르는 데에 초점을 뒀다.  - 오른쪽의 기출문제집으로 공부했다.  - 시험 ..

최적화 방법5- RMSProp앞에서 모멘텀(Momentum)까지 정리했다. 이어서 RMSProp에 대해서 정리하려고 한다. ~ 목차 ~0. 서론- 왜 갑자기 최적화를 공부하고 있는가1. 최적화란2. 종류  2.1 경사하강법(GD)  2.2 확률적 경사하강법(SGD)  2.3 Momentum  2.4 AdaGrad  2.5 RMSProp  2.6 Adam  2. 종류   -AdaGrad의 단점(학습이 진행될수록 기울기 제곱값이 누적되어 학습률이 작아짐)을 개선하기 위해 RMSProp이 제안되었다.  2.5 RMSProp  - RMSProp은 Root Mean Square Propagation의 줄임말로, 기울기 제곱의 지수 이동 평균을 사용해서 학습률을 조절하는 방법이다. (c.f. 지수 이동 평균: 최근..

최적화 방법4- AdaGrad앞에서 모멘텀(Momentum)까지 정리했다. 이어서 AdaGrad에 대해서 정리하려고 한다. ~ 목차 ~0. 서론- 왜 갑자기 최적화를 공부하고 있는가1. 최적화란2. 종류  2.1 경사하강법(GD)  2.2 확률적 경사하강법(SGD)  2.3 Momentum  2.4 AdaGrad  2.5 RMSProp  2.6 Adam 2. 종류   2.4 AdaGrad  - AdaGrad는 Adaptive Gradient의 줄임말로, 기울기 제곱의 누적합을 사용해서 학습률을 조절(자주 업데이트되면 학습률 감소, 드물게 업데이트되면 학습률 유지)하는 방법이다.   - 이 역시 수식으로 설명해보고자 한다. AdaGrad의 가중치 매개변수 업데이트 공식은 아래와 같다. $h \leftarr..