학습블로그.. AI를 곁들인..

ResNet 논문리뷰이번 논문리뷰는 ResNet 논문이다 [1].(K. He, X. Zhang, S. Ren, and J. Sun, "Deep Residual Learning for Image Recognition," Proc. IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016, pp. 770-778.) 논문 제목은 Deep Residual Learning for Image Recognition이다.   ~ 목차 ~0. Abstract1. Introduction2. 관련 연구3. Deep Residual Learning  3.1 Residual Learning  3.2 Identity Mapping ..

오늘은 수능날이다. 국어 비문학 소재로 diffusion모델이 나왔다는 소식을 듣고 냅다 풀어봤다.이건 놓칠 수 없지! + 수험생의 마음가짐으로 풀지는 않았습니다.. 처음으로 형형색색의 형광펜 사용하면서 풀어봤어요..   (수험생이었다면 그냥 샤프로 동그라미 네모 밑줄 쳐가면서 호로록 읽어 내려갔을거임)   아래 5가지 개념들만 잡는다고 생각하면서 읽어 내려갔다.  - 확산 모델  - 노이즈  - 노이즈 생성기, 이미지 연산기, 노이즈 예측기   - 순확산 과정, 역확산 과정  - 잠재표현 그러면 아래와 같다.확산모델① 원본 이미지에 ② 노이즈를 점진적으로 추가했다가 (순확산)   - 노이즈 생성기    - 노이즈 생성 (얘가 정답 노이즈)   - 이미지 연산기    - 원본이미지 + 노이즈 → 확산이미..

VGGNet 논문리뷰이번 논문리뷰는 VGGNet 논문이다 [1].(K. Simonyan and A. Zisserman, "Very Deep Convolutional Networks for Large-Scale Image Recognition," Proc. Int. Conf. on Learning Representations (ICLR), 2015.) 논문 제목은 Very Deep Convolutional Networks for Large-Scale Image Recognition이다. (+ VGG는 옥스퍼트 대학교의  연구그룹 Visual Geometry Group에서 나온 이름이다.) ~ 목차 ~0. Abstract1. Introduction2. ConvNet 구성  2.1 구조  2.2 구성  2.3..

AlexNet 논문리뷰첫 논문리뷰는 바로 AlexNet 논문이다 [1].(A. Krizhevsky, I. Sutskever, and G. Hinton, "Imagenet classification with deep convolutional neural networks," in Advances in Neural Information Processing Systems (NIPS), vol. 25, 2012.) 논문 제목은 Imagenet classification with deep convolutional neural networks이다.  ~ 목차 ~0. Abstract1. Introduction2. 데이터  2.1 구성  2.2 전처리방법3. 모델 구조  3.1 ReLU   3.2 멀티 GPU 사용  3..

IP주소책 『면접을 위한 CS 전공지식 노트』를 바탕으로 스터디를 진행하면서 공부한 내용을 정리했다. ~ 목차 ~1. ARP  1.1 ARP  1.2 RARP2. 홉바이홉 통신3. IP 주소 체계4. IP 주소를 이용한 위치정보 1. ARP  - 컴퓨터와 컴퓨터 간의 통신은 MAC주소를 기반으로 한다.   1.1 ARP (Address Resolution Protocol)    - IP주소를 MAC주소로 변환한다.     Q1: (필요성) 왜 IP주소를 MAC주소로 변환하는가?      - 패킷이 목적지로 도착하려면 최종적으로 MAC 주소가 필요하다.         IP 주소만으로는 로컬 네트워크 내에서 물리적인 장치를 구분할 수 없기 때문이다.     - 절차      ① A가 보내고자 하는 메세지를 ..

설문지 응답 검출 프로그램 제작(with Python) ~ 목차 ~1. 개요 1.1 기간 1.2 TASK 1.3 문제점 1.4 목표2. 데이터 2.1 구성 2.2 특징3. 프로세스4. 이슈와 해결방법 4.1 bbox 위치·크기 설정의 애매함 4.2 응답 색의 다양함 4.3 과하게 연한 응답 존재5. 결과6. 회고 1. 개요 1.1 기간 - 총 3일 (24.7.30. - 24.8.1.) 1.2 TASK - 학과 대학원 연구실에서 설문지로 진행한 설문조사의 응답을 전산상에 입력해야 했다. 1.3 문제점 - 기존에는 응답 데이터를 사람이 수기로 입력했는데, 문항에 비례하여 시간이 소요된다는 단점이 있었다. 1.4 목표 - 시간을 절약하기 위해 설문지에서 응답..

Adam과 관련된 최적화 방법들(RMSProp, AdaGrad) Adam 논문의 section 5에 있는 AdaGrad의 수식이 그냥 보니 잘 이해가 안 돼서 하나하나 짚고 넘어가고자 한다.Section 5에서는 Adam과 관련된 최적화 방법들을 설명한다.  그리 길지 않으니 이참에 section 전체를 해석하면서 수식도 정리해보겠다.   ~ 목차 ~1. 관련된 최적화 방법들  1.1 RMSProp  1.2 AdaGrad 1. 관련된 최적화 방법들 - Adam과 직접적으로 관련이 있는 최적화 방법은 RMSProp과 AdaGrad이다. - 이 외에 Stochastic한 최적화 방법으로는 vSGD, AdaDelta, Natural Newton Method 가 있고, 이들은 모두   기울기 정보(first-o..

최적화 방법6- Adam앞에서 RMSProp까지 정리했다. 이어서 Adam에 대해서 정리하려고 한다. ~ 목차 ~0. 서론- 왜 갑자기 최적화를 공부하고 있는가1. 최적화란2. 종류  2.1 경사하강법(GD)  2.2 확률적 경사하강법(SGD)  2.3 Momentum  2.4 AdaGrad  2.5 RMSProp  2.6 Adam  2. 종류   2.6 Adam- Adam은 Adaptive Moment Estimation의 약자로, ①Momentum의 장점과 ②RMSProp의 장점을 결합한 방법이다.    ① Momentum의 장점: 기울기 방향성 보존(안정성)    - Momentum의 기본 수식은 $v \leftarrow \alpha v - \eta \frac{\partial L}{\partial ..

토익 950 후기- 오늘 토익 점수가 발표나서 토익 후기를 간단히 적어보려고 한다. ~ 목차 ~1. 응시이유 / 목표2. 베이스3. 공부 방법4. 문제풀이 순서5. 공부 / 시험 팁1. 응시이유 / 목표  - 대학원 진학(공학계열)을 염두에 두고 어학성적을 만들기 위해 응시했다.  - 850 이상을 목표로 했고, 다른 공부들이 급했기 때문에.. 최소한의 시간을 투자하고자 했다. 2. 베이스  - 3년 전 토익 905점, 2년 전 토스 AL  - 올해 초에 미국 초등학교로 1달간 교생실습을 다녀왔다.  - 최근에 영어 논문을 계속 읽어와서 영어가 익숙했다. 3. 공부 방법  - 부담스러운 목표는 아니었기 때문에 실전 감각을 기르는 데에 초점을 뒀다.  - 오른쪽의 기출문제집으로 공부했다.  - 시험 직전 ..

최적화 방법5- RMSProp앞에서 모멘텀(Momentum)까지 정리했다. 이어서 RMSProp에 대해서 정리하려고 한다. ~ 목차 ~0. 서론- 왜 갑자기 최적화를 공부하고 있는가1. 최적화란2. 종류  2.1 경사하강법(GD)  2.2 확률적 경사하강법(SGD)  2.3 Momentum  2.4 AdaGrad  2.5 RMSProp  2.6 Adam  2. 종류   -AdaGrad의 단점(학습이 진행될수록 기울기 제곱값이 누적되어 학습률이 작아짐)을 개선하기 위해 RMSProp이 제안되었다.  2.5 RMSProp  - RMSProp은 Root Mean Square Propagation의 줄임말로, 기울기 제곱의 지수 이동 평균을 사용해서 학습률을 조절하는 방법이다. (c.f. 지수 이동 평균: 최근..

프로세스책 『면접을 위한 CS 전공지식 노트』를 바탕으로 스터디를 진행하면서 공부한 내용을 정리했다. ~ 목차 ~1. 프로세스란2. 프로세스와 컴파일 과정  2.1 인터프리터와 컴파일러  2.2 컴파일러를 사용하는 이유  2.3 컴파일러의 컴파일 과정3. 프로세스의 상태4. 프로세스의 메모리 구조  4.1 동적 영역  4.2 정적 영역5. PCB  1. 프로세스란  - 프로세스(process)란 프로그램을 실행하기 위해서 메모리에 올린 상태이다.    (+ 프로그램은 정적인 상태이고 프로세스는 동적인 상태이다.) 2. 프로세스와 컴파일 과정  2.1 인터프리터와 컴파일러  - 프로그램을 실행하려면 고급언어로 작성한 소스코드를 기계어로 번역해야 하는데,    이때 사용되는 방법으로는 대표적으로 인터프리터(..

최적화 방법4- AdaGrad앞에서 모멘텀(Momentum)까지 정리했다. 이어서 AdaGrad에 대해서 정리하려고 한다. ~ 목차 ~0. 서론- 왜 갑자기 최적화를 공부하고 있는가1. 최적화란2. 종류  2.1 경사하강법(GD)  2.2 확률적 경사하강법(SGD)  2.3 Momentum  2.4 AdaGrad  2.5 RMSProp  2.6 Adam 2. 종류   2.4 AdaGrad  - AdaGrad는 Adaptive Gradient의 줄임말로, 기울기 제곱의 누적합을 사용해서 학습률을 조절(자주 업데이트되면 학습률 감소, 드물게 업데이트되면 학습률 유지)하는 방법이다.   - 이 역시 수식으로 설명해보고자 한다. AdaGrad의 가중치 매개변수 업데이트 공식은 아래와 같다. $h \leftarr..

최적화 방법3- Momentum앞에서 확률적 경사하강법(SGD)까지 정리했다. 이어서 모멘텀(Momentum)에 대해서 정리하려고 한다. ~ 목차 ~0. 서론- 왜 갑자기 최적화를 공부하고 있는가1. 최적화란2. 종류  2.1 경사하강법(GD)  2.2 확률적 경사하강법(SGD)  2.3 Momentum  2.4 AdaGrad  2.5 RMSProp  2.6 Adam3. 정리 2. 종류   2.3 Momentum  - 모멘텀(Momentum)은 운동량이라는 뜻으로, 이전의 이동방향을 계속 유지하려고 하는 성질, 즉 관성을 뜻한다. 최적화에서는 이러한 느낌을 살려서 가중치 매개변수를 갱신할 때 이전 기울기를 일부 반영하면서 현재 기울기에 따라 새로운 방향으로 이동하도록 만든다.  - 모멘텀을 도입하면 SG..

최적화 방법2- Stochastic Gradient Descent앞에서 경사하강법(GD)까지 정리했다. 이어서 확률적 경사하강법(SGD)에 대해서 정리하려고 한다. ~ 목차 ~0. 서론- 왜 갑자기 최적화를 공부하고 있는가1. 최적화란2. 종류  2.1 경사하강법(GD)  2.2 확률적 경사하강법(SGD)  2.3 Momentum  2.4 AdaGrad  2.5 RMSProp  2.6 Adam3. 정리 2. 종류   2.2 확률적 경사하강법(SGD)  - Stochastic Gradient Descent, SGD  - Stochastic의 의미: 데이터를 무작위로 골라냈다는 뜻  - 기본 아이디어는 GD와 비슷하다. 데이터 추출 방식을 바꾼 것 뿐이다. GD는 1번 이동할 때 모든 데이터를 사용해서 $w..

최적화 방법1- Gradient Descent ~ 목차 ~0. 서론- 왜 갑자기 최적화를 공부하고 있는가1. 최적화란2. 종류  2.1 경사하강법(GD)  2.2 확률적 경사하강법(SGD)  2.3 Momentum  2.4 AdaGrad  2.5 RMSProp  2.6 Adam3. 정리 0. 서론- 왜 갑자기 최적화를 공부하고 있는가- 논문들을 읽으면서 기본기가 부족하다는 것이 다시 느껴졌다. 최적화에 대해서 정확히 알지 못했다. 내가 아는 것은.. 최적화가 기울기를 이용해서 손실함수를 최소로 하는 방법이고, 종류로는 SGD, Adam이 있지만 최근에는 대부분 Adam을 사용한다는 정도 뿐이었다. 그래서 든든한 기본서 『밑바닥부터 시작하는 딥러닝』을 다시 꺼내들었다.- 읽으면서 최적화 갱신 경로 부분이 ..

보호되어 있는 글입니다.

Attention 구현(3/3)참고문헌: 책 『밑바닥부터 시작하는 딥러닝2』 Chapter8. 어텐션~ 목차 ~4. Attention 응용- Transformer4.1 RNN의 단점4.2 Transformer란5. 소감4. Attention 응용- Transformer4.1 RNN의 단점GPU 학습은 병렬계산환경에서 이루어지는데, RNN은 구조적으로 병렬 계산이 불가능하기 때문에 GPU의 성능을 충분히 활용하지 못함(RNN은 이전 시각의 계산결과를 다음 시각에 활용하기 때문). 그래서 성능이 잘 안 나옴이를 개선하기 위해서는 아래와 같은 두 가지 방법이 있음[방법1] 병렬 계산이 가능한 RNN 도입[방법2] RNN을 아예 제거하고 새로운 모델 도입다양한 연구들이 있지만, 가장 대표적인 모델은 [방법2]를..