학습블로그.. AI를 곁들인..

Lecture2: Image Classification- CS231n 강의 [1]를 듣고 공부한 내용을 나름대로 정리했다.CS231n 강의 [1] - 글에 있는 모든 그림과 표는 [2]에서 가져왔다.  ~ 목차 ~1. Image Classification의 어려움2. Classifier 종류    2.1 Nearest Neighbor        2.1.1 시각화        2.1.2 수식 표현           2.1.3 코드 구현          2.1.4 CIFAR-10에 적용        2.1.5 한계    2.2 Linear Classification        2.2.1 수식표현        2.2.2 시각화        2.2.3 한계3. Hyperparameters    3.1 Tra..

CPU 스케줄링 알고리즘책 『면접을 위한 CS 전공지식 노트』를 바탕으로 스터디를 진행하면서 공부한 내용을 정리했다. ~ 목차 ~1. 스케줄링이란?2. 스케줄링 알고리즘의 종류  2.1 비선점형 방식    2.1.1 FCFS    2.1.2 SJF    2.1.3 우선순위  2.2 선점형 방식    2.2.1 라운드 로빈    2.2.2 SRF    2.2.3 다단계 큐 1. CPU 스케줄링이란?  - 스케줄링(scheduling)은 자원을 어떤 시점에 어떤 프로세스에 할당할지 결정하는 것이다.                                                ↳여기서는 CPU를 의미함  - 목적: 자원을 효율적으로 이용하고, CPU를 공정하게 사용할 수 있도록 한다.  - 스케줄링 방..

ResNet 논문리뷰이번 논문리뷰는 ResNet 논문이다 [1].(K. He, X. Zhang, S. Ren, and J. Sun, "Deep Residual Learning for Image Recognition," Proc. IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 2016, pp. 770-778.) 논문 제목은 Deep Residual Learning for Image Recognition이다.   ~ 목차 ~0. Abstract1. Introduction2. 관련 연구3. Deep Residual Learning  3.1 Residual Learning  3.2 Identity Mapping ..

오늘은 수능날이다. 국어 비문학 소재로 diffusion모델이 나왔다는 소식을 듣고 냅다 풀어봤다.이건 놓칠 수 없지! + 수험생의 마음가짐으로 풀지는 않았습니다.. 처음으로 형형색색의 형광펜 사용하면서 풀어봤어요..   (수험생이었다면 그냥 샤프로 동그라미 네모 밑줄 쳐가면서 호로록 읽어 내려갔을거임)   아래 5가지 개념들만 잡는다고 생각하면서 읽어 내려갔다.  - 확산 모델  - 노이즈  - 노이즈 생성기, 이미지 연산기, 노이즈 예측기   - 순확산 과정, 역확산 과정  - 잠재표현 그러면 아래와 같다.확산모델① 원본 이미지에 ② 노이즈를 점진적으로 추가했다가 (순확산)   - 노이즈 생성기    - 노이즈 생성 (얘가 정답 노이즈)   - 이미지 연산기    - 원본이미지 + 노이즈 → 확산이미..

VGGNet 논문리뷰이번 논문리뷰는 VGGNet 논문이다 [1].(K. Simonyan and A. Zisserman, "Very Deep Convolutional Networks for Large-Scale Image Recognition," Proc. Int. Conf. on Learning Representations (ICLR), 2015.) 논문 제목은 Very Deep Convolutional Networks for Large-Scale Image Recognition이다. (+ VGG는 옥스퍼트 대학교의  연구그룹 Visual Geometry Group에서 나온 이름이다.) ~ 목차 ~0. Abstract1. Introduction2. ConvNet 구성  2.1 구조  2.2 구성  2.3..

AlexNet 논문리뷰첫 논문리뷰는 바로 AlexNet 논문이다 [1].(A. Krizhevsky, I. Sutskever, and G. Hinton, "Imagenet classification with deep convolutional neural networks," in Advances in Neural Information Processing Systems (NIPS), vol. 25, 2012.) 논문 제목은 Imagenet classification with deep convolutional neural networks이다.  ~ 목차 ~0. Abstract1. Introduction2. 데이터  2.1 구성  2.2 전처리방법3. 모델 구조  3.1 ReLU   3.2 멀티 GPU 사용  3..

IP주소책 『면접을 위한 CS 전공지식 노트』를 바탕으로 스터디를 진행하면서 공부한 내용을 정리했다. ~ 목차 ~1. ARP  1.1 ARP  1.2 RARP2. 홉바이홉 통신3. IP 주소 체계4. IP 주소를 이용한 위치정보 1. ARP  - 컴퓨터와 컴퓨터 간의 통신은 MAC주소를 기반으로 한다.   1.1 ARP (Address Resolution Protocol)    - IP주소를 MAC주소로 변환한다.     Q1: (필요성) 왜 IP주소를 MAC주소로 변환하는가?      - 패킷이 목적지로 도착하려면 최종적으로 MAC 주소가 필요하다.         IP 주소만으로는 로컬 네트워크 내에서 물리적인 장치를 구분할 수 없기 때문이다.     - 절차      ① A가 보내고자 하는 메세지를 ..

설문지 응답 검출 프로그램 제작(with Python) ~ 목차 ~1. 개요 1.1 기간 1.2 TASK 1.3 문제점 1.4 목표2. 데이터 2.1 구성 2.2 특징3. 프로세스4. 이슈와 해결방법 4.1 bbox 위치·크기 설정의 애매함 4.2 응답 색의 다양함 4.3 과하게 연한 응답 존재5. 결과6. 회고 1. 개요 1.1 기간 - 총 3일 (24.7.30. - 24.8.1.) 1.2 TASK - 학과 대학원 연구실에서 설문지로 진행한 설문조사의 응답을 전산상에 입력해야 했다. 1.3 문제점 - 기존에는 응답 데이터를 사람이 수기로 입력했는데, 문항에 비례하여 시간이 소요된다는 단점이 있었다. 1.4 목표 - 시간을 절약하기 위해 설문지에서 응답..

Adam과 관련된 최적화 방법들(RMSProp, AdaGrad) Adam 논문의 section 5에 있는 AdaGrad의 수식이 그냥 보니 잘 이해가 안 돼서 하나하나 짚고 넘어가고자 한다.Section 5에서는 Adam과 관련된 최적화 방법들을 설명한다.  그리 길지 않으니 이참에 section 전체를 해석하면서 수식도 정리해보겠다.   ~ 목차 ~1. 관련된 최적화 방법들  1.1 RMSProp  1.2 AdaGrad 1. 관련된 최적화 방법들 - Adam과 직접적으로 관련이 있는 최적화 방법은 RMSProp과 AdaGrad이다. - 이 외에 Stochastic한 최적화 방법으로는 vSGD, AdaDelta, Natural Newton Method 가 있고, 이들은 모두   기울기 정보(first-o..

최적화 방법6- Adam앞에서 RMSProp까지 정리했다. 이어서 Adam에 대해서 정리하려고 한다. ~ 목차 ~0. 서론- 왜 갑자기 최적화를 공부하고 있는가1. 최적화란2. 종류  2.1 경사하강법(GD)  2.2 확률적 경사하강법(SGD)  2.3 Momentum  2.4 AdaGrad  2.5 RMSProp  2.6 Adam  2. 종류   2.6 Adam- Adam은 Adaptive Moment Estimation의 약자로, ①Momentum의 장점과 ②RMSProp의 장점을 결합한 방법이다.    ① Momentum의 장점: 기울기 방향성 보존(안정성)    - Momentum의 기본 수식은 $v \leftarrow \alpha v - \eta \frac{\partial L}{\partial ..