학습블로그.. AI를 곁들인..

Lecture10: Recurrent Neural Networks- CS231n 강의 [1]를 듣고 공부한 내용을 나름대로 정리했다.CS231n 강의 [1] - 글에 있는 모든 그림, 표, 예시는 [2]에서 가져왔다.  ~ 목차 ~1. 개념2. Computational Graph    2.1 Many to Many    2.2 Many to One    2.3 One to Many    2.4 Sequence to Sequence: Many-to-one + One-to-many3. 문제점 & 해결방안    3.1 Gradient Exploding → Gradient Clipping    3.2 Gradient Vanishing → LSTM    3.3 BPTT → Truncated BPTT4. Inter..

인덱스책 『면접을 위한 CS 전공지식 노트』를 바탕으로 스터디를 진행하면서 공부한 내용을 정리했다. ~ 목차 ~1. 인덱스의 필요성2. 인덱스의 효율성    2.1 트리 구조    2.2 대수확장성3. 인덱스 만드는 방법    3.1 MySQL    3.2 MongoDB4. 인덱스 최적화 기법  1. 인덱스의 필요성- 인덱스(index)는 데이터베이스에서 테이블의 데이터를 빠르게 검색하기 위해 사용하는 데이터 구조이다.- 아래 그림과 같은 책의 '찾아보기'섹션에 비유할 수 있다.  '찾아보기'를 통해 내가 찾고자 하는 항목이 본문의 어느 위치에 있는지 빠르게 확인할 수 있다.  2. 인덱스의 효율성- 인덱스가 효율적인 이유는 크게 균형 잡힌 트리 구조와 트리 깊이의 대수확장성 때문이다.    2.1 트리..

Lecture9: CNN Architectures- CS231n 강의 [1]를 듣고 공부한 내용을 나름대로 정리했다.CS231n 강의 [1] - 글에 있는 모든 그림, 표, 예시는 [2]에서 가져왔다.  ~ 목차 ~1. 주요 모델들  1.1 AlexNet  1.2 VGG  1.3 GoogLeNet  1.4 ResNet  1.5 모델 비교2. 그 외 모델들  2.1 NiN (Network in Network)  2.2 Improved model of ResNet  2.3 Wide ResNet  2.4 ResNeXT  2.5 Stochastic Depth  2.6 FractalNet  2.7 DenseNet  2.8 SqueezeNet  1. 주요 모델들- 주요 모델인 AlexNet, VGGNet, Goog..

쌓기나무 프로그램 구현 (계획수립) ~ 목차 ~1. 계획수립2. 중간보고3. 최종결과물 저는 사실.. 초등교육을 전공하고 있는 막학기 학부생입니다.지금 소프트웨어와 초등교육이라는 전공 강의를 듣고 있는데 과제로 교과교육 적용을 위한 소프트웨어 개발이라는 과제가 나왔지 뭡니까.이론 공부만 하다가 오랜만에 코드를 만질 기회가 오니 살짝 설렜습니다. 과제는 초등학교 교육과정 내의 소재를 하나 골라서 관련된 소프트웨어를 개발하는 것입니다. 무엇을 개발할지 고민하다가.. 저는 쌓기나무 프로그램을 구현해보기로 했습니다. 쌓기나무는 6학년 2학기 수학에서 나오구요.. 해당 성취기준은 다음과 같습니다. [6수02-10] 쌓기나무로 만든 입체도형을 보고 사용된 쌓기나무의 개수를 구할 수 있다.[6수02-11] 쌓기나무로..

Lecture8: Deep Learning Software- CS231n 강의 [1]를 듣고 공부한 내용을 나름대로 정리했다.CS231n 강의 [1] - 글에 있는 모든 그림, 표, 예시는 [2]에서 가져왔다.  ~ 목차 ~1. CPU vs. GPU    1.1 CPU and GPU    1.2 In Practice2. Deep Learning Framework    2.1 중요성    2.2 PyTorch        2.2.1 Tensor        2.2.2 Module    2.3 Torch vs PyTorch    2.4 Static Graph vs Dynamic Graph  1. CPU vs. GPU   1.1 CPU and GPU  - CPU는 컴퓨터의 핵심 연산 장치이다. 다양한 작업을 ..

Lecture7: Training Neural Networks II- CS231n 강의 [1]를 듣고 공부한 내용을 나름대로 정리했다.CS231n 강의 [1] - 글에 있는 모든 그림, 표, 예시는 [2]에서 가져왔다.  ~ 목차 ~1. Optimization    1.1 First-Order Optimization        1.1.1 Problems with SGD        1.1.2 SGD + Momentum        1.1.3 Nesterov Momentum        1.1.4 AdaGrad        1.1.5 RMSProp        1.1.6 Adam        1.1.7 UsingLearning Rate Decay    1.2 Second-Order Optimization..

Lecture6: Training Neural Networks I- CS231n 강의 [1]를 듣고 공부한 내용을 나름대로 정리했다.- 글에 있는 모든 그림, 표, 예시는 [2]에서 가져왔다.  ~ 목차 ~1. Activation Functions    1.1 Sigmoid    1.2 Tanh    1.3 ReLU    1.4 Leaky ReLU    1.5 ELU    1.6 Maxout    1.7 정리2. Data Preprocessing3. Weight Initialization    3.1 랜덤 초기화    3.2 특정 수로 초기화    3.3 Xavier 초기화    3.4 He 초기화4. Batch Normalization5. Babysitting the Learning Process   ..

Lecture5: Introduction to Neural Networks- CS231n 강의 [1]를 듣고 공부한 내용을 나름대로 정리했다.CS231n 강의 [1] - 글에 있는 모든 그림, 표, 예시는 [2]에서 가져왔다.  ~ 목차 ~1. ConvNet이란?2. ConvNet 역사3. ConvNet 구조    3.1 Convolution Layer        3.1.1 원리        3.1.2 Stride        3.1.3 Zero Padding        3.1.4 1x1 conv layer        3.1.5 Torch 구현    3.2 Pooling Layer    3.3 Fully Connected Layer4. ConvNet 활용 1. ConvNet이란?- ConvNet는 ..

Lecture4: Introduction to Neural Networks- CS231n 강의 [1]를 듣고 공부한 내용을 나름대로 정리했다.CS231n 강의 [1] - 글에 있는 모든 그림, 표, 예시는 [2]에서 가져왔다.  ~ 목차 ~0. 지난 시간 복습1. Computational Graph2. Back Propagation    2.1 개념    2.2 예시    2.3 패턴    2.4 Vectorized 연산    2.5 코드 구현3. Neural Networks    3.1 개념    3.2 구조    3.3 수식    3.4 실제 뉴런과의 비교  0. 지난 시간 복습- 지난 시간에 손실함수를 최소로 하는 W값을 구하기 위해 기울기를 통해 optimization을 하는 방법을 소개했다. -..

Lecture3: Loss Functions and Optimization- CS231n 강의 [1]를 듣고 공부한 내용을 나름대로 정리했다.CS231n 강의 [1] - 글에 있는 모든 그림과 표는 [2]에서 가져왔다. ~ 목차 ~1. Loss Function    1.1 Data loss        1.1.1 Multiclass SVM Loss (Hinge Loss)        1.1.2 Cross-entropy Loss (Softmax)        1.1.3 SVM vs. Softmax    1.2 Regularization2. Optimization    2.1 Random Search    2.2 Follow the slope        2.2.1 Numerical gradient     ..