학습블로그.. AI를 곁들인..

Lecture10: Recurrent Neural Networks- CS231n 강의 [1]를 듣고 공부한 내용을 나름대로 정리했다.CS231n 강의 [1] - 글에 있는 모든 그림, 표, 예시는 [2]에서 가져왔다.  ~ 목차 ~1. 개념2. Computational Graph    2.1 Many to Many    2.2 Many to One    2.3 One to Many    2.4 Sequence to Sequence: Many-to-one + One-to-many3. 문제점 & 해결방안    3.1 Gradient Exploding → Gradient Clipping    3.2 Gradient Vanishing → LSTM    3.3 BPTT → Truncated BPTT4. Inter..

Lecture9: CNN Architectures- CS231n 강의 [1]를 듣고 공부한 내용을 나름대로 정리했다.CS231n 강의 [1] - 글에 있는 모든 그림, 표, 예시는 [2]에서 가져왔다.  ~ 목차 ~1. 주요 모델들  1.1 AlexNet  1.2 VGG  1.3 GoogLeNet  1.4 ResNet  1.5 모델 비교2. 그 외 모델들  2.1 NiN (Network in Network)  2.2 Improved model of ResNet  2.3 Wide ResNet  2.4 ResNeXT  2.5 Stochastic Depth  2.6 FractalNet  2.7 DenseNet  2.8 SqueezeNet  1. 주요 모델들- 주요 모델인 AlexNet, VGGNet, Goog..

Lecture8: Deep Learning Software- CS231n 강의 [1]를 듣고 공부한 내용을 나름대로 정리했다.CS231n 강의 [1] - 글에 있는 모든 그림, 표, 예시는 [2]에서 가져왔다.  ~ 목차 ~1. CPU vs. GPU    1.1 CPU and GPU    1.2 In Practice2. Deep Learning Framework    2.1 중요성    2.2 PyTorch        2.2.1 Tensor        2.2.2 Module    2.3 Torch vs PyTorch    2.4 Static Graph vs Dynamic Graph  1. CPU vs. GPU   1.1 CPU and GPU  - CPU는 컴퓨터의 핵심 연산 장치이다. 다양한 작업을 ..

Lecture7: Training Neural Networks II- CS231n 강의 [1]를 듣고 공부한 내용을 나름대로 정리했다.CS231n 강의 [1] - 글에 있는 모든 그림, 표, 예시는 [2]에서 가져왔다.  ~ 목차 ~1. Optimization    1.1 First-Order Optimization        1.1.1 Problems with SGD        1.1.2 SGD + Momentum        1.1.3 Nesterov Momentum        1.1.4 AdaGrad        1.1.5 RMSProp        1.1.6 Adam        1.1.7 UsingLearning Rate Decay    1.2 Second-Order Optimization..

Lecture6: Training Neural Networks I- CS231n 강의 [1]를 듣고 공부한 내용을 나름대로 정리했다.- 글에 있는 모든 그림, 표, 예시는 [2]에서 가져왔다.  ~ 목차 ~1. Activation Functions    1.1 Sigmoid    1.2 Tanh    1.3 ReLU    1.4 Leaky ReLU    1.5 ELU    1.6 Maxout    1.7 정리2. Data Preprocessing3. Weight Initialization    3.1 랜덤 초기화    3.2 특정 수로 초기화    3.3 Xavier 초기화    3.4 He 초기화4. Batch Normalization5. Babysitting the Learning Process   ..

Lecture5: Introduction to Neural Networks- CS231n 강의 [1]를 듣고 공부한 내용을 나름대로 정리했다.CS231n 강의 [1] - 글에 있는 모든 그림, 표, 예시는 [2]에서 가져왔다.  ~ 목차 ~1. ConvNet이란?2. ConvNet 역사3. ConvNet 구조    3.1 Convolution Layer        3.1.1 원리        3.1.2 Stride        3.1.3 Zero Padding        3.1.4 1x1 conv layer        3.1.5 Torch 구현    3.2 Pooling Layer    3.3 Fully Connected Layer4. ConvNet 활용 1. ConvNet이란?- ConvNet는 ..

Lecture4: Introduction to Neural Networks- CS231n 강의 [1]를 듣고 공부한 내용을 나름대로 정리했다.CS231n 강의 [1] - 글에 있는 모든 그림, 표, 예시는 [2]에서 가져왔다.  ~ 목차 ~0. 지난 시간 복습1. Computational Graph2. Back Propagation    2.1 개념    2.2 예시    2.3 패턴    2.4 Vectorized 연산    2.5 코드 구현3. Neural Networks    3.1 개념    3.2 구조    3.3 수식    3.4 실제 뉴런과의 비교  0. 지난 시간 복습- 지난 시간에 손실함수를 최소로 하는 W값을 구하기 위해 기울기를 통해 optimization을 하는 방법을 소개했다. -..

Lecture3: Loss Functions and Optimization- CS231n 강의 [1]를 듣고 공부한 내용을 나름대로 정리했다.CS231n 강의 [1] - 글에 있는 모든 그림과 표는 [2]에서 가져왔다. ~ 목차 ~1. Loss Function    1.1 Data loss        1.1.1 Multiclass SVM Loss (Hinge Loss)        1.1.2 Cross-entropy Loss (Softmax)        1.1.3 SVM vs. Softmax    1.2 Regularization2. Optimization    2.1 Random Search    2.2 Follow the slope        2.2.1 Numerical gradient     ..

Lecture2: Image Classification- CS231n 강의 [1]를 듣고 공부한 내용을 나름대로 정리했다.CS231n 강의 [1] - 글에 있는 모든 그림과 표는 [2]에서 가져왔다.  ~ 목차 ~1. Image Classification의 어려움2. Classifier 종류    2.1 Nearest Neighbor        2.1.1 시각화        2.1.2 수식 표현           2.1.3 코드 구현          2.1.4 CIFAR-10에 적용        2.1.5 한계    2.2 Linear Classification        2.2.1 수식표현        2.2.2 시각화        2.2.3 한계3. Hyperparameters    3.1 Tra..