학습블로그.. AI를 곁들인..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf 3.9 RotationsSecion 3.4에서 orthogonal transformation matrix를 가지는 linear mapping들의 2가지 특징인 length, angle preservation에 대해서 공부했다.이번에는 rotation을 설명하는 특별한 orthogonal transformation matrix에 대해서 공부할 것이다. Rotation은 평면을 $\theta$만큼 회전시키는 linear mapping(유클리드 공간의 automorphism)이다.$\theta > 0$이면 반시계방향으로 회전시킨다.아래 그림은 $R..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf 3.8 Orthogonal ProjectionsProjection은 선형변환에서 매우 중요한 개념이다. (e.g. PCA, deep auto-encoder)머신러닝에서 종종 고차원의 데이터를 다루게 되는데, 고차원 데이터는 분석･시각화하기가 힘들기 때문에 차원을 축소시키는 방법을 사용한다.고차원 데이터는 몇몇 차원에 정보가 집중되어있기에 가능한 방법이다.이때, 정보손실을 최소화하기 위해서 가장 중요한 차원을 찾아야 한다. 이를 Orthogonal projection 이라고 한다.그림으로 나타내면 아래와 같다.이 방법은 Chapter10의 li..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf 3.5 Orthonormal BasisSection 2.6.1에서 basis의 성질을 다루면서 n차원 벡터공간에는 n개의 basis 즉, n개의 선형 독립 벡터가 필요하다는 것을 배웠다.Section 3.3과 3.4에서는 벡터의 길이와 벡터 간의 각도를 구하기 위해서 inner product를 사용했다.이제 basis 벡터들이 orthogonal하고 각 벡터들의 길이가 1인 orthonormal basis에 대해서 살펴볼 것이다.  Def 3.9 (Orthonormal Basis)n차원의 벡터공간 $V$와 이 벡터공간에 n개의 basis {$..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf 3.2 Inner ProductsInner product는 벡터의 길이와 두 벡터 사이의 각도를 직관적으로 알 수 있게 해준다.주로 벡터들이 서로 orthognal한지 확인하기 위해 사용된다. 3.2.1 Dot ProductDot Product은 두 벡터를 입력으로 받아서 스칼라 값을 반환하는 연산이다.​ 공식은 아래와 같다.$$\mathbf{x}^\top \mathbf{y} = \sum_{i=1}^{n} x_i y_i$$하지만 inner product는 단순한 dot product보다는 일반적인 개념이다.  3.2.2 General Inne..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf 2.6.1 Generating Set and Basis Def 2.13 (Generating Set and Span)- 벡터공간 $V$에 있는 벡터집합 $A = {x_{1}, x_{2}, ..., x_{k}}$에 대해서, A의 벡터들을 linear combination해서 벡터공간 V의 벡터를 표현할 수 있다면, $A$를 $V$의 Generating Set 이라고 한다.- $A$의 벡터들로 만들 수 있는 모든 linear combination의 집합을 $A$의 Span 이라고 한다.- $A$의 span이 벡터 공간 $V$ 전체를 의미하면, $..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf - 이번 단원에서는 벡터로 무엇을 할 수 있는지 알아볼 것이다.  벡터끼리 더할수도 있고, 스칼라곱을 할 수도 있다.  Closure property(벡터 연산을 하기 전과 후의 벡터는 항상 같은 벡터 공간에 속한다) 성질이 있다.  몇 개의 특정 벡터들을 적당히 더하고 곱해서 벡터 공간에 있는 모든 벡터를 만들어 낼 수도 있다.- 2.6에서 Basis라는 개념을 배우기 전에, linear combination과 linear independence에 대한 개념을 공부해야 한다.  Def 2.11 (Linear Combination) - $v$..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf - Vector Spaces란 벡터가 존재하는 공간을 나타낸다.- Group이란 원소들의 집합과 이 원소들 위에 정의된 연산으로 이루어진 구조이다.  이 연산이 집합의 일부 구조를 유지해야 group이라고 할 수 있다. 2.4.1 GroupsDef 2.7 (Group) - 어떤 연산에 대해서 위 4가지 조건(폐쇄성, 결합법칙, 항등원, 역원)을 만족하면 G를 group라고 부른다. - Remark. 연산에 따라서 역원의 정의와 의미가 달라진다.  e.g. 덧셈에 대한 $x$의 역원은 $-x$이고, 곱셈에 대한 $x$의 역원은 $\frac{1}..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf 계산을 어떻게 하는지 구체적으로 알아보는 단원이다. 2.3.1 Particular and General Solution- Particular solution 구하는 거까진 이해되는데 general solution 구하는게 무슨 말인지 모르겠다.. (헐 이제 이해됨)  갑자기 $\lambda_{1}$과 $\lambda_{2}$는 어디서 튀어나온 것인가.  다시 보면 이해가 될까..? 이거를 왜 하고 있는지 이해가 안 됨  다시 와서 봐야겠다.  아무튼 지금은 particular solution하고 general solution을 구해서 해를 구..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf 먼저 matrix의 정의를 알아보자. Def 2.1 (Matrix)- 실수로 이루어진 ($m$, $n$) $matrix A$는 $m * n$개의 원소로 이루어진 순서쌍이다.- 1에서 $n$을 row라고 하고, 1에서 $m$을 column이라고 한다.  2.2.1 Matrix Addition and Multiplication- mxn행렬 A와 mxn행렬 B의 element-wise sum은 (2.12)와 같다.- mxn행렬 A와 nxk행렬 B의 product(행렬곱)은 (2.13)과 같이 표현되고, Example 2.3과 같이 계산된다.- 여기..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf Linear equation은 선형대수에서 중요한 역할을 한다.많은 문제들이 linear equation으로 표현될 수 있고, 이렇게 되면 많은 문제를 해결할 수 있다. Example 2.1은 linear equation을 이용해서 문제를 해결하는 예시다. (2.3)의 linear equation을 통해서 각 제품을 얼마나 생산할지를 나타내는 $x_{1}, x_{2}, ..., x_{n}$을 구할 수 있다.$x_{1}, x_{2}, ..., x_{n}$을 linear equation system의 solution이라고 한다.  Example ..