학습블로그.. AI를 곁들인..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf 4.2 Eigenvalues and Eigenvectors이제 행렬과 그 linear mapping을 eigen이라는 개념을 통해서 새롭게 표현해볼 것이다.  Def 4.6$n \times n$ 행렬 $A$에 대해서 $\lambda$를 eigenvalue라고 하고, $A$가 $Ax = \lambda x$를 만족할 때 $x$를 $A$의 eigenvector라고 한다. 그리고 이 식을 eigenvalue equation 이라고 부른다.   Remark관습적으로 eigenvalue를 내림차순으로 정렬한 뒤 순서대로 first, second, .. ..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf 4.1 Determinant and Trace이어서 $n \times n$ 행렬 $A$의 성질에 대해서 알아볼 것이다.$n \times n$ 행렬 $A$의 성질은 아래와 같다. • $det(AB) = det(A)det(B)$• $det(A) = det(A^{\top})$• $det(A) \neq 0$이면 $det(A^{-1}) = \frac{1}{det(A)}$• Similar matrices($B = P^{-1}AP$, 기저변환 행렬)끼리는 determinant가 같다.  즉, determinant는 basis를 무엇으로 잡는가에 따라서 변..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf 4.1 Determinant and Trace앞에서 배웠듯이 행렬 $A \in \mathbb R^{n \times n}$의 determinant은 $A$를 $\mathbb R$로 대응시키는 함수이다.쓸 때는 $det(A)$ 혹은 $\begin{vmatrix} A \end{vmatrix}$와 같이 쓴다.   Ex 4.1 (Testing for Matrix Invertibility)행렬 $A \in R^{n \times n}$을 $n$의 크기에 따라서 살펴보자.(i) $A$가 $1 \times 1$ 행렬 $a$일 때:   $A$의 역행렬은 $A^..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf 4. Matrix DecompositionsChapter 2와 3에서 벡터를 여러 가지 방법으로 다루어봤다. 이번 챕터에서는 행렬을 요약하는 법(summarization), 행렬을 분해하는 법(decomposition), 그리고 분해된 행렬을 사용해서 행렬을 근사하는 법(approximation)에 대해서 배울 것이다. Section 4.1의 determinants와 sections 4.2의 eigenvalues를 통해 몇 개 안되는 숫자를 가지고 행렬 전체의 성질을 설명하는 방법에 대해서 배울 것이다. 그 다음 섹션들에서 matrix dec..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf [3.6]   [3.7]  [3.8]   [3.9] 코시슈바르츠 부등식($| \langle x,y \rangle | \leqslant \| x \| \| y \|$)을 사용해서 증명하는 문제였다.a는 $x$에 $x_{1}, x_{2}, ..., x_{n}$을, $y$에 $y = 1,1, ..., 1$을 넣고 풀면 되었고,b는 $x$에 $\sqrt{x_{1}}, \sqrt{x_{2}}, ..., \sqrt{x_{n}}$을, $y$에 $y = \frac{1}{\sqrt{x_{1}}}, \frac{1}{\sqrt{x_{2}}}, ..., \fra..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf  [3.1] $\langle x,y \rangle$이 내적임을 증명하는 문제였다. Def 3.2와 Def 3.3을 바탕으로 풀었다.Positive definite, symmetric, bilinear 를 만족하는지 각각 체크해주었다.   [3.2] 3.1과 비슷하지만 $\langle x,y \rangle$이 내적인지 알아보는 문제였다.똑같이 Positive definite, symmetric, bilinear 를 만족하는지 각각 체크해주었다. $\therefore$ Symmetric하지 않으므로 inner product가 아니다.  [3.3]..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf 3.9 RotationsSecion 3.4에서 orthogonal transformation matrix를 가지는 linear mapping들의 2가지 특징인 length, angle preservation에 대해서 공부했다.이번에는 rotation을 설명하는 특별한 orthogonal transformation matrix에 대해서 공부할 것이다. Rotation은 평면을 $\theta$만큼 회전시키는 linear mapping(유클리드 공간의 automorphism)이다.$\theta > 0$이면 반시계방향으로 회전시킨다.아래 그림은 $R..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf 3.8.3 Gram-Schmidt OrthogonalizationGram-Schmidt Orthogonalization은 벡터공간 $V$의 n차원 벡터공간 위에 있는 basis ($b_{1}, ..., b_{n}$)를 orthogonal/orthonormal basis $u_{1}, ..., u_{n}$로 바꾼다. 이 과정에서 projection이 핵심 역할을 한다.이러한 basis는 항상 존재하고, $span[b_{1}, ..., b_{n}]$ = $span[u_{1}, ..., u_{n}]$이다. 그래서 어떻게 하느냐!1. 첫 번째 벡터는..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf 3.8.2 Projection onto General Subspaces이번에는 벡터 $x$의 $\mathbb R ^{m}$($m \geqslant 1$)로의 orthogonal projection $x - \pi_{U}(x)$를 구해볼 것이다. 아래 그림과 같은 상황이다.  3.8.1에서 했던 것처럼 3단계에 걸쳐서 구하면 된다. 1.  $\lambda$ 구하기  $\pi_{U}(x) = \sum_{i=1}^m \lambda_{i} b_{i} = B \lambda$이고, $B = \begin{bmatrix} b_{1}, ..., b_{m} \..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf 3.8 Orthogonal ProjectionsProjection은 선형변환에서 매우 중요한 개념이다. (e.g. PCA, deep auto-encoder)머신러닝에서 종종 고차원의 데이터를 다루게 되는데, 고차원 데이터는 분석･시각화하기가 힘들기 때문에 차원을 축소시키는 방법을 사용한다.고차원 데이터는 몇몇 차원에 정보가 집중되어있기에 가능한 방법이다.이때, 정보손실을 최소화하기 위해서 가장 중요한 차원을 찾아야 한다. 이를 Orthogonal projection 이라고 한다.그림으로 나타내면 아래와 같다.이 방법은 Chapter10의 li..