학습블로그.. AI를 곁들인..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf 5 Vector Calculus머신러닝은 결국 좋은 파라미터를 찾아서 모델 성능을 높이는 과정이고,이것은 vector calculus를 활용해서 함수 최적화 문제로 바꿔서 접근할 수 있다.아래는 vector calculus로 해결할 수 있는 함수 최적화 문제들의 예시이다.  이번 장에서는 함수를 중심으로 다룬다.함수 $f$는 입력$(x \in \mathbb R^D)$을 받아서 출력($f(x)$)을 하는 것이라고 할 수 있다.입력 공간을 domain, 출력 공간을 image/codomain이라고 부르고, 따로 명시되지 않으면 실수값으로 한정한다..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf 4단원 연습문제를 풀었다갈수록 재밌어진다누가 날 묶어두고 수학만 풀라고 했으면 좋겠다 (그렇다고 잘하는 건 아님) 4.7Diagonalizability 판별한 뒤가능하면 diagonal form하고 basis 행렬을 구하고, 불가능하면 이유를 설명하는 문제였다.역시나 $4 \times 4$ 크기 행렬의 eigenvalue를 계산하는 것이 쉽지 않았다.  4.8SVD 구하는 문제였다.  4.9얘도 SVD 구하는 문제였다.  4.104.8에서 구한 $A$의 SVD를 바탕으로 rank-1 approximation을 구해보는 문제였다. 4.11$AA..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf 4단원 연습문제를 풀었다갈수록 재밌어진다누가 날 묶어놓고 수학만 풀라고 했으면 좋겠다 (그렇다고 잘하는 건 절대 아님) 4.1그냥 Laplace하고 Sarrus 적용해서 determinant 구하는 문제였다.   4.2Determinant를 효율적으로 계산해보는 문제였다.$5 \times 5$크기의 행렬이므로 Laplace나 Sarrus를 쓰기는 쉽지 않을 것이다.가우스 소거법을 적용해서 대각원소들을 곱하는 방법을 사용했다.  4.3그냥 eigenspace 계산문제였다.  4.4얘도 eigenspace 계산문제였다.$4 \times 4$ 행..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf 4.7 Matrix Phylogeny아래는 행렬의 phylogeny(생물의 진화 과정과 그 관계를 나타내는 방법)이다.맨 위의 Real matrices에서부터 보면 된다.(검은 화살표: 부분집합 관계/ 파란 글씨: 수행할 수 있는 연산)(+ Non-singular 행렬과 non-defective 행렬은 다르다!  e.g. 회전행렬 $R = \begin{bmatrix} \cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{bmatrix}$    $\rightarrow$  invertible..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf 4.6 Matrix Approximation지금까지 행렬 $A$를 $A = U \Sigma V^{\top}$으로 분해시키는 방법에 대해서 알아봤다.이제 $A$ SVD로 전체 분해하는 방법 대신에, low-rank 행렬 $A_i$들의 합으로 나타내는 방법을 알아볼 것이다.SVD를 전체 분해할 때보다 계산 비용이 적게 든다!  $m \times n$ 행렬 $A$는 아래와 같이 rank-1 행렬들의 합으로 나타낼 수 있다. $$A = \sum_{i=1}^r \sigma_i u_i {v_i}^{\top}$$ $u_i$와 ${v_i}^{\top}$는 각각..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf 4.5.3 Eigenvalue Decomposition vs. Singular Value DecompositionEiegendecomposition $A = PDP^{-1}$과 SVD $A = U \Sigma V^{\top}$에 대해서 복습을 해보자. [Existance]• SVD는 항상 존재한다.  하지만 eigendecomposition은 정사각행렬에만 적용할 수 있고, $\mathbb R^n$의 eigenvector들의 basis를 찾을 수 있을 때만 존재한다. [Orthogonality]• Eigendecomposition 행렬 $P$..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf 4.5.2 Construction of the SVD이번 section에서는 왜 SVD가 항상 존재하는지, 그리고 SVD를 어떻게 계산하는지에 대해서 알아볼 것이다. SVD는 정사각행렬의 eigendecomposition과 비슷한 면이 있다. Remark.SPD(symmetric positive definite) 행렬 $S$의eigendecomposition은 $S = S^{\top} = PDP^{\top}$이고SVD는 $S = U \Sigma V^{\top}$ 이다.만약 $U = P = V$이고 $D = \Sigma$ 일 때 eigendec..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf 4.5 Singular Value Decomposition선형대수에서 SVD(singular value decomposition)는 중요한 matrix decomposition 방법이다.모든 행렬에 적용할 수 있고, 항상 존재하기 때문이다.그리고 SVD를 통해서 선형변환 $\phi: V \rightarrow W$이 벡터 공간의 구조를 어떻게 바꾸는지 기하학적으로 설명할 수 있다.   Theorem 4.22 (SVD Theorem)$m \times n$ 행렬 $A$가 있을 때, $A$의 SVD 공식은 아래와 같다.$$A = U \Sigma V^..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf 4.3 Cholesky Decomposition행렬도 분해할 수 있다.여러 가지 방법이 있는데 우리는 Cholesky decomposition/ Cholesky factorization에 대해서 알아볼 것이다.(숫자에서의 제곱근처럼 행렬을 분해하는 방법이라서 symmetric, positive definite 한 행렬에만 적용할 수 있음)  Theorem 4.18 (Cholesky Decomposition)Symmetric하고 positive definite한 행렬 $A$는 $A = LL^{\top}$으로 분해할 수 있다.여기서 $L$을 $A..

공부하는 단계에서 정리한 내용입니다.잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.https://mml-book.github.io/book/mml-book.pdf 4.2 Eigenvalues and Eigenvectors Graphical Intuition in Two Dimensions여러 가지 linear mapping을 사용해서 determinant, eigenvector, eigenvalue를 직관적으로 접근해보자.아래는 5개의 transformation 행렬이 원점을 중심으로 하는 정사각형에 미치는 영향을 각각 나타낸다. eigenvalue는 변환 후에도 같은 방향으로 남아있는 벡터들의 크기 변화를 나타냄!e.g. $A=\begin{bmatrix} 2 & 0 \\ 0 & 3 \end{bmatr..