공부하는 단계에서 정리한 내용입니다.
잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.
https://mml-book.github.io/book/mml-book.pdf
2.6.1 Generating Set and Basis
Def 2.13 (Generating Set and Span)
- 벡터공간 $V$에 있는 벡터집합 $A = {x_{1}, x_{2}, ..., x_{k}}$에 대해서, A의 벡터들을 linear combination해서 벡터공간 V의 벡터를 표현할 수 있다면, $A$를 $V$의 Generating Set 이라고 한다.
- $A$의 벡터들로 만들 수 있는 모든 linear combination의 집합을 $A$의 Span 이라고 한다.
- $A$의 span이 벡터 공간 $V$ 전체를 의미하면, $V = span[A]$ 또는 $V = span[x_{1}, ..., x_{k}]$ 라고 쓴다.
Def 2.14 (Basis)
- 벡터 공간 $V$ 를 생성하는 더 작은 집합 $\tilde{A} \nsubseteq A \subset V$가 존재하지 않을 때, generating set $A$를 minimal 이라고 부른다.
- Minimal이 linearly independent하면, 이러한 minimal을 $V$의 basis라고 부른다.
- 아래 내용은 다 같은 표현이다.
1. $B$가 벡터공간 $V$의 basis이다.
2. $B$가 minimal generating set이다.
3. $B$가 maximal linearly independent set이다.
(여기서 임의의 벡터를 추가하면 B는 linearly dependent 해진다.)
4. $B$로 만든 선형 결합이 유일하다. (unique representation)
(같은 벡터를 표현하는 방법이 하나뿐임)
Ex 2.16
- $\mathbb R^{3}$에서의 표준 기저(canonical/standard basis)는 $B = \left\{ \begin{bmatrix} 1 \\ 0 \\ 0 \end{bmatrix}, \begin{bmatrix} 0 \\ 1 \\ 0 \end{bmatrix}, \begin{bmatrix} 0 \\ 0 \\ 1 \end{bmatrix} \right\}$ 이다.
다른 기저로는 $B_{1} = \left\{ \begin{bmatrix} 1 \\ 0 \\ 0 \end{bmatrix}, \begin{bmatrix} 1 \\ 1 \\ 0 \end{bmatrix}, \begin{bmatrix} 1 \\ 1 \\ 1 \end{bmatrix} \right\}$과 $B_{2} = \left\{ \begin{bmatrix} 0.5 \\ 0.8 \\ 0.4 \end{bmatrix}, \begin{bmatrix} 1.8 \\ 0.3 \\ 0.3 \end{bmatrix}, \begin{bmatrix} -2.2 \\ -1.3 \\ 3.5 \end{bmatrix} \right\}$가 있다.
즉, basis는 유일하지 않다. 여러 가지가 있을 수 있다.
- $\mathbb R^{4}$에서 $A = \left\{ \begin{bmatrix} 1 \\ 2 \\ 3 \\4 \end{bmatrix}, \begin{bmatrix} 2 \\ -1 \\ 0 \\ 2 \end{bmatrix}, \begin{bmatrix} 1 \\ 1 \\ 0 \\ -4 \end{bmatrix} \right\}$는 linearly independent하지만, $\mathbb R^{4}$의 basis가 될 수 없다.
Basis가 되려면 $\mathbb R^{4}$ 전체를 생성할 수 있어야 하는데, $\begin{bmatrix} 1 \\ 0 \\ 0 \\ 0 \end{bmatrix}$을 만들지 못하기 때문이다.
Remark.
- 모든 벡터공간 $V$는 basis를 갖는다. 이러한 basis는 유일하지 않고 여러 가지가 있을 수 있지만, 모든 basis는 동일한 개수의 원소를 가진다.
$\mathbb R^{3}$의 basis는 항상 3개의 벡터로 이루어지고, $\mathbb R^{4}$의 basis는 항상 4개의 벡터로 이루어진다.
- 벡터공간 $V$의 dimension은 basis의 개수이고, 이를 $dim(V)$라고 쓴다.
e.g. $\mathbb R^{2}$의 basis: ${(1,0),(0,1)}$ -> 차원: $dim(\mathbb R^{2}) = 2$
$\mathbb R^{3}$의 basis: ${(1,0,0),(0,1,0),(0,0,1)}$ -> 차원: $dim(\mathbb R^{3}) = 3$
- 만약 $U$가 $V$의 subspace이면, $dim(U) \leq dim(V)$이고, $dim(U) = dim(V)$이면 $U = V$이다.
직관적으로, 백터 공간의 dimension은 해당 공간에서 독립적인 방향의 개수라고 생각할 수 있다.
Remark.
- 벡터 공간의 dimension은 벡터의 원소의 개수와 다를 수 있다.
e.g. 벡터공간 $V = span[\begin{bmatrix} 0 \\ 1 \end{bmatrix}]$은 2개의 원소 (0,1)을 갖고 있지만, 1차원 직선 공간이다.
Remark.
- 어떤 벡터 집합 $x_1, x_2, ..., x_m$이 주어졌을 때, 이들이 생성하는 공간의 basis를 찾는 법:
1. 주어진 벡터들을 행렬 A의 열벡터로 배치하기
2. Row-echelon form 형태로 변환하기
3. Pivot 열과 연결된 벡터들을 선택
Ex 2.17 (Determining a Basis)
- (사진첨부)
2.6.2 Rank
- 행렬 $A \in \mathbb R^{m \times n}$ 에서 linearly independent한 열(행)의 개수를 Rank라고 하고, $rk(A)$라고 쓴다.
행렬 $A \in \mathbb R^{m \times n}$ 에서 linearly independent한 열의 개수와 행의 개수는 항상 같다.
Remark. Rank의 중요한 성질들
- 행 rank와 열 rank는 항상 같다.
$rk(A) = rk(A^{T})$
- 열 공간의 차원은 행렬의 rank와 같다. 이 공간을 Image 또는 Range라고 부른다.
이 공간의 basis를 찾으려면 gaussian elimination을 사용해서 pivot column을 찾으면 된다.
- 행 공간의 차원도 행렬의 rank와 같다.
이 공간의 basis를 찾으려면 $A^{T}$에 대해서 gaussian elimination을 사용해서 pivot column을 찾으면 된다.
- 정사각 행렬 $A \in \mathbb R^{n \times n}$이 역행렬을 가지려면 rank가 n이어야 한다.
즉, 행렬이 invertible 하려면 full rank 이어야 한다.
- 선형방정식 $Ax = b$가 해를 가지려면 $rk(a) = rk(A|b)$이어야 한다.
Rank가 $A$와 augmented matrix $[A | b]$에서 동일해야 한다는 뜻이다.
- 동차방정식 $Ax = b$의 해 공간 차원은 $n-rk(A)$ 이다.
즉, 해 공간의 차원은 행렬의 열 개수 $n$에서 선형 독립인 열 개수 $rk(A)$를 뺀 값이다.
- 행렬 $A$의 rank가 최대일 때, 이를 Full Rank라고 부르고, 그 값은 $min(m,n)$ 이다.
만약 $rk(A) < min(m,n)$이면, 행렬이 rank deficient 한 것이다.
Ex 2.17 (Rank)
- $A = \begin{bmatrix} 1 & 0 & 1 \\ 0 & 1 & 1 \\ 0 & 0 & 0 \\ \end{bmatrix}$ 일 때, 1번째 행과 2번째 행이 linearly independent하므로 $rk(A) = 2$ 이다.
- $B = \begin{bmatrix} 1 & 2 & 1 \\ -2 & -3 & 1 \\ 3 & 5 & 0 \\ \end{bmatrix}$ 일 때, gaussian elimination을 사용하면 $B = \begin{bmatrix} 1 & 2 & 1 \\ 0 & 1 & 3 \\ 0 & 0 & 0 \\ \end{bmatrix}$이 되고,
1번째 행과 2번째 행이 linearly independent하므로 $rk(A) = 2$ 이다.
'기본기 다지기 > Mathematics for ML' 카테고리의 다른 글
[선형대수] 2.7.2 Basis Change ~ 2.7.3 Image and Kernel (0) | 2025.01.30 |
---|---|
[선형대수] 2.7 Linear Mappings ~ 2.7.1 Matrix Representation of Linear Mappings (0) | 2025.01.27 |
[선형대수] 2.5 Linear Independence (0) | 2025.01.24 |
[선형대수] 2.4 Vector Spaces (0) | 2025.01.23 |
[선형대수] 2.3 Solving Systems of Linear Equations (0) | 2025.01.22 |