[미적분] 5 Vector Calculus ~ 5.1 Differentiation of Univariate Functions

공부하는 단계에서 정리한 내용입니다.

잘못된 내용이 있다면 말씀해주시면 감사하겠습니다.

https://mml-book.github.io/book/mml-book.pdf

 

5 Vector Calculus

머신러닝은 결국 좋은 파라미터를 찾아서 모델 성능을 높이는 과정이고,
이것은 vector calculus를 활용해서 함수 최적화 문제로 바꿔서 접근할 수 있다.

아래는 vector calculus로 해결할 수 있는 함수 최적화 문제들의 예시이다.

 

 

이번 장에서는 함수를 중심으로 다룬다.

함수 $f$는 입력$(x \in \mathbb R^D)$을 받아서 출력($f(x)$)을 하는 것이라고 할 수 있다.

입력 공간을 domain, 출력 공간을 image/codomain이라고 부르고, 따로 명시되지 않으면 실수값으로 한정한다.

 

그리고 이를 아래와 같이 표현할 수 있다. 

$D$차원 벡터를 하나의 벡터로 바꾸고, 입력 $x$를 주면 출력 $f(x)$가 나온다는 뜻이다.

$$\begin{align*} f : \mathbb R^D &\rightarrow \mathbb R \\ \mathbf{x} & \mapsto f(x) \end{align*}$$

 

Ex 5.1

함수 $f(x) = x^{\top}x, x \in \mathbb R^2$는 아래와 같이 표현될 수 있다.

$$\begin{align*} f : \mathbb R^2 &\rightarrow \mathbb R \\ \mathbf{x} & \mapsto x_1^2 + x_2^2 \end{align*}$$

 

 

이번 챕터에서는 함수의 기울기를 계산하는 법에 대해서 배울 것이다.

이 책에서 나오는 함수들이 모두 연속이고 미분가능하다고 가정하겠다. 

연속이지만 미분 불가능한 함수에 대한 내용은 Ch7에서 다룰 것이다.

아래는 개념들이 어떻게 연결되어 있는지 보여주는 마인드맵이다.

 

 

 

5.1 Differentiation of Univariate Functions

변수 1개짜리 함수 $y = f(x), x, y \in \mathbb R$의 미분에 대해서 알아볼 것이다. 

 

 

Def 5.1 (Difference Quotient)

아래의 difference quotient는 secant line(함수 $f$ 위 두 점을 이은 직선)의

기울기를 계산한다.

$$\frac{\delta y}{\delta x} := \frac{f(x + \delta x - f(x)}{\delta x}$$

오른쪽 그래프와 같이 $\frac{\delta y}{\delta x}$는 점$(x, f(x_0))$와 점 $(x + x_0, f(x_0 + \delta x))$을 이은 선분의 기울기가 된다.

 

 

그리고 함수 $f$가 직선함수라고 가정했을 때, difference quotient를 $x$와 $x + \delta x$ 사이의 평균기울기라고도 볼 수 있다.

 

 

 

Def 5.2 (Derivative)

$h > 0$일 때, 함수 $f$의 $x$에서의 derivative(도함수)는 아래와 같이 표현될 수 있다.

$$\frac{df}{dx} := \lim_{h \to 0} \frac{f(x+h) - f(x)}{h}$$

그리고 위에 나온 그래프의 secant는 탄젠트가 된다.

 

그리고 $f$의 derivative는 $f$가 가장 가파르게 증가하는 방향을 의미한다고 볼 수 있다.

- 1변수 함수

  e.g. $f(x) = x^2$일 때 도함수는 $\frac{\delta f}{\delta x} = 2x$가 된다.

- 다변수 함수

   e.g. $f(x, y) = x^2 + y^2$ 일 때 도함수는 $\frac{\delta f}{\delta x} = (2x, 2y)$로, 벡터꼴이 나온다.

 

 

 

 

Ex 5.2 (Derivative of a Polynomial)

함수 $f(x) = x^n, n \in \mathbb N$의 derivative를 구해보자.

사실 이미 $f(x)$의 도함수가 $n x^{n-1}$임을 공공연하게 알고 있지만, 아래와 같이 도함수의 정의를 이용해서 전개해볼 수도 있다.

 

 

5.1.1 Taylor Series

 

 

Def 5.3 (Taylor Polynomial)

 

 

 

 

Def 5.4 (Taylor Series)

 

 

 

 

Remark. 

 

 

Ex 5.3 (Taylor Polynomial)

 

 

Ex 5.4 (Taylor Series)

 

 

 

Remark.

 

 

5.1.2 Differentiation Rules

 

 

Ex 5.5 (Chain Rule)