1. 미분

미분의 개념

미분은 무수한 점들로 구성된 곡선의 순간 기울기, 즉 곡선의 어느 한 점에서의 기울기를 구하는 것이다. 미분에 대한 표기 방법은 다음과 같다.

1. 일반적 표기 방법

$$f(x{)}^{\prime }$$

2. 델타 표기

가장 보편적으로 사용되는 표기법이다. 분자에는 미분하는 매개변수를 적어주면 된다.

$$\frac{d}{dx}f(x)$$

델타논법 (delta method)

미분이 "순간적인 기울기"라고 정의했다.즉, 순간이 얼마나 짧은 시간이 되었건 다음 시점의 속도와 현재 시점 속도의 차이값을 구해야 변화율을 구할 수 있는데, 이 찰나의 시간차를 표현한기 위해서 0으로 수렴하는 값을 더해 다음 순간을 정의한다. 여기서 0에 수렴하는 값을 $\mathrm{\Delta }x$ 라고 한다. 즉, 델타논법이란 델타값을 사용해 한 지점의 다음 순간을 정의하고, 다음 순간에서의 값과 현재 값의 차이 값을 두 순간의 차인 델타값으로 나누어 순간 기울기를 구하는 방법이다.

💡극한값

여기서 극한의 개념이 적용되는데, 극한이란 쉽게 말해 어떤 값에 매우 근사하고 있는 값은 사실상 그 값과 다름이 없다는 수학적 약속이다. 그러니까 6에 매우 근사하는 값인 5.999999999를 사실상 6으로 보고 계산하여도 6으로 계산하였을 때의 값과 크게 차이나지 않으니, 이 5.999999를 6으로 두고 계산할 수 있다. 다만, 엄밀히 두 값은 다른 값이니 $lim$ 기호를 써서 6에 근사하는 값임을 나타내야 한다.

델타 논법으로 미분방정식을 표현하면 다음 식과 같다.

$$f(x{)}^{\prime }=\underset{\mathrm{\Delta }x\to \mathrm{\infty }}{lim}\frac{f(x+\mathrm{\Delta }x)-f(x)}{\mathrm{\Delta }x}$$

미분법칙

1. 상수법칙

상수에 대한 미분값은 0이다.

2. 제곱법칙

제곱의 미분은 제곱되는 값을 상수로 곱하고, 제곱수를 -1 해준다.

3. 상수곱법칙

제곱법칙에서, 제곱되는 값은 변수의 상수곱에 함께 곱해진다.

4. 덧셈법칙

미분시에도 덧셈의 성질은 그대로 유지된다.

5. 곱셈법칙

덧셈과 마찬가지로 곱셈의 성질도 유지된다.

6. 연쇄법칙

가장 중요한 법칙으로, 머신러닝에서 중요한 법칙이다. 변수값으로 함수값이 들어간 복합함수의 경우 (e.g. $f(g(x))$) 적용되는 법칙이다. 복합함수를 임의의 변수로 치환하여, 해당 변수에 대해 미분한 다음, 변수에 중첩된 함수를 해당 함수의 변수값으로 미분한 값을, 치환값의 미분값에 곱해준다.