🦾 Automatic Differentiation (자동미분)

자동미분은 델타논법과 같은 수치 미줌과는 구분되는 미분 방식이다. 수치 미분의 경우 기호위주의 대수학적 규칙을 컴퓨터 연산에 적용하다 보니 비효율적이며, 반올림 에러가 발생한다는 문제가 있다.

따라서, 다수의 input에 대한 미분값을 구해야 하는 컴퓨터 연산 환경에서는 자동미분을 활용한다. 자동미분은 기본적으로 편미분의 연쇄법칙과 같은 연쇄법칙을 적용하여 계산하며, y->x의 순서로 미분 연산을 진행한다.

자동미분은 딥러닝과 머신러닝에서 아주 기본적이고 핵심적인 연산으로, 역전파 방식을 통한 가중치 갱신 과정에 활용된다.

PyTorch와 Tensorflow는 자동미분을 계산하는 라이브러리이며, 이들을 활용해 딥러닝의 신경망을 구현한다. 이 두 라이브러리에서 자동미분은 역전파(backward pass)로 계산된다.