[DL] Chain Rule이란?

📌들어가며

이번 포스팅에서는 저번 포스팅 Backpropagation을 이해하기 위해 알아야 하는 Chain Rule에 대해 배워본다.

 

Chain Rule

Chain Rule 우리 말로 연쇄 법식인 체인룰은 합성 함수의 미분에 대한 성질이다. 합성 함수에 대해 간단하게 설명하면 f(t)함수의 매개변수가 g(x)라는 함수의 결과값인 함수를 말한다. 즉, t = g(x)라고 하면 f(g(x))와 같이 표현할 수 있고 (f∘g)(x)라고도 표현할 수 있다.

 

체인룰은 아래와 같다.

합성 함수의 미분은 합성 함수를 구성하는 각 함수의 미분의 곱으로 나타낼 수 있다.

 

우리가 배웠던 합성 함수의 도함수 공식은 다음과 같다.

위의 공식을 보면 f(g(x))'을 표현한 것인데 이때 합성 함수를 구성하는 각 함수는 f(g(x))와 g(x)이고 때문에 f'(g(x))와 g'(x)의 곱으로 체인룰에 의해 표현된다.

 

다른 예를 들어 설명하면 z = (x + y)^2이라는 식이 있을때 아래의 두 식으로 구성할 수 있다.

합성 함수의 미분은 합성 함수를 구성하는 각 함수의 미분의 곱으로 나타낼 수 있기 때문에  x에 대한 z의 미분은 t에 대한 z의 미분과 x에 대한 t의 미분의 곱으로 나타낼 수 있다.

때문에

계산된 미분 값이 다음과 같다면

두 미분값을 곱해 계산 가능하다는 법칙이다. 사실 체인룰에 명칭을 모르고 있었을 뿐 우리도 모르게 합성 함수의 도함수를 구할 때 체인룰을 이용하고 있었다.

 

의견과 질문은 언제나 감사합니다.