Vector Calculus 03. Taylor Expansion

테일러 전개

벌써 2016년 병신년의 마지막 날이네요! 새롭게 맞이할 2017년 정유년에는 기운차고 기분좋은 일만 가득하기를 바라겠습니다. 12월 31일이라는 1년의 끝에서, 다시 1월 1일이라는 새로운 시작점으로 돌아가는 시기이니만큼, 우리도 1년의 힘듦을 이겨내고 모두 다 꽃길만 걸을 수 있길 바래보자구요.

테일러 급수의 테일러가 이분입니다.
Source : Wikipedia

오늘은 드디어 급수와 멱급수를 거친 3부작의 최종 목적지, 테일러 급수 및 전개(Taylor-series & expansion)를 살펴보도록 하겠습니다. 테일러(B. Taylor, 1685~1731)은 영국의 수학자로, 자신의 저서 『증분법』(1715)에서 지금 배우게 될 테일러 급수의 배경에 대한 고찰을 소개하였습니다.

수열과 급수 ▶ 멱급수 ▶ 테일러 급수

도대체 테일러 급수를 왜 배우는 것일까요? 우리가 다루는 함수 중 가장 기본이 된다고 할 수 있는 함수 중 하나가 바로 다항함수(polynomial)입니다. 테일러 정리(Taylor theorem)에 따르면, 세상에 있는 다양한 미분가능한 함수는 언제나 무한차수의 다항함수의 형태로 나타낼 수 있다는 것을 알 수 있습니다. 바로 이 무한차수의 다항함수가 테일러 급수인 것인데요. 테일러 전개를 통해 우리는 수 많은 함수를 가장 기본적인 차원에서 바라볼 수 있게 되는 것입니다.

음, 앞서 두 아티클에서도 설명한 내용이니 연재물을 쭉 읽어오신 분이라면 '또 이 얘기냐'라고 하실 수도 있겠네요 ㅎㅎ 아무튼 테일러 급수는 특히 공학 분야에서는 함수의 근사 측면에 있어 중요한 역할을 합니다. 그래서 스테멘토에 이 글을 쓰고 있는 것이고요. 그럼 각설하고 본론으로 들어가볼까요.

“ 선형 근사

테일러 정리를 증명해보기에 앞서서, 함수의 근사에 대해 조금 이야기를 해보도록 하죠. 함수에서 근사(approximation)라 함은, 그 수치를 정확히 알 수 없는 위치의 함수값을, 인근에서 그 값을 알고 있는 함수값을 이용해서 그에 가까운 값을 도출해내는 것을 뜻합니다. 근사의 가장 간단한 사례인 선형 근사(linear approximation)를 알기 위해서는 다음의 정의가 필요합니다.

Definition 3.1. Little-oh of the first degree

원점(origin) 부근에서 정의된 미분 가능한 함수 $f(x)$가 $f(0)=0$이고, $$\lim_{x→0} \frac{f(x)}{x} = 0$$ 을 만족할 때, 즉  0 부근에서 $y=f(x)$가 $y=x$보다 더 빠르게 0으로 접근할 때 $f(x)$는 little-oh에 속한다라고 하며, 다음과 같이 표기한다1. $$\left| f(x) \right| \ll \left| x \right| \;\;\;\;\; \mathrm{OR} \;\;\;\;\; f(x) = o(x)$$

고등학교에서도 자주 사용하였을 로피탈의 정리에 의해, $f(x)=o(x)$와 $f(0)=f'(0)=0$은 동치임을 쉽게 알 수 있을 것입니다. 이 Little-oh는 이제 선형 근사를 정의하는 데 쓰여집니다.

Definition 3.2. 원점 부근에서의 선형 근사

$f(x)$와 일차다항식 $\;p(x)=ax+b$가 다음의 관계를 만족할 때, $$f(x)-p(x) = o(x)$$ $p(x)$는 $f(x)$의 원점 부근에서의 선형근사라 한다.

그런데 선형 근사의 정의에서, 우리는 다음과 같이 함수 $p(x)$의 계수를 모두 결정할 수 있습니다. $$f(0)-p(0)=0 \;\;→\;\;b=f(0)$$ $$f'(0)-p'(0)=0 \;\;→\;\;a=f'(0)$$ 따라서 사실 $\;\;p(x) = f'(0) x + f(0)\;\;$입니다. 가만 보니, 이 함수는 $f(x)$의 $x=0$에서의 접선과 같군요! 즉 $f(x)$의 원점 부근에서의 선형근사는 곧 $x=0$에서 함수의 접선으로 존재하며, 그 외에 다른 선형근사는 존재하지 않습니다. 이야기를 다시 해보자면,

“미분가능한 함수 $f(x)$의 $x=0$에서의 선형근사는, $x=0$에서 함수의 접선으로 존재하며 유일하다.”

는 겁니다. 존재성과 유일성을 눈여겨보며, 이제 조금 더 높은 차원의 근사로 눈을 돌려보기로 하죠. 이는 사실 선형근사에서 단순히 차수를 확장한 것에 불과합니다.

“ 다항 근사

Definition 3.3. Little-oh of the n-th degree

원점(origin) 부근에서 정의된 미분 가능한 함수 $f(x)$가 $f(0)=0$이고, $$\lim_{x→0} \frac{f(x)}{x^n} = 0$$ 을 만족할 때, 즉  0 부근에서 $y=f(x)$가 $y=x^n$보다 더 빠르게 0으로 접근할 때 $f(x)$는 n차 little-oh에 속한다라고 하며, 다음과 같이 표기한다. $$\left| f(x) \right| \ll \left| x^n \right| \;\;\;\;\; \mathrm{OR} \;\;\;\;\; f(x) = o(x^n)$$

• Sample Problem 3.1.
  $f(x)=o(x^n)$은 $f(0)=f'(0)=\cdots=f^{(n)}(0)=0$과 동치임을 증명하시오.

($→$)   $n=1\;$인 경우, 즉 little-of for the first degree의 경우에는 이미 성립함을 확인하였다.
수학적 귀납법을 사용하자. $f(x)=o(x^{n-1})$일 때 $$f(0)=f'(0)=\cdots =f^{(n-1)}(0)=0$$ 이 성립함을 가정하자. 이제 $f(x)=o(x^{n})$일 때 $\;f^{(n)}(0)=0\;$임을 보이기만 하면 충분하다. $o(x^{n})$의 정의로부터 $$\lim_{x→0} \frac{f(x)}{x^n} = 0$$ 인데, $\;x=0$을 대입하였을 때 분모와 분자가 모두 0이므로 로피탈의 정리를 사용해줄 수 있으며, 따라서 $$\lim_{x→0} \frac{f'(x)}{n\cdot x^{n-1}} = 0$$ 이 성립한다. 로피탈의 정리를 반복하여 사용해주면 최종적으로 $$\lim_{x→0} \frac{f^{(n)}(x)}{n!} = 0$$ 이 되는데, 이제 분모가 $n!$으로 유한하므로 $$f^{(n)}(0)=0$$ 이어야 위의 극한이 성립한다. 따라서 증명이 완료되었다.
($←$)   역시 로피탈의 정리를 반복 사용해주면 손쉽게 증명이 가능하다. □

자, 이제 선형 근사를 확장한 다항 근사(polynomial approximation)를 정의합니다.

Definition 3.4. 원점 부근에서의 다항 근사

$f(x)$와 $\;n$차 다항식 $p_n (x) = \sum_{k=0}^{n}p_k x^k$가 다음의 관계를 만족할 때, $$f(x)-p_n (x) = o (x^n)$$ $p(x)$는 $f(x)$의 원점 부근에서의 n차 다항 근사라 한다.

앞에서 선형근사는 함수의 접선으로 존재하고 유일함을 확인한 바 있습니다. 그렇다면 함수의 다항 근사도 똑같이 존재성과 유일성이 증명될 수 있을까요? 정답은 '예'입니다. n번 미분 가능한 함수의 다항 근사는 테일러 다항식(Taylor polynomial)의 형태로 존재하고, 유일합니다.

Theorem 3.1. 다항근사의 테일러 다항식으로서의 존재성(existence)과 유일성(uniqueness)

$n$번 미분 가능한 함수 $f(x)$에 대하여, 원점에서의 n차 다항 근사는 언제나 존재하며, 그것의 형태는 테일러 다항식으로 정의되는 다음의 n차 다항함수 $$T_n f(x) := f(0) + \frac{f'(0)}{1!}x +\\ \frac{f''(0)}{2!}x^2+ \cdots + \frac{f^{(n)}(0)}{n!}x^n$$
으로 유일하다. 즉, 이것 외에 다른 다항 근사는 존재하지 않는다.

일단, $\;\forall k \in \left\lbrace 0,1, \cdots , n \right\rbrace$에 대하여 $$f^{(k)}(0)=T_n f^{(k)}(0)$$ 이 성립하므로, $$f(x) - T_n f(x) = o(x^n)$$ 이 된다. 즉 $\;T_n f(x)$는 $f(x)$의 $n$차 다항 근사임을 알 수 있다. 따라서 다항 근사가 적어도 하나 존재하므로, 존재성은 증명 끝.
이제 $\;T_nf(x)$와는 다른 n차 다항식 $p_n (x)$가 존재하여, 이것이 $f(x)$의 또 다른 다항 근사라고 가정해보자. $$p_n (x) = p_0 + p _ 1 x + \cdots + p_n x^n$$ $$\mathrm{AND}$$ $$f(x) - p_n (x) = o (x^n )$$ 이고, 따라서$\;\forall k \in \left\lbrace 0,1, \cdots , n \right\rbrace$에 대하여 $$p^{(k)}(0)=k! \cdot p_k = f^{(k)}(0)$$ 이 성립해야 한다. 그런데 이것은 결국 $$p_k = \frac{f^{(k)}(0)}{k!}\;\;\;\;\;\forall k \in \left\lbrace 0,1, \cdots , n \right\rbrace$$ 임을 이야기하여 $\;p_n (x) = T_n (x)$가 된다. 처음 가정과 모순되는 결론을 얻으므로, 가정은 성립할 수 없다.
즉, $T_n f(x)$와는 다른 어떤 n차 다항식도 $f(x)$의 다항 근사가 될 수 없다. 이는 유일성을 증명한다. □

이제 점점 더 테일러 급수의 결론에 다다르고 있습니다. 우리가 아직 테일러 다항식을 몰랐을 때, 멱급수 부분에서 기술적인 증명을 통해 얻어낸 몇 가지 함수($e^x$, $\sin x$ 등)들의 멱급수 전개 형태는 사실 무한 차수의 테일러 다항식과 동일합니다! 직접 미분계수를 구하여 확인해보시길.

원점 부근에서의 3차 다항 근사. -0.5와 0.5 정도의 사이에서 근사가 잘 되고 있음을 확인할 수 있습니다.

• Sample Problem 3.2.
  $g(x)=\sqrt{1+x}$의 3차 테일러 다항식을 구하여라.

$$g(0) = 1$$ $$g'(0) = \left. \frac{1}{2} (1+x)^{-1/2} \right|_{x=0} = \frac{1}{2}$$ $$g''(0) = \left. -\frac{1}{4} (1+x)^{-3/2} \right|_{x=0} = -\frac{1}{4}$$ $$g'''(0) = \left. \frac{3}{8} (1+x)^{-5/2} \right|_{x=0} = \frac{3}{8}$$ 따라서 $$T_3 g(x) = 1 + \frac12 x - \frac18 x^2 + \frac1{16} x^3$$ □

“ 테일러 정리와 테일러 급수

Definition 3.5. 테일러 나머지(Taylor remainder)

원점 부근에서 $n$번 미분 가능한 함수 $f(x)$의 $n$차 테일러 다항식(혹은 다항 근사) $$T_n f(x) = f(0) + f'(0)x + \frac{f''(0)}{2!} x^2 +\\\cdots + \frac{f^{(n)}(0)}{n!} x^n$$ 에 대하여, $f(x)$와 $T_n f(x)$의 차로 정의되는 함수 $$R_n f(x) := f(x) - T_n f(x)$$ 를 $f(x)$의 $n$차 테일러 나머지라 한다. 물론 테일러 나머지 $R_n (x)$는 $$R_n f(x) = o(x^n )$$ 임이 자명하다.

테일러 나머지는 근사의 개념에서 살펴보자면, 참값과 근사값 사이의 오차라고 할 수도 있겠습니다. 만약 $f$가 $n$번하고도 1번 더 미분 가능한 함수인 경우, 즉 $f$가 $(n+1)$번 미분 가능한 함수인 경우, 아래의 정리는 $R_n f(x)$가 $x$의 $(n+1)$승의 특별한 형태를 가짐을 알려줍니다. 이것이 바로 테일러 정리(Taylor’s theorem)입니다.

테일러 정리는 근사 이론에서 상당히 핵심적인 역할을 수행합니다. 다항 근사를 하였을 때, 그것이 실제 값과 얼마나 차이를 가지고 있을 지 예상할 수 있는 범위의 기준을 세워줄 수 있기 때문이죠.

Theorem 3.2. 테일러 정리(Taylor's theorem)

$(n+1)$번 미분 가능한 함수 $\;f\;\;:\;\; \mathbf I\;\;→\;\;\mathbb R\;$ (단, 정의역 $\;\mathbf I$는 0을 포함)가 존재할 때, $\;\mathbf I\;$ 내의 임의의 $\;x$에 대하여 다음과 같은 값이 존재한다. $$x^* \in (0,x)\;\;s.t.$$ $$R_n f(x) = \frac{f^{(n+1)}(x^*)}{(n+1)!}x^{n+1}$$

코시의 평균값 정리를 이용하여 증명 가능하다. 증명 생략.

이제 무한 차수의 테일러 다항식을 다음과 같이 테일러 급수(Taylor series)라 정의합시다. 드디어 테일러 급수의 정체가 드러나는 순간입니다.

Definition 3.6. 테일러 급수(Taylor series)

원점 부근에서 정의된 무한히 미분 가능한 함수 $f(x)$가 있을 때, 무한차수의 테일러 다항식 $$Tf(x):= \sum_{n=0}^{\infty} \frac {f^{(n)}(0)}{n!} x^n$$ 을 $f$의 테일러 급수라고 한다.

일반적으로, 어떤 함수가 멱급수 형태로써 주어진 경우(수렴반경 $r$ 내에서), 즉 $$f(x):=\sum_{n=0}^{\infty} a_n x^n$$ 으로 정의된 경우, 우리는 양변을 미분하여 손쉽게 $a_n = f^{(n)}(0)/n!$임을 알 수 있습니다. 다시 말하자면, 멱급수 형태로 전개되는 무한히 미분 가능한 함수는 (수렴반경 내에서) 테일러 급수와 함수 자신이 언제나 동일합니다. $$f(x)=Tf(x)$$ 그렇지만 우리가 다루는 대부분의 함수는 멱급수의 형태로 주어지지 않죠. 이렇게 멱급수가 아닌 형태의 무한히 미분 가능한 함수($y=\sqrt{1+x}\;$등)는 테일러 급수와 함수 자신이 동일하지 않을 가능성이 있습니다. 아래의 정리는 그러한 함수 중 어느 것이 테일러 급수와 함수 자신이 동일한지를 알려줍니다.

Theorem 3.3. 테일러 급수가 함수 자신이 되기 위한 조건

$f(x) = Tf(x)$임은 다음과 동치이다. $$\lim_{n→\infty}{R_n f(x) } = 0$$

$R_n f( x)$의 정의에 의하여, $$\lim_{n→\infty}{R_n f(x) } = 0$$ $$↔ \lim_{n→\infty} \left[f(x) - T_n f(x) \right] = 0$$ $$↔ f(x) - \lim_{n→\infty} T_n f(x) = 0$$ $$↔ f(x) - Tf(x) = 0$$ 가 성립한다. 증명 끝. □

이로써 수열과 급수로 시작해서 테일러 급수로 끝나는 3부작이 마무리되었습니다! 맨 처음 글을 열 때도 소개드렸다시피, 이 단원에서 우리는 벡터가 아닌 스칼라를 다루고 있었습니다. 그렇지만 무엇보다도 미적분학에서 알아야 될 기본중의 기본인 함수와 그 미분에 대해 질릴 정도로 배우셨을 거라 생각합니다. 거기다 함수의 다항 근사 이론에 대해서도 많은 부분을 살펴보았구요 :)

물론 여기에서 배운 테일러 정리, 테일러 급수 등의 내용은 벡터미적분학의 개념으로 확장될 수 있습니다. 다만 우리에게 아직 익숙하지 않은 벡터 함수(일반적으로는 다변수함수라고 부릅니다)를 다루어야 되기 때문에, 잠시 테일러 급수에 대한 내용은 여기까지 접어두기로 하겠습니다. 다변수함수 개념을 정의하고, 그것의 미분을 이해하게 되었을 때쯤에, 다시금 테일러 급수가 모습을 드러낼 거에요. 끔찍하죠?

다음 아티클부터는 드디어 벡터미적분학이 이용되는 무대라고 할 수 있는 공간(space)에 대해 소개해보도록 하겠습니다. 수학에서는 이 공간을 추상공간의 개념으로 확장해서 n차원의 일반적인 경우까지 따지지만, 공학을 전공하는 우리는 우리가 살아가고 있는 3차원까지만 다루면 충분합니다 ㅎㅎㅎ 글 쓰는 입장에서도 제가 공학도라서 정말 다행입니다. 남은 연말 잘 보내시고, 새해 복 많이 받으세요!

---

1. $f(x)=o(x)$의 표기에서 등호(=)는 실제로 양 변의 식이 등가임을 의미하는 건 아닙니다. 잘 생각해보면 $o(x)$는 위의 정의를 만족하는 모든 함수 $f(x)$들의 집합을 나타냄을 의미하기 때문입니다. 따라서 보다 엄밀한 표기는 $$f(x)\in o(x)$$ 가 되겠지만, 등호 표기를 통해 이후의 수학적 사실을 보다 편리하게 이해할 수 있기 때문에 등호 표기법을 사용합니다. ↩