#7. Fourier Series(3. approximation)

그림 출처 : 상관이 있는지는 모르겠지만 basel이라고 해서....

• 식이 너무 길어서 잘릴 수 있습니다. 창의 크기를 최대로 키워주세요!

혹시 Fourier Series 를 공부하면서, 이런 생각을 해본적은 없나요?

• Fourier Series 는 어쨌든 급수를 통한 근사인데, 얼마나 가깝게 근사할 수 있을까?
• Fourier Series 가 수렴하기는 할까? 만약 발산한다면 정의 자체가 틀린 것 아닌가?

오늘은 저 두 가지 질문 중 첫번째 질문에 일단 대답해보고자 합니다. 두 번째 질문은 아마 세 포스팅 정도 후에 진행할 수 있을 것 같네요!

주구장창 전개만 해왔던 Fourier Series를, 이제 어느 정도 정확한 안목을 가지고 접근해 보도록 합시다!

Fourier Series - Approximation

일단..

큰 컨셉을 잡고 갑시다. 식이 워낙 많아서…ㅋㅋㅋ

1. $F_N$이라는, ‘유한 급수’를 잡습니다. 이건 Fourier series에서, $N$번째 항 까지 유한번 더한 겁니다. 무한번 더하면 $f(x)$가 된다고 가정했으니까, 이거보다는 좀 덜 정확한 어떤 놈 하나를 잡자는 겁니다.
2. 그 다음, $F_N - f$를 합니다. 이 둘의 차이의 절댓값을 보고싶은데, 절댓값은 처리하기 귀찮으니 그냥 항상 양수나오는 제곱을 합시다. $(F_N - f)^2$
3. 근데 어차피 다 주기함수끼리 더하는 거니까, 한 주기 내부에서만 확인해 봐도 딱히 상관은 없을 것 같습니다. 주기가 $2\pi$인 경우에 대해, 아래 식을 계산할겁니다.
   $$\int_{-\pi}^\pi (F_N-f)^2 dx$$
   이 식의 이름을 $\varepsilon _N$이라고 붙입시다.
4. 당연히, 전개를 한 다음에 일반식을 찾을 겁니다.
5. 그럼 어떤 순간에 $\varepsilon_N$이 최소가 되는지에 대한 조건이 나올테죠? 그 최소를 $\varepsilon_N^*$라고 이름붙일겁니다. 왠지 좀 멋있어 보이는 당연한 식을 써보자면 이렇게 되겠죠?
   $$\varepsilon_N - \varepsilon_N^* \geq 0$$
6. 우리는 이렇다는 사실도 증명할 겁니다.
   $$\varepsilon_N^* \geq 0$$
   이걸 잘 정리해보면, Bessel’s inequality 가 나옵니다.
7. 저기서 그냥 등호가 된다면, 그게 바로 Parseval’s identity 입니다.

할게 좀 많죠? ㅋㅋㅋ 천천히 따라와봅시다.

$F_N-f$ 계산, 제곱하기

가장 귀찮지만 중요한 작업은 바로 우리가 적분기호 안에 제곱을 해서 넣을 $F_N-f$를 일단 구하는 일입니다. 일단 $F_N$을 써보면…

$$F_N = A_0 + \sum_{n=1}^N (A_n \cos nx + B_n \sin nx)$$
이렇게 됩니다. 사실 정확히 말하자면 Fourier series에서 구한 계수들인 $a_0, a_n, b_n$이 그대로 들어가지는 않습니다. 일단 어떤 계수 $A_0, A_n, B_n$을 잡아놓고 결국 오차가 최소가 되려면 Fourier series의 계수가 되어야 한다는 사실을 나중에 보일겁니다.

그러면, 일단 $F_N-f$를 구해봅시다.

$$\begin{align} F_N-f &= A_0 + \sum_{n=1}^N (A_n \cos nx + B_n \sin nx) - f (x) \end{align}$$

그러고싶지는 않지만, 제곱을 해봅시다 ㅠㅠ

$$(F_N -f)^2= F_N^2 + f^2 - 2fF_N$$

이걸 그대로 전개하자니, $f^2$는 그렇다 쳐도 저 N개의 항을 통째로 제곱하고 있어야 합니다. 막막하기만 합니다. 살짝 계산 부담을 줄여주기 위해 먼저 적분기호 안에 저 식을 그대로 넣을 겁니다. 왜냐구요? 적분 범위 안에서 $\cos x, \sin x$가 0이 된다는 것을 알고 있거든요.

$$\begin{align} \int_{-\pi}^{\pi} (F_N -f)^2 dx &=\int_{-\pi}^{\pi} F_N^2 dx + \int_{-\pi}^{\pi} f^2 dx -2\int_{-\pi}^{\pi} F_N f dx \\ &=\int_{-\pi}^{\pi} \left( A_0 + \sum_{n=1}^N (A_n \cos nx + B_n \sin nx) \right)^2 dx+ \int_{-\pi}^{\pi} f^2 dx \\&~~~~~-2 \int_{-\pi}^{\pi} \left( A_0 + \sum_{n=1}^N (A_n \cos nx + B_n \sin nx) \right)f dx \end{align}$$

이런 모양이 일단은! 됩니다. 하나씩 뜯어볼게요!

$F_N ^2$

가장 문제가 되는 놈입니다. 일…단은 한 번 전개를 해보겠습니다.

$$\begin{align} & \int_{-\pi}^{\pi} \left( A_0 + \sum_{n=1}^N (A_n \cos nx + B_n \sin nx) \right)^2 dx \\& =\int_{-\pi}^{\pi}A_0 ^2 dx + \int_{-\pi}^{\pi} \left( \sum_{n=1}^N (A_n \cos nx + B_n \sin nx) \right)^2 dx + 2 \int_{-\pi}^{\pi} A_0 \sum_{n=1}^N (A_n \cos nx + B_n \sin nx) dx \end{align}$$

일단 $A_0^2$만 있는 항은 별 문제가 안된다고 치고, 나머지 두 개를 어떻게 좀 진정을 시켜봐야 겠습니다.
$$\begin{align} & \int_{-\pi}^{\pi} \left( \sum_{n=1}^N (A_n \cos nx + B_n \sin nx) \right)^2 dx \\ &= \sum_{n=1}^N A_n^2 \int_{-\pi}^{\pi} \cos^2 nx dx + \sum_{n=1} ^N B_n^2 \int_{-\pi}^{\pi} \sin^2 nx dx + \underbrace{2\sum_{n=1} ^N A_n B_n \int_{-\pi}^{\pi}\cos nx \sin nx dx}_{=0} \end{align}$$

왜 0이 되는지는 여기여기여기!!!서 확인을 해보면 됩니다.

그렇다면 나머지 두 제곱항들은 어떻게 되느냐…
$$\int_{-\pi}^{\pi} \cos ^2 nx dx = \int_{-\pi}^{\pi}\sin^2 nx dx = \pi$$
로 떨어진다는 것도 저 링크에서 확인이 가능합니다. 그렇다면….

$$\begin{align} & \int_{-\pi}^{\pi} \left( \sum_{n=1}^N (A_n \cos nx + B_n \sin nx) \right)^2 dx \\ &= \pi(A_1^2 +A_2^2 + ..... +A_N^2) + \pi (B_1 ^2 +B_2 ^2 + .....+B_N^2 ) \end{align}$$

그나마 간단해졌습니다.ㅋㅋ

이제 $A_0$와 곱해진 항을 계산해보겠습니다.
$$\begin{align}& \int_{-\pi}^{\pi} A_0 \sum_{n=1}^N (A_n \cos nx + B_n \sin nx) dx \\ &= \sum_{n=1}^N A_0 A_n\int_{-\pi}^\pi \cos nx dx + \sum_{n=1}^N A_0 B_n\int_{-\pi}^\pi \sin nx dx \end{align}$$

감이 오나요? 그냥 0입니다. ㅋㅋㅋㅋ

결론적으로,

$$\begin{align} & \int_{-\pi}^{\pi} \left( A_0 + \sum_{n=1}^N (A_n \cos nx + B_n \sin nx) \right)^2 dx \\& = 2\pi A_0^2 +\pi(A_1^2 +A_2^2 + ..... +A_N^2) + \pi (B_1 ^2 +B_2 ^2 + .....+B_N^2 ) \end{align}$$

$fF_N$

이것도 0으로 떨어지는 것들이 상당히 되기 때문에, 간단히 정리될겁니다.

$$\begin{align} &\int_{-\pi}^{\pi} \left( A_0 + \sum_{n=1}^N (A_n \cos nx + B_n \sin nx) \right)f dx \\ &= \int_{-\pi}^{\pi} A_0 f dx + \sum_{n=1}^N A_n \int_{-\pi}^{\pi} f \cos nx dx + \sum_{n=1}^N B_n \int_{-\pi}^{\pi}f \sin nx dx \end{align}$$

$f$가 $\sin, \cos$앞에 곱해져 있는 덕분에 손을 쓸 수 있는 방법이 없을 것 같지만, 머리를 잘 굴려봅시다. 우리가 Fourier 급수계산을 할 때 저런 트릭을 사용했었더랬죠.

$$\begin{align} a_0 &= \frac{1}{2\pi} \int_{-\pi}^\pi f(x ) dx \\ a_n &= \frac{1}{\pi} \int_{-\pi}^{\pi} f(x) \cos nx dx \\ b_n &= \frac{1}{\pi} \int_{-\pi}^{\pi}f(x) \sin nx dx \end{align}$$

저 식에 이걸 대입하고 나면,

$$\begin{align} &= \int_{-\pi}^{\pi} A_0 f dx + \sum_{n=1}^N A_n \int_{-\pi}^{\pi} f \cos nx dx + \sum_{n=1}^N B_n \int_{-\pi}^{\pi}f \sin nx dx \\ &= 2\pi a_0 A_0 + \pi (a_1A_1 + a_2A_2 + ..... + a_N A_N) + \pi (b_1 B_1 + b_2 B_2 + ..... + b_N B_N)\end{align}$$

요런 정리가 가능하게 됩니다.

---

결론적으로 정리를 하고 나면 적분기호는 다 날아가고 이렇게 나온다는 거겠네요!
$$\begin{align} \int_{-\pi}^{\pi} (F_N -f)^2 dx &=\int_{-\pi}^{\pi} F_N^2 dx + \int_{-\pi}^{\pi} f^2 dx -2\int_{-\pi}^{\pi} F_N f dx \\ &= \int_{-\pi}^\pi f^2 dx +2\pi A_0^2 + \pi(A_1^2 +A_2^2 + ..... +A_N^2) + \pi (B_1 ^2 +B_2 ^2 + .....+B_N^2 ) \\ & ~~~~~ - 4\pi a_0 A_0 -2\pi (a_1 A_1 + .... a_N A_N + b_1 B_1 + ... + b_N B_N) \end{align}$$

하하하…..아직 할 일이 많이 남았습니다.

최소조건, 등호조건

그러니까, 저 식에 이름을 이렇게 붙인더랬습니다.

$$\begin{align} \varepsilon_N &= \int_{-\pi}^{\pi} (F_N -f)^2 dx \\ &= \int_{-\pi}^\pi f^2 dx+ 2\pi A_0^2 + \pi(A_1^2 +A_2^2 + ..... +A_N^2) + \pi (B_1 ^2 +B_2 ^2 + .....+B_N^2 ) \\ & ~~~~~ - 4\pi a_0 A_0 -2\pi (a_1 A_1 + .... a_N A_N + b_1 B_1 + ... + b_N B_N) \end{align}$$

이것의 최솟값을 구하는 것이, Fourier 급수가 가장 $f(x)$에 근사하게 되는 $N$을 구하는 것과 관련이 있을 겁니다. 그런데 식의 모양이 영……좋지…못하네요. 물론 뒤에 남아있는 식들을 묶어서….전개를….할 수도 있겠지만, 우리는 우리의 직관을 믿읍시다.

• $a_i = A_i, b_i = B_i ( 1 \leq i \leq N)$ 라면?

한 번 위에서 얻어진 식의 $A_i, B_i$들을 전부 $a_i, b_i$로 바꿔봅시다.

$$\begin{align}& \int_{-\pi}^\pi f^2 dx+ 2\pi A_0^2 + \pi(A_1^2 +A_2^2 + ..... +A_N^2) + \pi (B_1 ^2 +B_2 ^2 + .....+B_N^2 ) \\ & ~~~~~ - 4\pi A_0 ^2 -2\pi (A_1^2 + .... A_N^2 + B_1^2 + ... + B_N^2) \\ &= \int_{-\pi}^\pi f^2 dx - \pi\left[ 2a_0^2 + \sum_{n=1}^N (a_n^2 + b_n^2 ) \right] \end{align}$$

사실, 처음부터 $A_n, B_n$으로 놓지 않고 $a_n, b_n$으로 놓고 설명하는 책도 있습니다. 사실 직관적으로 봤을 때 $f(x)$랑 가장 근접하려면 함수를 Fourier series 전개 시켰을 때 사용한 계수를 그대로 가져다 쓰면 될 것 같거든요. ㅋㅋ 자세한 증명을 여기서 다룰 의지와 능력이 둘 다 없기 때문에 ㅠㅠㅠㅠ 일단은 저 조건 하에서 $\varepsilon_N$이 최솟값을 가진다, 즉 $F_N$이 $f$와 가장 비슷해진다! 라는 결론을 내리고 가겠습니다.

• $\varepsilon_N = \int_{-\pi}^\pi (F_N-f)^2 dx$ 가 최소가 되는 경우는, $a_i = A_i, b_i = B_i ( 1 \leq i \leq N)$인 경우이다. 이 때의 $\varepsilon$의 값을 $\varepsilon^*$이라 한다.

Bessel’s inequality & Parseval’s identity

뭔가 당연한 얘기지만, 이렇게 한 번 더 쓰고 가면 안심이 될 것 같습니다.

$$\varepsilon_N^* \leq \varepsilon_N$$

그렇다면 이제, 간단하지만 간과하고 있었던 논리를 가져와 봅시다. 우리가 $\varepsilon_N$을 어떻게 정의했었죠?
$$\int_{-\pi}^\pi (F_N-f)^2 dx$$
네. 뭐가있나요? 제곱! 제곱이 있습니다. 제곱은 정말로 처리하기 쉬운 녀석이에요. 왜냐하면, 0보다 크거든요!
$$0 \leq \int_{-\pi}^\pi (F_N-f)^2 dx$$
0보다 큰 $\varepsilon_N$ 중 가장 최소인 $\varepsilon_N^*$은 당연히 0보다 큽니다. ㅋㅋㅋㅋㅋ 때로는 이런 단순한 사실을 증명하는게 떠오르질 않아서 막히기도 하죠 저처럼….ㅋㅋㅋㅋ
여튼, 또 이 당연해 보이는 사실을 식으로 적어보면 이렇게 됩니다.

$$\int_{-\pi}^\pi f^2 dx - \pi\left[ 2a_0^2 + \sum_{n=1}^N (a_n^2 + b_n^2 ) \right] \geq 0$$

마이너스가 부등식에 들어가있으면 처리하기가 골룸하니, 죄다 양수가 되도록 이항을 한 번 해보겠습니다.

$$\int_{-\pi}^\pi f^2 dx \geq \pi\left[ 2a_0^2 + \sum_{n=1}^N (a_n^2 + b_n^2 ) \right]$$

되게 의미있어보이는 식 처럼 느껴지죠?ㅋㅋㅋ 이 식이 바로 Bessel’s inequality입니다. 이 식이 무슨 의미를 가지냐 하면…
$$f(x) = a_0 + \sum_{n=1}^\infty (a_n^2 + b_n^2 )$$
를 그대로 가져다가 한 번 더 대입해보면, 이런 결과를 얻습니다.

$$\pi\left[ 2a_0^2 + \sum_{n=1}^\infty (a_n^2 + b_n^2 ) \right] \geq \pi\left[ 2a_0^2 + \sum_{n=1}^N (a_n^2 + b_n^2 ) \right]$$

Fourier series의 계수 무한개를 전부 다 합치면, 정확히 말하면 ‘계수를 전부 합한 값이 수렴하는 곳’은 임의의 N을 잡아서, 그 값까지 ‘유한하게’ 더한 값보다 항상 더 크다는 얘기가 되는거죠.

엄밀하게

말하자면, Bessel’s inequality 는 Fourier series에만 해당하는 얘기는 아닙니다. 위키피디아에서 끌어온 지식을 붙여보자면,

• Hilbert space에서 정의된 inner product에 대해, 어떤 벡터 $x$와 $e_k$의 inner product를 모든 $k$에 대해 더하면 그것은 벡터 $x$의 절댓값 보다 항상 작거나 같다

는 얘기인데, inner product라는 연산을 특히 저 적분으로 정의한다면 우리가 본 Bessel’s inequality를 얻게됩니다. ㅋㅋㅋㅋㅋ 무슨 소린지 모르겠죠? 선형 대수학적 지식이 다소 필요한 부분이니, 그냥 넘어갑시다. 그냥 Fourier series에서가 아니어도 bessel’s inequality 가 성립할때가 있군…정도로만!

그러면, 저 부등식의 등호조건은 뭘까요? 단순하게 생각해보자면 $N$을 무한대로 보내버리는 경우겠죠. 그러니까…
$$\frac{1}{\pi}\int_{-\pi}^\pi f^2 dx = 2a_0^2 + \sum_{n=1}^\infty (a_n^2 + b_n^2 )$$

당연한 얘깁니다. 아까 위에서 했던 얘기죠. 이 항등식의 이름이 parseval’s identity 입니다. 파세발의 항등식? 정도로 번역이 되는 것 같군요. 사실 엄밀한 증명은 Fourier transform 부터 시작하는 것 같습니다. ㅋㅋ

뭐 여튼, 저 식은 그럼 어떤 의미를 가지는지 생각해봅시다. 그냥 푸리에 시리즈 쭉 써서 전개한거잖아요 생각해보면?ㅋㅋㅋㅋ

Parseval’s identity가 갖는 의의

다시 한 번 생각을 해봅시다. 어떤 함수를 적분을 해야하는 군요. 그것도 제곱해서. 그것이 모두 가능한 함수가 얼마나 있을까요 ㅠㅠㅠ 그 함수가 dirac’s delta function이라던가…..하는 괴상한 함수라거나, 제곱조차 하기 힘든 함수 형태로 들어온다면 적분까지 하기가 힘들어질텝니다. 그럼 저런 형태의 계산을 할일이 그렇게 많냐구요?ㅋㅋ

신호처리체계에서의 ‘에너지’를 의미하는 아주 중요한 형태의 함수입니다. 물론 위끝과 아래끝의 형태는 조금씩 다르지만, 신호가 전달하는 ‘에너지’를 뜻하죠. 뿐만 아니라, 제곱 후 적분하는 형태는 꽤 많은 곳에서 쓰입니다. 전부 합하면 0이 되어 의미가 없으니 절댓값을 제곱해서 합한 다음 의미를 찾는 파동함수 $\Psi$ 같은 녀석도 있구요. 여기서 좀 더 살펴볼 수 있을 겁니다. 사실 저도 잘 모르.....

네 어쨌든 본론으로 돌아와서…
복잡한 함수를 제곱해서 적분해야 할 일이 있다면, 게다가 그 적분범위가 무한대라면, 참 손을 대기가 싫을 겁니다. 그래서 정확한 값은 못구하더라도 ‘근사’ 정도는 할 수 있지 않겠느냐….라는 ‘안목’을 제시해주게 된 의미가 있는거죠. Fourier series로 얻어진 계수들을 그냥 제곱해서 더하기만 하면 대충 비슷해진다! 는 느낌입니다. 물론! 무한개의 계수를 죄다 합치면 같아지겠지만 그건 불가능하니, $\varepsilon_N^*$ 을 구하는 거죠. ㅋㅋ

의외의 이득

그런데, 이 항등식으로부터 의외의 개이득!을 본 부분이 있습니다. 위에서 살펴본 시각은 ‘함수’의 ‘근사’에 대한 시각인데, 거꾸로 ‘무한 급수’의 합을 구하기 위한 과정으로 해석을 해보자면……..

$$f(x)=x^2$$
는 fourier series로 전개를 해보면

$$f(x) = \frac{\pi^2}{3} - 4\cos x + \cos 2x - \frac{4}{9} \cos 3x + .....$$

이런 모양이 나옵니다. 이걸 그대로 parseval’s identity에 대입해봅시다.

$$2 \left( \frac{\pi^2}{3}\right)^2+ 16 + 1+ \frac{16}{81} + ... = \frac{1}{\pi} \int_{-\pi}^\pi x^4 dx$$
요런 모양을 얻을 수 있습니다. 계산은 다 잘 할 수 있을거라 믿고, 좌변을 조금 더 보기좋게 정리해볼게요!

$$\frac{2 \pi^4}{9} + 16 \left( 1 + \frac{1}{2^4} + \frac{1}{3^4}+....\right) = \frac{2\pi^4}{5}$$
그렇다면, 절대 쓰다보니 5000자가 넘어서 귀찮아서 생략하는건 아니고....
$$\sum_{n=1}^\infty \frac{1}{n^4} = \frac{\pi^4}{90}$$
요런 결과를 얻을 수 있습니다. 무한 급수의 합이 아주 깔끔하게 얻어지네요!

$f(x)$를 $-\pi \leq x \leq 0$일 때는 $-k$이고, $0 \leq x \leq \pi$일때는 $k$가 되는 주기 함수로 선택한다면, 이런 급수의 값을 얻을 수 있습니다.

$$\sum_{n=1}^\infty \frac{1}{(2n-1)^2} = \frac{\pi^2}{8}$$
왠지 이쪽이 좀 더 눈에 보이는 이득이 많은 기분은 기분탓일겁니다 ㅋㅋ 이 분야에서 굉장히 유명한 문제인 Basel problem은 한 번 읽어보고 와도 될 것 같습니다.

다음 포스팅 예고

저도 뭘 했는지는 모르겠지만 어느새 새벽이 다 되어갑니다 ㅋㅋㅋ 식도 많고 응용할 거리도 많고.. 이렇게 하나의 포스팅에 넣을 정도로 간단한 양이 아니었다는 것을 새삼 깨닫고 가네요 ㅋㅋ 하지만 불행히도 다음 포스팅에서는 이것보다 훨씬더 많고 중요한 Sturm-Liouville problems에 대해 다루려고 합니다. 이제 우리가 다루게 되는 함수가 $\sin, \cos$말고 다른 함수가 되어 버리는 좋은 기회(?)가 되겠죠….ㅋㅋㅋ

여튼, 오늘의 내용을 잘 숙지하고 다음 포스팅에서 뵙겠습니다. 짠!