선형대수학_3.Vector Space

 

안녕하세요! 오랜만입니다 여러분. 선형대수학 멘토 김경찬입니다. 선형대수학 연재는 1달에 1번씩 연재하는 것을 목표로 하고 있고, 그나마 시간이 더 많은 방학 때 많이 써두려고 했지만 쉽지는 않네요. 오늘의 글은 선형대수학의 핵심을 관통한다고 감히 말할 수 있는 Vector Space에 대한 것입니다.

벡터 공간(Vector Space) 이란

앞서 연재를 시작하며 올린 introduction 글 (https://stementor.tistory.com/entry/%EC%84%A0%ED%98%95%EB%8C%80%EC%88%98%ED%95%990-introduction) 에서 "선형 변환(Linear transform)"에 대해 이야기를 했습니다.

(Recall) 정의역 $X$의 임의의 원소 $u$, $v$를 공역 $Y$로 대응시키는 변환 $T$는 다음과 같은 성질을 만족할 때 "선형 변환"이라 한다. ($c$는 임의의 상수)
$$\begin{gathered} (1)T(cu)=cT(u) \\ (2)T(u+v)=T(u)+T(v) \end{gathered}$$

쉽게 이야기해서 벡터 공간(Vector space) 이란, 선형 연산에 대해 닫혀 있는 집합을 말합니다. "닫혀 있다"의 의미는 집합에 있는 원소들에 대한 선형 연산의 결과가 모두 그 집합에 포함된다는 말입니다. 즉 집합의 원소들의 선형 결합(Linear combination) 이 항상 다시 집합에 포함되어야 한다는 이야기죠.
엄밀히 정의하자면 집합 $V$이 연산 $+,\cdot$으로 위에서 정의된 선형 연산($+$가 덧셈 연산, $\cdot$이 상수 곱하기의 연산)에 대해 닫혀 있을 때 $(V,+,\cdot )$으로 벡터 공간을 정의 합니다. (이게 무슨 복잡한 소린가 싶을텐데, 넓게 일반화시키면 덧셈과 상수 곱하기 연산을 다르게 정의한 선형 연산에 대해서도 벡터 공간을 정의할 수 있단 이야기입니다. 자세한 이야기가 궁금하시면 수학과에서 열리는 대수학 과목을 들으시길 ㅎㅎ…)
다만 이 글에서도 그렇고 앞으로 연재 과정에서 “우리가 잘 아는” 그 덧셈/곱셈 이외의 연산을 사용할 일은 없으니, 편의상 연산에 대한 것은 생략하고 집합만을 생각하도록 할게요.

그럼 다음 중 어떤 집합이 벡터 공간에 포함되는지를 한 번 맞춰 볼까요?

1. ${\mathbb{R}}^3$
2. $A\in {\mathbb{R}}^{m\times n}$, $b\in {\mathbb{R}}^n$에 대해 $A\mathrm{x}=b$ 를 만족하는 $m$차원 벡터 $\mathrm{x}$의 집합
3. $x\in \mathbb{R}$에 대해 함수 $f(x):\mathbb{R}\to \mathbb{R}$의 집합.

어떤 공간이 벡터 공간인지 아닌지를 알려면 단순히 그 집합의 원소들로 선형 연산을 한 결과가 집합에 속하지 않는 경우가 있는지를 찾아보면 됩니다. 우선 1. 3차원 벡터들의 집합은 벡터 공간이 맞습니다. 3차원 벡터들의 선형 결합의 결과가 2차원 벡터나 4차원 벡터가 될 수는 없으니까요.
2. 은 일반적으로 벡터 공간이 아닙니다. $A\mathrm{x}=b$의 해 집합의 원소 $x_1$을 생각합니다. 2. 가 벡터 공간이 되려면 $0\cdot x_1=0_n$ 이 2번 집합에 포함되어야 합니다. 그러나 $b\ne 0_m$이라면 $A{0}_n\ne b$이므로 포함되지 않습니다. 참고로 어떤 공간이 벡터 공간인지 아닌지 헷갈릴 때 이렇게 영벡터가 포함되느냐 안 되느냐로 구분할 수 있는 경우가 많습니다. 벡터 공간은 항상 영벡터를 포함합니다.
(앞으로 $0_k$는 $k$차원 영벡터(모든 원소가 0인 벡터)를 나타내는 것으로 약속하도록 할게요.)
그렇다면 $b=0_m$이라면 어떨까요? 이 경우에는 벡터 공간이 맞습니다. $A{0}_n=b=0_m$을 만족할 뿐 아니라, 집합의 어떤 원소들의 선형 결합의 결과라도 $A\mathrm{x}=0_m$을 만족하거든요.
3. 은 벡터 공간이 맞습니다. 두 함수 $f(x),g(x)$에 대해 항상 $af(x)+bg(x)(a,b\in \mathbb{R})$도 마찬가지로 실수를 정의역으로 갖는 함수거든요. 그렇다면 함수들의 공간은 몇 차원 벡터 공간일까요? x축을 따라 조밀하게 늘어선 실수 값에 대응하는 함수값 하나 하나가 모두 벡터의 성분 하나에 대응된다고 볼 수 있습니다. 그러면 실수의 개수만큼 높은 차원을 갖는 벡터 공간, 즉 ${\mathbb{R}}^{\infty }$가 되겠네요.
연재에서 주의 깊게 다루지는 않겠지만, 앞으로 공대에서 다른 과목들을 배울 때 이렇게 함수들의 공간을 벡터 공간으로 취급하는 것을 종종 보시게 될 거에요.
다음 부분으로 넘어가기 전에 부분 공간(Subspace) 을 정의하고 넘어가도록 할게요. 부분 공간이란, 어떤 벡터 공간의 부분 집합으로써 그 역시 하나의 벡터 공간인 것을 말합니다.
(예시) $x+y=0$을 만족하는 3차원 벡터 $\mathrm{x}={\left[\begin{array}{ccc}x& y& z\end{array}\right]}^T$들의 집합은${\mathbb{R}}^3$ 의 부분공간입니다. 그러나 $x+y=1$을 만족하는 벡터들의 집합은 부분 공간이 아닙니다. (왜인지는 직접 시도해보세요~)

벡터 공간의 차원(Dimension), 기저(Basis)

"차원"은 벡터 공간의 크기를 나타내는 중요한 정보 중 하나입니다. 이제까지 "$n$차원 벡터"라는 말을 "$n$개의 원소를 가진 벡터"라는 뜻으로 별다른 설명 없이 사용했는데요. 벡터 공간의 차원에 대해서는 보다 정확한 정의를 내려야 합니다. 먼저 벡터 공간의 기저(Basis)에 대해 알아보도록 하겠습니다. 이후에 기저를 사용해 벡터 공간의 차원(Dimension)에 대한 정의를 내릴거에요. 벡터 공간의 기저를 정의하기 위해서는 우선 생성(Span)과 선형 독립(Linear independence)에 대해 정의해야 합니다. 선형 독립은 앞에서 정의한 적이 있죠? 바로 전 글 "선형방정식 Ax=b(part1)"의 첫번째 글을 참고하시면 됩니다.

(정의 : Linear Span 또는 Span)
벡터들의 집합 $S=\{v_1,v_2,\cdots ,v_n\}$에 대해 $span(S)$는 $S$를 포함하는 가장 작은 Vector Space이다.

위의 정의는 조금 말이 어려운 거 같습니다.(저만 그런걸까요? ㅎㅎ) 조금 더 쉬운 말로는, 증명은 생략하겠지만 $span(S)$는 $S$의 원소들의 선형결합으로 표현 가능한 모든 벡터의 집합입니다.
그럼 이제 기저(Basis)를 정의하도록 할게요.

(정의 : 기저(Basis))
벡터 공간 $V$에 대해 $B=\{v_1,v_2,\cdots ,v_n\}$가 $V$를 $span$하는 가장 적은 원소를 갖는 집합일 때 $B$를 $V$의 기저(Basis) 라 한다.

Basis의 중요한 성질 중 한 가지는, 원소들이 모두 선형 독립 이라는 점입니다. 선형 독립이 아니라면? 적어도 1개 이상의 원소를 집합에서 제거하더라도 나머지 벡터들이 $V$를 $span$할 수 있거든요. 즉 $V$의 Basis 는 $span(B)$가 $V$가 되는 선형독립인 벡터들의 집합 $B$입니다.
한 벡터 공간 $V$의 Basis는 유일하지 않습니다. 예를 들어 $V={\mathbb{R}}^3$에 대해 $B_1=\{[1,0,0{]}^T,[0,1,0{]}^T,[0,0,1{]}^T\}$ 과 $B_2=\{[2,0,0{]}^T,[0,1,1{]}^T,[0,0,1{]}^T\}$는 모두 Basis가 됩니다. 하지만 한 벡터 공간의 Basis는 항상 같은 수의 원소를 가집니다. (정의로부터 바로 알 수 있는 사실입니다. "가장 적은 원소를 갖는 집합"의 원소의 개수가 다를 수는 없잖아요?)

그럼 드디어 벡터 공간의 차원(Dimension)을 정의할 차례입니다.

(정의 : 차원(Dimension))
벡터 공간의 차원(Dimension) 은 그 벡터 공간의 기저(Basis)의 원소의 개수이다.

Basis의 원소의 개수는 일정하기 때문에 위의 정의는 Well defined 된 정의구요. 예를 들어, 우리가 자주 보는 ${\mathbb{R}}^n$ 공간은 Basis의 원소의 개수가 $n$개이므로 $n$차원 공간입니다.

4가지 중요한 부분 공간들

벡터 공간이 무엇인지 알았고, 벡터 공간의 차원과 기저에 대해 배웠습니다. 이제 앞으로 다루게 될 가장 중요한 부분 공간들에 대해 알아보도록 할게요. 바로 다음의 4가지 공간들입니다.

행렬 $A\in {\mathbb{R}}^{m\times n}$에 대해

1. $C(A)$, Column Space : $A$의 열벡터들의 선형 결합으로 나타낼 수 있는 벡터들의 집합
2. $N(A)$, Null Space : $A\mathrm{x}=0_m$을 만족하는 벡터 $\mathrm{x}$들의 집합
3. $C(A^T)$, Row Space : $A$의 행벡터들의 선형 결합으로 나타낼 수 있는 벡터들의 집합
4. $N(A^T)$, Left Null Space : ${\mathrm{x}}^{T}A=0_n^T$를 만족하는 벡터 $\mathrm{x}$ 들의 집합

우선 Column Space $C(A)$를 살펴보도록 할게요.
$$\begin{array}{rl}A& =\left[\begin{array}{cccc}|& |& \cdots & |\\ A_{\cdot ,1}& A_{\cdot ,2}& \cdots & A_{\cdot ,n}\\ |& |& \cdots & |\end{array}\right]\\ C(A)& :\{\mathrm{y}|\mathrm{y}=x_1{A}_{\cdot ,1}+x_2{A}_{\cdot ,2}+\cdots +x_n{A}_{\cdot ,n},\exists x_1,x_2\cdots x_n\in \mathbb{R}\}\end{array}$$

그런데 위의 $\mathrm{x}$에 대한 표현 식은 다음과 같이 행렬 $A$와 벡터의 곱으로 나타낼 수 있습니다. (1. 행렬의 연산 글을 참조하세요!)

$$\mathrm{y}=\left[\begin{array}{cccc}|& |& \cdots & |\\ A_{\cdot ,1}& A_{\cdot ,2}& \cdots & A_{\cdot ,n}\\ |& |& \cdots & |\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]=A\mathrm{x},\mathrm{x}\in {\mathbb{R}}^n$$
다시 말해, Column Space는 임의의 $n$차원 벡터 $\mathrm{x}$에 대해 $A\mathrm{x}$로 나타낼 수 있는 모든 벡터들의 공간이군요. $A\mathrm{x}$는 $m$차원 벡터이므로, Column Space는 ${\mathbb{R}}^m$의 부분 공간이겠네요. Column Space 가 벡터 공간의 조건을 만족한다면 말이에요.

($C(A)$가 벡터 공간임의 증명)
$$\begin{array}{rl}& \forall {\mathrm{y}}_1,{\mathrm{y}}_2\in C(A)\\ & \mathrm{L}\mathrm{e}\mathrm{t}{\mathrm{y}}_1=A{\mathrm{x}}_1,{\mathrm{y}}_2=A{\mathrm{x}}_2\\ & \forall c_1,c_2\in \mathbb{R},\mathrm{y}=c_1{\mathrm{y}}_1+c_2{\mathrm{y}}_2\in C(A)이면증명완료\\ & \mathrm{L}\mathrm{e}\mathrm{t}\mathrm{x}=c_1{\mathrm{x}}_1+c_2{\mathrm{x}}_2,then\\ & \mathrm{y}=c_1{\mathrm{y}}_1+c_2{\mathrm{y}}_2=A(c_1{\mathrm{x}}_1+c_2{\mathrm{x}}_2)=A\mathrm{x}\in C(A)\\ \therefore & 증명끝\end{array}$$
Row space $C(A^T)$는 $A$의 행벡터들의 선형 결합으로 나타낼 수 있는 벡터들의 집합입니다.

$$\begin{array}{rl}A& =\left[\begin{array}{c}-A_{1,\cdot }-\\ -A_{2,\cdot }-\\ ⋮\\ -A_{m,\cdot }-\end{array}\right]\\ C(A^T)& :\{\mathrm{y}|\mathrm{y}=x_1{A}_{1,\cdot }+x_2{A}_{2,\cdot }+\cdots +x_m{A}_{m,\cdot },\exists x_1,x_2\cdots x_m\in \mathbb{R}\}\\ & =\{\mathrm{y}|\mathrm{y}=\left[\begin{array}{cccc}{x}_1& x_2& \cdots & x_m\end{array}\right]A={\mathrm{x}}^{T}A,\exists \mathrm{x}\in {\mathbb{R}}^m\}\end{array}$$
위의 식에서 $\mathrm{y}$는 $1\times n$ 벡터입니다. 따라서 $C(A^T)$는 ${\mathbb{R}}^n$의 부분 공간이고요. 보편적으로 사용하는 열벡터의 형태로 나타내기 위해서 Transpose 를 취하면
$$C(A^T)=\{\mathrm{y}|\mathrm{y}=A^T\mathrm{x},\exists \mathrm{x}\in {\mathbb{R}}^m\}$$
즉, 행렬 $A$의 Row space는 곧 $A^T$의 Column Space입니다.
Null Space $N(A)$는 $A\mathrm{x}=0_m$을 만족하는 $n$차원 벡터 $\mathrm{x}$들의 공간입니다. $N(A)$가 벡터 공간이라는 것은 어떻게 알 수 있을까요?

($N(A)$가 벡터공간 임의 증명)
$$\begin{array}{rl}& \forall {\mathrm{x}}_1,{\mathrm{x}}_2\in N(A)\\ & \forall c_1,c_2\in \mathbb{R},\mathrm{L}\mathrm{e}\mathrm{t}\mathrm{x}=c_1{\mathrm{x}}_1+c_2{\mathrm{x}}_2\\ & A\mathrm{x}=A(c_1{\mathrm{x}}_1+c_2{\mathrm{x}}_2)=c_{1}A{\mathrm{x}}_1+c_{2}A{\mathrm{x}}_2=0_m\\ \therefore & \mathrm{x}\in N(A)\end{array}$$
$N(A^T)$가 벡터 공간이라는 것도 비슷하게 증명할 수 있습니다.

선형대수학의 기본 정리

위에서 정의한 4가지 공간들 각각의 차원은 어떻게 알 수 있을까요? $A\in {\mathbb{R}}^{m\times n}$일 때 $C(A),N(A^T)$는 $m$차원 벡터들의 공간이고, $C(A^T),N(A)$는 $n$차원 벡터들의 공간이죠. 그러나 이것만으로는 각 부분 공간의 차원을 알 수 없습니다. $A$의 $rank$에 대한 정보가 필요한데요. rank에 대해서는 역시 앞서 선형방정식 Ax=b 글에서 언급했었죠. $rank(A)$는 $A$ 행렬의 선형 독립인 행 또는 열의 개수입니다. $rank(A)=r$이라 둡시다.
$C(A)$는 $A$의 열들의 선형결합으로 표현되는 벡터들의 공간이죠. 그렇다면 $C(A)$의 차원은 $A$의 열들 중 선형 독립인 것들의 개수와 같아지고, 이 값은 곧 $r$이겠네요.
마찬가지로 $C(A^T)$의 차원은 $A$의 행들의 선형결합으로 표현되는 벡터들의 공간이고, 그 차원은 $A$의 행들 중 선형 독립인 것들의 개수입니다; 마찬가지로 $r$입니다.
$$dim(C(A))=dim(C(A^T))=r$$

이번에는 $N(A),N(A^T)$의 차원을 생각해봅시다. $N(A)$는 $A\mathrm{x}=0_m$을 만족하는 $n$차원 벡터들의 공간입니다. 따라서 $N(A)$는 ${\mathbb{R}}^n$의 부분 공간으로 $n$ 이하의 차원을 갖죠. 그러면 다음이 성립합니다.
$$\begin{array}{rl}& \forall v\in N(A),\forall w\in C(A^T),\\ & v^{t}w=0\end{array}$$
위의 사실은 임의의 $v\in N(A)$에 대해 $Av=0_m$이라는 것, 즉
$$\begin{array}{rl}Av& =\left[\begin{array}{c}-A_{1,\cdot }-\\ -A_{2,\cdot }-\\ ⋮\\ -A_{m,\cdot }-\end{array}\right]v=0_m\\ A_{i,\cdot }v& =0_m,i=1,2,\cdots ,m\end{array}$$
으로부터 쉽게 유추할 수 있습니다. $A$의 모든 행과 $v$를 내적한 결과가 0이므로 $A$의 행들의 선형결합으로 이루어진 어떤 벡터와 내적해도 0이 되는 것이죠.
위와 같이 어떤 두 벡터의 내적이 0일 때 두 벡터를 직교(Orthogonal) 하는 관계라 합니다. 또한, 어떤 두 공간에서 각각 임의의 벡터를 뽑더라도 두 벡터가 서로 직교하면 두 벡터공간이 직교관계 라 합니다. 즉 $C(A^T)$와 $N(A)$는 직교한다는 것을 알 수 있습니다. 마찬가지로, $C(A)$와 $N(A^T)$는 직교한다 는 것 역시 알 수 있죠.

$$\begin{array}{rl}& \forall A\in {\mathbb{R}}^{m\times n}\\ & C(A^T)\perp N(A),N(A^T)\perp C(A)\end{array}$$
벡터 뿐 아니라 벡터 공간 역시 직교함을 나타낼 때 $\perp$라는 기호로 표현합니다.
앞서 $C(A),C(A^T)$의 차원이 각각 $r$이라는 것을 알아보았는데요, $N(A),N(A^T)$의 차원이 어떻게 되는지 알아봅시다. 우선 $dim(N(A))=k$라 두고 $N(A)$의 Basis를 $V=\{v_1,v_2,\cdots v_k\}$라 해보죠. 그리고 이와 직교하는 공간인 $C(A^T)$의 Basis를 $W=\{w_1,w_2,\cdots ,w_r\}$라 해봅시다. 그러면 임의의 $n$차원 벡터를 $V,W$의 원소들의 선형결합으로 나타낼 수 있습니다. 엄밀하지는 않지만 다음과 같이 설명할 수 있습니다.
임의의 $\mathrm{x}\in {\mathbb{R}}^n$를 $C(A^T)$의 선형결합으로 나타낼 수 있는 성분 $w$와 $C(A^T)$와 직교하는 성분 $v$로 나타낼 수 있습니다. $v$는 $C(A^T)$의 임의의 원소와 수직이므로, $Av=0_m$이 성립합니다. 따라서 $v\in N(A)$입니다. 즉 $N(A)$는 $C(A^T)$와 직교하는 모든 벡터들의 공간 이 되며, 마찬가지로 $N(A^T)$는 $C(A^T)$와 직교하는 모든 벡터들의 공간이 됩니다. 이런 관계를 Orthogonal Complement 라 하고 $N(A)=C(A^T{)}^{\perp }$와 같이 적습니다. 단순히 공간들끼리 직교할 뿐 아니라, 서로와 직교하는 모든 벡터들을 포함하는 공간이라는 것이죠. 이것이 선형대수학의 2번째 기본정리 입니다.
(선형대수학의 2번째 기본정리)
$$\begin{array}{rl}& \forall A\in {\mathbb{R}}^{m\times n}\\ & N(A)=C(A^T{)}^{\perp },\\ & N(A^T)=C(A{)}^{\perp }\end{array}$$
다시 Null Space의 차원 얘기로 돌아갑시다. $w$는 $W$의 원소들의 선형결합이고, $v$는 $V$의 원소들의 선형결합이므로, $V\cup W$의 선형결합으로 $\mathrm{x}$를 나타낼 수 있게 됩니다. 다시 말해서, $span(V\cup W)={\mathbb{R}}^n$이고, $V$의 모든 원소들과 $W$의 모든 원소들이 선형 독립이므로 $V\cup W$의 원소의 개수는 각각의 원소의 개수의 합이 됩니다. 그런데 $V\cup W$가 ${\mathbb{R}}^n$의 Basis 이므로 원소의 개수는 $n$과 같아집니다! 따라서 $N(A)$의 차원 $=V$의 원소의 개수 $=n-dim(C(A^T))=n-r$입니다. 마찬가지로, $N(A^T)$의 차원 역시 $m-dim(C(A))=m-r$임을 알 수 있습니다.

(선형대수학의 기본 정리(1, 2))
$$\begin{array}{rlr}& \forall A\in {\mathbb{R}}^{m\times n}& \\ & dim(C(A))=r,& dim(N(A^T))=m-r\\ & dim(C(A^T))=r,& dim(N(A))=n-r\\ & N(A)=C(A^T{)}^{\perp },& \\ & N(A^T)=C(A{)}^{\perp }& \end{array}$$

이것이 선형대수학의 기본정리입니다. 마지막으로, 이 정리를 잘 표현한 그림 하나를 준비했어요.

가운데 있는 점과 화살표들은 잠시 무시하고, $A$의 Row Space 와 Null Space 가 각각 직교하며, 차원은 각각 $r,n-r$입니다. 또한 Column Space 가 Left Null Space와 직교하며, 차원은 각각 $r,m-r$입니다.

다음 글에서는 다시 선형방정식 $Ax=b$로 다시 돌아갈텐데요, 오늘 살펴 본 4가지 부분 공간들 중 $C(A)$와 $N(A)$를 사용해, 보다 일반적인 경우, 즉 해가 존재하지 않거나 유일하지 않은 경우에 해의 집합을 나타내는 방법에 대해 알아보도록 하겠습니다. 모두 건강 조심하시고, 다음에 뵙겠습니다!