Vector Calculus 08. Matrices and Determinants _ 01

행렬과 행렬식 _ 1편

오랜만에 돌아온 EsJay입니다. 오늘은 행렬(Matrix)에 대해 알아보도록 하겠습니다. 행렬의 개념은 사실 벡터 미적분학 자체에서는 간단하게 사용되는 개념이지만, 그 용례는 비단 자연과학, 공학 뿐만 아니라 경제학, 경영학에 이르는 인문사회 분야에서도 살펴볼 수 있습니다. 최근 고등학교 수학에서는 그 자취를 감추었지만, 그럼에도 불구하고 대학수학에서는 여전히 맹위를 떨치고 있는 개념이죠.

고등학교에서 행렬에 대한 개념을 전혀 배우지 않았거나, 매우 생소한 분들을 위해 오늘은 행렬에 대한 정의와 연산에 대해 상세히 알아보도록 하죠1.

행렬과 그 연산

Definition 6.1. 행렬(Matrix)

수들의 직사각 형태의 배열(rectangular array) $$\begin{bmatrix}a_{11} & a_{12} & \cdots & a_{1n} \\\ a_{21} & a_{22} & \cdots & a_{2n} \\\ \vdots & \vdots & \ddots & \vdots \\\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{bmatrix}$$ 을 행렬(matrix)이라 한다. 가로줄을 행(row), 세로줄을 열(column)이라 부르며, 일반적으로 m개의 행과 n개의 열로 이루어진 행렬을 $\mathbf{m \times n}$ 행렬(m-by-n matrix)이라 한다.

위에서 보다시피, 행렬의 요소는 인덱스(index)로 나타내며, 첫 번째 인덱스는 행의 위치, 두 번째 인덱스는 열의 위치를 의미합니다. 임의로 주어진 행렬에 대해 이러한 표기법을 따라 다음과 같이 $m \times n$ 행렬 $A$를 줄여서 표현하기도 합니다. $$A = [a_{ij}] \quad \text{OR} \begin{bmatrix}a_{ij}\end{bmatrix}_{m \times n}$$

그런데 행렬의 행 한줄, 또는 열 한줄만을 따로 떼어 보면 이것은 또 실수(Real Number)로 이루어진 순서가 있는 리스트가 됩니다. 예전에 들어본 말이지 않나요? 네, 행렬은 벡터의 관점에서 보자면 $m$개의 $\Bbb{R}^n$ 벡터, 혹은 $n$개의 $\Bbb{R}^m$ 벡터의 집합이라 할 수도 있겠지요. 이제부터 행렬의 표기법에 따라 벡터를 다음과 같이 표현해보겠습니다. 전자는 행 벡터(row vector), 후자는 열 벡터(column vector)라고 부르기로 하죠. $$\begin{bmatrix}a_1 & \cdots & a_n \end{bmatrix} \quad \text{OR} \quad \begin{bmatrix}a_1 \\\ \vdots \\\ a_n \end{bmatrix}$$

행렬이 벡터들의 집합이라는 관점을 조금 더 이어가봅시다. 행렬의 연산을 다음과 같이 벡터 연산을 확장시켜서 정의해볼 수 있을 것입니다.

$$\text{합 : } [ a_{ij} ] + [ b_{ij} ] = [ a_{ij} + b_{ij} ] \\\ \text{실수배 : } t[ a_{ij} ] = [ ta_{ij} ]$$

위의 연산은 모두 $m \times n$으로 차원이 같은 행렬 사이에 이루어진다는 것을 주의해주세요. 위의 연산을 통해 결합법칙, 교환법칙, 항등원, 역원의 존재 등을 논하는 것은 앞에서도 여러번 해왔으니, 생략해도 되겠죠? 이제 행렬에서만 정의되는 독특한 연산, 행렬곱을 소개해보겠습니다.

Definition 6.2. 행렬 곱(Product of matrices)

$m \times n$ 행렬 $A = [a_{ij}]$와 $n \times l$ 행렬 $B = [b_{jk}]$를 생각하자. 두 행렬에 대하여, 행렬의 곱 $AB$를 다음과 같이 정의한다. $$f : \mathbb{R}^{(m \times n)} \times \mathbb{R}^{(n \times l)} \; \rightarrow \; \mathbb{R}^{(m \times l)} \\\ AB := f(A,B) = C = [c_{ik}]_{m \times l}$$

$$\text{where } c_{ik} = \sum_{j=1}^n a_{ij}b_{jk} \quad (i=1,\cdots,m \; / \; k=1,\cdots,l)$$

식이 다소 복잡해 보이지만, 행렬곱 $AB$의 $(i,k)$-원소는 $A$의 $i$번째 행 벡터와 $B$의 $k$번째 열 벡터의 내적(inner product)임을 곧 알 수 있습니다.

• Sample Problem 6.1.
  “$A = \begin{bmatrix} 1 & 0 & 1 \\\ 1 & 1 & 1 \end{bmatrix}$, $B = \begin{bmatrix} 1 & 1 \\\ 0 & 0 \\\ 0 & 1 \end{bmatrix}$일 때, $AB$를 계산하라.”

  $AB = C = [c_{ik}] _ {2 \times 2}$ 이라 두면,
  $c_{11} = 1 \cdot 1 + 0 \cdot 0 + 1 \cdot 0 = 1$
  $c_{12} = 1 \cdot 1 + 0 \cdot 0 + 1 \cdot 1 = 2$
  $c_{21} = 1 \cdot 1 + 1 \cdot 0 + 1 \cdot 0 = 1$
  $c_{22} = 1 \cdot 1 + 1 \cdot 0 + 1 \cdot 1 = 2$
  이므로, $AB = \begin{bmatrix} 1 & 2 \\\ 1 & 2 \end{bmatrix}$ □

행렬곱 연산은 특이하게도 결합법칙 $(AB)C=A(BC)$ 과 분배법칙 $A(B+C)=AB+AC$ 은 성립하지만, 교환법칙 $AB=BA$ 은 성립하지 않는 연산입니다. 궁금하면 위의 Sample Problem 6.1.에서 $BA$를 구해 $AB$와 비교해보시기 바랍니다.

왜 이렇게 복잡하게 곱을 정의하는 것일까요? 그냥 대응하는 원소끼리 곱해서, 벡터의 내적처럼 곱을 정의하지 않은 이유는 무엇일까요? 오늘 포스트의 후반부에 그 답을 어렴풋이 알 수 있을 텐데요, 우선 잠시 쉬어갈 겸 모양이 예쁜(?) 행렬들을 조금 살펴보고 가실까요.

행렬의 종류

이번에는 몇 가지 중요한 행렬의 종류들을 살펴봅니다. 전치행렬, 정사각행렬, 대각행렬, 그리고 항등행렬이 그것입니다2.

• 전치행렬(transpose) : $m \times n$ 행렬 $A = [ a_{ij} ]$에 대한 전치행렬은 $A^t$로 표시하며, $$A^t = [ a_{ji} ]_{n \times m}$$ 이 됩니다.

• Sample Problem 6.2.
  “$A = \begin{bmatrix} 1 & 5 & 1 \\\ 3 & 1 & 1 \end{bmatrix}$일 때, $A^t$를 계산하라.”

  $A^t = \begin{bmatrix} 1 & 3 \\\ 5 & 1 \\\ 1 & 1 \end{bmatrix}$ □

• 정사각행렬(square matrix) : 행렬의 행의 수와 열의 수가 같은 행렬, 즉 임의의 자연수 $n$에 대해 $n \times n$ 행렬을 정사각행렬이라 합니다.

정사각행렬은 자기 자신과의 행렬곱이 가능하므로, 행렬의 제곱, 세제곱 등을 생각할 수 있습니다. 이제부터 정사각행렬 $A$에 대하여, 다음과 같이 행렬의 거듭제곱 $A^n$을 정의합시다.
$$A^1 = A \; , \; A^2 = AA \; , \; A^3 =AAA \; \cdots$$

대각항렬과 항등행렬은 모두 정사각행렬의 special case라 할 수 있습니다.

• 대각행렬(diagonal matrix) : $n \times n$ 정사각행렬 $A = [a_{ij}]$ 에 대해, 행렬의 왼쪽 위부터 오른쪽 아래를 잇는 대각 성분 $a_{kk} \; (k=1,\cdots,n)$을 제외한 모든 원소가 0인 경우입니다.
  $$\begin{bmatrix} a_{11} & & 0 \\\ & \ddots & \\\ 0 & & a_{nn} \end{bmatrix}$$

• 항등행렬(identity matrix) : 대각행렬 중에서도, 대각 성분이 모두 1인 경우입니다.
  $$\begin{bmatrix} 1 & & 0 \\\ & \ddots & \\\ 0 & & 1 \end{bmatrix}$$

항등행렬은 특히 $I$ 혹은 행(열)의 수에 따라 $I_n$으로 표기하는데요, 어떤 행렬이든 항등행렬을 곱하면 자기 자신이 나오게 됩니다. $$AI = IA = A$$
이제 정사각행렬 $A$에 대해서, $A$의 0제곱을 $I$라 생각해도 무리가 없겠죠? $$A^0 = I$$

행렬과 선형변환

수학 개념은 모두 만들어진 이유가 있습니다. 행렬도 마찬가지입니다. 앞서 ‘왜 행렬곱은 이렇게 복잡하게 정의됐나?’를 물어봤었는데요, 그 이유야 여러 가지가 있을 수 있겠습니다만 저는 선형 변환의 개념을 들어 행렬의 존재 이유를 설명해보겠습니다.

“행렬은 세상에 수없이 존재하는 선형 변환 관계를 행렬곱 연산을 통해 동등한 대수식으로 변환시켜줄 수 있다”

이제 선형 변환(linear transformation)을 공부하면서, 위의 결론에 도달해보도록 하죠.

Definition 6.3. (실수 공간 하에서의) 선형 변환(linear transformation)

어떤 변환(혹은 함수) $L$이 $\mathbf{R}^n$에서 $\mathbf{R}^m$으로 가는 사상이라면, 즉 $$L \; : \; \mathbb{R}^n \rightarrow \mathbb {R}^m$$ 일 때, 다음의 두 가지 성질을 만족하는 변환을 선형 변환(linear transformation)이라 한다.
$$L(u+v) = L(u) + L(v) \\\ tL(u) = L(tu) \\\ (u,v \in \mathbb{R}^n \; , \; t \in \mathbb{R})$$

정의만 보기에는 선형 변환이 얼마나 익숙한 개념인지 잘 모르실 수 있어서, 몇 가지 예시를 들고 와 봤습니다.

• 원점을 지나는 직선 $f : \mathbb{R} \rightarrow \mathbb{R}$ , $f(x) = kx$
  $\mathbb{R}^1$ 에서 $\mathbb{R}^1$으로 가는 변환이며, 다음을 만족함은 자명합니다(직접 대입해보면 됩니다). $$f(x+y) = f(x) + f(y) \\\ tf(x) = f(tx)$$ 따라서 ‘원점을 지나는 직선’은 정의역 $\mathbb{R}^1$, 공역 $\mathbb{R}^1$인 선형 변환의 예시가 되겠습니다. 이제 $1 \times 1$ 행렬 $A = [k]$를 생각하면, 변환 관계는 다음의 행렬 관계로 표현되겠네요. $$f(x) = Ax \; (x \in \mathbb{R}^1)$$

• $xy$ 평면으로의 정사영(projection) $g: \mathbb{R}^3 \rightarrow \mathbb{R}^2$ , $g(x_1, x_2, x_3) = (x_1, x_2)$
  $\mathbb{R}^3$ 에서 $\mathbb{R}^2$으로 가는 변환이며, 다음을 만족함은 또 자명합니다. $$g(x+y) = g(x) + g(y) \\\ tg(x) = g(tx)$$ 따라서 ‘정사영’은 정의역 $\mathbb{R}^3$, 공역 $\mathbb{R}^2$인 선형 변환의 한 예시가 되겠습니다. 이제 $2 \times 3$ 행렬 $B = \begin{bmatrix}1 & 0 & 0 \\\ 0 & 1 & 0 \end{bmatrix}$을 생각하면, 변환 관계는 다음의 행렬 관계로 표현될 겁니다. $$g(x) = Bx \; (x \in \mathbb{R}^3)$$

• 항등 변환 $id : \mathbb{R}^n \rightarrow \mathbb{R}^n$ , $id(x) = x$
  $\mathbb{R}^n$ 에서 $\mathbb{R}^n$으로 가는 변환이며, 다음을 만족함은 너무나도 자명합니다. $$id(x+y) = id(x) + id(y) \\\ tid(x) = id(tx)$$ 따라서 ‘항등 변환’은 정의역 $\mathbb{R}^n$, 공역 $\mathbb{R}^n$인 선형 변환의 예시가 되겠습니다. 이제 $n \times n$ 행렬 $I = \begin{bmatrix} 1 & & 0 \\\ & \ddots & \\\ 0 & & 1 \end{bmatrix}$ 를 생각하면, 변환 관계는 다음의 행렬 관계로 표현되겠네요. $$id(x) = Ix \; (x \in \mathbb{R}^n)$$

세 가지 예시를 통해, 두 가지를 알 수 있겠습니다. 첫 째는 선형 변환이 생각보다 상당히 친숙한 개념이라는 점, 둘째는 이러한 선형 변환 관계는 항상 하나의 행렬에 대응될 수 있다는 점이죠. 두 번째 부분을 따로 떼내어, 다음의 등가성 정리를 만들어 봅시다. 오늘의 하이라이트입니다.

Theorem 6.1. 선형 사상과 행렬의 등가성

모든 선형 변환은 하나의 행렬에 동등하게 대응된다.

선형 변환 $L : \mathbb{R}^n \rightarrow \mathbb{R}^m$이 주어졌다고 하자. $\mathbb{R}^n$의 기본 기저벡터(혹은 축 단위벡터) $\mathbf{e}_1 = (1,0,\cdots,0)$, $\mathbf{e}_2 = (0,1,\cdots,0)$, $\cdots$ ,$\mathbf{e}_n = (0,0,\cdots,1)$를 각각 $L$에 관해 변환시켰을 때 만들어지는 벡터를 각각 $\mathbf{a}_1$, $\mathbf{a}_2$, $\cdots$ ,$\mathbf{a}_n$이라 하자. 앞의 벡터를 열벡터로 두면 다음의 행렬을 생각할 수 있다. $$A = \begin{bmatrix} \mathbf{a}_1 & \cdots & \mathbf{a}_n \end{bmatrix}$$ 이제 아래의 과정을 통해, 이 행렬 $A$가 곧 선형 변환 $L$과 동등함을 입증할 수 있습니다.
임의의 벡터 $\mathbf{x} = (x_1, \cdots , x_n) \in \mathbb{R}^n$ 에 대하여, $$L(\mathbf{x}) = L(\mathbf{e}_1 x_1 + \cdots + \mathbf{e}_n x_n) \\\ = L(\mathbf{e}_1)x_1 + \cdots L(\mathbf{e}_n)x_n \\\ = \mathbf{a}_1 x_1 + \mathbf{a}_n x_n \\\ = \begin{bmatrix} \mathbf{a}_1 & \cdots & \mathbf{a}_n \end{bmatrix} \begin{bmatrix} x_1 \\\ \vdots \\\ x_n \end{bmatrix} = A \mathbf{x} \;\; □$$

자, 이렇게 선형 변환이라는, 함수 차원에서 진행될 이야기를 행렬곱의 대수적 연산의 차원으로 끌고 왔습니다. 이렇게 하는게 무슨 장점이 있을까요? 우선 선형 변환의 의미(정사영, 항등변환 등)와 상관없이, 모두를 행렬곱의 연산식의 형태로 표현 가능하다는 장점이 있겠습니다. 다음 포스팅과 연결될 또 다른 장점이 하나 더 있습니다. 아래의 선형 변환 $L_A$ (행렬 $A$로 표현되는)을 살펴봅시다. $$Ax = b$$ 여기에서 output $b$를 알 때, input $x$를 역으로 구하는 방법은 무엇일까요? 직관적으로 보자면, 아래의 표현이 답이 되지 않을까요? $$x = A^{-1}b$$ 실제로 이렇게 역연산이 구해집니다. 즉, 선형 변환의 역변환을 구하는 과정은 행렬의 역수를 구하는 일관적인 대수적 절차로 귀결됩니다. 함수의 역(결과에서 원인을 규명하는)을 구하는 것은 많은 학문 분야에서 중요한 토픽 중에 하나일텐데요, 적어도 선형 변환에서는 역변환의 존재성과 계산법 등을 행렬 연산을 통해 구할 수 있는 셈입니다.

이제 행렬의 역수를 구하는 것이 중요한 논의 대상이 될 것인데요, 일반적으로 실수와는 달리 행렬은 역수가 존재할 수도 있고 그렇지 않을 수도 있습니다. 다음 포스트에서는 역행렬이라 부르는 이 개념을 보다 자세히 다뤄보도록 하겠습니다.

---

1. 행렬 개념에 익숙하다면, 당분간의 포스팅은 넘기셔도 될 것입니다. ↩
2. 역행렬이 어디 갔는지 물으신다면, 다음 포스팅의 주인공으로 등장하게 될 예정입니다 ^^; ↩