28. 고윳값 문제

28.1. The Matrix Eigenvalue Problem.

 다음과 같은 Vector equation을 생각해봅시다.

$\mathbf {Ax} = \lambda\mathbf {x}\cdots(1)$

 (1)과 같은 Equation을 Eigenvalue Equation이라고 합니다. 여기서 $\mathbf {A}$는 square matrix이고, $\lambda$는 미지 scalar, 그리고 $\mathbf {x}$는 미지 vector입니다. Eigenvalue problem는 (1)을 만족하는 $\lambda$와 $\mathbf {x}$의 값을 구하는 것이 목적입니다. $\mathbf {x} = 0$인 경우는 자명하므로, $\mathbf {x} \neq 0$인 경우를 생각하여 $\lambda$를 구합니다. 이 경우의 (1)을 만족하는 $\lambda$는 Eigenvalue라고 하고, $\mathbf {x}$를 Eigenvector라고 합니다.

 

28.2. How to Find Eigenvalues and Eigenvectors.

 $\mathbf {A}$를 다음과 같은 matrix라고 합시다.

$\mathbf {A} = \begin {bmatrix} -5&2\\2&-2\end {bmatrix}\cdots(2)$

 Equation 형태로 써봅시다.

$\mathbf {Ax} = \begin {bmatrix} -5&2\\2&-2\end {bmatrix} \begin {bmatrix} x_{1} \\ x_{2} \end {bmatrix} = \lambda \begin {bmatrix} x_{1} \\ x_{2} \end {bmatrix}\ ;\qquad \begin {cases} -5x_1 + 2x_2 = \lambda x_1\\ 2x_1 - 2x_2 = \lambda x_2 \end {cases} \cdots(3)$

 (1) 식을 적절하게 변형해 봅시다.

$(\mathbf {A} - \lambda \mathbf {I})\mathbf {x} = 0 \cdots (4)$

 (4)는 Homogeneous linear system임을 알 수 있습니다. Cramer's rule에서, Homogeneous 한 경우에서, $\mathbf {x} \neq 0$이면 계수 항의 Determinant가 0이어야 합니다. 즉 다음을 만족해야 합니다.

 $|\mathbf {A} - \lambda \mathbf {I}| = 0 \cdots (5)$

 (5)의 Determinant를 계산합니다.

$\det (\mathbf {A} - \lambda \mathbf {I}) = \begin {vmatrix} -5-\lambda&2\\2&-2-\lambda \end {vmatrix} = (-5-\lambda)(-2-\lambda) - 4 = \lambda^2 + 7\lambda + 6 = (\lambda + 1)(\lambda + 6) = 0\cdots(6)$

 (6)에서 $\mathbf {A} - \lambda \mathbf {I}$를 Characteristic Matrix라 하고, Characteristic Matrix의 Determinant를 Characteristic Determinant라고 합니다.

(6)의 결과로 $\lambda = -1$, $\lambda = -6$임을 알았습니다. 각각의 값을 대입하여 Eigenvector를 구해봅시다.

 

Case)1. $\lambda = -1$

 주어진 값을 대입하면 다음과 같습니다.

$\begin {bmatrix} -4&2\\2&-1\end {bmatrix} \begin {bmatrix} x_1\\x_2 \end {bmatrix} = \begin {bmatrix} 0\\0 \end {bmatrix} \cdots (7)$

 (7)을 Gauss Elimination을 해봅시다.

$\begin {bmatrix} -4&2\\0&0 \end {bmatrix} \begin {bmatrix} x_1\\x_2 \end{bmatrix} = \begin {bmatrix} 0\\0 \end {bmatrix} \cdots (8)$

 (8)의 결과로 Basis를 구합니다.

$\mathbf{x_1} = \begin {bmatrix} 1\\2 \end {bmatrix} \cdots (9)$

 

Case) 2. $\lambda = -6$

 주어진 값을 대입하면 다음과 같습니다.

$\begin {bmatrix} 1&2\\2&4 \end {bmatrix} \begin {bmatrix} x_1\\x_2 \end {bmatrix} = \begin {bmatrix} 0\\0 \end {bmatrix} \cdots (10)$

 (10)을 Gauss Elimination을 해봅시다.

$\begin {bmatrix} 1&2\\0&0 \end {bmatrix} \begin {bmatrix} x_1\\x_2 \end {bmatrix} = \begin {bmatrix} 0\\0 \end {bmatrix} \cdots (11)$

 (11)의 결과로 Basis를 구합니다.

$\mathbf {x_2} = \begin {bmatrix} -2\\1 \end {bmatrix} \cdots (12)$

 

 (6), (9), (12)의 결과를 통해, $\mathbf {A}$가 (2)와 같을 때 Eigenvalue problem의 Eigenvalue와 Eigenvector는 다음과 같다고 정리할 수 있습니다.

 $\therefore \lambda = -1$ or $\lambda = -6$, $\mathbf {x_1} = \begin {bmatrix} 1\\2 \end {bmatrix}$, $\mathbf {x_2} = \begin {bmatrix} -2\\1 \end {bmatrix}$

 

 Transpose한 Matrix는 Characteristic determinant가 변하지 않기 때문에, $\mathbf {A}$와 $\mathbf {A}^{\top}$의 Eigenvalue를 가진다는 사실을 알 수 있습니다.

 

28.3. Algebraic Multiplicity, Geometric Multiplicity.

 Characteristic Equation을 일반적인 다항식의 인수분해 형태로 나타내 봅시다.

$\det {(\mathbf {A} - \lambda \mathbf {I})} = c(\lambda - \lambda_1)^{n_1}(\lambda - \lambda_2)^{n_2}\cdots(\lambda - \lambda_k)^{n_k}\cdots(13)$

 (13)의 Eigenvalue $\lambda_k$항의 지수 $n_k$를 Algebraic multiplicity(대수적 중복도)라고 합니다. Eigenvalue $\lambda$의 대수적 중복도를 $M_{\lambda}$라고 씁시다.

 Eigenvalue를 대입하여 (2)를 만족하는 Eigenvector $\mathbf {x}$를 구할 수 있을 겁니다. 여기서 선형 독립인 Eigenvector의 개수를 Geometric multiplicity(기하적 중복도)라고 합니다. Eigenvalue $\lambda$의 기하적 중복도를 $m_{\lambda}$라고 씁시다. 일반적으로 $M_{\lambda} \geq m_{\lambda}$이고, 그 차이인 $M_{\lambda} - m_{\lambda}$를 $\Delta_{\lambda}$라 하고, defect라고 합시다. 예제를 풀면서 알아봅시다.

 

 Ex) $\mathbf {A} = \begin {bmatrix} 0&1\\0&0 \end {bmatrix}$

 Characteristic equation을 구해봅시다.

$\det (\mathbf {A} - \lambda \mathbf {I}) = \begin {vmatrix} -\lambda&1\\0&-\lambda \end {vmatrix} = \lambda^2 = 0\cdots(14)$

 (14)에서 Eigenvalue는 $\lambda = 0$을 가짊을 알아냈습니다. 이제 defect를 구해봅시다.

 $M_{0}$는 지수가 2이므로, $M_0 = 2$임을 알 수 있습니다.

 $m_{0}$을 구하기 위해, Eigenvalue를 대입합니다.

$\begin {bmatrix} 0&1\\0&0 \end {bmatrix} \begin {bmatrix} x_1\\x_2 \end {bmatrix} = \begin {bmatrix} 0\\0 \end {bmatrix} \cdots (15)$

 (15)에서 구할 수 있는 $\mathbf {x}$의 Basis는 오직 하나이므로, $m_0 = 1$임을 알았습니다. 이제 $\delta_0$을 구하면

$\Delta_0 = M_0 - m_0 = 2 - 1 = 1$

 

 이번 포스팅은 여기서 마치겠습니다. 다음 포스팅에서는 Some Applications of Eigenvalue Problems에 대하여 작성할 예정입니다.