31. 대각화와 이차 형식

31.1. Diagonalization.

 크기가 $n \times n$인 Matrix $\mathbf {A}$가 존재하고, 크기가 $n \times n$인 Matrix $\mathbf {\hat {A}}$가 다음을 만족할 때,

$\mathbf {\hat {A}} = \mathbf {P^{-1} AP} \cdots (1)$

$\mathbf {\hat {A}}$는 $\mathbf {A}$에 Similar 하다고 하고, 이 Transformation을 Similarity transformation이라 합니다. 이때 $\mathbf {P}$는 크기가 $n \times n$인 임의의 matrix입니다.

 

 $\mathbf {\hat {A}}$는 $\mathbf {A}$와 같은 Eigenvalue를 갖습니다. $\mathbf {x}$가 $\mathbf {A}$의 Eigenvector라면, 같은 Eigenvalue에 대응되는 $\mathbf {\hat {A}}$의 Eigenvector를 $\mathbf {y}$라하면, $\mathbf {y}$는 다음과 같습니다.

$\mathbf {y} = \mathbf {P^{-1} x}\cdots(2)$

 확인해봅시다. 일반적으로 풀어온 Eigenvalue problem을 쓰면 다음과 같습니다.

$\mathbf {Ax} = \lambda \mathbf {x}\cdots(3)$

 (3)의 양변에 $\mathbf {P^{-1}}$을 곱합니다. $\lambda$는 Scalar이기 때문에 곱셈 순서에 영향을 받지 않습니다.

$\mathbf {P^{-1} Ax} = \lambda \mathbf {P^{-1} x} \cdots (4)$

 $\mathbf {I} = \mathbf {PP^{-1}}$을 이용해봅시다. Unit matrix는 곱셈 순서에 영향을 받지 않기 때문에, (4) 좌변의 $\mathbf {A}$와 $\mathbf {x}$ 사이에 곱해봅시다.

$\mathbf {P^{-1} AIx} = \mathbf {P^{-1} APP^{-1} x} \cdots (5)$

 (1)을 이용해 (5)를 다시 써봅시다.

$\mathbf {P^{-1} APP^{-1} x} = \mathbf {\hat {A} P^{-1} x} = \lambda \mathbf {P^{-1} x} \cdots (6)$

 (6)을 (2)와 같이 $\mathbf {P^{-1} x} = \mathbf {y}$로 치환하면 다음과 같습니다.

$\mathbf {\hat {A} y} = \lambda \mathbf {y} \cdots (7)$

 (7)에서 확인할 수 있듯, $\mathbf {A}$와 Similar 한 Matrix $\mathbf {\hat {A}}$는 같은 Eigenvalue를 갖고, (2)와 같은 Eigenvector를 가짐을 알 수 있습니다.

 

 적당한 Matrix를 선택해 Similarity transformation을 이용하여 $\mathbf {A}$를 원소들이 $\mathbf {A}$의 Eigenvalue인 Diagonal matrix $\mathbf {D}$로 바꿀 수 있습니다.

$\mathbf {D} = \mathbf {X^{-1} AX}\cdots (8)$

 (8)의 $\mathbf {X}$는 Eigenvector를 column vector로 한 Matrix입니다. 증명해 봅시다.

$\mathbf {A}$의 Eigenvector를 $\mathbf {x_1}, \cdots, \mathbf {x_n}$이라 하고 모두 독립인 Basis라고 합시다. 그리고 각각의 Eigenvector에 대응되는 Eigenvalue를 $\lambda_1, \cdots, \lambda_n$이라 합시다. 식을 따로 써 보면 다음을 만족함을 확인할 수 있습니다.

 $\mathbf {Ax_1} = \lambda_1 \mathbf {x_1}, \cdots, \mathbf {Ax_n} = \lambda_n \mathbf {x_n} \cdots (9)$

$\mathbf {X} = \begin {bmatrix} \mathbf {x_1}&\cdots&\mathbf {x_n} \end {bmatrix}$라 합시다. $\mathbf {x_k}$는 모두 독립이기 때문에 $\mathbf {X}$의 Rank는 n입니다. $\mathbf {X}$의 크기는 $n \times n$이고 Rank가 n이므로, $\mathbf {X}$의 Inverse matrix는 존재합니다. $\mathbf {AX}$를 풀어서 써봅시다.

 $\mathbf {AX} = \mathbf {A} \begin {bmatrix} \mathbf {x_1} &\cdots&\mathbf {x_n} \end {bmatrix} = \begin {bmatrix} \mathbf {Ax_1}&\cdots&\mathbf {Ax_n} \end {bmatrix} \cdots (10)$

 (10)을 (9)를 이용하여 다시 쓰면

 $\begin {bmatrix} \mathbf {Ax_1}&\cdots&\mathbf {Ax_n} \end {bmatrix} = \begin {bmatrix} \lambda_1\mathbf {x_1}&\cdots&\lambda_n\mathbf {x_n} \end {bmatrix} \cdots (11)$

 (11)의 우변을 풀어서 쓰면 다음과 같습니다.

 $\begin {bmatrix} \lambda_1\mathbf {x_1}&\cdots&\lambda_n\mathbf {x_n} \end {bmatrix} = \begin {bmatrix} \mathbf {x_1}&\cdots&\mathbf {x_k}&\cdots&\mathbf {x_n} \end {bmatrix} \begin {bmatrix} \lambda_1&0&\cdots&0&0\\0&\ddots&&&0\\ \vdots&&\lambda_k&&\vdots\\&&&\ddots&\\0&0&\cdots&0&\lambda_n \end {bmatrix}\cdots(12)$

 $\mathbf {D}$를 $\mathbf {A}$의 Eigenvalue를 원소로 갖는 Diagonal matrix로 정의했습니다. 즉 (12)의 우변을 다시 쓰면 다음과 같습니다.

$\begin {bmatrix} \mathbf {x_1}&\cdots&\mathbf {x_k}&\cdots&\mathbf {x_n} \end {bmatrix} \begin {bmatrix} \lambda_1&0&\cdots&0&0\\0&\ddots&&&0\\ \vdots&&\lambda_k&&\vdots\\&&&\ddots&\\0&0&\cdots&0&\lambda_n \end {bmatrix}\ = \mathbf {XD} = \mathbf {AX} \cdots (13)$

 (13)의 결과에 $\mathbf {X^{-1}}$을 곱하면 (8)식 $\mathbf {D} = \mathbf {X^{-1} AX}$을 얻을 수 있습니다. 이렇게 Matrix를 Diagonal matrix로 바꾸어주는 Transformation을 Diagonalization이라고 합니다. 예제를 풀어봅시다.

 

 Ex) 1. Diagonlize $\mathbf {A} = \begin {bmatrix} 7.3&0.2&-3.7\\-11.5&1.0&5.5\\17.7&1.8&-9.3 \end {bmatrix}$

 먼저 $\mathbf {X}$를 찾기 위해 Eigenvalue를 구해봅시다.

$\det {(\mathbf {A} - \lambda \mathbf {I})} = \begin {vmatrix} 7.3-\lambda&0.2&-3.7\\-11.5&1.0-\lambda&5.5\\17.7&1.8&-9.3-\lambda \end {vmatrix} = -\lambda^3-\lambda^2+12\lambda = \lambda(\lambda+4)(\lambda-3) = 0 \cdots (14)$

 (14)에서 Eigenvalue가 $\lambda_1 = 3,\ \lambda_2 = -4,\ \lambda_3 = 0$임을 알 수 있습니다. 각 Eigenvalue에 대응하는 Eigenvector를 구하면 다음과 같습니다.

$\mathbf {x_1} = \begin {bmatrix} -1\\3\\-1 \end {bmatrix},\ \mathbf {x_2} = \begin {bmatrix} 1\\-1\\3 \end {bmatrix},\ \mathbf {x_3} = \begin {bmatrix} 2\\1\\4 \end {bmatrix} \cdots (15)$

 (15)의 결과로 $\mathbf {X}$를 구할 수 있습니다.

$\mathbf {X} = \begin {bmatrix} \mathbf {x_1}&\mathbf {x_2}&\mathbf {x_3} \end {bmatrix} = \begin {bmatrix} -1&1&2\\3&-1&1\\-1&3&4 \end {bmatrix} \cdots (16)$

 (16)을 Gauss-Jordan Elimination 하여 Inverse matrix를 구합니다.

$\mathbf {X^{-1}} = \begin {bmatrix} -0.7&0.2&0.3\\-1.3&-0.2&0.7\\0.8&0.2&-0.2 \end {bmatrix} \cdots (17)$

 (16), (17)에서 구한 결과로 (8)을 이용해 $\mathbf {D}$를 구합니다.

$\begin {matrix} \mathbf {D} = \mathbf {X^{-1} AX} &=& \begin {bmatrix} -0.7&0.2&0.3\\-1.3&-0.2&0.7\\0.8&0.2&-0.2 \end {bmatrix} \begin {bmatrix} 7.3&0.2&-3.7\\-11.5&1.0&5.5\\17.7&1.8&-9.3 \end {bmatrix} \begin {bmatrix} -1&1&2\\3&-1&1\\-1&3&4 \end {bmatrix}\\ &=& \begin {bmatrix} 3&0&0\\0&-4&0\\0&0&0 \end {bmatrix} \end {matrix} \cdots (18)$

 

 Sol) $\mathbf {D} = \begin {bmatrix} 3&0&0\\0&-4&0\\0&0&0 \end {bmatrix}$

 

 Diagonal matrix의 거듭제곱은 다음과 같이 간단하게 정리할 수 있습니다.

$\mathbf {D^2} = \mathbf {DD} = (\mathbf {X^{-1} AX})(\mathbf {X^{-1} AX}) = \mathbf {X^{-1} A(XX^{-1})AX} = \mathbf {X^{-1} AAX} = \mathbf {X^{-1} A^2X} \cdots (19)$

 이를 일반화하면 다음과 같이 쓸 수 있습니다.

$\mathbf {D^n} = \mathbf {X^{-1} A^nX} \cdots (20)$

 

31.2. Quadratic Forms.

 Quadratic form $Q$를 다음과 같이 정의합시다.

$\begin {matrix} Q = \mathbf {x^{\top} Ax} &=& \sum_{j=1}^{n}\sum_{k=1}^{n} a_{jk} x_j x_k \\ &=& \begin {matrix} \ a_{11} x_1^2 + a_{12} x_1x_2+\cdots+a_{1n} x_1x_n \\ + a_{21} x_2x_1 + a_{22} x_{2}^2 + \cdots + a_{2n} x_2x_n \\ + \cdots \\ + a_{n1} x_nx_1 + a_{n2} x_nx_2 + \cdots + a_{nn} x_{n}^2 \end {matrix} \end {matrix} \cdots (21)$

 (21)의 $\mathbf {A} = [a_{jk}]$를 coefficient matrix라고 합니다. 여기서 $\mathbf {A}$는 Symmetric 하다고 생각합시다. Symmetric matrix를 $\mathbf {C} = [c_{jk}]$라 씁시다. Symmetric matrix에 관한 포스팅에서, $\mathbf {C} = \frac {1}{2}(\mathbf {A} + \mathbf {A^{\top}})$을 이용하여 만들어 낼 수 있었습니다. 이렇게 만들어낸 Symmetric matrix를 Coefficient matrix에 대입하여 계산하여도 $Q$의 값을 변화시키지 않습니다. 예시를 보며 확인해 봅시다.

 

 Ex) 2. $\mathbf {A} = \begin {bmatrix} 3&4\\6&2 \end {bmatrix}$

 (21)을 이용해 $Q$를 계산해봅시다.

$Q = \mathbf {x^{\top} Ax} = \begin {bmatrix} x_1&x_2 \end {bmatrix} \begin {bmatrix} 3&4\\6&2 \end {bmatrix} \begin {bmatrix} x_1\\x_2 \end {bmatrix} = 3x_1^2 + 4x_1x_2 + 6x_1x_2 + 2x_2^2 = 3x_1^2+10x_1x_2 + 2x_2^2\cdots(22)$

 $c_{jk} = \frac {1}{2} (a_{jk} + a_{kj})$로 구할 수 있습니다. $c_{12} = c_{21} = 5$로 바뀝니다. 실제로 $4+6 = 10 = 5+5$이므로, $Q$가 변하지 않을 거라 예상됩니다.

$\mathbf {x^{\top} Cx} = \begin {bmatrix} x_1&x_2 \end {bmatrix} \begin {bmatrix} 3&5\\5&2 \end {bmatrix} \begin {bmatrix} x_1\\x_2 \end {bmatrix} = 3x_1^2 + 5x_1x_2 + 5x_1x_2 + 2x_2^2 = 3x_1^2+10x_1x_2 + 2x_2^2=Q\cdots(23)$

 

 Symmetric matrix는 Eigenvector가 Orthonormal 한 basis를 가집니다. 즉, 이 Vector들을 Column vector로 갖는 Matrix $\mathbf {X}$는 Orthogonal matrix입니다. 따라서 $\mathbf {X^{\top}} = \mathbf {X^{-1}}$이 성립합니다. (21), (8)을 다시 써보면 다음과 같습니다.

$Q = \mathbf {x^{\top} Ax} = \mathbf {x^{\top} Cx} = \mathbf {x^{\top} XDX^{-1} x} = \mathbf {x^{\top} XDX^{\top} x} \cdots (24)$

 $\mathbf {y} = \mathbf {X^{\top} x}$라 합시다. 그러면 $\mathbf {y^{\top}} = \mathbf {x^{\top} X}$을 만족합니다. (24)를 다시 써봅시다.

$\begin {matrix} Q = \mathbf {y^{\top} Dy} &=& \begin {bmatrix} y_1&\cdots&y_n \end {bmatrix} \begin {bmatrix} \lambda_1&&\\&\ddots&\\&&\lambda_n \end {bmatrix} \begin {bmatrix} y_1\\ \vdots \\ y_n \end {bmatrix} \\ &=& \begin {bmatrix} \lambda_1y_1&\cdots&\lambda_ny_n \end {bmatrix} \begin {bmatrix} y_1 \\ \vdots \\ y_n \end {bmatrix} \\ &=& \lambda_1y_1^2 + \lambda_2y_2^2 + \cdots + \lambda_ny_n^2 \end {matrix} \cdots(25)$

예제를 풀어봅시다.

 

Ex) 3. $Q = 17x_1^2 -30x_1x_2 + 17x_2^2 = 128$

 $Q = \mathbf {x^{\top} Ax}$형태로 나타내 봅시다. 적당한 $\mathbf {A}$로 $\mathbf {A} = \begin {bmatrix} 17&-15\\-15&17 \end {bmatrix}$을 선택하면 되겠습니다(Symmetric matrix가 되도록).

 $Q = \begin {bmatrix} x_1&x_2 \end {bmatrix} \begin {bmatrix} 17&-15\\-15&17 \end {bmatrix} \begin {bmatrix} x_1 \\ x_2 \end {bmatrix} \cdots (26)$

 $\mathbf {A}$의 Eigenvalue를 구해봅시다.

 $\det {(\mathbf {A} - \lambda \mathbf {I})} = \begin {vmatrix} 17-\lambda&-15\\-15&17-\lambda \end {vmatrix} = (17-\lambda)^2 - 15^2 = (\lambda - 2)(\lambda - 32) = 0 \cdots (27)$

 (27)에서 Eigenvalue가 $\lambda_1 = 2$, $\lambda_2 = 32$임을 알 수 있습니다. (25)를 이용하여 $Q$를 다시 $y$에 대하여 쓰면 다음과 같습니다.

 $Q = 2y_1^2 + 32y_2^2 = 128\cdots (28)$

 (28)을 정리하면 타원의 방정식이 됨을 확인할 수 있습니다.

 $\frac {y_1^2}{8^2} + \frac {y_2^2}{2^2} = 1 \cdots (29)$

 (29)는 축이 $y_1y_2$-직교 좌표계입니다. 주어진 예제는 $x_1x_2$-직교 좌표계로 주어졌습니다. 두 좌표계간의 관계를 파악해 봅시다. $\mathbf {y} = \mathbf {X^{\top} x}$를 변형해 봅시다. $\mathbf {X}$는 Diagonal matrix이므로 다음과 같습니다.

 $\mathbf {y} = \mathbf {X^{\top} x} = \mathbf {X^{-1} x}\cdots(30)$

 (30)의 양변에 $\mathbf {X}$를 곱합니다. 그렇다면 다음과 같이 정리됩니다.

 $\mathbf {x} = \mathbf {Xy} \cdots (31)$

 (31)을 계산하기 위해 이제 $\mathbf {X}$를 구해봅시다. (27)에서 구한 Eigenvalue를 이용하여 Eigenvector를 구하면 다음과 같습니다.

 $\mathbf {x_1} = \begin {bmatrix} \frac {1}{\sqrt {2}} \\ \frac {1}{\sqrt {2}} \end {bmatrix}$, $\mathbf {x_2} = \begin {bmatrix} -\frac {1}{\sqrt {2}}\\ \frac {1}{\sqrt {2}} \end {bmatrix}\cdots (32)$

 (32)를 통해 $\mathbf {X}$를 구할 수 있습니다.

 $\mathbf {X} = \begin {bmatrix} \mathbf {x_1} & \mathbf {x_2} \end {bmatrix} = \begin {bmatrix} \frac {1}{\sqrt {2}}&-\frac {1}{\sqrt {2}} \\ \frac {1}{\sqrt {2}}& \frac {1}{\sqrt {2}} \end {bmatrix} \cdots (33)$

 (33)을 이제 (31)에 대입합니다.

 $\begin {bmatrix} x_1 \\ x_2 \end {bmatrix} = \begin {bmatrix} \frac {1}{\sqrt {2}}&-\frac {1}{\sqrt {2}} \\ \frac {1}{\sqrt {2}}& \frac {1}{\sqrt {2}} \end {bmatrix} \begin {bmatrix} y_1 \\ y_2 \end {bmatrix} \cdots (34)$

 (34)를 풀어서 쓰면 다음과 같습니다.

 $\begin {cases} x_1 = \frac {y_1}{\sqrt {2}} - \frac {y_2}{\sqrt {2}} \\ x_2 = \frac {y_1}{\sqrt {2}} + \frac {y_2}{\sqrt {2}} \end {cases} \cdots (35)$

 2-D에서 Rotation matrix는 $\begin {bmatrix} \cos {\theta}&-\sin {\theta} \\ \sin {\theta}& \cos {\theta} \end {bmatrix}$입니다. (34)를 만족하는 $\theta$는 $\theta = 45^{\circ}$임을 계산할 수 있습니다. 따라서 주어진 좌표계 $y_1y_2$-직교 좌표계는 $x_1x_2$-직교 좌표계를 $45^{\circ}$한 좌표계임을 알 수 있습니다.

 

 이번 포스팅은 여기까지 마치겠습니다. 다음 포스팅에서 Vector Differential Calculus - Inner Product에 대하여 작성할 예정입니다.