특이값 분해(Singular Value Decomposition, SVD)는 선형 대수학에서 중요한 개념으로, 임의의 $m$ x $n$ 크기의 행렬 $A$를 세 행렬의 곱으로 분해하는 방법이다. 주어진 행렬 $A$에 대해, SVD는 다음과 같이 정의된다. $A = U \Sigma V^*$ 여기서, $A$는 $m$ x $n$ 크기의 행렬로, 분해하고자 하는 대상이다. $U$는 $m$ x $m$ 크기의 직교 행렬(orthogonal matrix)로, $A$의 열 공간의 기저를 구성하는 고유벡터들로 이루어져 있다. $Σ$는 $m$ x $n$ 크기의 대각 행렬로, $A$의 특이값(singular values)이라 불리는 값들을 대각선 상에 정렬한 행렬이다. 특이값은 $A$의 고유값의 제곱근이며, 이 값들은 일반..

직교행렬(orthogonal matrix)은 행렬의 열 벡터들이 서로 정규 직교(orthonormal)한 경우를 말한다. 정규 직교란, 벡터들이 서로 수직이고, 각 벡터의 크기가 1인 경우를 의미한다. 직교행렬의 한 가지 중요한 특성은 다음과 같은 관계를 가지고 있다는 것이다. $A^T A = I$ 여기서 $A$는 직교행렬, $A^T$는 $A$의 전치행렬, $I$는 항등행렬(identity matrix)이다. 즉, 직교행렬의 전치행렬과 원래 행렬의 곱은 항등행렬이 된다. 직교행렬은 선형 대수와 여러 분야에서 중요한 개념으로 사용되며, 특이값 분해(SVD)와 고유값 분해(eigenvalue decomposition)와 같은 고급 알고리즘에서도 사용된다.

행렬의 대각화(diagonalization)는 주어진 행렬을 대각 행렬과 그 행렬의 고유벡터로 이루어진 행렬의 곱으로 분해하는 과정이다. 대각화가 가능한 행렬은 대각 행렬로 유사 변환(similarity transformation)할 수 있으며, 이러한 행렬을 대각화 가능(diagonalizable)하다고 한다. 행렬 $A$가 $n$ x $n$ 크기의 정방행렬이고, 이 행렬의 $n$개의 선형 독립인 고유벡터가 존재한다고 가정해 본다면, 행렬 $A$는 다음과 같이 대각화할 수 있다. $A = P D P^{-1}$ 여기서 $A$는 주어진 $n$ x $n$ 크기의 정방행렬이다. $P$는 $A$의 고유벡터들로 구성된 $n$ x $n$ 크기의 정방행렬이다. $D$는 $A$의 고유값들을 대각선 원소로 하는 $n$ ..

고유값(eigenvalue)과 고유벡터(eigenvector)는 선형 변환에서 중요한 개념이다. 주어진 선형 변환(행렬) $A$에 대해, 변환을 적용한 후에도 방향이 변하지 않고 크기만 변하는 벡터를 고유벡터라고 한다. 이때, 그 크기의 변화 비율을 고유값이라고 한다. 수학적으로, 행렬 $A$와 벡터$x$에 대해 다음과 같은 관계가 성립하면, $x$는 고유벡터이고, $\lambda$는 고유값이다. \(Ax = \lambda x\) 이 방정식에서 행렬$A$는 주어진 선형 변환을 나타내며, $x$는 고유벡터, $\lambda$는 고유값이다. 이 문제를 풀기 위해, 다음 식을 만족하는 $\lambda$와 $x$를 찾아야 한다. \( (A - \lambda I)x = 0 \) 여기서 $I$는 항등행렬(ident..

선형성(linearity)은 함수나 변환의 특정 속성을 나타낸다. 선형 함수 또는 선형 변환은 두 가지 기본적인 성질을 만족해야 한다. 이러한 성질은 중첩의 원리(superposition principle)라고도 한다. 덧셈에 대한 동차성(Homogeneity with respect to addition) 선형성이 있는 함수 f에 대해, 두 벡터 u와 v에 대해 f(u+v) = f(u) + f(v)가 성립한다. 이 성질은 함수가 벡터의 합에 대해 분배되는 것을 의미한다. $f(\mathbf{u}+\mathbf{v}) = f(\mathbf{u}) + f(\mathbf{v})$ 스칼라 곱에 대한 동차성(Homogeneity with respect to scalar multiplication) 선형성이 있는 ..

무효차수(nullity)는 선형 대수학에서 사용되는 개념으로, 주어진 행렬의 영공간(null space)의 차원을 나타낸다. 다시 말해, 무효차수는 행렬을 선형 변환으로 취급했을 때 변환된 결과가 영벡터가 되는 모든 입력 벡터들의 집합인 영공간의 크기를 나타내는 값이다. 무효차수는 행렬의 특성을 분석하고, 선형 시스템의 해가 존재하는지 여부를 판별할 때 유용한 정보를 제공한다. 무효차수가 0인 경우, 행렬은 영공간에 오직 영벡터만을 가지므로, 선형 시스템은 유일한 해를 가진다. 반면 무효차수가 양수인 경우, 영공간은 영벡터 이외의 벡터들도 포함하므로, 선형 시스템은 해가 없거나 무수히 많은 해를 가질 수 있다. 무효차수와 랭크(rank) 사이에는 다음과 같은 관계가 있다. 랭크-무효차수 정리(Rank-N..

랭크(rank)는 행렬의 열 벡터들이나 행 벡터들의 선형 독립성을 측정하는 값이다. 보다 구체적으로, 행렬의 랭크는 다음과 같은 두 가지 관점에서 정의된다. 열 랭크(Column rank): 행렬의 열 벡터들 중 선형 독립인 벡터들의 최대 개수를 의미한다. 다시 말해, 열 랭크는 행렬의 열 벡터들로부터 생성되는 열 공간의 차원을 나타낸다. 행 랭크(Row rank): 행렬의 행 벡터들 중 선형 독립인 벡터들의 최대 개수를 의미한다. 다시 말해, 행 랭크는 행렬의 행 벡터들로부터 생성되는 행 공간의 차원을 나타낸다. 행렬의 랭크는 행렬이 얼마나 다양한 정보를 포함하고 있는지에 대한 척도로 사용된다. 높은 랭크를 가진 행렬은 더 많은 선형 독립한 정보를 포함하고 있어, 더 많은 자유도를 가진다. 반면 낮은 ..

이 각각의 공간들은 선형대수에서 행렬의 속성을 분석하는 데 사용되며, 각각 다른 관점에서 행렬을 이해할 수 있게 도와준다. 행공간(Row space) 행공간은 행렬의 행 벡터들로 구성된 공간이다. 즉, 행렬의 모든 행 벡터들의 선형 조합으로 얻을 수 있는 모든 벡터들의 집합이 행공간이다. 행공간은 주로 선형 방정식 시스템에서 가능한 해들의 공간을 나타낸다. 수식으로는 다음과 같이 나타낼 수 있다. $\text{Col}(A) = \{ x \in \mathbb{R}^m : x = Ay \text{ for some } y \in \mathbb{R}^n \}$ 열공간(Column space) 열공간은 행렬의 열 벡터들로 구성된 공간이다. 즉, 행렬의 모든 열 벡터들의 선형 조합으로 얻을 수 있는 모든 벡터들의 ..