마르코프 체인(Markov chain)은 확률론과 통계학에서 사용되는 모델로, 시스템의 상태가 이전 상태에만 의존하는 이산 시간 확률 과정이다. 이러한 과정은 "마르코프 성질(Markov property)"을 가지며, 이는 미래 상태가 오직 현재 상태에만 의존하고, 과거 상태는 고려하지 않는다는 것을 의미한다. 쉽게 말해, 현재 상태를 알고 있다면 과거 정보는 미래 예측에 도움이 되지 않는다.
마르코프 체인은 다음과 같은 요소로 구성된다.
상태(state)
시스템이 가질 수 있는 가능한 모든 상태의 집합이다. 예를 들어, 날씨 예측 시스템에서 상태는 '맑음', '흐림', '비', '눈' 등이 될 수 있다.
전이 확률(transition probability)
한 상태에서 다른 상태로 전이할 확률을 나타낸다. 이는 전이 확률 행렬(transition probability matrix)로 표현되며, 행렬의 (i, j) 요소는 상태 i에서 상태 j로 전이할 확률을 나타낸다.
\(P = \begin{bmatrix}
p_{11} & p_{12} & \cdots & p_{1n} \\
p_{21} & p_{22} & \cdots & p_{2n} \\
\vdots & \vdots & \ddots & \vdots \\
p_{n1} & p_{n2} & \cdots & p_{nn}
\end{bmatrix}\)
이 행렬은 다음과 같은 성질을 만족해야 한다.
- 모든 전이 확률은 0과 1 사이의 값이어야 한다. 즉, $0 \leq p_{ij} \leq 1$
- 각 행의 합은 1이어야 한다. 즉, $\sum_{j=1}^{n} p_{ij} = 1$
마르코프 체인에서 상태가 시간에 따라 어떻게 변화하는지를 나타내기 위해, 상태 벡터(state vector)를 사용할 수 있다. 상태 벡터는 시간 t에서 시스템이 각 상태에 있을 확률을 나타내며, 레이텍스 코드로 표현하면 다음과 같다.
\(\mathbf{x}(t) = \begin{bmatrix}
x_1(t) \\
x_2(t) \\
\vdots \\
x_n(t)
\end{bmatrix}\)
이제 상태 벡터와 전이 확률 행렬을 사용하여, 시간 t에서 시간 t+1로 상태가 어떻게 전이되는지 계산할 수 있다.
$\mathbf{x}(t+1) = P \mathbf{x}(t)$
