전송 엔트로피(Transfer Entropy, TE)는 두 시계열 변수 간의 방향성 있는 정보 전달을 측정하는 비선형 방법이다. 전송 엔트로피는 정보 이론의 개념을 기반으로 하며, 한 시계열에서 다른 시계열로의 정보 전달을 정량화한다. 이를 통해 두 변수 간의 인과 관계를 추론할 수 있다. 전송 엔트로피는 선형 및 비선형 관계를 모두 측정할 수 있으며, 시차(lag)를 고려하여 방향성 있는 정보 전달을 계산한다.
전송 엔트로피를 계산하는 공식은 다음과 같다.
$TE(X \to Y) = \sum_{x_{t-1}, y_{t}, y_{t-1}} p(x_{t-1}, y_{t}, y_{t-1}) \log \frac{p(y_{t} | x_{t-1}, y_{t-1})}{p(y_{t} | y_{t-1})}$
여기서, $x_{t-1}$과 $y_{t-1}$는 각각 시간 $t-1$에서의 변수 $X$와 $Y$의 값이고, $y_{t}$는 시간 $t$에서의 변수 $Y$의 값이다. $p(x_{t-1}, y_{t}, y_{t-1})$는 변수 $X$와 $Y$의 결합 확률 분포이며, $p(y_{t} | x_{t-1}, y_{t-1})와 p(y_{t} | y_{t-1})$는 조건부 확률 분포를 의미한다.
전송 엔트로피를 사용하여 두 시계열 변수 간의 인과 관계를 추론하려면 다음 단계를 따른다.
- 두 시계열 변수 $X$와 $Y$를 준비한다.
- 시차(lag) 값을 선택한다. 일반적으로, 최적의 시차 값을 찾기 위해 여러 시차 값에 대해 전송 엔트로피를 계산하고 비교한다.
- 선택한 시차 값에 대해 전송 엔트로피를 계산한다: TE(X -> Y)와 TE(Y -> X).
- 두 변수 간의 전송 엔트로피 값을 비교하여 인과 관계를 결정한다. 한 변수에서 다른 변수로의 전이 정보 값이 크다면, 해당 변수가 다른 변수에 인과 관계를 가진다고 판단할 수 있다.
전송 엔트로피는 그레인저 인과성 검정과 같이 시계열 데이터에서 인과 관계를 추론하는 데 사용되는 도구 중 하나다. 전이 정보는 비선형 관계를 탐색하는 데 특히 유용하지만, 정확한 인과 관계를 추론하기 위해서는 여러 분석 방법을 함께 사용하는 것이 좋다. 이는 인과 관계를 추론하는 데 다양한 가정과 한계가 있기 때문이다.
전송 엔트로피와 다른 다양한 인과 관계 추론 방법들은 서로 보완적인 역할을 수행한다. 한 가지 방법만 사용하여 인과 관계를 결정하는 것보다 여러 방법을 사용하여 결과를 비교하고 검증하는 것이 중요하다. 이를 통해 시계열 데이터에서 보다 정확한 인과 관계를 추론할 수 있다.
