베이즈 정리(Bayes' theorem)는 조건부 확률을 사용하여 주어진 증거를 기반으로 사건의 확률을 업데이트하는 방법을 제공한다. 이 정리는 사전 확률(prior probability)과 관측된 데이터를 기반으로 사후 확률(posterior probability)을 계산하는 데 사용된다.
$P(A|B) = \frac{P(B|A) P(A)}{P(B)}$
여기서 각 요소는 다음과 같은 의미를 가진다.
$P(A|B)$: 사건 $B$가 발생했다는 조건 하에서 사건 $A$가 발생할 조건부 확률(사후 확률, posterior probability)
$P(B|A)$: 사건 $A$가 발생했다는 조건 하에서 사건 $B$가 발생했었을 조건부 확률(우도, likelihood)
$P(A)$: 사건 $A$가 발생할 확률(사전 확률, prior probability)
$P(B)$: 사건 $B$가 발생할 확률(증거, evidence)
조금 더 직관적으로 설명하자면, 베이즈 정리는 주어진 새로운 정보(증거)를 바탕으로 이미 알고 있는 정보(사전 확률)를 수정하여 더 정확한 정보(사후 확률)를 얻는 방법이다. 직관적으로 이해하기 위해 다음 예를 들어보자.
어떤 도시에서 택시가 두 종류가 있다고 가정해보자. 파란색 택시는 전체 택시의 70%를 차지하고, 녹색 택시는 나머지 30%를 차지한다고 하자. 이 정보는 우리의 사전 확률이다. 이제 어떤 사람이 충돌 사고를 목격했고, 녹색 택시로 보인다고 말했다. 그런데 그 사람은 택시 색깔을 정확하게 구별하는 데 80%의 정확도를 가지고 있다고 하자. 이 정보를 새로운 증거로 간주한다. 이제 베이즈 정리를 사용하여 녹색 택시가 사고를 낸 확률을 업데이트할 수 있다.
사전 확률(Prior Probability)
- P(녹색 택시) = 0.3
- P(파란색 택시) = 0.7
새로운 증거(Likelihood)
- P(사람이 녹색이라고 말한 경우 | 실제로 녹색 택시) = 0.8
- P(사람이 녹색이라고 말한 경우 | 실제로 파란색 택시) = 0.2
베이즈 정리를 적용하면 다음과 같다.
P(녹색 택시 | 사람이 녹색이라고 말한 경우) = P(사람이 녹색이라고 말한 경우 | 녹색 택시) * P(녹색 택시) / P(사람이 녹색이라고 말한 경우)
여기서 P(사람이 녹색이라고 말한 경우)는 전체 가능성에 대한 정규화 상수다. 이를 구하기 위해 녹색 택시와 파란색 택시 모두를 고려해야 한다.
P(사람이 녹색이라고 말한 경우) = P(사람이 녹색이라고 말한 경우 | 녹색 택시) * P(녹색 택시) + P(사람이 녹색이라고 말한 경우 | 파란색 택시) * P(파란색 택시) = 0.8 * 0.3 + 0.2 * 0.7 = 0.24 + 0.14 = 0.38
이제 베이즈 정리를 사용하여 사후 확률을 계산할 수 있다.
P(녹색 택시 | 사람이 녹색이라고 말한 경우) = (0.8 * 0.3) / 0.38 ≈ 0.6316
이를 통해 사람이 녹색이라고 말한 경우, 사고를 낸 택시가 실제로 녹색일 확률은 약 63.16%로 업데이트된다.
이 예시에서는 택시 색깔을 판별하는 사람의 정확도와 택시의 전체 비율을 고려하여 사고를 낸 택시의 색깔에 대한 확률을 업데이트했다.
베이즈 정리는 다양한 분야에서 활용된다. 특히 불확실성이 있는 상황에서 결론을 도출하거나 예측을 할 때 유용하다.
베이즈 정리를 사용하는 한 가지 대표적인 예는 스팸 메일 필터링이다. 스팸 메일 필터는 메일의 내용을 분석하여 스팸일 확률을 계산하고, 그 확률이 높은 메일을 스팸으로 분류한다. 이 때, 베이즈 정리를 이용하여 메일이 스팸일 확률을 업데이트하게 된다.
머신러닝/딥러닝 분야에서는 베이즈 정리를 기반으로 한 베이지안 추론(Bayesian inference)을 사용하여 모델을 학습시키고, 불확실성을 고려한 예측을 수행한다. 베이지안 추론은 모델의 가중치나 하이퍼파라미터에 대한 확률 분포를 정의하고, 주어진 데이터를 통해 이러한 분포를 업데이트하는 방법이다.
