기댓값(expectation)은 확률 분포를 사용하여 확률 변수의 평균값을 계산한 것이다. 기댓값은 여러 가능한 결과에 대한 확률에 따라 가중치를 부여하여 평균을 계산한다. 기댓값은 이산 확률 변수와 연속 확률 변수에 대해 다음과 같이 계산할 수 있다. 이산 확률 변수의 기댓값 확률 변수 $X$가 이산적인 경우, 기댓값 $E(X)$는 각 가능한 결과 $x_i$에 대한 확률 $P(x_i)$에 따라 가중치를 부여한 합계로 계산된다. $E(X) = \sum_{i} x_i P(x_i)$ 연속 확률 변수의 기댓값 확률 변수 $X$가 연속적인 경우, 기댓값 $E(X)$는 확률 밀도 함수 $f(x)$를 사용하여 가중치를 부여한 적분으로 계산된다. $E(X) = \int_{-\infty}^{\infty} x f(x) ..

베이즈 정리(Bayes' theorem)는 조건부 확률을 사용하여 주어진 증거를 기반으로 사건의 확률을 업데이트하는 방법을 제공한다. 이 정리는 사전 확률(prior probability)과 관측된 데이터를 기반으로 사후 확률(posterior probability)을 계산하는 데 사용된다. $P(A|B) = \frac{P(B|A) P(A)}{P(B)}$ 여기서 각 요소는 다음과 같은 의미를 가진다. $P(A|B)$: 사건 $B$가 발생했다는 조건 하에서 사건 $A$가 발생할 조건부 확률(사후 확률, posterior probability) $P(B|A)$: 사건 $A$가 발생했다는 조건 하에서 사건 $B$가 발생했었을 조건부 확률(우도, likelihood) $P(A)$: 사건 $A$가 발생할 확률(사..

조건부 확률(conditional probability)은 어떤 사건이 발생했다는 조건 하에서 다른 사건이 발생할 확률을 의미한다. 예를 들어, 두 사건 $A$와 $B$가 있을 때, 사건 $B$가 발생했다는 조건 하에서 사건 $A$가 발생할 확률을 조건부 확률이라고 한다. $P(A|B) = \frac{P(A \cap B)}{P(B)}$ 여기서 $P(A|B)$는 "사건 $B$가 주어졌을 때 사건 $A$의 조건부 확률"을 의미하며, $P(A ∩ B)$는 "사건 $A$와 사건 $B$가 동시에 발생할 확률"을 의미한다. $P(B)$는 "사건 $B$가 발생할 확률"을 나타낸다. 이 식에서 분모 $P(B)$는 0이 아니어야 한다.

연속 확률 분포(continuous probability distribution)는 연속 확률 변수의 값들이 나타날 확률을 설명하는 함수다. PDF, Probability Density Function(확률밀도함수) 균일 분포(Uniform distribution) 구간 [a, b]에서 모든 값이 동일한 확률로 발생하는 확률변수의 분포 PDF $f(x) =$$$\{\begin{array}{ll}\frac{1}{b-a},& \text{for }a\le x\le b\\ 0,& \text{otherwise}\end{array}$$ 정규 분포(Normal distribution) 평균이 $\mu$이고 표준편차가 $\sigma$인 연속 확률변수의 분포 PDF $f(x) = \frac{1}{\sqrt{2\pi\sigm..

이산 확률 분포(discrete probability distribution)는 이산 확률 변수의 값들이 나타날 확률을 설명하는 함수다. PMF, Probability Mass Function(확률질량함수) 주요한 이산 확률 분포는 아래와 같다. 베르누이 분포(Bernoulli distribution) 두 가지 결과만 가능한 확률변수의 분포(ex. 동전 던지기) PMF $P(X = k) = p^k (1-p)^{1-k},\ \text{where } k \in \{0, 1\}$ 이항 분포(Binomial distribution) 독립적인 베르누이 시행에서 성공한 횟수에 대한 확률변수의 분포 PMF $P(X = k) = \binom{n}{k} p^k (1-p)^{n-k},\ \text{where } k \in..

확률질량함수(Probability Mass Function, PMF)와 확률밀도함수(Probability Density Function, PDF)는 확률 분포를 설명하는 데 사용되는 함수다. 이 두 함수는 이산 확률변수와 연속 확률변수를 나타내는 데 각각 사용된다. 확률질량함수 이산 확률변수에서 각 값을 가질 확률을 나타내는 함수다. 확률질량함수는 확률변수가 취할 수 있는 이산적인 값들에 대해 해당 값이 발생할 확률을 제공한다. 모든 확률값이 0과 1 사이이며, 모든 가능한 값에 대한 확률의 합이 1이다. 예를 들어, 동전 던지기를 생각해보면 이산 확률변수 $X$가 앞면이 나올 때 1, 뒷면이 나올 때 0이라고 할 수 있다. 이 때 확률질량함수는 다음과 같다. $P(X = 0) = 0.5$ $P(X = ..

특이값 분해(Singular Value Decomposition, SVD)는 선형 대수학에서 중요한 개념으로, 임의의 $m$ x $n$ 크기의 행렬 $A$를 세 행렬의 곱으로 분해하는 방법이다. 주어진 행렬 $A$에 대해, SVD는 다음과 같이 정의된다. $A = U \Sigma V^*$ 여기서, $A$는 $m$ x $n$ 크기의 행렬로, 분해하고자 하는 대상이다. $U$는 $m$ x $m$ 크기의 직교 행렬(orthogonal matrix)로, $A$의 열 공간의 기저를 구성하는 고유벡터들로 이루어져 있다. $Σ$는 $m$ x $n$ 크기의 대각 행렬로, $A$의 특이값(singular values)이라 불리는 값들을 대각선 상에 정렬한 행렬이다. 특이값은 $A$의 고유값의 제곱근이며, 이 값들은 일반..

직교행렬(orthogonal matrix)은 행렬의 열 벡터들이 서로 정규 직교(orthonormal)한 경우를 말한다. 정규 직교란, 벡터들이 서로 수직이고, 각 벡터의 크기가 1인 경우를 의미한다. 직교행렬의 한 가지 중요한 특성은 다음과 같은 관계를 가지고 있다는 것이다. $A^T A = I$ 여기서 $A$는 직교행렬, $A^T$는 $A$의 전치행렬, $I$는 항등행렬(identity matrix)이다. 즉, 직교행렬의 전치행렬과 원래 행렬의 곱은 항등행렬이 된다. 직교행렬은 선형 대수와 여러 분야에서 중요한 개념으로 사용되며, 특이값 분해(SVD)와 고유값 분해(eigenvalue decomposition)와 같은 고급 알고리즘에서도 사용된다.