그래디언트(gradient)는 다변수 함수에서 각 변수에 대한 편미분을 벡터로 표현한 것이다. 그래디언트는 함수가 가장 빠르게 증가하는 방향을 나타내며, 이를 통해 함수의 최소값 또는 최대값을 찾는 데 사용된다. 예를 들어, 두 변수 $x$와 $y$에 대한 함수 $f(x, y)$가 있다고 가정하면, 이 함수의 그래디언트는 다음과 같이 정의된다. $\nabla f(x, y)$ = \begin{bmatrix} \frac{\partial f(x, y)}{\partial x} \\ \frac{\partial f(x, y)}{\partial y} \end{bmatrix} 이 그래디언트 벡터는 함수 $f(x, y)$의 각 점 $(x, y)$에서의 기울기를 나타낸다. 편미분을 벡터의 형태인 그래디언트로 굳이 표현하는..

가설 검정(Hypothesis Testing)은 통계적 추론의 한 방법으로, 주어진 데이터를 사용하여 통계적 모델의 가설에 대한 결론을 내리는 과정이다. 가설 검정은 다음의 두 가지 가설 중 하나를 선택하는 것으로 구성된다. 귀무 가설(Null Hypothesis, $H_0$): 통계적 모델의 가설 중 기본 가설로, 일반적으로 변화나 차이가 없음을 주장한다. 대립 가설(Alternative Hypothesis, $H_1$ or $H_a$): 귀무 가설과 반대되는 가설로, 관심의 변화나 차이가 있음을 주장한다. 가설 검정의 주요 단계는 다음과 같다. 가설 설정: 귀무 가설($H_0$)과 대립 가설($H_1$)을 설정한다. 검정 통계량 선택: 가설을 검증하기 위해 사용할 적절한 검정 통계량(Test Stat..

통계적 추정(Statistical estimation)은 모집단의 모수(ex. 평균, 분산 등)를 추정하기 위해 사용되는 통계적 방법이다. 통계적 추정에는 주로 점 추정(Point estimation)과 구간 추정(Interval estimation)의 두 가지 방법이 사용된다. 점 추정(Point estimation) 점 추정은 모집단의 모수를 하나의 값으로 추정하는 방법이다. 예를 들어, 표본 평균 $\bar{X}$는 모평균 $\mu$의 점 추정값으로 사용된다. 표본 분산 $S^2$은 모분산 $\sigma^2$의 점 추정값으로 사용된다. 표본 평균 $\bar{X} = \frac{1}{n} \sum_{i=1}^{n} X_i$ 표본 분산 $S^2 = \frac{1}{n-1} \sum_{i=1}^{n} (..

중심 극한 정리(Central Limit Theorem, CLT)는 통계학에서 아주 중요한 정리로, 독립적이고 동일한 확률 분포를 따르는 임의의 확률 변수들의 합이나 평균이 정규 분포에 가까워지는 현상을 설명한다. 이 정리는 대량의 데이터를 처리하거나 큰 모집단에서 표본을 추출할 때 매우 유용하게 사용된다. 중심 극한 정리를 수식으로 표현하면 다음과 같다. 독립적인 확률 변수들 $X_1, X_2, ..., X_n$이 평균 $\mu$와 분산 $\sigma^2$인 동일한 확률 분포를 따를 때, 표본 크기 $n$이 충분히 클 경우, 표본 평균 $\bar{X}$의 분포는 평균이 $\mu$이고 분산이 $\frac{\sigma^2}{n}$인 정규 분포에 근사하게 된다. $\bar{X} = \frac{X_1 + X_..

결합 확률(Joint Probability)은 두 개 이상의 확률 변수가 동시에 어떤 특정 값을 가질 확률을 나타낸다. 결합 확률은 이산 확률 변수와 연속 확률 변수 모두에 대해 정의할 수 있다. 이산 확률 변수의 결합 확률 두 이산 확률 변수 $X$와 $Y$에 대한 결합 확률은 각 변수가 동시에 특정 값을 가질 확률을 나타낸다. $P(X = x_i, Y = y_j)$는 $X = x_i$와 $Y = y_j$가 동시에 발생할 확률을 의미한다. $P(X = x_i, Y = y_j)$ 연속 확률 변수의 결합 확률 두 연속 확률 변수 $X$와 $Y$에 대한 결합 확률은 결합 확률 밀도 함수(joint probability density function, $f_{XY}(x, y)$)를 사용하여 정의된다. 두 변수..

분산(Variance)은 확률 변수의 값이 평균(기댓값)으로부터 얼마나 흩어져 있는지를 나타내는 척도다. 즉, 분산은 데이터의 변동성을 측정하는 통계량이다. 이산 확률 변수와 연속 확률 변수에 대해 분산을 다음과 같이 계산할 수 있다. 이산 확률 변수의 분산 확률 변수 $X$가 이산적인 경우, 분산 $Var(X)$는 각 가능한 결과 $x_i$에 대한 확률 $P(x_i)$에 따라 가중치를 부여한 제곱 차의 합계로 계산된다. $Var(X) = E((X - E(X))^2) = \sum_{i} (x_i - E(X))^2 P(x_i)$ 연속 확률 변수의 분산 확률 변수 $X$가 연속적인 경우, 분산 $Var(X)$는 확률 밀도 함수 $f(x)$를 사용하여 가중치를 부여한 제곱 차의 적분으로 계산된다. $Var(X..

기댓값(expectation)은 확률 분포를 사용하여 확률 변수의 평균값을 계산한 것이다. 기댓값은 여러 가능한 결과에 대한 확률에 따라 가중치를 부여하여 평균을 계산한다. 기댓값은 이산 확률 변수와 연속 확률 변수에 대해 다음과 같이 계산할 수 있다. 이산 확률 변수의 기댓값 확률 변수 $X$가 이산적인 경우, 기댓값 $E(X)$는 각 가능한 결과 $x_i$에 대한 확률 $P(x_i)$에 따라 가중치를 부여한 합계로 계산된다. $E(X) = \sum_{i} x_i P(x_i)$ 연속 확률 변수의 기댓값 확률 변수 $X$가 연속적인 경우, 기댓값 $E(X)$는 확률 밀도 함수 $f(x)$를 사용하여 가중치를 부여한 적분으로 계산된다. $E(X) = \int_{-\infty}^{\infty} x f(x) ..

베이즈 정리(Bayes' theorem)는 조건부 확률을 사용하여 주어진 증거를 기반으로 사건의 확률을 업데이트하는 방법을 제공한다. 이 정리는 사전 확률(prior probability)과 관측된 데이터를 기반으로 사후 확률(posterior probability)을 계산하는 데 사용된다. $P(A|B) = \frac{P(B|A) P(A)}{P(B)}$ 여기서 각 요소는 다음과 같은 의미를 가진다. $P(A|B)$: 사건 $B$가 발생했다는 조건 하에서 사건 $A$가 발생할 조건부 확률(사후 확률, posterior probability) $P(B|A)$: 사건 $A$가 발생했다는 조건 하에서 사건 $B$가 발생했었을 조건부 확률(우도, likelihood) $P(A)$: 사건 $A$가 발생할 확률(사..