선형 회귀(Linear Regression)는 종속 변수(타깃)와 독립 변수(특성) 간의 선형 관계를 모델링하여 예측하는 기법이다. 선형 회귀는 간단한 회귀 문제에 적합하며, 다음과 같은 수식으로 표현할 수 있다.
$y = w_0 + w_1x_1 + w_2x_2 + ... + w_nx_n$
여기서 $y$는 종속 변수, $x_1, x_2, ..., x_n$은 독립 변수, $w_0, w_1, ..., w_n$은 가중치다. 이때, $w_0$는 절편(intercept)으로 간주할 수 있다.
선형 회귀 모델의 학습 목표는 손실 함수(loss function)를 최소화하는 가중치를 찾는 것이다. 손실 함수로는 주로 평균 제곱 오차(Mean Squared Error, MSE)가 사용된다.
$MSE = \frac{1}{m}\sum_{i=1}^{m}(y^{(i)} - \hat{y}^{(i)})^2$
여기서 $y^{(i)}$는 실제 값, $\hat{y}^{(i)}$는 예측 값, $m$은 데이터의 개수다.
