머신러닝 & 딥러닝
-
결정 트리(Decision Tree)는 분류와 회귀 문제를 해결하기 위해 사용되는 머신러닝 알고리즘이다. 결정 트리는 데이터를 기반으로 결정 규칙을 생성하며, 트리 구조를 이용해 학습과 예측을 수행한다. 각각의 노드는 특정 특성에 대한 질문이나 테스트를 나타내고, 가지는 이러한 테스트의 결과를 표현한다. 결정 트리 알고리즘의 핵심은 최적의 질문(또는 테스트)을 선택하는 것이다. 이를 위해 주로 사용되는 기준은 정보 이득(Information Gain)과 지니 불순도(Gini Impurity)다. 정보 이득(Information Gain) 정보 이득은 결정 트리에서 분기 기준을 선택하기 위해 사용되는 척도다. 정보 이득은 부모 노드의 엔트로피와 자식 노드의 가중평균 엔트로피의 차이로 정의된다. 정보 이득이..
결정 트리(Decision Tree)결정 트리(Decision Tree)는 분류와 회귀 문제를 해결하기 위해 사용되는 머신러닝 알고리즘이다. 결정 트리는 데이터를 기반으로 결정 규칙을 생성하며, 트리 구조를 이용해 학습과 예측을 수행한다. 각각의 노드는 특정 특성에 대한 질문이나 테스트를 나타내고, 가지는 이러한 테스트의 결과를 표현한다. 결정 트리 알고리즘의 핵심은 최적의 질문(또는 테스트)을 선택하는 것이다. 이를 위해 주로 사용되는 기준은 정보 이득(Information Gain)과 지니 불순도(Gini Impurity)다. 정보 이득(Information Gain) 정보 이득은 결정 트리에서 분기 기준을 선택하기 위해 사용되는 척도다. 정보 이득은 부모 노드의 엔트로피와 자식 노드의 가중평균 엔트로피의 차이로 정의된다. 정보 이득이..
2023.04.23 -
로지스틱 회귀(Logistic Regression)는 이름에는 회귀가 들어가지만, 사실 분류 문제(이진 분류)에 주로 사용되는 머신러닝 알고리즘이다. 로지스틱 회귀는 선형 회귀와 비슷하지만, 종속 변수의 값이 0과 1 사이에 있어야 하므로, 시그모이드 함수(sigmoid function)와 같은 활성화 함수를 사용하여 출력을 확률로 변환한다. 시그모이드 함수는 다음과 같이 정의된다. $\sigma(z) = \frac{1}{1 + e^{-z}}$ 로지스틱 회귀 모델은 선형 회귀와 유사한 형태를 가진다. 하지만 종속 변수를 시그모이드 함수에 통과시켜 확률로 변환한다. $\hat{y} = \sigma(w_0 + w_1x_1 + w_2x_2 + ... + w_nx_n)$ 여기서 $\hat{y}$는 예측 확률, ..
로지스틱 회귀(Logistic Regression)로지스틱 회귀(Logistic Regression)는 이름에는 회귀가 들어가지만, 사실 분류 문제(이진 분류)에 주로 사용되는 머신러닝 알고리즘이다. 로지스틱 회귀는 선형 회귀와 비슷하지만, 종속 변수의 값이 0과 1 사이에 있어야 하므로, 시그모이드 함수(sigmoid function)와 같은 활성화 함수를 사용하여 출력을 확률로 변환한다. 시그모이드 함수는 다음과 같이 정의된다. $\sigma(z) = \frac{1}{1 + e^{-z}}$ 로지스틱 회귀 모델은 선형 회귀와 유사한 형태를 가진다. 하지만 종속 변수를 시그모이드 함수에 통과시켜 확률로 변환한다. $\hat{y} = \sigma(w_0 + w_1x_1 + w_2x_2 + ... + w_nx_n)$ 여기서 $\hat{y}$는 예측 확률, ..
2023.04.23 -
선형 회귀(Linear Regression)는 종속 변수(타깃)와 독립 변수(특성) 간의 선형 관계를 모델링하여 예측하는 기법이다. 선형 회귀는 간단한 회귀 문제에 적합하며, 다음과 같은 수식으로 표현할 수 있다. $y = w_0 + w_1x_1 + w_2x_2 + ... + w_nx_n$ 여기서 $y$는 종속 변수, $x_1, x_2, ..., x_n$은 독립 변수, $w_0, w_1, ..., w_n$은 가중치다. 이때, $w_0$는 절편(intercept)으로 간주할 수 있다. 선형 회귀 모델의 학습 목표는 손실 함수(loss function)를 최소화하는 가중치를 찾는 것이다. 손실 함수로는 주로 평균 제곱 오차(Mean Squared Error, MSE)가 사용된다. $MSE = \frac{1}..
선형 회귀(Logistic Regression)선형 회귀(Linear Regression)는 종속 변수(타깃)와 독립 변수(특성) 간의 선형 관계를 모델링하여 예측하는 기법이다. 선형 회귀는 간단한 회귀 문제에 적합하며, 다음과 같은 수식으로 표현할 수 있다. $y = w_0 + w_1x_1 + w_2x_2 + ... + w_nx_n$ 여기서 $y$는 종속 변수, $x_1, x_2, ..., x_n$은 독립 변수, $w_0, w_1, ..., w_n$은 가중치다. 이때, $w_0$는 절편(intercept)으로 간주할 수 있다. 선형 회귀 모델의 학습 목표는 손실 함수(loss function)를 최소화하는 가중치를 찾는 것이다. 손실 함수로는 주로 평균 제곱 오차(Mean Squared Error, MSE)가 사용된다. $MSE = \frac{1}..
2023.04.23 -
준지도학습(semi-supervised learning)은 지도학습(supervised learning)과 비지도학습(unsupervised learning)의 중간 형태로, 레이블이 있는 데이터와 레이블이 없는 데이터 모두를 사용하여 머신러닝 알고리즘을 학습시키는 방법이다. 준지도학습은 데이터셋의 일부분에만 레이블이 있는 경우, 레이블이 없는 데이터를 활용하여 모델의 성능을 향상시키는 데 도움이 되는 방식으로 사용된다. 준지도학습의 주요 기법은 다음과 같다. 자기 학습(Self-training): 먼저 지도학습을 사용하여 레이블이 있는 데이터로 모델을 학습시킨다. 그런 다음, 학습된 모델을 사용하여 레이블이 없는 데이터의 레이블을 예측하고, 그 결과를 다시 학습 데이터에 추가한다. 이 과정을 반복하면서..
준지도학습(Semi-Supervised Learning)준지도학습(semi-supervised learning)은 지도학습(supervised learning)과 비지도학습(unsupervised learning)의 중간 형태로, 레이블이 있는 데이터와 레이블이 없는 데이터 모두를 사용하여 머신러닝 알고리즘을 학습시키는 방법이다. 준지도학습은 데이터셋의 일부분에만 레이블이 있는 경우, 레이블이 없는 데이터를 활용하여 모델의 성능을 향상시키는 데 도움이 되는 방식으로 사용된다. 준지도학습의 주요 기법은 다음과 같다. 자기 학습(Self-training): 먼저 지도학습을 사용하여 레이블이 있는 데이터로 모델을 학습시킨다. 그런 다음, 학습된 모델을 사용하여 레이블이 없는 데이터의 레이블을 예측하고, 그 결과를 다시 학습 데이터에 추가한다. 이 과정을 반복하면서..
2023.04.17 -
딥러닝은 머신러닝의 한 분야로, 인공신경망(Artificial Neural Network)을 이용하여 다층으로 구성된 신경망을 학습시켜 패턴을 인식하고 의사결정을 내리는 기술이다. 딥러닝의 핵심은 인공신경망이다. 인공신경망은 뇌의 신경망을 모방하여 만들어진 기술로, 입력층(Input Layer), 은닉층(Hidden Layer), 출력층(Output Layer) 등으로 구성되어 있다. 딥러닝의 학습은 대량의 데이터를 이용한다. 입력 데이터는 인공신경망의 입력층으로 들어가게 되며, 은닉층을 거쳐 출력층으로 나오게 된다. 이때, 출력층의 결과와 실제 정답을 비교하여 오차를 계산하고, 이를 다시 입력층까지 거슬러 올라가면서 오차를 최소화하는 방향으로 가중치(Weight)와 편향(Bias) 값을 조정한다. 이러..
딥러닝(Deep Learning)딥러닝은 머신러닝의 한 분야로, 인공신경망(Artificial Neural Network)을 이용하여 다층으로 구성된 신경망을 학습시켜 패턴을 인식하고 의사결정을 내리는 기술이다. 딥러닝의 핵심은 인공신경망이다. 인공신경망은 뇌의 신경망을 모방하여 만들어진 기술로, 입력층(Input Layer), 은닉층(Hidden Layer), 출력층(Output Layer) 등으로 구성되어 있다. 딥러닝의 학습은 대량의 데이터를 이용한다. 입력 데이터는 인공신경망의 입력층으로 들어가게 되며, 은닉층을 거쳐 출력층으로 나오게 된다. 이때, 출력층의 결과와 실제 정답을 비교하여 오차를 계산하고, 이를 다시 입력층까지 거슬러 올라가면서 오차를 최소화하는 방향으로 가중치(Weight)와 편향(Bias) 값을 조정한다. 이러..
2023.04.06 -
머신러닝(Machine Learning)은 인공지능의 한 분야로, 알고리즘을 통해 데이터로부터 학습하고, 패턴을 인식하며, 결정을 내리는 모델을 만드는 과정이다. 머신러닝의 주요 목표는 새로운 데이터에 대한 예측이나 분류를 자동으로 수행하는 일반화된 모델을 생성하는 것이다. 머신러닝 워크플로우는 다음과 같은 일반적인 단계로 구성된다. 문제 정의 - 머신러닝 프로젝트의 첫 번째 단계는 문제를 정의하는 것이다. 이 단계에서는 어떤 데이터를 수집할 것인지, 어떤 문제를 해결하고자 하는지 등을 명확하게 해야 한다. 데이터 수집 - 머신러닝 모델을 학습시키기 위해서는 데이터가 필요하다. 이 단계에서는 필요한 데이터를 수집하고 준비한다. 데이터가 준비되면, 데이터를 분석하고, 불필요한 데이터를 제거하고, 결측치나 ..
머신러닝(Machine Learning)머신러닝(Machine Learning)은 인공지능의 한 분야로, 알고리즘을 통해 데이터로부터 학습하고, 패턴을 인식하며, 결정을 내리는 모델을 만드는 과정이다. 머신러닝의 주요 목표는 새로운 데이터에 대한 예측이나 분류를 자동으로 수행하는 일반화된 모델을 생성하는 것이다. 머신러닝 워크플로우는 다음과 같은 일반적인 단계로 구성된다. 문제 정의 - 머신러닝 프로젝트의 첫 번째 단계는 문제를 정의하는 것이다. 이 단계에서는 어떤 데이터를 수집할 것인지, 어떤 문제를 해결하고자 하는지 등을 명확하게 해야 한다. 데이터 수집 - 머신러닝 모델을 학습시키기 위해서는 데이터가 필요하다. 이 단계에서는 필요한 데이터를 수집하고 준비한다. 데이터가 준비되면, 데이터를 분석하고, 불필요한 데이터를 제거하고, 결측치나 ..
2023.04.06 -
Adam(Adaptive Moment Estimation)은 RMSprop와 Momentum 기법을 결합한 최적화 알고리즘이다. 이 알고리즘은 기울기의 지수 가중 이동 평균(1st moment)과 기울기 제곱의 지수 가중 이동 평균(2nd moment)을 동시에 추정하여, 적응적으로 학습률을 조절한다. Adam의 업데이트 규칙은 다음과 같다. $m_t = \beta_1 m_{t-1} + (1-\beta_1) \nabla_{\theta_t} L(\theta_t)$ $v_t = \beta_2 v_{t-1} + (1-\beta_2) \nabla_{\theta_t} L(\theta_t) \odot \nabla_{\theta_t} L(\theta_t)$ $\hat{m}_t = \frac{m_t}{1-\beta_1..
[최적화] Adam(Adaptive Moment Estimation)Adam(Adaptive Moment Estimation)은 RMSprop와 Momentum 기법을 결합한 최적화 알고리즘이다. 이 알고리즘은 기울기의 지수 가중 이동 평균(1st moment)과 기울기 제곱의 지수 가중 이동 평균(2nd moment)을 동시에 추정하여, 적응적으로 학습률을 조절한다. Adam의 업데이트 규칙은 다음과 같다. $m_t = \beta_1 m_{t-1} + (1-\beta_1) \nabla_{\theta_t} L(\theta_t)$ $v_t = \beta_2 v_{t-1} + (1-\beta_2) \nabla_{\theta_t} L(\theta_t) \odot \nabla_{\theta_t} L(\theta_t)$ $\hat{m}_t = \frac{m_t}{1-\beta_1..
2023.04.06 -
RMSprop(Root Mean Square Propagation)은 AdaGrad의 학습률 감소 문제를 해결하기 위한 최적화 알고리즘이다. RMSprop은 가장 최근의 기울기 정보만 사용하여 기울기의 제곱의 지수 가중 이동 평균을 계산한다. 이를 통해 학습률이 너무 빠르게 감소하는 문제를 완화한다. RMSprop의 업데이트 규칙은 다음과 같다. $E[g^2]_t = \beta E[g^2]_{t-1} + (1-\beta) \nabla_{\theta_t} L(\theta_t) \odot \nabla_{\theta_t} L(\theta_t)$ $\theta_{t+1} = \theta_t - \frac{\eta_t}{\sqrt{E[g^2]_t+\epsilon}} \odot \nabla_{\theta_t} L(..
[최적화] RMSprop(Root Mean Square Propagation)RMSprop(Root Mean Square Propagation)은 AdaGrad의 학습률 감소 문제를 해결하기 위한 최적화 알고리즘이다. RMSprop은 가장 최근의 기울기 정보만 사용하여 기울기의 제곱의 지수 가중 이동 평균을 계산한다. 이를 통해 학습률이 너무 빠르게 감소하는 문제를 완화한다. RMSprop의 업데이트 규칙은 다음과 같다. $E[g^2]_t = \beta E[g^2]_{t-1} + (1-\beta) \nabla_{\theta_t} L(\theta_t) \odot \nabla_{\theta_t} L(\theta_t)$ $\theta_{t+1} = \theta_t - \frac{\eta_t}{\sqrt{E[g^2]_t+\epsilon}} \odot \nabla_{\theta_t} L(..
2023.04.06