트랜스포머(Transformer)는 2017년 "Attention Is All You Need"라는 논문에서 처음으로 소개됐다. 논문의 제목대로, transformer는 어텐션 메커니즘(attention mechanism)이 트랜스포머 모델에서 중요한 역할을 담당한다는 의미를 담고 있다. 이전의 Seq2seq 모델에서는 순환 신경망(RNN)이나 장기 단기 기억(LSTM)과 같은 메커니즘을 사용하여 시퀀스를 처리했다. 그러나 트랜스포머는 이러한 순환 메커니즘 없이 어텐션 메커니즘만을 사용하여 모델을 구성한다. 이 논문은 어텐션 메커니즘이 기존의 RNN이나 LSTM보다 효과적으로 장기 의존성 문제를 해결하고, 병렬 처리를 통해 학습 속도를 향상시킬 수 있다는 점을 입증하였다. 이로 인해 트랜스포머는 자연어 ..

어텐션(Attention)은 Seq2seq 모델에서 디코더(decoder)가 인코더(encoder)의 정보를 활용할 수 있도록 하는 메커니즘이다. 기존의 Seq2seq 모델은 인코더의 최종 문맥 벡터(context vector)를 고정된 길이의 벡터로 압축하고 이를 디코더에 전달하는데, 이는 입력 시퀀스의 모든 정보를 하나의 벡터에 압축하기 때문에 정보 손실이 발생할 수 있다. 어텐션 메커니즘은 이러한 문제를 해결하기 위해 개발되었다. 어텐션은 디코더가 출력 단어를 생성할 때 인코더의 각 입력 단어에 주의(attention)를 기울일 수 있도록 한다. 이는 디코더가 인코더의 어떤 부분에 더 집중해야 하는지를 학습할 수 있게 해준다. 어텐션 메커니즘은 인코더와 디코더 사이에 추가적인 컴포넌트로 도입되며, ..

Seq2seq는 시퀀스 투 시퀀스(sequence-to-sequence) 모델의 줄임말로, 입력 시퀀스를 다른 시퀀스로 변환하는 기계 번역과 같은 자연어 처리 작업에 주로 사용되는 딥러닝 모델이다. Seq2seq모델은 두 개의 주요 컴포넌트로 구성된다. 하나는 인코더(Encoder)이고, 다른 하나는 디코더(Decoder)다. 인코더(Encoder) 인코더는 입력 시퀀스를 고정된 길이의 문맥 벡터로 압축하는 역할을 한다. 보통 RNN 계열의 네트워크인 LSTM(Long Short-Term Memory)이나 GRU(Gated Recurrent Unit)를 사용하여 구현된다. 인코더의 동작 과정은 다음과 같다. 입력 시퀀스의 단어들은 임베딩 과정을 통해 고정된 차원의 벡터로 변환된다. 임베딩된 단어들은 시퀀..

Are Transformers Effective for Time Series Forecasting? Ailing Zeng1*, Muxi Chen1*, Lei Zhang2 , Qiang Xu1 1The Chinese University of Hong Kong 2 International Digital Economy Academy (IDEA) 논문링크: https://arxiv.org/pdf/2205.13504.pdf 장기 시퀀스 시계열 예측에서 과연 트랜스포머(Transformer)가 효과적인가? NLP(Natural Language Processing)와 CV(Computer Vision) 분야 등 여러 task에서 트랜스포머 모델은 성능 향상에 있어서 효과적이었지만, 이를 시계열 데이터를 모델링 하는데..

시계열 예측에서 one-step forecasting과 multi-horizon forecasting은 예측 기간에 따라 구분되는 두 가지 주요 방법이다. One-step forecasting One-step forecasting은 향후 하나의 시점에 대한 예측값을 생성하는 것이다. 이 방법은 현재 시점의 상태를 바탕으로 다음 관측값을 예측하기 때문에 직계 예측이라고도 한다. 예를 들어, 주식 시장에서 오늘의 데이터를 활용하여 내일의 주가를 예측하는 것이 one-step forecasting의 예다. 단일 스텝 예측은 일반적으로 빠르고 손쉽게 적용할 수 있으며, 단기 예측에 적합하다. Multi-horizon forecasting Multi-horizon forecasting은 향후 여러 시점에 대한 예..

시계열 데이터의 차원(Time series dimensionality)은 데이터가 단일 변수(univariate) 또는 다중 변수(multivariate)로 구성되어 있는지에 따라 결정된다. Univariate Time Series (단변량 시계열) Univariate time series는 하나의 변수 또는 특성만을 포함하는 시계열 데이터다. 예를 들어, 주식 가격의 일별 종가, 월별 판매량, 연간 기온 등은 모두 단일 변수 시계열 데이터의 예시다. 이러한 데이터는 시간에 따라 관측된 값들의 연속으로 구성되어 있으며, 각 관측치는 해당 변수의 값을 나타낸다. Multivariate Time Series (다변량 시계열) Multivariate time series는 두 개 이상의 변수 또는 특성을 포함..

Isolation Forest는 이상치 탐지(Anomaly detection)를 위한 알고리즘으로, 데이터셋에서 특이하거나 이상한 패턴을 가진 데이터 포인트를 찾는 데 사용된다. 이 알고리즘은 간단하면서도 효과적인 방법으로 이상치를 식별할 수 있다. Isolation Forest는 다른 이상치 탐지 알고리즘과는 다른 접근 방식을 가지고 있다. 일반적인 방법은 정상 데이터의 군집을 찾고, 그 군집과 멀리 떨어진 데이터를 이상치로 간주하는 것이다. 하지만 Isolation Forest는 정상 데이터와는 구분되는 데이터 포인트를 찾기 위해 데이터셋을 분리하는 방식을 사용한다. Isolation Forest의 작동 원리를 이해하기 위해, 우선 트리(Tree)의 개념을 살펴보자. 트리는 루트 노드(root nod..

소비자 물가지수(CPI)와 생산자 물가지수(PPI)는 경제에서 가격 변동을 측정하고 분석하기 위해 사용되는 두 가지 주요 지표다. 각각 소비자와 생산자의 입장에서 가격 변동을 측정하고, 경제의 인플레이션 상황을 파악하는 데 도움을 준다. 소비자 물가지수 (CPI) 소비자 물가지수는 소비자들이 구매하는 상품과 서비스의 가격 변동을 측정하는 지표다. 일반적으로 음식, 주택, 교통, 의류, 교육 등 소비자들의 일상 생활에서 필요한 다양한 항목들이 CPI의 구성 요소로 포함된다. CPI는 가격 수준의 변동을 측정하여 소비자들의 구매력 변화를 반영한다. CPI는 일반적으로 기준 연도를 설정하여 해당 연도의 가격을 100으로 설정하고, 이후의 가격 변동을 상대적으로 표현한다. 이를 통해 CPI를 추적하여 가격 변동..