Seq2seq(sequence-to-sequence)

Seq2seq는 시퀀스 투 시퀀스(sequence-to-sequence) 모델의 줄임말로, 입력 시퀀스를 다른 시퀀스로 변환하는 기계 번역과 같은 자연어 처리 작업에 주로 사용되는 딥러닝 모델이다.

Seq2seq모델은 두 개의 주요 컴포넌트로 구성된다. 하나는 인코더(Encoder)이고, 다른 하나는 디코더(Decoder)다.

인코더(Encoder)

인코더는 입력 시퀀스를 고정된 길이의 문맥 벡터로 압축하는 역할을 한다. 보통 RNN 계열의 네트워크인 LSTM(Long Short-Term Memory)이나 GRU(Gated Recurrent Unit)를 사용하여 구현된다. 인코더의 동작 과정은 다음과 같다.

1. 입력 시퀀스의 단어들은 임베딩 과정을 통해 고정된 차원의 벡터로 변환된다.
2. 임베딩된 단어들은 시퀀스의 순서대로 인코더의 RNN에 주입된다.
3. RNN은 현재 입력 단어와 이전 단계의 은닉 상태(hidden state)를 기반으로 새로운 은닉 상태를 계산합니다. 이 과정을 시퀀스의 각 위치마다 반복한다.
4. 인코더의 마지막 단계에서 얻은 은닉 상태는 문맥 벡터(context vector)로 사용된다. 이 벡터는 입력 시퀀스의 정보를 압축한 표현이다. 보통 LSTM이나 GRU의 최종 은닉 상태를 사용한다.

디코더(Decoder)

디코더는 인코더에서 생성된 문맥 벡터를 이용하여 출력 시퀀스를 생성하는 역할을 한다. 인코더와 마찬가지로 RNN 계열의 네트워크를 사용하며, 주어진 문맥 벡터와 이전 단계에서 생성된 단어를 기반으로 다음 단어를 예측한다. 디코더의 동작 과정을 단계별로 설명한다.

1. 디코더의 첫 단계에서 문맥 벡터를 초기 상태로 설정한다.
2. 시작 토큰(ex. "<start>")을 입력으로 받아 첫 번째 단어를 예측한다.
3. 예측된 단어는 임베딩되어 디코더의 RNN에 주입된다.
4. RNN은 현재 입력 단어와 이전 단계의 은닉 상태를 기반으로 새로운 은닉 상태를 계산한다. 이 과정을 시퀀스의 각 위치마다 반복한다.
5. 디코더의 RNN은 현재 입력 단어와 은닉 상태를 기반으로 다음 단어를 예측한다.
6. 다음 단어는 출력 단어의 임베딩과 디코더의 RNN을 통해 수행된다.
7. 디코더는 종료 토큰(ex. "<end>")이 생성될 때까지 단어를 반복적으로 생성한다.

Seq2seq모델은 학습 과정에서 입력 시퀀스와 정답 시퀀스를 사용하여 훈련된다. 디코더는 훈련 중에 시퀀스의 각 위치에서 정답 단어를 예측하도록 설정한다. 출력 단어로 나올 수 있는 단어들은 다양한 단어들이 있다. Seq2seq 모델은 선택될 수 있는 모든 단어들로부터 소프트맥스 함수를 사용하여 단어를 예측한다. 디코더에서 각 시점(time step)의 RNN 셀에서 출력 벡터가 나오면, 해당 벡터는 소프트맥스 함수를 통해 출력 시퀀스의 각 단어별 확률값을 반환하고, 디코더는 출력 단어를 결정한다. 이를 통해 모델은 문맥 정보를 활용하여 출력 시퀀스를 생성하는 방법을 학습하게 된다.