[LLM] Large Language Model
Language Model
Large Language Model 이라는 이름의 각 단어는 다음과 같은 의미를 가진다.
- Large : 매우 많은 파라미터와 학습 데이터를 사용한다.
- Language : 자연어와 같은 언어 데이터를 다룬다.
- Model : 데이터에서 일정한 패턴을 학습한 수학적 모델이다.
여기서 Language Model은 주어진 문장에서 다음에 어떤 내용이 등장할 가능성이 높은지를 계산하는 모델이라고 볼 수 있다.
예를 들어 다음과 같은 문장이 있다.
1
나는 오늘 학교에
사람이라면 자연스럽게 학교에 뒤에 올 단어들
1
2
3
4
갔다
간다
왔다
...
을 떠올리고 예측할 수 있다.
반면 다음과 같은 단어는 상대적으로 등장할 가능성이 낮다고 생각한다.
1
2
3
4
난다
어제
선다
...
LLM 역시 비슷하게 현재까지 주어진 문맥을 이용하여 다음에 어떤 내용이 나올 가능성이 높은지 확률을 계산한다.
Token
하지만 LLM은 우리가 입력한 문자열을 그대로 처리하지 않고 문장을 Token이라는 작은 단위로 나눈다.
이 과정을 Tokenization이라고 한다.
예를 들어
1
I go to the school
이라는 문장이 있다면 Tokenizer에 따라 다음처럼 나눌 수 있다.
1
2
3
4
5
6
I
go
to
the
sch
ool
Token은 반드시 하나의 단어와 일치하는 것은 아니고 긴 단어는 여러 Token으로 나뉘어지기도 하고 띄어쓰기나 문장 부호 역시 Token의 일부가 될 수 있다.
실제 Token 분할 방식은 모델에서 사용하는 Tokenizer에 따라 달라진다.
Token ID
컴퓨터는 문자열의 의미를 그대로 계산할 수 없다.
따라서 각각의 Token에는 고유한 번호가 할당된다.
1
2
3
4
5
6
I -> 1
go -> 2
to -> 100
the -> 300
sch -> 4444
ool -> 1234
같은 식이다.
그러면
1
I go to the school
이라는 문장은 내부적으로
1
[1, 2, 100, 300, 444, 1234]
이런식의 숫자 배열로 표현될 수 있다.
이 숫자를 Token ID라고 한다.
여기서 중요한 점은 Token ID 자체에는 의미가 없고 단순히 각각의 Token을 구분하기 위한 번호이다.
Embedding
Token ID만 가지고는 각 Token의 의미나 관계를 표현하기 어렵다. 따라서 LLM은 Token을 Embedding이라는 벡터 형태로 변환한다. 쉽게 말해서 Token 자체를 숫자들의 집합으로 변환시키고 그 집합을 Vector라고 한다. 실제 LLM에서는 수백 개에서 수천 개 이상의 차원을 가진 매우 큰 Vector를 사용한다. Embedding을 사용하면 단순히 번호가 아니라 Token의 특징을 숫자로 표현할 수 있다. 학습이 진행되면서 의미적으로 비슷한 개념은 Vector 공간에서도 어느 정도 비슷한 관계를 가진다. 이렇게 변환된 Vector들이 실제 신경망의 입력으로 들어간다.
Transformer
현재 대부분의 LLM은 Transformer라는 신경망 구조를 기반으로 한다. Transformer는 2017년 발표된 Attention Is All You Need 논문에서 처음 제안되었다. Transformer가 등장하기 이전에도 RNN, LSTM 같은 구조를 이용해 언어를 처리했지만, 긴 문장의 관계를 처리하거나 대규모 병렬 학습을 수행하는 데 한계가 있었다. Transformer는 Attention이라는 구조를 사용하여 이러한 문제를 개선하였고 현재 GPT 계열 모델이 Transformer를 기반으로 만들어졌다.
Attention
Attention은 단순하게 표현하면 “현재 Token을 처리할 때 다른 Token 중 어떤 정보를 얼마나 참고할 것인지 계산하는 과정” 이라고 볼 수 있다.
예를 들어 다음 문장이 있다.
1
지후가 밥을 먹었다. 그는 이제 배부르다.
여기에서 그를 이해하기 위해선 문장 맨 처음에 등장한 지후와의 관계를 파악해야 한다.
모델은 각 문장의 Token을 독립적으로 처리하는 것이 아니라 Token들 사이의 관계를 계산한다. 지후 -> 그 그를 처리할 때 지후의 정보를 강하게 참고하는 것이다.
이러한 관계를 계산하는 구조가 Attention이다.
Self-Attention
Transformer에서 사용하는 대표적인 Attention 방식이 Self-Attention이다.
Self-Attention은 하나의 문장 안에서 각각의 Token이 다른 Token들과 어떤 관계를 가지는지 계산한다.
예를 들어
1
Jihoo ate the cake because he was hungry
라는 문장에서 he를 처리할 때 모델은 다른 Token들과의 관계를 비교한다.
1
2
3
he -> Jihoo?
he -> the cake?
...
그리고 현재 문맥에서 어떤 Token을 더 중요하게 참고해야 하는지 결정한다.
Multi-Head Attention
Transformer에서는 Attention을 하나만 사용하는 것이 아니라 여러 개를 동시에 사용한다.
이를 Multi-Head Attention이라고 한다.
각 Attention Head는 서로 다른 관계를 학습할 수 있다.
예를 들어 어떤 Head는 주어와 동사 관계에 집중하고 다른 Head는 대명사와 실제 대상을 집중해서 볼 수 있다.
또 다른 Head는 문장의 전체적인 의미 관계를 학습할 수 있고 여러 종류의 관계를 동시에 살펴보면서 복잡한 문장을 표현할 수 있게 된다.
문장의 순서
문장에서 Token의 순서는 매우 중요하다. Token의 순서에 따라 뜻이 완전 달라질 수도 있기 때문이다.
하지만 Transformer의 Attention 구조만으로는 Token의 위치를 자동으로 알 수 없어서 Token에 위치 정보를 함께 제공한다.
이를 Positional Encoding 또는 Positional Embedding이라고 한다.
개념적으로는 Token의 의미 + Token의 위치를 함께 모델에 전달한다고 볼 수 있다.
Parameter
LLM에 대해 살펴보다 보면 다음과 같은 표현을 볼 수 있다.
1
2
3
4
35B
70B
13B
...
여기서 B는 Billion, 10억을 의미한다.
따라서 35B는 350억개의 파라미터, 13B는 130억개의 파라미터를 가진다는 뜻이다.
Parameter는 모델 내부에서 학습되는 숫자라고 생각하면 된다.
신경망에는 매우 많은 Weight가 존재하고 학습 과정에서 이 값들이 조금씩 변경된다.
즉 LLM의 학습은 크게 보면 매우 많은 파라미터의 값을 조정하면서 언어의 패턴을 학습하는 과정이라고 할 수 있다.
LLM의 학습
LLM의 가장 기본적인 학습 방식은 다음 Token 예측이다. 예를 들어 학습 데이터에
1
I ate Jihoo
라는 문장이 있다고 한다면 모델에게 먼저 I를 입력하고 다음 Token을 예측하게 한다.
정답은 ate이다.
다음에는 I ate를 입력하고 Jihoo를 예측하도록 한다.
모델의 예측이 실제 정답과 다르면 얼마나 잘못 예측했는지 계산하고, 이를 Loss라고 한다.
전체 과정을 단순화하면 다음과 같다.
1
학습 데이터 입력 -> 다음 Token 예측 -> 정답 비교 -> Loss 계산 -> 파라미터 수정
이 과정을 엄청난 양의 텍스트 데이터에 대해 반복하면서 모델은 언어의 패턴을 학습한다.
Training과 Inference
Traning
Traning은 모델을 학습시키는 과정이다. 위에서 다룬 그 과정이다. 이 과정에서는 매우 많은 계산이 필요하기 때문에 대규모 GPU나 AI 가속기가 사용된다.
Inference
Inference는 이미 학습된 모델을 실제로 사용하는 과정이다.
우리가 GPT에 질문을 입력하고 답변을 받는 것이 대표적인 Inference이다.
Inference에서는 일반적으로 모델의 파라미터를 새롭게 학습시키지 않고 이미 학습된 파라미터를 이용하여 입력에 대한 답변을 생성한다.
LLM의 답변 생성 과정
예를 들어 다음 문장을 모델에 입력했다고 가정한다.
1
The capital of South Korea is
모델은 다음 Token으로 등장할 수 있는 후보들의 점수를 계산한다.
1
2
3
4
Seoul 85%
Busan 4%
Tokyo 1%
...
모델은 이 확률을 기반으로 하나의 Token을 선택한다.
1
Seoul
그러면 입력은 The capital of South Korea is Seoul로 변경되고 모델은 다시 그 뒤에 올 Token을 계산하고 다시 예측한다.
이러한 과정을 계속 반복하면 긴 답변을 생성할 수 있다.
이를 Autoregressive Generation이라고 한다.
그래서 항상 확률이 높은 Token을 선택하는가 -> 반드시 그렇지는 않다.
모델이 항상 가장 확률이 높은 Token만 선택하면 답변이 지나치게 단조롭거나 비슷해질 수 있기 때문에 실제 생성 과정에서는 확률을 기반으로 Token을 선택하는 샘플링 방식을 사용한다.
대표적인 설정 중 하나가 Temperature이다.
Temperature를 낮게 설정하면 확률이 높은 Token을 더 강하게 선택하게 되어 답변이 비교적 안정적이고 일정해진다. 반대로 높이면 낮은 확률의 Token도 선택될 가능성이 커져 더욱 다양한 결과가 나올 수 있다.
Context Window
LLM이 모든 대화를 무한히 기억할 수 있는 것은 아니다. 한번에 모델이 참고할 수 있는 Token의 양에는 제한이 있다. 이를 Context Window라고 한다.
Context에는 사용자의 입력만 들어가는 것이 아니라 서비스 구조에 따라 시스템 프롬프트, 사용자의 입력, 이전 대화, 첨부된 파일, 검색 정보 등이 들어갈 수 있다.
모델은 이 Context 안에 존재하는 정보를 기반으로 다음 Token을 생성한다. 따라서 Context Window가 크면 더 긴 문서나 대화를 한번에 처리할 수 있다.
RAG
LLM의 학습 데이터는 일정 시점까지의 데이터에 기반하고 있으며 모델이 항상 정확한 정보를 생성하는 것도 아니다.
이를 보완하기 위해 사용되는 기술 중 하나가 RAG이다.
RAG는 모델이 답변을 생성하기 전에 외부에서 관련 자료를 찾아 Context에 함께 제공하는 방식이다.
예를 들어 사용자가 자기만 아는 질문을 했다면 RAG를 사용하는 시스템에서는 사용자만 아는 정보를 얻어오기 위해 검색 등을 이용하여 정보를 가져오고 Context에 추가하여 답변하는 과정이 이루어진다.
쉽게 말해서 외부 데이터와 LLM을 연결하는 구조라고 생각하면 된다.