[Token] 토큰이란?

AI 서비스를 활용하다 보면 이런 메시지들을 많이 보게 됩니다.

"토큰을 모두 사용했습니다."

"입력 토큰이 너무 깁니다."

여기서 토큰은 무엇인지 궁금한 적 없으셨나요?

 

오늘은 AI에서 활용되는 토큰이 무엇인지 한 번 정리해 보겠습니다.

 

 

토큰이란?

토큰은 AI가 문장을 이해하고 처리할 때 잘게 나누어 세는 단위입니다.

 

사람이 문장을 이해할 때는 글자나 단어로 이해하지만,

AI는 문장을 그대로 읽는 것이 아니라 일정한 단위로 잘게 나누어 처리합니다.

 

이때 그 나누어진 단위, 조각을 토큰이라고 부릅니다.

 

 

 

왜 토큰이 중요할까?

AI는 내가 입력한 질문, 코드, 이전 대화 내용까지 모두 읽고 답을 만드려고 합니다.

그런데 이 모든 내용은 결국 토큰으로 계산됩니다.

 

즉, 질문이 길어지고, 코드가 길어지고, 이전 대화가 많아지면

사용되는 토큰도 늘어납니다.

 

그래서 AI 코딩을 할 때

너무 긴 코드와 너무 긴 설명을 한 번에 넣으면

AI가 읽어야 할 양도 많아지고, 처리해야 할 정보도 늘어나게 됩니다.

 

 

 

컨텍스트와의 관계성

이전 글에서는 컨텍스트를 다뤘습니다.

AI를 활용할 때, 컨텍스트를 잘 제공하는 것이 성능을 높여준다라고 설명드렸습니다.

 

하지만 컨텍스트가 길어지면, AI의 토큰 사용량이 증가할 것입니다.

그래서 중요한 것은 무조건 길게 쓰는 것이 아닌,

필요한 정보를 정리해서 AI에게 제공하는 것입니다.

 

 

 

토큰이 왜 늘어나면 안 되는데요?

• 코딩 측면에서는 보통 토큰 사용량에 따른 비용 책정을 하는 경우가 많습니다.
• 생성형 모델은 한 번에 처리할 수 있는 토큰 수가 정해져 있습니다.
• 토큰이 너무 길어지면 AI가 긴 문맥을 이해하지 못합니다.

 

 

 

마무리

우리가 AI를 활용하면서 토큰에 대해 깊은 이해가 필요하지는 않습니다.

다만, AI에게 질문할 때

"무조건 길게 붙여 넣기보다, 필요한 내용을 정리해서 줘야지"

라고 이해하고 활용하시면 더 좋을 것 같습니다!