[Parameter] 파라미터란?

AI를 잘 일하게 만드는 법, 좋은 AI모델 이런 식으로 검색하다 보면

파라미터라는 말을 자주 듣게 됩니다.

 

"이 AI모델의 파라미터는 몇 billion이다."

"파라미터를 잘 추가하면 AI의 성능이 좋아집니다."

와 같은 말들은 무슨 뜻일까요? 왜 중요한 걸까요?

오늘은 파라미터에 대해서 한번 알아보겠습니다.

 

 

파라미터란? (AI에서)

파라미터는 쉽게 말해 함수나 기능이 동작할 때 영향을 미치는 설정값입니다.

이 설정값은 모델이 학습을 진행하면서 내부에 저장합니다.

 

즉, "어떤 모델의 파라미터"라고 한다면

모델이 학습한 결과가 저장된 내부 숫자들이라고 생각하시면 됩니다.

 

 

 

파라미터 왜 중요할까요?

AI 모델은 사람처럼 문장을 이해하지 않습니다.

학습을 통해서 문장에 수많은 숫자들을 대입해 보고 그 패턴을 익혀서 이해하죠.

 

LLM의 작동 원리를 살펴보시면 이해하기 쉬우실 텐데요.

쉽게 예를 들어 설명해 드리겠습니다.

• 어떤 단어 다음에 어떤 단어들이 자주 오는지
• 어떤 입력에는 어떤 출력이 더 자연스러운지

와 같은 내용을 학습하면서 내부 값들을 바꿔가며 똑똑해지는 겁니다.

 

이렇게 조정된 값들이 쌓이면

나중에는 질문에 자연스럽게 대답하고, 코드를 작성해 주고, 이미지를 만들어주는 능력이 됩니다.

 

 

 

파라미터 수가 많다?

윗글을 읽으셨다면 이제 어떤 모델의 파라미터 수가 많다.라는 개념이

무슨 말인지 대충 이해하실 수 있게 되셨을 겁니다!

 

맞습니다 모델이 학습한 내부 값이 그만큼 많다.라는 뜻인데요.

 

일반적으로는 파라미터 수가 많을수록 복잡한 패턴에 자연스럽게 대응할 가능성이 올라갑니다.

그래서 사람들은 파라미터 수를 보고 모델의 크기를 대략 가늠하기도 합니다.

 

하지만, 여기서 중요한 건

파라미터 수가 많다고 무조건 항상 더 좋은 것은 아니라는 점입니다.

 

 AI 모델을 학습시킬 때에도 명심하셔야 되는 사항인데요.

실제 성능은

• 어떤 데이터를 활용했는가
• 얼마나 잘 학습했는가
• 구조는 어떠한가
• 편향되진 않았는가

와 같은 요소가 큰 영향을 주기 때문입니다.

 

 

 

하이퍼파라미터 vs 파라미터

AI를 많이 살펴보신 분이라면 하이퍼파라미터라는 말을 언뜻 들어보셨을 수도 있습니다.

 

하이퍼파라미터는 파라미터와는 다르게

사람이 모델이 학습하기 전에 정해주는 설정값입니다.

 

여러 설정값들이 있는데요.

대표적으로는

• [learning rate] 얼마나 빨리 학습할까요?
• [batch size] 한 번에 데이터는 얼마나 볼까요?
• [epochs] 몇 번 반복해서 학습할까요?

와 같은 학습 방식의 규칙을 정하는 값들이 있습니다.

 

 

 

마무리

오늘은 파라미터에 대해서 한번 알아보았습니다.

• 파라미터는 배운 결과
• 하이퍼파라미터는 배우는 방법의 설정값

이라고 이해하셨으면, 충분하다고 생각합니다.

 

다음에도 새로운 주제로 돌아오도록 하겠습니다!