목록attention (1)

DM Log

[AI 개념 및 이해 #1] LLM(Language Model) 이해: GPT의 동작

LLM의 중요성 LLM은 자연어를 이해하고 생각하는 법용 엔진검색, 요약, 번역, 코딩 보조, 지식질의 등 텍스트가 있는 곳이면 적용 가능"어떻게 동작하는지"를 모르면, 환각 / 최신성 / 프롬프트 민감성 같은 한계를 제대로 다룰수 없음언어 모델의 개념LLM은 다음에 올 단어를 예측 하는 것확률적 정의문장 w1, w2, …, wT​의 확률을 최대화즉, 매 순간 이전까지의 문맥을 보고 다음 토큰의 분포를 출력 학습은 대규모 텍스트 말뭉치에서 정답(실제 다음 토큰)과 모델 예측 분포의 차이를 줄이는 방향으로 진행 (교차 엔트로피 손실)[확률 기반 언어 모델의 등장 (n-gram 등)]1) n-gram 모델개념: 바로 앞의 n-1개만 보고 다음 단어 예측 (마코프 가정)장점: 단순하고 빠름한계: 장기 의존성 ..
개발공부/AI 2025. 9. 6. 22:48
이전 Prev 1 Next 다음