목록bert (1)

DM Log

[AI 개념 및 이해 #2] 임베딩(Embedding) 이해: 텍스트-벡터 변환 기술

컴퓨터의 텍스트 이해 방식사람은 "사과"를 보면 과일을 떠올리고, "애플"을 보면 회사나 아이폰을 연상한다. 하지만 컴퓨터는 "사과"를 단순한 문자열로 인식한다.텍스트 의미적 관계를 이해하기 위해서는 텍스트를 수학적 공간의 좌표 즉, 벡터 공간의 좌표로 변환이 필요하며, 이를 임베딩이라고 한다.임베딩은 RAG, 추천 시스템, 검색 엔진, 챗봇 등 AI 서비스의 기반이 되는 핵심 개념이다.백터 표현의 필요성텍스트는 문자나 단어 나열 (그대로 비교 불가능)단순한 방법: 원-핫 인코딩(one-hot encoding)사과: [1,0,0,0,...]바나나: [0,1,0,0,...]한계:차원이 단어 수만큼 커짐사과와 배의 의미적 유사성을 표현 불가추후, 단어 / 문장을 저차원 벡터 공간에 배치해 의미적 거리로 비교..
개발공부/AI 2025. 9. 6. 23:27
이전 Prev 1 Next 다음