DM Log

GPT의 한계 보완하는 방법GPT 같은 LLM은 놀라운 언어 능력을 가지고 있음, 하지만 치명적인 한계 존재최신 정보에 대한 업데이트 (학습 데이터 시점 제한)문서 전체를 한 번에 처리가 어려움 (컨텍스트 윈도우 제한)잘못된 정보 (환각, hallucinataion)를 생성하기도 함👉 한계를 극복하기 위해 등장한 방식이 검색 증강 생성 (RAG, Retrieval-Augmented Generation)RAG란?[RAG]Retrieval(검색) + Generation(생성)질문을 임베딩으로 변환벡터 DB에서 관련 문서 검색검색 문서를 프롬프트에 삽입LLM이 문서 기반 답변 생성RAG는 외부 지식 검색 결과를 LLM 입력에 주입하여 신뢰성 있는 답변을 생성하는 구조[기본 구조]사용자 질문 → [임베딩 변환..

LanChain 필요성LLM은 강력하지만, 한계 존재긴 문서 처리의 어려움외부 데이터베이스 / 검색엔진과 연결 불가능프롬프트 직접 설계 필요복잡한 워크플로 (검색 → 요약 → 답변 등)을 구현하기 번거러움👉 한계를 해결하고 LLM + 외부 데이터 + 다양한 기능을 연결하는 것이 LangChainLangChain 핵심 아이디어단순 LLM 호출을 넘어, 모듈화된 컴포넌트를 연결해 AI 애플리케이션을 빠르게 구축하도록 설계[핵심 아이디어]Chain: LLM과 여러 모듈을 연결한 파이프라인Agent: 도구(tool)를 선택 실행 가능하도록 하는 지능형 에이전트Memory: 대화나 상태를 저장하여 문맥 유지[주요 컴포넌트] LangChain의 핵심 구성 요소1. Document LoaderPDF, TXT, 웹페..