본문 바로가기

Rag2

LangChain 파일 로딩 완벽 가이드: PDF, Word, PPT, Python 한 번에 불러오기 📌 LangChain을 활용하면 다양한 문서(PDF, Word, PPT, Python 파일)를 쉽게 로드하고, AI 검색 및 LLM 모델과 연결할 수 있습니다.💡 이번 글에서는 LangChain에서 제공하는 문서 로더를 활용하여 여러 파일을 처리하는 방법을 완벽하게 정리했습니다.📌 1️⃣ LangChain에서 다양한 문서 파일을 로드해야 하는 이유?AI 검색 엔진이나 LLM(RAG, Retrieval-Augmented Generation) 모델을 개발할 때, 텍스트 데이터가 여러 파일 포맷으로 존재할 가능성이 높습니다.예를 들어:PDF 문서 → 연구 논문, 보고서Word 파일 → 회의록, 계약서PPT 파일 → 프레젠테이션Python 코드 → 코드 기반 문서LangChain에서는 파일 형식에 따라 최.. 2025. 1. 31.
LLM Search Engine: Elasticsearch, Pinecone, FAISS, Milvus 비교 및 샘플 코드 📢 LLM 서비스에서 검색이 중요한 이유LLM(대형 언어 모델)은 강력한 생성 능력을 갖추고 있지만, 정확한 정보 검색 없이 사용하면 가짜 정보(Hallucination) 가 발생할 수 있습니다. 이를 해결하는 방식이 RAG(Retrieval-Augmented Generation) 이며, 외부 데이터를 검색하여 신뢰할 수 있는 답변을 생성하는 것이 핵심입니다.RAG 구현의 핵심은 효율적인 검색 엔진 구축이며, 주요 검색 방식은 두 가지입니다.✅ LLM 검색을 위한 두 가지 핵심 방법1️⃣ 키워드 검색 (전통적인 검색 방식)텍스트 매칭(Elasticsearch 등)키워드 기반 필터링문서 검색, DB 검색 등2️⃣ 벡터 검색 (유사도 기반 검색 방식)문서 임베딩을 벡터로 변환 후, 유사도 검색 (FAISS.. 2025. 1. 31.

티스토리툴바