본문 바로가기

llm3

LangChain 파일 로딩 완벽 가이드: PDF, Word, PPT, Python 한 번에 불러오기 📌 LangChain을 활용하면 다양한 문서(PDF, Word, PPT, Python 파일)를 쉽게 로드하고, AI 검색 및 LLM 모델과 연결할 수 있습니다.💡 이번 글에서는 LangChain에서 제공하는 문서 로더를 활용하여 여러 파일을 처리하는 방법을 완벽하게 정리했습니다.📌 1️⃣ LangChain에서 다양한 문서 파일을 로드해야 하는 이유?AI 검색 엔진이나 LLM(RAG, Retrieval-Augmented Generation) 모델을 개발할 때, 텍스트 데이터가 여러 파일 포맷으로 존재할 가능성이 높습니다.예를 들어:PDF 문서 → 연구 논문, 보고서Word 파일 → 회의록, 계약서PPT 파일 → 프레젠테이션Python 코드 → 코드 기반 문서LangChain에서는 파일 형식에 따라 최.. 2025. 1. 31.
LLM Search Engine: Elasticsearch, Pinecone, FAISS, Milvus 비교 및 샘플 코드 📢 LLM 서비스에서 검색이 중요한 이유LLM(대형 언어 모델)은 강력한 생성 능력을 갖추고 있지만, 정확한 정보 검색 없이 사용하면 가짜 정보(Hallucination) 가 발생할 수 있습니다. 이를 해결하는 방식이 RAG(Retrieval-Augmented Generation) 이며, 외부 데이터를 검색하여 신뢰할 수 있는 답변을 생성하는 것이 핵심입니다.RAG 구현의 핵심은 효율적인 검색 엔진 구축이며, 주요 검색 방식은 두 가지입니다.✅ LLM 검색을 위한 두 가지 핵심 방법1️⃣ 키워드 검색 (전통적인 검색 방식)텍스트 매칭(Elasticsearch 등)키워드 기반 필터링문서 검색, DB 검색 등2️⃣ 벡터 검색 (유사도 기반 검색 방식)문서 임베딩을 벡터로 변환 후, 유사도 검색 (FAISS.. 2025. 1. 31.
LLM API 사용 시 Function Call Function Calling은 LLM이 단순히 텍스트를 생성하는 것이 아니라, API를 통해 지정된 함수(JSON 형식)를 인식하고, 특정 기능을 수행하도록 요청하는 방식입니다. 이를 통해 AI가 정해진 방식으로 외부 데이터와 연동되거나, 특정 연산을 수행하는 것이 가능해집니다. 🔹 주요 LLM Function Call 지원 사례 모델 Function Calling 지원 여부설명GPT-4-turbo (OpenAI)✅ 지원사용자가 정의한 함수(JSON 기반) 호출 가능Claude (Anthropic)🚧 제한적현재 직접적인 Function Calling 지원은 부족하나, API 연동 가능Gemini (Google)✅ 지원JSON 기반 함수 호출 및 멀티모달 처리 가능Mistral & LLaMA❌ 미지원.. 2025. 1. 29.

티스토리툴바