[카테고리:] AI
-
RAGOps: 차세대 AI 운영의 새로운 패러다임
검색 증강 생성(Retrieval Augmented Generation, RAG)은 생성형 AI와 대규모 언어 모델(LLM) 기반 애플리케이션 분야에서 가장 널리 적용되는 기술 중 하나입니다. Databricks 보고서에 따르면, LLM 기반 애플리케이션의 60% 이상이 어떤 형태로든 RAG를 사용하고 있습니다. 연간 약 40%의 성장률을 보이는 글로벌 LLM 시장에서 RAG는 반드시 숙달해야 할 핵심 기술 중 하나입니다. 인공지능이 비즈니스 운영의 핵심으로 자리잡으면서, 단순히…
-
RAG 완벽 가이드: 대형 언어 모델의 한계를 극복하는 검색 증강 생성
들어가며 ChatGPT, GPT-4, Gemini 등의 대형 언어 모델(LLM)이 놀라운 성능을 보여주고 있지만, 여전히 중요한 한계점들이 존재합니다. 최신 정보에 대한 지식 부족, 잘못된 정보 생성(할루시네이션), 그리고 도메인별 전문 지식의 부족 등이 그것입니다. 이러한 문제를 해결하기 위해 등장한 것이 바로 RAG(Retrieval Augmented Generation, 검색 증강 생성)입니다. RAG는 단순히 기존 LLM의 성능을 향상시키는 것을 넘어서, 실시간으로 업데이트되는 외부…
-
MCP Client: Streamlit과 MCP, LangChain으로 동적 툴(Tool) 라우팅 에이전트 구축
최근의 AI Client는 단순히 정해진 답변만 하는 것을 넘어, MCP와 같은 프로토콜을 기반으로 외부 도구를 활용하고 여러 AI 모델의 능력을 조합하여 복잡한 문제를 해결하는 방향으로 진화하고 있습니다. 이번 글에서는 사용자의 질문에 맞춰 최적의 도구를 동적으로 선택하고, 여러 AI 에이전트의 답변을 종합하여 최종 결과를 제공하는 챗봇을 만드는 방법을 소개합니다. 이 MCP Client는 Streamlit으로 만든 UI 뒤에서,…
-
AI의 새로운 흐름: CAG, TAG, RAG을 파헤치다
최근 생성형 AI의 발전과 함께 다양한 Augmented Generation 기술들이 주목받고 있습니다. 그 중에서도 Cache Augmented Generation(CAG, 캐시 증강 생성), Table Augmented Generation(TAG, 테이블 증강 생성), Retrieval Augmented Generation(RAG, 검색 증강 생성)은 각각 고유한 특징과 장점을 가지고 있어 다양한 상황에서 활용되고 있습니다. 각 접근 방식은 LLM의 응답을 사실적이고 맥락에 맞는 데이터에 기반하도록 만드는 근본적인 과제를 해결하지만,…
-
CrewAI: 멀티 에이전트 AI 자동화
CrewAI 소개 인공지능 기술이 빠르게 발전하면서, 단일 AI 모델의 한계를 극복하고 더 복잡한 작업을 효율적으로 처리할 수 있는 멀티 에이전트 시스템에 대한 관심이 높아지고 있습니다. 이러한 트렌드 속에서 CrewAI는 멀티 에이전트 AI 자동화 플랫폼으로 주목받고 있으며, GitHub에서 29.4K개의 스타를 받으며 Fortune 500 기업의 60%가 사용하고 있는 혁신적인 프레임워크입니다. 이러한 설계를 위해서는 langGraph를 이용한 방법도 있긴…
-
MCP Server 구축하기: stdio와 SSE 방식 차이점
pulseMCP, smithery 등에 업데이트되는 정보들이 빠르게 증가하는 것을 보니, MCP(Model Context Protocol)을 이용한 서버와 클라이언트 개발이 매우 활발하게 이루어지는 것 같습니다. . 관련해서 이번 포스트에서는 Python의 mcp 라이브러리를 사용하여 간단한 MCP 서버를 구축하는 방법을 stdio와 SSE 두 가지 방식으로 나누어 설명하겠습니다. SSE와 stdio에 대한 설명 SSE (Server-Sent Events) SSE는 서버-센트 이벤트(Server-Sent Events)의 약자로, 웹 브라우저(클라이언트)가…
-
AnyCrawl: LLM 을 위한 고성능 웹 크롤러
고품질 데이터 수집의 중요성이 그 어느 때보다도 중요한 시기이 때문에 추가로 크롤러 서비스에 대한 또 다른 서비스에 대해서 포스트하려고 합니다. AnyCrawl은 AI와 LLM을 위해 특별히 설계된 고성능 웹 스크래핑 도구로, 코딩 없이도 모든 웹사이트에서 구조화된 데이터를 추출할 수 있는 엔터프라이즈급 크롤러 입니다. AnyCrawl의 주요 기능 1. AI 최적화 데이터 추출 AnyCrawl은 단순한 웹 스크래핑을 넘어서…
-
Chuking 파헤치기: RAG을 위한 필수 기술
LLM(대규모 언어 모델) 관련 애플리케이션을 구축할 때, 특히 콘텐츠를 임베드하여 벡터 데이터베이스에 저장하고 검색하는 과정에서 ‘청킹(Chunking)’은 핵심적인 기술입니다. 큰 텍스트 덩어리를 더 작고 관리 가능한 세그먼트로 나누는 이 과정은 벡터 데이터베이스에서 반환되는 콘텐츠의 관련성을 최적화하는 데 필수적입니다. VectorDB과 같은 시스템에서 콘텐츠를 인덱싱하려면 먼저 임베드해야 하며, 청킹을 하는 주된 이유는 의미적으로 관련성이 있으면서도 노이즈가 최소화된 콘텐츠를…
-
Firecrawl MCP Server: 웹 스크래핑과 리서치를 위한 강력한 도구
🔥 Firecrawl MCP Server는 웹 스크래핑 기능을 제공하는 Model Context Protocol(MCP) 서버 입니다. 이 도구는 웹 콘텐츠 수집, 검색, 분석을 위한 다양한 기능을 제공하여 연구자, 개발자, 데이터 분석가들에게 강력한 웹 리서치 도구로 활용될 수 있습니다. 현재 오픈소스 AGPL -3.0 (https://github.com/mendableai/firecrawl/blob/main/LICENSE) 으로 제공된 버전과 Cloud 버전을 제공하고 있습니다. 오픈소스와 차이는 다음과 같습니다. 이 글에서는 최근 MCP…