[카테고리:] Python
-
dots.ocr: 놀라운 성능의 차세대 다국어 문서 parser
오늘 기술 파트너 회사와 미팅이 있었습니다. 문서 추출에 대해서 꽤 기술력이 있는 회사여서 관심있게 제품에 대한 소개를 받았습니다. 문서로 부터 데이터를 추출하고, 정제하여 데이터베이스를 구축하는 제품을 가지고 있었습니다. 논문이나 공공기관의 문서의 경우 일관된 형식을 가지고 있기 때문에 형식에 맞는 패턴을 인식하면, 문서로 부터 텍스트를 추출하더라도 정보의 계층구조를 포함된 정보를 가져올수 있는 매우 획기적인 기술이었습니다. 그것을…
-
LangFlow 완전 가이드: 설치부터 프로덕션 배포까지
LangFlow 소개 LangFlow는 AI 애플리케이션을 시각적 인터페이스로 빠르게 프로토타이핑하고 구축할 수 있는 강력한 로우코드 플랫폼입니다. 특히 에이전트(Agent) 기반 시스템과 RAG(Retrieval-Augmented Generation) 애플리케이션 개발에 특화되어 있습니다. 주요 특징 설치 환경 및 요구사항 시스템 요구사항 선택적 도구 설치 방법 1. pip를 이용한 설치 (권장) 가장 간단한 설치 방법입니다: # 기본 설치 pip install langflow # 특정 버전…
-
Poetry : Python 패키지 및 의존성 관리 도구
Python 개발에서 패키지 관리와 의존성 해결은 항상 중요한 과제였습니다. 기존의 pip와 requirements.txt 조합이나 setuptools는 복잡한 프로젝트에서 한계를 보였고, 이러한 문제를 해결하기 위해 Poetry가 등장했습니다. 이 글에서는 Poetry의 기본 개념부터 실제 사용법, 그리고 자주 발생하는 문제와 해결책까지 상세히 알아보겠습니다. 1. Poetry란 무엇인가? Poetry는 Python 패키지의 의존성 관리와 패키징을 위한 도구로, 다음과 같은 특징을 가지고 있습니다: 2.…
-
Cogency: 필요한 만큼 생각하는 스마트 AI 에이전트
AI 에이전트 기술이 빠르게 발전하면서 개발자들은 더 직관적이고 효율적인 도구를 찾고 있습니다. 그 중심에 Cogency가 있습니다. 단 3줄의 코드로 구현 가능한 이 AI 에이전트는 작업의 복잡성에 따라 사고 깊이를 자동으로 조절하는 기능을 제공합니다. Cogency란 무엇인가? Cogency는 “필요한 만큼 생각하는 스마트 AI 에이전트”라는 슬로건을 내세운 AI 프레임워크입니다. (이전 슬로건은 ‘3줄로 작동하는 AI 에이전트’이었습니다. 역시 3줄로는 무리였나봅니다.…
-
Crawl4AI: LLM 친화적인 오픈소스 웹 크롤러 및 스크래퍼
웹 크롤링과 스크래핑은 데이터 수집에 있어 필수적인 기술입니다. 특히 AI와 LLM(Large Language Model) 시대에 접어들면서 이러한 기술의 중요성은 더욱 커지고 있습니다. 이런 상황에서 Crawl4AI는 AI 친화적인 웹 크롤링 솔루션으로 주목받고 있습니다. Crawl4AI(https://docs.crawl4ai.com/)는 GitHub(https://github.com/unclecode/crawl4ai)에서 가장 트렌디한 리포지토리 중 하나로, 활발한 커뮤니티에 의해 지속적으로 관리되고 있습니다. 이 도구는 대규모 언어 모델, AI 에이전트 및 데이터 파이프라인을 위해…
-
LocalAI: 프라이버시를 지키며 AI 모델을 로컬에서 실행하는 완벽한 솔루션
AI 기술이 발전함에 따라 개인 정보 보호와 데이터 주권에 대한 관심이 높아지고 있습니다. 이러한 요구에 부응하여 등장한 LocalAI는 AI 모델을 로컬 환경에서 실행할 수 있게 해주는 오픈소스 솔루션입니다. LLM서비스가 필수이지만, 기업의 보안 측면을 위해 자체 LLM에대한 요구가 더 확고해지는것 같습니다. 다만, 자체 LLM을 위한 성능과 리소스의 최적화된 해결책은 아직 뚜렷하게 보이지는 않는것 같습니다. 완벽하게는 아니더라도…
-
Python Pandas로 데이터 전처리 및 정제 마스터하기
데이터를 다루는 과정에서 데이터 전처리는 매우 중요한 단계입니다. 이 글에서는 Pandas를 사용하여 데이터를 효과적으로 정제하고 변환하는 핵심 기법들을 살펴보겠습니다. 1. 결측치 처리 전략 결측치는 데이터 분석에 심각한 영향을 미칠 수 있습니다. Pandas에서는 다양한 방법으로 결측치를 처리할 수 있습니다. 1.1 결측치 확인 및 개수 파악 1.2 결측치 처리 방법 주의사항 2. 중복 데이터 제거 3. 이상치…
-
LangConnect Client: 벡터 DB 관리를 위한 직관적인 GUI 인터페이스
지난번 LangConnect 에 대해서 포스트하였습니다. 최근 유튜브에서 TeddyNote 님이 공개한 영상에 언급한 LangConnect 에 GUI를 추가한 Client에 대한 영상 소개가 있어서 보자마자 바로 설치 및 사용을 해봤습니다. LangConnect Client는 PostgreSQL과 pgvector 확장을 기반으로 한 벡터 데이터베이스를 관리하기 위한 직관적인 웹 인터페이스를 제공합니다. 이 Next.js 기반 GUI 도구는 문서 관리, 벡터 검색 기능, 그리고 Model Context…
-
Agent Squad: 복잡한 대화를 위한 다중 AI 에이전트 오케스트레이션 프레임워크
오늘날 인공지능 기술이 발전함에 따라 단일 AI 에이전트로는 해결하기 어려운 복잡한 문제들이 많아지고 있습니다. 이러한 문제를 해결하기 위해 여러 전문 AI 에이전트를 조율하여 함께 작업할 수 있게 하는 오픈소스 프레임워크인 ‘Agent Squad’를 소개합니다. Agent Squad는 이전에 ‘Multi-Agent Orchestrator’로 알려졌던 프레임워크로, 복잡한 대화를 처리하기 위한 유연하고 가벼운 오픈소스 솔루션입니다. Agent Squad의 주요 특징 Agent Squad란 무엇인가?…