[카테고리:] Software
-
AnyCrawl: LLM 을 위한 고성능 웹 크롤러
고품질 데이터 수집의 중요성이 그 어느 때보다도 중요한 시기이 때문에 추가로 크롤러 서비스에 대한 또 다른 서비스에 대해서 포스트하려고 합니다. AnyCrawl은 AI와 LLM을 위해 특별히 설계된 고성능 웹 스크래핑 도구로, 코딩 없이도 모든 웹사이트에서 구조화된 데이터를 추출할 수 있는 엔터프라이즈급 크롤러 입니다. AnyCrawl의 주요 기능 1. AI 최적화 데이터 추출 AnyCrawl은 단순한 웹 스크래핑을 넘어서…
-
K-Scraper 웹데이터 수집기: 구글 익스텐션 프로그램
웹서핑을 하다보면 데이터 수집을 직접 해야 하는경우들이 종종 있는데, 데이터 양이 많지 않은 경우에 크롤링 도구를 직접 제작하는 것이 번거롭다는 생각이 들었습니다. 물론 요즘은 크롤링 도구도 프롬프트 몇줄이면 금방 파이썬 코드를 제공해주기 때문에 별것 아닌것 같더라도, 실제 사이트와 싱크를 맞춰서 완벽한 툴을 만드는 것은 여간 귀찮은 일은 아닙니다. 때문에 브라우저에서 확장 프로그램을 이용해서 간단하게 데이터를…
-
바이브 코딩: 개발자에게 혁신인가? 위협인가?
바이브 코딩(Vibe Coding)이란? 바이브 코딩은 대규모 언어 모델(LLM)과 같은 인공지능(AI)을 활용해 자연어 프롬프트(명령어)를 입력하면 AI가 직접 코드를 생성하는 새로운 프로그래밍 방식입니다. 즉, 프로그래머가 일일이 코드를 작성하는 대신, AI가 코드를 만들어내면 사용자는 이를 테스트하고 수정하며 가이드하는 역할을 맡습니다. 이 과정에서 사용자는 코드를 완벽히 이해하지 못해도 AI가 생성한 코드를 활용할 수 있다는 점이 특징입니다 바이브 코딩의 용어는…
-
Long Context 처리를 위한 효율적인 방법: Recursive Abstractive Processing for Tree-Organized Retrieval (RAPTOR)
RAG 시스템 구축을 하면서 데이터를 벡터 스토어로 저장을 할때, 일정 길이로 청킹을 해서 임베딩후 저장을 하다보니, 검색을 통해서 검출된 문서 자체가 검색과 밀접한 관련이 있는 단어들만 나오게 됩니다. 결국 그 안에서 답변이 이루어 지기 떄문에 단편적인 질문에 따른 결과는 만족스럽더라도, 전체적인 맥락에 대한 이해가 요구되는 질문에는 그렇지 못합니다. 예를 들자면, 신데렐라가 어려서 부모님을 잃고, 자매로…
-
Human In The Loop(HITL): AI 시스템과 인간의 협력적 접근
인공지능(AI) 기술이 발전함에 따라 완전 자동화된 시스템에 대한 기대가 높아지고 있습니다. 그러나 현실에서는 AI의 한계를 인정하고 인간의 전문성을 결합한 ‘Human In The Loop(HITL)’ 접근법이 중요한 패러다임으로 자리 잡고 있습니다. 이 글에서는 HITL의 정의, 작동 원리, 활용 분야 및 Active Learning과의 차이점을 자세히 살펴보겠습니다. HITL의 정의 Human In The Loop(HITL)는 AI 시스템의 의사결정 과정에 인간이 적극적으로…
-
Stackoverflow는 LLM이 망하게 만들었나?
최근 커뮤니티 글 중에서 stackoverflow에 쇠퇴에 대해서 다룬 글을 보았습니다. 사실 언젠가 부터 코드에 대한 문제 해결을 위해 검색엔진을 이용하지 않는 것들이 거의 습관처럼 되어버렸기 때문에 그 의견에는 동의하는 생각을 가지고 있었습니다. 이것은 2008년 부터 2024년까지 Stackoverflow의 월별 질문수를 정리한 데이터가 공개되었습니다. 아마도 코드를 접하는 사람이라면, stackoverflow의 도움을 한번도 받지 않은 사람은 없을 것 입니다.…
-
Docker와 Docker Compose 완벽 가이드
현대 소프트웨어 개발에서 Docker와 Docker Compose는 애플리케이션 배포와 관리를 위한 필수 도구로 자리 잡았습니다. 이 글에서는 Docker와 Docker Compose의 설치부터 실행, 그리고 실제 활용 방법에 대해 포스팅해보겠습니다. Docker는 익숙하죠? Docker는 앞서 이미 사용 수준에 있을 만큼 익숙한 플랫폼입니다. 주로 애플리케이션을 개발, 배포, 실행하기 위한 목적의 오픈소스 플랫폼입니다. Docker의 주요 장점 Docker 설치하기 Windows에 Docker 설치…
-
Agent Communication Protocol(ACP): 에이전트 상호 운용성을 위한 개방형 표준
Agent Communication Protocol(ACP)는 다양한 AI 에이전트들이 서로 효율적으로 통신하고 협업할 수 있도록 설계된 오픈 표준 프로토콜입니다. ACP는 리눅스 재단(Linux Foundation) 산하에서 오픈 거버넌스 방식으로 개발되고 있으며, AI 에이전트 생태계의 상호 운용성(interoperability)을 해결하는 것을 목표로 합니다. 1. ACP의 필요성 및 등장 배경 현재 AI 시스템들은 각기 다른 프레임워크와 기술 스택에 기반해 개발되어 왔습니다. 이로 인해 다음과…