[카테고리:] Software
-
SGLang: LLM 서빙 프레임워크 리뷰
2024년부터 2025년에 이르기까지 대규모 언어 모델(LLM)의 활용이 급격히 확산되면서, 단순한 일회성 질의응답을 넘어선 복잡하고 구조화된 워크플로우의 필요성이 대두되었습니다. LangChain, vLLM과 같은 기존 도구들이 존재하지만, 실제 프로덕션 환경에서 다단계 추론, 병렬 처리, 구조화된 출력을 요구하는 애플리케이션을 구축할 때 여러 제한사항에 부딪히게 됩니다. 이러한 문제를 해결하기 위해 등장한 SGLang은 단순한 서빙 백엔드나 프롬프트 래퍼가 아닌, LLM 워크플로우를…
-
LibreChat 완전 리뷰: 멀티 AI 모델 챗봇 클라이언트
개요 LibreChat은 ChatGPT의 향상된 클론으로, OpenAI의 ChatGPT 기술과 차세대 AI 어시스턴트들을 하나로 결합한 완전한 오픈소스 프로젝트입니다. 이 프로젝트는 단순히 ChatGPT를 모방하는 것을 넘어서, 다양한 AI 모델을 통합하고 원래 클라이언트의 기능들을 개선하며 확장한 종합적인 AI 챗봇 플랫폼을 제공합니다. 전 세계 수천 개의 조직에서 신뢰받고 있으며 Boston University와 같은 주요 기관들이 사용하고 있어, 그 안정성과 실용성이 검증된…
-
Supabase vs Google Firebase
Supabase 대 Google Firebase: 완벽 비교 분석 개발자가 새로운 프로젝트를 시작할 때, 백엔드 서비스(BaaS, Backend-as-a-Service) 플랫폼의 선택은 개발 속도, 확장성 및 비용에 큰 영향을 미치는 중요한 결정입니다. 이 분야에서는 오랫동안 Google의 Firebase가 사용 편의성과 포괄적인 기능으로 시장을 선도해왔습니다. 하지만 최근 오픈소스 플랫폼인 Supabase가 SQL 기반 접근 방식과 개발자 친화적인 기능들을 앞세워 강력한 경쟁자로 급부상했습니다. 이…
-
AnyCrawl: LLM 을 위한 고성능 웹 크롤러
고품질 데이터 수집의 중요성이 그 어느 때보다도 중요한 시기이 때문에 추가로 크롤러 서비스에 대한 또 다른 서비스에 대해서 포스트하려고 합니다. AnyCrawl은 AI와 LLM을 위해 특별히 설계된 고성능 웹 스크래핑 도구로, 코딩 없이도 모든 웹사이트에서 구조화된 데이터를 추출할 수 있는 엔터프라이즈급 크롤러 입니다. AnyCrawl의 주요 기능 1. AI 최적화 데이터 추출 AnyCrawl은 단순한 웹 스크래핑을 넘어서…
-
K-Scraper 웹데이터 수집기: 구글 익스텐션 프로그램
웹서핑을 하다보면 데이터 수집을 직접 해야 하는경우들이 종종 있는데, 데이터 양이 많지 않은 경우에 크롤링 도구를 직접 제작하는 것이 번거롭다는 생각이 들었습니다. 물론 요즘은 크롤링 도구도 프롬프트 몇줄이면 금방 파이썬 코드를 제공해주기 때문에 별것 아닌것 같더라도, 실제 사이트와 싱크를 맞춰서 완벽한 툴을 만드는 것은 여간 귀찮은 일은 아닙니다. 때문에 브라우저에서 확장 프로그램을 이용해서 간단하게 데이터를…
-
바이브 코딩: 개발자에게 혁신인가? 위협인가?
바이브 코딩(Vibe Coding)이란? 바이브 코딩은 대규모 언어 모델(LLM)과 같은 인공지능(AI)을 활용해 자연어 프롬프트(명령어)를 입력하면 AI가 직접 코드를 생성하는 새로운 프로그래밍 방식입니다. 즉, 프로그래머가 일일이 코드를 작성하는 대신, AI가 코드를 만들어내면 사용자는 이를 테스트하고 수정하며 가이드하는 역할을 맡습니다. 이 과정에서 사용자는 코드를 완벽히 이해하지 못해도 AI가 생성한 코드를 활용할 수 있다는 점이 특징입니다 바이브 코딩의 용어는…
-
Long Context 처리를 위한 효율적인 방법: Recursive Abstractive Processing for Tree-Organized Retrieval (RAPTOR)
RAG 시스템 구축을 하면서 데이터를 벡터 스토어로 저장을 할때, 일정 길이로 청킹을 해서 임베딩후 저장을 하다보니, 검색을 통해서 검출된 문서 자체가 검색과 밀접한 관련이 있는 단어들만 나오게 됩니다. 결국 그 안에서 답변이 이루어 지기 떄문에 단편적인 질문에 따른 결과는 만족스럽더라도, 전체적인 맥락에 대한 이해가 요구되는 질문에는 그렇지 못합니다. 예를 들자면, 신데렐라가 어려서 부모님을 잃고, 자매로…
-
Human In The Loop(HITL): AI 시스템과 인간의 협력적 접근
인공지능(AI) 기술이 발전함에 따라 완전 자동화된 시스템에 대한 기대가 높아지고 있습니다. 그러나 현실에서는 AI의 한계를 인정하고 인간의 전문성을 결합한 ‘Human In The Loop(HITL)’ 접근법이 중요한 패러다임으로 자리 잡고 있습니다. 이 글에서는 HITL의 정의, 작동 원리, 활용 분야 및 Active Learning과의 차이점을 자세히 살펴보겠습니다. HITL의 정의 Human In The Loop(HITL)는 AI 시스템의 의사결정 과정에 인간이 적극적으로…
-
Stackoverflow는 LLM이 망하게 만들었나?
최근 커뮤니티 글 중에서 stackoverflow에 쇠퇴에 대해서 다룬 글을 보았습니다. 사실 언젠가 부터 코드에 대한 문제 해결을 위해 검색엔진을 이용하지 않는 것들이 거의 습관처럼 되어버렸기 때문에 그 의견에는 동의하는 생각을 가지고 있었습니다. 이것은 2008년 부터 2024년까지 Stackoverflow의 월별 질문수를 정리한 데이터가 공개되었습니다. 아마도 코드를 접하는 사람이라면, stackoverflow의 도움을 한번도 받지 않은 사람은 없을 것 입니다.…