[태그:] 크롤러
-
Firecrawl MCP Server: 웹 스크래핑과 리서치를 위한 강력한 도구
🔥 Firecrawl MCP Server는 웹 스크래핑 기능을 제공하는 Model Context Protocol(MCP) 서버 입니다. 이 도구는 웹 콘텐츠 수집, 검색, 분석을 위한 다양한 기능을 제공하여 연구자, 개발자, 데이터 분석가들에게 강력한 웹 리서치 도구로 활용될 수 있습니다. 현재 오픈소스 AGPL -3.0 (https://github.com/mendableai/firecrawl/blob/main/LICENSE) 으로 제공된 버전과 Cloud 버전을 제공하고 있습니다. 오픈소스와 차이는 다음과 같습니다. 이 글에서는 최근 MCP…
-
K-Scraper 웹데이터 수집기: 구글 익스텐션 프로그램
웹서핑을 하다보면 데이터 수집을 직접 해야 하는경우들이 종종 있는데, 데이터 양이 많지 않은 경우에 크롤링 도구를 직접 제작하는 것이 번거롭다는 생각이 들었습니다. 물론 요즘은 크롤링 도구도 프롬프트 몇줄이면 금방 파이썬 코드를 제공해주기 때문에 별것 아닌것 같더라도, 실제 사이트와 싱크를 맞춰서 완벽한 툴을 만드는 것은 여간 귀찮은 일은 아닙니다. 때문에 브라우저에서 확장 프로그램을 이용해서 간단하게 데이터를…