[태그:] 스크래퍼

  • 코드 한 줄 없이 웹 스크래핑하기: Scraperr 완벽 가이드

    코드 한 줄 없이 웹 스크래핑하기: Scraperr 완벽 가이드

    웹 스크래핑은 데이터 분석, 마케팅 리서치, 가격 모니터링 등 다양한 분야에서 필수적인 작업입니다. 때문에 요즘 오픈소스 스크래퍼 또는 크롤링 도구들이 많이 요구 됩니다. 오늘 소개할 어플리케이션도 이 웹스크래핑을 위한 셀프호스트 기반의 웹스크래퍼 인 Scraperr에 대한 포스트를 하려고 합니다. RAG 시스템에 웹사이트의 컨텐츠를 Ingest하기 위해서는 웹사이트의 데이터 스크래핑이 반드시 요구 됩니다. 그 과정에서 여러 크롤러 또는…

  • K-Scraper 웹데이터 수집기: 구글 익스텐션 프로그램

    K-Scraper 웹데이터 수집기: 구글 익스텐션 프로그램

    웹서핑을 하다보면 데이터 수집을 직접 해야 하는경우들이 종종 있는데, 데이터 양이 많지 않은 경우에 크롤링 도구를 직접 제작하는 것이 번거롭다는 생각이 들었습니다. 물론 요즘은 크롤링 도구도 프롬프트 몇줄이면 금방 파이썬 코드를 제공해주기 때문에 별것 아닌것 같더라도, 실제 사이트와 싱크를 맞춰서 완벽한 툴을 만드는 것은 여간 귀찮은 일은 아닙니다. 때문에 브라우저에서 확장 프로그램을 이용해서 간단하게 데이터를…