OCR Arena는 문서 파싱 작업에서 주요 기반 VLM과 오픈소스 OCR 모델을 테스트하고 평가할 수 있는 무료 플랫폼입니다. 문서를 업로드하고 정확도를 측정한 후, 공개 리더보드에서 최고의 모델에 투표할 수 있습니다.
OCR Arena는 Extend 팀에서 개발했습니다 . Baseten의 지원을 받아 10개 이상의 모델을 출시했으며, 앞으로도 지속적으로 새로운 모델이 출시되면 추가될 예정이라고 하네요. .
문서 처리는 AI 애플리케이션 구축의 핵심 기반이 되었으며, OCR은 그 어느 때보다 빠르게 발전하고 있습니다. 새로운 모델이 자주 출시되지만, 이를 평가하는 것은 여전히 어렵습니다. 벤치마크는 전체 결과의 일부만을 보여줄 뿐이며, 대부분의 팀은 문서 및 엣지 케이스에서 모델의 성능에 관심을 갖습니다.
이에 새로운 모델 테스트의 어려움을 줄이고, OCR 평가를 개방적이고 편향되지 않으며 실제 성능에 기반하도록 하기 위해 이와 같은 서비스를 오픈했다고 하네요.
모델별 성능이 궁금하시다면, 방문해서 샘플링할 문서들을 업데이트 해보세요. 꼭 결과에 대해서 투표하는 것도 잊진마세요!!
Gemini 2.5 pro 에 대한 평가가 꽤 괜찮네요. 아직 초반이라. 3 pro도 조만간 따라올라가지 않을까 싶습니다.
답글 남기기