[태그:] rag문서 청크 사이즈 최적화

RAG 시스템 구축을 하면서 데이터를 벡터 스토어로 저장을 할때, 일정 길이로 청킹을 해서 임베딩후 저장을 하다보니, 검색을 통해서 검출된 문서 자체가 검색과 밀접한 관련이 있는 단어들만 나오게 됩니다. 결국 그 안에서 답변이 이루어 지기 떄문에 단편적인 질문에 따른 결과는 만족스럽더라도, 전체적인 맥락에 대한 이해가 요구되는 질문에는 그렇지 못합니다. 예를 들자면, 신데렐라가 어려서 부모님을 잃고, 자매로…