Cohere Rerank 5로 긴 검색 문서에서 답에 필요한 구절만 고르기

세 줄 요약

문서를 고른 다음, 그 안에서 필요한 부분을 고른다

Cohere의 10월 21일 발표에서 새로 추가된 기능은 문서 안의 관련 구절까지 점수와 함께 돌려주는 Context Focus다. 검색 결과를 질문과의 관련성에 따라 다시 배열하는 일에, LLM으로 넘길 근거를 고르는 기능이 더해졌다.

두 작업은 줄이는 대상이 다르다. 문서 재정렬은 어떤 자료를 앞에 놓을지 결정한다. 구절 추출은 선택한 자료 안에서 어느 부분을 사용할지 결정한다. 높은 순위의 긴 문서를 통째로 넘기던 시스템이라면 두 번째 선택이 입력 문맥의 길이를 바꿀 수 있다.

릴리스 노트에 따르면 이전 Rerank에서 모델을 바꿀 때 문서를 다시 임베딩하거나 인덱스를 다시 만들 필요는 없다. 다만 Context Focus는 기본으로 꺼져 있으므로 모델 교체와 구절 추출 적용은 별도 작업이다.

모델 문서는 요청의 relevant_spans에서 mode를 enabled로 설정해 기능을 켠다고 설명한다. 반환된 각 구절에는 원문의 문자 위치인 start·end와 점수가 들어간다.

v2 API 참조의 top_n과 max_spans는 적용 단위가 다르다. 앞의 값은 문서 수, 뒤의 값은 문서별 구절 수다. 조건을 만족하는 구절이 없으면 해당 결과의 relevant_spans가 생략될 수 있다.

따라서 애플리케이션에는 반환 위치로 원문을 가져와 LLM 문맥을 구성하는 처리가 필요하다. 이 필드가 없을 때 원문을 유지할지, 다른 근거를 찾을지도 서비스 목적에 맞춰 정해야 한다. 옵션을 켠 것만으로 다음 LLM 호출의 입력이 자동으로 짧아지는 것은 아니다.

모델 이름은 rerank-v5.0-pro와 rerank-v5.0-fast다. Cohere는 Pro를 복잡한 질문과 전문 문서의 순위 품질에, Fast를 낮은 지연과 많은 요청 처리에 맞춘 모델로 소개한다. 두 모델 모두 Context Focus를 지원한다.

10월 21일 발표한 API 가격은 100만 토큰당 Pro 0.05달러, Fast 0.02달러다. 이는 재정렬 API의 단가이며, 뒤에서 답변을 생성하는 LLM의 요금까지 포함한 가격은 아니다.

Model Vault 가격은 전용 인스턴스의 시간·약정 단위로 제시된다. 같은 모델 이름이 있어도 API 토큰 단가와 전용 배포 비용은 구분해야 한다.

공식 모델 문서는 Context Focus가 특정 정보를 찾는 질문에 잘 맞는다고 설명한다. 문서 전체를 요약하는 넓은 요청에는 전체 문서가 필요하고, 표·폼·코드는 일반 문장처럼 구절을 나누기 어렵다고 명시한다.

재정렬 점수도 답변의 정답 확률과 구별해야 한다. Cohere가 설명하는 보정된 relevance_score는 문서가 질문에 유용할 가능성이다. 높은 점수의 문서를 골랐다는 사실만으로, 그중 일부 구절을 읽은 LLM이 정확한 답을 했다고 판단할 수는 없다.

도입 비교에서는 같은 질문에 원문을 넣은 결과와 추출 구절을 넣은 결과를 나란히 보는 방법을 쓸 수 있다. 입력 토큰이 줄었는지와 함께, 답에 필요한 조건이나 예외가 남았는지를 봐야 한다. 토큰 감소와 근거 보존은 서로 다른 확인 항목이다.

Rerank 5로 모델명만 바꾸면 문맥도 줄어드는가?

아니다. Context Focus를 켜고 반환 구절을 실제 LLM 입력에 반영해야 한다.

Context Focus가 문서를 새로 요약해 주는가?

반환되는 핵심 정보는 원문 속 구절의 위치와 점수다. 애플리케이션은 그 위치에 해당하는 텍스트를 사용할 수 있다.

실제 입력을 줄이려면 추출한 구절을 다음 LLM 호출에 반영해야 한다. 구절 선택을 연결한 뒤, 줄어든 입력과 남은 근거를 함께 비교해야 한다.