Fine-tuning Cohere Reranker через LlamaIndex: +5–10% recall@10 на доменном retrieval

Простым языком

Реранкер — это модель, которая пересортировывает найденные документы по релевантности запросу. Дообучить его на своих данных — значит научить лучше отличать «полезно» от «мусора» в вашем конкретном домене. LlamaIndex упростил этот процесс: данные генерируются из существующего индекса, обучение идёт через API Cohere.

Что нового

• Автоматическая генерация обучающих пар (query, relevant_doc, hard_negative) из существующего RAG-индекса
• Интеграция fine-tuning'а Cohere Rerank v3 в пайплайн LlamaIndex — без выхода из экосистемы
• Формат JSONL с явным разделением на релевантные пассажи и хард-негативы для triplet loss
• Возможность использовать LLM-as-judge для автоматической разметки вместо ручной

Вердикт

Применять, если у вас есть RAG с реранкером и накопленные данные о релевантности. Не применять, если датасет <500 пар или нужен полностью оффлайн/бесплатный пайплайн — в этом случае смотреть в сторону open-source cross-энкодеров.

Fine-tuning реранкера (Cohere Rerank v3) на 500+ доменных парах даёт +5–10% recall@10 без замены эмбеддинговой модели — дешевле, чем дообучать bi-encoder.