1C Code Bench: бенчмарк для оценки LLM в написании кода на 1С

Что произошло

Сбер AI выпустил 1C Code Bench — специализированный бенчмарк для систематического тестирования LLM на задачах программирования в экосистеме 1С:Предприятие. Это первый публичный инструмент для объективного сравнения моделей в этом домене.

Детали

• 1C Code Bench — специализированный бенчмарк для тестирования LLM на задачах 1С:Предприятие
• Разработан Сбер AI для систематического сравнения моделей
• Фокус на типовых задачах программирования в экосистеме 1С
• Стандартные бенчмарки (HumanEval, MBPP) не покрывают специфику платформы 1С

Что это значит

Релиз показывает растущий спрос на оценку LLM в корпоративных нишевых стеках — стандартные бенчмарки не отражают реальную применимость моделей в специфических экосистемах.

Для оценки LLM в нишевых экосистемах (1С, SAP ABAP, внутренние DSL) стандартные бенчмарки не работают — нужны доменные наборы задач с проверкой на специфическом синтаксисе и платформенных API.