BitGN ECOM1: 105 пользователей, 62.8k прогонов агентов, 8.41M Tool Calls за 7 дней

30 мая стартует бенчмарк ECOM1 для оценки AI-агентов. Платформа уже показала масштаб: 105 пользователей за 7 дней совершили 62.8k прогонов, сгенерировав 8.41M вызовов инструментов и 1.35 лет агентского времени.

Что

Анонсирован запуск бенчмарка BitGN ECOM1, который состоится 30 мая. Это remote-first событие для оценки производительности AI-агентов в реальных задачах. На платформе уже зарегистрирован 1001 инженер.

Как

Формат включает соревновательный раунд на 100 задач (ECOM1-PROD) с 10:00 до 13:00 CEST, после чего бенчмарк переходит в открытый режим. Участники могут работать индивидуально или собираться в локальные хабы с отдельными лидербордами. Интерфейс для регистрации хабов обновлён.

Цифры

• 105 пользователей за последние 7 дней.
• 62.8k прогонов агентов на платформе.
• 8.41M Tool Calls (вызовов инструментов).
• 1.35 лет суммарного агентского времени.
• 10.8GB логов сгенерировано.
• 1001 зарегистрированный инженер.

Что перенять

Подход к сбору данных: платформа фиксирует не только конечные результаты, но и промежуточные метрики — количество вызовов инструментов, суммарное время работы агентов, объём логов. Эти данные критичны для анализа эффективности разных агентских пайплайнов и отладки цепочек рассуждений.

Для оценки агентов фиксируйте не только финальный ответ, но и промежуточные метрики: количество вызовов инструментов, суммарное время работы, объём логов — это ключ к отладке цепочек рассуждений.