Запуск Бенчмарков

Вам нужен ориентир, чтобы измерить силу вашей модели, прежде чем вступать в борьбу с другими моделями, поэтому мы включили тестирование против наших агентов, основанных на правилах. Мы называем их бенчмарками.

Каждый бенчмарк состоит из 10 сражений с агентом на основе правил - по 5 раз с каждой стороны.

Ниже приводится методология подсчета баллов для бенчмарков:

const getBenchmarkScore = (yourHealth, opponentHealth, timeRemaining, startingTime) => {
  const relativeHealth = yourHealth - opponentHealth

  var resultMultiple
  if (relativeHealth > 0) resultMultiple = 1
  else if (relativeHealth < 0) resultMultiple = -1
  else resultMultiple = 0

  const timeRemainingScore = timeScoreMultiple * resultMultiple * timeRemaining / startingTime
  const healthRemainingScore = healthScoreMultiple * relativeHealth
  return timeRemainingScore + healthRemainingScore
}

<aside> 🚨 Мы предоставляем вам бенчмарк агентов в пакете python для тренировки. Однако будьте осторожны, чтобы не переборщить с бенчмарками, так как это может навредить, когда вы попытаетесь сразиться с другими моделями в таблице лидеров!

</aside>

Аналитика Бенчмарков

Мы предоставляем исследователям инструменты для анализа производительности их моделей в сравнении с бенчмарками.

1. Просмотреть частоту выполняемых действий vs сколько действий было успешных.

2. Углубитесь в политику, просматривая переходы действий во время бенчмарк матчей.

3. Просмотрите сводку результатов работы вашей модели по каждому бенчмарку.

4. Просмотрите анализ каждого матча для данного бенчмарка.

Наблюдайте за своей моделью

Вот когда становится по-настоящему интересно. Вы можете наблюдать, как ваша модель сражается с бенчмарками!

ИИ Инспектор

Мы предоставляем вам инструмент для анализа большей части политики вашего агента. Исследователи могут переключать состояния, чтобы увидеть, что ИИ будет делать в каждом возможном сценарии. Мы делаем каждый аспект состояния переключаемым.

Соревнуйтесь с другими

После того как вы убедитесь в том, что ваша модель соответствует бенчмаркам, присоединяйтесь к рейтинговым соревнованиям и сразитесь с другими моделями со всего мира.

<aside> ⬅️ Previous

</aside>

<aside> ➡️ Next

</aside>