Перейти к содержимому

Методика замеров и раскрытие связей

Здесь описано, что и как мы измеряем, по какому правилу сортируются таблицы, откуда берутся сведения об оплате и доступе, кто поддерживает сайт и какие данные о посетителях он обрабатывает.

Содержание
  1. Как устроен автозамер
  2. Метрики
  3. Почасовая шкала
  4. Правило сортировки
  5. Отпечаток и пеликан
  6. Входные токены и статус API
  7. Кто попадает в список
  8. Оплата, доступ и цены
  9. Раскрытие связей
  10. Реклама и партнёрские ссылки
  11. Ограничения методики
  12. Данные и приватность

Как устроен автозамер

  • Частота. Один цикл каждые 10 минут — 144 замера в сутки на каждую пару «провайдер — модель».
  • Запрос. Короткий потоковый вызов (stream: true, max_tokens: 16) с коротким текстом и случайным числом, чтобы ответ нельзя было отдать из кэша.
  • Нагрузка. Не более двух запросов одновременно, чтобы замер не влиял на работу провайдера.
  • Узел. Все замеры выполняются с одного сервера. Его название показано в строке статуса на главной странице и в результатах быстрого теста. Задержка из вашей сети может отличаться.
  • Ключи. Для автозамера используются отдельные служебные ключи. Ключ провайдера, которого добавила наша команда, хранится в переменных окружения сервера; ключ, который партнёр передал в кабинете, — в базе данных только в зашифрованном виде (AES-256-GCM). Ключи нигде не показываются, не возвращаются в ответах и не попадают в логи.

Метрики

МетрикаОпределение
Доступность 24ч Доля успешных замеров за последние 24 часа. Успех — ответ HTTP 200 с корректным потоком событий SSE.
TTFT (p50 / p95) Время от отправки запроса до первого непустого фрагмента ответа. Показаны медиана и 95-й перцентиль по успешным замерам за 24 часа.
Скорость, ток/с Число выходных токенов, делённое на время от первого фрагмента до конца потока; медиана за 24 часа. Если провайдер не сообщает число токенов, оно оценивается по числу фрагментов. При 16 токенах значение ориентировочное.
Телеметрия 24ч Число ответов HTTP 200, 429, 5xx, таймаутов (более 10 секунд) и прочих ошибок за 24 часа.

Почасовая шкала из 24 делений

Каждое деление — один час, самое правое — последний час. Цвет определяется долей успешных замеров за час:

  • Зелёное — все замеры успешны.
  • Жёлтое — есть сбои, но успешных замеров не меньше половины.
  • Красное — успешных замеров меньше половины.
  • Серое — за этот час замеров не было.

Правило сортировки

Порядок строк в каждой таблице фиксирован и одинаков для всех: сначала доступность за 24 часа по убыванию, при равенстве — медианный TTFT по возрастанию. Строки без замеров идут последними. Посетитель может пересортировать таблицу по TTFT или скорости.

Первая строка таблицы подсвечивается только по результату текущей сортировки. Сводного рейтинга, весов и ручных поправок нет. Место в таблице нельзя купить: реклама показывается отдельным блоком и на порядок строк не влияет (см. «Реклама и партнёрские ссылки»).

Проверки на главной: отпечаток модели и тест с пеликаном

Отпечаток модели. На эндпоинт посетителя уходят три задания «выпишите N чисел» (N от 292 до 332, язык задания выбирается случайно). Ответы оценивает открытый детектор lm-detector (лицензия MIT) по своему эталонному банку — так же, как в Folkbench. Результат — ранжирование ближайших моделей внутри банка с откалиброванной уверенностью при трёх годных ответах. Это не доказательство подлинности: модель, которой нет в банке, определить нельзя, а похожие модели одного семейства могут меняться местами. Эталонные данные хранятся на нашем сервере; во время проверки сервер не обращается к сторонним адресам.

Тест с пеликаном. Модель получает подробное задание нарисовать анимированного пеликана на велосипеде в формате SVG. Для каждого запуска сервер случайно выбирает цвет фона и оперения, достаточно различимые между собой, и требует записать их шестнадцатеричные значения в коде. Мы автоматически проверяем только наличие этих значений в коде; рисунок показывается в изолированной рамке без доступа к сети, отправке форм и переходам, а оценивает его сам посетитель.

В обеих проверках модель просят рассуждать с низкой интенсивностью; если эндпоинт не принимает этот параметр, запрос повторяется без него. Проверки расходуют токены ключа посетителя (до 8192 выходных токенов на каждое задание отпечатка и до 10 096 на пеликана, включая рассуждения), ограничены по частоте и выполняются с того же измерительного узла, что и автозамер.

Входные токены, отпечаток модели и статус официальных API в таблице

Вход, ток. Каждый автозамер — одинаковый короткий запрос. Провайдер сообщает в ответе, сколько входных токенов он насчитал (включая кэш); в таблице — медиана за 24 часа и разница с медианой других провайдеров той же модели (если данные есть хотя бы у двух). Разница до 15 % считается нормальной. Если провайдер насчитывает заметно больше, обычно это значит, что к вашему запросу добавляется скрытый текст — и вы за него платите. Разные протоколы одной модели могут давать небольшую разницу сами по себе.

Отпечаток. Раз в сутки тем же служебным ключом, что и автозамер, модель каждого провайдера выполняет три задания «выпишите N чисел» (с низкой интенсивностью рассуждений), а детектор lm-detector ранжирует ответы по эталонному банку. «Совпадает» — заявленная модель на первом месте с уверенностью не ниже 75 %. «Расхождение» — с такой же уверенностью первое место у другой модели или ответы не похожи на модель; хватает одного такого случая за 7 дней. Неудавшиеся запросы не считаются. Модели, которых нет в банке, не проверяются. Это ранжирование внутри банка, а не доказательство подлинности, и оно не влияет на порядок строк. Ответы моделей не сохраняются — только итог проверки.

Официальные API. Полоса над таблицей показывает статус с официальных страниц OpenAI и Anthropic, а для Gemini — открытые инциденты сервиса «Vertex Gemini API» на странице статуса Google Cloud (отдельной машиночитаемой страницы для Gemini API в AI Studio нет). Данные обновляются раз в 10 минут. Когда официальный API недоступен, страдают все провайдеры этой модели.

Кто попадает в список

Провайдер появляется в таблице после ручной проверки заявки администратором. Заявку можно подать в кабинете партнёра; размещение в каталоге бесплатное и не зависит от покупки рекламы.

  1. Администратор проверяет сайт и публичный адрес API и заводит для него автозамеры.
  2. Способы оплаты показываются только те, что проверены на практике; заявленные провайдером, но не проверенные — не публикуются.
  3. Пока замеров за 24 часа нет, в строке стоит «нет данных», и она идёт после строк с данными.

Мы не публикуем демонстрационные строки и непроверенные тарифы. При жалобах или длительной недоступности провайдер может быть снят с публикации.

Оплата, доступ и цены

  • Способы оплаты и ограничения доступа указываются только после ручной проверки, с датой проверки в развёрнутой строке. Если поле не проверено, в таблице стоит пометка «Не проверено».
  • Способы оплаты показаны метками: стейблкоины (USDT, USDC) выделены зелёным, другая криптовалюта — фиолетовым, остальные — серым. Провайдер может заявить способы оплаты при подаче заявки, но в таблицу попадают только те, что администратор проверил сам.
  • Цена — справочная, из публичного тарифа провайдера на дату проверки. Итоговая стоимость зависит от тарифа и комиссий способа оплаты.
  • Условия у провайдеров меняются: перед оплатой сверяйте их на сайте провайдера.

Кто поддерживает сайт и раскрытие связей

Сайт поддерживается командой Folkbench и аффилирован с Modelflare. Мы не являемся независимой третьей стороной по отношению к сервисам этой экосистемы.

  • Каждая строка сервиса экосистемы Folkbench / Modelflare помечена значком «Аффилирован».
  • Аффилированные сервисы измеряются тем же запросом, с того же узла и сортируются по тому же правилу.
  • Порядок строк в таблицах определяется только измеренными метриками — ни реклама, ни аффилированность на него не влияют.

Реклама и партнёрские ссылки

Сайт зарабатывает двумя способами, и оба отделены от измерений:

  • Блок «Реклама» над таблицей. Это платные показы (CPM) провайдеров из каталога. Блок всегда помечен словом «Реклама» и не входит в таблицу. Объявления распределяются взвешенной ротацией: на долю показов влияют ставка, качество линии по тем же замерам и поддержка новых участников, а доля одного провайдера за день ограничена. Провайдер с доступностью ниже порога в рекламе не участвует.
  • Партнёрские ссылки. Переходы на сайты провайдеров (кнопка «Сайт» и объявления) идут через промежуточную страницу /go/ с предупреждением о рисках. Ссылка может содержать партнёрский параметр (AFF).
  • Рекламодатели и аффилированные сервисы измеряются тем же запросом и с того же узла, что и остальные; изменить результаты замеров за деньги нельзя.
  • Рекламодатель платит только за видимый показ: не менее половины объявления в окне браузера в течение одной секунды. Показы ботам и повторные показы одному посетителю не оплачиваются.

Ограничения методики

  • Мы не проверяем подлинность моделей. Замеры показывают доступность и скорость, но не доказывают, что за названием модели стоят именно её веса.
  • Один узел — одна точка зрения. Задержка и доступность из другой сети или страны могут отличаться.
  • Короткий запрос. 16 токенов достаточно для оценки отклика, но мало для точной скорости на длинных ответах.
  • Инструменты (tools), кэширование промптов и длинный контекст в автозамер не входят.

Данные и приватность

  • API-ключи посетителей из формы проверки используются только для запросов этой проверки и нигде не сохраняются: ни в базе данных, ни в кэше, ни в логах. Ответы моделей (числа для отпечатка, код пеликана) передаются только в браузер посетителя и тоже не сохраняются. История проверок на главной хранится только в вашем браузере (адрес, модель и итог, без ключа) и очищается кнопкой «Очистить».
  • Статистика посещений собирается самим сайтом, без сторонних счётчиков. Сохраняются тип события (просмотр страницы, копирование конфигурации, запуск теста, переход по внешней ссылке) и метки utm_* из адреса.
  • Полный IP-адрес не сохраняется. Вместо него записывается обезличенный идентификатор — хэш с ключом, который меняется каждые сутки, поэтому связать визиты разных дней нельзя.
  • Показы рекламы и переходы на сайты провайдеров учитываются отдельно: время, страница, модель, позиция и маскированный адрес (для IPv4 — первые два числа, например 203.0.*.*). Это нужно для статистики рекламодателей и защиты от накрутки.
  • В браузере сайт хранит только выбранную тему оформления и метки utm_* текущего визита. Публичные страницы не используют файлы cookie; cookie применяются только для входа в кабинет партнёра и в служебную панель (и для выбора языка кабинета).
  • Исходные замеры хранятся 14 дней, затем удаляются.