Методика замеров и раскрытие связей
Здесь описано, что и как мы измеряем, по какому правилу сортируются таблицы, откуда берутся сведения об оплате и доступе, кто поддерживает сайт и какие данные о посетителях он обрабатывает.
Содержание
Как устроен автозамер
- Частота. Один цикл каждые 10 минут — 144 замера в сутки на каждую пару «провайдер — модель».
-
Запрос. Короткий потоковый вызов (
stream: true,max_tokens: 16) с коротким текстом и случайным числом, чтобы ответ нельзя было отдать из кэша. - Нагрузка. Не более двух запросов одновременно, чтобы замер не влиял на работу провайдера.
- Узел. Все замеры выполняются с одного сервера. Его название показано в строке статуса на главной странице и в результатах быстрого теста. Задержка из вашей сети может отличаться.
- Ключи. Для автозамера используются отдельные служебные ключи. Ключ провайдера, которого добавила наша команда, хранится в переменных окружения сервера; ключ, который партнёр передал в кабинете, — в базе данных только в зашифрованном виде (AES-256-GCM). Ключи нигде не показываются, не возвращаются в ответах и не попадают в логи.
Метрики
| Метрика | Определение |
|---|---|
| Доступность 24ч | Доля успешных замеров за последние 24 часа. Успех — ответ HTTP 200 с корректным потоком событий SSE. |
| TTFT (p50 / p95) | Время от отправки запроса до первого непустого фрагмента ответа. Показаны медиана и 95-й перцентиль по успешным замерам за 24 часа. |
| Скорость, ток/с | Число выходных токенов, делённое на время от первого фрагмента до конца потока; медиана за 24 часа. Если провайдер не сообщает число токенов, оно оценивается по числу фрагментов. При 16 токенах значение ориентировочное. |
| Телеметрия 24ч | Число ответов HTTP 200, 429, 5xx, таймаутов (более 10 секунд) и прочих ошибок за 24 часа. |
Почасовая шкала из 24 делений
Каждое деление — один час, самое правое — последний час. Цвет определяется долей успешных замеров за час:
- Зелёное — все замеры успешны.
- Жёлтое — есть сбои, но успешных замеров не меньше половины.
- Красное — успешных замеров меньше половины.
- Серое — за этот час замеров не было.
Правило сортировки
Порядок строк в каждой таблице фиксирован и одинаков для всех: сначала доступность за 24 часа по убыванию, при равенстве — медианный TTFT по возрастанию. Строки без замеров идут последними. Посетитель может пересортировать таблицу по TTFT или скорости.
Первая строка таблицы подсвечивается только по результату текущей сортировки. Сводного рейтинга, весов и ручных поправок нет. Место в таблице нельзя купить: реклама показывается отдельным блоком и на порядок строк не влияет (см. «Реклама и партнёрские ссылки»).
Проверки на главной: отпечаток модели и тест с пеликаном
Отпечаток модели. На эндпоинт посетителя уходят три задания «выпишите N чисел» (N от 292 до 332, язык задания выбирается случайно). Ответы оценивает открытый детектор lm-detector (лицензия MIT) по своему эталонному банку — так же, как в Folkbench. Результат — ранжирование ближайших моделей внутри банка с откалиброванной уверенностью при трёх годных ответах. Это не доказательство подлинности: модель, которой нет в банке, определить нельзя, а похожие модели одного семейства могут меняться местами. Эталонные данные хранятся на нашем сервере; во время проверки сервер не обращается к сторонним адресам.
Тест с пеликаном. Модель получает подробное задание нарисовать анимированного пеликана на велосипеде в формате SVG. Для каждого запуска сервер случайно выбирает цвет фона и оперения, достаточно различимые между собой, и требует записать их шестнадцатеричные значения в коде. Мы автоматически проверяем только наличие этих значений в коде; рисунок показывается в изолированной рамке без доступа к сети, отправке форм и переходам, а оценивает его сам посетитель.
В обеих проверках модель просят рассуждать с низкой интенсивностью; если эндпоинт не принимает этот параметр, запрос повторяется без него. Проверки расходуют токены ключа посетителя (до 8192 выходных токенов на каждое задание отпечатка и до 10 096 на пеликана, включая рассуждения), ограничены по частоте и выполняются с того же измерительного узла, что и автозамер.
Входные токены, отпечаток модели и статус официальных API в таблице
Вход, ток. Каждый автозамер — одинаковый короткий запрос. Провайдер сообщает в ответе, сколько входных токенов он насчитал (включая кэш); в таблице — медиана за 24 часа и разница с медианой других провайдеров той же модели (если данные есть хотя бы у двух). Разница до 15 % считается нормальной. Если провайдер насчитывает заметно больше, обычно это значит, что к вашему запросу добавляется скрытый текст — и вы за него платите. Разные протоколы одной модели могут давать небольшую разницу сами по себе.
Отпечаток. Раз в сутки тем же служебным ключом, что и автозамер, модель каждого провайдера выполняет три задания «выпишите N чисел» (с низкой интенсивностью рассуждений), а детектор lm-detector ранжирует ответы по эталонному банку. «Совпадает» — заявленная модель на первом месте с уверенностью не ниже 75 %. «Расхождение» — с такой же уверенностью первое место у другой модели или ответы не похожи на модель; хватает одного такого случая за 7 дней. Неудавшиеся запросы не считаются. Модели, которых нет в банке, не проверяются. Это ранжирование внутри банка, а не доказательство подлинности, и оно не влияет на порядок строк. Ответы моделей не сохраняются — только итог проверки.
Официальные API. Полоса над таблицей показывает статус с официальных страниц OpenAI и Anthropic, а для Gemini — открытые инциденты сервиса «Vertex Gemini API» на странице статуса Google Cloud (отдельной машиночитаемой страницы для Gemini API в AI Studio нет). Данные обновляются раз в 10 минут. Когда официальный API недоступен, страдают все провайдеры этой модели.
Кто попадает в список
Провайдер появляется в таблице после ручной проверки заявки администратором. Заявку можно подать в кабинете партнёра; размещение в каталоге бесплатное и не зависит от покупки рекламы.
- Администратор проверяет сайт и публичный адрес API и заводит для него автозамеры.
- Способы оплаты показываются только те, что проверены на практике; заявленные провайдером, но не проверенные — не публикуются.
- Пока замеров за 24 часа нет, в строке стоит «нет данных», и она идёт после строк с данными.
Мы не публикуем демонстрационные строки и непроверенные тарифы. При жалобах или длительной недоступности провайдер может быть снят с публикации.
Оплата, доступ и цены
- Способы оплаты и ограничения доступа указываются только после ручной проверки, с датой проверки в развёрнутой строке. Если поле не проверено, в таблице стоит пометка «Не проверено».
- Способы оплаты показаны метками: стейблкоины (USDT, USDC) выделены зелёным, другая криптовалюта — фиолетовым, остальные — серым. Провайдер может заявить способы оплаты при подаче заявки, но в таблицу попадают только те, что администратор проверил сам.
- Цена — справочная, из публичного тарифа провайдера на дату проверки. Итоговая стоимость зависит от тарифа и комиссий способа оплаты.
- Условия у провайдеров меняются: перед оплатой сверяйте их на сайте провайдера.
Кто поддерживает сайт и раскрытие связей
Сайт поддерживается командой Folkbench и аффилирован с Modelflare. Мы не являемся независимой третьей стороной по отношению к сервисам этой экосистемы.
- Каждая строка сервиса экосистемы Folkbench / Modelflare помечена значком «Аффилирован».
- Аффилированные сервисы измеряются тем же запросом, с того же узла и сортируются по тому же правилу.
- Порядок строк в таблицах определяется только измеренными метриками — ни реклама, ни аффилированность на него не влияют.
Реклама и партнёрские ссылки
Сайт зарабатывает двумя способами, и оба отделены от измерений:
- Блок «Реклама» над таблицей. Это платные показы (CPM) провайдеров из каталога. Блок всегда помечен словом «Реклама» и не входит в таблицу. Объявления распределяются взвешенной ротацией: на долю показов влияют ставка, качество линии по тем же замерам и поддержка новых участников, а доля одного провайдера за день ограничена. Провайдер с доступностью ниже порога в рекламе не участвует.
-
Партнёрские ссылки. Переходы на сайты провайдеров (кнопка «Сайт» и объявления) идут через
промежуточную страницу
/go/с предупреждением о рисках. Ссылка может содержать партнёрский параметр (AFF). - Рекламодатели и аффилированные сервисы измеряются тем же запросом и с того же узла, что и остальные; изменить результаты замеров за деньги нельзя.
- Рекламодатель платит только за видимый показ: не менее половины объявления в окне браузера в течение одной секунды. Показы ботам и повторные показы одному посетителю не оплачиваются.
Ограничения методики
- Мы не проверяем подлинность моделей. Замеры показывают доступность и скорость, но не доказывают, что за названием модели стоят именно её веса.
- Один узел — одна точка зрения. Задержка и доступность из другой сети или страны могут отличаться.
- Короткий запрос. 16 токенов достаточно для оценки отклика, но мало для точной скорости на длинных ответах.
- Инструменты (tools), кэширование промптов и длинный контекст в автозамер не входят.
Данные и приватность
- API-ключи посетителей из формы проверки используются только для запросов этой проверки и нигде не сохраняются: ни в базе данных, ни в кэше, ни в логах. Ответы моделей (числа для отпечатка, код пеликана) передаются только в браузер посетителя и тоже не сохраняются. История проверок на главной хранится только в вашем браузере (адрес, модель и итог, без ключа) и очищается кнопкой «Очистить».
-
Статистика посещений собирается самим сайтом, без сторонних счётчиков. Сохраняются тип
события (просмотр страницы, копирование конфигурации, запуск теста, переход по внешней ссылке) и метки
utm_*из адреса. - Полный IP-адрес не сохраняется. Вместо него записывается обезличенный идентификатор — хэш с ключом, который меняется каждые сутки, поэтому связать визиты разных дней нельзя.
-
Показы рекламы и переходы на сайты провайдеров учитываются отдельно: время, страница,
модель, позиция и маскированный адрес (для IPv4 — первые два числа, например
203.0.*.*). Это нужно для статистики рекламодателей и защиты от накрутки. -
В браузере сайт хранит только выбранную тему оформления и метки
utm_*текущего визита. Публичные страницы не используют файлы cookie; cookie применяются только для входа в кабинет партнёра и в служебную панель (и для выбора языка кабинета). - Исходные замеры хранятся 14 дней, затем удаляются.