Как проверить API нейросети
Что показывают три проверки Folkbench, как читать результат и коды ошибок и чего проверки не доказывают. Сами проверки запускаются на главной: укажите Base URL, ключ и модель — ключ не сохраняется.
Содержание
Три проверки на главной
Три задания «выпишите N чисел». Детектор сравнивает ответы с эталонным банком и показывает ближайшие модели с уверенностью. Это ранжирование внутри банка, а не доказательство подлинности. До 3 минут.
Запустить Тест с пеликаномМодель рисует анимированный SVG в случайных цветах. Мы проверяем только, что оба цвета записаны в коде; качество рисунка оцениваете вы. Рисунок открывается в рамке без доступа к сети. До 4 минут.
Запустить Сравнение скоростиПо одному короткому потоковому запросу на модель, до трёх моделей за раз: доступность, время до первого токена и скорость генерации.
ЗапуститьЧто измеряет тест скорости
Отвечает ли эндпоинт по HTTPS, принимает ли ключ и выбранную модель, приходит ли корректный поток событий SSE.
Время от отправки запроса до первого непустого фрагмента ответа. Включает DNS, TLS-соединение, очередь у провайдера и запуск модели.
Число выходных токенов, делённое на время от первого фрагмента до конца потока. Запрос ограничен 16 токенами, поэтому значение ориентировочное.
Из чего складывается задержка
| Этап | Что входит | Где видно |
|---|---|---|
| Подключение | DNS-запрос, TCP и TLS-рукопожатие с эндпоинтом, отправка запроса | Входит в TTFT |
| Ожидание первого токена | Проверка ключа, маршрутизация у провайдера, очередь и запуск модели | TTFT, мс |
| Поток | Генерация до 16 токенов и передача фрагментов по SSE | Скорость, ток/с |
Замер выполняется с нашего сервера, а не из вашей сети: задержка от вашего компьютера до провайдера может отличаться. Название измерительного узла показывается в результатах теста.
Как читать ошибки
Текст ошибки провайдера не показывается и не сохраняется — только код. Что он значит и что проверить:
| Сообщение | Что проверить | Код |
|---|---|---|
| Недопустимый адрес эндпоинта | Разрешены только публичные HTTPS-адреса. Локальные IP и редиректы заблокированы. |
INVALID_URL
SSRF_BLOCKED
|
| Домен эндпоинта не найден | DNS не вернул адрес для этого домена. Проверьте, нет ли опечатки в Base URL. |
DNS_FAILED
|
| Слишком много запросов | Подождите 60 секунд перед повторным запуском теста. |
RATE_LIMITED
|
| Ошибка авторизации (HTTP 401) | Проверьте API-ключ, лимиты токенов и права доступа к выбранной модели. |
UPSTREAM_401
|
| Ошибка авторизации (HTTP 403) | Проверьте API-ключ, лимиты токенов и права доступа к выбранной модели. |
UPSTREAM_403
|
| Эндпоинт или модель не найдены (HTTP 404) | Проверьте суффикс /v1 в Base URL и точное имя модели у провайдера. |
UPSTREAM_404
|
| Превышен лимит провайдера (HTTP 429) | У провайдера сработал rate limit или закончился баланс. |
UPSTREAM_429
|
| Провайдер отклонил запрос (HTTP 4xx) | Чаще всего это неверное имя модели или неподходящий протокол. Попробуйте переключить протокол. |
UPSTREAM_4XX
|
| Ошибка на стороне провайдера (HTTP 5xx) | Эндпоинт ответил ошибкой сервера. Повторите тест позже или обратитесь к провайдеру. |
UPSTREAM_5XX
|
| Эндпоинт вернул редирект (HTTP 3xx) | Редиректы не выполняются. Укажите конечный Base URL без перенаправлений. |
UPSTREAM_REDIRECT
|
| Таймаут ожидания (>10 с) | Эндпоинт не вернул первый токен за 10 секунд. |
UPSTREAM_TIMEOUT
|
| Ошибка TLS-сертификата | Сертификат эндпоинта недействителен или не соответствует домену. |
UPSTREAM_TLS
|
| Не удалось подключиться к эндпоинту | Соединение отклонено или разорвано. Проверьте домен и доступность сервиса. |
UPSTREAM_NETWORK
|
| Ответ не является SSE-потоком | Эндпоинт ответил HTTP 200, но без потока событий. Проверьте Base URL и выбранный протокол. |
UPSTREAM_BAD_STREAM
|
Ограничения проверок
- Это не проверка подлинности модели. Тест скорости показывает, что эндпоинт отвечает и с какой скоростью, но не доказывает, что за названием модели стоят именно её веса. Отпечаток ранжирует модели только внутри эталонного банка: модель, которой в банке нет, определить нельзя.
- Один прогон — не статистика. Результат отражает состояние в момент запроса; для выводов о стабильности нужны замеры за длительный период — они есть в сводке на главной.
- Проверяется базовый потоковый вызов. Инструменты (tools), кэширование промптов и beta-функции Claude Code тесты не покрывают.
- Сравнение скорости: до 3 моделей за один запуск, не более 5 запусков в минуту и 30 в час с одного адреса. Отпечаток и пеликан: не более 2 запусков в минуту и 12 в час.
Приватность и безопасность
- API-ключ существует только в памяти сервера на время одного запроса: он не записывается в базу данных, кэш или логи и не возвращается в ответе. Ответы модели передаются только в ваш браузер.
- В браузере ключ остаётся в поле ввода и не сохраняется в хранилищах сайта; история проверок — без ключа.
- Принимаются только публичные HTTPS-адреса. Локальные и служебные IP-адреса блокируются, редиректы не выполняются, ответ провайдера читается не далее 64 КБ.
- Используйте отдельный временный ключ с лимитом расходов и отзовите его после проверки.
Подробнее о замерах и данных — в разделе «Методика». Чтобы подключить проверенный эндпоинт к Claude Code, перейдите к инструкции по настройке.