LLM Router
Концепции

Логи запросов (Request Logs)

Раздел «Логи» в личном кабинете показывает историю обращений к API моделей: таблица generations, график активности и панель детализации запроса. Базовые метадан

Кому подходит

  • Разработчикам — отладка интеграций, разбор ошибок и fallback-попыток.
  • Администраторам — обзор запросов всех участников организации.
  • Финансам — сверка себестоимости и итоговой цены по каждому запросу.

Раздел «Логи» в кабинете

Пункт навигации «Логи» (в личном аккаунте — «Мои логи») находится в группе account. Доступ определяется тем же capability, что и раздел расходов (usage).

Что доступно без дополнительных настроек:

ЭлементОписание
Таблица generationsСписок запросов за выбранный период с фильтрами
Bar chartАктивность по часам или дням
ДетализацияПанель с метриками, upstream-попытками и overview
CSV-выгрузкаЭкспорт отфильтрованного списка
Infinite scrollПодгрузка следующих страниц при прокрутке вниз

Список и график читаются из Postgres (usage.events). Данные появляются после каждого успешного или частично успешного inference через gateway.

Базовый список vs RAW I/O

УровеньЧто записываетсяГде хранитсяКак включить
БазовыйМодель, провайдер, токены, цены, latency, finish reason, fallback countPostgresВсегда (capability usage)
RAW I/OПолный JSON запроса и ответа (после mask), timeline upstream-попытокS3, 30 днейМодуль logging в Policy Rules

Без включённого I/O-логирования в детализации запроса отображается подсказка и ссылка на раздел Guardrails. RAW payload не выгружается bulk-архивом — только просмотр по одному запросу через API.

Расширенное I/O-логирование (guardrails)

Модуль logging в policy rule:

{ "logging": { "enabled": true } }

Включение в кабинете — шаг «Логирование I/O» в мастере Policy Rules:

  • переключатель «Расширенное логирование (RAW запросы и ответы)»;
  • scope picker — как у budget/content (organization, api_key, member, system, virtual_group);
  • подсказка: «+1% к комиссии на каждый запрос с включённым логированием. Данные хранятся 30 дней в защищённом хранилище.»

Объединение правил (most-specific-wins)

В отличие от rateLimit (наиболее строгий) и access (пересечение), модуль logging работает по принципу most-specific-wins — как наследование с переопределением:

  1. Собираются подходящие правила по client tiers: api_keysystemmembervirtual_grouporganization → global.
  2. От специфичного к общему: первое правило с модулем logging определяет итоговое значение.
  3. Если ни одно правило не содержит logging — RAW не пишется.

Примеры:

ПравилаРезультат для ключа key_debug
org: enabled=trueRAW для всех ключей
org: enabled=true, key_debug: enabled=falseRAW выключен для debug-ключа
org: enabled=false, key_prod: enabled=trueRAW только для prod-ключа

Комиссия +1%

На запросы, где на момент inference было включено I/O-логирование (logging_applied=true), к тарифу клиента добавляется +1% (loggingBps = 100). Надбавка начисляется при settlement независимо от успеха асинхронной записи в S3: если S3 write не удался, метаданные остаются, RAW может отсутствовать (has_raw_payload=false).

Хранение RAW в S3

  • Бакет: llm-router-request-logs (переменная REQUEST_LOGS_S3_BUCKET).
  • Ключ объекта: {organization_id}/{yyyy}/{mm}/{dd}/{request_id}.json.
  • Lifecycle: автоматическое удаление через 30 дней.
  • Доступ tenant'у — только через signed proxy API (GET .../payload), не напрямую из S3.

В RAW JSON фиксируется то, что реально ушло upstream (после mask); отдельный блок redaction описывает применённые фильтры.

Видимость: personal / member / admin

Один и тот же API применяет разный scope в зависимости от роли в организации:

СценарийСписок и деталиRAW payloadКолонка «Участник»
Personal (личный workspace)Свои запросыСвои, если logging onскрыта
Org member (не admin)Только свои (member_id)Только своискрыта
Org admin / ownerВся организацияВсе с has_raw_payloadвидна (email)

Фильтр memberId в query доступен только администратору. Участник не может просмотреть запросы коллег даже зная request_id.

Таблица: цены и токены

Две колонки стоимости

Цены подтягиваются из settlement (как в consumption):

Поле API / колонкаСмысл
providerCostRub / «Себестоимость»Себестоимость провайдера
clientRub / «Итого»Итоговая цена для клиента (markup + loggingBps, если применимо)

Пока settlement в статусе pending, в UI отображается .

Токены

ПолеОписание
inputTokensPrompt tokens
outputTokensCompletion tokens
cacheReadTokensCache read tokens (cached input); в UI, если 0

На узких экранах три значения могут объединяться в одну ячейку «Токены» (19 in · 185 out · 4 096 cache); на desktop — отдельные колонки Input / Output / Cache.

Дополнительно в таблице: модель, провайдер, система, скорость (tok/s), finish reason, API key alias, индикатор RAW.

Infinite scroll и CSV

Пагинация: первая загрузка limit=50, offset=0. При прокрутке к низу таблицы подгружается следующая страница, пока items.length < total. Смена периода или фильтров сбрасывает offset и прокручивает список наверх. Навигация prev/next в панели детализации работает по уже загруженным строкам; при необходимости догружается следующая страница.

CSV: кнопка «Скачать CSV» вызывает export с теми же фильтрами, что и таблица (from, to, model, apiKeyId, memberId, hasRaw). Лимит выгрузки — 50 000 строк; при превышении API возвращает 413 с подсказкой сузить период. Имя файла: generations-{orgSlug}-{from}-{to}.csv.

Колонки CSV зеркалируют таблицу UI, включая cache_read_tokens, provider_cost_rub, client_cost_rub. Для admin включена member_email; для member/personal — опускается.

API (кратко)

Базовый путь: /api/organizations/{orgId}/generations. Требуется членство в организации (requireOrgMember).

Метод и путьНазначение
GET .../generationsСписок + chartBuckets. Query: from, to (default 7 дней), limit/offset, model, apiKeyId, memberId (admin), hasRaw, chartBucket (hour / day)
GET .../generations/exportCSV за период и фильтры (без limit/offset, max 50k строк)
GET .../generations/{requestId}Метаданные одного запроса + summary upstream-попыток
GET .../generations/{requestId}/payloadПрокси RAW JSON из S3. 404 если I/O не включён; 410 Gone если истёк срок хранения (30 дней)

Ответ списка содержит items[] с полями usageEventId, requestId, finishedAt, modelId, providerId, токены, providerCostRub, clientRub, settlementStatus, throughputTps, finishReason, apiKeyAlias, memberEmail (admin), streaming, latencyMs, fallbackCount, hasRawPayload, loggingApplied.

Что дальше

На этой странице