Модели и маршрутизация

Кому подходит

• Администраторам — включение и отключение моделей для организации.
• Разработчикам — выбор модели в запросе с API-ключом.

Каталог моделей

Платформа поддерживает несколько поставщиков (OpenAI, Anthropic, локальные модели и др.). Полный список доступных моделей виден в личном кабинете (раздел Модели) или через API.

Примеры идентификаторов моделей:

Модели организации

Администратор включает только нужные модели для своей компании через кабинет или PATCH /api/organization/models. Если список enabledModels пуст, считаются доступными все модели, разрешённые на платформе.

Каждый API-ключ дополнительно ограничивает подмножество моделей при создании.

Как это работает

1. Администратор включает модели в кабинете.
2. Разработчик создаёт API-ключ с нужным списком моделей.
3. Приложение отправляет запрос с ключом и полем model — см. Первый запрос к модели.

LLM Mart направляет запрос к нужной модели по типу операции (чат, embeddings, изображения, realtime и т.д.) и формату ответа (json, поток SSE, multipart, WebSocket, фоновая задача).

Биржа провайдеров

Одна логическая модель может быть доступна через нескольких поставщиков. Платформа выбирает маршрут с учётом цены, скорости и доступности — в том числе приоритета «экономия ↔ скорость», заданного на API-ключе.

Приложению не нужно знать, у какого провайдера в данный момент отвечает модель: достаточно указать model в запросе.

Устойчивость при сбое поставщика

Если основной маршрут недоступен, запрос может быть автоматически перенаправлен на запасную модель в настроенной цепочке. Код приложения менять не нужно.

В журнале запросов видно, какая модель фактически ответила и сработали ли политики. Расход остаётся привязан к исходному API-ключу и клиентской системе.

Поддерживаемые возможности модели

GET /v1/models/{model} через API моделей возвращает поле gateway_capabilities — список поддерживаемых комбинаций для этой модели, например:

{
  "id": "gpt-4o-mini",
  "object": "model",
  "gateway_capabilities": [
    "chat_completions+json",
    "chat_completions+json+sse"
  ]
}

Если нужного профиля нет — маршрут вернёт 404 model_not_found, даже если модель видна в кабинете.

Адрес API моделей и полный список маршрутов — Обзор API моделей.

Статус в кабинете

В разделе Модели отображается, доступны ли модели и сколько их в каталоге. Через API платформы: GET /api/organization/gateway/status (статус API моделей) и GET .../models.

Проверка каталога

TOKEN="<token>"

curl -s "https://llmmart.ru/api/organization/models" \
  -H "Authorization: Bearer $TOKEN"

В ответе — статус и массив models с флагом enabled.

Что дальше

• Первый запрос к модели
• API-ключи
• Справочник: модели