Флагманская модель OpenAI, GPT-4, представляет собой крупномасштабную мультимодальную языковую модель, способную решать сложные проблемы с большей точностью, чем предыдущие модели, благодаря более широким общим знаниям и расширенным возможностям рассуждения. Данные обучения: до сентября 2021 г.
Одна и та же модель может быть доступна у разных провайдеров. Маршрутизация выбирает эндпоинт по политике, цене, задержке и доступности.
Нет активных эндпоинтов для этой модели.
Пропускная способность — скорость генерации (ток/с, выше лучше). Задержка — полный round-trip (ниже лучше). TTFT — время до первого токена (ниже лучше). Графики разбиты по провайдерам — нажмите expand для деталей.
Базовая цена за миллион токенов. Эффективная цена учитывает prompt caching: повторяющийся контекст тарифицируется по ставке cache_read.
Тарифы появятся после подключения провайдеров.
Результаты на стандартизированных оценках. Проценты и ранги показывают положение модели среди моделей каталога.
Объём запросов и токенов к модели за последние 7 дней.
Доля успешных ответов за период. Мониторинг эндпоинтов и автоматический fallback при ошибках upstream.
Готовый код для вызова модели. API совместим с OpenAI — достаточно указать base_url LLM Mart. Меняется только slug модели: openai/gpt-4.
curl -s "https://llmmart.ru/api/v1/v1/chat/completions" \
-H "Authorization: Bearer $LLM_ROUTER_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "openai/gpt-4",
"messages": [
{"role": "user", "content": "Привет!"}
]
}'Нужен API-ключ организации — создайте ключ в личном кабинете или см. инструкцию. Подробнее: первый запрос к модели и примеры SDK.