LLM Mart
НачатьВойти
Cohere

Cohere: Command R+ (08-2024)

cohere/command-r-plus-08-2024

Command-r-plus-08-2024 — это обновление Command R+, имеющее примерно на 50 % большую пропускную способность и на 25 % меньшие задержки по сравнению с предыдущей версией Command R+, сохраняя при этом аппаратное обеспечение прежним. Прочитайте пост о запуске здесь (откроется в новой вкладке). Использование этой модели регулируется Политикой использования Cohere(откроется в новой вкладке) и Соглашением SaaS(откроется в новой вкладке).

Модальности
Вход: Текст
Выход: Текст
Цена ввод / вывод
Тарифы уточняются
Контекст128K
Релиз30 авг. 2024 г.

Провайдеры

Одна и та же модель может быть доступна у разных провайдеров. Маршрутизация выбирает эндпоинт по политике, цене, задержке и доступности.

Нет активных эндпоинтов для этой модели.

Производительность

Пропускная способность — скорость генерации (ток/с, выше лучше). Задержка — полный round-trip (ниже лучше). TTFT — время до первого токена (ниже лучше). Графики разбиты по провайдерам — нажмите expand для деталей.

Пропускная способность—лучший провайдер
Задержка—P50, лучший провайдер

Тарифы

Базовая цена за миллион токенов. Эффективная цена учитывает prompt caching: повторяющийся контекст тарифицируется по ставке cache_read.

Тарифы появятся после подключения провайдеров.

Бенчмарки

Для этой модели пока нет опубликованных результатов бенчмарков.

Активность

Объём запросов и токенов к модели за последние 7 дней.

Доступность

Доля успешных ответов за период. Мониторинг эндпоинтов и автоматический fallback при ошибках upstream.

Быстрый старт

Готовый код для вызова модели. API совместим с OpenAI — достаточно указать base_url LLM Mart. Меняется только slug модели: cohere/command-r-plus-08-2024.

curl -s "https://llmmart.ru/api/v1/v1/chat/completions" \
  -H "Authorization: Bearer $LLM_ROUTER_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "cohere/command-r-plus-08-2024",
    "messages": [
      {"role": "user", "content": "Привет!"}
    ]
  }'

Нужен API-ключ организации — создайте ключ в личном кабинете или см. инструкцию. Подробнее: первый запрос к модели и примеры SDK.

Ещё модели от Cohere

Cohere: Command R+ (08-2024) — цены и детали API | LLM Mart