LLM Router (Шлюз): Управление расходами и моделями OpenAI, Claude

LLM Router

Ваш единый центр управления LLM. Получите полный контроль над расходами, моделями и безопасностью данных, сохраняя совместимость с OpenAI API.

💸

Предсказуемые и управляемые расходы

Устанавливайте жесткие лимиты, отслеживайте статистику в реальном времени и гибко управляйте бюджетом по моделям, командам или проектам.

🧠

Компоновка моделей от разных поставщиков

Объединяйте и управляйте набором LLM от различных провайдеров как единым виртуальным ресурсом, выбирая оптимальную модель для каждой задачи.

🔒

Защита данных при работе с LLM

Наш встроенный "Защитник" автоматически маскирует PII и другую конфиденциальную информацию перед отправкой запроса во внешнюю модель, гарантируя безопасность.

Как это работает

Платформа exlnt.ai устанавливается в ваш контур и выступает в роли единого шлюза для всех LLM-сервисов. Это позволяет применять сквозные политики безопасности, контролировать расходы и упрощать разработку AI-приложений.

Пример использования API

LLM Router полностью совместим с OpenAI API. Чтобы начать, просто укажите адрес роутера в качестве base_url и передавайте идентификатор нужной модели в параметре model.

Вызов модели OpenAIВызов модели Anthropic

python

from openai import OpenAI

# Укажите адрес вашего LLM Router
client = OpenAI(
    base_url="https://your-exlnt-gateway.com/v1",
    api_key="your-api-key" # Используйте ключ, выданный роутером
)

response = client.chat.completions.create(
  # Роутер направит запрос к модели gpt-4o от OpenAI.
  # Идентификатор модели зависит от конфигурации вашего роутера.
  # полный список моделей можно увидеть тут: https://your-exlnt-gateway.com/v1/models
  model="openai/gpt-4o",
  messages=[
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "What is the capital of France?"}
  ]
)

print(response.choices[0].message.content)

python

from openai import OpenAI

# Клиент настраивается так же
client = OpenAI(
    base_url="https://your-exlnt-gateway.com/v1",
    api_key="your-api-key"
)

response = client.chat.completions.create(
  # Теперь роутер направит запрос к Claude 3 Opus от Anthropic.
  # Идентификатор модели зависит от конфигурации вашего роутера.
  model="anthropic/claude-3-opus-20240229",
  messages=[
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "What is the capital of France?"}
  ]
)

print(response.choices[0].message.content)

Решения для ключевых задач бизнеса

✨

Корпоративный шлюз LLM

Централизуйте управление доступом и расходами на ai. Совмещайте модели в корпоративном облаке с моделями от публичных провайдеров.

🤖

Coding агенты

Используйте coding ассистентов не опасаясь утечек конфиденциальных данных.

🚀

Разработка AI-продуктов

Ускоряйте разработку и вывод на рынок новых продуктов с LLM, используя единый API и централизованное управление моделями и затратами.