AI Gateway

​

Was ist das AI Gateway?

• Ein Schlüssel, mehrere Anbieter: Greifen Sie mit einem einzigen API-Schlüssel auf Modelle von OpenAI, Anthropic, Google, Mistral AI und Weiteren zu.
• Nahtloser Austausch: Wechseln Sie mit minimalen Codeänderungen zwischen Anbietern und Modellen, indem Sie bestehende OpenAI-kompatible SDKs verwenden.
• Zentrale Abrechnung & Übersicht: Überwachen Sie Ihre Ausgaben und Nutzung über alle Anbieter hinweg an einem Ort. Sie benötigen keine Kreditkarten für separate Anbieter.
• Nutzung Ihres bestehenden Budgets: Der Verbrauch wird über das bestehende KI-Budget Ihrer Organisation abgerechnet und läuft über Ihren Omnifact-Vertrag.

​

Erste Schritte

1. Voraussetzungen: Stellen Sie sicher, dass der Zugriff auf das AI Gateway für Ihre Organisation durch Omnifact aktiviert wurde. (Hinweis: Wenn diese Funktion für Ihre Organisation nicht aktiviert ist, geben alle Anfragen an die API den Fehler 403 Forbidden zurück.)
2. Aktivierung: Ein Administrator muss das Gateway im Bereich Entwicklertools aktivieren.
3. Authentifizierung: Alle Anfragen an das AI Gateway müssen Ihren API-Schlüssel (den Sie unter Team-Einstellungen > Entwicklertools generieren können) im x-api-key-Header (oder als Bearer-Token bei Verwendung von OpenAI-SDKs) enthalten.

​

Verfügbare Modelle

​

GET /v1/gateway/models

curl https://connect.omnifact.ai/v1/gateway/models \
  -H "Authorization: Bearer YOUR_API_KEY"

{
  "object": "list",
  "data": [
    {
      "id": "gpt-4o",
      "object": "model",
      "created": 1715368132,
      "owned_by": "openai"
    },
    {
      "id": "claude-4-sonnet",
      "object": "model",
      "created": 1718841600,
      "owned_by": "anthropic"
    }
  ]
}

​

EU-gehostete Modelle

• Der Endpunkt /v1/gateway/models kann sowohl Standard-Modell-IDs (z. B. gpt-4o) als auch EU-spezifische Modell-IDs (z. B. eu/gpt-4o) zurückgeben.
• Um die Weiterleitung an ein EU-Backend zu erzwingen, stellen Sie der Modell-ID in Ihrer Anfrage eu/ voran. Standard-Modell-IDs werden nur an Nicht-EU-Backends weitergeleitet.

​

Chat Completions

​

POST /v1/gateway/chat/completions

import OpenAI from 'openai';

const client = new OpenAI({
  baseURL: 'https://connect.omnifact.ai/v1/gateway',
  apiKey: 'YOUR_API_KEY', // typically process.env.OMNIFACT_API_KEY
});

async function main() {
  const response = await client.chat.completions.create({
    model: 'gpt-4o',
    messages: [{ role: 'user', content: 'Hello, how are you?' }],
    stream: true,
  });

  for await (const chunk of response) {
    process.stdout.write(chunk.choices[0]?.delta?.content || '');
  }
}

main();

from openai import OpenAI

client = OpenAI(
    base_url="https://connect.omnifact.ai/v1/gateway",
    api_key="YOUR_API_KEY"
)

response = client.chat.completions.create(
    model="gpt-4o",
    messages=[
        {"role": "user", "content": "Hello, how are you?"}
    ],
    stream=True
)

for chunk in response:
    print(chunk.choices[0].delta.content or "", end="")

curl https://connect.omnifact.ai/v1/gateway/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -d '{
    "model": "gpt-4o",
    "messages": [
      {
        "role": "user",
        "content": "Hello, how are you?"
      }
    ]
  }'

​

Anfrage- und Antwortbeschränkungen

• Nachrichten: Die letzte Nachricht im Array muss die Rolle user haben. Die Rollen system oder developer sind nur am Anfang des Nachrichten-Arrays zulässig. Die Rolle developer wird unterstützt.
• Inhalt: Der Nachrichteninhalt kann ein String oder ein Array von { type: "text", text: "..." } Objekten sein (Arrays werden abgeflacht).
• Limits: Maximal 1024 Nachrichten pro Anfrage und bis zu 200.000 Zeichen pro Nachricht.
• Parameter: Unterstützte Parameter umfassen temperature (0–2, skaliert je nach Anbieter; einige Modelle können dies ablehnen), max_completion_tokens (oder max_tokens), stream und stream_options.include_usage.
• Antwort-Modell-Feld: Die Antwort gibt den kanonischen Modelltyp zurück, der nicht zwingend mit der angeforderten ID übereinstimmen muss (z. B. wenn Sie ein Modell mit eu/...-Präfix oder einen Alias angefordert haben).

​

Nutzung & Abrechnung

​

Fehlercodes

• 401 Unauthorized: Fehlender oder ungültiger API-Schlüssel.
• 402 Payment Required: Kein aktives Abonnement (subscription_required) oder Guthaben aufgebraucht (insufficient_quota). Ein aktives Abonnement wird bei jeder Chat Completion-Anfrage validiert.
• 403 Forbidden: Der AI Gateway-Zugriff ist für Ihre Organisation nicht aktiviert.
• 404 Not Found: Das angeforderte Modell wurde nicht gefunden oder ist deaktiviert.
• 429 Too Many Requests: Ratenlimit des Upstream-Anbieters erreicht.

​

FAQ