AI Gateway

​

Was ist das AI Gateway?

• Ein Schlüssel, viele Anbieter: Zugriff auf OpenAI, Anthropic, Google, Mistral AI sowie EU-Cloud-Backends (eu/...) ohne separate Anbieterkonten.
• Direkt kompatibel mit OpenAI-SDKs: Hinterlegen Sie einfach https://connect.omnifact.ai/v1/gateway als Basis-URL in bestehenden SDKs, Coding-Agenten und internen Diensten.
• Zentrale Abrechnung: Der Verbrauch läuft direkt über das gemeinsame monatliche KI-Nutzungsguthaben Ihrer Organisation unter Abrechnung & Verbrauch.

​

Erste Schritte

1. API-Zugriff einschalten: Aktivieren Sie unter Team-Einstellungen > Entwickler-Tools den Schalter API-Zugriff aktivieren, um Ihren Organisations-API-Schlüssel zu erhalten (ein separater Gateway-Schalter ist nicht erforderlich).
2. Modelle freischalten: Vergewissern Sie sich, dass die gewünschten Modelle unter Team-Einstellungen > Modelle aktiviert sind.
3. Anfragen authentifizieren: Übergeben Sie Ihren Schlüssel im Header Authorization: Bearer YOUR_API_KEY (Standard bei OpenAI-SDKs) oder X-API-Key: YOUR_API_KEY.

​

Verfügbare Modelle abfragen

​

GET /v1/gateway/models

curl https://connect.omnifact.ai/v1/gateway/models \
  -H "Authorization: Bearer YOUR_API_KEY"

{
  "object": "list",
  "data": [
    {
      "id": "eu/gpt-6.1-terra",
      "object": "model",
      "created": 1756684800,
      "owned_by": "azure-openai"
    },
    {
      "id": "eu/claude-sonnet-5-5",
      "object": "model",
      "created": 1756684800,
      "owned_by": "vertex-anthropic"
    },
    {
      "id": "mistral-large-4",
      "object": "model",
      "created": 1756684800,
      "owned_by": "mistralai"
    }
  ]
}

​

EU-gehostete Modell-IDs (eu/)

• /v1/gateway/models liefert je nach Konfiguration sowohl direkte Modell-IDs (z. B. gpt-6.1-terra oder claude-sonnet-5-5 bei aktivierten US-Anbietern) als auch Modell-IDs mit eu/-Präfix (z. B. eu/gpt-6.1-terra auf Microsoft Azure EU oder eu/claude-sonnet-5-5 auf Google Cloud EU).
• Das Präfix eu/ erzwingt zuverlässig die Verarbeitung über das jeweilige EU-Backend; unpräfixierte US-Anbieter-IDs routen ausschließlich an direkte US-Endpunkte.

​

Chat Completions

​

POST /v1/gateway/chat/completions

import OpenAI from 'openai';

const client = new OpenAI({
  baseURL: 'https://connect.omnifact.ai/v1/gateway',
  apiKey: process.env.OMNIFACT_API_KEY,
});

async function main() {
  const response = await client.chat.completions.create({
    model: 'eu/gpt-6.1-terra',
    messages: [{ role: 'user', content: 'Nenne drei Vorteile einer Zero-Trust-Architektur.' }],
    stream: true,
  });

  for await (const chunk of response) {
    process.stdout.write(chunk.choices[0]?.delta?.content || '');
  }
}

main();

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://connect.omnifact.ai/v1/gateway",
    api_key=os.environ["OMNIFACT_API_KEY"],
)

response = client.chat.completions.create(
    model="eu/claude-sonnet-5-5",
    messages=[
        {"role": "user", "content": "Nenne drei Vorteile einer Zero-Trust-Architektur."}
    ],
    stream=True,
)

for chunk in response:
    print(chunk.choices[0].delta.content or "", end="")

curl https://connect.omnifact.ai/v1/gateway/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -d '{
    "model": "eu/gpt-6.1-terra",
    "messages": [
      {
        "role": "user",
        "content": "Nenne drei Vorteile einer Zero-Trust-Architektur."
      }
    ]
  }'

​

Tool Calling (Function Calling)

1. Tool-Definitionen übergeben: Bis zu 128 Funktionen in tools (type: "function") senden, optional gesteuert über tool_choice ("auto", "none", "required" oder eine konkrete Funktion).
2. Aufrufe ausführen: Bei finish_reason: "tool_calls" die Einträge aus message.tool_calls (bzw. delta.tool_calls im Stream) ausführen.
3. Ergebnisse zurückgeben: Die vollständige assistant-Nachricht (content und tool_calls) sowie je eine { "role": "tool", "tool_call_id": "...", "content": "..." }-Nachricht anhängen.

​

Rahmenbedingungen & Größenlimits

• Nachrichten: Die letzte Nachricht muss die Rolle user oder tool besitzen; system und developer sind nur zu Beginn des Arrays zulässig.
• Inhalt (content): String, Array aus { type: "text", text: "..." }-Teilen (bis 256 Teile, zusammengeführt bis 200.000 Zeichen pro Nachricht) oder null bei assistant-Nachrichten mit tool_calls.
• Größen- & Zeichenlimits:
  • Gesamter JSON-Anfrage-Body: max. 1 MB
  • Nachrichten pro Anfrage: max. 1.024 (200.000 Zeichen pro Nachricht)
  • Tools pro Anfrage: max. 128 (tools[].function.description und response_format.json_schema.description unterstützen jeweils bis zu 200.000 Zeichen für umfangreiche Agenten-Clients)
  • model, tool_call_id, tools[].function.name und response_format.json_schema.name: jeweils bis zu 128 Zeichen
  • stop: Nicht-leerer String oder Array aus bis zu 4 Sequenzen (je bis zu 256 Zeichen)
• Unterstützte Parameter: temperature (0–2), top_p (0–1), max_completion_tokens / max_tokens, reasoning_effort (none, minimal, low, medium, high, xhigh bei OpenAI / Azure OpenAI Reasoning-Modellen), response_format (text, json_object, json_schema bei OpenAI / OpenAI EU) sowie stream / stream_options.include_usage.
• Strikte Validierung: Nicht unterstützte Parameter (presence_penalty, frequency_penalty, seed, n, logprobs oder Bild-/Audio-Parts) werden mit 400 Bad Request und Angabe von param abgewiesen.

​

Nutzung & Abrechnung

​

Fehlercodes

• 400 Bad Request: Ungültige Nachrichtenreihenfolge, unbekannter Parameter, Kontextlimit überschritten (context_length_exceeded) oder vom Modell nicht unterstützter Wert (unsupported_value).
• 401 Unauthorized: Fehlender oder ungültiger API-Schlüssel (invalid_api_key).
• 402 Payment Required: Inaktives Abonnement (subscription_required) oder erschöpftes Monatsguthaben (insufficient_quota).
• 403 Forbidden: Der API-Schlüssel gehört zu keiner Organisation (organization_required).
• 404 Not Found: Angefordertes Modell existiert nicht oder ist deaktiviert (model_not_found).
• 429 Too Many Requests: Ratenlimit beim Modellanbieter erreicht (rate_limit_exceeded).
• 500 Internal Server Error: Vorgelagerter Anbieter hat die Generierung mit Fehler abgebrochen (completion_failed).
• 503 Service Unavailable: Modell oder Anbieter ist vorübergehend nicht erreichbar (service_temporarily_unavailable bzw. model_temporarily_unavailable).

​

Häufige Fragen