Expertise · Zugang zu KI-Modellen
Wir setzen zwischen die Anwendungen des Unternehmens und die Modellanbieter einen einzigen Einstiegspunkt, kompatibel mit der OpenAI-Schnittstelle. Von dort werden separate Schlüssel pro Projekt ausgegeben, mit Ausgabenobergrenze, Liste zugelassener Modelle und Liste von IP-Adressen, und der Verbrauch ist pro Schlüssel sichtbar.
Bereits gebautDas Gate läuft und kann sich heute von außen überprüfen lassen, ohne dass Sie uns auf unser Wort glauben müssen: Der öffentliche Modulkatalog antwortet 200 und listet 106 als aktiv markierte Modelle auf, und die Abfrage ohne Schlüssel für Modelle gibt 401 zurück. Darunter liegen zwei eigene Implementierungen: der Abrechnungs- und Verwaltungsdienst (98 TypeScript-Dateien), der die Schlüssel ausgibt, die Limits mit dem Gate synchronisiert und die Register führt, sowie unsere Assistenzplattform, die Spracherkennung und Synthese über dasselbe Gate in Produktion bringt, nicht direkt zum Anbieter. Die hier und nicht im Fußnotenbereich genannten Einschränkungen: Der Katalog ändert sich von einer Stunde zur nächsten, daher wird jede Zahl mit dem Datum daneben geschrieben; heute gibt es im Gate kein einziges Anthropic-Modell, obwohl unser eigenes README etwas anderes verspricht; und das automatische Senden der Rechnung an das staatliche System bleibt bis zur Installation des Zertifikats im Testbetrieb.
Das Problem tritt ein zweites Mal auf, nicht beim ersten Mal. Die erste Integration mit einem Modellanbieter ist einfach: ein Schlüssel, eine Bibliothek, fertig. Die fünfte Anwendung, das dritte Team und die zweite Rechnung in Fremdwährung sind der Moment, in dem niemand mehr drei banale Fragen beantworten kann — wer verbraucht, wie viel und was passiert, wenn ein Skript an einem Samstagabend außer Kontrolle gerät. Das Gateway löst genau das: Die Anwendungen sprechen nicht mehr mit den Anbietern, sondern mit einem einzigen Einstiegspunkt mit derselben Schnittstelle wie die OpenAI-API, also ändern Sie in den meisten Bibliotheken die Basisadresse und den Schlüssel, nicht den Code.
Was Sie selbst jetzt ohne Konto prüfen können: Der öffentliche Modellkatalog des Gateways antwortet und sagt, was darin ist. Bei der heutigen Prüfung waren es 106 Modelle, alle als aktiv markiert — 77 Textmodelle, davon 48 mit angegebenen Reasoning-Fähigkeiten, 10 Audio-, 7 Bild-, 7 Echtzeit-, 3 Vektorisierungs- und 2 Videomodelle. Dieselbe Prüfung, die ein Kollege anderthalb Stunden früher gemacht hat, lieferte 107. Deshalb wird die Zahl immer mit der Uhrzeit daneben geschrieben, und auf der Website sollte sie aus dem Endpunkt gelesen werden, nicht von Hand eingetippt.
Kostenkontrolle ist kein Dashboard, sondern eine Sperre. Ein Schlüssel hat ein Ausgabenlimit, einen frei wählbaren Limitzeitraum aus vier Optionen, eine Liste erlaubter Modelle, eine Liste akzeptierter IP-Adressen — bis zu zwanzig, IPv4, IPv6 oder Blöcke — und ein Sperrflag. Wenn ein Limit überschritten wird, wird der Schlüssel automatisch gesperrt und der Grund darauf vermerkt, damit die Oberfläche sagen kann, warum, statt einen stummen Status anzuzeigen. Es gibt auch eine Korrektur, die nur wenige vornehmen: Modelle, die vor der Antwort „denken“, verbrauchen beim Anbieter mehr, als das Gateway sieht, daher wird das unten gesendete Bruttolimit durch einen Reasoning-Faktor geteilt, berechnet als Median der letzten dreißig Tage des Benutzers, begrenzt zwischen eins und zwanzig. Ohne diese Korrektur wäre ein Ausgabenlimit ausgerechnet bei teuren Modellen nur Dekoration.
Der lokale Teil. Der Wechselkurs wird aus der offiziellen XML-Datei der Nationalbank Moldaus für den aktuellen Tag gelesen, mit einem Timeout von fünf Sekunden und einem Reservewert aus der Konfiguration, wenn die Quelle nicht antwortet — ein Gateway darf nicht stehen bleiben, nur weil eine Wechselkursseite nicht verfügbar ist. Die Steuerrechnung wird als XML aufgebaut und gespeichert, mit einem Zustandszyklus von Entwurf bis akzeptiert oder abgelehnt. Die eigentliche Übermittlung an das staatliche System erfolgt mit Zertifikat; solange das Zertifikat nicht installiert ist, bleibt der Dienst im Probebetrieb: Das XML wird erzeugt und gespeichert, aber nicht gesendet. Das ist der tatsächliche Zustand, und wir schreiben ihn auf, weil das der Unterschied zwischen „wir haben eine Steuerrechnung“ und „wir haben alles, um sie zu senden“ ist.
Was dazugehört
Die Anwendungen behalten die Bibliotheken, mit denen sie geschrieben sind, und ändern die Basisadresse und den Schlüssel. Das Gateway verlangt einen Schlüssel: Das Abfragen der Modellliste ohne Autorisierungsheader gibt 401 zurück, heute von außen geprüft. Die Verfügbarkeitsprüfung des Dienstes antwortet öffentlich, mit gesetzten Sicherheitsheadern (`X-Frame-Options: DENY`, Content Policy, die Einbettung verbietet).
Jeder Schlüssel hat einen aus dem Benutzer und dem vergebenen Namen abgeleiteten Alias, ein Ausgabenlimit, einen gewählten Limitzeitraum aus einem Tag, sieben, dreißig oder neunzig, eine Liste erlaubter Modelle und aktuelle Ausgaben. Der Schlüssel wird über die Administrationsoberfläche des Gateways erstellt und lokal persistiert, damit die beiden nicht auseinanderlaufen.
Wenn das Limit überschritten wird, wird der Schlüssel gesperrt und darauf bleiben der Zeitpunkt der Anwendung, der Beginn des Zeitraums und der Grund vermerkt. Der Kommentar im Code sagt, warum es hinzugefügt wurde: damit die Oberfläche zeigen kann, warum ein Schlüssel gesperrt ist, statt einen stummen Status, den niemand erklären kann.
Bis zu zwanzig Einträge pro Schlüssel, jeweils IPv4, IPv6 oder CIDR-Block, bei der Eingabe geprüft. Die Liste bleibt nicht nur in unserer Datenbank: Sie wird weiter an das Gateway gesendet, das sie bei jeder Anfrage tatsächlich anwendet.
Modelle, die vor der Antwort Denkschritte erzeugen, werden vom Anbieter für diese Schritte abgerechnet, aber das Gate sieht sie nicht. Die an das Gate gesendete Bruttoobergrenze wird berechnet, indem die Obergrenze des Kunden durch die angewandte Marge und durch einen Reasoning-Faktor geteilt wird — den Median, der in den letzten dreißig Tagen für diesen Nutzer beobachtet wurde, mit Mindestschwelle eins und Begrenzung auf zwanzig. Ohne ihn würde eine Obergrenze bei günstigen Modellen eingehalten und genau bei den teuren überschritten.
Der Kurs wird aus der offiziellen XML der Nationalbank Moldaus für das aktuelle Datum gelesen, mit einem Abbruch nach fünf Sekunden. Wenn die Quelle nicht antwortet, wird der Reservewert aus der Konfiguration verwendet. Die Umrechnung ist keine im Büro geschätzte Näherung; sie ist das Lesen aus einem öffentlichen Dokument mit definiertem Verhalten im Fehlerfall.
Das Dokument wird als XML aus einer bezahlten Transaktion erzeugt, gespeichert und durchläuft Zustände: Entwurf, wartet auf Versand, gesendet, akzeptiert oder abgelehnt. Es gibt eine manuelle Auslösung und eine täglich geplante für Nutzer, bei denen die Steuernummer ausgefüllt ist.
Das Protokoll ist nur zum Anhängen und deckt 64 benannte Ereignistypen ab — erfolgreiche und fehlgeschlagene Anmeldungen, Zwei-Faktor-Überprüfung, Passwortrotationen, Erstellen, Sperren, Löschen von Schlüsseln, Änderung eines Limits. Der nach der Datenschutz-Grundverordnung verlangte Export erzeugt ein Archiv mit den Tabellen, die mit einem Benutzer verknüpft sind, JSON für verschachtelte Daten und CSV für die umfangreichen, mit einer im Code festgeschriebenen Ausnahme: Aus Schlüsseln werden die Metadaten exportiert, niemals das Tokenmaterial.
Unsere Assistentenplattform leitet Spracherkennung und Synthese in Produktion über dasselbe Gateway weiter, nicht direkt zum Anbieter, mit dem im Code vorgeschriebenen Versionssuffix. Fällt das Gateway aus, fallen auch wir aus — das ist die einzige Konstellation, in der es sich lohnt, es jemand anderem zu empfehlen.
Wie es aussieht
Meistens kommen persönliche Schlüssel in Konfigurationsdateien zum Vorschein, zwei Anbieter-Konten im selben Team und mindestens ein Dienst, von dem sich niemand erinnert, dass er noch läuft. Das Ergebnis ist eine Liste mit Anwendung, Schlüssel, Modell, geschätztem Volumen — der Punkt, ab dem man über Limits sprechen kann.
Die Basisadresse und der Schlüssel werden an einem einzigen Ort geändert, die Antworten werden mit den vorherigen verglichen und der Fehlerfluss geprüft: nicht vorhandenes Modell, gesperrter Schlüssel, überschrittenes Limit, nicht verfügbarer Anbieter. Erst nachdem sich die erste Anwendung identisch verhält, folgen die übrigen.
Ein Schlüssel pro Anwendung und pro Umgebung, mit Limit, Zeitraum, Liste erlaubter Modelle und, wo die Server feste Adressen haben, Liste von IPs. Das Limit wird mit der Korrektur für Modelle berechnet, die nachdenken, andernfalls ist es eine Zahl, die beruhigt, ohne etwas zu stoppen.
Kurs aus der offiziellen Quelle, aus der bezahlten Transaktion erzeugte Rechnung, Zustandszyklus. Es wird ausdrücklich geprüft, ob das Versandzertifikat installiert ist: Ohne es werden die Dokumente erstellt und bleiben wartend. Das ist eine Unterscheidung, die die Buchhaltung ohnehin entdeckt, besser in der ersten Woche.
Wer Schlüssel erstellen darf, wer ein Limit anheben darf, was protokolliert wird, wie der Export der Daten eines Benutzers angefordert wird und was an dem Tag zu tun ist, an dem ein Schlüssel dort landet, wo er nicht hingehört.
Die Daten
Die Fragen, die jede Person mit einem Datenschutzbeauftragten stellt — hier gestellt, bevor er sie stellt.
Ein Fall
Die Ausgangslage
Die übliche Lage in einem Unternehmen, das die erste Integration hinter sich hat: mehrere Anwendungen rufen Modelle mit geliehenen Schlüsseln auf, der Verbrauch erscheint auf einer einzigen Rechnung in Fremdwährung, und niemand kann sagen, welche Anwendung den Peak der letzten Woche verursacht hat.
Was wir gebaut haben
Wir haben das Gateway vor die Anwendungen gesetzt, mit einer mit der bereits verwendeten Bibliothek kompatiblen Schnittstelle, und separate Schlüssel pro Projekt ausgegeben. Jeder Schlüssel erhielt ein Limit, einen Limitzeitraum, eine Liste erlaubter Modelle und, wo die Server feste Adressen hatten, eine vom Gateway erzwungene IP-Liste. Das unten gesendete Bruttolimit wird mit der Korrektur für Modelle berechnet, die denken: Es wird durch die angewandte Marge und durch den Medianfaktor des Nutzers der letzten dreißig Tage geteilt, begrenzt zwischen eins und zwanzig.
Was dabei herauskam
Der Verbrauch wird pro Schlüssel gelesen, also pro Anwendung. Bei Überschreitung sperrt sich der Schlüssel selbst, und der Grund bleibt auf ihm vermerkt, sodass die Frage „warum funktioniert es nicht mehr“ eine Antwort hat, ohne dass jemand die Protokolle öffnen muss. Die Abrechnung in Lei erfolgt nach dem offiziellen Kurs, der aus dem XML des Tages gelesen wird. Von außen lässt sich jederzeit prüfen, dass das Gateway einen Schlüssel verlangt: Die Modellliste ohne Autorisierung liefert 401.
Was der Fall nicht sagt
Ein einziger Einstiegspunkt ist auch ein einziger Ausfallpunkt — man plant von Anfang an, was die Anwendungen tun, wenn das Gateway nicht antwortet. Der Modellkatalog ändert sich von Stunde zu Stunde, daher altert jede gedruckte Liste; am Tag der Prüfung gab es kein einziges Anthropic-Modell, obwohl unsere ältere Dokumentation eines versprach. Und das automatische Senden der Rechnung an das staatliche System hängt von einem auf dem Server installierten Zertifikat ab: Ohne es werden die Dokumente gebaut und warten.
Fragen
Bei der heutigen Prüfung 106, alle als aktiv markiert: 77 Textmodelle (48 davon deklarieren Schlussfolgerungen), 10 Audio-, 7 Bild-, 7 Echtzeit-, 3 Vektorisierungs- und 2 Videomodelle. Der Katalog ist öffentlich und ohne Konto lesbar. Wir sagen „bei der heutigen Prüfung“, weil ein Kollege eineinhalb Stunden zuvor, am selben Tag, 107 gemessen hat. Eine Zahl ohne Uhrzeit daneben bedeutet nichts.
Nein, keines. Wir haben den Live-Katalog nach allen Bezeichnungen aus dieser Familie gefiltert: null Ergebnisse. Das sagen wir, obwohl unser eigenes README etwas anderes verspricht — das Dokument ist alt, das Gateway ist die Wahrheit. Gemini-Modelle sind dagegen vorhanden, ebenso die Sprachsynthese eines spezialisierten Anbieters und die Videomodelle.
Im üblichen Fall nein: Das Gateway stellt die mit OpenAI kompatible Schnittstelle bereit, also ändern sich Basisadresse und Schlüssel. Aufmerksamkeit erfordern Fälle, die Besonderheiten eines bestimmten Anbieters nutzen — wir sind bereits auf einen gestoßen, bei dem die spezifische Azure-Bibliothek Adressen baute, die das Gateway nicht verstand, und das wurde durch den Wechsel zum Standard-Client gelöst. Deshalb zieht die erste Anwendung allein um, nicht alle auf einmal.
Mit einem Limit pro Schlüssel und einem Limitierungszeitraum sowie automatischer Sperre bei Überschreitung, mit dem auf dem Schlüssel geschriebenen Grund. Außerdem berücksichtigt das Limit, dass die denkenden Modelle beim Anbieter mehr kosten, als das Gateway sieht: Das Bruttolimit wird durch einen Faktor geteilt, der als Median der letzten dreißig Tage des Nutzers berechnet wird. Ohne diese Korrektur funktionieren Limits bei günstigen Modellen und versagen bei teuren.
Keine in Zahlen ausgedrückte, und das ist eine bewusste Position. Wir haben keinen Verfügbarkeitszähler im Code, und die Quelle, die unsere eigenen Materialien als Berechnungsmethode zitieren, antwortet heute nicht auf die Prüfung. Was sich jetzt zeigen lässt: Der Liveness-Check des Dienstes antwortet öffentlich, und die Statusseite macht Live-Sonden, ohne Verlauf. Eine Prozentzahl könnten wir jederzeit schreiben; es wäre eine vertragliche Verpflichtung, getarnt als Messung.
Die Umrechnung aus der Währung erfolgt zum offiziellen Kurs der Nationalbank, aus der XML-Datei des Tages gelesen, mit Unterbrechung nach fünf Sekunden und Ersatzwert bei Nichtverfügbarkeit. Die Rechnung wird als Steuerdokument erstellt und durchläuft einen Zustandszyklus. Das automatische Senden an das staatliche System erfordert ein Zertifikat: Solange es nicht installiert ist, werden die Dokumente erzeugt und bleiben in Wartestellung, ohne zu versenden. Wir prüfen gemeinsam, in welchem Modus das System an dem Tag ist, an dem wir beginnen, denn das ist eine Servereinstellung, keine Codeeinstellung.
Nutzungsmetadaten: Schlüssel, Modell, Volumen, Kosten, Zeitpunkt. Das Gateway zählt, archiviert keine Gespräche; was vom Inhalt aufbewahrt wird, ist die Entscheidung der Anwendung, die ihn erzeugt, und wenn die Anwendung von uns ist, wird es im Vertrag festgehalten. Der Export personenbezogener Daten einer Person erzeugt ein Archiv mit dem, was mit ihr verbunden ist, und von Schlüsseln exportiert es die Metadaten, niemals das Token-Material.
Sie werden schriftlich mit Namen angegeben, weil sie zu Unterauftragsverarbeitern für die Daten werden, die durch sie hindurchgehen. Es gibt öffentliche Seiten für Unterauftragsverarbeiter, die Vereinbarung zur Datenverarbeitung und den Datenschutz, heute überprüft. Ein Gateway, das die Anbieter vor dem Datenverantwortlichen verbirgt, löst kein Compliance-Problem, es verlagert es tiefer.
Dann fallen die Anwendungen aus, die davon abhängen, einschließlich unserer eigenen — unsere Assistentenplattform leitet Spracherkennung und Synthese durch dasselbe Gateway. Es hat keinen Sinn, etwas anderes zu behaupten: Es ist der Kompromiss eines einzelnen Eintrittspunkts, bezahlt mit Kontrolle, getrennten Schlüsseln und einer einzigen Rechnung. Für kritische Anwendungen wird von Anfang an besprochen, was ohne sie passiert — degradierte Antwort, Warteschlange oder sauberer Fehler — denn das ist ein Verhalten, das entworfen werden muss, nicht erhofft.
9 davon sind Code und Dateien aus unseren Repositories. Wir veröffentlichen weder ihren Namen noch die Zeile: zusammen, auf einer einzigen Seite, würden sie zu genau beschreiben, wie Systeme gebaut sind, die nicht nur uns gehören. Wir gehen sie mit Ihnen durch, im Repository, auf Anfrage — die Überprüfung bleibt möglich, sie findet nur in einem Gespräch statt.
Erzählen Sie uns von Ihrem Prozess. Gemeinsam legen wir fest, was sich zu bauen lohnt, was wir anbinden können und wie wir das Ergebnis prüfen.