Ekspertyza · Dostęp do modeli AI
Umieszczamy między aplikacjami firmy a dostawcami modeli jeden punkt wejścia, kompatybilny z interfejsem OpenAI. Stamtąd wydawane są oddzielne klucze dla każdego projektu, z limitem wydatków, listą dozwolonych modeli i listą adresów IP, a zużycie widać na klucz.
Już zbudowaneBrama działa i można ją dziś sprawdzić z zewnątrz, bez wiary na słowo: publiczny katalog modeli odpowiada 200 i wyświetla 106 modeli oznaczonych jako aktywne, a zapytanie o modele bez klucza zwraca 401. Pod nią są dwie własne implementacje: usługa rozliczeń i administracji (98 plików TypeScript), która wydaje klucze, synchronizuje limity z bramą i prowadzi rejestry, oraz nasza platforma asystentów, która wprowadza do produkcji rozpoznawanie mowy i syntezę przez tę samą bramę, a nie bezpośrednio do dostawcy. Zastrzeżenia, powiedziane tutaj, a nie w przypisie: katalog zmienia się z godziny na godzinę, więc każdą liczbę zapisuje się razem z datą; dziś w bramie nie ma żadnego modelu Anthropic, chociaż nasz własny README twierdzi inaczej; a automatyczne wysyłanie faktury do systemu państwowego pozostaje w trybie próbnym do czasu zainstalowania certyfikatu.
Problem pojawia się po raz drugi, nie pierwszy. Pierwsza integracja z dostawcą modeli jest prosta: jeden klucz, jedna biblioteka, gotowe. Piąta aplikacja, trzeci zespół i drugi rachunek w walucie obcej to moment, w którym nikt nie jest już w stanie odpowiedzieć na trzy banalne pytania — kto zużywa, ile, i co się stanie, jeśli skrypt wymknie się spod kontroli pewnej sobotniej nocy. Brama rozwiązuje dokładnie to: aplikacje nie rozmawiają już z dostawcami, rozmawiają z jednym punktem wejścia, który ma ten sam interfejs co API OpenAI, więc w większości bibliotek zmienia się adres bazowy i klucz, a nie kod.
Co można sprawdzić samodzielnie, już teraz, bez konta: publiczny katalog modeli bramy odpowiada i pokazuje, co ma w środku. W dzisiejszej weryfikacji było 106 modeli, wszystkie oznaczone jako aktywne — 77 modeli tekstowych, z których 48 deklaruje możliwości rozumowania, 10 audio, 7 obrazu, 7 czasu rzeczywistego, 3 wektoryzacji i 2 wideo. Ta sama weryfikacja wykonana przez współpracownika półtorej godziny wcześniej zwracała 107. Dlatego liczbę zawsze zapisuje się razem z godziną, a na stronie należy ją odczytywać z endpointu, nie wpisywać ręcznie.
Kontrola kosztów nie jest panelem, jest ogranicznikiem. Jeden klucz ma limit wydatków, okres limitu do wyboru spośród czterech, listę dozwolonych modeli, listę akceptowanych adresów IP — do dwudziestu, IPv4, IPv6 lub bloków — oraz znacznik blokady. Gdy limit zostanie przekroczony, klucz blokuje się automatycznie, a przyczyna zostaje na nim zapisana, aby interfejs mógł pokazać, dlaczego, zamiast wyświetlać niemy stan. Istnieje też korekta, którą niewiele osób stosuje: modele, które „myślą” przed odpowiedzią, zużywają u dostawcy więcej niż widzi brama, więc surowy limit przesyłany niżej dzieli się przez współczynnik rozumowania obliczony jako mediana z ostatnich trzydziestu dni użytkownika, ograniczona do przedziału od jednego do dwudziestu. Bez tej korekty limit wydatków byłby dekoracyjny dokładnie na drogich modelach.
Część lokalna. Kurs walutowy jest odczytywany z oficjalnego pliku XML Narodowego Banku Mołdawii dla bieżącego dnia, z timeoutem pięciu sekund i wartością zapasową z konfiguracji, gdy źródło nie odpowiada — brama nie ma prawa zatrzymać się dlatego, że strona z kursem walut jest niedostępna. Faktura fiskalna jest tworzona jako XML i przechowywana, z cyklem stanów od wersji roboczej do zaakceptowanej lub odrzuconej. Faktyczne wysłanie do systemu państwowego odbywa się z użyciem certyfikatu; dopóki certyfikat nie jest zainstalowany, usługa pozostaje w trybie próbnym: XML jest generowany i zapisywany, ale nie jest wysyłany. To jest rzeczywisty stan i go zapisujemy, bo to różnica między „mamy fakturę fiskalną” a „mamy wszystko, co potrzebne, aby ją wysłać”.
Co obejmuje
Aplikacje zachowują biblioteki, w których są napisane, i zmieniają adres bazowy oraz klucz. Brama wymaga klucza: zapytanie o listę modeli bez nagłówka autoryzacji zwraca 401, sprawdzone dziś z zewnątrz. Sprawdzenie dostępności usługi odpowiada publicznie, z ustawionymi nagłówkami bezpieczeństwa (`X-Frame-Options: DENY`, polityka treści zakazująca osadzania).
Każdy klucz ma alias wyprowadzony z użytkownika i nadanej nazwy, limit wydatków, okres limitu wybrany spośród jednego dnia, siedmiu, trzydziestu lub dziewięćdziesięciu, listę dozwolonych modeli i bieżące wydatki. Klucz jest tworzony przez interfejs administracyjny bramy i zapisywany lokalnie, aby te dwa elementy się nie rozchodziły.
Gdy limit zostanie przekroczony, klucz zostaje zablokowany, a na nim pozostają moment zastosowania, początek okresu i powód. Komentarz w kodzie wyjaśnia, dlaczego to dodano: aby interfejs mógł pokazać, dlaczego klucz jest zablokowany, zamiast niemej stanu, którego nikt nie potrafi wyjaśnić.
Do dwudziestu wpisów na klucz, każdy IPv4, IPv6 lub blok CIDR, walidowane przy wejściu. Lista nie pozostaje tylko w naszej bazie: jest przekazywana dalej do bramy, która stosuje ją faktycznie przy każdym żądaniu.
Modele, które generują kroki myślenia przed odpowiedzią, są rozliczane przez dostawcę za te kroki, ale brama ich nie widzi. Surowy limit przesyłany do bramy oblicza się, dzieląc limit klienta przez zastosowaną marżę i przez współczynnik rozumowania — medianę zaobserwowaną w ostatnich trzydziestu dniach dla tego użytkownika, z minimalnym progiem jeden i ograniczeniem do dwudziestu. Bez tego limit byłby dotrzymany na tanich modelach i przekroczony dokładnie na drogich.
Kurs jest odczytywany z oficjalnego XML Narodowego Banku Mołdawii dla bieżącej daty, z przerwaniem po pięciu sekundach. Jeśli źródło nie odpowiada, używana jest wartość rezerwowa z konfiguracji. Przeliczenie nie jest przybliżeniem wykonanym przy biurku; jest odczytem z dokumentu publicznego, z określonym zachowaniem w przypadku awarii.
Dokument jest generowany jako XML z opłaconej transakcji, przechowywany i przechodzi przez stany: wersja robocza, oczekująca na wysłanie, wysłana, zaakceptowana lub odrzucona. Istnieje ręczne uruchomienie oraz automatyczne uruchomienie codzienne dla użytkowników, którzy mają uzupełniony kod fiskalny.
Dziennik jest tylko do dopisywania i obejmuje 64 nazwane typy zdarzeń — udane i nieudane logowania, weryfikację dwuetapową, rotacje haseł, tworzenie, blokowanie, usuwanie kluczy, zmianę limitu. Eksport wymagany przez ogólne rozporządzenie o ochronie danych tworzy archiwum z tabelami powiązanymi z użytkowniczką lub użytkownikiem, JSON dla danych zagnieżdżonych i CSV dla danych obszernych, z wyjątkiem zapisanym w kodzie: z kluczy eksportuje się metadane, nigdy materiał tokena.
Nasza platforma asystentów prowadzi rozpoznawanie mowy i syntezę przez tę samą bramę w produkcji, a nie bezpośrednio do dostawcy, z sufiksem wersji wymuszonym w kodzie. Gdy brama pada, padamy też my — co jest jedynym układem, w którym warto polecić ją komuś innemu.
Jak to wygląda
Zwykle wychodzą na jaw klucze osobiste w plikach konfiguracyjnych, dwa konta dostawcy w tym samym zespole i przynajmniej jedna usługa, o której nikt już nie pamięta, że dalej działa. Wynikiem jest lista z aplikacją, kluczem, modelem, szacowanym wolumenem — punkt wyjścia do rozmowy o limitach.
Zmienia się adres bazowy i klucz w jednym miejscu, porównuje się odpowiedzi z tymi sprzed zmian i sprawdza się przepływ błędów: nieistniejący model, zablokowany klucz, przekroczony limit, niedostępny dostawca. Dopiero gdy pierwsza aplikacja zachowuje się identycznie, przechodzi się do pozostałych.
Jeden klucz na aplikację i na środowisko, z limitem, okresem, listą dozwolonych modeli i, tam gdzie serwery mają stałe adresy, listą adresów IP. Limit oblicza się z korektą dla modeli, które rozumują, w przeciwnym razie jest to liczba, która uspokaja, ale niczego nie zatrzymuje.
Kurs ze źródła oficjalnego, faktura generowana z opłaconej transakcji, cykl stanów. Sprawdza się wyraźnie, czy certyfikat wysyłki jest zainstalowany: bez niego dokumenty są tworzone i pozostają w oczekiwaniu. To rozróżnienie księgowość i tak odkryje, lepiej w pierwszym tygodniu.
Kto może tworzyć klucze, kto może podnieść limit, co jest logowane, jak prosi się o eksport danych użytkowniczki lub użytkownika i co robi się w dniu, w którym klucz trafia tam, gdzie nie powinien.
Dane
Pytania, które zadaje każdy, kto ma inspektora ochrony danych — postawione tutaj, zanim on je zada.
Przykład
Sytuacja
Typowa sytuacja w firmie, która przeszła pierwszą integrację: kilka aplikacji wywołuje modele na pożyczonych kluczach, zużycie pojawia się na jednym rachunku w walucie obcej i nikt nie potrafi powiedzieć, która aplikacja wywołała szczyt z poprzedniego tygodnia.
Co zbudowaliśmy
Postawiliśmy bramę przed aplikacjami, z interfejsem zgodnym z biblioteką, której już używały, i wydaliśmy oddzielne klucze na projekt. Każdy klucz otrzymał limit, okres limitu, listę dozwolonych modeli oraz, tam gdzie serwery miały stałe adresy, wymuszoną przez bramę listę adresów IP. Surowy limit wysłany poniżej oblicza się z korektą dla modeli, które rozumują: dzieli się przez zastosowaną marżę i przez medianowy współczynnik użytkownika z ostatnich trzydziestu dni, ograniczony między jeden a dwadzieścia.
Co z tego wyszło
Zużycie odczytuje się na klucz, więc na aplikację. Po przekroczeniu klucz sam się blokuje, a powód pozostaje zapisany przy nim, więc pytanie „dlaczego już nie działa” ma odpowiedź bez otwierania przez kogoś dzienników. Rozliczenie w lejach odbywa się według oficjalnego kursu odczytanego z dzisiejszego XML-a. Z zewnątrz można w każdej chwili sprawdzić, że brama wymaga klucza: lista modeli bez autoryzacji zwraca 401.
Czego nie mówi ten przypadek
Pojedynczy punkt wejścia to także pojedynczy punkt awarii — od początku projektuje się, co robią aplikacje, gdy brama nie odpowiada. Katalog modeli zmienia się z godziny na godzinę, więc każda wydrukowana lista starzeje się; w dniu weryfikacji nie było żadnego modelu Anthropic, mimo że nasza starsza dokumentacja obiecywała inaczej. A automatyczne wysłanie faktury do systemu państwowego zależy od certyfikatu zainstalowanego na serwerze: bez niego dokumenty się budują i czekają.
Pytania
W dzisiejszej weryfikacji 106, wszystkie oznaczone jako aktywne: 77 tekstowych (48 z nich deklaruje rozumowanie), 10 audio, 7 obrazów, 7 w czasie rzeczywistym, 3 wektoryzacji i 2 wideo. Katalog jest publiczny i można go czytać bez konta. Mówimy „w dzisiejszej weryfikacji”, bo koleżka zmierzył 107 półtorej godziny wcześniej, tego samego dnia. Liczba bez godziny obok nic nie znaczy.
Nie, żadne. Przefiltrowaliśmy katalog na żywo pod kątem wszystkich nazw z tej rodziny: zero wyników. Mówimy to, mimo że nasz własny README obiecuje coś innego — dokument jest stary, brama jest prawdą. Modele Gemini są natomiast obecne, podobnie jak synteza głosu od wyspecjalizowanego dostawcy i modele wideo.
W zwykłym przypadku nie: brama udostępnia interfejs zgodny z OpenAI, więc zmienia się adres bazowy i klucz. Przypadki wymagające uwagi to te, które używają szczególnych cech konkretnego dostawcy — już napotkaliśmy jeden, gdzie biblioteka specyficzna dla Azure budowała adresy, których brama nie rozumiała, i rozwiązano to przez przejście na standardowego klienta. Dlatego pierwsza aplikacja przenosi się sama, a nie wszystkie naraz.
Z limitem na klucz i okresem limitowania, plus automatyczną blokadą po przekroczeniu, z podaniem powodu na kluczu. Dodatkowo limit uwzględnia fakt, że modele rozumujące kosztują u dostawcy więcej, niż widzi brama: limit brutto dzieli się przez współczynnik obliczony jako mediana z ostatnich trzydziestu dni użytkownika. Bez tej korekty limity działają na tanich modelach i zawodzą na drogich.
Żadną wyrażoną w liczbach i to jest świadome stanowisko. Nie mamy w kodzie kolektora dostępności, a źródło, które w naszych własnych materiałach jest cytowane jako metoda obliczania, nie odpowiada na dzisiejsze sprawdzenie. To, co można teraz pokazać: sprawdzenie żywotności usługi odpowiada publicznie, a strona stanu wykonuje sondy na żywo, bez historii. Procent moglibyśmy wpisać w każdej chwili; byłoby to zobowiązanie umowne przebrane za pomiar.
Przeliczenie z waluty odbywa się według oficjalnego kursu Banku Narodowego, odczytanego z dziennego XML, z przerwą po pięciu sekundach i wartością rezerwową w razie niedostępności. Faktura jest budowana jako dokument fiskalny i przechodzi przez cykl stanów. Automatyczne wysłanie do systemu państwowego wymaga certyfikatu: dopóki nie jest zainstalowany, dokumenty są generowane i pozostają w oczekiwaniu, bez wysyłki. Wspólnie sprawdzamy, w jakim reżimie działa system w dniu rozpoczęcia, bo to ustawienie serwera, nie kodu.
Metadane zużycia: klucz, model, wolumen, koszt, moment. Brama zlicza, nie archiwizuje rozmów; to, co pozostaje z treści, jest decyzją aplikacji, która ją generuje, a jeśli aplikacja jest nasza, zapisuje się to w umowie. Eksport danych osobowych danej osoby tworzy archiwum z tym, co jest z nią powiązane, a z kluczy eksportuje metadane, nigdy materiał tokenu.
Są podawani na piśmie, z nazwami, ponieważ stają się podprzetwarzającymi dla danych, które przez nich przechodzą. Istnieją publiczne strony dla podprzetwarzających, umowa o przetwarzaniu i ochrona danych, sprawdzone dziś. Brama, która ukrywa dostawców przed administratorem danych, nie rozwiązuje problemu zgodności, tylko przenosi go głębiej.
Padają aplikacje, które od niej zależą, w tym nasze — nasza platforma asystentów przepuszcza rozpoznawanie mowy i syntezę przez tę samą bramę. Nie ma sensu twierdzić inaczej: to kompromis jednego punktu wejścia, opłacony w zamian za kontrolę, osobne klucze i jedną fakturę. W przypadku krytycznych aplikacji od początku omawia się, co dzieje się przy jej braku — odpowiedź zdegradowana, kolejka albo czysty błąd — bo to jest zachowanie do zaprojektowania, nie do liczenia na nie.
9 z nich to kod i pliki z naszych repozytoriów. Nie publikujemy ich nazw ani numerów linii: razem, na jednej stronie, opisałoby to zbyt dokładnie, jak zbudowane są systemy, które nie należą tylko do nas. Przechodzimy je razem z Tobą, w repozytorium, na życzenie — weryfikacja pozostaje możliwa, tylko odbywa się w rozmowie.
Opowiedz nam o swoim procesie. Wspólnie ustalimy, co warto zbudować, co da się połączyć i jak sprawdzimy wynik.