Uzmanlık · AI modellerine erişim
Şirketin uygulamaları ile model sağlayıcıları arasına, OpenAI arayüzüyle uyumlu tek bir giriş noktası koyuyoruz. Buradan proje başına ayrı anahtarlar çıkarılır; harcama üst limiti, izin verilen model listesi ve IP adresleri listesi ile birlikte, tüketim anahtar bazında görünür.
Zaten kurduklarımızGeçit çalışıyor ve bugün dışarıdan doğrulanabiliyor, sözüne güvenmeniz gerekmeksizin: kamuya açık model kataloğu 200 döndürüyor ve aktif olarak işaretlenmiş 106 modeli listeliyor, anahtarsız model sorgusu ise 401 döndürüyor. Bunun altında iki kendi uygulamamız var: anahtarları veren, kotaları geçitle eşitleyen ve kayıtları tutan faturalandırma ve yönetim hizmeti (98 TypeScript dosyası) ile ses tanıma ve sentezini doğrudan sağlayıcıya değil, aynı geçit üzerinden üretime alan asistanlar platformumuz. Burada ve dipnotta değil söylenen rezervler: katalog saatten saate değişiyor, dolayısıyla her sayı yanına tarih yazılarak verilir; bugün geçitte hiçbir Anthropic modeli yok, kendi README’miz başka bir şey vaat etmesine rağmen; ve faturanın devlet sistemine otomatik gönderimi, sertifika kurulana kadar deneme modunda kalır.
Sorun ikinci kez ortaya çıkar, ilk kez değil. Bir model sağlayıcısıyla ilk entegrasyon basittir: bir anahtar, bir kütüphane, bitti. Beşinci uygulama, üçüncü ekip ve ikinci dövizli fatura, kimsenin üç basit soruya artık yanıt veremediği andır — kim tüketiyor, ne kadar, ve bir script Cumartesi gecesi kontrolden çıkarsa ne olur. Gate tam olarak bunu çözer: uygulamalar artık sağlayıcılarla konuşmaz, OpenAI API ile aynı arayüze sahip tek bir giriş noktasıyla konuşur, dolayısıyla çoğu kütüphanede kodu değil, base adresini ve anahtarı değiştirirsiniz.
Kendi başınıza, hemen şimdi, hesap olmadan doğrulayabileceğiniz şey şu: gate’in herkese açık model kataloğu yanıt verir ve içinde ne olduğunu söyler. Bugünkü kontrolde 106 model vardı, hepsi aktif olarak işaretlenmişti — 77 text modeli, bunların 48’i reasoning yetenekleri beyan ediyor, 10’u audio, 7’si image, 7’si real-time, 3’ü vectorization ve 2’si video. Bir meslektaşın bir buçuk saat önce yaptığı aynı kontrol 107 döndürüyordu. Bu yüzden sayı her zaman saatle birlikte yazılır ve sitede endpoint’ten okunmalıdır, elle girilmemelidir.
Maliyet kontrolü bir dashboard değil, bir engeldir. Bir anahtarın harcama tavanı, seçilebilen dört seçenekten biri olan tavan süresi, izin verilen modeller listesi, kabul edilen IP adresleri listesi — en fazla yirmi, IPv4, IPv6 veya bloklar — ve bir bloklama bayrağı vardır. Bir tavan aşıldığında, anahtar otomatik olarak bloke edilir ve neden oraya yazılır; böylece arayüz, sessiz bir durum göstermek yerine nedenini söyleyebilir. Az kişinin yaptığı bir düzeltme de vardır: yanıt vermeden önce “düşünen” modeller, sağlayıcı tarafında gate’in gördüğünden daha fazla tüketir, bu yüzden aşağıya gönderilen ham tavan, kullanıcının son otuz gününde hesaplanan medyan olan bir reasoning faktörüne bölünür, bire ile yirmi arasında sınırlandırılır. Bu düzeltme olmadan, harcama tavanı tam da pahalı modellerde göstermelik olurdu.
Yerel kısım. Döviz kuru, güncel gün için Moldova Ulusal Bankasının resmi XML dosyasından okunur; beş saniyelik timeout ve kaynak yanıt vermediğinde yapılandırmadan bir yedek değer kullanılır — bir gate, bir döviz kuru sitesi erişilemez olduğu için durmamalıdır. Mali fatura XML olarak oluşturulur ve taslaktan kabul edildi veya reddedildi durumuna kadar bir durum döngüsüyle saklanır. Devlet sistemine fiili gönderim sertifika ile yapılır; sertifika kurulu olmadığı sürece hizmet deneme modunda kalır: XML oluşturulur ve kaydedilir, ancak gönderilmez. Gerçek durum budur ve bunu yazıyoruz, çünkü “mali faturamız var” ile “onu göndermek için gereken her şeye sahibiz” arasındaki fark budur.
Neleri kapsıyor
Uygulamalar yazıldıkları kütüphaneleri korur ve base adres ile anahtarı değiştirir. Gate anahtar ister: authorization başlığı olmadan model listesini sorgulamak, bugün dışarıdan doğrulandığı üzere, 401 döndürür. Servis kullanılabilirlik kontrolü herkese açık yanıt verir, güvenlik başlıkları ayarlanmıştır (`X-Frame-Options: DENY`, çerçevelemeyi yasaklayan content policy).
Her anahtar, kullanıcıdan ve verilen addan türetilen bir alias, harcama tavanı, bir gün, yedi, otuz veya doksan arasından seçilen tavan süresi, izin verilen modeller listesi ve mevcut harcama ile birlikte gelir. Anahtar, gate’in yönetim arayüzü üzerinden oluşturulur ve yerel olarak kalıcılaştırılır; böylece ikisi birbirinden ayrılmaz.
Tavan aşıldığında, anahtar bloke edilir ve üzerinde uygulama zamanı, dönem başlangıcı ve neden kalır. Kod yorumunda bunun neden eklendiği söylenir: arayüz, bir anahtarın neden bloke edildiğini gösterebilsin diye, kimsenin açıklayamadığı sessiz bir durum yerine.
Anahtar başına yirmiye kadar giriş, her biri IPv4, IPv6 veya CIDR bloğu, girişte doğrulanır. Liste sadece bizim veritabanımızda kalmaz: gate’e daha ileri gönderilir, gate bunu her istekte fiilen uygular.
Yanıttan önce düşünme adımları üreten modeller, sağlayıcı tarafından bu adımlar için faturalandırılır, ancak gate bunları görmez. Gate’e gönderilen ham tavan, müşterinin tavanını uygulanan marj ve bir reasoning faktörüne bölerek hesaplanır — o kullanıcı için son otuz günde gözlenen medyan, minimum eşik bir ve yirmiye sınırlandırılmış. Bu olmadan, bir tavan ucuz modellerde korunur ve tam pahalı olanlarda aşılırdı.
Kur, mevcut tarih için Moldova Ulusal Bankası’nın resmi XML’inden okunur, beş saniye sonra kesilir. Kaynak yanıt vermezse, yapılandırmadaki yedek değer kullanılır. Dönüştürme, ofiste yapılan bir yaklaşık hesap değildir; herkese açık bir belgede yapılan bir okumadır, arıza durumunda tanımlı davranışla.
Belge, ödenmiş bir işlemden XML olarak üretilir, saklanır ve şu durumlardan geçer: taslak, gönderim bekliyor, gönderildi, kabul edildi veya reddedildi. Fiskal kodu doldurulmuş kullanıcılar için manuel bir tetikleme ve günlük programlanmış bir tetikleme vardır.
Günlük yalnızca eklemelidir ve adı geçen 64 olay türünü kapsar — başarılı ve başarısız kimlik doğrulamalar, iki aşamalı doğrulama, parola döndürmeleri, anahtar oluşturma, kilitleme, silme, üst sınır değiştirme. Genel Veri Koruma Tüzüğü’nün talep ettiği dışa aktarma, bir kullanıcıyla ilişkili tabloları içeren bir arşiv, iç içe veriler için JSON ve hacimli veriler için CSV üretir; kodda yazılı bir istisna ile: anahtarlardan yalnızca meta veriler dışa aktarılır, jetonun materyali hiçbir zaman değil.
Asistanlar platformumuz, konuşma tanıma ve sentezi üretime aynı gate üzerinden geçirir; doğrudan sağlayıcıya değil, kodda zorunlu kılınan sürüm sonekiyle. Gate çöktüğünde biz de çökeriz — bu, onu başkasına önermeye değer kılan tek düzendir.
Nasıl görünüyor
Genellikle yapılandırma dosyalarında kişisel anahtarlar, aynı ekipte iki sağlayıcı hesabı ve artık çalıştığını kimsenin hatırlamadığı en az bir hizmet ortaya çıkar. Sonuç, uygulama, anahtar, model, tahmini hacimden oluşan bir listedir — kotalar hakkında konuşmaya başlanabilecek nokta.
Baz adres ve anahtar tek bir yerde değiştirilir, yanıtlar öncekilerle karşılaştırılır ve hata akışı kontrol edilir: olmayan model, kilitli anahtar, aşılmış üst sınır, kullanılamayan sağlayıcı. İlk uygulama aynı şekilde davranmaya başladıktan sonra ancak geri kalanına geçilir.
Her uygulama ve her ortam için bir anahtar, kota, süre, izin verilen modellerin listesi ve sunucuların sabit adresleri varsa IP listesi. Kota, muhakeme yapan modeller için düzeltme ile hesaplanır; aksi halde hiçbir şeyi durdurmadan yalnızca rahatlatan bir sayıdır.
Resmi kaynaktan kur, ödenmiş işlemden oluşturulan fatura, durum döngüsü. Gönderim sertifikasının kurulu olup olmadığı açıkça kontrol edilir: onsuz belgeler oluşturulur ve beklemede kalır. Muhasebenin bunu yine de fark edeceği bir ayrımdır; en iyisi ilk haftada.
Kim anahtar oluşturabilir, kim bir kotayı yükseltebilir, ne günlüklenir, bir kullanıcının verilerinin dışa aktarımı nasıl istenir ve bir anahtar olmaması gereken yere ulaştığı gün ne yapılır.
Veriler
Veri koruma sorumlusu olan herkesin soracağı sorular — o sormadan önce burada sorulmuş hâliyle.
Bir vaka
Durum
İlk entegrasyonu aşmış bir şirketteki olağan durum: birden fazla uygulama ödünç alınmış anahtarlarla modelleri çağırır, tüketim döviz cinsinden tek bir faturada görünür ve kimse geçen haftaki zirveyi hangi uygulamanın ürettiğini söyleyemez.
Ne kurduk
Gate'i uygulamaların önüne, zaten kullandıkları kütüphane ile uyumlu arayüzle kurduk ve proje başına ayrı anahtarlar verdik. Her anahtar bir üst sınır, üst sınır dönemi, izin verilen modeller listesi ve, sunucuların sabit adresleri olduğunda, gate tarafından zorlanan bir IP listesi aldı. Aşağıda gönderilen brüt üst sınır, düşünen modeller için yapılan düzeltmeyle hesaplanır: uygulanan marj ile son otuz gündeki kullanıcının medyan faktörüne bölünür, bir ile yirmi arasında sınırlandırılır.
Ne çıktı
Tüketim anahtar bazında, yani uygulama bazında okunur. Aşımda anahtar kendini kilitler ve sebep üzerinde yazılı kalır; böylece “neden artık çalışmıyor” sorusunun yanıtı, birinin günlükleri açmasına gerek kalmadan bulunur. Lei cinsinden faturalama, günün XML'inden okunan resmi kura göre yapılır. Dışarıdan, gate'in anahtar istediği her zaman doğrulanabilir: yetkisiz model listesi 401 döndürür.
Vakanın söylemedikleri
Tek bir giriş noktası aynı zamanda tek bir çökme noktasıdır — gate yanıt vermediğinde uygulamaların ne yapacağı en baştan tasarlanır. Model kataloğu saatten saate değişir, bu yüzden basılı herhangi bir liste eskir; doğrulama gününde Anthropic modeli yoktu, oysa daha eski belgelerimiz bunu vaat ediyordu. Ve faturanın devlet sistemine otomatik gönderimi, sunucuya kurulu bir sertifikaya bağlıdır: o olmadan belgeler oluşturulur ve bekler.
Sorular
Bugünkü doğrulamada 106, hepsi aktif olarak işaretli: 77 metin (48'i akıl yürüttüğünü beyan ediyor), 10 ses, 7 görüntü, 7 gerçek zamanlı, 3 vektörleştirme ve 2 video. Katalog herkese açıktır ve hesapsız okunabilir. “Bugünkü doğrulamada” diyoruz çünkü bir meslektaşımız aynı gün, bir buçuk saat önce 107 ölçmüştü. Yanında saat olmayan bir sayı hiçbir şey ifade etmez.
Hayır, hiçbiri yok. Söz konusu ailedeki tüm adları canlı katalogda filtreledik: sıfır sonuç. Bunu kendi README'miz başka bir şey vaat etse de söylüyoruz — belge eski, gate gerçektir. Buna karşılık Gemini modelleri mevcut, ayrıca uzman bir sağlayıcının ses sentezi ve video modelleri de.
Genel durumda hayır: gate OpenAI ile uyumlu arayüzü sunar, dolayısıyla yalnızca temel adres ve anahtar değişir. Dikkat gerektiren durumlar, belirli bir sağlayıcının özelliklerini kullananlardır — biz zaten birini gördük; Azure'a özgü kütüphane, gate'in anlamadığı adresler oluşturuyordu ve standart istemciye geçilerek çözüldü. Bu yüzden ilk uygulama tek başına taşınır, hepsi birden değil.
Anahtar başına tavan ve tavan süresiyle, ayrıca aşımda nedenin anahtar üzerinde yazılı otomatik engelleme ile. Ayrıca tavan, akıl yürüten modellerin sağlayıcıda kapının gördüğünden daha pahalı olmasını dikkate alır: brüt tavan, kullanıcının son otuz günü üzerinde medyan olarak hesaplanan bir faktöre bölünür. Bu düzeltme olmadan, tavanlar ucuz modellerde çalışır ve pahalı olanlarda çöker.
Sayısal olarak ifade edilen hiçbir garanti yok ve bu bilinçli bir tutumdur. Kodda erişilebilirlik toplayıcımız yok ve kendi materyallerimizin hesaplama yöntemi olarak atıfta bulunduğu kaynak bugünkü doğrulamaya yanıt vermiyor. Şu anda gösterilebilen: hizmetin canlılık kontrolü herkese açık yanıt veriyor, durum sayfası ise geçmiş olmadan canlı yoklamalar yapıyor. İstediğimiz zaman bir yüzde yazabilirdik; bu, ölçüm kılığına girmiş sözleşmesel bir taahhüt olurdu.
Dövizden dönüşüm, ulusal bankanın resmi kuruna göre, günün XML’inden okunarak, beş saniye sonra kesinti ve erişilemezlik durumunda yedek değer ile yapılır. Fatura, mali belge olarak oluşturulur ve bir durum döngüsünden geçer. Devlet sistemine otomatik gönderim bir sertifika gerektirir: o kurulmadığı sürece belgeler oluşturulur ve gönderilmeden beklemede kalır. Sisteme başladığımız gün hangi modda olduğunu birlikte kontrol ederiz, çünkü bu kod değil, sunucu ayarıdır.
Kullanım meta verileri: anahtar, model, hacim, maliyet, zaman. Kapı konuşmaları arşivlemez; içerikten saklanan, onu üreten uygulamanın kararıdır ve uygulama bize aitse sözleşmeye yazılır. Bir kişinin kişisel veri dışa aktarımı, onunla bağlantılı olanların bir arşivini üretir; anahtarlardan ise meta verileri dışa aktarır, asla jetonun malzemesini değil.
Veri yollarından geçenler için alt işleyen haline geldiklerinden, yazılı olarak, isimle beyan edilirler. Alt işleyenler, veri işleme sözleşmesi ve veri koruma için kamuya açık sayfalar vardır, bugün doğrulandı. Veri sorumlusundan sağlayıcıları gizleyen bir kapı, uyum sorununu çözmez; onu daha derine taşır.
Ona bağımlı olan uygulamalar çöker; bizimkiler de dahil — asistan platformumuz konuşma tanımayı ve sentezi aynı kapıdan geçirir. Başka türlü iddia etmenin anlamı yok: bu, kontrol, ayrı anahtarlar ve tek bir fatura karşılığında ödenen tek bir giriş noktasının uzlaşmasıdır. Kritik uygulamalar için en baştan bunun yokluğunda ne olacağı konuşulur — bozulmuş yanıt, kuyruk ya da temiz hata — çünkü bu umut edilecek değil, tasarlanacak bir davranıştır.
Bunlardan 9 tanesi depolarımızdaki kod ve dosyalardır. Adlarını ya da satırlarını yayımlamıyoruz: hepsi bir arada, tek bir sayfada, yalnızca bize ait olmayan sistemlerin nasıl kurulduğunu fazla net anlatırdı. İstek üzerine, depoda sizinle birlikte gözden geçiriyoruz — doğrulama hâlâ mümkün, sadece bir görüşme içinde yapılıyor.
Bize sürecinizi anlatın. Neyin kurulmaya değer olduğuna, neyi bağlayabileceğimize ve sonucu nasıl doğrulayacağımıza birlikte karar verelim.