Экспертиза · Доступ к моделям AI
Мы ставим между приложениями компании и поставщиками моделей единую точку входа, совместимую с интерфейсом OpenAI. Оттуда выпускаются отдельные ключи по проектам, с лимитом расходов, списком разрешённых моделей и списком IP-адресов, а потребление видно по ключу.
Уже построеноКвота работает и это можно проверить извне уже сегодня, без того чтобы верить нам на слово: публичный каталог моделей отвечает 200 и перечисляет 106 моделей, отмеченных как active, а запрос к моделям без ключа возвращает 401. Под ним — две собственные реализации: служба биллинга и администрирования (98 файлов TypeScript), которая выпускает ключи, синхронизирует лимиты с квотой и ведёт журналы, и наша платформа ассистентов, которая выводит распознавание речи и синтез в production через ту же квоту, а не напрямую к поставщику. Ограничения, сказанные здесь, а не внизу: каталог меняется от часа к часу, поэтому любая цифра пишется вместе с датой; сегодня в квоте нет ни одной модели Anthropic, хотя наш собственный README обещает иное; а автоматическая отправка счёта в государственную систему остаётся в режиме пробной эксплуатации до установки сертификата.
Проблема появляется во второй раз, а не в первый. Первая интеграция с поставщиком моделей проста: один ключ, одна библиотека, и всё. Пятое приложение, третья команда и второй счёт в валюте — это момент, когда уже никто не может ответить на три банальных вопроса: кто потребляет, сколько, и что произойдёт, если скрипт выйдет из-под контроля в субботнюю ночь. Портал решает именно это: приложения больше не говорят с поставщиками, они говорят с единой точкой входа, у которой тот же интерфейс, что и у API OpenAI, поэтому в большинстве библиотек вы меняете базовый адрес и ключ, а не код.
Что вы можете проверить сами, прямо сейчас, без аккаунта: публичный каталог моделей портала отвечает и показывает, что в нём есть. На сегодняшней проверке было 106 моделей, все помечены активными — 77 текстовых моделей, из которых 48 заявляют способности к рассуждению, 10 аудио, 7 изображений, 7 в реальном времени, 3 векторизации и 2 видео. Та же проверка, сделанная коллегой на полтора часа раньше, возвращала 107. Поэтому цифра всегда пишется вместе со временем, а на сайте её следует читать из endpoint, а не набирать вручную.
Контроль расходов — это не панель, а ограничитель. У ключа есть лимит расходов, выбираемый период лимита из четырёх вариантов, список разрешённых моделей, список принимаемых IP-адресов — до двадцати, IPv4, IPv6 или блоки — и флаг блокировки. Когда лимит превышен, ключ автоматически блокируется, а причина записывается на нём, чтобы интерфейс мог сказать почему, вместо того чтобы показывать немое состояние. Есть и коррекция, которую мало кто делает: модели, которые «думают» перед тем, как ответить, у поставщика расходуют больше, чем видит портал, поэтому брутто-лимит, передаваемый ниже, делится на коэффициент рассуждения, вычисленный как медиана за последние тридцать дней пользователя, ограниченная между одним и двадцатью. Без этой коррекции лимит расходов был бы декоративным именно на дорогих моделях.
Локальная часть. Валютный курс читается из официального XML-файла Национального банка Молдовы за текущий день, с тайм-аутом пять секунд и резервным значением из конфигурации, когда источник не отвечает — шлюз не имеет права останавливаться из-за того, что сайт с курсами валют недоступен. Налоговая накладная строится как XML и хранится, с циклом состояний от черновика до принятой или отклонённой. Непосредственная отправка в государственную систему выполняется с сертификатом; пока сертификат не установлен, сервис остаётся в тестовом режиме: XML генерируется и сохраняется, но не отправляется. Это реальное состояние, и мы его пишем, потому что это разница между «у нас есть налоговая накладная» и «у нас есть всё необходимое, чтобы отправить её».
Что входит
Приложения сохраняют библиотеки, на которых они написаны, и меняют базовый адрес и ключ. Шлюз требует ключ: запрос списка моделей без заголовка авторизации возвращает 401, проверено сегодня снаружи. Проверка доступности сервиса отвечает публично, с установленными заголовками безопасности (`X-Frame-Options: DENY`, политика контента, запрещающая встраивание).
У каждого ключа есть алиас, производный от пользователя и заданного имени, лимит расходов, период лимита, выбранный из одного дня, семи, тридцати или девяноста, список разрешённых моделей и текущие расходы. Ключ создаётся через административный интерфейс шлюза и сохраняется локально, чтобы эти два элемента не расходились.
Когда лимит превышен, ключ блокируется, и на нём остаются момент применения, начало периода и причина. Комментарий в коде объясняет, почему это было добавлено: чтобы интерфейс мог показать, почему ключ заблокирован, вместо немого состояния, которое никто не может объяснить.
До двадцати записей на ключ, каждая IPv4, IPv6 или CIDR-блок, проверяются при вводе. Список не остаётся только в нашей базе: он передаётся дальше в шлюз, который фактически применяет его к каждому запросу.
Модели, которые выдают шаги мышления перед ответом, тарифицируются поставщиком за эти шаги, но шлюз их не видит. Грубый лимит, отправляемый шлюзу, вычисляется делением лимита клиента на применяемую маржу и на коэффициент рассуждения — наблюдаемую медиану за последние тридцать дней для этого пользователя, с минимальным порогом один и ограничением до двадцати. Без него лимит был бы соблюдён на дешёвых моделях и превышен именно на дорогих.
Курс читается из официального XML Национального банка Молдовы за текущую дату, с прерыванием через пять секунд. Если источник не отвечает, используется резервное значение из конфигурации. Конвертация — не приблизительный расчёт в офисе; это чтение из публичного документа с определённым поведением при сбое.
Документ генерируется как XML из оплаченной транзакции, сохраняется и проходит через состояния: черновик, в ожидании отправки, отправлена, принята или отклонена. Есть ручной запуск и ежедневный запланированный запуск для пользователей, у которых заполнен фискальный код.
Журнал только на добавление и охватывает 64 типа названных событий — успешные и неуспешные входы, проверку в два шага, ротации пароля, создание, блокировку, удаление ключей, изменение лимита. Экспорт, запрошенный Общим регламентом по защите данных, создаёт архив с таблицами, связанными с пользователем, JSON для вложенных данных и CSV для объёмных, с исключением, записанным в коде: из ключей экспортируются метаданные, никогда не материал токена.
Наша платформа ассистентов выводит распознавание речи и синтез в продакшн через тот же шлюз, а не напрямую к поставщику, с версионным суффиксом, заданным в коде. Когда шлюз падает, падаем и мы — а это единственная схема, в которой стоит рекомендовать её кому-то ещё.
Как это выглядит
Обычно всплывают личные ключи в конфигурационных файлах, две учётные записи поставщика в одной команде и как минимум один сервис, про который никто не помнит, что он всё ещё работает. Результат — список с приложением, ключом, моделью, оценочным объёмом — точка, с которой можно говорить о лимитах.
Меняем базовый адрес и ключ в одном месте, сравниваем ответы с прежними и проверяем поток ошибок: несуществующая модель, заблокированный ключ, превышенный лимит, недоступный поставщик. Только после того как первое приложение ведёт себя идентично, переходят к остальным.
Один ключ на приложение и на окружение, с лимитом, периодом, списком разрешённых моделей и, где у серверов фиксированные адреса, списком IP-адресов. Лимит рассчитывается с поправкой для моделей, которые рассуждают, иначе это цифра, которая успокаивает, ничего не останавливая.
Курс из официального источника, счёт, сформированный из оплаченной транзакции, цикл состояний. Отдельно проверяется, установлен ли сертификат отправки: без него документы создаются и остаются в ожидании. Это различие бухгалтерия всё равно обнаружит, лучше в первую неделю.
Кто может создавать ключи, кто может поднять лимит, что журналируется, как запрашивается экспорт данных пользователя и что делается в тот день, когда ключ оказывается не там, где должен.
Данные
Вопросы, которые задаёт всякий, у кого есть ответственный за защиту данных, — заданы здесь раньше, чем их задаст он.
Случай
Ситуация
Обычная ситуация в компании, которая прошла первую интеграцию: несколько приложений вызывают модели с заимствованными ключами, расход отображается в одном счете в валюте, и никто не может сказать, какое приложение создало пик на прошлой неделе.
Что мы построили
Мы поставили шлюз перед приложениями, с интерфейсом, совместимым с библиотекой, которую они уже использовали, и выпустили отдельные ключи на проект. Каждый ключ получил лимит, период лимита, список разрешенных моделей и, где серверы имели фиксированные адреса, список IP-адресов, навязанный шлюзом. Нижеприведенный грубый лимит рассчитывается с коррекцией для моделей, которые рассуждают: он делится на примененную маржу и на медианный коэффициент пользователя за последние тридцать дней, ограниченный между одним и двадцатью.
Что получилось
Расход читается по ключу, то есть по приложению. При превышении ключ блокируется сам, а причина остается записанной на нем, так что на вопрос «почему больше не работает» можно ответить без того, чтобы кто-то открывал журналы. Биллинг в леях выполняется по официальному курсу, считанному из XML дня. Снаружи можно в любой момент проверить, что шлюз требует ключ: список моделей без авторизации возвращает 401.
Чего этот случай не говорит
Единая точка входа — это и единая точка отказа — с самого начала проектируется, что делают приложения, когда шлюз не отвечает. Каталог моделей меняется от часа к часу, поэтому любой распечатанный список устаревает; в день проверки не было ни одной модели Anthropic, хотя наша более старая документация это обещала. А автоматическая отправка счета в государственную систему зависит от сертификата, установленного на сервере: без него документы формируются и ждут.
Вопросы
На сегодняшней проверке — 106, все отмечены как активные: 77 текстовых (48 из них заявляют рассуждение), 10 аудио, 7 изображений, 7 в реальном времени, 3 векторизации и 2 видео. Каталог публичный и читается без аккаунта. Мы говорим «на сегодняшней проверке», потому что коллега измерил 107 на полтора часа раньше в тот же день. Число без времени рядом ничего не значит.
Нет, ни одной. Мы отфильтровали живой каталог по всем названиям из этой семьи: ноль результатов. Мы говорим это, хотя наш собственный README обещает другое — документ старый, шлюз и есть правда. Модели Gemini, напротив, присутствуют, как и синтез речи специализированного поставщика и видеомодели.
В обычном случае — нет: шлюз предоставляет интерфейс, совместимый с OpenAI, так что меняются базовый адрес и ключ. Случаи, требующие внимания, — это те, где используются особенности конкретного поставщика — мы уже столкнулись с одним, где специальная библиотека Azure строила адреса, которые шлюз не понимал, и это решилось переходом на стандартного клиента. Поэтому первое приложение переносится само, а не все сразу.
С лимитом на ключ и периодом лимита, плюс автоматическая блокировка при превышении, с причиной, записанной на ключе. Кроме того, лимит учитывает тот факт, что модели, которые рассуждают, стоят у поставщика дороже, чем видит шлюз: грубый лимит делится на коэффициент, рассчитанный как медиана за последние тридцать дней пользователя. Без этой коррекции лимиты работают на дешевых моделях и сдают на дорогих.
Ни одна не выражена в цифрах, и это осознанная позиция. У нас нет сборщика доступности в коде, а источник, который наши собственные материалы цитируют как метод расчёта, не отвечает на проверку на сегодня. Что можно показать сейчас: проверка живости сервиса отвечает публично, а страница статуса делает live-зонды, без истории. Процент мы могли бы написать в любой момент; это было бы договорное обязательство, замаскированное под измерение.
Конвертация из валюты выполняется по официальному курсу Национального банка, считываемому из XML текущего дня, с прерыванием через пять секунд и резервным значением при недоступности. Счёт-фактура строится как фискальный документ и проходит через цикл состояний. Автоматическая отправка в государственную систему требует сертификата: пока он не установлен, документы генерируются и остаются в ожидании, не уходя. Мы вместе проверяем, в каком режиме находится система в день начала, потому что это настройка сервера, а не кода.
Метаданные потребления: ключ, модель, объём, стоимость, момент. Шлюз считает, а не архивирует разговоры; что сохраняется из содержимого — это решение приложения, которое его генерирует, а если приложение наше, это прописывается в контракте. Экспорт персональных данных человека создаёт архив с тем, что связано с ним, а из ключей экспортируются метаданные, никогда не материал токена.
Это декларируется письменно, с именами, потому что они становятся субпроцессорами для данных, которые проходят через них. Есть публичные страницы для субпроцессоров, соглашение об обработке и защите данных, проверенные сегодня. Шлюз, который скрывает поставщиков от оператора данных, не решает проблему соответствия, а переносит её глубже.
Падают приложения, которые от него зависят, включая наши — наша платформа ассистентов пропускает распознавание голоса и синтез через тот же шлюз. Нет смысла утверждать обратное: это компромисс единой точки входа, оплаченный контролем, отдельными ключами и одним счётом. Для критических приложений с самого начала обсуждается, что происходит в его отсутствие — деградированный ответ, очередь или чистая ошибка — потому что это поведение, которое нужно проектировать, а не надеяться на него.
9 из них — код и файлы из наших репозиториев. Мы не публикуем их название и строку: вместе, на одной странице, они слишком точно описали бы, как устроены системы, которые принадлежат не только нам. Мы разбираем их вместе с тобой, в репозитории, по запросу — проверка остаётся возможной, просто она проходит в разговоре.
Расскажите о своём процессе. Вместе определим, что стоит построить, что можно подключить и как проверим результат.