Wybieramy model na podstawie pomiaru, nie reputacji — i od początku mówimy, kiedy poprawna odpowiedź brzmi: niczego nie trenować.

Nie. Żaden model dopracowany ani wytrenowany przez nas nie działa w produkcji i nie ma żadnego zapisanego punktu kontrolnego w naszych repozytoriach. To, co mamy: potok treningowy zapisany aż do dokładnej komendy uruchomienia maszyny z GPU, budżet obliczony dla trzech scenariuszy, dane przygotowane i licencje zweryfikowane — oraz spisana lista tego, co trzeba zdecydować przed pierwszym uruchomieniem. Wolimy to mówić niż sprzedawać kompetencję, której nie ćwiczyliśmy.

Bo praca, która daje rezultat w większości przypadków, nie polega na trenowaniu. Chodzi o to, by wiedzieć, który model wykonuje zadanie na Twoich danych, z jakim opóźnieniem i przy jakim koszcie za wywołanie — a to wymaga pomiaru, którego prawie nikt nie robi. Jeden przykład z naszej pracy: jedna błędna wartość domyślna w konfiguracji modelu (kara za powtórzenia ustawiona na 1,2 zamiast 1,0) kosztowała 4,3 punktu procentowego błędu. Nie było potrzebne trenowanie, tylko pomiar.

Zacznij prawie zawsze od wyszukiwania w dokumentach. Jest odwracalne, aktualizuje się przez zmianę jednego pliku i może pokazać źródło odpowiedzi. Dostrajanie zmienia zachowanie modelu w sposób, którego nie da się sprawdzić, wymaga danych oznaczonych, praw do użycia oraz pomiaru przed i po. Polecamy dostrajanie, gdy mamy dowód, że pierwsza opcja nie wystarcza — na przykład gdy pokazaliśmy, że model offline nie staje się modelem strumieniowym tylko przez konfigurację: zwężenie okna uwagi bez ponownego trenowania zwiększyło błąd z 8,81% do 22,26%, a potem do 48,95%.

Nie, i żaden uczciwy dostawca nie może tego zrobić, bo dokładność zależy od Twoich danych. Gwarantujemy metodę: mierzymy na Twoich przypadkach, pokazujemy przedział ufności i mówimy, kiedy różnica między dwiema opcjami nie jest istotna statystycznie. Mieliśmy przypadek, w którym wynik opublikowany przez autorów modelu nie odtworzył się u nas — oni podawali 20,70%, my zmierzyliśmy 26,68% na tym samym modelu. Zapisaliśmy, że nie wiemy dlaczego, zamiast wybierać wygodną liczbę.

To zależy od wybranej drogi i jest to decyzja, a nie wypadek. Przez gateway żądanie trafia do dostawcy modelu. Jeśli to nie jest akceptowalne, mamy lokalny łańcuch funkcjonalny: rozpoznawanie mowy i syntezę głosową uruchomione na Twojej maszynie, z której wychodzi tylko tekst, nigdy audio. W produkcie do monitoringu radiowego lokalna transkrypcja i transkrypcja przez gateway są zaimplementowane obie, więc kompromis między nimi możemy pokazać liczbami.

To się zdarza. Dlatego praca obejmuje bank regresji na stałych przypadkach, uruchamiany okresowo, który porównuje zgodność ze schematem, przechodzi test zdrowego rozsądku i mierzy podobieństwo do odpowiedzi referencyjnych. I dlatego integracja przechodzi przez gateway: model zmienia się w jednym polu, a nie przez przepisanie kodu.

Klucz projektu ma białą listę modeli, budżet i okres oraz może być rotowany z zachowaniem historii. Zużycie jest konsolidowane codziennie według użytkownika, klucza i modelu. Jedna pułapka, którą korygujemy od początku: modele rozumowania generują wewnętrzne kroki, których system śledzenia nie widzi, ale dostawca je nalicza — więc brutto budżet na klucz ustawia się niżej niż pożądany limit, podzielony przez współczynnik rozumowania. Kto nie robi korekty, widzi klucz w budżecie i fakturę ponad limit.

Bo „publiczne” i „do użytku komercyjnego” to różne rzeczy, a różnicę odkrywa się późno i drogo. Trzy przykłady z naszych weryfikacji: duży korpus rumuńskiego, licencjonowany niekomercyjnie, więc wykluczony dla produktu komercyjnego; zbiór setek tysięcy przykładów z kodem na licencji permisywnej, ale bez żadnej zadeklarowanej licencji danych; oraz polityka użycia dostawcy głosu, która wyraźnie zabrania trenowania modelu na jego wyjściu. Weryfikację robi się na stronie źródła, a nie na tym, co powtarza artykuł.

Nie trenuje dziś modeli bazowych i nie obiecuje własnego modelu w produkcji. Nie gwarantuje procentów poprawy. Nie porównuje modelu z konkurencją na podstawie liczb publikowanych przez konkurencję — jeśli sami nie uruchomiliśmy porównania, mówimy, że to liczba deklarowana przez nich, a nie zmierzona przez nas.