Scegliamo il modello in base alla misurazione, non alla reputazione — e diciamo fin dall’inizio quando la risposta corretta è non addestrare nulla.

No. Nessun modello da noi regolato finemente o addestrato è in produzione e non esiste alcun checkpoint salvato nei nostri repository. Quello che abbiamo: la pipeline di addestramento scritta fino al comando esatto di avvio della macchina GPU, il budget calcolato su tre scenari, i dati preparati e le licenze verificate — e un elenco scritto di ciò che va deciso prima della prima esecuzione. Preferiamo dirlo piuttosto che vendere una competenza che non abbiamo esercitato.

Perché il lavoro che porta il risultato nella maggior parte dei casi non è l'addestramento. È sapere quale modello fa il lavoro sui vostri dati, con quale latenza e a quale costo per chiamata — e questo richiede una misurazione che quasi nessuno fa. Un esempio dal nostro lavoro: un solo valore predefinito errato in una configurazione del modello (una penalizzazione della ripetizione impostata a 1,2 invece di 1,0) è costato 4,3 punti percentuali di errore. Non è stato necessario addestrare, ma misurare.

Si comincia quasi sempre con la ricerca nei documenti. È reversibile, si aggiorna cambiando un file e può mostrare la fonte della risposta. Il fine-tuning cambia il comportamento del modello in modi che non si possono ispezionare, richiede dati etichettati, diritti d'uso e una misurazione prima e dopo. Raccomandiamo il fine-tuning quando abbiamo la prova che la prima variante non basta — ad esempio, quando abbiamo mostrato che un modello offline non diventa un modello in flusso solo tramite configurazione: restringendo la finestra di attenzione senza riaddestramento, l'errore è aumentato dall'8,81% al 22,26% e poi al 48,95%.

No, e nessun fornitore onesto può farlo, perché l'accuratezza dipende dai vostri dati. Quello che garantiamo è il metodo: misuriamo sui vostri casi, mostriamo l'intervallo di confidenza e diciamo quando la differenza tra due opzioni non è statisticamente significativa. Abbiamo avuto un caso in cui un risultato pubblicato dagli autori di un modello non si è riprodotto da noi — loro riportavano 20,70%, noi abbiamo misurato 26,68% sullo stesso modello. Abbiamo scritto che non sappiamo perché, invece di scegliere la cifra conveniente.

Dipende dal percorso scelto ed è una decisione, non un incidente. Tramite gateway, la richiesta arriva al fornitore del modello. Se ciò non è accettabile, abbiamo funzionale la catena locale: riconoscimento vocale e sintesi vocale eseguiti sulla vostra macchina, dove dalla macchina parte solo testo, mai audio. In un prodotto di monitoraggio radio, la trascrizione locale e quella tramite gateway sono entrambe implementate, quindi il compromesso tra le due lo possiamo mostrare con i numeri.

Succede. Per questo il lavoro include un banco di regressione su casi fissi, eseguito periodicamente, che confronta la conformità allo schema, supera un test di buon senso e misura la somiglianza con le risposte di riferimento. E per questo l'integrazione passa tramite gateway: il modello si cambia da un campo, non riscrivendo il codice.

La chiave del progetto ha una lista bianca di modelli, budget e periodo, e si può ruotare mantenendo la cronologia. Il consumo si consolida quotidianamente per utente, chiave e modello. Una trappola che correggiamo fin dall'inizio: i modelli di ragionamento producono passaggi interni che il sistema di tracciamento non vede, ma che il fornitore fattura — quindi il budget lordo sulla chiave si imposta più basso del tetto desiderato, diviso per un fattore di ragionamento. Chi non fa la correzione vede la chiave nel budget e la fattura oltre.

Perché «pubblico» e «utilizzabile commercialmente» sono cose diverse, e la differenza si scopre tardi e a caro prezzo. Tre esempi dalle nostre verifiche: un grande corpus di romeno, con licenza non commerciale, quindi escluso per un prodotto commerciale; un insieme di centinaia di migliaia di esempi di codice sotto licenza permissiva ma con dati senza alcuna licenza dichiarata; e la policy di utilizzo di un fornitore di voce, che vieta esplicitamente l'addestramento di un modello sul suo output. La verifica si fa sulla pagina della fonte, non su ciò che ripete un articolo.

Non addestra oggi modelli fondamentali e non promette un modello proprio in produzione. Non garantisce percentuali di miglioramento. Non confronta un modello con la concorrenza sulla base delle cifre pubblicate dalla concorrenza — se non abbiamo eseguito noi il confronto, diciamo che è una cifra dichiarata da loro, non una misurata da noi.