Costruiamo il corpus da cui un assistente ha il permesso di rispondere, con regole su cosa entra, come si divide, come si cerca e cosa succede quando la sorgente cambia.

Quasi sempre perché il frammento corretto non è stato ritrovato, non perché il modello sarebbe “stupido”. Le cause frequenti, nell’ordine in cui le verifichiamo: frammenti troppo grandi, in cui l’informazione utile si perde tra le altre; taglio a metà della frase, senza sovrapposizione; troppo pochi frammenti portati nel contesto; oppure un corpus in cui la stessa informazione appare in tre versioni diverse e quella vecchia ottiene un punteggio migliore. Il registro delle interrogazioni, con i punteggi ottenuti, mostra quale sia il caso — senza di esso si va a intuito.

No, ed è più onesto dire esattamente dove. Con vettori propri: la memoria di un board interno usato quotidianamente, su colonna vettoriale con indice sulla distanza coseno e soglia di similarità 0,35. Con vettori del fornitore: la base di conoscenza degli agenti vocali, sincronizzata verso il motore di recupero del fornitore. **Senza** vettori, oggi, in produzione: la base di conoscenza della piattaforma di assistenti testuali — il percorso di indicizzazione scrive la colonna vettoriale vuota, quindi il recupero gira in modo lessicale, e il codice etichetta da solo il modulo come `keyword-only`. Esiste anche una pipeline propria completamente scritta, con la migrazione marcata “da non pubblicare in produzione” finché non vengono confermati i diritti sull’estensione vettoriale. Questa è la mappa reale.

I frammenti della sorgente vengono eliminati integralmente e riscritti dalla nuova versione. Abbiamo scelto la sostituzione completa al posto dell’aggiornamento parziale perché la parte difficile non è aggiungere, ma eliminare: i frammenti rimasti dalla vecchia versione continuano a essere ritrovati e producono risposte che il cliente contraddice con la pagina davanti. In fase di aggiunta esiste anche un controllo di impronta del contenuto — se il testo è identico, non si ricalcola nulla e non si paga inutilmente.

Non automaticamente, nelle piattaforme che operiamo oggi. La reindicizzazione va richiesta esplicitamente, per sorgente, tramite un’azione dedicata. Esiste una sola eccezione, in un nostro sistema interno, dove un ciclo gira ogni trenta minuti e reindicizza solo ciò che è cambiato. La programmazione automatica si può costruire ed è una fase separata; ciò che non facciamo è dare l’impressione che esista già. Esiste anche un campo di scadenza dichiarato nello schema che nessuno legge — quindi un documento non esce da solo dal corpus.

Il momento della verità. L’elenco caricato è corretto nel giorno del caricamento; dal giorno dopo, prezzo, stock e nuovi prodotti divergono in silenzio, e la divergenza si scopre quando un cliente chiede un prezzo che non esiste più. Il catalogo collegato si legge nel momento della domanda, dal sistema che tiene la registrazione, quindi non può restare indietro. Il costo è un altro: compare una dipendenza dalla disponibilità di quel sistema e bisogna decidere cosa dice l’assistente quando la sorgente non risponde — la risposta corretta essendo “non posso confermare il prezzo adesso”, non l’ultimo valore conosciuto.

Non direttamente. Un PDF scannerizzato è un’immagine in un involucro PDF e non contiene testo selezionabile; il nostro estrattore lo rileva e restituisce un messaggio esplicito invece di indicizzare un documento vuoto — il peggior risultato possibile essendo una sorgente marcata “pronta” che non contiene nulla. La soluzione è il riconoscimento ottico prima dell’importazione, oppure la fornitura del documento in DOCX o testo. Il riconoscimento ottico non è implementato nella catena attuale.

Sì, e c’è un dettaglio che conta più di quanto sembri. La suddivisione in frammenti taglia tra le frasi, e la nostra regola riconosce la fine di frase seguita da una maiuscola latina **o** cirillica, comprese le diacritiche romene. Un separatore scritto per l’inglese non riconosce l’inizio di una frase in cirillico e produce frammenti incollati, con effetto diretto sulla qualità del recupero. Per il lato vocale, il modello di rappresentazione usato dal fornitore è multilingue.

Quando il corpus è piccolo, stabile e scritto da voi — per esempio il contenuto del vostro sito. In una piattaforma pubblica propria abbiamo scelto deliberatamente il recupero tramite sovrapposizione di parole sul testo della piattaforma stessa, suddiviso in passaggi brevi che portano ciascuno la pagina di origine. Senza vettori, senza archivio vettoriale, senza una richiesta di rete aggiuntiva e, cosa essenziale, senza alcuna fonte esterna all’archivio. L’assistente può solo ripetere ciò che dice già il sito, e ogni risposta si può verificare in una pagina scritta da una persona. Quando la posta in gioco principale è non inventare nulla, questo batte la ricerca semantica.

Le fonti sono vostre e restano nella forma originale; i frammenti e le rappresentazioni stanno nel database della vostra installazione, non in un servizio esterno di ricerca a cui solo noi abbiamo accesso. Il modello di rappresentazione viene richiesto tramite un gate proprio dei modelli, quindi il cambio di fornitore non tocca il codice della base di conoscenza. Le rappresentazioni vettoriali sono però legate al modello che le ha prodotte: cambiare modello richiede la reindicizzazione dell’intero corpus. È un’operazione da calcolare, non gratuita, ed è meglio saperlo all’inizio che scoprirlo a metà.