Wir bauen den Corpus, aus dem ein Assistent antworten darf, mit Regeln dazu, was hineinkommt, wie er aufgeteilt wird, wie gesucht wird und was passiert, wenn sich die Quelle ändert.

Fast immer, weil der richtige Ausschnitt nicht gefunden wurde, nicht weil das Modell „schlecht“ wäre. Die häufigsten Ursachen, in der Reihenfolge, in der wir sie prüfen: zu große Fragmente, in denen die nützliche Information zwischen anderem untergeht; Schnitt mitten im Satz, ohne Überlappung; zu wenige Fragmente, die in den Kontext geholt werden; oder ein Korpus, in dem dieselbe Information in drei verschiedenen Versionen vorkommt und die alte besser punktet. Das Abfrageprotokoll mit den erzielten Scores zeigt, welcher Fall vorliegt — ohne es wird geraten.

Nein, und es ist ehrlicher, genau zu sagen, wo. Mit eigenen Vektoren: der Speicher eines intern genutzten Boards, täglich verwendet, auf einer Vektorspalte mit Kosinusdistanz-Index und einem Ähnlichkeitsschwellenwert von 0,35. Mit Vektoren beim Anbieter: die Wissensdatenbank der Sprachagenten, synchronisiert zum Retrieval-Motor des Anbieters. **Ohne** Vektoren, heute, in Produktion: die Wissensdatenbank der Textassistenten-Plattform — der Indexierungspfad schreibt die Vektorspalte leer, also läuft das Retrieval lexikalisch, und der Code markiert seinen Modus selbst als `keyword-only`. Es gibt auch eine vollständig selbst geschriebene eigene Pipeline, mit einer Migration, die mit „nicht in Produktion veröffentlichen“ markiert ist, bis die Rechte an der Vektorerweiterung bestätigt sind. Das ist die reale Karte.

Die Fragmente der Quelle werden vollständig gelöscht und aus der neuen Version neu geschrieben. Wir haben den vollständigen Austausch statt der teilweisen Aktualisierung gewählt, weil der schwere Teil nicht das Hinzufügen ist, sondern das Entfernen: Fragmente, die aus der alten Version übrig bleiben, werden weiterhin gefunden und erzeugen Antworten, denen der Kunde mit der sichtbaren Seite widerspricht. Beim Hinzufügen gibt es auch eine Fingerprint-Prüfung des Inhalts — wenn der Text identisch ist, wird nichts neu berechnet und nichts unnötig bezahlt.

Nicht automatisch, auf den Plattformen, die wir heute betreiben. Die Neuindexierung wird explizit pro Quelle über eine dafür vorgesehene Aktion angefordert. Es gibt eine einzige Ausnahme, in einem internen System von uns, wo eine Schleife alle dreißig Minuten läuft und nur das neu indexiert, was sich geändert hat. Die automatische Planung kann ebenfalls gebaut werden und ist ein separater Schritt; was wir nicht tun, ist den Eindruck zu erwecken, dass sie bereits existiert. Es gibt auch ein im Schema deklariertes Ablauf-Feld, das niemand liest — also verlässt ein Dokument das Korpus nicht von selbst.

Der Moment der Wahrheit. Die hochgeladene Liste ist am Tag des Hochladens korrekt; ab dem nächsten Tag weichen Preis, Bestand und neue Produkte stillschweigend ab, und die Abweichung wird entdeckt, wenn ein Kunde einen Preis verlangt, der nicht mehr existiert. Der verbundene Katalog wird zum Zeitpunkt der Frage aus dem führenden System gelesen, also kann er nicht hinterherhinken. Die Kosten sind anders: Es entsteht eine Abhängigkeit von der Verfügbarkeit dieses Systems, und es muss entschieden werden, was der Assistent sagt, wenn die Quelle nicht antwortet — die richtige Antwort ist „Ich kann den Preis im Moment nicht bestätigen“, nicht der zuletzt bekannte Wert.

Nicht direkt. Ein gescanntes PDF ist ein Bild in einer PDF-Verpackung und enthält keinen auswählbaren Text; unser Extraktor erkennt das und gibt eine explizite Meldung zurück, statt ein leeres Dokument zu indexieren — das schlechteste mögliche Ergebnis wäre eine Quelle mit dem Status „fertig“, die nichts enthält. Die Lösung ist optische Erkennung vor dem Import oder die Bereitstellung des Dokuments in DOCX oder als Text. Optische Erkennung haben wir in der aktuellen Kette nicht implementiert.

Ja, und es gibt ein Detail, das mehr zählt, als es scheint. Die Aufteilung in Fragmente schneidet zwischen Sätzen, und unsere Regel erkennt das Satzende gefolgt von einem lateinischen **oder** kyrillischen Großbuchstaben, einschließlich der rumänischen Diakritika. Ein für Englisch geschriebener Separator erkennt den Beginn eines Satzes in Kyrillisch nicht und erzeugt zusammengeklebte Fragmente, mit direkter Wirkung auf die Qualität des Retrievals. Für die Sprachseite ist das beim Anbieter verwendete Repräsentationsmodell multilingual.

Wenn der Korpus klein, stabil und von Ihnen geschrieben ist — zum Beispiel der Inhalt Ihrer eigenen Website. Auf einer eigenen öffentlichen Plattform haben wir uns bewusst für das Retrieval über Wortüberlappung auf dem eigenen Plattformtext entschieden, aufgeteilt in kurze Passagen, die jeweils die Ursprungsseite mitführen. Keine Vektoren, kein Vektorspeicher, keine zusätzliche Netzwerkanfrage und, wesentlich, keine Quelle außerhalb des Speichers. Der Assistent kann nur wiederholen, was die Website bereits sagt, und jede Antwort lässt sich auf einer von einem Menschen geschriebenen Seite überprüfen. Wenn es vor allem darum geht, nichts zu erfinden, schlägt das die semantische Suche.

Ihre Quellen bleiben Ihre und in der ursprünglichen Form; die Fragmente und Repräsentationen liegen in der Datenbank Ihrer Installation, nicht in einem externen Suchdienst, auf den nur wir Zugriff haben. Das Repräsentationsmodell wird über ein eigenes Model-Gateway angefordert, daher berührt ein Anbieterwechsel den Code der Wissensbasis nicht. Die Vektorrepräsentationen sind jedoch an das Modell gebunden, das sie erzeugt hat: Ein Modellwechsel erfordert die Neuindizierung des gesamten Korpus. Das ist ein berechenbarer Vorgang, kein kostenloser, und es ist besser, ihn zu Beginn zu kennen, als mitten drin davon zu erfahren.