Expertise · Individuelle KI-Modelle
Die Arbeit hat vier Teile: Wir messen Kandidatenmodelle auf Ihren Daten, wählen zwischen Konfiguration, Dokumentensuche und Feinabstimmung, prüfen die Nutzungsrechte der Daten und legen dann den Verbrauch pro Schlüssel unter das Budget. Wir haben bisher kein Modell produktiv trainiert, und wir sagen das, bevor Sie fragen.
Bereits gebautDer Mess- und Betriebsteil ist gebaut und läuft, mit gespeicherten Ergebnissen: ein eigener Prüfstand, der acht Spracherkennungssysteme auf denselben 200 rumänischen Äußerungen verglichen hat, mit Konfidenzintervall und Paarunterschieden, plus eine Zerlegung der Sprachlatenz in sechs Segmente, die sich mit einer Abweichung von unter einer Millisekunde zur Gesamtsumme addieren. Der Betriebsteil ist ein eigener Gateway mit 44 konfigurierten Modellen, projektspezifischen Schlüsseln mit Modell-Whitelist und Budget sowie einer täglichen Konsolidierung des Verbrauchs pro Nutzer × Schlüssel × Modell. Der Teil, den wir NICHT gemacht haben — das eigentliche Fine-Tuning — ist auch so beschrieben: Die Pipeline ist vorbereitet und kalkuliert, lief aber nie auf GPU. Der Dienst bleibt „geliefert“, weil die Arbeit, die wir verkaufen, die informierte Auswahl und der Betrieb ist, nicht das Training.
Die meisten Projekte für ein „individuelles Modell“ brauchen kein trainiertes Modell. Sie brauchen das passende Modell, mit der passenden Anweisung, über den passenden Daten, mit Kosten pro Aufruf, die jemand überwacht. Die Arbeit beginnt mit der Frage, die nur wenige stellen: Wie sieht Erfolg aus, gemessen wie, auf welchem Satz von Fällen? Ohne diese Antwort ist jeder Modellvergleich eine Geschmacksdiskussion.
Wir messen selbst, wir übernehmen nicht die Zahlen der Anbieter. Als wir wissen mussten, was rumänische Sprache am besten erkennt, haben wir acht Systeme auf denselben 200 Äußerungen laufen lassen, mit demselben Normalisierer, mit Konfidenzintervall per Bootstrap und mit paarweise berechneten Unterschieden. Die Ergebnisse waren unbequem: Das System, das wir in Produktion genutzt haben, hatte eine Wortfehlerrate von 26,26 %, und ein kleines Modell mit 110 Millionen Parametern, das auf dem Prozessor lief, hatte 6,83 %. Wir haben auch den unangenehmen Teil veröffentlicht — bei der Genauigkeit im Rumänischen liegen wir weit hinter den kommerziellen Anbietern zurück.
Der zweite Teil der Arbeit ist die Wahl zwischen drei Wegen, die oft verwechselt werden: Modellkonfiguration (Anweisung, Werkzeuge, Parameter), Suche in Ihren Dokumenten und Fine-Tuning. Die Reihenfolge, in der wir sie ausprobieren, ist keine Präferenz, sondern Wirtschaftlichkeit: Die ersten beiden sind an einem Nachmittag rückgängig zu machen, die dritte braucht Daten, Rechte, GPU und eine Messung vor und nachher. Wir empfehlen Fine-Tuning nur, wenn wir den Nachweis haben, dass die ersten beiden nicht ausreichen.
Der dritte Teil, der bleibt, nachdem Sie live gegangen sind: die Kosten pro Aufruf. Die Modelle laufen durch einen eigenen Gateway, in dem jeder Schlüssel eine Modell-Whitelist, ein Budget und einen Zeitraum hat. Der Verbrauch wird täglich pro Benutzer, Schlüssel und Modell konsolidiert, was bedeutet, dass die Frage „warum ist die Rechnung diesen Monat gestiegen“ Zeilenweise beantwortet wird, nicht mit Vermutungen.
Was dazugehört
Ein Satz von Fällen aus Ihrer Realität, ein numerisches Kriterium und eine schriftlich festgelegte Normalisierungsmethode. Für Sprache verwenden wir die Wortfehlerrate mit eigenem Normalisierer; für Textantworten die Schema-Konformität plus eine Plausibilitätsprüfung plus die Ähnlichkeit mit einer Referenzantwort. Ohne diesen Schritt kann der Rest der Arbeit von niemandem überprüft werden.
Dieselben Äußerungen, dieselbe Maschine, jeweils nur ein geladenes Modell, jedes in einem eigenen Prozess. Wir berichten Konfidenzintervall per Bootstrap und paarweise Unterschiede, nicht nur den Mittelwert — denn zwei Modelle können unterschiedliche Mittelwerte haben und dennoch statistisch gleichauf sein. Genau diesen Fall hatten wir: zwei Systeme mit 66 von 66 paarweisen Vergleichen, also Gleichstand, obwohl die Tabelle der Mittelwerte einen Sieger andeutete.
In einem Sprachpfad haben wir sechs Segmente separat gemessen — Turn-Entscheidung, Spracherkennung, Gateway, Zeit bis zum ersten Text des Modells, erster Syntheseblock, Warteschlange und Transport. Die wichtige Prüfung: Die Summe der sechs ergibt die Gesamtzeit bis zum ersten Ton mit einer Abweichung von unter einer Millisekunde pro gültigem Turn. Daran sieht man, wo das Problem liegt: Im gemessenen Fall entfielen 68,7 % der Zeit auf das Warten auf den ersten Text des Modells, nicht auf die Spracherkennung, die 2,9 % beanspruchte.
Die Suche in Dokumenten ist implementiert und läuft: hybride Suche, 70 % semantisch und 30 % Worttreffer, Ähnlichkeitsschwelle 0,70, fünf Fragmente pro Frage, mit Protokoll pro Anfrage, das die Scores und Zeiten speichert. Fine-Tuning empfehlen wir nur mit dem Nachweis, dass die ersten beiden nicht ausreichen — und mit Budget und Rechten vorher auf dem Tisch, nicht nachher.
Das ist keine Formalität, sondern das, was Projekte stoppt. Ein Korpus mit 1.746 Stunden Rumänisch, den wir in Betracht gezogen hatten, erwies sich als nicht kommerziell lizenziert — also für ein kommerzielles Modell unbrauchbar. Ein Datensatz mit 270.946 Beispielen hatte den Code unter einer permissiven Lizenz, aber die Daten ohne irgendeine deklarierte Lizenz. Und die Nutzungsrichtlinie eines Sprachanbieters verbietet ausdrücklich, ein Modell auf seiner Ausgabe zu trainieren. Jede Quelle wird auf ihrer eigenen Seite geprüft, nicht danach, was in einem Artikel steht.
Eigener Gateway mit 44 konfigurierten Modellen, jeweils mit Token-Kosten und Kontextlimit in der Konfiguration. Der Projektschlüssel hat eine Whitelist an Modellen, Budget und Zeitraum und kann unter Beibehaltung der Historie rotiert werden. Der Verbrauch wird täglich nach Nutzer × Schlüssel × Modell konsolidiert. Das Routing verwendet die Strategie „am wenigsten ausgelastet“, zwei Wiederholungsversuche und eine maximale Zeit von 120 Sekunden.
Reasoning-Modelle erzeugen interne Schritte, die die Kostenverfolgungsplattform nicht sieht, der Anbieter aber abrechnet. Praktische Konsequenz: Das auf dem Schlüssel gesetzte Bruttobudget muss kleiner sein als der gewünschte Grenzwert, geteilt durch einen Reasoning-Faktor. Wenn Sie diese Korrektur nicht machen, scheint der Schlüssel im Budget zu liegen, die Rechnung aber nicht.
Wir haben eine funktionierende lokale Kette: Spracherkennung mit einem Modell von 0,6 Milliarden Parametern auf dem Prozessor und Sprachsynthese mit einem Modell von 99 Millionen Parametern, ebenfalls lokal. In einem Produkt zur Radiomonitoring erfolgt die Transkription lokal, und die Variante über das Gateway existiert parallel — also ist der Vergleich zwischen lokal und gehostet gemacht, nicht angenommen. Was vom Rechner weggeht, ist Text, nicht Audio.
Ein wöchentlicher Regressionstest auf festen Fällen, der die Übereinstimmung mit dem Schema vergleicht, einen Plausibilitätstest besteht und die Ähnlichkeit mit den Referenzantworten misst. Ein Modell, das sich unter Ihnen — und es ändert sich — verändert, sieht man in der Tabelle, nicht in den Kundenbeschwerden.
Wie es aussieht
Die Fälle kommen aus Ihrer Realität, nicht aus einem allgemeinen Testsatz. Das numerische Kriterium, die Normierungsmethode und der Schwellenwert, ab dem das Ergebnis akzeptabel ist, werden festgelegt. Wir liefern: den Fallensatz, das schriftlich festgehaltene Kriterium und das Skript, das es berechnet.
Die Kandidatenmodelle laufen auf identischen Daten, mit Konfidenzintervall. Wir liefern: die Tabelle mit allen getesteten Systemen, einschließlich der abgelehnten und des Grundes, plus den exakten Reproduktionsbefehl. Ein Modell, das wir für Rumänisch abgelehnt haben, hatte eine Fehlerrate von 99,69%, weil es ins Italienische abrutschte — Rumänisch gehörte nicht zu den deklarierten Sprachen. Dieses Ergebnis steht in der Tabelle.
Konfiguration, Dokumentensuche oder Feinabstimmung — mit Begründung, Kosten und dem, was man dabei verliert. Wir liefern: die begründete Entscheidung, plus die Messung, die sie stützt. Wenn die Empfehlung „wir trainieren nichts“ lautet, schreiben wir das ebenso ausdrücklich.
Der Projektschlüssel wird mit Budget, Zeitraum und Liste der erlaubten Modelle ausgegeben, wobei die Korrektur für Reasoning-Token angewendet wird. Wir liefern: den Schlüssel, das Verbrauchs-Dashboard und den Schwellenwert, ab dem jemand eine Alarmmeldung erhält.
Dieselben Fälle, dasselbe Kriterium, nach dem Modell in Produktion. Wir liefern: den Vergleich vor/nach und die Liste der Änderungen mit dem Grund für jede einzelne. Ein wiederkehrender Regressionstest erkennt Verhaltensänderungen des Modells des Anbieters.
Die Daten
Die Fragen, die jede Person mit einem Datenschutzbeauftragten stellt — hier gestellt, bevor er sie stellt.
Ein Fall
Die Ausgangslage
Wir hatten ein laufendes Spracherkennungssystem für Rumänisch und eine offene Frage: Ist es das beste verfügbare oder nur das erste, das wir integriert haben? Es gab keine eigene Messung, nur von Anbietern veröffentlichte Zahlen, gemessen an anderen Sprachen und anderen Datensätzen.
Was wir gebaut haben
Wir haben einen Testbank aufgebaut: 200 rumänische Äußerungen aus einem öffentlichen Datensatz, derselbe Seed für die Auswahl, 35,1 Minuten Audio, derselbe Normalisierer für alle Systeme, Konfidenzintervall per Bootstrap, paarweise berechnete Unterschiede. Acht Systeme, jedes einzeln geladen, in einem eigenen Prozess, auf derselben Maschine. Wir haben im Bericht sowohl die Maschinenkonfiguration als auch den exakten Befehl zur Reproduktion notiert.
Was dabei herauskam
Das System in Produktion hatte eine Wortfehlerrate von 26,26%. Ein Modell mit 110 Millionen Parametern, das auf einer CPU zusammen mit einem Sprachmodell lief, hatte 6,83%. Ein sehr gelobtes Modell kam auf 99,69%, weil es ins Italienische abrutschte — Rumänisch gehörte nicht zu den deklarierten Sprachen. Und zwei Systeme, die nach dem Durchschnitt unterschiedlich wirkten, waren im paarweisen Vergleich statistisch gleichauf. Wir haben die ganze Tabelle veröffentlicht, einschließlich der Zeile, die unsere Wahl widerlegte.
Was der Fall nicht sagt
Die Messung wurde auf einem öffentlichen Lesesatz durchgeführt, nicht auf echten Telefonanrufen mit Lärm und Überlappungen. Ein gutes Ergebnis auf diesem Satz garantiert nicht dasselbe Ergebnis am Telefon. Deshalb wird für einen Kunden die Testbank auf seinen Aufnahmen neu aufgebaut — sonst messen wir etwas anderes als das, was ihn interessiert.
Fragen
Nein. Kein von uns feinabgestimmtes oder trainiertes Modell läuft in der Produktion, und es gibt in unseren Repositorien keinen gespeicherten Checkpoint. Was wir haben: die Trainingspipeline, bis hin zum exakten Befehl zum Starten der GPU-Maschine geschrieben, das für drei Szenarien berechnete Budget, die vorbereiteten Daten und die geprüften Lizenzen — sowie eine schriftlich festgehaltene Liste dessen, was vor dem ersten Lauf entschieden werden muss. Wir sagen das lieber, als eine Kompetenz zu verkaufen, die wir nicht ausgeübt haben.
Weil die Arbeit, die in den meisten Fällen das Ergebnis bringt, nicht das Training ist. Es ist zu wissen, welches Modell auf Ihren Daten die Aufgabe erfüllt, mit welcher Latenz und zu welchen Kosten pro Aufruf — und das erfordert eine Messung, die fast niemand macht. Ein Beispiel aus unserer Arbeit: Ein einziger falscher Standardwert in einer Modellkonfiguration (eine Wiederholungsstrafe, auf 1,2 statt 1,0 gesetzt) kostete 4,3 Prozentpunkte Fehler. Es brauchte kein Training, sondern Messung.
Beginnen Sie fast immer mit der Dokumentensuche. Sie ist reversibel, lässt sich durch das Ändern einer Datei aktualisieren und kann die Quelle der Antwort anzeigen. Die Feinabstimmung verändert das Verhalten des Modells auf eine Weise, die Sie nicht inspizieren können, erfordert beschriftete Daten, Nutzungsrechte und eine Messung vor und nachher. Wir empfehlen die Feinabstimmung, wenn wir den Nachweis haben, dass die erste Variante nicht ausreicht — zum Beispiel, als wir gezeigt haben, dass ein Offline-Modell nicht allein durch Konfiguration zu einem Modell im Stream wird: Durch das Verengen des Aufmerksamkeitsfensters ohne erneutes Training stieg der Fehler von 8,81 % auf 22,26 % und dann auf 48,95 %.
Nein, und kein ehrlicher Anbieter kann das, denn die Genauigkeit hängt von Ihren Daten ab. Wir garantieren die Methode: Wir messen an Ihren Fällen, zeigen das Konfidenzintervall und sagen, wenn der Unterschied zwischen zwei Optionen statistisch nicht signifikant ist. Wir hatten einen Fall, in dem ein von den Autoren eines Modells veröffentlichter Wert sich bei uns nicht reproduzieren ließ — sie berichteten 20,70 %, wir maßen 26,68 % am selben Modell. Wir schrieben, dass wir nicht wissen, warum, statt die bequeme Zahl zu wählen.
Das hängt vom gewählten Weg ab, und es ist eine Entscheidung, kein Zufall. Über das Gateway gelangt die Anfrage an den Anbieter des Modells. Wenn das nicht akzeptabel ist, haben wir die lokale Kette funktionsfähig: Spracherkennung und Sprachsynthese laufen auf Ihrer Maschine, wobei von der Maschine nur Text ausgeht, niemals Audio. In einem Produkt zur Radioüberwachung sind die lokale Transkription und die Transkription über das Gateway beide implementiert, daher können wir den Kompromiss zwischen ihnen mit Zahlen zeigen.
Das passiert. Deshalb umfasst die Arbeit eine Regressionstestbank mit festen Fällen, die regelmäßig ausgeführt wird und die Übereinstimmung mit dem Schema vergleicht, einen Plausibilitätstest besteht und die Ähnlichkeit mit den Referenzantworten misst. Und deshalb läuft die Integration über das Gateway: Das Modell wird über ein Feld geändert, nicht durch Umschreiben des Codes.
Der Projektschlüssel hat eine Whitelist von Modellen, Budget und Zeitraum und kann unter Beibehaltung der Historie rotiert werden. Der Verbrauch wird täglich nach Nutzer, Schlüssel und Modell konsolidiert. Eine Falle, die wir von Anfang an korrigieren: Reasoning-Modelle erzeugen interne Schritte, die das Tracking-System nicht sieht, der Anbieter aber abrechnet — deshalb wird das Bruttobudget des Schlüssels niedriger gesetzt als das gewünschte Limit, geteilt durch einen Reasoning-Faktor. Wer diese Korrektur nicht vornimmt, sieht den Schlüssel im Budget und die Rechnung darüber.
Weil „öffentlich“ und „kommerziell nutzbar“ verschiedene Dinge sind, und der Unterschied sich spät und teuer herausstellt. Drei Beispiele aus unseren Prüfungen: ein großes rumänisches Korpus, nicht-kommerziell lizenziert, also für ein kommerzielles Produkt ausgeschlossen; ein Datensatz mit Hunderttausenden Beispielen mit Code unter permissiver Lizenz, aber Daten ohne irgendeine deklarierte Lizenz; und die Nutzungsrichtlinie eines Sprachanbieters, die das Training eines Modells auf seiner Ausgabe ausdrücklich verbietet. Die Prüfung erfolgt auf der Seite der Quelle, nicht auf dem, was ein Artikel wiederholt.
Es trainiert heute keine Foundation-Modelle und verspricht kein eigenes Modell in der Produktion. Es garantiert keine Verbesserungsprozente. Es vergleicht kein Modell mit der Konkurrenz auf Basis der von der Konkurrenz veröffentlichten Zahlen — wenn wir den Vergleich nicht selbst ausgeführt haben, sagen wir, dass es sich um eine von ihnen angegebene Zahl handelt, nicht um eine von uns gemessene.
26 davon sind Code und Dateien aus unseren Repositories. Wir veröffentlichen weder ihren Namen noch die Zeile: zusammen, auf einer einzigen Seite, würden sie zu genau beschreiben, wie Systeme gebaut sind, die nicht nur uns gehören. Wir gehen sie mit Ihnen durch, im Repository, auf Anfrage — die Überprüfung bleibt möglich, sie findet nur in einem Gespräch statt.
Erzählen Sie uns von Ihrem Prozess. Gemeinsam legen wir fest, was sich zu bauen lohnt, was wir anbinden können und wie wir das Ergebnis prüfen.