Expertise · Transkription und Übersetzung
Wir transkribieren Audio in Echtzeit oder aus einer Datei, übersetzen in Kundengesprächen zwischen Rumänisch und Russisch und liefern den Text mit Zeitmarken, Audio-Export und einer Spur der Zustimmung. Die Spracherkennung betreiben wir über Anbieter, über unser Gateway; das eigene Rumänisch-Modell ist Forschung, kein Produkt.
Bereits gebautZwei eigene Implementierungen, beide offen und zitiert. Die erste ist eine Anwendung für Streaming-Transkription, mit einem 3.378 Zeilen langen Express-Backend in 25 Dateien und 37 Tests, die wir heute ausgeführt haben — alle bestehen; sie enthält den Teil, den niemand aus Begeisterung baut: ein Einwilligungs-Gate, das die Erfassung verweigert, wenn keine registrierte Zustimmung vorliegt. Die zweite läuft in Produktion, bei realen Kunden: eingehende Sprachnachrichten auf Messaging-Kanälen werden transkribiert, und die von einem Operator auf Rumänisch geschriebene Antwort wird vor dem Versand in die Sprache des Kunden umgeschrieben. Was nicht in „delivered“ fällt und auf der Seite auch so formuliert ist: Das eigene Modell für Erkennung und Synthese auf Rumänisch ist Forschung — es hat keine öffentliche Demo, keine Programmierschnittstelle, und in Bezug auf die Genauigkeit auf Rumänisch liegt es hinter großen kommerziellen Systemen zurück. Der Dienst wird für das verkauft, was läuft, nicht für das, was wir studieren.
Transkription scheint ein gelöstes Problem zu sein, bis Sie sie auf Rumänisch anwenden, mit zwei Sprechern, die sich unterbrechen, schnell gesprochenen Zahlen und einem Kunden, der mitten im Satz ins Russische wechselt. Dann treten die drei echten Probleme auf: Welches Modell wählen Sie für die Sprache vor Ihnen, wie wissen Sie, wo ein Sprechabschnitt endet, und wer hat Ihnen erlaubt, aufzuzeichnen. Wir kümmern uns um alle drei, und das letzte behandeln wir als ein Codierungsproblem, nicht als einen Absatz in einer Richtlinie.
In unserer Streaming-Transkriptionsanwendung erhält der Browser niemals den Schlüssel des Anbieters. Er fordert vom Backend ein Einmal-Token an, standardmäßig 15 Minuten gültig, mit dem die Transkriptionsverbindung geöffnet wird; die Route, die das Token ausstellt, ist standardmäßig geschlossen und kann nur durch eine explizite Einstellung außerhalb der Produktion geöffnet werden, gerade weil es die Route ist, über die Geld verbraucht wird. Über die Rohtranskription läuft eine Analyse durch ein Sprachmodell mit einer Liste von Ausweichmodellen in Reihenfolge, damit die Nichtverfügbarkeit eines Modells die Sitzung nicht stoppt.
Das Zustimmungs-Gateway ist der Teil, den wir besonders pflegen. Bevor ein Stück Audio akzeptiert wird, fordert der Server einen nicht widerrufenen Zustimmungsdatensatz für die jeweilige Sitzung an. Wenn keiner vorhanden ist, antwortet er mit 451 und einer Nachricht auf Rumänisch. Wenn die Datenbank nicht antwortet, verweigert er alles — 503, nicht „durchlassen“. Bereits verifizierte Sitzungen laufen über einen Zehn-Minuten-Cache, damit ein kurzer Ausfall eine laufende Aufzeichnung nicht unterbricht. Es ist so geschrieben, dass es nicht durch einen Konfigurationsfehler umgangen werden kann.
Der Teil, der bereits bei Kunden läuft, ist ein anderer und weniger spektakulär: Auf Messaging-Kanälen wird eine eingehende Sprachnachricht zu Text, und die Sprache wird durch Abstimmung über die letzten acht Nachrichten der Unterhaltung ausgewählt, nicht durch Raten anhand des Audios. Umgekehrt wird, wenn ein Kollege auf Rumänisch antwortet, sein Text in die Sprache des Kunden mit strengen Anweisungen umgeschrieben — er fügt keine Informationen hinzu, erfindet keine Preise oder Fristen, widerspricht dem Operator nicht und behandelt den Text des Operators strikt als zu übertragende Daten, niemals als Anweisungen für das Modell.
Was dazugehört
Die Zustimmungsprüfung verlangt einen nicht widerrufenen Eintrag im Zustimmungsregister für die aktuelle Sitzung. Ohne ihn: 451, mit Meldung auf Rumänisch. Bei ausgefallener Datenbank: 503, also Ablehnung, kein Durchlass. Bereits geprüfte Sitzungen laufen über einen 10-Minuten-Cache, damit die Prüfung die Datenbank nicht bei jedem Audiostück belastet.
Die Seite fordert vom Backend ein Token für die Echtzeit-Transkription an, standardmäßig 900 Sekunden gültig, und öffnet damit die Verbindung zum Anbieter. Der Kontoschlüssel gelangt niemals in den Browser. Die Anfrage an den Anbieter hat ein Timeout von 30 Sekunden, und dessen Überschreitung gibt einen ausdrücklichen Fehler zurück, keine endlose Wartezeit.
In der Produktion wird auf den Messaging-Kanälen die Sprache der Sprachnachricht per Abstimmung über die letzten acht Nachrichten der Unterhaltung bestimmt — Russisch, wenn es dominiert, sonst Rumänisch — und erst danach wird die Erkennung aufgerufen, mit ausdrücklich übergebenem Sprachhinweis. Das Dateiformat wird anhand der ersten 12 Bytes erkannt, nicht anhand der Erweiterung, da Sprachnachrichten auf Meta-Kanälen als `ogg` ankommen, unabhängig davon, wie sie benannt sind.
Wenn ein Kollege in einem internen Thread auf Rumänisch antwortet, wird die Nachricht an den Kunden in die Sprache des Kunden umgeschrieben. Die Regeln sind im Code ausdrücklich: Es werden keine Informationen hinzugefügt, keine Details, Preise, Zeiten oder Versprechen erfunden, der Operator wird nicht widersprochen, und der Text des Operators wird strikt als zu übermittelnde Daten behandelt, niemals als Anweisungen für das Modell — eine Maßnahme gegen Prompt-Injection, keine Stilformulierung.
Über dem resultierenden Text läuft eine Analyse mit einem Sprachmodell, mit einer geordneten Liste alternativer Modelle im Code, damit eine Nichtverfügbarkeit die Qualität verschlechtert, nicht die Sitzung stoppt. Das Analysemodell kann aus der Konfiguration geändert werden, ohne erneute Inbetriebnahme.
WAV wird ohne externe Werkzeuge erzeugt. FLAC und MP3 erfordern `ffmpeg`; wenn es fehlt, antwortet der Server mit 501 samt Grund, und wenn der Prozess hängen bleibt, wird er nach 60 Sekunden gestoppt und gibt 504 mit den ersten zweitausend Zeichen des Fehlers zurück. Ein fehlgeschlagener Export sagt warum.
Die verbrauchten Minuten werden atomar über eine Prozedur in der Datenbank abgezogen, und die Kosten werden in einem separaten Register beim Anbieter geschrieben. Es sind zwei verschiedene Dinge und sie gehen unterschiedlich kaputt: Wenn der Kosten-Eintrag nicht mit der Sitzung verknüpft werden kann, wird er unverknüpft gespeichert, damit die Kosteninformation nicht verloren geht.
Das Ausstellen von Token, die Analyse und der Export haben getrennte Limits, und der Zählschlüssel ist der authentifizierte Benutzer, wenn vorhanden, nicht die IP-Adresse — sonst würde ein einzelner aggressiver Benutzer hinter einem gemeinsamen Netz das Kontingent aller seiner Kollegen aufbrauchen.
Die vom Kunden empfangene Sprachnachricht wird im selben Gespräch zu Text, ohne dass jemand ein anderes Werkzeug öffnet. Erkennung und Synthese laufen über unser Gateway, nicht direkt zum Anbieter, also erscheint der Verbrauch am selben Ort wie der Rest.
Wie es aussieht
Wer spricht, wer informiert wird, wer zustimmt, wer die Aufzeichnung aufbewahrt und wie lange. Das Ergebnis ist kein Dokument, das in einer Schublade liegt, sondern die Konfiguration des Gates: was genau „bestehende Einwilligung“ in der Kundensituation bedeutet und was geschieht, wenn sie fehlt.
Rumänisch und Russisch verhalten sich unterschiedlich, ebenso ein Tischmikrofon im Vergleich zu einem komprimierten Telefonanruf. Die Wahl des Modells, der Sprachkennung und der Segmentierungsstrategie erfolgt anhand von Stichproben aus dem echten Material des Kunden, nicht anhand einer sauberen Demo.
Token, Verbindung, Transkription, Analyse, Export. Danach prüfen wir die Fälle, die wirklich passieren: fehlende Zustimmung, Datenbank mitten in der Sitzung ausgefallen, abgelaufenes Token, `ffmpeg` nicht vorhanden, Anbieter nicht verfügbar. Jeder Fall muss eine Meldung ausgeben, die sagt, was kaputtgegangen ist.
Minutenzählung, Kostenregister, Verkehrsschwellen pro Benutzer und Protokolle. Ohne sie wird der erste Vorfall aus der Erinnerung besprochen.
Die Daten
Die Fragen, die jede Person mit einem Datenschutzbeauftragten stellt — hier gestellt, bevor er sie stellt.
Ein Fall
Die Ausgangslage
Ein Besprechungsszenario mit mehreren Teilnehmern, in dem die Transkription im Browser hätte starten sollen und die Aufzeichnung hätte aufbewahrt werden sollen. Die Situation, in der die meisten Transkriptionswerkzeuge ausfallen: Jemand drückt „aufzeichnen“, bevor die Einwilligung der Teilnehmer irgendwo festgehalten wurde.
Was wir gebaut haben
Ich habe die Prüfung der Einwilligung in den Anfrageweg gelegt, nicht auf einen Warnbildschirm. Der Server sucht eine nicht widerrufene Einwilligungszeile für die aktuelle Sitzung, bevor er das erste Stück Audio akzeptiert. Ich habe auch das Verhalten im Fehlerfall bewusst festgelegt: Wenn die Datenbank, die die Einwilligungen hält, nicht antwortet, wird die Anfrage mit 503 abgelehnt, nicht durchgelassen. Bereits geprüfte Sitzungen bleiben zehn Minuten im Cache, damit ein kurzer Ausfall eine laufende Aufnahme nicht unterbricht. Die Route, die Tokens an den Anbieter ausgibt, ist standardmäßig geschlossen und kann nur über eine explizite Einstellung außerhalb der Produktion geöffnet werden.
Was dabei herauskam
Ohne festgehaltene Einwilligung gibt die Erfassung 451 mit einer Nachricht auf Rumänisch zurück, und das Ereignis wird mit Sitzung und Arbeitsbereich protokolliert. Das Verhalten ist durch Tests abgedeckt, die ohne Datenbank laufen, indem die Prüfung injiziert wird. Die Backend-Suite hat 37 Tests; beim heutigen Lauf bestehen alle.
Was der Fall nicht sagt
Die Anwendung ist nicht veröffentlicht — sie läuft bei uns, hat keine Seite, auf der Sie sich anmelden können, und das Recht, ein bestimmtes Gespräch aufzuzeichnen, bleibt beim Kunden: Wir setzen es technisch durch, wir erteilen es nicht. Und noch eine Grenze: Das Tor prüft das Vorhandensein der Einwilligung, nicht ihre rechtliche Qualität. Wenn der Einwilligungstext schlecht formuliert ist, wird der Code ihn genau so anwenden.
Fragen
Wir arbeiten mit Rumänisch und Russisch, weil das die Sprachen sind, in denen unsere echten Probleme auftreten und die wir mit eigenem Material prüfen können. Andere Sprachen sind technisch über dieselben Anbieter möglich, aber bevor wir etwas versprechen, machen wir einen Test mit Ihren Aufnahmen — eine Sprache funktioniert oder funktioniert nicht je nach Audio, nicht nach der Liste auf der Anbieterseite.
In der Forschung, nicht im Produkt, und es ist wichtig, diese beiden nicht zu verwechseln. Die eigene Richtung hat keine öffentliche Demo, keine Programmierschnittstelle und keine Telefonie, und bei der Erkennungsgenauigkeit für Rumänisch zeigen unsere Messungen, dass wir gegenüber großen kommerziellen Systemen zurückliegen. Wir veröffentlichen das, weil es unser eigenes Ergebnis ist, gewonnen auf unserem eigenen Testsystem. Der Dienst, den wir heute verkaufen, läuft über Anbieter, über unser Gateway.
Das Recht wird je nach Situation mit dem Kunden vor der Installation festgelegt — das ist nichts, was wir übertragen können. Was wir tun, ist, es im Code durchzusetzen: Ohne eine aufgezeichnete Einwilligung für die aktuelle Sitzung lehnt der Server die Erfassung mit 451 und einer Nachricht auf Rumänisch ab. Wenn die Datenbank, die die Einwilligungen hält, nicht antwortet, lehnt er auch dann mit 503 ab. Es gibt keine Konfiguration, die das Fehlen der Einwilligung in stilles Durchlassen verwandelt.
Nein. Die Seite fordert vom Backend einen Einmal-Token für die Transkriptionssitzung an, standardmäßig 900 Sekunden gültig, und öffnet damit die Verbindung. Der Kontoschlüssel bleibt auf dem Server. Außerdem ist die Route, die Tokens ausgibt, standardmäßig geschlossen und kann nur über eine explizite Einstellung außerhalb der Produktion geöffnet werden, weil es die Route ist, die Geld verbraucht.
Es hängt mehr vom Audio als vom Modell ab: Mikrofon, Überschneidungen, Zahlen, Eigennamen, Hintergrundrauschen. Wir geben Ihnen keinen Prozentsatz, bevor wir Ihr Material hören, weil ein von einem Produktblatt übernommener Prozentsatz nichts über Ihre Sitzungen aussagt. Was wir tun, ist ein Test mit echten Aufnahmen, mit offen gelegten Fehlern — in der Regel scheitert es an Zahlen und Namen, nicht an Sätzen.
Ja, und es läuft bereits in der Produktion in einem Sinn: Der Kollege schreibt die Antwort auf Rumänisch, und die Nachricht geht in der Sprache des Kunden an den Kunden. Die Regeln sind im Code strikt — keine hinzugefügten Informationen, keine erfundenen Preise oder Fristen, kein Widerspruch zum Operator. Die umgekehrte Richtung, vom Kunden zum Operator, wird heute durch die Transkription von Sprachnachrichten gelöst; die automatische Übersetzung des Kundentextes zum Operator ist nicht überall aktiviert, und das sagen wir vorher, nicht nachher.
Das Format wird am Inhalt der Datei erkannt, nicht an der Erweiterung — WAV, OGG, MP3 und M4A werden ausdrücklich behandelt, und Sprachnachrichten aus Messaging-Kanälen kommen in der Regel als OGG an. Sie erhalten das Transkript, die Analyse, falls verlangt, und exportiertes Audio: WAV ohne Abhängigkeiten, FLAC und MP3, wenn `ffmpeg` auf dem Server vorhanden ist. Wenn nicht, sagt der Server das mit einem eigenen Code, statt allgemein zu scheitern.
Nein. Außerdem verwenden wir die Ausgabe von Sprachanbietern auch nicht, um ein konkurrierendes Modell zu trainieren oder zu testen — ihre Nutzungsbedingungen verbieten das ausdrücklich, und wir halten uns auch in unserer eigenen Forschungsrichtung daran, dort, wo es bequem gewesen wäre, es nicht zu tun.
Die Sitzung wird mit einem Fehler beendet, der die Ursache nennt, nicht mit einem leeren Bildschirm. Für die Analyse gibt es im Code eine geordnete Liste von Ersatzmodellen, daher verschlechtert sich dort bei Nichtverfügbarkeit die Qualität, statt den Ablauf zu stoppen. Für die Spracherkennung in Echtzeit haben wir keine automatische Redundanz zwischen Anbietern, und das ist eine echte Grenze, keine Auslassung.
13 davon sind Code und Dateien aus unseren Repositories. Wir veröffentlichen weder ihren Namen noch die Zeile: zusammen, auf einer einzigen Seite, würden sie zu genau beschreiben, wie Systeme gebaut sind, die nicht nur uns gehören. Wir gehen sie mit Ihnen durch, im Repository, auf Anfrage — die Überprüfung bleibt möglich, sie findet nur in einem Gespräch statt.
Erzählen Sie uns von Ihrem Prozess. Gemeinsam legen wir fest, was sich zu bauen lohnt, was wir anbinden können und wie wir das Ergebnis prüfen.