Document ID: /fineweb-2-swissfilter-quality_10-filterrobots/filtered/03502.jsonl.gz/57

Google-Forscher arbeiten an einer Möglichkeit, Sprache direkt in eine andere Sprache zu übersetzen, ohne sie zuvor in Text umzuwandeln. Googles Translatotron kann auch die Stimme des Sprechers aufrechterhalten.
Die Technik arbeitet mit einem neuronalen Netzwerk, das Spektogramme analysiert und in ein Spektogramm umwandelt, das der Sprache entspricht, in die übersetzt werden soll. Laut den Forschern ist Translatotron das erste End-to-End-Modell, das Sprache direkt in eine andere Sprache übersetzen kann.
Es ist bereits möglich, gesprochene Texte zu übersetzen und in einer anderen Sprache wieder sprechen zu lassen, aber die Sprache wird zuerst in Text umgewandelt, der dann übersetzt und dann wieder in Sprache umgewandelt wird. So funktioniert jetzt auch Google Translate.
Durch die direkte Übersetzung von Sprache, ohne dass zuvor Text geschrieben wurde, kann laut Google auch die Stimme des Sprechers erhalten bleiben. Zu diesem Zweck wird ein optionaler Lautsprecherkodierer verwendet, der sicherstellen muss, dass die Eigenschaften der übersetzten Sprache erhalten bleiben.
Ob und wann Translatotron in der Praxis eingesetzt wird, ist noch nicht bekannt. Beispiele für die neue Übersetzungsmethode finden Sie auf GitHub. Die vollständige Forschung kann auf ArXiv gefunden werden.