Die Synchronisation selbst (das „Alignment“) basiert im Kern auf der quelloffenen „Forced Alignment“ Software „Aeneas“ von Alberto Pettarin, welche wir für Open Parliament TV angepasst haben. Diese Komponente verwenden wir, um ein zeitbasiertes Transkript zu erstellen (einzelne Textbausteine sind Start- und Endzeitpunkten im Video zugeordnet).
Das Verfahren welches wir verwenden kommt ursprünglich aus der Musikwissenschaft und basiert auf dem visuellen Vergleich von Audiowellen. D.h. wir wenden kein „Speech-zu-Text“ Verfahren auf Grundlage des Audiosignals an, sondern setzen umgekehrt „Text-to-Speech“ ein, um aus dem Plenarprotokoll eine Audioversion zu erstellen. Die Waveform dieser generierten Audioversion wird dann visuell mit der Waveform des Originaltons verglichen. Dies macht das Verfahren nahezu sprachenunabhängig, da die Pausen, in denen nicht gesprochen wird, für die Synchronisation wichtiger sind als das gesprochene Wort. Daher ist es für uns auch kein Problem, wenn Johann Saathoff plötzlich Plattdeutsch spricht.
Dem Alignment vorgeschaltet sind viele kleine Einzelschritte, über die wir herausfinden, welches Video überhaupt zu welchem Textabschnitt im Protokoll passt.