# Optische Notenerkennung

Optische Notenerkennung (englisch Optical Music Recognition, Abkürzung: OMR) ist das Forschungsfeld, das das computergestützte Lesen musikalischer Notenschrift in Dokumenten untersucht. Das Ziel ist es, aus einem vorliegenden Notentext die Noten in einer maschinenverständlichen Form zu extrahieren, so dass sie in verschiedene Formate exportiert werden kann, um die Musik wiederzugeben (z. B. mittels MIDI) oder erneut zu setzen (z. B. mittels MusicXML).
In der Vergangenheit wurde OMR auch als Form der optischen Zeichenerkennung angesehen und Music OCR genannt. Aufgrund zahlreicher signifikanter Unterschiede sollten diese Ausdrücke jedoch nicht vermischt und die Bezeichnung Music OCR vermieden werden.

## Geschichte

Forschung im Bereich der optischen Notenerkennung begann in den späten 1960ern am MIT, als die ersten Scanner für Forschungszwecke leistbar wurden. Da der Arbeitsspeicher der verwendeten Computer ein limitierender Faktor war, beschränkten sich die ersten Versuche auf wenige Takte (siehe den ersten publizierten Scan). 1984 entwickelte eine japanische Forschungsgruppe an der Waseda-Universität einen spezialisierten Roboter namens WABOT (WAseda roBOT), welcher die gedruckten Noten vor sich lesen und einen Sänger auf einer elektrischen Orgel begleiten konnte.
Entscheidende Forschungsfortschritte in der Anfangszeit wurden von Ichiro Fujinaga, Nicholas Carter, Kia Ng, David Bainbridge und Tim Bell erbracht, die eine Reihe von Ansätzen entwickelt haben, die heute noch in einigen Systemen verwendet werden.
Mit zunehmender Verfügbarkeit von kostengünstigen Scannern konnten sich mehr Forscher der optischen Notenerkennung widmen, und die Anzahl der Projekte nahm zu. 1991 wurde die erste kommerzielle Lösung MIDISCAN (inzwischen SmartScore) von der Musitek Corporation entwickelt.
Mit der Verbreitung von Smartphones, die mit ausreichend guten Kameras und genügend Rechenkapazität ausgestattet sind, wurden einige mobile Lösungen möglich, bei denen mit dem Smartphone aufgenommenen Fotos direkt am Gerät verarbeitet werden.

## Beziehung zu anderen Forschungsgebieten

Die optische Notenerkennung steht in Beziehung zu einigen anderen Forschungsgebieten, insbesondere zu maschinellem Sehen, Dokumentenanalyse und Music Information Retrieval. Aus Sicht der musikalischen Praxis kann OMR als Eingabemethode von Noten in den Computer verstanden werden, wodurch das Bearbeiten und Transkribieren von Musiknoten sowie das Komponieren erleichtert werden kann. In Bibliotheken kann OMR genutzt werden, um Notenarchive durchsuchbar zu machen, und musikwissenschaftliche Studien können dank OMR kostengünstig im großen Rahmen durchgeführt werden.

### OMR vs. OCR

Optische Notenerkennung wird häufig mit optischer Zeichenerkennung (engl. Optical Character Recognition, kurz OCR) verglichen. Obwohl es viele Gemeinsamkeiten gibt, ist die Bezeichnung „Music OCR“ aufgrund von entscheidenden Unterschieden irreführend. Der erste Unterschied ist, dass Musiknotation ein konfiguratives Schreibsystem ist. Das bedeutet, dass die Semantik nicht von den verwendeten Symbolen abhängig ist (z. B. Notenköpfe, Notenhälse, Fähnchen), sondern von der Art, wie diese auf den Notenzeilen platziert werden. Zwei-dimensionale Beziehungen und der Kontext sind entscheidend für die korrekte Interpretation von Noten. Im Gegensatz dazu ist bei Text üblicherweise nur die Textlinie entscheidend – geringfügige Abweichungen davon verändern nicht die Bedeutung des Textes. Er kann also als eindimensionaler Fluss von Informationen entlang der Textlinie angesehen werden.
Der zweite große Unterschied liegt an den Erwartungen. Ein OCR-System endet üblicherweise bei der Erkennung von Buchstaben und Wörtern, von einem OMR-System wird hingegen erwartet, dass es auch die Semantik rekonstruiert (z. B. aus einem gefüllten Notenkopf und einem angehängten Notenhals darauf schließt, dass es sich um eine Note mit einer bestimmten Dauer handelt). Die graphischen Konzepte (Position, Art des Symbols) müssen also in musikalische Konzepte (Tonhöhe, Notendauer …) durch Anwenden der Regeln von Musiknotation übersetzt werden. In der Texterkennung gibt es kein passendes Äquivalent für diesen Schritt; die Anforderungen an ein OMR-System sind daher ähnlich komplex, wie die Erwartung, dass OCR aus dem Screenshot einer Webseite den HTML-Quellcode rekonstruiert.
Der dritte große Unterschied ist der Zeichensatz. Während es auch in anderen Schriftsystemen wie der chinesischen Schrift ausgesprochen komplexe Symbole und umfangreiche Zeichensätze gibt, ist der Zeichensatz von Musiknotation dadurch geprägt, dass die Symbole enorme Größenunterschiede haben können – von kleinen Punkten bis hin zu Klammern, die eine ganze Seite umspannen. Manche Symbole haben sogar eine nahezu unbeschränkte Darstellungsart wie Binde- und Phrasierungsbögen, die lediglich als mehr oder weniger glatte Kurven definiert werden, die beliebig unterbrochen werden können.

## Verfahren

Die Erkennung von Noten erfolgt üblicherweise in mehreren Teilschritten, die mittels spezieller Algorithmen aus dem Bereich der Mustererkennung gelöst werden.
Eine Reihe von konkurrierender Ansätze existiert, wobei die meisten eine Art Pipeline vorsehen, wo jeder Schritt eine spezielle Funktion erfüllt, z. B. das Erkennen und Entfernen von Notenlinien, bevor der nächste Schritt ausgeführt wird. Ein häufiges Problem dieser Methoden ist, dass sich Fehler durch das System fortpflanzen und vermehren. Zum Beispiel führt das Übersehen von Notenzeilen in den ersten Schritten dazu, dass die folgenden Schritte diesen Bereich des Bildes vermutlich ignorieren werden, wodurch die Ausgabe unvollständig ist.
Die optische Notenerkennung wird häufig unterschätzt, da es sich um ein scheinbar einfaches Problem handelt: Arbeitet man mit einem perfekten Scan von gedruckten Noten, kann die visuelle Erkennung mit einer Reihe von relativ einfachen Algorithmen wie Projektionen oder Pattern Matching gelöst werden. Der Prozess wird jedoch signifikant schwieriger, wenn der Scan eine niedrige Qualität aufweist oder wenn handschriftliche Notizen erkannt werden sollen – eine Herausforderung, an der fast alle Systeme scheitern. Selbst bei einer perfekten visuellen Erkennung stellt die Rekonstruktion der musikalischen Semantik aufgrund von Mehrdeutigkeiten und häufigen Verletzungen der Regeln der Musiknotation (wie in Chopins Nocturne) noch immer eine große Herausforderung dar. Donald Byrd und Jakob Simonsen behaupten, dass OMR deshalb so schwierig ist, weil moderne Musiknotation enorm komplex ist.
Donald Byrd hat eine Reihe von interessanten Beispielen auf seiner Website gesammelt sowie einige extreme Beispiele, welche demonstrieren wie weit die Regeln der Musiknotation gebogen werden können.

## Ausgaben von OMR Systemen

OMR-Systeme erzeugen typischerweise eine Version der Noten, die akustisch wiedergegeben werden kann (Wiedergabefähigkeit, engl. Replayability). Die häufigste Art, wie so eine Version erzeugt werden kann, ist über die Generierung einer MIDI-Datei, die mithilfe von einem Synthesizer in eine Audiodatei umgewandelt werden kann. MIDI-Dateien sind jedoch eingeschränkt in der Information, die sie speichern können. So können diese beispielsweise keinerlei Information über den visuellen Notensatz (wie die Noten konkret angeordnet waren) speichern.
Ist das Ziel der Software die Herstellung einer Version, die gedruckt und von Menschen gut gelesen werden kann, muss die vollständige Information wiederhergestellt werden, inklusive präziser Layoutinformationen des Notensatzes. Geeignete Formate für diese Aufgaben sind MEI und MusicXML.
Neben den beiden genannten Anwendungen kann es auch interessant sein, aus einem Bild lediglich Metainformation zu extrahieren, oder dieses nur durchsuchbar zu machen. Hier mag ein geringeres Verständnis der Noten ausreichend sein.

## Generelles Modell (2001)

Im Jahr 2001 veröffentlichten David Bainbridge und Tim Bell einen Überblick über die Forschungsaktivitäten, die bis dahin stattgefunden hatten. Sie extrahierten daraus ein generelles Modell für OMR, welches nach 2001 als Vorlage für zahlreiche System diente. Sie unterteilten die Aufgabe in vier Schritte, die sich hauptsächlich mit der visuellen Erkennung befassen. Die Autoren stellten fest, dass das Erkennen der musikalischen Semantik in wissenschaftlichen Arbeiten häufig nicht beschrieben wird, da diese Operationen auch vom Ausgabeformat abhängen.

## Verfeinertes Modell (2012)

Im Jahr 2012 verfassten Ana Rebelo et al. eine weitere Untersuchung über die verwendeten Techniken zur optischen Notenerkennung. Die gefundenen Arbeiten wurden kategorisiert, und ein verfeinertes Modell wurde vorgeschlagen mit vier Hauptbestandteilen: Vorverarbeitung, Musiksymbolerkennung, Rekonstruktion der Musiknotation und Konstruktion der finalen Repräsentation. Dieses Modell wurde der de-facto Standard für OMR und wird noch heute so verwendet (wenn auch manchmal mit leicht abweichenden Namen). Für jeden dieser vier Blöcke gibt die Arbeit einen Überblick über die hierzu verwendeten Techniken. Die Arbeit war 2019 die am häufigsten zitierte Publikation.

## Deep Learning (seit 2016)

Mit dem Aufkommen von Deep Learning haben sich viele Probleme der maschinellen Erkennung gewandelt, da an die Stelle händisch erstellter Heuristiken und dem Entwickeln geeigneter Merkmale das maschinelle Lernen getreten ist. Die Notenzeilenverarbeitung, die Musiksymbolerkennung sowie die Rekonstruktion der Musiknotation haben durch Deep Learning signifikante Fortschritte erfahren.
Teilweise entstanden sogar völlig neue Methoden, die versuchen, OMR direkt durch Verwendung von Sequenz-zu-Sequenz-Modellen zu erreichen. Diese Verfahren wandeln ein Bild von Musiknoten direkt in eine vereinfachte Sequenz von erkannten Noten um.

## Bedeutsame wissenschaftliche Projekte
### Wettbewerb zur Notenzeilenerkennung

Für Systeme, die vor 2016 entwickelt wurden, stellte die Erkennung und das Entfernen der Notenlinien eine signifikante Herausforderung dar. Ein wissenschaftlicher Wettbewerb wurde organisiert, um den Stand der Technik für dieses Problem zu verbessern. Nachdem bereits sehr gute Ergebnisse erzielt werden konnten und viele moderne Ansätze keine explizite Notenzeilenerkennung mehr benötigen, wurde dieser Wettbewerb nicht weitergeführt.
Ein wichtiger Beitrag dieses Wettbewerbes war die Entwicklung und Veröffentlichung des frei verfügbare CVC-MUSCIMA-Datensatzes. Dieser besteht aus 1000 hochqualitativen Bildern handgeschriebener Noten. 50 verschiedene Musiker transkribierten jeweils eine Seite aus 20 musikalischen Werken unterschiedlichster Art. Eine Weiterentwicklung von CVC-MUSCIMA ist der MUSCIMA++ Datensatz, welcher für 140 ausgewählte Seiten noch weitere detaillierte Annotation enthält.

### SIMSSA

Das Single Interface for Music Score Searching and Analysis (SIMSSA) Projekt ist das vermutlich größte Forschungsprojekt der optischen Notenerkennung. Das Ziel ist die effiziente Bereitstellung von großen Mengen an durchsuchbaren Noten in elektronischer Form. Einige Unterprojekte wurden bereits erfolgreich abgeschlossen, zum Beispiel das Liber-Usualis-Projekt und das Cantus-Ultimus-Projekt.

### TROMPA

Ein weiteres internationales Forschungsprojekt mit dem Ziel, gemeinfreie, digitale Musikressourcen zugänglicher zu machen, ist das Towards Richer Online Music Public-Domain Archives (TROMPA).

## Handgeschriebene Datensätze

Die Entwicklung von OMR-Systemen wird maßgeblich davon beeinflusst, welche Datensätze zur Entwicklung herangezogen werden. Ein ausreichend großer und diverser Datensatz hilft dem zu entwickelnden System, auch mit unterschiedlichsten Eingaben zurechtzukommen. Da Musiknoten durch das Urheberrecht geschützt sind, kann es kompliziert sein, einen entsprechenden Datensatz zu erstellen und zu veröffentlichen. Dennoch gibt es eine Reihe an Datensätzen, die das OMR Dataset Projekt gesammelt und zusammengefasst hat. Die bedeutendsten sind CVC-MUSCIMA, MUSCIMA++, DeepScores, PrIMuS, HOMUS, und der SEILS Datensatz, sowie die Universal Music Symbol Sammlung.

## Software
### Akademische und quelloffene Software

Trotz einer großen Anzahl wissenschaftlicher OMR-Projekte erreichten nur wenige davon einen derart ausgereiften Zustand, dass das Ergebnis an Anwender weitergegeben wurde. Diese Systeme sind:
* Aruspix
* Audiveris
* CANTOR
* Gamera
* DMOS
* OpenOMR
* Rodan

### Kommerzielle Software

Die meisten kommerziellen Desktopanwendungen, die in den letzten 20 Jahren veröffentlicht wurden, sind wegen des mangelnden kommerziellen Erfolgs wieder vom Markt verschwunden. Nur ein paar wenige Anbieter entwickeln, warten und verkaufen derzeit noch OMR-Produkte. Manche dieser Produkte behaupten, Erkennungsraten von nahezu 100 % zu haben, da aber die Kriterien für diese Behauptung unbekannt sind, ist es nahezu unmöglich, verschiedene Produkte miteinander zu vergleichen.
Neben den Desktopanwendungen wurde auch eine Reihe mobiler Anwendungen entwickelt. Alle diese Projekte wurden jedoch wieder eingestellt (oder zumindest seit 2017 nicht mehr aktualisiert). Eine Reihe an OMR-Anwendungen wurden auch für das iPhone und iPad entwickelt und sind im Apple Store verfügbar.
* capella-scan
* ForteScan Light von Fortenotation heute Scan Score
* MIDI-Connections Scan von MIDI-Connections
* MP Scan von Braeburn verwendet das SharpEye SDK.
* NoteScan gebündelt mit Nightingale
* OMeR (Optical Music easy Reader) Add-on for Harmony Assistant and Melody Assistant: Myriad Software (ShareWare)
* PDFtoMusic
* PhotoScore von Neuratron. The Light version of PhotoScore is used in Sibelius. PhotoScore verwendet das SharpEye SDK.
* Scorscan von npcImaging. Based on SightReader(?)
* SharpEye von Visiv
** VivaldiScan (genauso wie SharpEye)
* SmartScore von Musitek. Früher als „MIDISCAN“ verkauft. (SmartScore Lite wurde in früheren Versionen von Finale verwendet).
* ScanScore von Lugert Verlag (Auch im Bundle mit Forte Notensatz.)