(57)【要約】【課題】楽譜の認識率を向上させることができる楽譜認識装置及びプログラムを提供することを課題とする。【解決手段】楽譜認識装置は、楽譜画像を基に一部の楽譜記号を認識する事前認識処理部と、前記事前認識処理部の認識結果を修正する修正部と、前記修正部により修正された認識結果を用いて、前記楽譜画像を基に他の楽譜記号を認識する本認識処理部とを有することを特徴とする。【選択図】図１
2015056149.tif 000002
【特許請求の範囲】
【請求項１】
楽譜画像を基に一部の楽譜記号を認識する事前認識処理部と、
前記事前認識処理部の認識結果を修正する修正部と、
前記修正部により修正された認識結果を用いて、前記楽譜画像を基に他の楽譜記号を認識する本認識処理部と
を有することを特徴とする楽譜認識装置。
【請求項２】
前記事前認識処理部は、拍子記号又は小節線を認識し、
前記本認識処理部は、音符又は休符を認識することを特徴とする請求項１記載の楽譜認識装置。
【請求項３】
前記事前認識処理部は、拍子記号及び小節線を認識し、
前記本認識処理部は、音符及び休符を認識することを特徴とする請求項１記載の楽譜認識装置。
【請求項４】
前記事前認識処理部は、拍子記号、小節線、音部記号及び調号を認識し、
前記本認識処理部は、音符及び休符を認識することを特徴とする請求項１記載の楽譜認識装置。
【請求項５】
前記本認識処理部は、
前記楽譜画像を基に他の楽譜記号を認識する楽譜認識処理部と、
前記修正部により修正された認識結果を用いて、前記楽譜認識処理部の認識結果を修正する推定処理部とを有することを特徴とする請求項１記載の楽譜認識装置。
【請求項６】
前記事前認識処理部は、拍子記号及び小節線を認識し、
前記修正部は、前記事前認識処理部により認識された拍子記号及び／又は小節線を修正し、
前記楽譜認識処理部は、音符及び休符を認識し、
前記推定処理部は、前記修正部により修正された拍子記号及び／又は小節線を用いて、前記楽譜認識処理部により認識された音符及び／又は休符を修正することを特徴とする請求項５記載の楽譜認識装置。
【請求項７】
楽譜画像を基に一部の楽譜記号を認識する事前認識処理ステップと、
前記事前認識処理ステップの認識結果を修正する修正ステップと、
前記修正ステップにより修正された認識結果を用いて、前記楽譜画像を基に他の楽譜記号を認識する本認識処理ステップとをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽譜認識装置及びプログラムに関する。
【背景技術】
【０００２】
楽曲を表現する楽譜に記載される譜表を複数小節線により区切られた複数小節の各々が演奏されるときに経過する小節長さを算出する小節長算出部を有する楽譜認識装置が知られている（例えば、特許文献１参照）。リズムパターン修正部は、複数小節のうちの小節長さが譜表に記載される拍子記号に対応しない誤認小節の誤認リズムパターンを拍子記号に対応するように修正する。リズムパターン辞書データベースは、複数リズムパターンを記憶装置に記録する。リズムパターン修正部は、複数リズムパターンから誤認リズムパターンに類似する類似リズムパターンを検索して誤認リズムパターンを類似リズムパターンに変更する。リズムパターン辞書データベースは、複数リズムパターンに複数符号横位置パターンを対応付ける。リズムパターン修正部は、複数符号横位置パターンから誤認小節に記載される複数の符号の横位置のパターンに類似する類似符号横位置パターンを検索し、類似符号横位置パターンに対応する類似リズムパターンに誤認リズムパターンを変更する。
【０００３】
また、楽譜画像データから記号を認識し、認識された記号を元に楽譜データを生成する楽譜認識装置が知られている（例えば、特許文献２参照）。楽譜認識装置は、手書き楽譜の記号を認識する手書き楽譜認識処理手段を備える。手書き楽譜認識処理手段は、認識用辞書を用いたマッチング処理を実行してマッチング度が最高によい記号を認識とするとともにマッチング度が次によい１つあるいは複数の記号を候補記号として認識する認識機能と、楽譜表記スタイル情報を元に、マッチング度が最高によい記号の妥当性を判定し、妥当でないと判定した場合にマッチング度が最高によい記号を候補記号に変更しつつその妥当性を判定し、妥当と判定された候補記号にマッチング度が最高によい記号を修正する認識結果修正機能を有する。認識結果修正機能は、認識された記号から算出される小節演奏長さと楽譜における楽譜表記スタイル情報としての拍子情報から算出される小節実長さを比較する機能と、小節演奏長さが小節実長さと同じ場合、当該小節のリズムパターンをリズムパターン辞書として保存する機能と、小節演奏長さが小節実長さと異なる場合、当該小節のリズムパターンをリズムパターン辞書と比較し、最も近いリズムパターンになるように記号を修正する機能を含む。
【０００４】
また、紙面の楽譜の情報を含む画像を、画像読み取り手段から取得する画像取得手段を有する楽譜認識装置が知られている（例えば、特許文献３参照）。楽譜認識手段は、画像取得手段により取得された画像に含まれる楽譜を、先ず第１の楽譜認識方法を用いて認識する。間違い箇所検出手段は、認識手段により認識された楽譜の中から間違って認識されている箇所を検出する。制御手段は、間違い箇所検出手段により検出された誤認識箇所を、第１の楽譜認識方法とは異なる楽譜認識方法を用いて楽譜認識を行うように楽譜認識手段を制御する。楽譜修正手段は、第１の楽譜認識方法とは異なる楽譜認識方法を用いて楽譜認識を行った結果、誤認識された箇所が正しく認識された場合に、誤認識された箇所を正しい認識結果で修正する。間違い箇所検出手段は、拍子記号と小節内の音符の拍数とから間違い箇所を検出する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４７３８１３５号公報
【特許文献２】特許第５０３０１４４号公報
【特許文献３】特開２０１２−７３７６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
楽譜には、印刷楽譜と手書き楽譜がある。手書き楽譜の認識は、印刷楽譜の認識に比べて、誤認識が多く、認識率が低い。
【０００７】
本発明の目的は、楽譜の認識率を向上させることができる楽譜認識装置及びプログラムを提供することである。
【課題を解決するための手段】
【０００８】
本発明の楽譜認識装置は、楽譜画像を基に一部の楽譜記号を認識する事前認識処理部と、前記事前認識処理部の認識結果を修正する修正部と、前記修正部により修正された認識結果を用いて、前記楽譜画像を基に他の楽譜記号を認識する本認識処理部とを有することを特徴とする。
【０００９】
また、本発明のプログラムは、楽譜画像を基に一部の楽譜記号を認識する事前認識処理ステップと、前記事前認識処理ステップの認識結果を修正する修正ステップと、前記修正ステップにより修正された認識結果を用いて、前記楽譜画像を基に他の楽譜記号を認識する本認識処理ステップとをコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１０】
特に手書き楽譜の認識は誤認識が多いが、一部の楽譜記号の認識結果を修正し、修正された認識結果を用いて、他の楽譜記号を認識することにより、楽譜の認識率を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、楽譜認識装置の処理方法を示すフローチャートである。
【図２】図２は、認識画面を示す図である。
【図３】図３は、楽譜画像を示す図である。
【図４】図４は、認識対象の楽譜画像の判断結果を示す図である。
【図５】図５は、事前認識結果を修正してから全体を認識するか否かの問い合わせ画面を示す図である。
【図６】図６は、元の楽譜画像を示す図である。
【図７】図７は、事前認識処理部の認識結果を示す図である。
【図８】図８は、修正部の修正結果を示す図である。
【図９】図９は、第１の手書き楽譜認識部の認識結果を示す図である。
【図１０】図１０は、第２の手書き楽譜認識部の認識結果を示す図である。
【図１１】図１１は、楽譜認識装置を実現するためのコンピュータのハードウエア構成例を示す図である。
【図１２】図１２は、楽譜認識装置の構成例を示す図である。
【発明を実施するための形態】
【００１２】
図１２は、本発明の実施形態による楽譜認識装置１２００の構成例を示す図である。楽譜認識装置１２００は、楽譜画像指定部１２０１、五線認識処理部１２０２、認識対象判断部１２０３、認識指示部１２０４、第１の手書き楽譜認識部１２０５、第２の手書き楽譜認識部１２０６、印刷楽譜認識部１２０７、及び表示部１２０８を有する。第１の手書き楽譜認識部１２０５は、事前認識処理部１２１１、修正部１２１２、及び本認識処理部１２１５を有する。本認識処理部１２１５は、楽譜認識処理部１２１３及び推定処理部１２１４を有する。第２の手書き楽譜認識部１２０６は、楽譜認識処理部１２２１及び推定処理部１２２２を有する。印刷楽譜認識部１２０７は、楽譜認識処理部１２３１及び推定処理部１２３２を有する。
【００１３】
図１１は、図１２の楽譜認識装置１２００を実現するためのコンピュータのハードウエア構成例を示す図である。コンピュータは、例えば、パーソナルコンピュータ又はタブレット型コンピュータである。バス１１０１には、中央処理装置（ＣＰＵ）１１０２、ＲＯＭ１１０３、ＲＡＭ１１０４、ネットワークインタフェース１１０５、入力装置１１０６、出力装置１１０７及び外部記憶装置１１０８が接続されている。ＣＰＵ１１０２は、データの処理又は演算を行うと共に、バス１１０１を介して接続された各種構成要素を制御するものである。ＲＯＭ１１０３には、予めＣＰＵ１１０２の制御手順（コンピュータプログラム）を記憶させておき、このコンピュータプログラムをＣＰＵ１１０２が実行することにより、起動する。外部記憶装置１１０８にコンピュータプログラムが記憶されており、そのコンピュータプログラムがＲＡＭ１１０４にコピーされ、ＣＰＵ１１０２により実行される。ＲＡＭ１１０４は、データの入出力、送受信のためのワークメモリ、各構成要素の制御のための一時記憶として用いられる。外部記憶装置１１０８は、例えばハードディスク記憶装置やＣＤ−ＲＯＭ等であり、電源を切っても記憶内容が消えない。ＣＰＵ１１０２は、ＲＡＭ１１０４内のコンピュータプログラムを実行することにより、楽譜認識装置１２００の処理を行う。ネットワークインタフェース１１０５は、インターネット等のネットワークに接続するためのインタフェースである。入力装置１１０６は、パーソナルコンピュータではキーボード及びマウス等であり、タブレット型コンピュータではタッチパネルであり、各種指定又は入力等を行うことができる。また、入力装置１１０６は、楽譜の画像データを生成するためのスキャナを含む。出力装置１１０７は、表示装置、スピーカ及びプリンタ等である。
【００１４】
本実施形態は、コンピュータがプログラムを実行することによって実現することができる。また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体及び上記のプログラム等のコンピュータプログラムプロダクトも本発明の実施形態として適用することができる。記録媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００１５】
図１は、楽譜認識装置１２００の処理方法を示すフローチャートである。図１１のＣＰＵ１１０２は、楽譜認識のプログラムを実行することにより、図１のフローチャートの処理を行う。以下、入力装置１１０６がマウスの例を説明するが、入力装置１１０６がタッチパネルの場合も同様である。
【００１６】
まず、ステップＳ１０１では、表示部１２０８は、図２に示す認識画面を出力装置（表示装置）１１０７に表示する。ユーザが「スキャン」ボタン２０１をマウスでクリックすると、スキャナは、楽譜をスキャンし、楽譜画像のファイルを生成する。なお、スキャナを用いずに、楽譜画像のファイルを準備してもよい。
【００１７】
次に、ステップＳ１０２では、楽譜画像指定部１２０１は、楽譜画像のファイルが登録されたか否かをチェックする。楽譜画像指定部１２０１は、スキャナを用いて楽譜画像のファイルが生成された場合は自動でファイルを登録し、ユーザが直接ファイル指定した場合は指定されたファイルを登録する。ユーザの直接ファイル指定により登録する場合は、例えば画像ファイル２０２を選択して登録する。すると、表示部１２０８は、図３に示すように、登録された楽譜画像３０１を表示する。楽譜画像が登録された場合にはステップＳ１０３に進み、登録されていない場合にはステップＳ１０４に進む。
【００１８】
ステップＳ１０３では、五線認識処理部１２０２は、楽譜画像３０１の五線の認識処理を行う。その後、ステップＳ１０４に進む。
【００１９】
ステップＳ１０４では、ＣＰＵ１１０２は、楽譜画像が１ページ以上登録されているか否かをチェックする。登録されていない場合にはステップＳ１０２に戻り、登録されている場合にはステップＳ１０５に進む。
【００２０】
ステップＳ１０５では、ＣＰＵ１１０２は、ユーザにより「認識実行」ボタン３０２がマウスでクリックされたか否かをチェックする。「認識実行」ボタン３０２がクリックされた場合にはステップＳ１０６に進み、クリックされていない場合にはステップＳ１０２に戻る。
【００２１】
ステップＳ１０６では、認識対象判断部１２０３は、楽譜画像３０１が印刷楽譜及び手書き楽譜のいずれであるかを判断する。楽譜画像３０１内の音符は、符頭（たま）を有する。例えば、認識対象判断部１２０３は、楽譜画像３０１内の複数の音符の符頭（たま）の形状のばらつきが閾値より小さい場合には、楽譜画像３０１が印刷楽譜であると判断し、閾値より大きい場合には、楽譜画像３０１が手書き楽譜であると判断する。
【００２２】
次に、ステップＳ１０７では、表示部１２０８は、図４に示すように、上記の認識対象判断部１２０３の判断結果を出力装置（表示装置）１１０７に表示する。例えば、「印刷楽譜と判断しました。」と表示される。
【００２３】
次に、ステップＳ１０８では、認識指示部１２０４は、ユーザにより「印刷楽譜として認識」ボタン４０１及び「手書き楽譜として認識」ボタン４０２のいずれがマウスでクリックされたかをチェックする。なお、上記の認識対象判断部１２０３により印刷楽譜であると判断された場合には、「印刷楽譜として認識」ボタン４０１の位置にカーソルがデフォルト設定され、「印刷楽譜として認識」の設定が容易になる。「印刷楽譜として認識」ボタン４０１がクリックされた場合には、ステップＳ１１６に進み、「手書き楽譜として認識」ボタン４０２がクリックされた場合には、ステップＳ１０９に進む。
【００２４】
ステップＳ１０９では、表示部１２０８は、図５に示す画面を出力装置（表示装置）１１０７に表示し、事前認識を行い、結果を修正してから全体を認識するか否かをユーザに問い合わせる。認識指示部１２０４は、ユーザにより「はい」ボタン５０１及び「いいえ」ボタン５０２のいずれがマウスでクリックされたかをチェックする。「はい」ボタン５０１がクリックされた場合には、ステップＳ１１０に進み、「いいえ」ボタン５０２がクリックされた場合には、ステップＳ１１５に進む。
【００２５】
ステップＳ１１０〜Ｓ１１４の処理は、第１の手書き楽譜認識部１２０５により行われる。第１の手書き楽譜認識部１２０５は、事前認識処理部１２１１、修正部１２１２、及び本認識処理部１２１５を有する。
【００２６】
ステップＳ１１０では、事前認識処理部１２１１は、登録された楽譜画像３０１を基に全楽譜記号のうちの一部の重要楽譜記号の認識を行う。重要楽譜記号は、拍子記号、小節線、音部記号及び調号である。例えば、事前認識処理部１２１１は、図６に示すように、楽譜画像３０１内の音部記号（ヘ音記号）６０１、拍子記号６０２及び小節線６０３〜６０５の認識処理を行う。
【００２７】
次に、ステップＳ１１１では、表示部１２０８は、図６の元の楽譜画像３０１を黒色で表示し、それに対して、事前認識処理部１２１１の図７の認識結果の楽譜記号７０２，７０３，７０５を赤色で重ねて表示する。本来は、図６の画面と図７の画面が重なって表示されるが、表示内容の明確化のため、図６の画面と図７の画面を分けて示す。事前認識処理部１２１１は、図６の楽譜画像３０１内の手書きの音部記号（ヘ音記号）６０１を認識することができず、図７の認識結果に表示させることができなかった。また、事前認識処理部１２１１は、図６の楽譜画像３０１内の手書きの「２／４」の拍子記号６０２を、図７の「２／８」の拍子記号７０２に誤認識している。また、事前認識処理部１２１１は、図６の楽譜画像３０１内の小節線６０３を、図７の小節線７０３として正しく認識している。また、事前認識処理部１２１１は、図６の楽譜画像３０１内のかすれた小節線６０４を認識することができず、図７の認識結果に表示させることができなかった。また、事前認識処理部１２１１は、図６の楽譜画像３０１内の小節線６０５を、図７の小節線７０５として正しく認識している。
【００２８】
次に、ステップＳ１１２では、修正部１２１２は、ユーザの指示により、事前認識処理部１２１１の図７の認識結果を、図８の正しい認識結果に修正する。ユーザは、「ヘ音記号」ボタン８１２をマウスでクリックし、図６の音部記号（ヘ音記号）６０１の位置をマウスで指定する。すると、修正部１２１２は、図６の音部記号（ヘ音記号）６０１の認識結果として図８の音部記号（ヘ音記号）８０１を追加する。表示部１２０８は、図６の音部記号（ヘ音記号）６０１の上に重ねて、図８の赤色の音部記号（ヘ音記号）８０１を表示する。
【００２９】
また、ユーザは、「消しゴム」ボタン８１１をマウスでクリックし、図７の誤認識の「２／８」の拍子記号７０２の位置をマウスで指定する。すると、修正部１２１２は、図７の認識結果の「２／８」の拍子記号７０２を削除する。表示部１２０８は、図７の認識結果の「２／８」の拍子記号７０２の表示を削除する。
【００３０】
次に、ユーザは、「２／４」拍子記号ボタン８１３をマウスでクリックし、図６の拍子記号６０２の位置をマウスで指定する。すると、修正部１２１２は、図６の拍子記号６０２の認識結果として図８の「２／４」の拍子記号８０２を追加する。表示部１２０８は、図６の拍子記号６０２の上に重ねて、図８の赤色の「２／４」の拍子記号８０２を表示する。
【００３１】
次に、ユーザは、「小節線」ボタン８１４をマウスでクリックし、図６の小節線６０４の位置をマウスで指定する。すると、修正部１２１２は、図６の小節線６０４の認識結果として図８の小節線８０４を追加する。表示部１２０８は、図６の小節線６０４の上に重ねて、図８の赤色の小節線８０４を表示する。
【００３２】
次に、ステップＳ１１３では、修正部１２１２は、修正が完了したか否かをチェックする。具体的には、修正部１２１２は、ユーザにより、「ＯＫ］ボタン８１５がマウスでクリックされた場合には、修正が完了したと判断し、ステップＳ１１４に進む。「ＯＫ」ボタン８１５がクリックされていない場合には、ステップＳ１１２に戻る。
【００３３】
ステップＳ１１４では、本認識処理部１２１５は、修正部１２１２により修正された認識結果を用いて、楽譜画像３０１を基に、上記の重要楽譜記号（拍子記号、小節線、音部記号及び調号）の認識を行わず、他の非重要楽譜記号を認識する。非重要楽譜記号は、重要楽譜記号（拍子記号、小節線、音部記号及び調号）以外の楽譜記号であり、音符及び休符を含む。
【００３４】
具体的には、本認識処理部１２１５は、楽譜認識処理部１２１３及び推定処理部１２１４を有する。楽譜認識処理部１２１３は、楽譜画像３０１を基に非重要楽譜記号（音符及び休符等）を認識する。ここで、楽譜認識処理部１２１３は、楽譜画像３０１内の音符６０６を２個の８分音符として認識する。
【００３５】
推定処理部１２１４は、修正部１２１２により修正された図８の認識結果を用いて、楽譜認識処理部１２１３の非重要楽譜記号（音符及び／又は休符等）の認識結果を修正する。例えば、推定処理部１２１３は、図８の認識結果の「２／４」の拍子記号８０２及び小節線７０３，８０４，７０５の情報を用いて、非重要楽譜記号（音符及び／又は休符等）の認識結果を修正する。すなわち、小節線７０３，８０４，７０５間の各小節内の音符及び／又は休符の長さの合計が、「２／４」の拍子記号８０２に合うように、音符及び／又は休符の長さを修正する。例えば、第１小節は、１個の２分音符と、２個の８分音符を有するものとして、楽譜認識処理部１２１３により認識されている。しかし、これでは、第１小節は、３拍になってしまい、「２／４」の拍子記号８０２の拍数に合わない。この場合、推定処理部１２２２は、「２／４」の拍子記号８０２の拍数に合うように、第１小節の音符を修正する。具体的には、推定処理部１２２２は、図６の楽譜画像３０１内の音符６０６を、２個の８分音符から２個の装飾音符９０６（図９）に修正する。装飾音符９０６は、短い飾りの音であり、小さな音符記号で表記される。上記のように、第１の手書き楽譜認識部１２０５は、楽譜画像３０１内の楽譜記号を認識し、楽譜データを生成する。
【００３６】
次に、ステップＳ１１７では、表示部１２０８は、図９に示すように、上記の第１の手書き楽譜認識部１２０５の認識結果の楽譜を出力装置（表示装置）１１０７に表示する。第１の手書き楽譜認識部１２０５が認識した楽譜記号は、すべてが正しいものになっている。
【００３７】
ステップＳ１１５では、第２の手書き楽譜認識部１２０６は、楽譜認識処理部１２２１及び推定処理部１２２２を有し、楽譜画像３０１の楽譜認識処理を行う。楽譜認識処理部１２２１は、楽譜画像３０１を基にすべての楽譜記号（重要楽譜記号及び非重要楽譜記号を含む）の認識処理を行う。推定処理部１２２２は、楽譜認識処理部１２２１の認識結果を修正する。
【００３８】
この場合、楽譜認識処理部１２２１は、ステップＳ１１０と同様に、図６の楽譜画像３０１内の手書きの音部記号（ヘ音記号）６０１を認識することができない（図７参照）。これでは、音部記号がなくなってしまうので、推定処理部１２２２は、デフォルトの音部記号（ト音記号）１００１（図１０）を追加する。
【００３９】
また、楽譜認識処理部１２２１は、ステップＳ１１０と同様に、図６の楽譜画像３０１内の手書きの「２／４」の拍子記号６０２を、図７の「２／８」の拍子記号７０２に誤認識する。また、楽譜認識処理部１２２１は、図６の楽譜画像３０１内の小節線６０３を、図７の小節線７０３として正しく認識する。また、楽譜認識処理部１２２１は、図６の楽譜画像３０１内のかすれた小節線６０４を認識することができない（図７参照）。また、楽譜認識処理部１２２１は、図６の楽譜画像３０１内の小節線６０５を、図７の小節線７０５として正しく認識する。その結果、図１０のように、小節線７０３及び７０５の間の第２小節の間には、４個の４分音符が認識されている。
【００４０】
推定処理部１２２２は、図１０の第２小節内の４個の４分音符を基に拍子を推定すると、楽譜認識処理部１２２１により認識された図７の「２／８」の拍子記号７０２が誤りであると判断し、図７の「２／８」の拍子記号７０２を図１０の「４／４」の拍子記号１００２に修正する。
【００４１】
また、楽譜認識処理部１２２１は、図６の音符６０６を図１０の２個の８分音符１００６として認識する。
【００４２】
次に、ステップＳ１１７では、表示部１２０８は、図１０に示すように、上記の第２の手書き楽譜認識部１２０６の認識結果の楽譜を出力装置（表示装置）１１０７に表示する。図１０の楽譜は、図６の楽譜画像３０１に対して、４個の誤認識が存在する。第１に、図６のヘ音記号６０１が図１０のト音記号１００１に誤認識されている。第２に、図６の「２／４」の拍子記号６０２が図１０の「４／４」の拍子記号１００２に誤認識されている。第３に、図６の装飾音符６０６が図１０の２個の８分音符１００６に誤認識されている。第４に、図６の小節線６０４が認識されておらず、図６の楽譜は３小節であるが、図１０の楽譜は２小節に誤認識されている。
【００４３】
これに対し、図９に示したように、第１の手書き楽譜認識部１２０５が認識した楽譜記号は、すべてが正しいものになっている。第１の手書き楽譜認識部１２０５のステップＳ１１０〜Ｓ１１４の認識処理は、第２の手書き楽譜認識部１２０６のステップＳ１１５の認識処理に比べ、認識率を向上させることができる。
【００４４】
ステップＳ１１６では、印刷楽譜認識部１２０７は、楽譜認識処理部１２３１及び推定処理部１２３２を有し、楽譜画像３０１の楽譜認識処理を行う。楽譜認識処理部１２３１は、第２の手書き楽譜認識部１２０６の楽譜認識処理部１２２１と同様に、楽譜画像３０１を基にすべての楽譜記号（重要楽譜記号及び非重要楽譜記号を含む）の認識処理を行う。推定処理部１２３２は、第２の手書き楽譜認識部１２０６の推定処理部１２２２と同様に、楽譜認識処理部１２３１の認識結果を修正する。その後、ステップＳ１１７では、表示部１２０８は、上記の印刷楽譜認識部１２０７の認識結果の楽譜を出力装置（表示装置）１１０７に表示する。
【００４５】
上記のように、手書き楽譜は、印刷楽譜に比べ、楽譜内の複数の音符の符頭（たま）の形状や大きさのばらつき、及び符頭（たま）に対する符幹（ぼう）の位置等のばらつきが大きい。そのため、手書き楽譜認識部１２０５及び１２０６内の楽譜認識処理部１２１３及び１２２１は、印刷楽譜認識部１２０７内の楽譜認識処理部１２３１に比べ、上記のばらつきの閾値を大きくして認識を行う。
【００４６】
なお、上記の重要楽譜記号は、拍子記号、小節線、音部記号及び調号に限定されない。重要楽譜記号は、拍子記号又は小節線を含むものであればよく、非重要楽譜記号は、音符又は休符を含むものであればよい。好ましくは、重要楽譜記号は、拍子記号及び小節線を含み、非重要楽譜記号は、音符又は休符を含む。より好ましくは、重要楽譜記号は、拍子記号、小節線、音部記号及び調号を含む。
【００４７】
事前認識処理部１２１１は、少なくとも拍子記号及び小節線を認識する。修正部１２１２は、事前認識処理部１２１１により認識された拍子記号及び／又は小節線を修正する。楽譜認識処理部１２１３は、少なくとも音符及び休符を認識する。推定処理部１２１４は、修正部１２１２により修正された拍子記号及び／又は小節線を用いて、楽譜認識処理部１２１３により認識された音符及び／又は休符を修正する。
【００４８】
特に、手書き楽譜の認識は誤認識が多い。第１の手書き楽譜認識部１２０５は、ステップＳ１１０〜Ｓ１１４の処理により、事前認識処理部１２１１の一部の楽譜記号の認識結果を修正し、修正された認識結果を用いて、他の楽譜記号を認識することにより、楽譜の認識率を向上させることができる。なお、印刷楽譜であっても認識率が悪い場合があるので、印刷楽譜の場合にも事前認識と修正の処理を加えてもよい。
【００４９】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００５０】
１２００  楽譜認識装置
１２０１  楽譜画像指定部
１２０２  五線認識処理部
１２０３  認識対象判断部
１２０４  認識指示部
１２０５  第１の手書き楽譜認識部
１２０６  第２の手書き楽譜認識部
１２０７  印刷楽譜認識部
１２０８  表示部
１２１１  事前認識処理部
１２１２  修正部
１２１３  楽譜認識処理部
１２１４  推定処理部
１２１５  本認識処理部
１２２１  楽譜認識処理部
１２２２  推定処理部
１２３１  楽譜認識処理部
１２３２  推定処理部
【図１】
2015056149.tif 000003
【図２】
2015056149.tif 000004
【図３】
2015056149.tif 000005
【図４】
2015056149.tif 000006
【図５】
2015056149.tif 000007
【図６】
2015056149.tif 000008
【図７】
2015056149.tif 000009
【図８】
2015056149.tif 000010
【図９】
2015056149.tif 000011
【図１０】
2015056149.tif 000012
【図１１】
2015056149.tif 000013
【図１２】
2015056149.tif 000014