(57)【特許請求の範囲】
【請求項１】
ラベル抽出手段と、特徴量抽出手段と、パターンマッチング手段とを備え、楽譜のイメージを読み取って、その音楽記号を認識し、演奏や楽譜表示のためのデータを作成する楽譜認識方法において、
前記ラベル抽出手段により、記号別に設定される五線位置を基にした任意の縦区間ｙ１〜ｙ２で、五線開始位置ｘｓから五線終了位置ｘｅまでの横軸へのプロジェクションを求め、該プロジェクション値が任意のしきい値ｔｈ１を超える区間ｘ１〜ｘ２の幅が任意の別のしきい値ｔｈ２以上であれば、ｘ１、ｘ２、ｙ１、ｙ２で囲まれる矩形をその記号の特徴を抽出するラベルとし、
前記特徴量抽出手段により、該ラベルにおける、前記縦区間ｙ１〜ｙ２で五線イメージに重ならない区間を横方向のペリフェラル特徴を得る抽出区間として設定し、各抽出区間で左右端からのペリフェラル特徴を複数次求め、更に各抽出区間を、縦方向で一部が重なり合うように設定された数区間のメッシュに分割し、これらのメッシュ内でのペリフェラル特徴の次数毎の平均値を求めて各メッシュ区間の特徴量とし、これを左右両端、各メッシュ別に求めたものをこのラベルの特徴とし、
前記パターンマッチング手段により、辞書に記憶された前記特徴とのパターンマッチングにより、楽譜イメージで五線上に固定の位置を持つ或いは五線をグリッドに持つ記号を認識する
ことを特徴とする楽譜認識方法。
【請求項２】
楽譜のイメージを読み取って、その音楽記号を認識し、演奏や楽譜表示のためのデータを作成する楽譜認識プログラムを記憶したコンピュータ読み取り可能な記録媒体であって、該プログラムの実行により、ラベル抽出手段と、特徴量抽出手段と、パターンマッチング手段とが該コンピュータ上に実現され、
前記ラベル抽出手段による、記号別に設定される五線位置を基にした任意の縦区間ｙ１〜ｙ２で、五線開始位置ｘｓから五線終了位置ｘｅまでの横軸へのプロジェクションを求め、該プロジェクション値が任意のしきい値ｔｈ１を超える区間ｘ１〜ｘ２の幅が任意の別のしきい値ｔｈ２以上であれば、ｘ１、ｘ２、ｙ１、ｙ２で囲まれる矩形をその記号の特徴を抽出するラベルとするラベル抽出機能と、
前記特徴量抽出手段による、該ラベルにおける、前記縦区間ｙ１〜ｙ２で五線イメージに重ならない区間を横方向のペリフェラル特徴を得る抽出区間として設定し、各抽出区間で左右端からのペリフェラル特徴を複数次求め、更に各抽出区間を、縦方向で一部が重なり合うように設定された数区間のメッシュに分割し、これらのメッシュ内でのペリフェラル特徴の次数毎の平均値を求めて各メッシュ区間の特徴量とし、これを左右両端、各メッシュ別に求めたものをこのラベルの特徴とする特徴量抽出機能と、
前記パターンマッチング手段による、辞書に記憶された前記特徴とのパターンマッチングにより、五線上に固定の位置を持つ或いは五線をグリッドに持つ記号を認識するパターンマッチング機能と
を実行させるための楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、五線を消去せずに、高い認識率を得ることのできる楽譜認識方法及び楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
パソコン及びスキャナ等を使用して楽譜上の音符・休符・その他の記号を認識する場合、楽譜イメージを２値化して読み取り、更に五線及び段落を認識した上で、各段落毎に、五線消去を行なった後、任意の矩形形状をした読み取り用のラベルを各記号毎に設定して、該ラベルデータと予め辞書に用意されていたラベルデータとをパターンマッチングして、認識が行われていた。
【０００３】
【発明が解決しようとする課題】
しかし上記の認識方法では、五線消去によって、五線上の記号の五線と接する部分までイメージから除去されてしまうため、その記号をラベリングする際、画素の連続性が損なわれ、このような分割によって、ラベリングができなくなる。その結果、認識されるべき記号が１つのまとまった記号として正確に認識されないといった問題がある。この問題を解決するために、分割された五線上のイメージを保持する手法が用いられていた。ところがこの方法も完全な方法ではないため、五線消去によるラベリング失敗は避けられず、認識率の低下の原因となっている。また五線消去時にノイズが残った場合、本来別のラベルになるべき複数の記号が、ノイズで画素連結され（ラベル連結）、１つのラベルとして抽出されてしまうことになり、認識に悪影響を与えることになる。
【０００４】
本発明は従来技術の上記問題に鑑み創案されたもので、五線を消去せずに、高い認識率を得ることのできる楽譜認識方法及び楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体を提供せんとするものである。
【０００５】
【課題を解決するための手段】
本発明者等は、上記の問題を分析した結果、音部記号、拍子記号、省略記号、五線内にある臨時記号や休符等の、五線上での縦位置が固定されている記号、又は五線をグリッドとして縦位置が固定される記号で、その特徴付けが可能な範囲が五線内にあるものを、認識対象として絞れば、五線の消去をせずとも、対象イメージを充分に特徴付けできる部分を正確にラベル抽出し、得られたラベルから変形、擦れ、滲みに影響を受け難い特徴を抽出して、正確な認識ができると考え、以下に示す本発明を創案するに至った。
【０００６】
即ち、本発明の構成（請求項２に係るコンピュータ読み取り可能な記録媒体の構成についても同じ）は、ラベル抽出手段と、特徴量抽出手段と、パターンマッチング手段とを備え、楽譜のイメージを読み取って、その音楽記号を認識し、演奏や楽譜表示のためのデータを作成する楽譜認識方法において、後述する図３に示すように、前記ラベル抽出手段により、記号別に設定される五線位置を基にした任意の縦区間ｙ１〜ｙ２で、五線開始位置ｘｓから五線終了位置ｘｅまでの横軸へのプロジェクション（投影量）を求め、該プロジェクション値が任意のしきい値ｔｈ１を超える区間ｘ１〜ｘ２の幅が任意の別のしきい値ｔｈ２以上であれば、ｘ１、ｘ２、ｙ１、ｙ２で囲まれる矩形をその記号の特徴を抽出するラベルとし（ラベル抽出機能）、前記特徴量抽出手段により、該ラベルにおける、前記縦区間ｙ１〜ｙ２で五線イメージに重ならない区間を、後述する図４に示すように、横方向のペリフェラル特徴を得る抽出区間として設定し、各抽出区間で左右端からのペリフェラル特徴を複数次求め、更に各抽出区間を、後述する図５に示すように、縦方向で一部が重なり合うように設定された数区間のメッシュに分割し、これらのメッシュ内でのペリフェラル特徴の次数毎の平均値を求めて各メッシュ区間の特徴量とし、これを左右両端、各メッシュ別に求めたものをこのラベルの特徴とし（特徴量抽出機能）、前記パターンマッチング手段により、辞書に記憶された前記特徴とのパターンマッチングにより、楽譜イメージで五線上に固定の位置を持つ或いは五線をグリッドに持つ記号を認識する（パターンマッチング機能）ことを基本的特徴としている。
【０００７】
また請求項２の構成は、上記請求項１の構成を、ラベル抽出機能と、特徴量抽出機能と、パターンマッチング機能とを有する構成として、これらの機能を実行させるための楽譜認識プログラムを記録させたコンピュータ読み取り可能な記録媒体として提供するものである。
より具体的には、楽譜のイメージを読み取って、その音楽記号を認識し、演奏や楽譜表示のためのデータを作成する楽譜認識プログラムを記憶したコンピュータ読み取り可能な記録媒体であって、該プログラムの実行により、ラベル抽出手段と、特徴量抽出手段と、パターンマッチング手段とが該コンピュータ上に実現され、
前記ラベル抽出手段による、記号別に設定される五線位置を基にした任意の縦区間ｙ１〜ｙ２で、五線開始位置ｘｓから五線終了位置ｘｅまでの横軸へのプロジェクションを求め、該プロジェクション値が任意のしきい値ｔｈ１を超える区間ｘ１〜ｘ２の幅が任意の別のしきい値ｔｈ２以上であれば、ｘ１、ｘ２、ｙ１、ｙ２で囲まれる矩形をその記号の特徴を抽出するラベルとするラベル抽出機能と、
前記特徴量抽出手段による、該ラベルにおける、前記縦区間ｙ１〜ｙ２で五線イメージに重ならない区間を横方向のペリフェラル特徴を得る抽出区間として設定し、各抽出区間で左右端からのペリフェラル特徴を複数次求め、更に各抽出区間を、縦方向で一部が重なり合うように設定された数区間のメッシュに分割し、これらのメッシュ内でのペリフェラル特徴の次数毎の平均値を求めて各メッシュ区間の特徴量とし、これを左右両端、各メッシュ別に求めたものをこのラベルの特徴とする特徴量抽出機能と、
前記パターンマッチング手段による、辞書に記憶された前記特徴とのパターンマッチングにより、五線上に固定の位置を持つ或いは五線をグリッドに持つ記号を認識するパターンマッチング機能と
を実行させるための楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体である。
【０００８】
発明者に、下記部分における審査官が指摘した部分（「五線が作る４区間」）の説明をお願いします。
【作用】
対象とする記号の十分特徴付けできる範囲を、縦の範囲は、五線が作る４区間のうちの任意の区間に設定し（後記図３、４参照）、横の範囲は、前記縦区間内で横軸へのプロジェクションを利用して求めることで、五線を消去することなくラベル抽出ができる。この時、へ音記号等の一部の記号で分割が予想されるが、これは隣接しているため、後処理で結合することが可能である。
上記のようにして求められたラベルは、縦方向位置は五線位置そのものであり、ラベル抽出時の誤差はないが、横方向位置はプロジェクション切り出しによるものなので、ある程度の誤差が考えられる。しかしパターンマッチングに利用する特徴として、本構成では上記のような左右端からのペリフェラル特徴を利用しているため、横方向位置の誤差を参照パターンとの相対的な誤差に転換できることになる。
又ペリフェラル特徴を求める区間を五線の影響を受けない区間に設定し、更に区間を互いに一部重なり合うメッシュに分割し、メッシュ内での平均を特徴量とすることで、イメージ変形・かすみ・滲み・位置ずれに影響を受け難い特徴量とすることが可能になる。
実イメージで画素が連続していない記号（ハ音記号、省略記号、調号等）を認識する場合、通常の認識手法では、画素が連続するラベル単位で認識した後に、個々のラベル位置関係を調べ、認識結果を確定しなければならないが、上記構成におけるラベル抽出手法（機能）は、上記記号を１つのラベルとして抽出できるので、認識処理の簡易化、認識精度の向上が図られる。
【０００９】
【発明の実施の形態】
以下本発明の一実施形態を添付図面に基づき説明する。図１は本発明に係る楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体を後述するフレキシブルディスクドライブＦＤＤ５等の外部記憶装置（或いはＣＤ−ＲＯＭドライブ等）で読み込ませて稼動する楽譜認識装置の実施例構成を示すブロック図である。この装置は、パソコンなどの電子計算機の構成に、スキャナやＭＩＤＩインターフェース回路を付加したものである。ＣＰＵ１は、ＲＯＭ２或いはＲＡＭ３に格納されるプログラムに基づき、楽譜認識装置全体の制御を行う中央演算処理装置である。また予め設定された所定の周期でＣＰＵ１に割り込みをかけるタイマ回路を内蔵している。ＲＡＭ３はプログラムエリアの他、画像データバッファ、ワークエリア等として使用される。ハードディスク装置ＨＤＤ４及びフレキシブルディスクドライブＦＤＤ５は、プログラム及び画像データ、演奏データ等を格納する。ＣＲＴ６はＣＰＵ１の制御に基づき、ＣＲＴインターフェース回路７から出力される映像情報を表示し、キーボード８から入力された情報は、キーボードインターフェース回路９を経てＣＰＵ１に取り込まれる。プリンタ１０は、ＣＰＵ１の制御に基づき、プリンタインターフェース回路１１から出力される印字情報を印字する。
【００１０】
スキャナ１２は、例えば（印刷された）楽譜を光学的に走査して、２値或いはグレースケールの画像データに変換するものであり、フラットベッド型、ハンディ型、フィーダ型等任意のタイプのスキャナを使用できる。スキャナ１２によって読み取られた画像情報は、スキャナインターフェース回路１３を介して、ＲＡＭ３或いはＨＤＤ４に取り込まれる。ＭＩＤＩインターフェース回路１４は、音源モジュール等の外部のＭＩＤＩ機器との間でＭＩＤＩデータの送受信を行う回路である。バス１５は、本楽譜認識装置内の各回路を接続し、各種データ、プログラム、アドレス等をやり取りさせている。なお、この他にマウスなどのポインティングデバイスやＲＳ２３２Ｃ等のシリアルインターフェース回路等を備えていても良い。
【００１１】
本構成では、予めパターンマッチングに用いる参照パターンを、下記表１に示すように、特徴を抽出する五線区間毎に用意する。これらの参照パターンは、後述するように、五線区間数によって、特徴ベクトルデータの次数が異なる。
【００１２】
【表１】
0003558834.tif 000002
【００１３】
図２はＣＰＵ１のメイン処理を示すフローチャートである。ステップＳ１においては、スキャナ１２によって楽譜のイメージをＲＡＭ３に取り込む。画像は２値の画像データとして取り込む。ステップＳ２においては、このようにして２値化されて取り込まれた楽譜イメージで五線を検出する。ステップＳ３において、夫々の五線で水平線に対するずらし量に基づいた傾き補正を行う。この時点で五線位置（例えば第５線をＬ０、第４線をＬ１、…第５線をＬ４）をＬ（５）に、五線幅（五線の各線そのものの幅）をＬｔｈに保存する。
【００１４】
記号認識の順序は、なるべく認識精度の高い抽出区間から始め（抽出区間の広い順）、認識に成功したラベル内の元イメージは順次消していく。このような認識を行う前提としてラベル抽出を行わなければならないが、本構成では、ラベル抽出手段により以下のステップＳ４〜ステップＳ８までが、特徴量抽出手段により以下のステップＳ９〜ステップＳ１２までが、パターンマッチング手段により以下のステップＳ１３が、実施される。
ステップＳ４において、図３及び図４に示すＬ0〜Ｌ4の五線位置Ｌ(5)で囲まれる４つの五線区間（請求項１及び２における縦区間ｙ１〜ｙ２に相当する）における、夫々の横軸へのプロジェクション（投影量）を五線開始位置ｘｓから五線終了位置ｘｅまで求め、Ｐ(4)(x)に保存する。
【００１５】
Ｌ０〜Ｌ４で囲まれる上記五線区間内の記号（音部記号、省略記号、一部の拍子記号）を認識する場合、ステップＳ５において、五線区間４つ全てのプロジェクションデータを加算したものをＰ’（ｘ）とし、プロジェクション切り出ししきい値ｔｈｒ１、切り出し対象幅しきい値ｔｈｒ２を五線幅より設定する（ｔｈｒ２＝Ｌｔｈ）。
【００１６】
ステップＳ６において、ｘ＝０からプロジェクションをスキャンし、ステップＳ７において、Ｐ’（ｘ）＞ｔｈｒ１となるｘをｘ１とすると共に、Ｐ’（ｘ）＜ｔｈｒ１となるｘをｘ２とし、ｘ２−ｘ１＞ｔｈｒ２であれば、ｘ１、ｘ２、Ｌ０、Ｌ４で囲まれる矩形をラベル矩形とする（図３では、網線で囲まれた部分が切り出されたラベルを示している）。以上の処理を五線終了位置まで行い、ラベリングを終了する。この時、へ音記号が正確に抽出できないことがあるので、隣り合うラベルの位置が近ければ、ラベル結合を行う（このプロジェクション範囲での記号認識が終了した後、リジェクトとなったラベルに限定して結合し、再度、結合ラベルで認識を行っても良い）。
【００１７】
ステップＳ８において、図４に示すように、前記ラベル矩形からラベルイメージを抽出し、元イメージで五線位置Ｌ（５）に相当する位置を、ラベルイメージ上での座標値でＬ’（５）とする。
【００１８】
ステップＳ９において、図４に示すように、Ｌ’（５）が作る４区間夫々に、ペリフェラル特徴を求める範囲を、［Ｌ’（ｎ）＋Ｌｔｈ／２］から［Ｌ’（ｎ＋１）−Ｌｔｈ／２］に設定する。ここでＬｔｈ／２のオフセットは、特徴を求める区間を、五線の影響を受けない区間に置くためのものである。
【００１９】
ステップＳ１０において、前記各区間で、左右端からのペリフェラル特徴を３次まで求める。各ペリフェラルデータは、図４に示すように、左右端から反対の端まで横走査し、白画素から黒画素に変化する点での走査線の長さを３次まで求め（１次ペリフェラル、２次ペリフェラル、３次ペリフェラル）、これを全区間で求めたものを保存しておく。
【００２０】
次にステップＳ１１において、図５に示すように、各区間に４つのメッシュ区間を設定する。このメッシュ区間は隣り合うメッシュ区間と、メッシュ幅の半分が重なるように設定し、左右端で１６ずつ、計３２メッシュ区間が設定される。
【００２１】
各メッシュでの特徴量を格納するバッファをＶ（ｄ）（ｎ）：（ｄ：ペリフェラル次数、ｎ：メッシュ）とし、ステップＳ１２において、前記メッシュ区間でのペリフェラルデータを各次毎に平均化し、そうして得た値をこのバッファに保存する。
【００２２】
ステップＳ１３において、このようにして得られる３×３２＝９６次の特徴量を、予め同様の処理で用意されている、前記参照パターン［Ｌ０〜Ｌ４で囲まれた五線区間を特徴区間とする記号用の参照パターン］とパターンマッチングする。該マッチングにおける比較法は、プロジェクション切り出しの横方向の誤差を考慮して、特徴量の変化分に重みを付けた比較法にする。
【００２３】
他の五線区間での認識手法も上と同様に行う。この場合、抽出される特徴量の次数は、（五線区間数）×２（左右から）×４（各区間のメッシュ数）×３（ペリフェラル次数）となる。
【００２４】
本構成におけるラベル抽出手法では、抽出ラベルの横方向位置を正確なものにするために、記号別に設定されている五線区間の任意の区間（例えば図４に示されるようにト音記号であれば、Ｌ０〜Ｌ４の区間）に範囲を絞ったプロジェクションが利用できる。更に特徴抽出位置やメッシュ区間（但し五線位置そのものはメッシュ区間に入れない）も五線位置を基準としたものなので、得られる特徴分布は五線位置に対して正確で、縦の配置が五線によって決まる記号に対して一貫性のある特徴を求めることができる。以上のようにして、表１に示されるような楽譜イメージで五線上に固定の位置を持つ或いは五線をグリッドに持つ記号を認識することができるようになる。
【００２５】
（他の実施形態１）
前記実施形態のプロジェクションによるラベル切り出しにおいて切り出された範囲でのプロジェクションデータと同様な処理で用意された参照用のプロジェクションデータとのパターンマッチング手段によるパターンマッチングを、前記ペリフェラル特徴を用いたパターンマッチングのプリマッチング処理とすることができる。このプリマッチング処理での整合度が低いものは、その後のステップＳ８以下を回避することで、認識処理の高速化が図られ、プリマッチングでの整合度が基準値を満たす場合は、ステップＳ１３において、その整合度を含めたパターンマッチングを行うことで、認識精度の向上が図られる。
【００２６】
（他の実施形態２）
前記実施形態で、パターンマッチングに用いる特徴として横方向のペリフェラルデータを使用したが、認識精度の向上を考えて、縦方向のペリフェラルデータを前記特徴に追加する。縦方向のペリフェラルデータは、抽出区間の上辺、下辺（夫々任意の五線位置に等しい）からの３次までの走査データを使用し、プロジェクションによるラベル切り出しでは、ラベル矩形の横方向誤差があるために、ラベル矩形の横方向位置を基準に特徴抽出位置を設定すると、うまく認識できないことが多いと思われる。そこで切り出された矩形範囲内でのプロジェクションデータの正のピークを得る横方向位置をｘｐｍ、負のピークを得る横方向位置をｘｐｆとし、夫々の位置を中心とする区間でのペリフェラルデータを利用することで、ラベル矩形の横方向誤差に影響を受けない記号特徴を、特徴量抽出手段により、抽出することができる。
【００２７】
（他の実施形態３）
またこれまでの認識方法では、♭等の個々の臨時記号を認識した後、夫々の位置関係で調号を認識しているが、この位置関係が正確に認識することができないために、調号の認識は難しいとされてきた。本発明の構成では、図３に示されるように、調号が一塊りで抽出できる（図中３つの♭臨時記号で示される例）ので、同手法で、このような調号等の認識が可能となる。
【００２８】
（他の実施形態４）
更に罫線上に固定的に配置されたテキストに対し、五線位置の代わりに、罫線位置を用いることで、上記本発明の構成によって、テキストの認識が可能となる。
【００２９】
【発明の効果】
以上詳述した本発明の構成によれば、縦の範囲につき、五線が作る４区間のうちの任意の区間に設定し、横の範囲について、前記縦区間内で横軸へのプロジェクションを利用して求めているため、五線を消去することなくラベル抽出ができるようになる。このようにして求められたラベルは、縦方向位置は五線位置そのものであり、ラベル抽出時の誤差はなく、他方ある程度の誤差が考えられる横方向位置でのプロジェクション切り出しによるラベル抽出でも、左右端からのペリフェラル特徴を利用して、パターンマッチングを行っているため、横方向位置の誤差を参照パターンとの相対的な誤差に転換できるようになる。またペリフェラル特徴を求める区間を五線の影響を受けない区間に設定し、更に区間を互いに一部重なり合うメッシュに分割し、メッシュ内での平均を特徴量とすることで、イメージ変形・かすみ・滲み・位置ずれに影響を受け難い特徴量とすることが可能になる。
【図面の簡単な説明】
【図１】本発明に係る楽譜認識プログラムを記緑したコンピュータ読み取り可能な記録媒体を外部記憶装置で読み込ませて稼動する楽譜認識装置の実施例構成を示すブロック図である。
【図２】ＣＰＵのメイン処理を示すフローチャートである。
【図３】横軸へのプロジェクションを利用したラベリングの方法を示す説明図である。
【図４】ラベルデータ上のペリフェラル特徴抽出区間とペリフェラルデータ抽出方法を示す説明図である。
【図５】ラベルデータ上のペリフェラル特徴抽出区間に更にメッシュ区間を設定した状態を示す説明図である。
【符号の説明】
１      ＣＰＵ
２      ＲＯＭ
３      ＲＡＭ
４      ハードディスク装置
５      フレキシブルディスクドライブ
６      ＣＲＴ
７      ＣＲＴインターフェース回路
８      キーボード
９      キーボードインターフェース回路
１０      プリンタ
１１      プリンタインターフェース回路
１２      スキャナ
１３      スキャナインターフェース回路
１４      ＭＩＤＩインターフェース回路
１５      バス
【図１】
0003558834.tif 000003
【図３】
0003558834.tif 000004
【図４】
0003558834.tif 000005
【図５】
0003558834.tif 000006
【図２】
0003558834.tif 000007