(57)【特許請求の範囲】
【請求項１】
入力された楽譜画像データから各種記号を認識する楽譜認識装置において、
楽譜画像データから所定の線幅に対応するしきい値に従って細い線を構成する部分の画像データを分離する分離手段と、
前記分離手段により分離された細い線を構成する部分の画像データに基づいて記号としての細い線を検出する細記号検出手段と、
前記楽譜画像データに含まれるものであって、前記細い線を構成する部分の画像データ以外の画像データに基づいて黒玉符頭、連鉤および旗を検出する太記号検出手段と、
前記細記号検出手段および前記太記号検出手段の検出結果に基づいて音符を検出する音符検出手段とを備えたことを特徴とする楽譜認識装置。
【請求項２】
前記分離手段は、縦および横に、所定のしきい値以下の長さの画素列を検出し、これを分離することにより、細い線を構成する部分の画像データを分離することを特徴とする請求項１に記載の楽譜認識装置。
【請求項３】
前記分離手段は、ある回数縮退をくり返し、続けてある回数膨脹をくり返して得られた画像と、原画像の差分を取ることにより、細い線を構成する部分の画像データを分離することを特徴とする請求項１に記載の楽譜認識装置。
【請求項４】
前記分離手段は、縮退、膨脹処理時の画素連結数を変化させて、細い線を構成する部分の画像データを分離することを特徴とする請求項３に記載の楽譜認識装置。
【請求項５】
前記細記号検出手段は、 前記分離手段により分離された細い線を構成する部分の画像データにおいて該細い線の線幅方向中央に延びる中線を連結することにより、記号としての細い線を検出する手段を含むことを特徴とする請求項１ないし４のいずれかに記載の楽譜認識装置。
【請求項６】
前記太記号検出手段は、 前記楽譜画像データに含まれるものであって、前記細い線を構成する部分の画像データ以外の画像データにおいて画像図形の境界線座標情報から楕円式を求める楕円式算出手段と、該手段により求められた楕円式の形状から符頭を検出する符頭検出手段とを含むことを特徴とする請求項１ないし４のいずれかに記載の楽譜認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は楽譜認識装置に関し、特に、簡単な処理で楽譜の構成要素を効率良く認識することが可能な楽譜認識装置に関するものである。
【０００２】
【従来の技術】
従来の楽譜認識装置においては、例えばスキャナによって読み込んだ楽譜画像データについて、五線、音符や各種記号を認識して、ＭＩＤＩファイルデータ等の演奏データを生成するものがあった。そして、楽譜に含まれる各種記号の認識処理においては、例えば、五線を検出し、検出した五線を消去することによりラベル（各種記号の画像）を分離する方式があった。
【０００３】
【発明が解決しようとする課題】
通常、楽譜を演奏者が読む時には、五線上に書かれた黒玉（符頭）で音の高さを判断し、その符頭から延びる縦の細い線（符尾）に接続されている太い旗（符鉤または連鉤）の数などにより音の長さを判断するというように、楽譜の細い部分と太い部分を無意識のうちに分離していると思われる。
【０００４】
一方、従来の楽譜認識装置における一番の問題点は記号の分離である。楽譜は、五線上に記号が描かれており、認識処理の際には、五線によってそれぞれの音楽記号のラベルが連結され、認識を困難にする原因になっている。多くの楽譜認識装置では、認識の前処理として、不必要なラベルの分離がなるべく起こらないように配慮しながら五線を消去するという処理が行われる。しかし、このような処理を行っても、多数の記号を音楽的に見やすく配置するという楽譜の性質上、例えば加線に接触した臨時記号など、記号同士が接触したラベルは依然多く存在する。
【０００５】
また、楽譜に特徴的な性質として、形が一定でない記号の問題がある。音符などは、構造に規則性はあるものの、ラベルとしての形は千差万別である、このため、ラベルごとの辞書とのマッチングといった方式では認識は不可能であり、構造解析法的な手法を採る必要がある。
ところが、従来の記号分離方式である五線消去方式では、ラベル同士が接触している場合に分離することができないし、音符のように、その形状が変化するものは認識が困難であるという問題点があった。
本発明の目的は、前記のような従来技術の問題点を解決し、簡単な処理で楽譜を効率良く認識することが可能な楽譜認識装置を提供することにある。
【０００６】
【課題を解決するための手段】
本発明は、入力された楽譜画像データから各種記号を認識する楽譜認識装置において、楽譜画像データから所定の線幅に対応するしきい値に従って細い線を構成する部分の画像データを分離する分離手段と、前記分離手段により分離された細い線を構成する部分の画像データに基づいて記号としての細い線を検出する細記号検出手段と、前記楽譜画像データに含まれるものであって、前記細い線を構成する部分の画像データ以外の画像データに基づいて黒玉符頭、連鉤および旗を検出する太記号検出手段と、前記細記号検出手段および前記太記号検出手段の検出結果に基づいて音符を検出する音符検出手段とを備えたことを特徴とする。  本発明はこのような構成により、例えば楽譜認識の前処理として、楽譜画像中の細い線を構成する部分の画像データ、それ以外の画像データを分離しておくことによって、人間が、楽譜を読む場合と感覚的に近い認識法を構成することができ、分離した画像データから効率良く細い線（細記号）および黒玉符頭、連鉤および旗（太記号）を検出して音符を認識することができ、認識率が向上する。また、小節線、符尾、加線などは、同じ細い線であっても太さが異なっている場合もあるが、細線検出のしきい値を縦と横で変えて検出することにより、これらの相違にも対応可能である。
【０００７】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して詳細に説明する。図１は本発明の楽譜認識装置の１実施例の構成を示すブロック図である。この装置は、パソコン等の一般的な計算機システムにスキャナやＭＩＤＩインターフェース回路を付加したものである。ＣＰＵ１は、ＲＯＭ２あるいはＲＡＭ３に格納されるプログラムに基づき、楽譜認識装置全体の制御を行う中央処理装置である。また、予め設定された所定の周期でＣＰＵ１に割り込みをかけるタイマ回路を内蔵している。ＲＡＭ３はプログラムエリアの他、画像データバッファ、ワークエリア等として使用される。ハードディスク装置ＨＤＤ４およびフロッピディスク装置ＦＤＤ５は、プログラムおよび画像データ、演奏データ等を格納する。ＣＲＴ６はＣＰＵ１の制御に基づき、ＣＲＴインターフェース回路７から出力される映像情報を表示し、キーボード８から入力された情報は、キーボードインターフェース回路９を経てＣＰＵ１に取り込まれる。プリンタ１０は、ＣＰＵ１の制御に基づき、プリンタインターフェース回路１１から出力される印字情報を印字する。
【０００８】
スキャナ１２は、（印刷された）楽譜を光学的に走査して、２値あるいはグレイスケールの画像データに変換するものであり、フラットベッド型、ハンディ型、フィーダー型等任意のタイプのものを使用できる。スキャナ１２によって読み取られた画像情報は、スキャナインターフェース回路１３を介して、ＲＡＭ３あるいはＨＤＤ４に取り込まれる。ＭＩＤＩインターフェース回路１４は、音源モジュール等の外部のＭＩＤＩ機器との間でＭＩＤＩデータの送受信を行う回路である。バス１５は楽譜認識装置内の各回路を接続している。なお、この他にマウス等のポインティングデバイス、ＲＳ２３２Ｃ等のシリアルインターフェース回路等を備えていてもよい。
【０００９】
図３は、ＣＰＵ１のメイン処理を示すフローチャートである。Ｓ１においては、スキャナ１２によって楽譜の画像をＲＡＭ３に取り込む。画像は２値の画像として取り込む。Ｓ２においては、かすれやドットノイズなどを軽減するために、図形融合などの画質平滑化処理を行う。Ｓ３においては、画質チェック処理を行う。画質チェック処理においては、倍率と濃度の情報を得ると共に、後段における五線検出の基準データを得るために、まず五線の線幅と五線の各線間の間幅を検出する。線幅、間幅を求めるためには、まず、画像上の横（ｘ）方向の数箇所において縦（ｙ）方向に走査し、黒ラン（連続する黒画素）と白ランの長さを全て求めて、長さ毎に頻度分布（ヒストグラム）データを作成する。
【００１０】
楽譜上で最も多い記号は五線であるので、作成された黒ラン長ヒストグラムと、白ラン長ヒストグラムのピークをそれぞれ検出することで、五線の線幅、間幅が推定できる。そして、画像データの倍率は、例えば間幅から推定可能であり、また、濃度は線幅と間幅の比から推定することができる。楽譜の認識処理においては、倍率および濃度が所定の範囲から外れると認識率が低下してしまうので、Ｓ３においては、これらの値が、所定の範囲内に入っているか否かがチェックされる。Ｓ４においては、Ｓ３におけるチェック結果が画質ＯＫであるか否かが判定され、結果がＯＫでない場合にはＳ１に戻って、倍率や濃度を変えて再取り込みを行う。
【００１１】
Ｓ５においては五線認識を行う。五線認識処理は、大きく五線走査開始位置検出処理と、五線シフト量の検出処理に分かれる。五線走査開始位置検出処理の概略を述べると、ｘ軸方向のある位置で、黒画素と白画素の幅を順に求め、求められた線幅と間幅が五線状に並んでいる位置を、ある程度の誤差を考慮して検出する。そして、加線（五線からはみ出した音符を記載するために付加した横線）の影響を除くために、五線状の並びの両側に間幅より大きな白画素幅があるという条件を加える。この条件に合う白黒画素の並びがあるｘ位置の各黒ランの中点を五線走査開始位置とする。
【００１２】
つぎに、五線シフト量の検出処理の概略を述べると、求められたｘ位置の五線走査開始位置（５点の黒画素位置）から、１ドットずつ位置を左右に変えていき、５点の内、黒画素がある個数（例えば３あるいは４個）以下になった場合に、５点を上下にずらして黒画素数をチェックし、黒画素の割合が高くなる方向へｙ座標をシフトする。そして開始位置からのシフト量を五線のシフト量とする。五線走査開始位置から左右に、黒画素個数が０になる位置まで走査することにより五線の検出を行う。
【００１３】
Ｓ６においては、段落認識処理を行う。この処理は、大きく、段落認識処理と、大かっこ認識処理に分かれる。段落認識処理においては、画像全体で五線を検出し、五線同士で左端がほぼ同じ場所にある五線の組を探し、五線の端同士が、黒画素で結ばれているかどうかを検査し、段落を認識する。段落を囲む矩形が左右に並んでいた場合には、これも時系列になるように処理を行う。なお、予め、ｘ軸、ｙ軸方向に黒画素のヒストグラムを取り、これの空白部分を検出することによって段落の存在を推定しても良い。
五線同士が大かっこで結ばれていた場合には、五線同士にまたがる音符等が存在する場合があるので、大かっこで結ばれた五線は１つの単位で処理を行った方が良い。大かっこ認識においては、段落線の左の所定の範囲で、後述する定型記号認識と同様の手法で認識を行う。なお、この認識においては、大かっこおよび大弧線が認識できれば良い。
【００１４】
Ｓ７においては、段落の認識結果を表示して、段落認識結果が正しいか否かを利用者にチェックさせることにより、ＯＫか否かが判定され、結果がＯＫでない場合にはＳ８に移行して、段落認識結果の修正が行われる。スコア譜においては、各段落のパート構成が等しいものの他に、途中でパートの省略や追加があったり、同じパートで単独譜表と大譜表が段落ごとに変化する場合もある。このようなパートの対応は、大かっこの対比等で行うが、パートの対応が一意に決められない場合もあるので、予め段落認識結果の修正を行えるようにする。
なお、五線認識が失敗した場合には、その後の処理が行えないので、倍率や濃度を変更して再度画像を取り込む必要がある。従って、ステップＳ７においては、まず五線の認識結果を表示し、正しいか否かを利用者に判定させ、もし正しくない場合には、Ｓ１に戻って画像の再取り込みを行い、また五線が正しく認識されている場合には、段落認識結果を表示し、チェックさせるようにしてもよい。
【００１５】
Ｓ９においては、処理矩形の決定処理が行われる。求められた五線、（大譜表の場合には、譜表中の五線）を含む、ある程度広い矩形を採り、これを認識処理矩形とする。矩形の大きさは、その五線に関係する音楽記号が存在する最大領域以上で、かつ五線傾き補正により、必要な記号が消えない様な大きさにする。これ以降の認識はこの矩形内で行う。
【００１６】
Ｓ１０においては、五線傾き補正処理を行う。概略を述べると、先に求めた五線シフト量に基づいて、矩形画像の列ごとに画素列を上下にシフトする。五線ごとにシフト量を計算し、矩形画像内でシフト補正を行った方がより正確であるが、シフト量は、取り込み画像全体で１つ計算し、画像全体をシフトしても良い。この後、矩形の上下端に接した図形ラベル（独立した黒画素領域）は上下のパートの構成要素として削除する。最後に、上下端の空白部分を検出して、矩形を縮小する。
【００１７】
Ｓ１１〜Ｓ１５においては、各種記号の認識処理が行われる。楽譜記号は、形、位置に関して大まかに以下の３つの種類がある。（１）定型で、上下位置がほぼ決まっているもの（音部記号、拍子記号等）。（２）定型で、上下位置は自由度があるもの（臨時記号、休符等）。（３）不定型かつ位置も不定のもの（音符、スラー、タイ等）。これらをそれぞれに適した方式で、音部記号、拍子認識、音符認識、定型記号認識、文字列認識、スラー、タイ認識の順に認識する。
【００１８】
音部記号、拍子認識を最初に行うのは、処理コストの低い認識を最初に行って、この記号を削除することによって、後の認識の処理コストを軽減するためと、最初により確実なものを認識することで、後の認識での誤認識を減らすためである。また、音符認識の後に定型記号認識を行うのは、ラベルの接触に影響されにくい認識方式である音符認識を行って、この音符を削除することで、音符に接触した臨時記号等の認識を可能にするためである。スラー、タイ認識が最後になっているのは、処理コストの高いスラー認識の対象になるラベルをなるべく少なくするためである。また、先に検出された音符の周りのラベルだけをスラー、タイ認識の対象にすることによって、更にスラー、タイ認識の処理コストを下げ、かつ、スラー、タイの誤認識も減らすことができる。
【００１９】
Ｓ１１においては、五線に対して定位置にある記号として、音部記号と拍子記号を認識する。該処理においては、まず、求められた五線を含む矩形領域で縦に黒画素のヒストグラムを取っていき、黒画素量があるしきい値以上の帯域を、記号が存在する可能性のある場所としてマッチングの対象とする。マッチングは、五線間の数箇所について横方向のペリフェラル特徴によって行う。ペリフェラル特徴とは、マッチング対象となる記号のみを含む矩形領域の左右端から五線間の数箇所の白画素領域を内方向に走査し、黒画素領域に達するまでの距離を１次（最初）あるいは数次（２回目以降）まで求めたものである。また、マッチングに失敗した場合には、隣接した帯域を併合して再度認識を行う。そして、認識された記号は画像データから削除する。
【００２０】
Ｓ１２においては、後述する音符認識を行う。概略を述べると、まず、画像データを縦細線、横細線、太線画像に分離する。そして、各画像から記号や記号の部品を検出し、それらを総合して音符等の記号を認識する。
Ｓ１３においては、定型記号認識が行われる。この処理においては、まず、公知の輪郭線荷重方向指数を取り、辞書の各記号データについてラベルのサイズと輪郭線荷重方向指数のマッチング度を計算して、各マッチング度を正規化し、統合した結果が最も高い記号を出力する。なお、サイズと荷重方向指数の他に、ペリフェラルなどの他の特徴を使っても良い。また、五線消去によりラベルが切れたものの対策として、五線消去によって切れたラベルを辞書に登録し、この記号であると認識された場合には、その周りのラベルを結合して再認識する。認識された記号は画像から削除する。
【００２１】
Ｓ１４においては、文字列認識を行う。速度記号などの文字列を認識するために、定型記号認識で認識されたアルファベットその他の記号を使い、その記号を囲む矩形が文字列状に並んでいるものを抽出し、これと文字列辞書のマッチングをとることで、文字列状の記号を、それぞれの構成文字が多少間違っていても認識できるようにする。
【００２２】
Ｓ１５においては、スラータイ認識を行う。この処理においては、残ったラベルのうち、検出された音符の周りのラベルに関して、これを細線化し、これを多円弧近似する。そして、以前に消された記号により線が切れている場合があるので、求められた多円弧同士の連結を行う。最後に、求められた円弧の形や元画像の図の太さ、音符との関係などからスラー、タイを認識する。これが認識で最後のルーチンなので、認識された記号は画像から削除しなくても良いが、認識したスラー、タイを削除し、この後で再度定型記号認識を行うようにすれば、スラー、タイと接触した記号を認識することができるようになる。
【００２３】
Ｓ１６においては、例えば認識結果に基づき、楽譜画像データを合成して表示し、正しいか否かを利用者にチェックさせることにより、ＯＫか否かが判定され、結果がＯＫでない場合にはＳ１７に移行して、マウス、キーボード等を用いて、手動により認識結果の修正が行われる。Ｓ１８においては、演奏データ作成処理が行われる。該処理においては、認識した各種の記号や音符情報に基づき、例えば公知の演奏データ形式であるＭＩＤＩファイルデータを生成する。
【００２４】
図４は、図３のＳ１２の音符認識処理の詳細を示すフローチャートである。Ｓ２０においては、横方向の短い黒ランを検出し、画像を分離する。黒ランの長さは、先に検出された五線の線幅を基準として、例えば線幅の２倍というように決定される。
図２は、画像分離処理例を示す説明図である。図２（ａ）は原画像であり、図２（ｂ）は、Ｓ２０において（ａ）の原画像から分離された縦細線画像の例である。小節線２０や符尾２１は、例えば五線の位置で複数のラベルに切断されている。また、符尾の連鉤部分のように太い画像の部分も消えている。
【００２５】
Ｓ２１においては、分離された画像データから縦線を検出する。図５は、図４のＳ２１の縦線検出処理の詳細を示すフローチャートである。Ｓ４０においては、横に短い黒ランの集合画像から各ラベル（独立した黒領域）の縦方向の中線を求める。中線は、ラベルの上部の横方向のランの中点と下部の横方向のランの中点を結んだ線で画像を走査し、黒画素の存在確率を求めても良いし、ラベルの複数の縦位置における水平方向の黒画素列から、中点座標列を求め、最小２乗法により中線を求めても良い。Ｓ４１においては、中線同士を連結する。この判断は、例えば線分同士の傾きや、端点間の（ｘ座標における）距離、線分間の原画像での１画素の存在確率等により行う。Ｓ４２においては、連結された線の先端から外側に、原画像に黒画素が存在しなくなる箇所まで線を延長する。Ｓ４３においては、ｘ座標が近接している線同士を統合し、１つの線として認識する。
【００２６】
従来は、画像の縦方向のヒストグラムから符尾を検出する方法等があったが、このような方法では画像の傾きが大きい場合にヒストグラムのピークが低くなってしまい、正確に符尾を検出することが困難になる。これに対し、本発明の符尾検出方式では、符尾に傾きがあっても正確に検出ができる。更に、特に多数の音符の符頭が接近して存在する場合などに、本方式では符尾が傾きも含めて正確に認識されるので、符尾と符頭をより正確に対応づけることができる。また、切れた細いラベルから検出した中線を連結する方式を取っているので、手書き楽譜のように、符尾が多少曲がっている場合にも認識が可能である。
【００２７】
図４に戻って、Ｓ２２においては、縦方向の短い黒ランを検出し、画像を分離する。黒ランの長さは、やはり五線の線幅を基準として決定されるが、Ｓ２０の値と異なっていてもよい。図２（ｃ）は、Ｓ２２において（ａ）の原画像から分離された横細線画像の例である。加線２２は、符頭の位置で複数のラベルに切断されている。Ｓ２３においては、分離された画像データから、縦線と同様に横線を検出する。
【００２８】
Ｓ２４においては、細線を消した画像から符頭候補の楕円を検出する。図２（ｄ）は、（ａ）の原画像から細線を分離した残りの太線画像の例である。この太線画像から、４分音符より短い音符の符頭（本件明細書では、黒玉符頭という。）や符鉤、連鉤が分離できる。黒玉は、太ラベルの境界線のチェーンより、境界線座標をある間隔で抽出して公知の方式により楕円式を計算し、この形や画像とのマッチング度を取って認識する。なお、楕円式の導出に失敗する場合もあるので、間隔を変えて楕円式を計算し直し、マッチングの高いものを選択する。
【００２９】
従来の符頭検出方法としては、符頭領域において、黒画素の存在する点の座標情報を辞書として持っておく方法があった。このような方法において、あるいは他の特徴量を辞書に持つ方式にしても、様々な音符のフォントあるいは特徴量に対応するために、大きな辞書を用意する必要があり、また、多数の音符のサンプルを認識させて辞書を構築する必要があった。これに対して、符頭を楕円式として検出する方式においては、楕円式で玉の形状が表されているので、楕円式の形状、即ち式の係数が所定の範囲内であるか否かによって符頭の認識を行うことができ、多量の辞書が不要になるとともに、楕円式の係数範囲も感覚的に決定でき、多数の音符のサンプルを認識させる必要が無くなる。また、楕円式の係数範囲を広げることにより、手書き楽譜の認識にも対応可能である。更に、音符消去の際にも楕円式で決定される形状に基づいて正確な消去を行うことができる。
【００３０】
和音への対応として、まず横方向に並んだ和音を認識するために、符尾候補の縦線により太ラベルを切断する。また縦方向の和音への対応は、太ラベルのくぼみを検出し、左右のくぼみ同士の組を作ってこれを結ぶ線で太ラベルを切断する。画像がつぶれている場合など、くぼみの組が見つからなかった場合には、くぼみの位置を推定する。
図７は、和音の音符の切断処理例を示す説明図である。図７（ａ）は和音の音符を含む原画像であり、（ｂ）は細線を消去した画像である。この段階では和音の符頭は連結している。（ｃ）は切断処理を行った結果であり、左の符頭は（ｂ）に点線で示す符尾の縦線により、また右の符頭は（ｂ）に矢印で示す左右のくぼみを結ぶ線によってそれぞれ切断されている。
【００３１】
Ｓ２５においては、先に求めた符尾候補の縦線と結合して音符を検出する。連結には、「符尾の端の玉は、結合する側が決まっている」などの楽典知識を利用することができる。
Ｓ２６においては、２分音符、全音符の符頭（以下白抜き符頭）を検出する。白抜き符頭は、原画像の境界線のチェーンを全てチェックし、白抜きの孔を検出して、楕円式を計算する。そして、楕円の形や画像とのマッチング度を取って認識する。音符が五線上にあるものに対しては、２つのチェーンを結合したものから楕円式を計算する。なお、楕円式を計算して認識する代わりに、単純に符頭部分の太ラベルをテンプレートとして辞書に持っていてもよい。この場合、和音状になった音符を認識するために太ラベルを切断するのではなく、接触した符頭の太ラベル自体を辞書に持っておいてもよい。また、テンプレートマッチングではなく、ペリフェラル特徴等の特徴抽出によって認識してもよい。楕円式を使用する場合でも、全ての境界線のチェーンから楕円式を計算するのではなく、予め符頭で計算された楕円式をテンプレートとして持っておき、これを五線の間隔で正規化して太ラベルとマッチングさせてもよい。
【００３２】
Ｓ２７においては、先に求めた符尾候補の縦線と結合して音符を検出する。ここでの音符は、旗を考えないものである。Ｓ２８においては、検出された音符と太線画像から連鉤を検出する。連鉤は、これまでに求められた旗を考えない音符の符尾の周辺に存在する太ラベルを検出し、これの形状から連鉤の本数を計算する。また、この太ラベルに連結している他の音符も検出する。連結する他の音符が無い場合には単独の旗あるいは、半連鉤と考えられる。連鉤の本数により、音符の長さ情報を決定する。なお、五線との交差の関係で、数本の連鉤が１つの太ラベルとなっている場合があるので、これを考慮した上で、連鉤の数を以下のように計算する。
【００３３】
連鉤の可能性のある太ラベルのｙ軸方向の最大値、最小値を求め、この長さの標準偏差を求める。標準偏差がある値以下だったら、この太ラベルは、同じ長さの連鉤が１あるいは数本結合したものと考えられる。この後、太ラベルの縦方向の隙間（ギャップ）を計測することで、連鉤の本数を計測し、音符の長さ情報に反映させる。標準偏差がある値より大きかったら、この太ラベルは、長さの違う連鉤が結合していると考えられるので、この場合には、このラベルに結合している他の音符の符尾で領域を分割し、ギャップの計算を行う。符尾の端からある程度の距離内に存在する太ラベルを検出した後、該ラベルと関係する他の音符が存在しなかった場合には、単独旗を持つ音符と考えられる。
【００３４】
Ｓ２９においては、音符の音高を検出する。音の高さは、五線の間にある音符の場合には、楕円の中心の座標から判別でき、そうでない場合には、やはり楕円の中心の座標から求めてもよいが、加線の間隔が五線の間隔と異なっている場合もあるので加線を考慮したほうがよい。加線は、横線検出により検出されている。ただし、線上にある４分音符の加線は、細線の部分が少ないので、横線が検出されない場合もある。よって、この場合には、楕円の両端のある範囲の黒画素の存在確率によって線上か線間かを判別しても良い。また、大譜表の２つの五線の間にある音符の場合、予想される位置に加線があるかどうかによって、その音符の高さが上の五線を基準にしたものか、下の五線を基準にしたものかを判別しなければならない。
Ｓ３０においては、これまでに検出した音符の画像を画像から消去する。認識された音符は、楕円や縦横線などの、検出された音符部品の形にそって画像から削除することで、認識された音符に接触した他のラベルを分離することができる。Ｓ３１においては、残りの横線と縦線からくり返しかっこを認識し、該画像を消去する。Ｓ３２においては、残った横線からクレッシェンド、デクレッシェンド等を認識し、消去する。
【００３５】
Ｓ３３においては、残りの横線と縦線から連音符のかっこを認識し、消去する。Ｓ３４においては、残った縦線から小節線を認識することができる。複縦線の太い縦線は、太ラベルで縦線検出を行うことによって検出できる。五線との関係や、小節線候補同士の位置関係により小節線を認識する。認識された記号は、認識された記号の形にそって画像から削除することで、認識された記号に接触した他のラベルを分離することができる。この後、削除されなかった画像について、一般の楽譜認識装置と同様に五線消去を行い、ラベルを抽出しながら他の記号を認識する。
【００３６】
図６は、細線分離処理の第２の実施例を示すフローチャートである。第２の実施例は、太い部分と細い部分とを分離する方式として、画像の縮退と膨張により分離する方式を採用したものである。まず、Ｓ５０においては、原画像を保存する。Ｓ５１においては、黒画素領域の周辺を１ドットずつ削る処理（縮退処理）をｎ回くり返し、細い部分を消滅させる。Ｓ５２においては、縮退された図形の周辺に１ドットずつ黒画素の肉をつけていく処理（膨張処理）をｍ回くり返し、太い部分のみを元の太さに戻す。なお縮退処理回数ｎと膨張処理回数ｍは等しくなくてもよい。
【００３７】
Ｓ５３においては、Ｓ５０において保存した原画像と処理後の画像の画素（黒を１とする）ごとのＡＮＤ（論理積）を取ることにより太線画像を得る。Ｓ５４においては、原画像から太線画像を引くことにより細線画像を得る。細線画像については、このまま縦線、横線を検出してもよいし、更に、縦線と横線を分離してもよい。
【００３８】
この方式は、特に斜め方向において、短ラン消去方式よりも太細の分離性が良い。ただし、処理時間が多少長くなる。また、縮退、膨張処理の際の連結数（４連結、８連結）を変化させることにより、太い部分の抽出のされかたを、目的の部品の形に応じて変化させることができる。例えば、縮退を８連結、膨張を４連結で行ったり、縮退を８連結、４連結交互に行い、膨張を８連結で行うなどの組み合わせが考えられ、更に上下あるいは左右の２連結により、縮退、膨張を行うことも考えられる。例えば、２連結の縮退の場合には、原画像において注目画素および上下（あるいは左右）の３画素が黒の場合にのみ、該画素を黒とする。この２連結の処理により、縦あるいは横方向のみの細線消去を行うことも可能である。
【００３９】
【発明の効果】
以上述べたように、本発明は、例えば楽譜認識の前処理として、楽譜画像中の細い線を構成する部分の画像データ、それ以外の画像データを分離しておくことによって、簡単な処理により、楽譜を人間の認識感覚に近い記号に分離することができ、以下の認識処理を簡潔かつ、感覚的に行うことができるようになる。そして、分離した画像データから効率良く細い線（細記号）および黒玉符頭、連鉤および旗（太記号）を検出して音符を認識することができ、認識率が向上するという効果がある。また、小節線、符尾、加線などは、同じ細い線であっても太さが異なっている場合もあるが、細線検出のしきい値を縦と横で変えて検出することにより、これらの相違にも対応可能であるという効果もある。
【図面の簡単な説明】
【図１】本発明の楽譜認識装置の実施例の構成を示すブロック図である。
【図２】画像分離処理例を示す説明図である。
【図３】ＣＰＵ１のメイン処理を示すフローチャートである。
【図４】Ｓ１２の音符認識処理の詳細を示すフローチャートである。
【図５】縦線検出処理の詳細を示すフローチャートである。
【図６】細線分離処理の第２の実施例を示すフローチャートである。
【図７】和音の音符の切断処理例を示す説明図である。
【符号の説明】
１…ＣＰＵ、２…ＲＯＭ、３…ＲＡＭ、４…ハードディスク装置、５…フロッピディスク装置、６…ＣＲＴディスプレイ装置、７…ＣＲＴインターフェース回路、８…キーボード、９…キーボードインターフェース回路、１０…プリンタ、１１…プリンタインターフェース回路、１２…スキャナ、１３…スキャナインターフェース回路、１４…ＭＩＤＩインターフェース回路、１５…バス
【図１】
0003812836.tif 000002
【図２】
0003812836.tif 000003
【図３】
0003812836.tif 000004
【図４】
0003812836.tif 000005
【図５】
0003812836.tif 000006
【図６】
0003812836.tif 000007
【図７】
0003812836.tif 000008