(57)【特許請求の範囲】
【請求項１】
紙面の楽譜の情報を含む画像を、画像読み取り手段から取得する取得手段と、
前記取得手段により取得された画像に含まれるラベルから、それぞれ１つの音楽記号を認識する認識手段と、
前記認識手段により認識されなかった音楽記号を含むラベルから、認識対象となる所定の音楽記号に対応する大きさの領域であって当該ラベルの大きさ未満の大きさを有する領域を抜き出す抜き出し手段と、
前記抜き出し手段により抜き出された領域を、予め設定されている辞書とマッチングするマッチング手段と、
前記抜き出し手段で抜き出された領域に含まれる情報を、前記ラベルから消去する消去手段とを有することを特徴とする楽譜認識装置。
【請求項２】
前記ラベルを画定する多角形の領域の頂点の１つを選択する選択手段を有し、
前記抜き出し手段は、認識対象となる所定の音楽記号に対応する大きさの領域であって、前記選択手段により選択された頂点を頂点の１つとする多角形の領域を、前記取得手段により取得された画像に含まれるラベルから抜き出すことを特徴とする請求項１に記載の楽譜認識装置。
【請求項３】
前記選択手段は、前記ラベルを画定する多角形の領域の頂点の１つを、予め定められた順番で選択することを特徴とする請求項２に記載の楽譜認識装置。
【請求項４】
前記選択手段は、前記ラベルを画定する多角形の領域における、音楽記号に相当する画素の分布に関わる情報に基づいて、前記ラベルを画定する多角形の領域の頂点の１つを選択することを特徴とする請求項２に記載の楽譜認識装置。
【請求項５】
前記選択手段は、前記ラベルを画定する多角形の領域の端部における、音楽記号に相当する画素の配置に関わる情報に基づいて、前記ラベルを画定する多角形の領域の頂点の１つを選択することを特徴とする請求項２に記載の楽譜認識装置。
【請求項６】
認識対象となる所定の音楽記号に対応する大きさの領域を抜き出すことを実行するか否かを、前記ラベルの大きさ及び位置の少なくとも何れか一方に関わる情報に基づいて判定する判定手段を有し、
前記抜き出し手段は、前記判定手段により、前記認識対象となる所定の音楽記号に対応する大きさの領域を抜き出すと判定された場合に、前記取得手段により取得された画像に含まれるラベルから、認識対象となる所定の音楽記号に対応する大きさの領域を抜き出すことを特徴とする請求項１〜５の何れか１項に記載の楽譜認識装置。
【請求項７】
認識対象となる所定の音楽記号に対応する大きさの領域を抜き出すことを実行するか否かを、前記ラベルに含まれる音楽記号に関わる情報に基づいて判定する判定手段を有し、
前記抜き出し手段は、前記判定手段により、認識対象となる所定の音楽記号に対応する大きさの領域を抜き出すと判定された場合に、前記取得手段により取得された画像に含まれるラベルから、認識対象となる所定の音楽記号に対応する大きさの領域を抜き出すことを特徴とする請求項１〜６の何れか１項に記載の楽譜認識装置。
【請求項８】
前記抜き出し手段は、認識対象となる所定の音楽記号に対応する大きさの領域であって、前記ラベルに含まれる音楽記号に関わる情報に基づいて設定された領域を、前記取得手段により取得された画像に含まれるラベルから抜き出すことを特徴とする請求項１に記載の楽譜認識装置。
【請求項９】
前記マッチング手段によるマッチングの結果を、前記ラベルに含まれる音楽記号に関わる情報に基づいて検証する検証手段を有することを特徴とする請求項１〜８の何れか１項に記載の楽譜認識装置。
【請求項１０】
紙面の楽譜の情報を含む画像を、画像読み取り手段から取得する取得ステップと、
前記取得ステップにより取得された画像に含まれるラベルから、それぞれ１つの音楽記号を認識する認識ステップと、
前記認識ステップにより認識されなかった音楽記号を含むラベルから、認識対象となる所定の音楽記号に対応する大きさの領域であって当該ラベルの大きさ未満の大きさを有する領域を抜き出す抜き出しステップと、
前記抜き出しステップにより抜き出された領域を、予め設定されている辞書とマッチングするマッチングステップと、
前記抜き出しステップで抜き出された領域に含まれる情報を、前記ラベルから消去する消去ステップとを有することを特徴とする楽譜認識方法。
【請求項１１】
紙面の楽譜の情報を含む画像を、画像読み取り手段から取得する取得ステップと、
前記取得ステップにより取得された画像に含まれるラベルから、それぞれ１つの音楽記号を認識する認識ステップと、
前記認識ステップにより認識されなかった音楽記号を含むラベルから、認識対象となる所定の音楽記号に対応する大きさの領域であって当該ラベルの大きさ未満の大きさを有する領域を抜き出す抜き出しステップと、
前記抜き出しステップにより抜き出された領域を、予め設定されている辞書とマッチングするマッチングステップと、
前記抜き出しステップで抜き出された領域に含まれる情報を、前記ラベルから消去する消去ステップとをコンピュータに実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽譜認識装置、楽譜認識方法、及びコンピュータプログラムに関し、特に、紙面の楽譜を認識するために用いて好適なものである。
【背景技術】
【０００２】
従来から、スキャナ等を用いて、紙面上の楽譜を読み取り、読み取った楽譜のデータについて、五線、音符、及びその他の各種記号を認識して、ＭＩＤＩファイルデータ等の演奏データを生成することが行われている（特許文献１を参照）。
例えば、五線を消去することにより、画像上のラベルを分離することで、五線と重なった音楽記号を分離し、音楽記号の夫々を認識する。その際、臨時記号等の形状が変化しない定型記号については、加重方向指数等の特徴量と、辞書の音楽記号データとをマッチングすることにより認識する。また、音符等の形状が変化する音楽記号については、縦横の細線や、符頭を構成する楕円や、連桁を構成する太線を分離して認識し、それらの形状や位置関係に基づいて認識する。
【０００３】
【特許文献１】特開平９−９７０５８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、楽譜では、定型記号が音符に接触したり、複数の定型記号が互いに接触したりする等して、複数の音楽記号が接触していることがある。したがって、これらの音楽記号を分離することが必要である。
そこで、例えば、定型記号として有効な幅を予め記憶しておき、互いに接触している定型記号同士の縦方向（又は横方向）のヒストグラムの谷を求め、そのヒストグラムの谷と、定型記号として有効な幅とに基づいて、定型記号を分離することが考えられる。その他、定型記号の縦方向及び横方向の並びを推定することにより、定型記号を分離することも考えられる。
ところが、楽譜では、このような縦方向及び横方向の結合だけでなく、音楽記号同士が斜め方向に結合する場合がある。例えば、同種の臨時記号同士が接近している場合には、音楽記号同士が斜め方向に結合する。このような結合をしている場合には、前述した方法で音楽記号を分離することは困難である。
【０００５】
本発明は、以上のような問題点に鑑みてなされたものであり、互いに接触又は接近している音楽記号を、従来よりも容易に且つ確実に分離できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の楽譜認識装置は、紙面の楽譜の情報を含む画像を、画像読み取り手段から取得する取得手段と、前記取得手段により取得された画像に含まれるラベルから、それぞれ１つの音楽記号を認識する認識手段と、前記認識手段により認識されなかった音楽記号を含むラベルから、認識対象となる所定の音楽記号に対応する大きさの領域であって当該ラベルの大きさ未満の大きさを有する領域を抜き出す抜き出し手段と、前記抜き出し手段により抜き出された領域を、予め設定されている辞書とマッチングするマッチング手段と、前記抜き出し手段で抜き出された領域に含まれる情報を、前記ラベルから消去する消去手段とを有することを特徴とする。
【０００７】
本発明の楽譜認識方法は、紙面の楽譜の情報を含む画像を、画像読み取り手段から取得する取得ステップと、前記取得ステップにより取得された画像に含まれるラベルから、それぞれ１つの音楽記号を認識する認識ステップと、前記認識ステップにより認識されなかった音楽記号を含むラベルから、認識対象となる所定の音楽記号に対応する大きさの領域であって当該ラベルの大きさ未満の大きさを有する領域を抜き出す抜き出しステップと、前記抜き出しステップにより抜き出された領域を、予め設定されている辞書とマッチングするマッチングステップと、前記抜き出しステップで抜き出された領域に含まれる情報を、前記ラベルから消去する消去ステップとを有することを特徴とする。
【０００８】
本発明のコンピュータプログラムは、紙面の楽譜の情報を含む画像を、画像読み取り手段から取得する取得ステップと、前記取得ステップにより取得された画像に含まれるラベルから、それぞれ１つの音楽記号を認識する認識ステップと、前記認識ステップにより認識されなかった音楽記号を含むラベルから、認識対象となる所定の音楽記号に対応する大きさの領域であって当該ラベルの大きさ未満の大きさを有する領域を抜き出す抜き出しステップと、前記抜き出しステップにより抜き出された領域を、予め設定されている辞書とマッチングするマッチングステップと、前記抜き出しステップで抜き出された領域に含まれる情報を、前記ラベルから消去する消去ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、画像に含まれるラベルから、それぞれ１つの音楽記号を認識した結果、認識されなかった音楽記号を含むラベルから、認識対象となる所定の音楽記号に対応する大きさの領域であって当該ラベルの大きさ未満の大きさを有する領域を抜き出し、その領域に含まれる音楽記号を認識する。また、抜き出した領域に含まれる情報を、ラベルから消去する。このような処理を繰り返して行うことにより、互いに接触又は接近している音楽記号を、従来よりも容易に且つ確実に分離できる。
【発明を実施するための最良の形態】
【００１０】
（第１の実施形態）
以下、図面を参照しながら、本発明の第１の実施形態について説明する。
図１は、楽譜認識装置の構成の一例を示すブロック図である。
図１において、楽譜認識装置１００は、ＣＰＵ１、ＲＯＭ２、ＲＡＭ３、ＨＤＤ４、ＦＤＤ５、ＭＩＤＩインタフェース回路６、スキャナインタフェース回路７、プリンタインタフェース回路８、キーボードインタフェース回路９、ＣＲＴインタフェース回路１０、及びバス１５を有している。そして、スキャナ１１、プリンタ１２、キーボード１３、及びＣＲＴ１４が楽譜認識装置１００に接続されている。
【００１１】
図１に示すように、本実施形態の楽譜認識装置１００は、パソコン等の一般的な計算機システムに、ＭＩＤＩインタフェース回路６を付加したものである。
ＣＰＵ１は、ＲＯＭ２に格納されたプログラムをＲＡＭ３に展開して実行すること等により、楽譜認識装置１００の全体の制御を行う中央処理装置である。また、楽譜認識装置１００は、予め設定された所定の周期でＣＰＵ１に割り込みをかけるタイマ回路を内蔵している。ＲＡＭ３は、プログラムエリアの他、画像データバッファ、ワークエリア等として使用される。ＨＤＤ（ハードディスクドライブ）４及びＦＤＤ（フレキシブルディスクドライブ）５は、プログラム、画像データ、及び演奏データ等を格納する。
【００１２】
ＣＲＴ１４は、ＣＰＵ１の制御に基づき、ＣＲＴインタフェース回路１０から出力される映像情報を表示する。キーボード１３から入力された情報は、キーボードインタフェース回路９を経てＣＰＵ１に取り込まれる。プリンタ１２は、ＣＰＵ１の制御に基づき、プリンタインタフェース回路８から出力される印字情報を印字する。
【００１３】
スキャナ１１は、紙面に印刷された楽譜を光学的に走査して、２値、グレイスケール、あるいはカラーの画像データに変換するものである。スキャナ１１としては、フラットベッド型、ハンディ型、フィーダー型等任意のタイプのものを使用できる。スキャナ１１によって読み取られた画像情報は、スキャナインタフェース回路７を介して、ＲＡＭ３又はＨＤＤ４に取り込まれる。ＭＩＤＩインタフェース回路６は、音源モジュール等の外部のＭＩＤＩ機器との間でＭＩＤＩデータの送受信を行う回路である。バス１５は、楽譜認識装置１００内の各回路を接続している。尚、この他に、マウス等のポインティングデバイスや、ＲＳ２３２Ｃ等のシリアルインターフェース回路等を楽譜認識装置１００が備えていてもよい。
【００１４】
図２は、ＣＰＵ１の処理の一例を説明するメインフローチャートである。
まず、ステップＳ１において、ＣＰＵ１は、スキャナ１２によって読み取られた楽譜の画像データをＲＡＭ３に取り込む。ここでは、画像を２値の画像として取り込むとする。
次に、ステップＳ２において、ＣＰＵ１は、かすれやドットノイズ等を軽減するために、楽譜の画像データに対して、図形融合等の画質平滑化処理を行う。
次に、ステップＳ３において、ＣＰＵ１は、楽譜の画像データに対して、画質チェック処理を行う。画質チェック処理においては、楽譜の画像データにおける"倍率の情報と濃度の情報"を得ると共に、後述する五線検出の基準データを得るために、五線の線幅と五線の各線間の間隔とを求める。ここでは、線幅と間隔とを求めるために、画像上の横（ｘ）方向の数箇所において縦（ｙ）方向に走査し、黒ラン（連続する黒画素）と白ランの長さを全て求め、求めた長さ毎に頻度分布（ヒストグラム）データを作成する。ここで、ランとは、黒画素ないし白画素がある方向に連続する長さのことをいう。
【００１５】
楽譜上で最も多い音楽記号は五線であるので、作成された黒ランの長さのヒストグラムのピークと、白ランの長さのヒストグラムのピークとを夫々検出することで、五線の線幅と間隔とを推定できる。
また、楽譜の画像の倍率は、例えば、五線の間隔から推定できる。更に、楽譜の画像の濃度は、五線の線幅と間隔との比から推定できる。楽譜の認識処理においては、楽譜の画像の"倍率及び濃度"が所定の範囲から外れると、楽譜の画像の認識率が低下してしまう。そこで、ステップＳ４において、ＣＰＵ１は、これらの値が、所定の範囲内にあるか否かを判定することにより、画質がＯＫか否かを判定する。この判定の結果、楽譜の画像の"倍率及び濃度"が所定の範囲から外れており、画質がＯＫでない場合には、ステップＳ１に戻り、倍率や濃度を変えて、楽譜の画像を再度読み取る。
【００１６】
一方、楽譜の画像データの"倍率及び濃度"が所定の範囲内にあり、画質がＯＫである場合には、ステップＳ５に進む。ステップＳ５に進むと、ＣＰＵ１は、楽譜の画像データに対して、五線認識処理を行う。五線認識処理は、五線走査開始位置検出処理と、五線シフト量検出処理とに分かれる。五線走査開始位置検出処理の概略を述べると、横（ｘ）軸方向のある位置で、黒画素の幅と白画素の幅とを順に求め、求めた幅に基づいて、五線状に並んでいる位置を、ある程度の誤差を考慮して検出する。そして、加線（五線からはみ出した音符を記載するために付加した横線）の影響を除くために、五線状の並びの両側に、五線の間隔より大きな白画素幅があるという条件を加える。この条件に合う白黒画素の並びがある横（ｘ）方向の各黒ランの中点を五線走査開始位置とする。
【００１７】
つぎに、五線シフト量検出処理の概略を述べる。まず、五線走査開始位置（５点の黒画素位置）から、１ドットずつ位置を左右に変えていき、５点の内、黒画素がある個数（例えば３あるいは４個）以下になった場合に、５点を上下にずらして黒画素数をチェックし、縦（ｙ）方向のうち、黒画素の割合が高くなる方向へｙ座標をシフトする。この五線走査開始位置からのシフト量を五線のシフト量とする。そして、五線走査開始位置の左右方向（横方向）に、黒画素の個数が０になる位置まで走査することにより五線の検出を行う。
【００１８】
次に、ステップＳ６において、ＣＰＵ１は、楽譜の画像データに対して、段落認識処理を行う。この段落認識処理は、段落認識処理と、大かっこ認識処理とに分かれる。段落認識処理においては、画像全体で五線を検出し、五線同士で左端がほぼ同じ場所にある五線の組を探し、五線の端同士が、黒画素で結ばれているかどうかを検査し、段落を認識する。尚、予め、ｘ軸及びｙ軸方向における黒画素のヒストグラムを求め、このヒストグラムに基づいて空白部分を検出することによって段落の存在を推定しても良い。五線同士が大かっこで結ばれていた場合には、五線同士にまたがる音符等が存在する場合があるので、大かっこで結ばれた五線は１つの単位で処理を行った方が良い。大かっこについては、段落線の左の所定の範囲で、後述する定型記号認識と同様の手法で認識を行う。
【００１９】
次に、ステップＳ７において、ＣＰＵ１は、段落の認識結果をＣＲＴ１４に表示させて、段落認識結果が正しいか否かを利用者にチェックさせることにより、認識がＯＫか否かを判定する。この判定の結果、認識がＯＫでない場合にはステップＳ８に進み、ＣＰＵ１は、段落認識結果の修正を行った後、ステップＳ９に進む。スコア譜においては、各段落のパート構成が等しいものの他に、途中でパートの省略や追加があったり、同じパートで単独譜表と大譜表とが段落ごとに変化したりする場合もある。このようなパートの対応は、大かっこの対比等で行うが、パートの対応が一意に決められない場合もあるので、予め段落認識結果の修正を行えるようにする。
【００２０】
尚、五線認識が失敗した場合には、その後の処理が行えないので、倍率や濃度を変更して再度画像を取り込む必要がある。従って、ステップＳ７において、まず五線の認識結果をＣＲＴ１４に表示し、表示した"五線の認識結果"に対する利用者の操作の結果に基づいて、五線の認識結果が正しいか否かを判定するようにしてもよい。このようにした場合、五線の認識結果が正しくないと判定されると、ステップＳ１に戻り、楽譜の画像データを再度読み取るようにする。一方、五線の認識結果が正しいと判定された場合には、段落認識結果を表示し、その段落認識結果を利用者にチェックさせるようにするのが好ましい。
【００２１】
一方、ステップＳ７において、認識がＯＫであると判定された場合には、ステップＳ８を省略してステップＳ９に進む。
ステップＳ９に進むと、ＣＰＵ１は、楽譜の画像データに対して、処理矩形決定処理を行う。ＣＰＵ１は、求められた五線（大譜表の場合には、譜表中の五線）を含む、ある程度広い矩形を採り、これを認識処理矩形とする。矩形の大きさは、その五線に関係する音楽記号が存在する最大領域以上で、且つ後述する五線傾き補正により、必要な音楽記号が消えない様な大きさにする。これ以降の認識はこの矩形内で行う。
【００２２】
次に、ステップＳ１０において、ＣＰＵ１は、五線傾き補正処理を行う。五線傾き補正処理の概略を述べると、先に求めた五線のシフト量に基づいて、認識処理矩形の列毎に画素列を上下にシフトする。尚、五線毎にシフト量を計算し、認識処理矩形の画像内でシフト補正を行った方がより正確であるが、このシフト量を、ステップＳ１で読み取られた楽譜の画像全体で１つ計算し、楽譜の画像の全体をシフトしても良い。
この後、ＣＰＵ１は、認識処理矩形の上下端に接したラベルを、上下のパートの構成要素として消去する。最後に、ＣＰＵ１は、上下端の空白部分を検出して、認識処理矩形を縮小する。ここで、ラベルとは、他の画素領域とは独立した画素領域をいう。例えば、白画素と黒画素とからなる２値画像における黒画素のラベルについて説明する。この場合、黒画素の上下左右、斜め方向の画素の連結状態を検出し、検出した結果に基づき１つの塊として判定できる黒画素の集まりをラベルと呼ぶ。尚、上下左右に加えて斜め方向の画素の連結を判定する場合を８連結ラベルと称し、上下左右のみの画素の連結を判定する場合を４連結ラベルと称する。また、本実施形態では、例えば黒画素が連結している部分だけでなく、その黒画素が連結している部分を囲む多角形（矩形等）の領域もラベルとして扱うものとする。
【００２３】
ステップＳＳ１１〜Ｓ１５においては、各種の音楽記号の認識処理が行われる。楽譜の音楽記号には、形、位置に関して大まかに以下の３つの種類がある。
（１）定型で、上下位置がほぼ決まっているもの（音部記号、拍子記号等）。
（２）定型で、上下位置は自由度があるもの（臨時記号、休符等）。
（３）不定型且つ位置も不定のもの（音符、スラー、タイ等）。
本実施形態では、これらをそれぞれに適した方式で、音部記号・拍子認識、音符認識、定型記号認識、文字列認識、スラー・タイ認識の順に認識する。尚、音楽記号は、これらに限定されるものではなく、楽譜に記載されるものであれば、どのようなものであってもよい。
【００２４】
音部記号・拍子認識を最初に行うのは、処理コストの低い認識を最初に行って、この記号を消去することによって、後の認識の処理コストを軽減するためである。更に、最初により確実なものを認識することで、後の認識での誤認識を減らすためでもある。また、音符認識の後に定型記号認識を行うのは、ラベルの接触に影響されにくい認識方式である音符認識を行って、この音符を消去することで、音符に接触した臨時記号等の認識を可能にするためである。スラー・タイ認識が最後になっているのは、処理コストの高いスラー認識の対象になるラベルをなるべく少なくするためである。また、先に検出された音符の周りのラベルだけをスラー・タイ認識の対象にすることによって、更にスラー・タイ認識の処理コストを下げ、且つ、スラー及びタイの誤認識も減らすことができる。
【００２５】
まず、ステップＳ１１において、ＣＰＵ１は、五線に対して定位置にある音楽記号として、音部記号と拍子記号とを認識する音部記号・拍子認識処理を行う。ここでは、まず、求められた五線を含む矩形領域において、縦方向における黒画素のヒストグラムを求め、黒画素の量がしきい値以上の帯域を、音部記号又は拍子記号が存在する可能性のある場所としてマッチングの対象とする。マッチングは、例えば、五線間の数箇所について求められた"横方向のペリフェラル特徴"に基づいて行われる。ペリフェラル特徴とは、マッチングの対象となる記号のみを含む矩形領域の左右端から五線間の数箇所の白画素の領域に向けて内方向に走査し、黒画素の領域に達するまでの距離を１次（最初）あるいは数次（２回目以降）まで求めたものである。また、マッチングに失敗した場合には、隣接した帯域を併合して再度認識を行う。そして、認識された音楽記号は画像データから消去する。
【００２６】
次に、ステップＳ１２において、ＣＰＵ１は、音符認識処理を行う。この音符認識処理においては、まず、画像データを縦細線、横細線、及び太線画像に分離する。そして、各画像から記号や記号の部品を検出し、それらを総合して音符等の記号を認識する。
次に、ステップＳ１３において、ＣＰＵ１は、定型記号認識処理を行う。この定型記号認識処理においては、まず、公知の輪郭線加重方向指数を取り、辞書の各記号データについてラベルのサイズと輪郭線加重方向指数のマッチング度を計算して、各マッチング度を正規化し、統合した結果が最も高い記号を出力する。尚、サイズと加重方向指数の他に、ペリフェラル等の他の特徴を使っても良い。また、五線消去によりラベルが切れたものの対策として、五線消去によって切れたラベルを辞書に登録し、音楽記号であると認識された場合には、その周りのラベルを結合して再認識する。
【００２７】
次に、ステップＳ１４において、ＣＰＵ１は、文字列認識処理を行う。この文字列認識処理においては、まず、速度記号等の文字列を認識するために、定型記号認識処理で認識されたアルファベットやその他の記号を使い、その記号を囲む矩形が文字列状に並んでいるものを抽出する。そして、これと文字列辞書とのマッチングをとることで、文字列状の記号を認識する。
尚、以上のようにして、ステップＳ１１〜１４で認識された音楽記号は画像から消去される。
【００２８】
次に、ステップＳ１５において、ＣＰＵ１は、スラー・タイ認識処理を行う。このスラー・タイ認識処理においては、まず、以上のステップＳ１１〜Ｓ１４の処理で残ったラベルのうち、検出された音符の周りのラベルを細線化し、多円弧近似する。そして、以前に消された記号により線が切れている場合があるので、求められた多円弧同士の連結を行う。最後に、求められた円弧の形や、元画像の図の太さや、音符との関係等からスラーやタイを認識する。そして、認識したスラーやタイを画像から消去する。
【００２９】
次に、ステップＳ１６において、ＣＰＵ１は、接触ラベル分離処理を行う。この接触ラベル分離処理においては、ステップＳ１１〜Ｓ１５の処理で残った矩形状のラベル（以下、ラベル矩形と称する）に含まれる音楽記号を分離し、その音楽記号を認識する。この接触ラベル分離処理の詳細については後述する。尚、このステップＳ１６で認識された音楽記号も画像から消去される。
【００３０】
次に、ステップＳ１７において、ＣＰＵ１は、その他の設定処理を行う。この設定処理では、ステップＳ１１〜Ｓ１６で認識された音楽記号に基づいて、各小節に含まれる音楽記号の設定（小節属性の設定）を行ったり、音楽記号の親子関係の設定を行ったりする。音楽記号の親子関係の設定は、例えば、音符との位置関係が適切な臨時記号を、その音符の臨時記号として設定したりすることにより行われる。尚、音符との位置関係が適切でない臨時記号については、誤認識したとして、認識結果から削除したり、五線や小節との位置関係に応じて調号としたりすることができる。
【００３１】
次に、ステップＳ１８において、ＣＰＵ１は、例えば、ステップＳ１〜Ｓ１７の処理結果に基づき、ステップＳ１で読み取られた楽譜の画像データ（以下、必要に応じて楽譜画像データと称する）を生成して、ＣＲＴ１４に表示させる。そして、その楽譜画像データが正しいか否かを利用者にチェックさせることにより、その楽譜画像データがＯＫか否かを判定する。この判定の結果、楽譜画像データがＯＫでない場合には、ステップＳ１９に進む。そして、ＣＰＵ１は、利用者によるマウスやキーボード１３等の操作に基づいて、音楽記号の認識結果を修正する。そして、ステップＳ２０に進む。
一方、ステップＳ１８において、楽譜画像データがＯＫであると判定された場合には、ステップＳ１９を省略してステップＳ２０に進む。
【００３２】
ステップＳ２０に進むと、ＣＰＵ１は、演奏データ作成処理を行う。この演奏データ作成処理においては、認識した各種の音楽記号（音符情報、音部記号情報、拍子記号情報、定型記号情報、文字列情報、スラー・タイ情報）に基づいて、例えば公知の演奏データ形式であるＭＩＤＩファイルデータを、演奏データとして生成する。そして、図２のフローチャートによる処理を終了する。
【００３３】
次に、図３のフローチャートを参照しながら、図２のステップＳ１６における接触ラベル分離処理の一例を説明する。
まず、ステップＳ１０１において、ＣＰＵ１は、ステップＳ１１〜Ｓ１５の処理で残ったラベル矩形を再度ラベリングし、認識に失敗しているラベル矩形を抽出して保存する。このステップＳ１０１の処理の具体例を説明すると、ＣＰＵ１は、画像を縦方向及び横方向に走査し、黒の領域の画素が見つかると、その画素を含むラベル矩形を検出し、検出したラベル矩形の情報をＲＡＭ３に保存する。
図４は、ステップＳ１１〜Ｓ１５の処理で残ったラベル矩形４０１の一例を示す図であり、図５は、このステップＳ１０１で保存されるラベル矩形５０１の一例を示す図である。本実施形態における以下の説明では、このラベル矩形４０１、５０１に対する処理を具体例として説明することとする。
【００３４】
次に、ステップＳ１０２において、ＣＰＵ１は、ステップＳ１０１で保存したラベル矩形（rcLabel）の１つを取得する。
次に、ステップＳ１０３において、ＣＰＵ１は、連結記号分割処理を行う。この連結記号分割処理においては、まず、ステップＳ１０２で取得したラベル矩形（rcLabel）に含まれている"互いに接触又は接近している複数の音楽記号"を分離し、分離した複数の音楽記号のうちの１つを認識する。そして、認識した音楽記号をラベル矩形（rcLabel）から消去して、新たなラベル矩形（rcLabel）を生成する。このような処理を繰り返すことにより、連結記号分割処理が実現される。尚、この連結記号分割処理の詳細については後述する。
【００３５】
次に、ステップＳ１０４において、ＣＰＵ１は、ラベル矩形の全てを取得したか否かを判定する。この判定の結果、ラベル矩形の全てを取得していない場合には、取得するまでステップＳ１０２〜Ｓ１０４の処理を繰り返し行う。尚、このステップＳ１０４で判定の対象となるラベル矩形は、ステップＳ１０１で保存されたものの他、ステップＳ１０３で新たに得られるラベル矩形がある。
【００３６】
次に、図６のフローチャートを参照しながら、図３のステップＳ１０３における連結記号分割処理の一例を説明する。
まず、ステップＳ２０１において、ＣＰＵ１は、nFailCutの値を０（ゼロ）にセットする。このnFailCutの値は、例えばＲＡＭ３に記憶される。
次に、ステップＳ２０２において、ＣＰＵ１は、bFinalRectの値をFALSEにセットする。このbFinalRectの値も、例えばＲＡＭ３に記憶される。
【００３７】
次に、ステップＳ２０３において、ＣＰＵ１は、図３のステップＳ１０２で取得されたラベル矩形（rcLabel）の４つの頂点の１つを選択する。本実施形態では、nFailCutの値に基づいて、ラベル矩形（rcLabel）の４つの頂点を予め決められた順番で選択するようにしている。図５に示した例では、ラベル矩形５０１の４つの頂点５０１ａ〜５０１ｄを、右上の頂点５０１ａ、右下の頂点５０１ｂ、左下の頂点５０１ｃ、左上の頂点５０１ｄの順で選択するようにする。
【００３８】
次に、ステップＳ２０４において、ＣＰＵ１は、認識対象となる所定の音楽記号（例えば臨時記号）に相当する大きさの矩形を設定する。このとき、求める矩形の頂点の１つが、ステップＳ２０３で選択した頂点となるようにする。尚、以下の説明では、この矩形を切り取り矩形（rcTrim）と称する。
【００３９】
ここで、音楽記号として臨時記号を認識する場合を例に挙げて、切り取り矩形（rcTrim）の具体例について説明する。
まず、ラベル矩形に含まれる複数の臨時記号の夫々が認識されている場合には、臨時記号の外縁に沿った矩形の大きさの平均を、切り取り矩形（rcTrim）とする。臨時記号のうち、シャープ、フラット、及びナチュラルは、大きさが略同じだからである。このとき、五線毎に平均を算出してもよいし、楽譜全体で平均を算出してもよい。ただし、五線全体の縦方向の長さ（五線幅）が場所によって異なる場合があるので、楽譜全体で平均を算出する場合には、五線全体の縦方向の長さ（五線幅）に対する倍率の平均を算出し、算出した倍率の平均に基づく大きさの矩形を、切り取り矩形（rcTrim）とするのが好ましい。
【００４０】
尚、本実施形態では、小音符に付く臨時記号については、大きさの平均の算出対象に含めないようにする。小音符に付く臨時記号は、大きさが小さい上に、その臨時記号同士が接触することは少ないからである。また、臨時記号のうち、ダブルシャープ及びダブルフラットについても、大きさの平均の算出対象に含めないようにする。これらの臨時記号は、大きさが他の臨時記号と異なり、且つ接触することが少ないからである。
また、臨時記号の外縁に沿った矩形の大きさの平均に、１よりも大きい係数を掛けた値を、切り取り矩形（rcTrim）とするのが好ましい。このようにすれば、認識に必要な部分を切り取り矩形（rcTrim）の中に確実に含めることができるからである。
【００４１】
一方、ラベル矩形に含まれる複数の臨時記号の夫々が認識されていない場合には、臨時記号として一般的に考えられている大きさの矩形を切り取り矩形（rcTrim）とする。例えば、五線全体の縦方向の長さ（五線幅）に所定の係数を掛けた値を縦方向の長さとし、その値に所定の係数を掛けた値を横方向の長さとする矩形を切り取り矩形（rcTrim）とする。
本実施形態では、以上のような切り取り矩形（rcTrim）の情報が、予めＨＤＤ４に記憶されており、その情報を取得することで、切り取り矩形（rcTrim）を設定するようにする。
【００４２】
次に、ステップＳ２０５において、ＣＰＵ１は、図３のステップＳ１０２で取得したラベル矩形（rcLabel）と、ステップＳ２０４で取得した切り取り矩形（rcTrim）との大きさの比であるサイズ比を算出する。具体的に本実施形態では、以下の（１式）により、サイズ比を算出する。
サイズ比＝（切り取り矩形（rcTrim）の面積／ラベル矩形（rcLabel）の面積）  ・・・（１式）
【００４３】
次に、ステップＳ２０６において、ＣＰＵ１は、ステップＳ２０５で算出したサイズ比が閾値ｔｈｒよりも小さいか否かを判定する。閾値ｔｈｒの値は、例えば０．８である。ただし、閾値ｔｈｒの値は、０．８に限定されず、ステップＳ２０４で求めた切り取り矩形（rcTrim）を、図３のステップＳ１０２で取得したラベル矩形（rcLabel）から切り取る必要があるか否かを判別するためのものであれば、どのような値であってもよい。例えば、１以下の任意の値を、閾値ｔｈｒとすることができる。
【００４４】
この判定の結果、サイズ比が閾値ｔｈｒよりも小さい場合には、ステップＳ２０７に進む。ステップＳ２０７に進むと、ＣＰＵ１は、ラベル矩形（rcLabel）から、切り取り矩形（rcTrim）を切り取る。
図７は、図５に示したラベル矩形５０１から切り取られた切り取り矩形７０１の一例を示す図である。図７に示す例では、図５に示したラベル矩形５０１の頂点５０１ａを頂点の１つとする矩形を、ラベル矩形５０１から切り取るようにしている。
そして、ＣＰＵ１は、切り取った切り取り矩形（rcTrim）の内縁部分の空白をカットする。
図８は、内縁部分の空白がカットされた切り取り矩形８０１の一例を示す図である。図７に示した切り取り矩形７０１の内縁部分の空白をカットすると、図８に示す切り取り矩形８０１が得られる。
【００４５】
次に、ステップＳ２０８において、ＣＰＵ１は、bFinalRectの値をTRUEにセットする。
次に、ステップＳ２０９において、ＣＰＵ１は、ステップＳ２０７で得られた切り取り矩形（rcTrim）に対して、辞書マッチングを行うか否かを判定する。
この判定は、例えば、内縁部分の空白がカットされた切り取り矩形（rcTrim）の大きさが閾値よりも大きいか否かを判定したり、内縁部分の空白をカットする前後における切り取り矩形（rcTrim）の大きさの変化が閾値よりも小さいか否かを判定したりすることにより行うことができる。
【００４６】
すなわち、内縁部分の空白がカットされた切り取り矩形（rcTrim）の大きさが閾値よりも大きいか否かを判定する場合には、内縁部分の空白がカットされた切り取り矩形（rcTrim）の大きさが閾値よりも大きいと、辞書マッチングを行うと判定し、そうでないと辞書マッチングを行わないと判定する。一方、内縁部分の空白をカットする前後における切り取り矩形（rcTrim）の大きさの変化が閾値よりも小さいか否かを判定する場合には、内縁部分の空白をカットする前後における切り取り矩形（rcTrim）の大きさの変化が閾値よりも小さいと、辞書マッチングを行うと判定し、そうでないと辞書マッチングを行わないと判定する。
【００４７】
図９は、内縁部分の空白をカットする前の切り取り矩形９０１の一例を示す図であり、図１０は、内縁部分の空白をカットした後の切り取り矩形１００１の一例を示す図である。図９及び図１０に示すように、内縁部分の空白をカットする前の切り取り矩形９０１と、内縁部分の空白をカットした後の切り取り矩形１００１との大きさの比が、（比較的小さい値が設定された）ある閾値よりも小さくなった場合（内縁部分の空白をカットする前の切り取り矩形９０１と、内縁部分の空白をカットした後の切り取り矩形１００１との大きさが極端に異なる場合）には、辞書マッチングを行わないと判定する。
【００４８】
以上のような判定の結果、辞書マッチングを行わない場合には、ステップＳ２１０に進む。ステップＳ２１０に進むと、ＣＰＵ１は、nFailCutの値に１を加算してステップＳ２０３に戻る。そして、ステップＳ２０３において、ラベル矩形（rcLabel）の４つの頂点のうち、前回選択した頂点の次に選択することが定められている頂点が選択される。
一方、辞書マッチングを行う場合には、ステップＳ２１１に進む。
【００４９】
ステップＳ２０６において、サイズ比が閾値ｔｈｒよりも小さくない場合には、ステップＳ２０４で求めた切り取り矩形（rcTrim）を、図３のステップＳ１０２で取得したラベル矩形（rcLabel）から切り取る必要がないので、ステップＳ２０７〜Ｓ２０９を省略してステップＳ２１１に進む。
【００５０】
そして、ステップＳ２１１に進むと、ＣＰＵ１は、辞書マッチングを行う。この辞書マッチングは、例えば、前述した図２のステップＳ１３で説明したのと同じ方法で行うことができる。尚。ステップＳ２０６でＮＯと判定されてこのステップＳ２１１に進んだ場合、ＣＰＵ１は、図３のステップＳ１０２で取得したラベル矩形（rcLabel）に対して辞書マッチングを行う。一方、ステップＳ２０６でＹＥＳと判定されてこのステップＳ２１１に進んだ場合、ＣＰＵ１は、ステップＳ２０７で得られた切り取り矩形（rcTrim）に対して辞書マッチングを行う。
【００５１】
次に、ステップＳ２１２において、ＣＰＵ１は、ステップＳ２１１における辞書マッチングの結果に基づいて、音楽記号が認識されたか否かを判定する。
このステップＳ２１２では、例えば、ステップＳ２１１における辞書マッチングにより得られたマッチング度が閾値よりも大きい場合に音楽記号が認識されたと判定し、そうでない場合に音楽記号が認識されないと判定することができる。
尚、ここで使用する閾値としては、例えば、図２のステップＳ１３で使用する閾値よりも低い（緩い）値を採用することができる。通常の音楽記号（臨時記号等）の認識時とは異なり、ラベル矩形（rcLabel）や切り取り矩形（rcTrim）に、例えば連結記号の一部が入り込む場合があり、ステップＳ２１１における辞書マッチングにより得られたマッチング度は、通常の連結していない音楽記号（臨時記号等）を認識する場合よりも低くなる可能性が高いからである。ただし、必ずしもこのようにする必要はなく、誤認識を防止するために、図２のステップＳ１３で使用する閾値よりも高い（厳しい）値を採用してもよい。
【００５２】
この判定の結果、音楽記号が認識された場合には、ステップＳ２１３に進み、ＣＰＵ１は、nFailCutの値を０（ゼロ）にセットする。
次に、ステップＳ２１４において、ＣＰＵ１は、図３のステップＳ１０２で取得されたラベル矩形（rcLabel）から、ステップＳ２０４で得られた切り取り矩形（rcTrim）内の情報（ラベル）を消去する。図１１は、図５に示したラベル矩形５０１から、図８に示した切り取り矩形８０１内の情報（ラベル）を消去することにより得られるラベル矩形１１０１の一例を示す図である。
【００５３】
次に、ステップＳ２１５において、ＣＰＵ１は、ステップＳ２１４で得られたラベル矩形（rcLabel）を再ラベリングし、ステップＳ２１４で得られたラベル矩形（rcLabel）を修正する。例えば、ＣＰＵ１は、ステップＳ２１４で得られたラベル矩形の内縁部分の空白をカットする。図１２は、図１１に示したラベル矩形１１０１を修正したラベル矩形１２０１の一例を示す図である。
【００５４】
次に、ステップＳ２１６において、ＣＰＵ１は、nFailCutの値が４であるか否かを判定する。この判定の結果、nFailCutの値が４である場合には、図３のステップＳ１０２で取得されたラベル矩形（rcLabel）の４つの頂点に対する処理を全て終了したと判定し、図３に示したフローチャートに戻る。
一方、nFailCutの値が４でない場合には、ステップＳ２１７に進む。ステップＳ２１７に進むと、ＣＰＵ１は、bFinalRectの値がTRUEであるか否かを判定する。この判定の結果、bFinalRectの値がTRUEである場合には、図３に示したフローチャートに戻り、そうでない場合には、ステップＳ２０３に戻る。そして、ステップＳ２０３において、ラベル矩形（rcLabel）の４つの頂点のうち、前回選択した頂点の次に選択することが定められている頂点が選択される。
【００５５】
ステップＳ２１２において、音楽記号が認識されなかったと判定された場合には、ステップＳ２１８に進む。そして、ＣＰＵ１は、nFailCutの値に１を加算してステップＳ２１６に進む。そして、ステップＳ２１６において、nFailCutの値が４であるか否かが判定される。
【００５６】
以上のように本実施形態では、ラベル矩形（rcLabel）の４つの頂点の１つを頂点の１つとする矩形であって、認識対象となる所定の音楽記号（例えば臨時記号）に相当する大きさを有する矩形である切り取り矩形（rcTrim）を、ラベル矩形（rcLabel）から切り取る。そして、切り取り矩形（rcTrim）に対して辞書マッチングを行い、切り取り矩形（rcTrim）内の音楽記号を認識する。このような処理を、ラベル矩形（rcLabel）の４つの頂点を、予め定められた順番で選択して繰り返し行うことにより、互いに接触（接近）した音楽記号（例えば臨時記号）を夫々の音楽記号（例えば臨時記号）に分離することを、従来よりも容易に且つ確実に行うことができる。
【００５７】
尚、本実施形態では、矩形状のラベル（ラベル矩形（rcLabel））を例に挙げて説明したが、ラベルの形状は矩形に限定されるものではない。
また、本実施形態では、スキャナ１１、プリンタ１２、キーボード１３、及びＣＲＴ１４を、楽譜認識装置１００と別のハードウェアとしたが、これらを楽譜認識装置１００に含めるようにしてもよい。
【００５８】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。前述した第１の実施形態では、ステップＳ１１〜Ｓ１５の処理で認識に失敗した全てのラベル矩形（rcLabel）に対して、連結記号分割処理を行うようにした。これに対し、本実施形態では、図３のステップＳ１０２とステップＳ１０３との間で、ステップＳ１０２で取得したラベル矩形（rcLabel）に対して、ステップＳ１０３の連結記号分割処理を行うか否かを、ラベル矩形（rcLabel）の形状及び位置の少なくとも何れか一方に基づいて判定するようにする。このように本実施形態は、前述した第１の実施形態に、この判定を行う処理を追加したものである。したがって、本実施形態の説明において、前述した第１の実施形態と同一の部分については、図１〜図１２に付した符号と同一の符号と付すこと等により、詳細な説明を省略する。
【００５９】
前述したように、本実施形態では、図３のステップＳ１０２とステップＳ１０３との間で、ステップＳ１０２で取得したラベル矩形（rcLabel）に対して、ステップＳ１０３の連結記号分割処理を行うか否かを、ラベル矩形（rcLabel）の大きさ及び位置の少なくとも何れか一方に基づいて判定する。
【００６０】
まず、ラベル矩形（rcLabel）の大きさに関する条件について説明する。
例えば、ステップＳ１０２で取得したラベル矩形（rcLabel）の大きさが閾値以下である場合には、ステップＳ１０３を省略してステップＳ１０４に進むようにし、そうでない場合には、ステップＳ１０３に進むようにすることができる。また、これとは反対に、例えば、ステップＳ１０２で取得したラベル矩形（rcLabel）の大きさが閾値以上である場合には、ステップＳ１０３を省略してステップＳ１０４に進むようにし、そうでない場合には、ステップＳ１０３に進むようにすることもできる。更に、ステップＳ１０２で取得したラベル矩形（rcLabel）の大きさが所定の範囲内にある場合には、ステップＳ１０３に進むようにし、そうでない場合には、ステップＳ１０３を省略してステップＳ１０４に進むようにすることもできる。以上のようにする場合、ラベル矩形（rcLabel）の縦方向の長さ、横方向の長さ毎に閾値を設けたり、ラベル矩形（rcLabel）の面積に対して閾値を設けたりすることができる。
【００６１】
次に、ラベル矩形（rcLabel）の位置に関する条件について説明する。
例えば、図２のステップＳ１２で認識された音符（の符頭の端又は符頭の中心）と、ステップＳ１０２で取得したラベル矩形（rcLabel）との横方向及び縦方向の少なくとも何れか一方における距離が閾値以下である場合には、ステップＳ１０３を省略してステップＳ１０４に進むようにし、そうでない場合には、ステップＳ１０３に進むようにすることができる。
図１３は、認識された音符と、ラベル矩形（rcLabel）との横方向及び縦方向における距離の一例を示す図である。
【００６２】
図１３において、認識された音符の符頭の端と、ラベル矩形１３０１の端との横方向における最短距離はＬ１である。認識された音符の符頭の中心と、ラベル矩形１３０１との横方向における最短距離はＬ２である。
また、認識された音符の符頭の下端（和音の最下部の符頭の下端）と、ラベル矩形１３０１の下端との縦方向における最短距離はＬ３である。認識された音符の符頭の上端（和音の最上部の符頭の上端）と、ラベル矩形１３０１の上端との縦方向における最短距離はＬ４である。
更に、認識された音符の符頭の中心（和音の最下部の符頭の中心）と、ラベル矩形１３０１の下端との縦方向における最短距離はＬ５である。認識された音符の符頭の中心（和音の最上部の符頭の中心）と、ラベル矩形１３０１の上端との縦方向における最短距離はＬ６である。
【００６３】
図１３に示す例では、以上の距離Ｌ１又はＬ２が閾値以下であり、距離Ｌ３又はＬ５が閾値以下であり、距離Ｌ４又はＬ６が閾値以下である場合には、ステップＳ１０３を省略してステップＳ１０４に進むようにし、そうでない場合には、ステップＳ１０３に進むようにすることができる。
【００６４】
更に、ラベル矩形（rcLabel）の大きさに関する条件と、ラベル矩形（rcLabel）の位置に関する条件とを組み合わせることもできる。
以上のように本実施形態では、ラベル矩形（rcLabel）の大きさ及び位置の少なくとも何れか一方に基づいて、ステップＳ１０３の連結記号分割処理を行うか否かを判定するようにした。したがって、第１の実施形態で説明した効果に加え、処理速度及び処理コストを向上させることができるという効果を有する。
【００６５】
尚、ラベル矩形（rcLabel）の大きさ及び位置に関する条件は、前述したものに限定されない。例えば、ラベル矩形（rcLabel）の大きさと、認識された音符（和音）の大きさとの比率が所定の範囲内にある場合にステップＳ１０３に進み、そうでない場合には、ステップＳ１０３を省略してステップＳ１０４に進むようにしてもよい。
また、ラベル矩形（rcLabel）と、認識された音符（和音）との位置関係に加え、ラベル矩形（rcLabel）と、認識された五線や小節との位置関係も条件に加えるようにすることができる。このようにすれば、ラベル矩形（rcLabel）内で調号が連結（又は接近）している場合にも、ステップＳ１０３を行うか否かをより適切に判定することができる。尚、ラベル矩形（rcLabel）内で調号が連結（又は接近）している場合には、ラベル矩形（rcLabel）の位置に関する条件を考慮しないようにすることもできる。
【００６６】
（第３の実施形態）
次に、本発明の第２の実施形態について説明する。前述した第２の実施形態では、ラベル矩形（rcLabel）の形状及び位置の少なくとも何れか一方に基づいて、ステップＳ１０３の連結記号分割処理を行うか否かを判定するようにした。これに対し、本実施形態では、ラベル矩形（rcLabel）内の音楽記号の情報に基づいて、ステップＳ１０３の連結記号分割処理を行うか否かを判定するようにする。このように本実施形態と前述した第２の実施形態とは、ステップＳ１０３の連結記号分割処理を行うか否かを判定する際の判定基準が主として異なる。したがって、本実施形態の説明において、前述した第１及び第２の実施形態と同一の部分については、図１〜図１３に付した符号と同一の符号と付すこと等により、詳細な説明を省略する。
【００６７】
シャープ、フラット、及びナチュラルには、何れも縦方向の細線があり、この細線の部分が直線として認識されている可能性が高い。そこで、ラベル矩形（rcLabel）内に、このような直線の数が、閾値以上である場合には、ステップＳ１０３に進むようにし、そうでない場合には、ステップＳ１０３を省略してステップＳ１０４に進むようにすることができる。また、ラベル矩形（rcLabel）内の直線の長さや傾きを判定条件に加えてよい。このようにする場合、例えば、ラベル矩形（rcLabel）内の直線の数が閾値以上であり、その直線の長さが閾値以上であり、その直線の傾きが所定の範囲内である場合に、ステップＳ１０３に進むようにし、そうでない場合には、ステップＳ１０３を省略してステップＳ１０４に進むようにすることができる。
【００６８】
以上のように本実施形態では、ラベル矩形（rcLabel）内の音楽記号の情報に基づいて、ステップＳ１０３の連結記号分割処理を行うか否かを判定するようにした。したがって、本実施形態においても、第２の実施形態と同様の効果を奏する。
尚、ラベル矩形（rcLabel）内の音楽記号の情報は、前述したものに限定されるものではない。例えば、ラベル矩形（rcLabel）内にある穴（すなわち、黒画素のラベルに周囲を囲まれる白画素の塊）の数及び大きさの少なくとも何れか一方を判定条件に加えてもよい。このようにする場合、例えば、ラベル矩形（rcLabel）内にある穴の数（大きさ）が閾値以上である場合に、ステップＳ１０３に進むようにし、そうでない場合には、ステップＳ１０３を省略してステップＳ１０４に進むようにすることができる。
【００６９】
（第４の実施形態）
次に、本発明の第４の実施形態について説明する。前述した第１の実施形態では、ラベル矩形（rcLabel）の４つの頂点を、予め定められた順番で選択するようにした。これに対して、本実施形態では、ラベル矩形（rcLabel）の４つの頂点の１つを、ラベル矩形（rcLabel）内の"音楽記号に相当する画素の分布"に基づいて選択するようにする。このように本実施形態と前述した第１の実施形態とは、ラベル矩形（rcLabel）の４つの頂点の１つを選択する方法が主として異なる。したがって、本実施形態の説明において、前述した第１の実施形態と同一の部分については、図１〜図１２に付した符号と同一の符号と付すこと等により、詳細な説明を省略する。
【００７０】
本実施形態では、図６のステップＳ２０３において、次の処理を行う。
まず、ステップＳ１０２で取得されたラベル矩形（rcLabel）を、右上、右下、左下、及び左上の４つの領域に分割（４等分）する。そして、これら４つの領域のうち、"音楽記号に相当する画素（黒画素）"が最も多い領域を選択する。そして、ラベル矩形（rcLabel）の４つの頂点のうち、選択した領域に属する頂点を選択する。
図１４は、右上、右下、左下、及び左上の４つの領域に分割されたラベル矩形１４０１の一例を示す図である。図１４に示す例では、黒画素が最も多い領域は、左上の領域（頂点１４０１ｄを含む領域）である。よって、ラベル矩形１４０１の４つの頂点１４０１ａ〜１４０１ｄのうち、左上の領域に属する頂点１４０１ｄを選択することになる。
【００７１】
前述した第１の実施形態では、ラベル矩形（rcLabel）の頂点を、予め定められた順番で選択するので、音楽記号が認識できるか否かにかかわらず、ラベル矩形（rcLabel）の頂点を選択する。このため、処理速度の上昇と処理コストの低減とを実現することが困難である。また、最初に認識を行うべきでない領域（切り取り矩形（rcTrim））を切り取ってしまい、その領域（切り取り矩形（rcTrim））で音楽記号を認識できてしまった場合、その後の音楽記号の認識を適切に行えなくなってしまう虞がある。更に、最初に認識を行うべきでない領域（切り取り矩形（rcTrim））を切り取ってしまうために、その領域（切り取り矩形（rcTrim））における認識対象のラベルの形が正確でなくなり、音楽記号を誤認識してしまう虞がある。これに対し、本実施形態では、ラベル矩形（rcLabel）の４つの頂点の１つを、ラベル矩形（rcLabel）内の黒画素の量に基づいて選択するようにするので、以上のような不都合が生じることを第１の実施形態よりも低減することができる。
【００７２】
尚、本実施形態では、ラベル矩形（rcLabel）内における"音楽記号に相当する画素の分布"として、黒画素の量を４つの領域で比較するようにしたが、必ずしもこのようにする必要はない。例えば、白画素の量を４つの領域で比較するようにしてもよい。また、黒画素と白画素との割合を４つの領域で比較するようにしてもよい。また、分割する領域の数も４つに限定されるものではない。
【００７３】
（第５の実施形態）
次に、本発明の第５の実施形態について説明する。前述した第４の実施形態では、ラベル矩形（rcLabel）の４つの頂点の１つを、ラベル矩形（rcLabel）内における"音楽記号に相当する画素の分布"に基づいて選択するようにした。これに対して、本実施形態では、ラベル矩形（rcLabel）の４つの頂点の１つを、ラベル矩形（rcLabel）の端における"音楽記号に相当する画素"の配置状況に基づいて選択するようにする。このように本実施形態と前述した第４の実施形態とは、ラベル矩形（rcLabel）の４つの頂点の１つを選択する方法が主として異なる。したがって、本実施形態の説明において、前述した第４の実施形態と同一の部分については、図１〜図１２、図１４に付した符号と同一の符号と付すこと等により、詳細な説明を省略する。
【００７４】
本実施形態では、図６のステップＳ２０３において、次の処理を行う。
まず、ステップＳ１０２で取得されたラベル矩形（rcLabel）を、右上、右下、左下、及び左上の４つの領域に分割（４等分）する。そして、これら４つの領域の夫々において、ラベル矩形（rcLabel）の端における"音楽記号に相当する画素（黒画素）の配置状況"を判定する。そして、例えば、ラベル矩形（rcLabel）の縦方向の端部と横方向の端部との双方に黒画素が存在している領域を、分割した４つの領域から選択する。そして、ラベル矩形（rcLabel）の４つの頂点のうち、選択した領域に属する頂点を選択する。
【００７５】
尚、ラベル矩形（rcLabel）の縦方向の端部と横方向の端部との双方に黒画素が存在している領域が複数ある場合や、そのような領域がない場合には、例えば、ラベル矩形（rcLabel）の端に存在している黒画素の長さが長い領域を優先的に選択することができる。この他、黒画素が、ラベル矩形（rcLabel）の端の所定の位置にある領域を優先的に選択することもできる。
【００７６】
また、以上のようにして、ラベル矩形（rcLabel）の端における"音楽記号に相当する画素（黒画素）"の配置状況を判定するに際し、ラベル矩形（rcLabel）の中央部分の所定の領域については、判定対象から除外するのが好ましい。
【００７７】
図１５は、右上、右下、左下、及び左上の４つの領域に分割されたラベル矩形１５０１の一例を示す図である。図１５に示す例では、ラベル矩形１５０１を縦方向に３等分した場合の真ん中の領域１５０２を判定対象から除外するようにしている。そうすると、右上の領域（頂点１５０１ａを含む領域）では、ラベル矩形（rcLabel）の縦方向の端部と横方向の端部との双方に黒画素が存在している。また、右下の領域（頂点１５０２ａを含む領域）では、ラベル矩形（rcLabel）の端部には黒画素が存在していない。また、左下の領域（頂点１５０１ｃを含む領域）では、ラベル矩形（rcLabel）の横方向の端部にのみ黒画素が存在している。また、左上の領域（頂点１５０１ｄを含む領域）では、ラベル矩形（rcLabel）の縦方向の端部にのみ黒画素が存在している。したがって、図１５に示す例では、右上の領域に属する頂点１５０１ａを選択することになる。
【００７８】
以上のように本実施形態では、ラベル矩形（rcLabel）の４つの頂点の１つを、ラベル矩形（rcLabel）の端における"音楽記号に相当する画素"の配置状況に基づいて選択するようにした。したがって、本実施形態においても、第４の実施形態と同様の効果を奏する。尚、本実施形態においても、分割する領域の数は４つに限定されるものではない。
【００７９】
（第６の実施形態）
次に、本発明の第６の実施形態について説明する。本実施形態では、ラベル矩形（rcLabel）内の音楽記号の形状に関する情報に基づいて、ラベル矩形（rcLabel）の４つの頂点の１つを選択するようにする。このように本実施形態と前述した第４、第５の実施形態とは、ラベル矩形（rcLabel）の４つの頂点の１つを選択する方法が主として異なる。したがって、本実施形態の説明において、前述した第４、第５の実施形態と同一の部分については、図１〜図１２、図１４、図１５に付した符号と同一の符号と付すこと等により、詳細な説明を省略する。
【００８０】
本実施形態では、図６のステップＳ２０３において、次の処理を行う。
まず、ステップＳ１０２で取得されたラベル矩形（rcLabel）を、右上、右下、左下、及び左上の４つの領域に分割（４等分）する。そして、４つの領域の夫々において、縦方向の細線の配置状況を判定する。そして、例えば、横方向の間隔が閾値以下である"縦方向の２本の細線"が存在する領域を、分割した４つの領域から選択する。そして、ラベル矩形（rcLabel）の４つの頂点のうち、選択した領域に属する頂点を選択する。シャープ及びナチュラルには、何れも縦方向の２本の細線がある。そこで、これらを優先的に識別するために、以上のようにして頂点を選択する。
【００８１】
尚、横方向の間隔が閾値以下である"縦方向の２本の細線"が存在しない場合には、縦方向の１本の細線が存在する領域を、分割した４つの領域から選択することができる。フラットには、縦方向の１本の細線がある。そこで、フラットを識別するために、以上のようにして頂点を選択する。
また、縦方向の細線が存在する領域がない場合には、例えば、第１、第４、第５の実施形態で説明したようにして頂点を選択することができる。
【００８２】
図１６は、右上、右下、左下、及び左上の４つの領域に分割されたラベル矩形１６０１の一例を示す図である。図１６に示す例では、右上の領域（頂点１６０１ａを含む領域）でのみ、横方向の間隔が閾値以下である"縦方向の２本の細線"が存在する。したがって、図１６に示す例では、ラベル矩形１６０１の４つの頂点１６０１ａ〜１６０１ｄのうち、右上の領域に属する頂点１６０１ａを選択することになる。
【００８３】
以上のように本実施形態では、ラベル矩形（rcLabel）の４つの頂点の１つを、ラベル矩形（rcLabel）内の音楽記号の形状に関する情報に基づいて選択するようにした。したがって、本実施形態においても、第４の実施形態と同様の効果を奏する。
尚、本実施形態においても、分割する領域の数は４つに限定されるものではない。また、ラベル矩形（rcLabel）内の音楽記号の形状に関する情報であれば、必ずしも縦方向の細線の情報に基づいて、ラベル矩形（rcLabel）の頂点を選択する必要はない。例えば、ラベル矩形（rcLabel）内にある穴の数、大きさ、及び形状の少なくとも何れか１つに基づいて、ラベル矩形（rcLabel）の頂点を選択するようにしてもよい。
【００８４】
（第７の実施形態）
次に、本発明の第７の実施形態について説明する。本実施形態では、前述した第２の実施形態と第３の実施形態との少なくとも何れか一方と、前述した第４〜第６の実施形態の何れかとを組み合わせるようにする。したがって、本実施形態の説明において、前述した第１〜第６の実施形態と同一の部分については、図１〜図１６に付した符号と同一の符号と付すこと等により、詳細な説明を省略する。
【００８５】
図１７は、図３のフローチャートのステップＳ１０２とステップＳ１０３との間で行われる処理の一例を説明する図である。
まず、ステップＳ３０１において、ＣＰＵ１は、図３のステップＳ１０３の連結記号分割処理を行うための第１の条件を満たすか否かを判定する。この判定は、前述した第２の実施形態で説明したようにして行われる。例えば、ステップＳ１０２で取得したラベル矩形（rcLabel）の大きさが閾値以下である場合に、第１の条件を満たすと判定する。
この判定の結果、第１の条件を満たす場合にはステップＳ３０２に進む。一方、第１の条件を満たさない場合には、ステップＳ１０４に進み、全てのラベル矩形（rcLabel）を取得したか否かが判定される。
【００８６】
ステップＳ３０２に進むと、ＣＰＵ１は、図３のステップＳ１０３の連結記号分割処理を行うための第２の条件を満たすか否かを判定する。この判定は、前述した第３の実施形態で説明したようにして行われる。例えば、ステップＳ１０２で取得したラベル矩形（rcLabel）内に、縦方向の細線に相当する直線の数が閾値以上ある場合に、第２の条件を満たすと判定する。
この判定の結果、第２の条件を満たす場合にはステップＳ１０３に進み、連結記号分割処理が実行される。一方、第２の条件を満たさない場合には、ステップＳ１０４に進み、全てのラベル矩形（rcLabel）を取得したか否かが判定される。
【００８７】
そして、ステップＳ１０３の連結記号分割処理に進んだ場合、ステップＳ２０３において、第４〜第６の実施形態で説明したようにして、ラベル矩形（rcLabel）の頂点を選択する。
以上のようにすれば、互いに接触（接近）した音楽記号（例えば臨時記号）を夫々の音楽記号（例えば臨時記号）に分離することを、より一層容易に且つ確実に行うことができる。
【００８８】
尚、本実施形態のように、処理コストが低い第２の実施形態で説明した判定（図１６のステップＳ３０１）を行ってから、第３の実施形態で説明した判定（図１６のステップＳ３０２）を行うようにするのが好ましいが、第３の実施形態で説明した判定を行ってから、第２の実施形態で説明した判定を行ってもよい。
また、第２の実施形態で説明した判定（図１６のステップＳ３０１）と、第３の実施形態で説明した判定（図１６のステップＳ３０２）とのうち、何れか一方だけを行うようにしてもよい。
【００８９】
（第８の実施形態）
次に、本発明の第８の実施形態について説明する。前述した第１〜第７の実施形態では、ラベル矩形（rcLabel）の４つの頂点の１つを選択し、選択した頂点を頂点の１つとする切り取り矩形（rcTrim）を、ラベル矩形（rcLabel）から切り取るようにした。これに対し、本実施形態では、ラベル矩形（rcLabel）内の音楽記号の情報に基づいて、切り取り矩形（rcTrim）を設定し、設定した切り取り矩形（rcTrim）を、ラベル矩形（rcLabel）から切り取るようにする。このように本実施形態と、前述した第１〜第７の実施形態では、ラベル矩形（rcLabel）から切り取る切り取り矩形（rcTrim）の決定方法が主として異なる。したがって、本実施形態の説明において、前述した第１〜第７の実施形態と同一の部分については、図１〜図１７に付した符号と同一の符号と付すこと等により、詳細な説明を省略する。
【００９０】
本実施形態では、図６のステップＳ２０１、Ｓ２０３、Ｓ２１０、Ｓ２１３、Ｓ２１６、Ｓ２１８の処理が不要になる。そして、ステップＳ２０４において、次の処理を行う。
図１８は、図６のステップＳ２０４で行われる処理の一例を説明するフローチャートである。
まず、ステップＳ４０１において、ＣＰＵ１は、ステップＳ１０２で取得されたラベル矩形（rcLabel）内に、横方向における間隔が所定値以下である"縦方向の２本の細線"が存在しているか否かを判定する。
【００９１】
この判定の結果、横方向における間隔が所定値以下である"縦方向の２本の細線"が存在している場合には、ステップＳ４０２に進む。ステップＳ４０２に進むと、ＣＰＵ１は、２本の細線の中心の上下方向におけるずれ量が所定の範囲内にあるか否かを判定する。この判定の結果、２本の細線の中心の上下方向におけるずれ量が所定の範囲内にある場合には、ステップＳ４０３に進む。
【００９２】
ステップＳ４０３に進むと、ＣＰＵ１は、２本の細線の上端のうち、何れの上端が上に位置するかを判定する。この判定の結果、２本の細線の上端のうち、右側の細線の上端の方が、左側の細線の上端よりも上に位置する場合には、ステップＳ４０４に進む。ステップＳ４０４に進むと、ＣＰＵ１は、２本の細線は、シャープを表すものであると判定し、その２本の細線を基準にした"シャープに対応する大きさの矩形"を切り取り領域（rcTrim）として設定する。そして、図６のステップＳ２０５に進む。
【００９３】
一方、２本の細線の上端のうち、左側の細線の上端の方が、右側の細線の上端よりも上に位置する場合には、ステップＳ４０５に進む。ステップＳ４０５に進むと、ＣＰＵ１は、２本の細線は、ナチュラルを表すものであると判定し、その２本の細線を基準にした"ナチュラルに対応する大きさの矩形"を切り取り領域（rcTrim）として設定する。そして、図６のステップＳ２０５に進む。
尚、前述したシャープに対応する大きさの矩形と、ナチュラルに対応する大きさの矩形の大きさの情報は、例えばＨＤＤ４に予め記憶されている。
【００９４】
ステップＳ４０１において、横方向における間隔が所定値以下である"縦方向の２本の細線"が存在していないと判定された場合と、ステップＳ４０２において、２本の細線の中心の上下方向におけるずれ量が所定の範囲内にないと判定された場合には、ステップＳ４０６に進む。ステップＳ４０６に進むと、ステップＳ１０２で取得されたラベル矩形（rcLabel）において、縦方向の細線が１本存在しているか否かを判定する。この判定の結果、縦方向の細線が１本存在している場合には、ステップＳ４０７に進む。
【００９５】
ステップＳ４０７に進むと、ＣＰＵ１は、１本の細線は、フラットを表すものであると判定し、その１本の細線を基準にした"フラットに対応する大きさの矩形"を切り取り領域（rcTrim）として設定する。そして、図６のステップＳ２０５に進む。
尚、前述したフラットに対応する大きさの矩形の大きさの情報も、例えばＨＤＤ４に予め記憶されている。
【００９６】
ステップＳ４０６において、縦方向の細線が１本も存在していないと判定されると、ステップＳ４０８に進み、ＣＰＵ１は、その他の方法で切り取り領域（rcTrim）を設定する。例えば、その他の臨時記号に対応する太線を検出し、その太線を基準にした矩形を切り取り領域（rcTrim）として設定することができる。そして、図６のステップＳ２０５に進む。
【００９７】
以上のように本実施形態では、ラベル矩形（rcLabel）内の音楽記号の情報に基づいて、切り取り矩形（rcTrim）を設定し、設定した切り取り矩形（rcTrim）を、ラベル矩形（rcLabel）から切り取るようにした。したがって、より正確に音楽記号を認識することができる。更に、通常の臨時記号とは矩形サイズが違う臨時記号（ダブルシャープやダブルフラット等）や、臨時記号以外の記号（８分休符等）が連結（又は接近）している場合にも、音楽記号（臨時記号）を正確に認識することが可能になる。
尚、本実施形態では、縦方向の細線の情報を音楽記号の情報としたが、音楽記号の情報はこのようなものに限定されない。例えば、穴の大きさ、数、及び形状の少なくとも何れか１つの情報を音楽記号の情報とすることができる。また、横方向の太線の情報を音楽記号の情報とすることもできる。
【００９８】
（第９の実施形態）
次に、本発明の第９の実施形態について説明する。本実施形態では、前述した第１〜第７の実施形態で説明したようにラベル矩形（rcLabel）の頂点を選択して辞書マッチングを行った結果を、第８の実施形態で説明した方法で検証するようにしている。このように、本実施形態は、第４及び第５の実施形態に、辞書マッチングの結果を検証する処理を追加したものとなる。したがって、本実施形態の説明において、前述した第１〜第８の実施形態と異なる部分については、図１〜図１８に付した符号と同一の符号を付すこと等により、詳細な説明を省略する。
【００９９】
本実施形態では、前述した第１〜第８の実施形態で説明したようにラベル矩形（rcLabel）の頂点を選択して辞書マッチングを行った結果、図６のステップＳ２１２で、音楽記号が認識されなかったと判定された場合、次の処理を行う。
まず、音楽記号が認識されなかった"切り取り矩形（rcTrim）又はラベル矩形（rcLabel）"における音楽記号の情報に基づいて、音楽記号を検出できるか否かを判定する。この判定は、第８の実施形態で説明した音楽記号の情報が得られるか否かによって行うことができる。例えば、縦方向の２本の細線の位置関係が、シャープに対応する位置関係である場合には、シャープを検出できたと判定する（図１８のステップＳ４０１〜Ｓ４０４を参照）。また、縦方向の２本の細線の位置関係が、ナチュラルに対応する位置関係である場合には、ナチュラルを検出できたと判定する（図１８のステップＳ４０１〜Ｓ４０３、Ｓ４０５を参照）。そして、音楽記号が検出できた場合にはステップＳ２１３に進み、できなかった場合にはステップＳ２１８に進む。
以上のように本実施形態では、辞書マッチングの結果を検証するようにしたので、音楽記号の認識をより精度よく行うことができる。
【０１００】
尚、辞書マッチングの結果を検証する方法は、前述した方法に限定されるものではない。例えば、以下のようにすることもできる。
まず、図６のステップＳ２１２で使用する閾値を、第１〜第８の実施形態よりも低く設定しておく。そして、ステップＳ２１２で音楽記号が認識されたと判定された場合のうち、マッチング度が低い"切り取り矩形（rcTrim）又はラベル矩形（rcLabel）"については、第８の実施形態で説明した音楽記号の情報が得られるか否かによって、認識した音楽記号が正しいものか否かを判定する。この判定の結果、認識した音楽記号が正しいものである場合にはステップＳ２１３に進み、正しいものでない場合にはステップＳ２１８に進む。
【０１０１】
例えば、ステップＳ２１２で認識された音楽記号に、縦方向の２本の細線がある場合、その縦方向の２本の細線の位置関係が、シャープ又はナチュラル等の所定の音楽記号に対応する位置関係であるか否かを判定する。この判定の結果、縦方向の２本の細線の位置関係が、シャープ又はナチュラル等の所定の音楽記号に対応する位置関係である場合にはステップＳ２１３に進み、そうでない場合にはステップＳ２１８に進む。
【０１０２】
以上説明した本発明の各実施形態は、コンピュータがプログラムを実行することによって実現することができる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体、又はかかるプログラムを伝送する伝送媒体も本発明の実施の形態として適用することができる。また、上記プログラムを記録したコンピュータ読み取り可能な記録媒体などのプログラムプロダクトも本発明の実施の形態として適用することができる。上記のプログラム、コンピュータ読み取り可能な記録媒体、伝送媒体及びプログラムプロダクトは、本発明の範疇に含まれる。
また、前述した各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図面の簡単な説明】
【０１０３】
【図１】本発明の第１の実施形態を示し、楽譜認識装置の構成の一例を示すブロック図である。
【図２】本発明の第１の実施形態を示し、ＣＰＵの処理の一例を説明するメインフローチャートである。
【図３】本発明の第１の実施形態を示し、図２のステップＳ１６における接触ラベル分離処理の一例を説明するフローチャートである。
【図４】本発明の第１の実施形態を示し、図２のステップＳ１１〜Ｓ１５の処理で残ったラベル矩形の一例を示す図である。
【図５】本発明の第１の実施形態を示し、図３のステップＳ１０１で保存されるラベル矩形の一例を示す図である。
【図６】本発明の第１の実施形態を示し、図３のステップＳ１０３における連結記号分割処理の一例を説明するフローチャートである。
【図７】本発明の第１の実施形態を示し、図５に示したラベル矩形から切り取られた切り取り矩形の一例を示す図である。
【図８】本発明の第１の実施形態を示し、内縁部分の空白がカットされた切り取り矩形の一例を示す図である。
【図９】本発明の第１の実施形態を示し、内縁部分の空白をカットする前の切り取り矩形の一例を示す図である。
【図１０】本発明の第１の実施形態を示し、内縁部分の空白をカットした後の切り取り矩形の一例を示す図である。
【図１１】本発明の第１の実施形態を示し、図５に示したラベル矩形から、図８に示した切り取り矩形のラベルを消去することにより得られるラベル矩形の一例を示す図である。
【図１２】本発明の第１の実施形態を示し、図１１に示したラベル矩形を修正したラベル矩形の一例を示す図である。
【図１３】本発明の第２の実施形態を示し、認識された音符と、ラベル矩形との横方向及び縦方向における距離の一例を示す図である。
【図１４】本発明の第４の実施形態を示し、右上、右下、左下、及び左上の４つの領域に分割されたラベル矩形の一例を示す図である。
【図１５】本発明の第５の実施形態を示し、右上、右下、左下、及び左上の４つの領域に分割されたラベル矩形の一例を示す図である。
【図１６】本発明の第６の実施形態を示し、右上、右下、左下、及び左上の４つの領域に分割されたラベル矩形の一例を示す図である。
【図１７】本発明の第７の実施形態を示し、図３のステップＳ１０２とステップＳ１０３との間で行われる処理の一例を説明する図である。
【図１８】本発明の第８の実施形態を示し、図６のステップＳ２０４で行われる処理の一例を説明するフローチャートである。
【符号の説明】
【０１０４】
１  ＣＰＵ
２  ＲＯＭ
３  ＲＡＭ
４  ＨＤＤ
５  ＦＤＤ
６  ＭＩＤＩ
７  スキャナインタフェース回路
８  プリンタインタフェース回路
９  キーボードインタフェース回路
１０  ＣＲＴインタフェース回路
１１  スキャナ
１２  プリンタ
１３  キーボード
１４  ＣＲＴ
１００  楽譜認識装置
【図１】
0005248074.tif 000002
【図２】
0005248074.tif 000003
【図３】
0005248074.tif 000004
【図４】
0005248074.tif 000005
【図５】
0005248074.tif 000006
【図６】
0005248074.tif 000007
【図７】
0005248074.tif 000008
【図８】
0005248074.tif 000009
【図９】
0005248074.tif 000010
【図１０】
0005248074.tif 000011
【図１１】
0005248074.tif 000012
【図１２】
0005248074.tif 000013
【図１３】
0005248074.tif 000014
【図１４】
0005248074.tif 000015
【図１５】
0005248074.tif 000016
【図１６】
0005248074.tif 000017
【図１７】
0005248074.tif 000018
【図１８】
0005248074.tif 000019