【事件の表示】
　特許第２９７９４０９号「楽譜認識方法及び装置」の請求項１ないし４に係る特許に対する特許異議の申立てについて、次のとおり決定する。
【結　論】
　訂正を認める。
　特許第２９７９４０９号の請求項１、３に係る特許を取り消す。
　同請求項２、４に係る特許を維持する。
【理　由】
［１］本件発明
　本件特許第２９７９４０９号の発明は、昭和６３年６月２日に特許出願され、平成１１年９月１７日にその特許の設定登録がなされ、その後、芦リッカンより特許異議の申立がなされ、取消理由通知がなされ、その指定期間内である平成１２年１０月１６日に訂正請求がなされたものである。
［２］訂正の適否についての判断
［２−１］訂正の内容
　特許権者が求めている訂正の内容は、以下のとおりである。
（ａ）特許請求の範囲の請求項２および４を次のとおりに訂正する。
　「【請求項２】記録シートに記録された楽譜のイメージを読み取る読取工程と、この読取工程にて読み取られた楽譜のイメージから五線のイメージを検出するとともに、五線の位置情報を検出する五線検出工程と、上記楽譜のイメージから、この五線検出工程にて検出された五線のイメージを除去する五線除去工程と、この五線除去工程にて五線のイメージから除去された残りの楽譜のイメージの中から、音符のイメージを検出する音符検出工程と、この音符検出工程にて検出された音符の符頭の位置と、上記五線検出工程にて検出された五線の位置情報との関係から音符の音高を認識する音高認識工程と、
上記読取工程にて読み取られた楽譜のイメージに基づいて楽曲のパート数を判別するとともに、この判別結果に応じて上記音高認識工程にて音高が認識された音符を並べかえる音符並べかえ工程と、
音符並べかえ
並べかえら
【請求項４】記録シートに記録された楽譜のイメージを読み取る読取手段と、この読取手段にて読み取られた楽譜のイメージから五線のイメージを検出するとともに、五線の位置情報を検出する五線検出手段と、上記楽譜のイメージから、この五線検出手段にて検出された五線のイメージを除去する五線除去手段と、この五線除去手段にて五線のイメージが除去された残りの楽譜のイメージの中から、音符のイメージを検出する音符検出手段と、この音符検出手段にて検出された音符の符頭の位置と、上記五線検出手段にて検出された五線の位置情報との関係から音符の音高を認識する音高認識手段と、
上記読取手段にて読み取られた楽譜のイメージに基づいて楽曲のパート数を判別するとともに、この判別結果に応じて上記音高認識手段にて音高が認識された音符を並べかえる音符並べかえ手段と、
音符並べかえ
並べかえら
（ｂ）発明の詳細な説明の項の［発明の構成、作用］の項の記載を訂正明細書の記載のとおりに訂正する。
［２−２］訂正の目的の適否、新規事項の有無及び拡張・変更の存否
　上記（ａ）の訂正事項は、明細書の実施例の〈音符の並びかえ〉の項の記載および第２４図の記載に基づいて、特許明細書の請求項２及び４の楽譜認識方法または楽譜認識装置をさらに限定して、「
上記読取工程（手段）にて読み取られた楽譜のイメージに基づいて楽曲のパート数を判別するとともに、この判別結果に応じて上記音高認識工程（手段）にて音高が認識された音符を並べかえる音符並べかえ工程（手段）と、
音符並べかえ
並べかえら
　上記（ｂ）の訂正事項は、上記（ａ）の訂正事項による特許請求の範囲の減縮にともない、これと整合を図るために、発明の詳細な説明の項を訂正するものであるから、明りょうでない記載の釈明に該当するものである。
　したがって、上記（ａ）（ｂ）の訂正は、特許明細書の記載に基づいて、特許請求の範囲を更に限定し、特許請求の範囲の減縮または明瞭でない記載の釈明に該当するものであって、新規事項の追加に該当せず、実質的に特許請求の範囲を拡張又は変更するものではない。
［２−３］
　以上のとおりであるから、上記訂正は、特許法等の一部を改正する法律（平成６年法律第１１６号）附則第６条第１項の規定によりなお従前の例によるとされる、特許法第１２０条の４第２項及び第３項において準用する平成６年法律第１１６号による改正前の特許法第１２６条第１項ただし書、第２項及び第３項の規定に適合するので、当該訂正を認める。
［３］異議申立ての理由の概要　
　申立人芦リッカンは、証拠として甲第１号証（電子情報通信学会論文誌Ｄ　Ｖｏｌ．Ｊ７１−Ｄ　Ｎｏ．５、８９４頁〜９０１頁）を提出し、請求項１ないし４に係る発明は第２９条第２項の規定に違反してなされたものであるから、特許を取り消すべき旨主張している。
［４］本件発明
　本件特許第２９７９４０９号の請求項１ないし４に係る発明（以下、それぞれ「本件発明１ないし４」という。）は、訂正明細書の特許請求の範囲の請求項１ないし４に記載された次のとおりのものである。
「【請求項１】記録シートに記録された楽譜のイメージを読み取る読取工程と、この読取工程にて読み取られた楽譜のイメージから五線のイメージを検出するとともに、五線の位置情報を検出する五線検出工程と、上記楽譜のイメージから、この五線検出工程にて検出された五線のイメージを除去する五線除去工程と、この五線除去工程にて五線のイメージが除去された残りの楽譜のイメージの中から、音符のイメージを検出する音符検出工程と、上記五線除去工程にて五線のイメージが除去された残りの楽譜のイメージの中から、音符以外の記号であって音符の音高に係る記号のイメージを検出する記号検出工程と、この記号検出工程にて検出された音符以外の記号のイメージが、上記音符検出工程にて検出された音符のイメージのうち、どの音符に作用しているのかを判定する判定工程と、上記音符検出工程にて検出された音符の符頭の位置と、上記五線検出工程にて検出された五線の位置情報との関係から音符の音高を認識する音高認識工程と、この音高認識工程にて認識された音符の音高を、上記判定工程による判定結果に応じて変更する音高変更工程と、を有することを特徴とする楽譜認識方法。
【請求項２】（上記［２−１］のとおり）
【請求項３】記録シートに記録された楽譜のイメージを読み取る読取手段と、この読取手段にて読み取られた楽譜のイメージから五線のイメージを検出するとともに、五線の位置情報を検出する五線検出手段と、上記楽譜のイメージから、この五線検出手段にて検出された五線のイメージを除去する五線除去手段と、この五線除去手段にて五線のイメージが除去された残りの楽譜のイメージの中から、音符のイメージを検出する音符検出手段と、上記五線除去手段にて五線のイメージが除去された残りの楽譜のイメージの中から、音符以外の記号であって音符の音高に係る記号のイメージを検出する記号検出手段と、この記号検出手段にて検出された音符以外の記号のイメージが、上記音符検出手段にて検出された音符のイメージのうち、どの音符に作用しているのかを判定する判定手段と、上記音符検出手段にて検出された音符の符頭の位置と、上記五線検出手段にて検出された五線の位置情報との関係から音符の音高を認識する音高認識手段と、この音高認識手段にて認識された音符の音高を、上記判定手段による判定結果に応じて変更する音高変更手段と、を有することを特徴とする楽譜認識装置。
【請求項４】（上記［２−１］のとおり）」
［５］本件発明１の特許について
［５−１］刊行物記載の発明
　当審が通知した取消しの理由に引用した刊行物（上記甲第１号証、昭和６３年５月２５日発行、以下「引用例」という。）には、ピアノ楽譜の自動認識に関して、
（ａ）「図３に本システムの処理フローを示す。楽譜は、ＣＣＤラインセンサーを用いた画像入力装置により、２４０本／ｉｎｃｈの解像度でＡ４版１ページ単位に読み込まれる。前処理として、五線の検出、小節線の検出を行い、楽譜を小節単位に分割する。認識処理は分割された小節単位に行われ、各小節ごとに音楽的規則を用いた処理がなされる。後処理では、各小節ごとの認識結果を反復記号を考慮に入れ結合することにより最終的な出力データを生成する。」（第８９５頁右欄１６〜２４行）、
（ｂ）「３．１　五線の検出」の項に「そのウインドを左右に動かし、横方向の投影を利用し、始点と終点の正確な位置を求める。」（第８９６頁左欄２９〜３０行）、
（ｃ）「認識処理は、前処理によってセグメンテーションされた小節単位に行われ、次の三つの処理に分けられる。１）五線消去、２）音部・調子・拍子記号の認識、３）音符・休符・臨時記号の認識、これらの処理では、認識された記号から順に画像から消去され、最終的には認識対象外の記号のみの画像となる。」（第８９６頁右欄１０〜１７行）、
（ｄ）「４．１　五線の消去」の項に「五線はすべての記号の位置情報の基準となるもので、非常に重要なものであるが、・・・そこで、あらかじめ五線を消去した後、記号の認識に入る。」（第８９６頁右欄１９〜２２行）、
（ｅ）「４．３　音符・休符・臨時記号の認識」の項に「本システムでは、記号を複数の基本図形（プリミティブ）に分解し、それらプリミティブのパターン認識と、意味解析によるフィードバックを取り入れた処理を行っている。」（第８９７頁右欄第９〜１２行）、
（ｆ）「ＰＲＩＭＩＴＩＶＥ」の項に「ここにはＩＭＡＧＥのレベルから抽出された音符・休符の構成要素となるプリミティブが記述される。ここでは、臨時記号についても付点などと同様に、音符の構成要素と考える。」（第８９７頁右欄２９〜３２行）、
（ｇ）「１）プリミティブ抽出モジュール」の項に、「例えば、臨時記号を抽出するユニットは、ＰＲＩＭＩＴＩＶＥのレベルに記述されている符頭の位置情報を利用し処理を行っている。」（第８９８頁右欄１〜３行）、
（ｈ）「２）シンボル合成モジュール」の項に、「音符は、基本的に符頭と符尾から成り立つ。この組合せをすべて探し、付加的なものとして符こう・付点・臨時記号の有無を調べることにより音符の合成が行われる。」（第８９９頁左欄３〜６行）、
（ｉ）「３）シンボル認識モジュール」の項に、「音の高さは、符頭と五線・加線との位置関係および音部記号により一意に決定できる。」（第８９９頁左欄３４〜３６行）と記載されている。
［５−２］対比・判断
　本件発明１と引用例に記載された発明とを比較すると、引用例の「臨時記号」は、本件発明１の「音符以外の記号であって音符の音高に係る記号」に相当している。また、引用例において、五線の始点と終点の正確な位置を求めているので、本件発明１の「五線の位置情報を検出」することに相当し、引用例において、臨時記号を抽出する際に符頭の位置情報を利用し処理を行っているので、本件発明１の「音符以外の記号であって音符の音高に係る記号」が、「どの音符に作用しているのか判定する」ことに相当している。
　よって、両者は、「楽譜のイメージを読み取る読取工程と、この読取工程にて読み取られた楽譜のイメージから五線のイメージを検出するとともに、五線の位置情報を検出する五線検出工程と、上記楽譜のイメージから、この五線検出工程にて検出された五線のイメージを除去する五線除去工程と、この五線除去工程にて五線のイメージが除去された残りの楽譜のイメージの中から、音符のイメージを検出する音符検出工程と、上記五線除去工程にて五線のイメージが除去された残りの楽譜のイメージの中から、音符以外の記号であって音符の音高に係る記号のイメージを検出する記号検出工程と、この記号検出工程にて検出された音符以外の記号のイメージが、上記音符検出工程にて検出された音符のイメージのうち、どの音符に作用しているのかを判定する判定工程と、上記音符検出工程にて検出された音符の符頭の位置と、上記五線検出工程にて検出された五線の位置情報との関係から音符の音高を認識する音高認識工程と、を有する楽譜認識方法。」である点で一致し、下記の相違点で相違している。
　【相違点】本件発明１は、「音高認識工程にて認識された音符の音高を、判定工程による判定結果に応じて変更する音高変更工程」を有するのに対し、引用例には、特に記載されていない点。
　しかしながら、引用例の楽譜認識方法においても、臨時記号は音符と共に重要性が認識されており、音符の付加的なものとして臨時記号の有無を調べると記載されて（上記（ｈ）参照）おり、臨時記号の付加されている音符については、臨時記号が音高に反映されるものである。そして、本来音楽的規則において、音符以外の記号であって音符の音高に係る記号である臨時記号は、その記号自体が、ある１つの音の高さを一時的に変えるしるしであるので、引用例に記載された発明において、音符以外の記号であって音符の音高に係る記号が、どの音符に作用しているのかを判定する判定工程の判定結果に応じて、音高認識された音符の音高を変更する工程を設けることは、当業者が容易に想到しうることである。
　したがって、本件発明１は、引用例に記載された発明に基いて当業者が容易に発明をすることができたものものであるから、本件発明１の特許は、特許法第２９条第２項の規定により違反してされたものである。　
［６］本件発明３の特許について
　本件発明１が楽譜認識方法に関するのに対し、本件発明３は、楽譜認識装置に関するものであり、本件発明１が各「工程」を有すること特徴とする「方法」であるのに対して、本件発明３は、各「手段」を有することを特徴とする「装置」である点で相違しているのみであるので、本件発明３は、上記「［５］本件発明１の特許について」と同様の理由により、引用例に記載された発明に基いて当業者が容易に発明をすることができたものであるから、本件発明３の特許は、特許法第２９条第２項の規定により違反してされたものである。　
［７］本件発明２の特許について
　本件発明２と引用例に記載された発明を比較すると、本件発明２が特徴とする「
上記読取工程にて読み取られた楽譜のイメージに基づいて楽曲のパート数を判別するとともに、この判別結果に応じて上記音高認識工程にて音高が認識された音符を並べかえる音符並べかえ工程と、
音符並べかえ
並べかえら
　引用例には、「ピアノ譜は高音部譜表と低音部譜表の２段で構成され」（引用例第８９６頁右欄１〜２行）と記載されているのみであるので、具体的な構成Ａを想到することは容易ではない。そして、本件発明２は、構成Ａにより、明細書記載の効果を奏するものであるので、引用例から当業者が容易に発明をすることができたものとすることができない。
［８］本件発明４の特許について
　本件発明２が楽譜認識方法に関するのに対し、本件発明４は、楽譜認識装置に関するものであり、本件発明２が各「工程」を有すること特徴とする「方法」であるのに対して、本件発明４は、各「手段」を有することを特徴とする「装置」に関する発明である点で相違しているのみであるので、本件発明４は、上記「［７］本件発明２の特許について」と同様の理由により、引用例から当業者が容易に発明をすることができたものとすることができない。
［９］　むすび　
　以上のとおりであるから、本件発明１及び３の特許は、特許法第２９条第２項の規定に違反してされたものであるから、特許法等の一部を改正する法律（平成６年法律第１１６号）附則第１４条の規定に基づく、特許法等の一部を改正する法律の施行に伴う経過措置を定める政令（平成７年政令第２０５号）第４条第１項及び第２項の規定により、取り消されるべきものである。
　また、本件発明２及び４の特許については、特許異議申立ての理由及び証拠によっては、取り消すことはできない。また、他に本件発明２及び４に係る特許を取り消すべき理由を発見しない。
　よって、結論のとおり決定する。
【異議決定日】
平成１２年１１月１３日（２０００．１１．１３）
【訂正の要旨】
訂正の要旨
▲１▼訂正事項ａ
　特許請求の範囲の請求項２および４を、特許請求の範囲の減縮を目的として、
　「【請求項２】記録シートに記録された楽譜のイメージを読み取る読取工程と、この読取工程にて読み取られた楽譜のイメージから五線のイメージを検出するとともに、五線の位置情報を検出する五線検出工程と、上記楽譜のイメージから、この五線検出工程にて検出された五線のイメージを除去する五線除去工程と、この五線除去工程にて五線のイメージから除去された残りの楽譜のイメージの中から、音符のイメージを検出する音符検出工程と、この音符検出工程にて検出された音符の符頭の位置と、上記五線検出工程にて検出された五線の位置情報との関係から音符の音高を認識する音高認識工程と、
上記読取工程にて読み取られた楽譜のイメージに基づいて楽曲のパート数を判別するとともに、この判別結果に応じて上記音高認識工程にて音高が認識された音符を並べかえる音符並べかえ工程と、
音符並べかえ
並べかえら
　【請求項４】記録シートに記録された楽譜のイメージを読み取る読取手段と、この読取手段にて読み取られた楽譜のイメージから五線のイメージを検出するとともに、五線の位置情報を検出する五線検出手段と、上記楽譜のイメージから、この五線検出手段にて検出された五線のイメージを除去する五線除去手段と、この五線除去手段にて五線のイメージが除去された残りの楽譜のイメージの中から、音符のイメージを検出する音符検出手段と、この音符検出手段にて検出された音符の符頭の位置と、上記五線検出手段にて検出された五線の位置情報との関係から音符の音高を認識する音高認識手段と、
上記読取手段にて読み取られた楽譜のイメージに基づいて楽曲のパート数を判別するとともに、この判別結果に応じて上記音高認識手段にて音高が認識された音符を並べかえる音符並べかえ手段と、
音符並べかえ
並べかえら
▲２▼訂正事項ｂ
　明細書第６頁第３行目〜第９頁第１行目に「この発明による…できる。」とあるのを、
「この発明による楽譜認識方法及び装置（請求項１及び３）は、記録シートに記録された楽譜のイメージを読み取る読取工程及び読取手段と、この読取工程にて読み取られた楽譜のイメージから五線のイメージを検出するとともに、五線の位置情報を検出する五線検出工程及び五線検出手段と、上記楽譜のイメージから、この五線検出工程及び五線検出手段にて検出された五線のイメージを除去する五線除去工程及び五線除去手段と、この五線除去工程及び五線除去手段にて五線のイメージが除去された残りの楽譜のイメージの中から、音符のイメージを検出する音符検出工程及び音符検出手段と、上記五線除去工程及び五線除去手段にて五線のイメージが除去された残りの楽譜のイメージの中から、音符以外の記号であって音符の音高に係る記号のイメージを検出する記号検出工程及び記号検出手段と、この記号検出工程及び記号検出手段にて検出された音符以外の記号のイメージが、上記音符検出工程及び音符検出手段にて検出された音符のイメージのうち、どの音符に作用しているのかを判定する判定工程及び判定手段と、上記音符検出工程及び音符検出手段にて検出された音符の符頭の位置と、上記五線検出工程及び五線検出手段にて検出された五線の位置情報との関係から音符の音高を認識する音高認識工程及び音高認識手段と、この音高認識工程及び音高認識手段にて認識された音符の音高を、上記判定工程及び判定手段による判定結果に応じて変更する音高変更工程及び音高変更手段とを有することを特徴とする。
　この構成の場合には、処理が進むにつれて検索すべきイメージデータの範囲が絞られていくために、データの処理量が少なくなり、楽譜認識のための全体の処理時間を短縮することができ、さらに、＃やｂ等の記号と音符との対応づけが高速かつ正確に行われるために、楽譜の音高認識の精度が高まる。
　さらにこの発明（請求項２及び４）によれば、記録シートに記録された楽譜のイメージを読み取る読取工程及び読取手段と、この読取工程及び読取手段にて読み取られた楽譜のイメージから五線のイメージを検出するとともに、五線の位置情報を検出する五線検出工程及び五線検出手段と、上記楽譜のイメージから、この五線検出工程及び五線検出手段にて検出された五線のイメージを除去する五線除去工程及び五線除去手段と、この五線除去工程及び五線除去手段にて五線のイメージが除去された残りの楽譜のイメージの中から、音符のイメージを検出する音符検出工程及び音符検出手段と、この音符検出工程及び音符検出手段にて検出された音符の符頭の位置と、上記五線検出工程及び五線検出手段にて検出された五線の位置情報との関係から音符の音高を認識する音高認識工程及び音高認識手段と、
上記読取工程及び読取手段にて読み取られた楽譜のイメージに基づいて楽曲のパート数を判別するとともに、この判別結果に応じて上記音高認識工程及び音高認識手段にて音高が認識された音符を並べかえる音符並べかえ工程及び音符並べかえ手段と、
音符並べかえ
音符並べかえ
並べかえら
　この構成の場合には、処理が進むにつれて検索すべきイメージデータの範囲が絞られていくために、データの処理量が少なくなり、楽譜認識のための全体の処理時間を短縮することができ、さらに、認識結果をＭＩＤＩコードに変換可能なために、シート等に記載されている楽譜を読み取って自動演奏データとして利用することができる。」
　と訂正する。
（５４）【発明の名称】
楽譜認識方法及び装置
（５７）【特許請求の範囲】
（１）　記録シートに記録された楽譜のイメージを読み取る読取工程と、
　この読取工程にて読み取られた楽譜のイメージから五線のイメージを検出するとともに、五線の位置情報を検出する五線検出工程と、
　上記楽譜のイメージから、この五線検出工程にて検出された五線のイメージを除去する五線除去工程と、
　この五線除去工程にて五線のイメージが除去された残りの楽譜のイメージの中から、音符のイメージを検出する音符検出工程と、
　上記五線除去工程にて五線のイメージが除去された残りの楽譜のイメージの中から、音符以外の記号であって音符の音高に係る記号のイメージを検出する記号検出工程と、
　この記号検出工程にて検出された音符以外の記号のイメージが、上記音符検出工程にて検出された音符のイメージのうち、どの音符に作用しているのかを判定する判定工程と、
　上記音符検出工程にて検出された音符の符頭の位置と、上記五線検出工程にて検出された五線の位置情報との関係から音符の音高を認識する音高認識工程と、
　この音高認識工程にて認識された音符の音高を、上記判定工程による判定結果に応じて変更する音高変更工程と、
　を有することを特徴とする楽譜認識方法。
（２）　記録シートに記録された楽譜のイメージを読み取る読取工程と、
　この読取工程にて読み取られた楽譜のイメージから五線のイメージを検出するとともに、五線の位置情報を検出する五線検出工程と、
　上記楽譜のイメージから、この五線検出工程にて検出された五線のイメージを除去する五線除去工程と、
　この五線除去工程にて五線のイメージから除去された残りの楽譜のイメージの中から、音符のイメージを検出する音符検出工程と、
　この音符検出工程にて検出された音符の符頭の位置と、上記五線検出工程にて検出された五線の位置情報との関係から音符の音高を認識する音高認識工程と、
　
上記読取工程にて読み取られた楽譜のイメージに基づいて楽曲のパート数を判別するとともに、この判別結果に応じて上記音高認識工程にて音高が認識された音符を並べかえる音符並べかえ工程と、
　この
音符並べかえ
並べかえら
　を有することを特徴とする楽譜認識方法。
（３）　記録シートに記録された楽譜のイメージを読み取る読取手段と、
　この読取手段にて読み取られた楽譜のイメージから五線のイメージを検出するとともに、五線の位置情報を検出する五線検出手段と、
　上記楽譜のイメージから、この五線検出手段にて検出された五線のイメージを除去する五線除去手段と、
　この五線除去手段にて五線のイメージが除去された残りの楽譜のイメージの中から、音符のイメージを検出する音符検出手段と、
　上記五線除去手段にて五線のイメージが除去された残りの楽譜のイメージの中から、音符以外の記号であって音符の音高に係る記号のイメージを検出する記号検出手段と、
　この記号検出手段にて検出された音符以外の記号のイメージが、上記音符検出手段にて検出された音符のイメージのうち、どの音符に作用しているのかを判定する判定手段と、
　上記音符検出手段にて検出された音符の符頭の位置と、上記五線検出手段にて検出された五線の位置情報との関係から音符の音高を認識する音高認識手段と、
　この音高認識手段にて認識された音符の音高を、上記判定手段による判定結果に応じて変更する音高変更手段と、
　を有することを特徴とする楽譜認識装置。
（４）　記録シートに記録された楽譜のイメージを読み取る読取手段と、
　この読取手段にて読み取られた楽譜のイメージから五線のイメージを検出するとともに、五線の位置情報を検出する五線検出手段と、
　上記楽譜のイメージから、この五線検出手段にて検出された五線のイメージを除去する五線除去手段と、
　この五線除去手段にて五線のイメージが除去された残りの楽譜のイメージの中から、音符のイメージを検出する音符検出手段と、
　この音符検出手段にて検出された音符の符頭の位置と、上記五線検出手段にて検出された五線の位置情報との関係から音符の音高を認識する音高認識手段と、
　
上記読取手段にて読み取られた楽譜のイメージに基づいて楽曲のパート数を判別するとともに、この判別結果に応じて上記音高認識手段にて音高が認識された音符を並べかえる音符並べかえ手段と、
　この
音符並べかえ
並べかえら
　を有することを特徴とする楽譜認識装置。
【発明の詳細な説明】
［発明の技術分野］
　この発明は記録シートに記録された楽譜と自動的に認識する楽譜認識方法及び装置に関する。
［従来技術と問題点］
　印刷された楽譜を自動的に認識する楽譜認識技術は既知である。これらの楽譜認識装置では楽譜の要素（音符その他の記号）を認識するために、楽譜の画像データを記憶する画像メモリに対し、莫大な回数のアクセスを試みる。このため、処理量が非常に多くなり、装置の規模も大がかりになるという問題があった。
［発明の目的］
　したがって、この発明の少ないデータ処理量で楽譜の自動認識が可能な楽譜認識方法及び装置を提供することを目的とする。
［発明の構成、作用］
　上記の目的を達成するため、この発明による楽譜認識方法及び装置（請求項１及び３）は、記録シートに記録された楽譜のイメージを読み取る読取工程及び読取手段と、この読取工程にて読み取られた楽譜のイメージから五線のイメージを検出するとともに、五線の位置情報を検出する五線検出工程及び五線検出手段と、上記楽譜のイメージから、この五線検出工程及び五線検出手段にて検出された五線のイメージを除去する五線除去工程及び五線除去手段と、この五線除去工程及び五線除去手段にて五線のイメージが除去された残りの楽譜のイメージの中から、音符のイメージを検出する音符検出工程及び音符検出手段と、上記五線除去工程及び五線除去手段にて五線のイメージが除去された残りの楽譜のイメージの中から、音符以外の記号であって音符の音高に係る記号のイメージを検出する記号検出工程及び記号検出手段と、この記号検出工程及び記号検出手段にて検出された音符以外の記号のイメージが、上記音符検出工程及び音符検出手段にて検出された音符のイメージのうち、どの音符に作用しているのかを判定する判定工程及び判定手段と、上記音符検出工程及び音符検出手段にて検出された音符の符頭の位置と、上記五線検出工程及び五線検出手段にて検出された五線の位置情報との関係から音符の音高を認識する音高認識工程及び音高認識手段と、この音高認識工程及び音高認識手段にて認識された音符の音高を、上記判定工程及び判定手段による判定結果に応じて変更する音高変更工程及び音高変更手段とを有することを特徴とする。
　この構成の場合には、処理が進むにつれて検索すべきイメージデータの範囲が絞られていくために、データの処理量が少なくなり、楽譜認識のための全体の処理時間を短縮することができ、さらに、＃やｂ等の記号と音符との対応づけが高速かつ正確に行われるために、楽譜の音高認識の精度が高まる。
　さらにこの発明（請求項２及び４）によれば、記録シートに記録された楽譜のイメージを読み取る読取工程及び読取手段と、この読取工程及び読取手段にて読み取られた楽譜のイメージから五線のイメージを検出するとともに、五線の位置情報を検出する五線検出工程及び五線検出手段と、上記楽譜のイメージから、この五線検出工程及び五線検出手段にて検出された五線のイメージを除去する五線除去工程及び五線除去手段と、この五線除去工程及び五線除去手段にて五線のイメージが除去された残りの楽譜のイメージの中から、音符のイメージを検出する音符検出工程及び音符検出手段と、この音符検出工程及び音符検出手段にて検出された音符の符頭の位置と、上記五線検出工程及び五線検出手段にて検出された五線の位置情報との関係から音符の音高を認識する音高認識工程及び音高認識手段と、
上記読取工程及び読取手段にて読み取られた楽譜のイメージに基づいて楽曲のパート数を判別するとともに、この判別結果に応じて上記音高認識工程及び音高認識手段にて音高が認識された音符を並べかえる音符並べかえ工程及び音符並べかえ手段と、
音符並べかえ
音符並べかえ
並べかえら
　この構成の場合には、処理が進むにつれて検索すべきイメージデータの範囲が絞られていくために、データの処理量が少なくなり、楽譜認識のための全体の処理時間を短縮することができ、さらに、認識結果をＭＩＤＩコードに変換可能なために、シート等に記載されている楽譜を読み取って自動演奏データとして利用することができる。
［実施例］
　以下図面を参照してこの発明の実施例を説明する。
＜全体構成＞
　第１図に本実施例に係る楽譜認識装置の全体構成を示す。図中、１は楽譜（図示せず）が印刷された楽譜シートであり、このシート１上の楽譜のイメージはイメージ入力装置により読み取られる。イメージ入力装置としては、密着型のイメージスキャナー、あるいはテレビカメラ（例ＣＣＤカメラ）等が使用できる。イメージ入力装置１により読み取られたイメージデータは２値化され、イメージ記憶装置３に記憶される。記憶されたイメージは楽譜解読装置４により解読され、その解読結果はＭＩＤＩ（Ｍｕｓｉｃａｌ　Ｉｎｓｔｒｕｍｅｎｔ　Ｄｉｇｉｔａｌ　Ｉｎｔｅｒｆａｃｅ）変換装置５によりＭＩＤＩコードに変換され、音源を含む出力装置６を通じて放音される。後述の説明から明らかとなるが、楽譜解読装置４がイメージ記憶装置３に対してアクセスする回数は、可及的に最小化されている、したがって、楽譜解読装置４をマイクロコンピュータで実現することができる。
＜ゼネラルフロー＞
　第２図は実施例の全体の動作のフローを示している。２−１でシート１上の楽譜をイメージ入力装置２によって読み取って、イメージ記憶装置３に記憶する。その後、楽譜解読装置４が動作して、記憶された楽譜のイメージを認識する（２−２）。認識結果はＭＩＤ１変換装置５によってＭＩＤＩコードにデータ変換され、出力装置６より楽音として出力される（２−３）。
＜楽譜認識＞
　楽譜解読装置４によって実行される楽譜認識（第２図の２−２）のフローを第３図に示す。入力デ一夕はイメージ記憶装置３上の楽譜のイメージデータであり（３−１）、出力デ一夕は楽譜の認識結果である（３−９）。
　３−２で楽譜解読装置４は楽譜のイメージデータから五線の幅と間隔を測定し、３−３で五線の方程式を決定して五線の位置を検出し、３−４で楽譜のイメージデータから五線を他の記号と連なる部分を除いて消去する。この結果、楽譜の各記号は黒の連結要素に分解することができる。そこで、この分解された連結要素にラベル（名前）を付けて連結要素ごとのデータに分離する（３−５）。この時点では、情報の形式はイメージデータのままであるが、その大きさは各連結要素のイメージサイズであるので元の楽譜のイメージデータに比べ格段に小さくなっている。そこで、分離された個々の連結要素のイメージから特徴データを取り出し、それによって、連結要素が音符であるとがト音記号であるかというように、記号の大分類を行う（３−６）。この時点で形の確定しているもの（例えば、＃、ｂ）は、分類（記号認識）が完了する。ただし、音符のような記号では、連結要素の複数の異なる部分（セグメント）が明らかにならなければ、その意味を特定することができない。例えば、４分音符の場合に、旗（符尾）が１つ付けば８分音符に変化する。そこで、記号の認識３−７において、これらの記号（意味プリミティブ）を連結要素内の局所的な検索を通じて特定するとともに、意味プリミティブ相互の帰属関係（例えば＃の臨呼記号が作用する音高の音符）等を決定して音符の音長、音高を決定する。最後に認識された音長データと音高データを出現順に従って並びかえる（３−８）。
　以下、楽譜認識の個々の処理を詳細に説明する。
＜五線の幅と間隔の測定＞
　楽譜認識のフロー（第３図）の３−２で実行される五線の幅と間隔の測定処理の詳細を第４図に示す。
　楽譜のイメージのなかで圧倒的に大量な記号は五線である。したがって、楽譜の五線とほぼ垂直な方向における黒のランレングスを検出し、この黒のランレングスのヒストグラムを作成すれば、最大頻度のランレグスが五線の幅となり、同様にして白のランレングスを検出し、この白のランレングスのヒストグラムを作成すれば、最大頻度の白のランレングスが五線の間隔を表わすはずである。例えば第５図では黒のランレングスの最大頻度はランレングス＝３で発生しているので五線の幅は３であり、白のランレングスの最大頻度はランレングス＝１５で発生しているので、五線の間隔は１５である。
　第４図のフローはこの原理に従って五線の間隔と幅を測定している。
　４−３のスキャンでは、実行の都度、別のｘ座標値においてｙ方向（五線にほぼ垂直な方向）に楽譜のイメージデータをスキャンする。このスキャンを所定回数（例えば１５回）行った時点で、終了（４−２）となり、４−４で作成した白と黒のランレングスのヒストグラムから、五線の間隔と幅の情報を得ている（４−５、４−６）。
＜五線の検出＞
　楽譜認識のフロー（第３図）の３−３で実行される五線検出処理の詳細を第６図に示す。この処理では、五線のすべての位置を直接に求めているわけではなく、実際に得ているのは、五線の左の方（始端部）における五線の方程式（ａ、ｂ）である。五線のすべての位置は次の五線の消去処理の際に検出される。これは、五線の湾曲を考慮するとともに、五線認識の速度向上を図ったものである。
　第６図に従うと、処理６−３で、五線の左の方におけるｘ座標値において、ｙ方向に楽譜のイメージデータを走査し、五線の幅と間隔の情報を用いて、五線の候補の座標（ｘ′、ｙ′）を見つける。６−４で候補の座標（ｘ′、ｙ′）を通る全ての可能な直線ｙ＝ａｘ＋ｂの（ａ、ｂ）の組を作成する（ａの値は一１＜ａ＜１の範囲で十分である）。そして、６−５において、各（ａ、ｂ）に対する頻度Ｑ（ａ、ｂ）をＱ（ａ、ｂ）＝Ｑ（ａ、ｂ）＋１により計算してヒストグラム｛Ｑ（ａ、ｂ）｝を作成する。その後６−２に戻り、ｘ座標値を少しずらしながら６−３、６−４、６−５の処理を所定回数繰り返す。この結果、Ｑ（ａ、ｂ）の値は、直線ｙ＝ａｘ＋ｂ上に、五線の候補の点が何個含まれているかを表わす。
　したがって、五線の方程式となる（ａ、ｂ）の組は、ヒストグラムにおける頻度が大きいはずである。また、五線の性質上、ａの値は互にほぼ等しく、ｂの値はほぼ等しいはずである。これに従い、第６図では、６−６でヒストグラムのなかから、Ｑ（ａ、ｂ）の大きい（ａ、ｂ）の組を１００組見つけ、６−７で、上記の条件に合う、（ａ、ｂ）の組を５×段数分選択している。
＜五線の消去＞
　楽譜認識のフロー（第３図）の３−４で実行される五線の消去処理の詳細を第７図に示す。
　７−３から７−７までのループは五線の１本分の消去であり、１本の五線は左から右へと順次消去される。１本分の消去後は、下の五線の消去作業に移り（７−２）、全ての五線が消去されるまで７−２〜７−７のループ処理が繰り返される。
　７−４で、（ａ、ｂ）の値すなわち、五線検出処理で得た五線方程式と１つ左の五線中心位置から今回の五線の中心位置を予測する。７−５で予測位置を中心にして、五線の間隔分だけ上から下（ｙ方向）に楽譜のイメージデータを走査する。そして、７−６で、いままでの状態と今回のスキャンデータより、次の状態を決定するとともに、今回のスキャンデータに含まれる五線の部分を消去してよいかどうかを決定する。続いて、７−７で今回の五線の中心位置をリストに記録する。
　上記処理７−６は五線消去の要部であり、ここで、五線とそれ以外の記号とを識別し、五線とそれ以外の記号とが重なる部分では、五線を消去しないこととし、これにより、記号が五線によって切断される事態を防いでいる。
　この処理７−６で実行される五線消去オートマトンの状態遷移を表１に示す。表１において入力ＩＮＰＵＴ＝（“スキャンデータの正規表現”、Ｂ、ｙ）で表わされる。ここに、スキャンデータの正規表現に含まれる記号（ｗ、ｂ、＋、＊、∧、＄）のうち、ｗは白のピクセルを表わし、ｂは黒のピクセルを表わす。また１個以上同じピクセルが続く記号は＋であり、例えばｗ＋は白のピクセルが１２回以上続いたことを表わす。また、０回以上同じピクセルが続く記号は＊であり、例えばｂ＊は０回以上黒のピクセルが続いたことを表わす。∧は始めを表わし、例えば＾ｂはｙ方向にスキャンしたデータが黒のピクセルから開始することを表わす。また、＄は終りを表わし、例えばＷ＄はｙ方向にスキャンしたデータの終端が白のピクセルで終っていることを表わす。例として、＾ｂ＊ｗ＋ｂ＋ｗ＋ｂ＊＄を説明すると、このスキャンデータは１個以上の黒のピクセルの後に１個以上の白のピクセルが続き、その後に１個以上で黒のピクセルが続き、その後に１個以上の白のピクセルが続き、その後に０個以上の黒ピクセルが続いて終っているデータである。入力のなかのＢは黒ｂのピクセルのなかに五線の中心位置の予測ポイントが入っていたかどうかを示すデータであり、表１において、Ｂは入っていることを示し、！Ｂは入っていないことを表わす。また、入力のなかのｙはＢの幅が五線にふさわしい幅がどうかを示すデータであり、表において、ｙはふさわしい幅であることを表わし、！ｙはふさわしくない幅であることを表わしている。
　一方、内部状態は次のように表わされる。
　ＳＴＡＴＥ＝（ｍｏｄｅ，ｂｃｎｔ，ｗｂｗｃｎｔ，ｗｃｎｔ）
ここにｍｏｄｅは状態モード、ｂｃｎｔは黒が続いたことを示すカウンタ、ｗｂｗｃｎｔは五線が記号と重なったことを示すカウンタ、ｗｃｎｔは白が続いたことを示すカウンタである。
　表１に従うと、例えば内部状態が（ｓｔａｒｔ，，，）のときに、スキャンの結果、入力として（＾ｗｂｗ＄，，）が与えられたときには、次の内部状態は（ｗＢｗ，，，，）に移行する。また、内部状態が
（ｗＢｗ，，，）の下で、（＾ｗｂｗ＄，Ｂ，ｙ）が入力されたとき、すなわち、白のピクセルで始まり、その後黒のピクセルが続き、そして白のピクセルで終わるスキャンデータであって、その黒のピクセルのなかに五線の予測位置が入っており、かつその幅が五線の幅にふさわしいときには、次の内部状態を同じ（ｗ，Ｂ，ｗ，，，，）にするとともに、五線に相当するところを消去（ｄｅｌ）する。一方、入力が（＾ｗｂｗ＄，Ｂ，！ｙ）のときには、五線の幅がふさわしないので（その他の点では前と同じ入力であるが）、これは五線とその他の記号とが重なっていると考えられる。したがって、五線を消去せずに次の内部状態を（ｗＢＢｗ，Ｏ，，，）へ進める。なお、表１において、１つの内部状態に複数の入力候補が示されているものがあるが、これは上から順に優先順位の付けられた入力候補である（上から順番に入力のマッチングテストが実行される）。例えば、（ｗＢｗ，，，）の内部状態の下で、（＾ｂ＄，Ｂ，！ｙ）が入力されたとすると、最初に、（＾ｗｂｗ＄，Ｂ，ｙ）とのマッチングが不成功に終り、以下、（＾ｗｂｗ＄，Ｂ，！ｙ）、（ｂ＊ｗｂｗｂ＊，Ｂ，ｙ）、（ｂ＊ｗｂｗｂ＊，Ｂ，！ｙ）との各マッチングも不成功に終り、（＾ｂ＄Ｂ，）とのマッチングで初めて成功する。
　表１からわかるように、五線消去では、それまでの五線と記号との間の関係を表わす内部状態と、今回の五線と記号との関係を表わすスキャンの結果（入力）とから、次の内部状態を決定するとともに、今回のスキャンにおける五線の部分の消去可否を決定している。
　これにより、第８図に示すように、楽譜のイメージのうち、五線が他の記号と重なる部分を除いて消去されることになる。この結果、次に説明するラベル付けの処理すなわち、連結要素ごとのイメージデータの分離処理が可能となる。
　さらに、五線消去（第７図）では、７−４、７−７の処理により、五線の位置が決定され、記録される。この五線の位置情報は後で記号の大分類や、音符の音高データを得るのに利用される。
＜ラベル付け＞
　認識処理のフロー（第３図）の３−５で実行されるラベル付け処理の詳細を第９図に示す。この処理の目的は、五線が消去されたイメージデータから、連結要素（黒画素が連続している領域）ごとに名前を付けて、連結要素ごとの小さなサイズのイメージデータに分離することである。さらに、副次的目的として、分離された個々の連結要素から、後の認識作業に必要なデータを抽出する処理が含まれている。ラペル付け処理は、大量のイメージデータ（楽譜サイズのデータ）を取り扱わなければならない最後の処理である。
　第９図のフローに従うと、Ｎｏはラベル（名前）を表わし、９−２で最初の名前Ｎｏ＝１が作成される。その後、五線で消去されたイメージデータに対し、左上から右下ヘスキャンしていく（９−３）。このスキャンのサンプリング点はイメージデータのすべての点である必要はなく、認識すべき最小サイズの記号（付点）のイメージに対するサンプリングが保証される程度であれば十分である。９−４でサンプリング点（スキャニング点）のピクセルが黒画素かどうかをチェックし、黒画素であるならば、９−５でそのピクセルにまだラベルが付いていないかどうかをチェックし、９−４と９−５のチェックが共に成立しないかぎり、９−３に戻って次のスキャニング点に移動する。両方のチェックが成立するときには、９−６へ進み、この黒画素に連結しているすべての黒画素に同じ名前Ｎｏを付ける。このラベリング処理９−６は次々と自己のサブルーチンを呼び出す再帰的な処理である。１つのサブルーチン内では、現在の座標のピクセルにラベルを付けるとともに、その座標の周囲にある８つの隣接座標を、所定の順番でアクセスし、アクセスの途中で、黒画素であってラベルが付いていない隣接座標を見つけたときには、サブルーチンを呼び出し、呼び出されたサブルーチンは先に見つけ出された隣接座標を現在の座標として同様の処理を行う。１つのサブルーチン内で、現在の座標の周囲にある８つの隣接座標のすべてについて、ラベル付けの条件を満たす点（いまだラペルの付いていない黒いピクセルの点）がないときには、そのサブルーチンは終了し、そのサブルーチンを呼び出したサブルーチン（親のサブルーチン）が残りのプロセスを実行する。結果として互に連結されているすべての黒画素に同じ名前Ｎｏが付けられる。次にラベル付けされた領域を分離したイメージデータとする（９−７）。これにより、後の認識処理では、この分離された小さなサイズのイメージデータを取り扱えばよいことになる。さらに、分離されたイメージデータに対して後の認識作業に必要なデータのテーブルを作成する（９−８）。例えば、次のようなデータが得られる。
　　連結要素の座標
　　高さ
　　幅
　　面積
　９−９で名前Ｎｏを変更し、９−３に戻り、五線の消去された楽譜のイメージデータの走査が完了するまで、上記の処理を続ける。
＜大分類＞
　認識処理のフロー（第３図）の３−６で実行される大分類処理の詳細を第１０Ａ図に示す。
　この処理では、上述のラベル付けによって分離された個々のイメージデータに対して記号の大分類を行う。この分類のために、最初に個々のイメージデータから特徴データを抽出して対応するテーブルに書き込む。これは、第１０Ａ図の１０−２、１０−３、１０−４で行われている。この例では、特徴データとして、縦棒の数、五線との交わりの状態、縦方向と横方向に対して最も長い黒の連続の長さを調べている。算出例を第１０Ｂ図に示す。五線との交わりの状態を調べているときには、上述の五線消去処理で得ている五線の位置情報が基準データとして参照される。
　これらの特徴データ及びラベル付け（第９図）の９−８で得ている高さ、幅その他のテーブルデータを用いて、それぞれの分類項目について、イメージデータが分類項目である確率を算出し、テーブルに書き込む（１０−５、１０−６）。分類項目には全音符、全音符以外の音符、シャープ、フラット、ト音記号、へ音記号等１０数種類程度の項目がある。
＜記号認識＞
　楽譜認識のフロー（第３図）の３−７で行われる記号の認識処理のフローを第１１図に示す。この処理では上述した大分類の結果である記号の確率に従って、対応する記号の認識を行う。すなわち、全音符らしさが高いときには全音符の認識を実行し、全音符以外の音符らしさが高いときには全音符以外の音符の認識を行い、その他の記号らしさが高いときには対応する記号の認識を行う（１１−１〜１１−４）。
　以下、全音符以外の音符の認識１１−４と全音符の認識について詳細に説明する。
く全音符以外の音符の認識＞
　第１２図に全音符以外の音符の認識のフローを示す。１２−１で棒（符幹）の存在範囲を認識する。この認識は対応するイメージデータ、すなわち、分離された小さなサイズのイメージデータを走査することによって行われる。次に、符頭（黒頭、白頭）の位置をエッセンシャルパターンマッチングによって認識する。ここに、エッセンシャルパターンとは記号（この場合、白頭、黒頭）パターンが必ず満たすまたは満たす可能性の高い点のパターンであり、既に得ている五線間の間隔と五線の幅をモジュールとして数値データから作成される。この符頭の認識は、棒のまわりのイメージデータに対して行われる。１２−３では旗または桁の個数と位置が認識される。この認識におけるイメージデータの走査範囲は棒の符頭が付いていない方の周辺に限定して行うことができる。ここまでで解明していることは、音符の連結要素の構造である。音符の音長や音高を特定するためには、他の連結要素からの作用を考慮する必要があるし、誤認識の対策としての楽曲知識の利用を図るべきである。その手始めとして、１２−４で臨時記号（シャープやフラット）や付点を符頭に帰属させている。１２−５ではその他の情報をも考慮して音符の音高と音長を決定している。
＜棒の位置、長さの認識＞
　上記１２−１で行われる棒の位置と長さの認識のフローを第１３図に示す。処理の目的は、第１５図に示すように、棒のｘ座標（ｘｂａｒ）と、棒の端点のｙ座標（ｙｓ、ｙｅ）を求めることである。
　１３−１では、分離されたイメージデータに対し、Ｙ方向の条件付き射影（プロジェクション）がとられる（第１４図）。その詳細を第１６図に示す。同図において、座標Ｘは分離されたイメージデータの左端から右端まで動かされる。各ｘ座標において、イメージデータ（連結要素）をＹ方向にスキャンし、黒の連続（ランレングス）の最大を求め（１６−２）、その値ａが所定の値以上であれば、リストの要素ｐｒｏｊ（ｘ）にその値を入れ（１６−４）、所定の値に達していなければｐｒｏｊ（ｘ）に０を入れる（１６−５）。この結果、リスト｛ｐｒｏｊ（ｘ）｝の内容は第１４図の下に例示されるようになる。
　次に棒の存在可能位置が抽出される（１３−２）。詳細を第１７図に示す。ここではリスト｛ｐｒｏｊ（ｘ）｝が順にアクセスされ、差分（ｐｒｏｊ（ｘｉ）−ｐｒｏｊ（ｘｉ−１））が計算され、差分が大きくプラスへ変化したときのＸ座標（ｘ＋）と大きくマイナスへ変化したときのｘ座標（ｘ−）とが見つけ出され（１７−１）、領域のエッジを表わす両ｘ座標の差が棒の最大幅以下かどうかを調べ（１７−２）、以下の場合にのみ両ｘ座標の中間値（ｘ＋＋ｘ−／２）を棒のｘ座標（ｘｂａｒ）の候補としてリストに登録する（１７−３）。チェック１７−２により、幅の大きすぎる要素（例えば符頭）は有効に除去される。
　最後に音符の棒の判定が行われる（１３−３）。詳細を第１８図に示す。ここで、棒のｘ座標の候補のリスト（１３−２で得ている情報）から各候補の読み出し（１８−１、１８−５）、各候補のｘ座標において、イメージデータをｙ方向に走査して棒の最大幅以下の連続した長さとその長さの上端のｙ座標と下端のｙ座標を得る（１８−２）。そして、測定した長さが棒の最小の長さ以上かどうか判別し（１８−３）、成立するときにのみ、そのときのｘ座標と上端のｙ座標及び下端のｙ座標を音符の棒の存在範囲として登録する（１８−４）。チェック１８−３により、棒としての長さに達していない要素は有効に除去される。
＜黒頭・白頭の位置の認識＞
　第１２図の１２−３で行われる黒頭、白頭の位置の認識処理の詳細を第１９図に示す。上述したように、棒の位置は１２−１で既に得られているので、符頭の認識のためのイメージデータの走査範囲は棒のまわりの領域に限定できる。さらに、五線間隔も既知であるので、この情報を利用することにより、さらに走査範囲を符頭の存在しそうなエリアに限定可能である。第１９図のフローはこれらの点を考慮している。さらに、第１９図のフローでは、符頭のパターンマッチングのために、上述したエッセンシャルパターンを参照データとして用いている。第２０図にエッセンシャルパターンの例を示す。同図（ａ）の左側に示すのは黒頭に対するエッセンシャルパターンであり、（ｂ）の左側のパターンは２分音符の白頭に対するエッセンシャルパターンである。さらに、同図（Ｃ）の左側に示すパターンは全音符の白頭に対するエッセンシャルパターンであり、これは全音符を認識するときに利用される（第２２図）。
　第１９図のフローに沿って説明すると、まず、１９−１で五線の幅と間隔から、黒頭と白頭のエッセンシャルパターンを作成する（第２０図の（ａ）と（ｂ））。その後、棒の中心線と平行で中心線から黒頭と白頭の横幅（これは五線の間隔から算出される）の１／２の距離だけ離れた直線に沿ってイメージデータを走査する（１９−２、第２１図参照）。そして、走査した点が図がら（符頭）の内部の点のときは（１９−３）、その座標を基準として、エッセンシャルパターン検査座標におけるイメージデータのピクセルを読み出し、エッセンシャルパターン（白頭と黒頭）とマッチングを行う（１９−４）。マッチングが成功したときは、その位置の符頭が登録ずみかどうかをチェックし（１９−５）、登録ずみでない場合に符頭の登録を行う（１９−６）。そして、走査する点を五線間隔だけスキップさせ（１９−７）、棒のまわりの走査が終るまで（１９−８）、１９−２に戻って処理を続ける。
　以上のように、符頭の認識の分離されたイメ−ジデ一夕の局所的な領域を調べることによって行われる。また、エッセンシャルパターンマッチングの採用により、マッチングの処理速度が速くなり、これにより符頭認識処理時間が一層短縮されることになる。
＜音高、音長の認識＞
　第１２図の１２−５で実行される音高、音長の認識処理１２−５の詳細を第２２図に示す。まず、２２−１で音符の符頭の位置と五線の位置との関係から、ハ調の音高を付与する。例えば、一番下の五線上に符頭が位置するときには、第５オクターブのＥの音高が与えられる。次に、２２−２で音部記号（ト音記号、へ音記号）、調性記号、臨時記号等、音高に作用を与える要素によって、音高を修正する。例えば、音部記号がト音記号であり、調性記号がハ長調であり（実際には記号なし）、臨時記号はシャープであり、他の音高作用要素がないときは、上記の一番下の五線上に符頭をもつ音符の音高は第５オクターブのＥシャープとなる。２２−３では音符の旗または桁の数や符点の個数により音符に音長を付与する。例えば、符頭が黒頭で旗を１つもち、符頭の近くに１つの付点が付いている音符は符点８分音符の長さとなる。さらに２２−４では小節単位の楽典知識により、認識している小節内の音符の音長合計等を検査し、楽典知識に一致するように修正する。２２−５では、タイの結合関係により結合している２つの音符のデータを１つに統合する。
＜全音符の認識＞
　第１１図の１１−３で行われる全音符の認識処理のフローを第２３図に示す。２３−１で全音符の位置をエッセンシャルパターンマッチングにより決定する。以降は第１２図の１−４に示す帰属関係の決定、第１２図の１２−５に示す音高、音長の認識を行う（第２３図では、２３−２、２３−３で示してある）。なお、各記号の構造解析（第１２図では１２−１から１２−３まで、第２３図では２３−１）において、構造が解析できなかったときにはその連結要素に対する次の確らしい記号についての構造解析に移行する（図示せず）。
＜音符の並びかえ＞
　ここまでで、各音符の音高と音長のデータが決定された。しかし、このままでは楽譜を再現することができない。楽譜を再現するためには、各音符を時間の流れに従って並びかえる処理が必要である。この処理は楽譜認識のフローの最後３−８で行われる。詳細を第２４図に示す。２４−２でパート数を調べる。例えば、ピアノ楽譜のような場合には五線の２段分が対となっていて、上段が第１パート、下段が第２パートで同時に演奏されるべきものである。一方、単音楽器用の楽譜は通常１パートである。これを２４−２で区別したわけである。２パートか否か小節線の長さによって判別される。そして、２４−４でパート別に音符をその出現順位（音符の座標から判別される）に従って並べかえている。
＜データ変換並び出力＞
　楽譜認識処理の結果はゼネラルフローの２−３及び第２５図に示すようにデータ変換されて出力される。上述した音部の並びかえで得た情報が認識の最終結果であるが、これと比較的１対１対応がとれた型（中間コード）にファイルされる。中間コードの例を表２に示す。
　表２において、＋２４は１小節を２４とするという意味である。アドレスの小数点より上は現在が何小節目なのかを表わす。アドレスの小数点以下は上の場合０〜２３までの値をとることができる小節の中の位置を表わしている。％から後が音符に対応し、％６０／６はＭＩＤＩコード６０の音高を６／２４小節演奏するという意味である。“１”記号はチャンネル（パート）を区別する記号である。
　この中間コードにファイルした後、ＭＩＤＩコードに変換して出力装置６に出力することにより、演奏を行っている（２５−２、２５−３）。
　以上で実施例の説明を終るが本発明の範囲を逸脱することなく種々の変形、変更が容易である。
［発明の効果］
　本願発明によれば、処理が進むにつれて検索すべきイメージデータの範囲が絞られていくために、データの処理量が少なくなり、楽譜認識のための全体の処理時間を短縮することができる。
　特に、請求項１及び３の楽譜認識方法及び装置によれば、＃やｂ等の記号と音符との対応づけが高速かつ正確に行われ、楽譜の音高認識の精度が高まる。
　また、請求項２及び４の楽譜認識方法及び装置によれば、認識結果をＭＩＤＩコードに変換可能なため、シート等に記載されている楽譜を読み取って自動演奏データとして利用することができる。
【図面の簡単な説明】
　第１図はこの発明の実施例に係る楽譜認識装置の全体構成図、第２図は実施例の全体の動作を表わすフローチャート、第３図は楽譜認識のためのフローチャート、第４図は五線幅測定のためのフローチャート、第５図は第４図の処理において生成されるランレングスのヒストグラムの例を示す図、第６図は五線の検出のためのフローチャート、第７図は五線の消去のためのフローチャート、第８図は五線消去前の楽譜のイメージと五線消去後の楽譜のイメージを例示する図、第９図はラベル付けのためのフローチャート、第１０Ａ図は記号の大分類のためのフローチャート、第１０Ｂ図は第１０Ａ図の処理において抽出される特徴データの例を示す図、第１１図は記号の認識のためのフローチャート、第１２図は全音符以外の音符の認識のためのフローチャート、第１３図は音符の棒の位置、長さの認識のためのフローチャート、第１４図は音符とその条件付射影プロフィールを示す図、第１５図は音符と音符の棒の位置とを示す図、第１６図は条件付きの射影をとるためのフローチャート、第１７図は棒の存在可能位置を抽出するためのフローチャート、第１８図は音符の棒を判定するためのフローチャート、第１９図は黒頭、白頭の位置を認識するためのフローチャート、第２０図は黒頭、白頭とエッセンシャルパターンとを示す図、第２１図は黒頭、白頭に対する検索範囲を説明するのに用いた図、第２２図は音高、音長の認識のためのフローチャート、第２３図は全音符の認識のためのフローチャート、第２４図は音符のならべかえのためのフローチャート、第２５図は楽譜認識結果をデータ変換して出力するためのフローチャートである。
１……記録シート、２……イメージ入力装置、３……イメージ記憶装置、４……楽譜解読装置。