(57)【要約】 【課題】  旋律の連続性を認識することが可能な楽譜を容易に作成する。【解決手段】  楽譜の画像データの加工する単位を画像処理装置の指示手段をユーザが用いて設定し、前記単位ごとに前記楽譜の画像データを分割し、前記単位で同一の画像データが連続するか否かを判断する。そして、同一の画像データが連続すると判断された場合、前記連続すると判断された画像データに、該画像データが表現する楽譜においてユーザが連続する旋律を容易に認識することが可能なよう前記画像処理装置によって情報を付加する。【選択図】  図１１
2009153068.tif 000002
【特許請求の範囲】
【請求項１】
入力デバイスにより入力した楽譜の画像データを画像処理装置により加工する楽譜の加工方法であって、
前記楽譜の画像データの加工する単位を前記画像処理装置の指示手段をユーザが用いて設定する設定工程と、
前記単位ごとに前記楽譜の画像データを分割する分割工程と、
前記単位で同一の画像データが連続するか否かを判断する判断工程と、
前記判断工程で同一の画像データが連続すると判断された場合、前記連続すると判断された画像データに、該画像データが表現する楽譜においてユーザが連続する旋律を容易に認識することが可能なよう前記画像処理装置によって情報を付加する画像データの加工工程と、
を有することを特徴とする楽譜の加工方法。
【請求項２】
同一の画像データが連続する回数を設定する回数設定工程をさらに有し、
前記判断工程は、前記回数設定工程で設定した回数、同一の画像データが連続するか否かを判断することを特徴とする請求項１に記載の楽譜の加工方法。
【請求項３】
前記画像データの加工工程で画像データに付加する情報を設定する付加情報設定工程をさらに有し、
前記画像データの加工工程は、前記付加情報設定工程で設定された情報を付加することを特徴とする請求項１又は請求項２に記載の楽譜の加工方法。
【請求項４】
前記画像データに付加する情報は、背景画像を着色する情報であることを特徴とする請求項３に記載の楽譜の加工方法。
【請求項５】
前記画像データの加工工程における奇数回目の処理と偶数回目の処理とを判別する判別工程をさらに有し、
前記画像データに付加する情報は、前記奇数回目の処理と偶数回目の処理とで着色する色を異ならせる情報であることを特徴とする請求項４に記載の楽譜の加工方法。
【請求項６】
前記画像データに付加する情報は、前記連続すると判断された画像データにおける音符もしくは休符の少なくともいずれか一方を異なる色で着色する情報であることを特徴とする請求項３に記載の楽譜の加工方法。
【請求項７】
前記単位は、小節であることを特徴とする請求項１乃至請求項６のいずれか１項に記載の楽譜の加工方法。
【請求項８】
前記単位は、連続する音符もしくは休符の数に基づいて定められることを特徴とする請求項１乃至請求項６のいずれか１項に記載の楽譜の加工方法。
【請求項９】
前記入力デバイスはスキャナであり、前記楽譜の画像データは前記スキャナにより読み取られた楽譜の画像データであることを特徴とする請求項１乃至請求項８のいずれか１項に記載の楽譜の加工方法。
【請求項１０】
入力デバイスにより入力した楽譜の画像データを加工する画像処理装置であって、
前記楽譜の画像データの加工する単位を設定する設定手段と、
ユーザが前記設定をするための指示手段と、
前記単位ごとに前記楽譜の画像データを分割する分割手段と、
前記単位で同一の画像データが連続するか否かを判断する判断手段と、
前記判断手段で同一の画像データが連続すると判断された場合、前記連続すると判断された画像データに、該画像データが表現する楽譜においてユーザが連続する旋律を容易に認識することが可能なよう情報を付加する画像データの加工手段と、
を有することを特徴とする画像処理装置。
【請求項１１】
画像処理装置に実行させるプログラムであって、請求項１に記載の各工程を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は楽譜作成方法及び画像処理装置に関し、例えば、スキャナや複合機などの画像入力装置から取り込まれた楽譜の画像データの解析を行い、解析結果に応じて楽譜の一部の表示形式を変更する楽譜の加工方法及び画像処理装置に関する。
【背景技術】
【０００２】
スキャナデバイスの低価格化に伴って、家庭においても手軽に原稿をスキャンして電子データ化できるようになった。さらに、記録装置であるインクジェットプリンタなどは進化し、最近では、マルチファンクションプリンタと呼ばれる画像の記録だけでなく画像の読み取りを行うことが可能な複合装置も普及している。すなわち、ユーザは、スキャナデバイスとプリンタデバイスを手にすることによって、家庭で、所有する原稿やコンテンツを手軽にコピーできるようになった。
【０００３】
コピーやプリントによってユーザの利便性を高めるコンテンツとして、音楽の「楽譜」がある。楽譜は、音楽を音符、休符、演奏記号などを使って表現している。楽譜には、五線譜やタブラチュアといったいくつかの表記法が存在するが、基本的には黒色一色で表現されることが多い。そのため、特に初心者には、視認性が低く旋律を読み取りにくいという問題がある。そこで、演奏記号や音符などの色や形を変え、視認性を良くする方法が開示されている。例えば、音符を音階ごとに割り当てた色でそれぞれ着色して表現する方法、楽譜に矢印を記載する方法が開示されている（特許文献１参照）。また、演奏の速さや強さ等に関する演奏記号、あるいはその背景を音符の色と異なる色に着色して表現する方法が開示されている（特許文献２参照）。
【特許文献１】特開平０７−３１１５４３号公報
【特許文献２】特開平０７−３０４２４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
演奏者は、演奏している箇所に対応する音符などにのみ注目するのではなく、演奏している箇所に対応する演奏記号の後のある一定範囲の旋律を認識しながら演奏をすることが多い。そのため、旋律の連続性を認識することができる楽譜が望ましい。しかし、上記の従来技術では、演奏記号や音符などの表示形式を変えることにより視認性は向上するが、旋律の連続性を認識することはできない。
【０００５】
また、一般的な書籍としての楽譜は、過去の歴史的経緯より蓄積されたルールに基づき、演奏するための情報が書き込まれているものであり、全ての楽器演奏者が使いやすいものにはなっていない。そのため、演奏者は、演奏者自身が演奏しやすいように楽譜に記号を追記することや、記号を着色することなどにより、演奏者自身が演奏しやすいように楽譜を編集していた。このような編集作業により、楽譜は演奏者にとって最適なものになる。しかし、演奏者にとって楽譜を編集することは非常に煩わしい作業であるため、容易に楽譜の編集をすることが望まれている。
【０００６】
そこで本発明は、旋律の連続性を認識することが可能な楽譜を容易に作成することが可能な楽譜の加工方法及び画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するための本発明は、入力デバイスにより入力した楽譜の画像データを画像処理装置により加工する楽譜の加工方法であって、
前記楽譜の画像データの加工する単位を前記画像処理装置の指示手段をユーザが用いて設定する設定工程と、
前記単位ごとに前記楽譜の画像データを分割する分割工程と、
前記単位で同一の画像データが連続するか否かを判断する判断工程と、
前記判断工程で同一の画像データが連続すると判断された場合、前記連続すると判断された画像データに、該画像データが表現する楽譜においてユーザが連続する旋律を容易に認識することが可能なよう前記画像処理装置によって情報を付加する画像データの加工工程と、
を有することを特徴とする。
【０００８】
また、上記課題を解決するための別の本発明は、入力デバイスにより入力した楽譜の画像データを加工する画像処理装置であって、
前記楽譜の画像データの加工する単位を設定する設定手段と、
ユーザが前記設定をするための指示手段と、
前記単位ごとに前記楽譜の画像データを分割する分割手段と、
前記単位で同一の画像データが連続するか否かを判断する判断手段と、
前記判断手段で同一の画像データが連続すると判断された場合、前記連続すると判断された画像データに、該画像データが表現する楽譜においてユーザが連続する旋律を容易に認識することが可能なよう情報を付加する画像データの加工手段と、
を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、楽譜中の連続する旋律を解析し、連続する旋律部に視覚的に区別できる画像処理を施すことで、旋律の連続性を認識することが可能な楽譜を容易に作成することが可能になる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施例について図面を参照して詳細に説明する。
【００１１】
＜ＰＣアプリケーション＞
ここでは、ホスト装置としてのパーソナルコンピュータ（以下、ＰＣ）上で動作するアプリケーションソフトにより本発明を実施する形態について説明を行う。
【００１２】
図１は、本発明の画像処理システムの構成例を示す概念図である。
【００１３】
図１の画像処理システム１０１は、画像読み取り装置としてのスキャナ１０２とＰＣ１０３と記録装置としてのプリンタ１０４によって構成されている。スキャナ１０２により読み取った楽譜のレイアウトを変更してプリンタ１０４により記録することが可能である。
【００１４】
図２は、図１に示した画像処理システム１０１のブロック図である。
【００１５】
図２において、２０１はＲＯＭ（リードオンリーメモリ）、２０２はＣＰＵ（中央演算処理装置）、２０３はＲＡＭ（ランダムアクセスメモリ）である。また、２０４は入出力部（Ｉ／Ｏ）、２０５はＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）、２０６はＨＤＤ（ハードディスクドライブ）、２０７はバスである。
【００１６】
ＣＰＵ２０２は、ＲＯＭ２０１に格納されたプログラム及びデータに従い、バス２０７を介して画像処理装置全体の動作を制御する。また、これと共に、ＲＡＭ２０３をワークメモリとして画像処理を行う。例えば、Ｉ／Ｏ２０４、またはＮＩＣ２０５を介して入力される画像データや、予めＨＤＤ（ハードディスクドライブ）２０６等の記憶媒体に収められている画像データに画像処理を施す。そして、画像処理を施した画像データを、Ｉ／Ｏ２０４又はＮＩＣ２０５を介して出力し、また、ＨＤＤ２０６等の記憶媒体に格納する。
【００１７】
例えば、Ｉ／Ｏ２０４は、所定のインタフェースを介して、ＣＲＴやＬＣＤ等のモニタ、プリンタ、スキャナ等の画像入出力デバイス、或いは磁気ディスクや光ディスク等の記憶媒体を備えた記憶装置が接続される。また、上記画像入出力デバイス及び記憶装置が接続されたコンピュータ機器とＮＩＣ２０５を介して画像データの入出力を行うこともできる。ネットワークとしては、Ｅｔｈｅｒｎｅｔ（登録商標）、ＦＤＤＩ（Ｆｉｂｅｒ  Ｄｉｓｔｒｉｂｕｔｅｄ  Ｄａｔａ  Ｉｎｔｅｒｆａｃｅ）、ＩＥＥＥ１３９４に規定されるシリアルバス、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）等が挙げられる。
【００１８】
＜ＭＦＰ＞
一方、ＰＣを介さず画像処理装置単体で動作する画像処理システムを用いた場合も同様の効果を得ることができる。
【００１９】
図３は、本発明の実施例である複合装置としてのマルチファンクションプリンタ（以下、ＭＦＰ）３０１の概観斜視図である。このＭＦＰ３０１は、ＰＣからデータを受信して記録する通常のＰＣプリンタとしての機能、スキャナとしての機能を有する。さらに、ＭＦＰ単体で動作する機能として、スキャナで読み取った画像をプリンタで記録するコピー機能、メモリカードなどに格納された画像データを直接読み取って記録する機能、或いはデジタルカメラから画像データを受信して記録する機能を備えている。
【００２０】
図３において、ＭＦＰ３０１はフラットベッドスキャナなどの読み取り部３０２、インクジェット式や電子写真式などの記録部３０３、表示パネルである表示部３０４、各種キースイッチ等を備える操作パネルである操作部３０５などにより構成されている。また、ＭＦＰ３０１の背面にはＰＣと通信するためのＰＣインタフェースとしてのＵＳＢポート（不図示）が設けられ、ＰＣとの通信が行われる。上記の構成に加え、各種メモリカードからデータを読み出すためのカードスロットであるカードインタフェース３０６、デジタルカメラとデータ通信を行うためのカメラポートであるカメラインタフェース３０７を備える。さらに、自動で原稿を原稿台にセットするためのオートドキュメントフィーダー（以下ＡＤＦ）３０８等を備える。
【００２１】
図４は、図３に示した画像処理システム１０１のブロック図である。
【００２２】
図４において、ＣＰＵ４０１は、ＭＦＰが備える様々な機能を制御し、操作部３０５の所定の操作に従い、ＲＯＭ４０６に記憶された画像処理のプログラムを実行する。
【００２３】
ＣＣＤを備える読み取り部３０２は、原稿画像を読み取り、赤（Ｒ）、緑（Ｇ）、青（Ｂ）色のアナログ輝度データを出力する。なお、読み取り部３０２は、ＣＣＤの代わりに密着型イメージセンサ（ＣＩＳ）を備えてもよい。また、図３のようなＡＤＦ３０８を備えれば、ここにセットされたオーダーシートの原稿画像を連続して読み取ることができる。
【００２４】
また、カードインタフェース３０６は、例えばデジタルカメラで撮影され、メモリカードなどに記録された画像データを、操作部３０５の所定の操作に従い読み込む。なお、カードインタフェース３０６を介して読み込まれた画像データは、必要に応じ、画像処理部４０２によって変換される。例えば、デジタルカメラの色空間（例えばＹＣｂＣｒ）に対応した画像データから、ＲＧＢ色空間（例えばＮＴＳＣ−ＲＧＢやｓＲＧＢ）に対応した画像データへ変換される。また、読み込まれた画像データは、必要に応じ、そのヘッダ情報に基づいて有効な画素数への解像度変換など、アプリケーションに必要な様々な処理が施される。
【００２５】
また、カメラインタフェース３０７は、デジタルカメラに直接接続して画像データを読み込むためのものである。
【００２６】
画像処理部４０２においては、後述する画像解析、変換特性の算出、輝度信号（ＲＧＢ）から濃度信号（ＣＭＹＫ）への変換、スケーリング、ガンマ変換、誤差拡散等の画像処理等の画像処理が行われ、それにより得られるデータは、ＲＡＭ４０７に格納される。そして、ＲＡＭ４０７に格納された補正データが、記録部３０３で記録するのに必要な所定量に達すると、記録部３０３による記録動作が実行される。
【００２７】
また、不揮発性ＲＡＭ４０８は、バッテリバックアップされたＳＲＡＭなどで、ＭＦＰに固有のデータなどを格納する。
【００２８】
また、操作部３０５は、記憶媒体に格納された画像データを選択し、記録をスタートするためにフォトダイレクトプリントスタートキー、オーダーシートをプリントさせるキー、オーダーシートを読み込ますキーを有する。また、モノクロコピーやカラーコピーを行わせるためのコピースタートキー、コピーをする際の解像度や画質などのモードを指定するモードキー、コピー動作などを停止するためのストップキー、コピー枚数を入力するテンキーや登録キーなどを有する。ＣＰＵ４０１は、これらキーの押下状態を検出し、その状態に応じて各部を制御する。
【００２９】
表示部３０４は、ドットマトリクスタイプの液晶表示部（ＬＣＤ）及びＬＣＤドライバを備え、ＣＰＵ４０１の制御に基づき各種表示を行う。また、記憶媒体に格納された画像データのサムネイルを表示する。
【００３０】
記録部３０３は、インクジェット方式のインクジェットヘッド、汎用ＩＣなどによって構成され、ＣＰＵ４０１の制御により、ＲＡＭ４０７に格納されている記録データを読み出し、ハードコピーとしてプリント出力する。
【００３１】
駆動部４１１は、上述した読み取り部３０２及び記録部３０３それぞれの動作における、給排紙ローラを駆動するためのステッピングモータ、ステッピングモータの駆動力を伝達するギヤ、ステッピングモータを制御するドライバ回路などから構成される。
【００３２】
センサ部４１０は、記録媒体の幅を検知するためのセンサ、記録媒体の有無を検知するためのセンサ、原稿画像の幅を検知するためのセンサ、原稿画像の有無を検知するためのセンサ及び記録媒体の種類を検知するためのセンサなどから構成される。ＣＰＵ４０１は、これらセンサから得られる情報に基づき、原稿及び記録媒体の状態を検知する。
【００３３】
ＰＣインタフェース４１４はＰＣとＭＦＰとのインタフェースであり、ＭＦＰはＰＣインタフェース４１４を介して送信されるＰＣからの指示に基づいてプリント及びスキャンなどの動作を行う。
【００３４】
コピー動作時は、読み取り部３０２で読み取った原稿画像の画像データをＭＦＰ内部でデータ処理し、記録部３０３により記録する。操作部３０５により、コピー動作が指示されると、読み取り部３０２は原稿台に置かれた原稿を読み取る。読み取られた原稿画像の画像データは画像処理部４０２に送信され、後述する画像処理が施された後、記録部３０３に送信され記録が行われる。
【００３５】
図５はコピー時に実行される画像処理のフロー図である。以下、各ステップについて説明するが、本発明の本質ではないステップの詳細な説明は省略する。
【００３６】
読み取り部３０２で読み取られ、ＡＤ変換された画像データは、ステップＳ１１０により撮像素子のばらつきを補正するシェーディング補正が施される。
【００３７】
その後、ステップＳ１２０で、入力デバイス色変換が行われる。これにより入力デバイスである読み取り部３０２固有の色空間に対応した画像データが、標準的な色空間領域の画像データへと変換される。具体的には、ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ  Ｃｏｍｍｉｓｓｉｏｎ）により定められたｓＲＧＢやＡｄｏｂｅ  Ｓｙｓｔｅｍｓ社により提唱されているＡｄｏｂｅＲＧＢなどの色空間領域の画像データへと変換される。変換方式としては、３×３や３×９のマトリクスによる演算方式や、変換規則を記載したテーブルを参照し、それに基づいて決定するルックアップテーブル方式などが挙げられる。
【００３８】
色変換が行われた画像データは、ステップＳ１３０において、画像の補正・加工処理が施される。処理内容としては、原稿画像の読み取りの際に発生するボケを補正するエッジ強調処理、光照射による読み取りの際に発生した裏写りを除去する処理、文字の判読性を向上させる文字加工処理などが挙げられる。
【００３９】
ステップＳ１４０では、拡大・縮小処理が実行され、ユーザにより変倍指定がされている場合や、２枚の原稿を１枚の紙に割り当てる割り付けコピーなどで、所望の倍率に変換される。変換方法は、バイキュービックやニアレストネイバーなどの方法が一般的である。割り付けコピーなど複数の画像を１枚の記録媒体にレイアウトしてプリントする際には、ステップＳ１１０からステップＳ１４０の動作を繰り返して複数の画像を読み取り、読み取られた画像を１枚のページに配置して以下のプリント動作に移行する。下記に示す、本発明における楽譜の画像データの生成処理は、この処理の後に実施されるとよい。
【００４０】
ステップＳ１５０では、標準的な色空間領域の画像データを、出力デバイス固有の色空間に対応した画像データへと変換する。ステップＳ１２０の場合と同様、マトリクスによる演算方式やルックアップテーブル方式などを用いればよい。出力デバイス固有の色空間に対応した画像データから、シアン、マゼンタ、イエロー、ブラックなどインクジェットＭＦＰ使用するインクの色の色空間に対応した画像データへ変換される。
【００４１】
ステップＳ１６０では、量子化処理が行われる。例えば、インクドットを吐出する又は吐出しないの２値で表現する場合あれば、誤差拡散などの量子化方法により２値化すればよい。これにより、記録部により記録可能なデータ形式となり、そのデータ形式の画像データに基づいて記録動作が実行され、画像が形成される。
【００４２】
（実施例１）
本実施例では、ＭＦＰを用いて楽譜作成を行った。以下に、図６のフロー図を参照して、本発明の特徴である楽譜の画像データの生成処理を説明する。なお、前述したように、この処理は図５のステップＳ１４０の後に実施されるとよい。
【００４３】
本実施例は、ＭＦＰの読み取り部で原稿としての楽譜を読み込み電子化した楽譜の電子データ（楽譜データ）を用いた場合の例である。しかし、この楽譜データの替わりに、例えば、インターネット配信されている楽譜の電子データや、演奏用データとして一般的に用いられているＭＩＤＩデータを用いることもできる。
【００４４】
最初に、ステップＳ２１０では、画像データを画像処理部４０２に入力する。本実施例では、この画像データはＭＦＰの読み取り部で原稿としての楽譜を読み込み電子化した楽譜データである。なお、この画像データとしてインターネット配信されている楽譜の電子データを用いる場合は、直接この電子データを画像処理部４０２に入力すればよい。また、この画像データとしてＭＩＤＩデータを用いる場合は、所定の形式（例えば、ＳＭＦファイルフォーマット）に従ってデータが構成されているため、一般的な音符と休符等の記号で表される電子データに戻して画像処理部４０２に入力すればよい。
【００４５】
ステップＳ２２０では、本発明の実現に必要な画像処理パラメータを設定する。ここで、画像処理パラメータとは、以下の３種類のパラメータである。
【００４６】
第１のパラメータは、下記で示す楽譜データの加工処理を実施するために、楽譜の音符や休符などが連続するかを、どのような範囲を単位として判断するかを指定するパラメータである。以下、この第１のパラメータを範囲パラメータと呼ぶことにする。図７の６０１及び６０４で示されるように、五線の楽譜では、楽譜が読みやすいように適当な長さで区切り線により区切られる。この区切り線で区切られた範囲は小節と呼ばれている。小節を単位として、音符や休符などがある小節と次の小節とで同じであることが認識しやすければ演奏しやすい。そこで、本実施例では、１小節を範囲パラメータとする。
【００４７】
第２のパラメータは、例えば１小節を範囲パラメータとした場合、小節内の音符や休符などがいくつ以上の小節で連続すると下記で示す楽譜データの加工処理を実施するかを指定するパラメータである。以下、この第２のパラメータを回数指定パラメータと呼ぶことにする。
【００４８】
第３のパラメータは、楽譜データの加工処理を実施する際、連続する範囲を具体的にどのように加工するかの方法を指定するパラメータである。別の表現をすると、画像データにどのような情報を付加するかを設定する付加情報設定のためのパラメータである。以下、この第３のパラメータを加工パラメータと呼ぶことにする。
【００４９】
本実施例では、ＭＦＰを用いて楽譜の画像データの生成処理を行う。このため、予めＲＯＭ４０６にこれら３種類のパラメータとして推奨されるそれぞれのパラメータを格納しておき、推奨されるパラメータを指定し設定した。その他のパラメータの指定方法として、ＰＣアプリケーションを用いる方法がある。ＰＣアプリケーションのユーザインタフェースを介してユーザによって指定された内容に基づきパラメータを設定する。また、これら以外の方法として、画像処理装置に設けられた操作パネルに上記のパラメータに対応する指示ボタンを設け、それによりユーザの指示を受け付け、パラメータを設定することもできる。なお、この場合、パラメータで指示できる画像処理内容は、画像処理装置に設けられたＲＯＭに予め記憶させておく必要がある。
【００５０】
以下、回数指定パラメータとして２回の回数が回数設定され、加工パラメータとして奇数回目の加工は薄いグレーの色で、偶数回目の加工は濃いグレーの色で、対応する小節の背景画像を塗りつぶす処理が指定された場合について説明する。なお、濃いグレーの色は、８ビットで表現した場合、Ｒ＝６４、Ｇ＝６４、Ｂ＝６４であり、薄いグレーの色は、８ビットで表現した場合、Ｒ＝１２８、Ｇ＝１２８、Ｂ＝１２８である。
【００５１】
ステップＳ２３０では、ステップＳ２２０で指定された１小節を単位として音符や演奏記号などの解析をする。
【００５２】
最初に、楽譜データにおいて小節の区切りを解析する方法を説明する。図７は、ステップＳ２１０で入力した画像データである楽譜データが表現する楽譜の概念図である。
【００５３】
まず、楽譜データの傾き補正処理を施す。これは、読み取り部が原稿である楽譜を読み取る際に傾いて読み取る場合や、原稿の楽譜そのものが傾いてセットされている場合があるためである。傾き補正処理は、楽譜の五線を利用して補正する方法を用いると良い。例えば、読み取った楽譜の画像濃度を複数の角度において算出してヒストグラムを作成した場合、五線に平行な角度の場合には五線に相当する部分のヒストグラムの凹凸が深くなる。このことから、五線が読み取り方向に平行になる角度を算出し画像全体に回転補正を行う。また、必要であれば、固定のもしくは適応性のある閾値を用いて２値化の演算を行ってもよい。
【００５４】
次に、五線を抽出する。固定のもしくは適応性のある閾値を用いて２値化の演算を行うなどして傾き補正処理された画像データから、五線の情報を用いて楽譜の基準となる位置（楽譜の基準位置）を求める。五線の最初に記載される記号（五線開始記号）はト音記号かヘ音記号であるため、それらの記号を検出してその中心の位置を楽譜の基準位置としての五線データの開始位置とする。五線開始記号の検出は、あらかじめＲＯＭ４０６に記憶させておいた五線開始記号とのパターンマッチングを行うことで可能である。五線の終わりは、五線の直線が途切れたところを検出して求めればよい。
【００５５】
次に、抽出された五線を小節単位で分割する。図７の６０１及び６０４で示すような線を小節の区切り線と称する。図７では、各五線において、五線開始記号としてト音記号６０２が示されている。このため、各五線を小節単位で分割する処理はこのト音記号の位置から始める。６０３は、小節の区切り線を検出するための処理単位を表している。この処理単位は、例えば、五線と垂直方向に五線の最上線から最下線までの画素数、五線と平行方向にその５分の１の画素数の矩形領域とする。この処理単位ずつト音記号の中心の位置から図７の矢印の方向にずらしながら小節の区切り線を検出する。ここで、図８は、処理単位の矩形領域に小節の区切り線が入ったときの概念図である。このように、処理単位の上下を垂直に分割する直線を検出することによって小節の区切り線を検出する。予め、小節の区切り線をパターンとしてＲＯＭに記憶させておき、パターンマッチングさせるとこの検出は容易となる。一方、例えば、原稿の楽譜の劣化などで小節の区切り線が薄れていたり、かすれていたりする場合には、図５のステップＳ１３０における画像の補正・加工処理において、下地飛ばし処理や、コントラストを強調する処理を施すことができる。また、小節の区切り線と６０７のような音符の符幹との区別がつきにくい場合がある。例えば、五線の最上線から最下線に至る音符の符幹がある場合である。その際には、所定範囲の領域に音符の符頭が存在しないことを確認すればよい。符頭は、小節の区切り線と同様にパターンマッチング等の技術を使って検出することが可能である。上記の所定範囲は、複数種類の音符の符頭と符幹との距離を測っておき、その間隔を指定することにより設定すればよい。このようにして、小節の区切り線を検出していく。図７においては、６０１の次に検出される小節の区切り線は６０４となる。６０１と６０４で区切られる範囲（６０５）を１小節とする。ただし、６０６のように五線の始まり領域での小節は、二本の小節の区切り線で挟まれていない場合がある。その際は、ト音記号のような五線開始記号と次に検出される小節の区切り線で挟まれる範囲を１小節と認識すればよい。
【００５６】
上記のようにして楽譜データが小節ごとに区切られると、次に、この小節ごとに音符や演奏記号等の解析を行う。この解析は、図７においては、五線の開始位置を含む小節６０６から行う。小節６０６には４つの音符が存在する。図９（ａ）で示されるようなこの小節６０６の音符と五線を画像データとして抽出する。この抽出により得られた画像データをＲＡＭ４０７に格納し、次の小節６０５の解析を行う。小節６０５についても小節６０６の解析と同様、音符と五線を画像データとして抽出しＲＡＭ４０７に格納する。図９（ｂ）はこの画像データが表現する音符と五線の概略図である。本実施例では回数指定パラメータに２回の回数が指定されているため、ＲＡＭ４０７に格納しておく画像データは２小節分でよい。ここで、例えば、回数指定パラメータに３回の回数が指定されている場合は、連続する３つの小節に対応する３つの画像データを格納する必要がある。
【００５７】
次に、ステップＳ２４０では、ステップＳ２３０で抽出され、解析された連続する２小節が、同一の音符及び演奏記号などから構成されているか否かを判断する。具体的には、まず、ステップＳ２３０でＲＡＭ４０７に格納された小節６０５と小節６０６の音符と五線画像を、五線がそろうように合わせてみる。図１０（ａ）及び図１０（ｂ）は、それぞれ小節６０５と小節６０６の音符と五線画像であり、図１０（ｃ）はこの両者を重ね合わせた概念図である。この場合、音符の位置と個数が両者で合っていないため、連続データではないと判断し、ステップＳ２６０に進む。
【００５８】
ステップＳ２６０では、ＲＡＭ４０７の小節６０６の画像データを破棄する。なお、次の小節と同一か否かの判断するため、小節６０５の画像データは格納しておく。その後ステップＳ２７０に進む。
【００５９】
次に、ステップＳ２７０では、画像データの全ての小節において処理が施されたか否かを判断する。ここでの画像データは、ステップＳ２１０で画像処理部４０２に入力した画像データである。なお、この画像データは、１枚分の楽譜の画像データだけでなく複数枚分の楽譜の画像データであってもよい。各小節の解析は、楽譜の最上部に位置する五線のト音記号を含む小節から始め、同じ五線において終端（右端）の小節の解析まで終了すると、上から二番目に位置するト音記号を含む小節を解析する。以降、この処理を繰り返して全ての小説の解析を行う。具体的には、各小節に対してステップＳ２３０からステップＳ２６０までの処理を行う。
【００６０】
ところで、小節６０５と小節６０８では、上記のように画像データを解析すると、両者の音符位置と個数が一致することが分かる。そこで、小節６０５と小節６０８は加工処理の対象領域となる。このため、ステップＳ２４０において連続データと判断し、ステップＳ２５０に進む。
【００６１】
ステップＳ２５０では、ステップＳ２３０で指定された加工パラメータに従った加工処理を実行する。具体的には、図１１の小節６０５及び小節６０８に示されるように、これらの小節を薄いグレーの色で塗りつぶすよう画像データに情報を付加する。そして、その後ステップＳ２６０に進む。ここで、今回のパラメータ設定では、処理回数が奇数回と偶数回で色を変える指示がなされている。このため、奇数回と偶数回を判別するためにメモリに処理回数を記憶させておく必要がある。上記ステップＳ２３０からステップＳ２７０までの処理を繰り返し、小節６０９と小節６１０が連続データであると判断されると、図１１に示されるようにこれらの小節を濃いグレーの色で塗りつぶす。小節６０５及び小節６０８の加工処理は奇数回である１回目の加工処理となり、小節６０９と小節６１０の加工処理は偶数回である２回目の加工処理となるためである。なお、五線の先頭の小節である小節６１０において、本実施例ではト音記号と拍記号の領域は塗りつぶしを行わなかったが、この領域を塗りつぶすことにしてもよい。
【００６２】
ステップＳ２８０では、所定の画像処理を終えた画像データを画像処理部４０２内の出力デバイス色変換部に出力し、処理を終了する。
【００６３】
（実施例２）
実施例１は、範囲パラメータを１小節とする場合の例であった。本実施例は、異なる範囲パラメータを設定する場合の例である。なお、回数指定パラメータ、加工パラメータは実施例１と同様であるとする。
【００６４】
演奏記号の一つとして、図７の６１１で表されるように、いくつかの音符を弧でくくり、音と音とを滑らかにつなげて演奏することを表す記号（スラー）が用いられている。演奏時には、スラーでくくられた範囲の旋律を意識して演奏することが必要である。そこで本実施例では、スラーの始点となる音符から終点となる音符までの範囲を範囲パラメータとして設定している。
【００６５】
図６のステップＳ２３０で、スラーを示す記号を解析するために、に凸の円弧、上に凸の円弧を利用する。ステップＳ２４０では、五線の開始位置から、この二種類の円弧のサイズを拡大・縮小させてパターンマッチングを行うことで、ステップＳ２１０で入力された画像データ中にスラーを示す記号が存在するか否かを判断する。スラーを示す記号が存在した場合は、続いてスラーを示す記号が存在するか否かを判断する。図７においては、６１１で示されるように、二つのスラーを示す記号が連続している。ステップＳ２３０で、この円弧の始点から終点までの音符記号と五線記号とを画像データとしてＲＡＭ４０７に格納し、ステップＳ２４０に進む。以降は、実施例１の場合と同様の処理を行う。
【００６６】
（実施例３）
本実施例は、実施例１及び実施例２と異なる範囲パラメータを設定する場合の例である。
【００６７】
本実施例では、休符や音符の個数に基づいて範囲パラメータを設定する。休符や音符の個数に基づいて範囲パラメータを設定することは有益である場合がある。例えば、オーケストラなどで使用する楽譜は、演奏者が担当する楽器以外の楽器により演奏するパートにおいては、この演奏者のパートには楽譜に休符が並んでいることがある。このようなパートの演奏中においては、例えば、楽譜のページをめくったり、弦を整えたりすることもある。そのため、図７の６１２で表されるように、休符の個数が続くことが容易に分かれば有益である。さらに、現在演奏中のパートが何番目の休符であるかを容易に認識できるとより好ましい。また、小節やスラーを示す記号などを意識できないような初心者が楽譜を読む際、６１３に示したようにいくつかのまとまりの音符群が繰り返すことを知れれば、楽譜の認識が容易になる。そのため、範囲パラメータを音符二個のように指定することもできる。同様に、五線の領域における所定の割合で設定してもよいし、所定の五線の長さを指定して設定しても良い。なお、このような処理に対応するステップＳ２２０からステップＳ２４０の処理以降は、実施例１と同様の処理を実行する。
【００６８】
（実施例４）
実施例１では、加工パラメータとして、奇数回目の加工は薄いグレーの色で対応する連続する小節それぞれを塗りつぶし偶数回目の加工は濃いグレーの色で対応する連続する小節それぞれを塗りつぶす処理が指定された場合の例であった。しかし、加工パラメータとして、このような加工処理とは異なる加工処理を実行するパラメータが設定されても良い。
【００６９】
例えば、実施例１では、図１１の小節６０５と小節６０８の連続する小節それぞれを塗りつぶしたが、連続する小節における２小節目以降の小節にのみ加工処理を行うようにしても良い。また、小節の背景を塗りつぶす加工処理の替わりに、音符の符頭のみに着色する加工処理や、音符の符頭、符尾、連桁の全てに着色する加工処理や、小節内の両端の音符にのみ色を付けるなどの加工処理を行うようにしても良い。さらに、色を付けるだけでなく、小節内の両端の音符付近の余白部に矢印などの記号を追記する加工処理を行っても良い。また、休符が連続する場合、その連続回数を余白部に追記する加工処理を行っても良い。
【００７０】
（その他の実施例）
本発明には、各種デバイスと接続された装置等に上記実施例の機能を実現するためのソフトウエアのプログラムコードを供給し、その装置等のコンピュータに格納されたプログラムに従って前記各種デバイスを動作させることにより実施するものも含まれる。
【００７１】
また、この場合、前記ソフトウエアのプログラムコード自体が上記実施例の機能を実現することになり、そのプログラムコード自体、記憶媒体などのそのプログラムコードをコンピュータに供給するための手段も本発明を構成する。その記憶媒体の具体例としては、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等が挙げられる。
【００７２】
また、本発明には、コンピュータに供給されたプログラムコードを実行することにより上記実施例の機能が実現される場合の、プログラムコードが含まれるだけではない。プログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）及び他のアプリケーションソフト等と共同して上記実施例の機能が実現される場合の、プログラムコードも本発明に含まれる
また、コンピュータに供給されたプログラムコードがコンピュータの機能拡張ボード及び機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づき、それらに備わるＣＰＵ等の処理により上記実施例の機能が実現される場合がある。この場合のプログラムコードも本発明に含まれる。
【００７３】
以上、本発明の様々な実施例について説明したが、本発明の趣旨と範囲は本明細書内の特定の説明と図に限定されるものではなく、特許請求の範囲に記載された範囲で様々な修正及び変更が可能である。
【図面の簡単な説明】
【００７４】
【図１】本発明の画像処理システムの構成例を示す概念図である。
【図２】図１の画像処理システムのブロック図である。
【図３】本発明の実施例であるＭＦＰの概観斜視図である。
【図４】図３のＭＦＰ装置のブロック図である。
【図５】コピー時に実行される画像処理のフロー図である。
【図６】本発明の楽譜の画像データの生成処理の実施例を示すフロー図である。
【図７】楽譜データが表現する楽譜の概略図である。
【図８】本発明の実施例において処理単位の矩形領域に小節の区切り線が入ったときの概念図である。
【図９】画像データとして抽出された音符と五線を表す概略図である。
【図１０】画像データとして抽出された音符と五線が一致するかどうかを判断するための概略図である。
【図１１】本発明の加工処理が行われた楽譜データが表現する楽譜の概略図である。
【符号の説明】
【００７５】
１０３  ＰＣ
２０２  ＣＰＵ
３０１  ＭＦＰ
３０５  操作部
４０１  ＣＰＵ
４０２  画像処理部
【図１】
2009153068.tif 000003
【図２】
2009153068.tif 000004
【図３】
2009153068.tif 000005
【図４】
2009153068.tif 000006
【図５】
2009153068.tif 000007
【図６】
2009153068.tif 000008
【図７】
2009153068.tif 000009
【図８】
2009153068.tif 000010
【図９】
2009153068.tif 000011
【図１０】
2009153068.tif 000012
【図１１】
2009153068.tif 000013