(57)【特許請求の範囲】
【請求項１】
描画された五線譜を利用して演奏を実行する演奏システムであって、
撮影手段を搭載する演奏用デバイスと、
前記撮影手段が撮影した五線譜の画像を解析する画像解析部と、
前記画像解析部の解析結果に基づいて前記五線譜上に描画された音符が表す音の音高を決定する音高決定部と、
決定された前記音高に基づいて発音データを生成する発音データ生成部と、
前記発音データに基づいて音声信号を出力する発音制御部と、
前記画像解析部の解析結果に基づいて演奏用ＧＵＩを生成し、該演奏用ＧＵＩを介して演奏操作を受け付ける演奏用ＧＵＩ部と、
を含み、
前記演奏用ＧＵＩ部は、前記五線譜を表す背景画像の上にＹ軸方向に伸びる直線を発音ラインとして重畳表示する演奏用ＧＵＩを生成し、
前記発音データ生成部は、前記発音ラインが前記五線譜上の前記音符の画像の上に重畳されている間、前記発音データを発音制御部に対して出力し、
前記撮影手段が前記Ｙ軸方向に動かされることに応答して、前記音符が表す音に対して前記Ｙ軸方向の移動量に応じた量の所定のエフェクトを加えるエフェクト部をさらに含む、
演奏システム。
【請求項２】
前記五線譜は手書き描画され、前記音符は符頭のみの簡易音符で記述される、請求項１に記載の演奏システム。
【請求項３】
前記音符の前記Ｙ軸方向の幅に基づいて前記音符が表す音の音量を決定する音量決定部をさらに含み、前記発音制御部は、決定された前記音量に基づいて前記音声信号を出力する、請求項１または２に記載の演奏システム。
【請求項４】
前記所定のエフェクトはピッチベントエフェクトである、請求項１〜３のいずれか一項に記載の演奏システム。
【請求項５】
前記撮影手段が撮影した画像について文字認識を実行するＯＣＲ部と、
任意の文字と所定の音色を紐付けて管理する音色設定部をさらに含み、
前記音色設定部は、前記ＯＣＲ部が認識した文字に紐付けられた所定の音色を前記音符が表す音の音色として設定する、請求項１〜４のいずれか一項に記載の演奏システム。
【請求項６】
コンピュータに対して、描画された五線譜を利用した演奏を実行させるためコンピュータ実行可能なプログラムであって、
撮影手段を搭載する演奏用デバイスが撮影した五線譜の画像を解析するステップと、
前記五線譜の画像解析結果に基づいて前記五線譜上に描画された音符が表す音の音高を決定するステップと、
決定された前記音高に基づいて発音データを生成するステップと、
前記五線譜の画像解析結果に基づいて前記五線譜を表す背景画像の上にＹ軸方向に伸びる直線を発音ラインとして重畳表示する演奏用ＧＵＩを生成するステップと、
前記発音ラインが前記五線譜上の前記音符の画像の上に重畳されている間、前記発音データに基づいて音声信号を出力するステップと、
前記撮影手段が前記Ｙ軸方向に動かされることに応答して、前記音符が表す音に対して前記Ｙ軸方向の移動量に応じた量の所定のエフェクトを加えるステップと
を実行させるためのプログラム。
【請求項７】
前記五線譜の画像を解析するステップは、
前記五線譜の画像を２値化して２値化画像を生成するステップと、
前記２値化画像について、画像座標系のＸ軸方向に、五線のみが存在する領域である第１領域と五線上に音符が描画された領域である第２領域に領域分割するステップとを含み、
前記演奏用ＧＵＩを生成するステップは、
前記２値化画像について前記第１領域と前記第２領域を識別可能に区分けした表示した画像を前記背景画像とし、該背景画像の中央部を横断して伸びる直線を前記発音ラインとして固定表示するステップを含む、請求項６に記載のプログラム。
【請求項８】
前記領域分割するステップにおいて、前記第１領域が存在しない場合に、前記撮影手段が撮影した画像について文字認識を実行し、認識した文字に紐付けられた所定の音色を前記音符が表す音の音色として設定する、請求項７に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、演奏システム及びプログラムに関し、より詳細には、描画された五線譜を利用して演奏を実行する演奏システム及びプログラムに関する。
【背景技術】
【０００２】
特開２００８−１２３１８１号公報（特許文献１）は、楽譜の画像を解析して自動的にＭＩＤＩデータを生成する楽譜認識装置を開示する。ここで、特許文献１の楽譜認識装置は、外部ＭＩＤＩ機器との間でＭＩＤＩデータを送受信するためのインターフェースを備えているので、楽譜認識装置を外部ＭＩＤＩ機器に接続すれば、スキャンした楽譜に基づくＭＩＤＩデータをそのまま外部ＭＩＤＩ機器に出力して演奏させることができる。
【０００３】
しかしながら、特許文献１の楽譜認識装置は、譜面または段落単位のバッチ処理（一括処理）によってＭＩＤＩデータを生成するものであり、楽譜認識装置が楽譜からＭＩＤＩデータを生成することと、外部ＭＩＤＩ機器が生成されたＭＩＤＩデータに基づいて演奏することは本質的には無関係である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１２３１８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、五線譜を利用して演奏を実行する新規な演奏システム及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明者は、これまで、単に、音楽の記述フォーマットとして利用されてきた五線譜について改めて検討を加えた結果、五線譜を利用した新しい演奏形態に想到し、本発明に至ったのである。
【０００７】
すなわち、本発明によれば、描画された五線譜を利用して演奏を実行する演奏システムであって、撮影手段を搭載する演奏用デバイスと、前記撮影手段が撮影した五線譜の画像を解析する画像解析部と、前記画像解析部の解析結果に基づいて前記五線譜上に描画された音符が表す音の音高を決定する音高決定部と、決定された前記音高に基づいて発音データを生成する発音データ生成部と、前記発音データに基づいて音声信号を出力する発音制御部と、前記画像解析部の解析結果に基づいて演奏用ＧＵＩを生成し、該演奏用ＧＵＩを介して演奏操作を受け付ける演奏用ＧＵＩ部とを含み、前記演奏用ＧＵＩ部は、前記五線譜を表す背景画像の上にＹ軸方向に伸びる発音ラインを重畳表示する演奏用ＧＵＩを生成し、前記発音データ生成部は、前記発音ラインが前記五線譜上の前記音符の画像の上に重畳されている間、前記発音データを発音制御部に対して出力する演奏システムが提供される。
【発明の効果】
【０００８】
上述したように、本発明によれば、五線譜を利用して演奏を実行する新規な演奏システムが提供される。本発明の演奏システムによれば、音楽初学者に向けた簡易な印刷楽譜を再生することができるので、これまで数多く出版されてきた楽譜教材を利用したインタラクティブな音楽学習体験をユーザに提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の演奏システムの機能ブロック図。
【図２】本実施形態の演奏システムの実装形態を示す図。
【図３】紙面に鉛筆で描画された五線譜を示す図。
【図４】本実施形態における演奏用デバイスを示す図。
【図５】リアルタイム演奏処理を示すフローチャート。
【図６】画像解析処理を示すフローチャート。
【図７】画像解析処理を説明するための概念図。
【図８】画像解析処理を説明するための概念図。
【図９】演奏用ＧＵＩ画面を説明するための概念図。
【図１０】音量を決定する処理を説明するための概念図。
【図１１】エフェクトを加える処理を説明するための概念図。
【図１２】音声設定処理を説明するための概念図。
【発明を実施するための形態】
【００１０】
以下、本発明を図面に示した実施の形態をもって説明するが、本発明は、図面に示した実施の形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜、その説明を省略するものとする。
【００１１】
図１は、本発明の実施形態である演奏システム１０００の機能ブロック図を示す。本実施形態の演奏システム１０００は、演奏用デバイス１００と、演奏用デバイス１００からの入力に基づいて所定の情報処理を実行する情報処理装置２００と、情報処理装置２００から出力される音声信号を音波に変換する発音手段３００と、情報処理装置２００から出力される画像データを表示する表示装置４００を含んで構成されている。
【００１２】
本実施形態における演奏用デバイス１００は、撮影手段１１０と、モード切替スイッチ１２０を含んで構成されている。撮影手段１１０は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサを搭載したデジタルカメラとして構成することができ、演奏用デバイス１００は、撮影手段１１０によって撮影された画像およびモード切替スイッチ１２０のスイッチ信号を情報処理装置２００に送信する。
【００１３】
情報処理装置２００は、ＣＰＵ、ＲＡＭ、ＲＯＭ、およびハードディスクやフラッシュメモリなどの外部記憶装置、ならびにネットワーク・インターフェースや無線インターフェースなどの適切な通信インターフェースを含んで構成されるコンピュータ装置であって、ＷＩＮＤＯＷＳ（登録商標）、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）などといった適切なオペレーション・システム（ＯＳ）の管理下で、Ｃ、Ｃ＋＋、ＶｉｓｕａｌＣ＋＋、ＶｉｓｕａｌＢａｓｉｃ、Ｊａｖａ（登録商標）などのオブジェクト指向のプログラミング言語により記述された所定のアプリケーション・プログラムを実行することによって、画像解析部２１１、ＯＣＲ部２１２、音高決定部２１４、音量決定部２１６、エフェクト部２１８、演奏用ＧＵＩ部２２０、音色設定部２２４、発音データ生成部２２６、発音制御部２２８、モード切替部２３０として機能する。
【００１４】
画像解析部２１１およびＯＣＲ部２１２は、演奏用デバイス１００から画像入力Ｉ/Ｆ２１０を介して入力される画像に基づいて所定の画像解析処理を実行する。音高決定部２１４、音量決定部２１６、エフェクト部２１８、および演奏用ＧＵＩ部２２０の各々は、画像解析部２１１の解析結果に基づいて以下の処理を実行する。
【００１５】
すなわち、音高決定部２１４は、五線譜に記述された音符が表す音の音高を決定し、音量決定部２１６は、音符が表す音の音量を決定する。エフェクト部２１８は、音符が表す音に所定のエフェクトを加え、演奏用ＧＵＩ部２２０は、演奏操作を受け付けるための演奏用ＧＵＩを生成し、表示装置４００に表示する。
【００１６】
発音データ生成部２２６は、音高決定部２１４が決定した音高に基づいて、ＭＩＤＩデータとして参照される発音データを生成するための機能部であり、演奏用ＧＵＩ画面を介したユーザからの操作入力に応答して生成した発音データを発音制御部２２８に出力する。
【００１７】
発音制御部２２８は、発音データ生成部２２６から入力された発音データを、音量決定部２１６が決定した音量およびエフェクト部２１８によって加えられる所定のエフェクトを反映させたＷＡＶなどの音声信号に変換し、スピーカー装置として参照される発音手段３００に出力する。
【００１８】
ここで、図１に示した演奏用デバイス１００、情報処理装置２００、発音手段３００および表示装置４００の各構成は、それぞれが物理的に分離した存在であってもよく、適切な組み合わせで一体化されていてもよい。例えば、情報処理装置２００、発音手段３００および表示装置４００の各機能を一つの装置（例えば、デスクトップＰＣ、ノートＰＣ、スマートフォン、タブレット型端末、ＰＤＡなど）に集約してもよいし、演奏用デバイス１００、情報処理装置２００、発音手段３００および表示装置４００の全ての機能を１つの筐体内に集約してもよい。１つの筐体内に集約した場合、演奏システム１０００は、演奏装置として参照することができる。なお、物理的に分離した各構成間は、有線・無線の方式を問わず、ローカル接続や、インターネットやＬＡＮなどのネットワークを介して接続することもできる。
【００１９】
さらに、本実施形態における表示装置４００は、画像を表示可能な手段であればどのようなものであってもよく、演奏システム１０００の実装形態に応じて、デスクトップ型ディスプレイ装置、ヘッドマウントディスプレイ、プロジェクター装置、小型液晶パネルなどの適切な手段を採用することができる。
【００２０】
以上、本実施形態の演奏システム１０００の基本構成について説明してきたが、続いて、より具体的な実装形態に基づいて演奏システム１０００を説明する。なお、以降の説明においては、適宜、図１を参照するものとする。
【００２１】
図２は、演奏システム１０００の実装形態を例示する。図２に例示する演奏システム１０００は、ユーザがペンのごとく握って操作する演奏用デバイス１００と出力装置５００を含んで構成されている。ここで、出力装置５００は、先に説明した情報処理装置２００、発音手段３００および表示装置４００の各機能を集約した装置として参照されたい。
【００２２】
演奏にあたり、ユーザは、まず、図２（ａ）に示すように、紙などの任意の媒体に対して手書きで五線譜を描画する。図３（ａ）は、紙面に鉛筆で描画された五線譜を示す。図３（ａ）に示すように、演奏システム１０００を使用した即興演奏においては、五線の上に簡略化した音符（符頭のみからなる簡易音符）を記述することが前提となる。なぜなら、本実施形態における即興演奏においては、ユーザが音の長さ（音価）を動的に決めることを前提とするので、音符は音高のみを表せば足りるからである。そして、このような簡易音符を使用することによって、五線譜の認識処理に要するデータ量を低減できるので、五線譜の認識処理速度が向上し、リアルタイム性が向上する。
【００２３】
ユーザは、五線譜を書き終わると、演奏用デバイス１００と出力装置５００を起動し、図２（ｂ）に示すように、演奏用デバイス１００を紙面に当接させた状態で、五線譜をなぞるように左から右へと移動させる。このとき、ユーザは、出力装置５００の表示画面に表示される演奏用ＧＵＩ画面２０を見ながら演奏用デバイス１００を所望の速度で動かす。そして、演奏用デバイス１００が五線譜に記譜された音符の上に到達すると、当該音符に対応する音が出力装置５００の発音手段から発音される。
【００２４】
図４は、図２に示した演奏用デバイス１００の正面図、上面図、下面図、側面図および側面断面図を示す。図４に示すように、演奏用デバイス１００は、円柱部１３２と、円柱部１３２の一端に接続される略半球状の読み取り部１３４を含んで構成されている。円柱部１３２の外周面には、モードを切り替えるための２つのトグルスイッチ１２２，１２３が配設されており、各トグルスイッチ１２２，１２３の押下によって、出力装置５００がリアルタイム演奏モードおよび録音演奏モードにセットされ、トグルスイッチ１２４の押下によって録音内容がリセットされるように構成されている。
【００２５】
略半球状の読み取り部１３４は中空状になっており、その外周には、ユーザに読み取り方向をガイドするべく、対向する２つの切り欠き部１３６，１３６が形成されている。ここで、２つの切り欠き部１３６，１３６は、ＣＣＤカメラ１１０のカメラ座標系のＸ軸方向に対向するように形成されており、ユーザは、五線譜の読み取りにあたり、図２（ｂ）および図３（ｂ）に示すように、切り欠き部１３６の幅方向に５本の描画線の全てが収まるように読み取り部１３４を紙面に当接し、その状態を維持しながら演奏用デバイス１００をおおよそＸ軸方向になぞるように移動する。
【００２６】
さらに、演奏用デバイス１００には、読み取り部１３４の内部に臨むようにＣＣＤカメラ１１０が搭載され、読み取り部１３４の内部に照明をあてるためのＬＥＤ１３７が配置されている。読み取り部１３４を紙面に当接した状態において、ＣＣＤカメラ１１０は紙面上の五線譜に対峙する。そして、ＣＣＤカメラ１１０は、この状態で、図３（ｂ）に示すように、五線と当該五線上に記述された少なくとも１つの音符を同時に撮影できるように、その画角が設定される。なお、ＣＣＤカメラ１１０およびＬＥＤ１３７の代替手段として、赤外線カメラおよび赤外線照射手段を用いてもよい。ＣＣＤカメラ１１０の画像出力およびトグルスイッチ１２２，１２３，１２４（モード切替スイッチ１２０）のＯＮ/ＯＦＦ信号は、無線通信Ｉ/Ｆ１４０を介して出力装置５００にリアルタイムで転送される。
【００２７】
以上、演奏用デバイス１００について説明してきたが、図４に示した形状・構造はあくまで例示であり、種々の設計変更が可能であることに留意されたい。
【００２８】
本実施形態においては、演奏用デバイス１００のトグルスイッチ１２２がユーザによって押下されたことに応答して、モード切替部２３０が情報処理装置２００の動作モードをリアルタイム演奏モードに切り替える。以下、情報処理装置２００において実行されるリアルタイム演奏処理を図５に示すフローチャート基づいて説明する。
【００２９】
リアルタイム演奏モードにおいては、まず、画像解析部２１１が画像解析処理（ステップ１００）を実行する。以下、図６に示すフローチャート基づいて画像解析部２１１が実行する画像解析処理を説明する。
【００３０】
まず、ステップ１０１において、演奏用デバイス１００からリアルタイムで転送される手書き楽譜のデジタル画像を取得する。図７（ａ）は、取得した手書き楽譜のデジタル画像を例示する。図７（ａ）に示す画像には、画像座標系のＸ軸方向に伸びる５本の描画線と２つの簡易音符（以下、単に音符という）が写っている。
【００３１】
次に、ステップ１０２において、取得したデジタル画像について２値化処理を実行する。なお、ステップ１０２は、画像認識の精度を上げるために用いられる画像処理（ノイズ除去、平滑化、エッジ強調、細線化、背景正規化など）を適宜含んでいてもよい。図７（ｂ）は、図７（ａ）に示したデジタル画像を２値化した２値化画像を示す。
【００３２】
次に、ステップ１０３において、２値化画像を画像座標系のＸ軸方向に領域分割する処理を実行する。具体的には、２値化画像を五線のみが存在する領域（以下、第１領域という）とその余の領域（以下、第２領域という）に領域分割する処理を実行する。その結果、五線の上に音符が描画された領域が第２領域として分割される。図７（ｃ）は、２値化画像を領域分割した状態を示す。なお、図７（ｃ）において、第１領域および第２領域を、それぞれ、丸囲み数字１および２で示す（以下の図において同様）。ただし、ステップ１０３においては、例外的に、五線譜の両端のように五線が描画されていない領域や線がかすれたり途切れたりして五線の全てが認識できなかったような領域が、音符が描画されているいないにかかわらず第２領域として分割されることもある。
【００３３】
次に、ステップ１０３の結果を受けて、ステップ１０４において第１領域が存在するか否かが判断され、第１領域が存在する場合（ステップ１０４、Ｙｅｓ）、処理はそのままステップ１０５に進む。一方、第１領域が存在しない場合は（ステップ１０４、Ｎｏ）、音色設定処理（ステップ３００）に進んだ後、ステップ１０５に進む。なお、音色設定処理については、後述する。
【００３４】
ステップ１０５においては、第１領域に存在する五線の座標情報に基づいて線形補間を実行することによって、第２領域内に５本の推定線を定義する。具体的には、図８（ａ）に拡大して示すように、第２領域の左右に隣接する２つの第１領域内の描画線について、注目する第２領域の左側に位置する第１領域内の描画線の右端画素Ｒと、注目する第２領域の右側に位置する第１領域内の描画線の左端画素Ｌを結ぶ線分Ｓを第２領域内の五線として推定する。このとき、５本の推定線は、画像の下から上にかけて順番に、第１線〜第５線としてマークされる。
【００３５】
次に、ステップ１０６において、ラベリング処理などの手法を用いて第２領域内に描画された音符の画素領域を画定した後、図８（ｂ）に拡大して示すように、音符のエッジ画素Ｅの座標と、音符の代表画素Ｄの座標を求める。図８（ｂ）は、第２領域を二分するようにＹ軸方向に伸びる基準線Ｂを定義し、この基準線Ｂ上に存在する２つのエッジ画素を結ぶ線分の中点に相当する画素を代表画素Ｄとする例を示しているが、この他にも、音符の画素領域の重心を代表画素Ｄとするなど、適切な規則に従って代表画素Ｄを決定すればよい
【００３６】
最後に、ステップ１０７において、各第２領域について、先のステップ１０５で定義した５本の推定線の座標情報と、先のステップ１０６で求めた音符に係る各種座標情報（エッジ画素および代表画素）を楽譜画像情報として一時記憶用のバッファに保持し（ステップ１０７）、処理を終了する。なお、第２領域に音符が描画されていないケースでは、当該第２領域に係る楽譜画像情報をブランクとして保持する。
【００３７】
再び、図５に戻って説明を続ける。画像解析処理（ステップ１００）が終了すると、処理はステップ２０１に進み、演奏用ＧＵＩ部２２０が、演奏用ＧＵＩ画面に表示する発音ラインが第２領域の上にあるか否かを判断する。ここで、演奏用ＧＵＩ部２２０が生成・提供する演奏用ＧＵＩ画面について説明する。
【００３８】
図９は、本実施形態における演奏用ＧＵＩ画面を説明するための概念図である。なお、図９においては、理解の容易のため、演奏用ＧＵＩ画面２０を手書き楽譜の上に重畳して表示する（以下、図１０および図１１において同様）。本実施形態における演奏用ＧＵＩ画面は、画像解析部２１１の解析結果に基づいて演奏用ＧＵＩ部２２０が生成する。図９に示す演奏用ＧＵＩ画面２０は、演奏用デバイス１００から転送された画像の２値化画像の第１領域と第２領域を識別可能に区分け表示した画像（例えば、色分け表示）を背景画像とし、当該背景画像の中央部の適切な位置を画像座標系のＹ軸方向に伸びて横断する直線Ｐを固定表示している。本実施形態においては、この直線Ｐを発音ラインＰとして定義する。
【００３９】
ユーザが演奏用デバイス１００で手書き楽譜を左から右になぞっていくことに応答して、演奏用ＧＵＩ画面２０に表示される背景画像が時々刻々と変化する。仮に、ステップ２０１において、演奏用ＧＵＩ画面２０が図９（ａ）に示す状態にあるとき、発音ラインＰは、第２領域の上にないので（ステップ２０１、Ｎｏ）、処理はステップ１００に戻り、再び、演奏用デバイス１００から転送されてくる最新の画像に基づいて画像解析処理が実行される。
【００４０】
続いて、ユーザが演奏用デバイス１００を右側に移動させた結果、図９（ｂ）に示すように、発音ラインＰが第２領域の上に重畳されると（ステップ２０１、Ｙｅｓ）、処理はステップ２０２に進み、発音ラインＰが重畳された第２領域に音符があるか否か判断される。なお、この判断は、当該第２領域について一時記憶用バッファに楽譜画像情報が保持されている否かによって行うことができる。要するに、上述したステップ２０１およびステップ２０２を経て、演奏用ＧＵＩ画面に表示される発音ラインＰが音符の画像の上に重畳されているか否かが判断される。
【００４１】
図９（ｂ）に示す状態の場合、発音ラインＰが重畳された第２領域に音符Ｑが存在するので（ステップ２０２、Ｙｅｓ）、ステップ２０３に進み、一時記憶用バッファに保持された当該第２領域の楽譜画像情報に基づいて、音高決定部２１４が、音符Ｑが表す音の音高を決定する。例えば、音符Ｑが存在する第２領域について、図８（ｃ）に示す楽譜画像情報が保持されていた場合、代表画素Ｄと第１〜第３線との相互位置関係に基づき、適切なアルゴリズムを使用して音高を決定する。なお、五線譜の画像から音符が表す音高を決定する手法は既知であり、本実施形態においては、上述した手順に限らず、既知の手法をはじめとした適切なアルゴリズムを使用して音高を決定することができる。以下、ステップ２０３において、音高「ソ」が決定されたとして説明を続ける。
【００４２】
続いて、ステップ２０４に進み、同じ楽譜画像情報に基づいて、音量決定部２１６が、音符Ｑが表す音の音量を決定する。図１０（ａ）は、音量を決定する処理を説明するための概念図である。音量の決定にあたっては、音符ＱのＹ軸方向の幅に基づいて音量を決定する。図１０（ａ）は、第２領域を二分するようにＹ軸方向に伸びる基準線Ｂ上に存在する音符Ｑの２つのエッジ画素の間のピクセル距離を音符ＱのＹ軸方向の幅とし、当該幅に基づいて音量を決定する例を示す。この他にも、Ｙ軸方向に伸び音符Ｑの代表画素Ｄを通る線を基準線Ｂとし、当該基準線Ｂ上に存在する音符Ｑの２つのエッジ画素の間のピクセル距離を音符ＱのＹ軸方向の幅とすることもできる。
【００４３】
続いて、ステップ２０５に進み、上述した手順で決定した音高および音量で発音を開始する。具体的には、発音データ生成部２２６が、音色設定部２２４によって設定された音色と音高決定部２１４が決定した音高「ソ」に基づいて発音データ（ＭＩＤＩデータ）を生成し、発音制御部２２８に出力する。発音制御部２２８は、発音データ生成部２２６から入力された音高「ソ」の発音データを、音量決定部２１６が決定した音量に基づいて、ＷＡＶなどの音声信号に変換して発音手段３００に出力する。
【００４４】
発音が開始された後、発音ラインＰが第２領域上に重畳されている限り、演奏用ＧＵＩ部２２０は、発音データ生成部２２６に対して発音を継続するように指示する。これを受けて、発音データ生成部２２６は発音制御部２２８に対して発音データの出力を継続する。さらに、この間に、演奏用デバイス１００の所定の動きに応答して、後述するステップ２０６またはステップ２０７の処理が実行され、発音される音の性質が動的に変化する。以下、この点について説明する。
【００４５】
ステップ２０６では、発音ラインＰを第２領域に重畳させた状態を維持しつつ、演奏用デバイス１００が長手方向を軸として回動することに応答して、音量決定部２１６が、音符Ｑが表す音の音量を変更する。ステップ２０６で実行される処理は、先のステップ２０４において音量決定部２１６が実行する処理と本質的に同じであり、音量決定部２１６は、音符ＱのＹ軸方向の幅を常時監視し、最新の幅情報に基づいて音量を動的に再設定する。一般に、音符（符頭）は五線に対して傾きをもった楕円として記述されることが多いので、図１０（ａ）の左側に示す状態から、演奏用デバイス１００を右回転させて、図１０（ｂ）の左側に示す状態にすると、図１０（ｂ）の右側に拡大して示すように、ピクセル距離がＷ１からＷ２に変化する（Ｗ２＞Ｗ１）。これに応じて、音量決定部２１６は音符Ｑが表す音の設定音量を増加させる。
【００４６】
ステップ２０７では、発音ラインＰを第２領域に重畳させた状態を維持しつつ、演奏用デバイス１００が譜面上下方向（すなわち、画像座標系のＹ軸方向）に動くことに応答して、エフェクト部２１８が発音にピッチベントエフェクトを加える。具体的には、図１１（ａ）に示す初期状態から図１１（ｂ）に示すように、ユーザが演奏用デバイス１００を譜面上下方向に動かすことに応答して、エフェクト部２１８は、発音を開始した時点の音符Ｑの代表画素ＤのＹ座標値[Ｙ1]と、移動後の音符Ｑの代表画素ＤのＹ座標値[Ｙ２]との差分の絶対値を移動量として検出し、その移動量に応じて音高「ソ」から無段階に音の高さを変化させる（すなわち、音高「ソ」の周波数を基準としてそこから周波数を増分する）。なお、ここでは、ピッチベントエフェクトに基づいて説明したが、エフェクト部２１８が加えるエフェクトはこれに限定されるものではなく、譜面上下方向の移動量に応じて、任意のエフェクト（例えば、リバーブやコーラスなど）を設定するように構成してもよい。
【００４７】
続くステップ２０８では、再び、演奏用ＧＵＩ部２２０が、発音ラインＰが第２領域上にあるか否かを判断し、発音ラインＰが未だ第２領域上にある場合は、ステップ２０６以降の手順を繰り返す。一方、ユーザがさらにカメラを譜面右側に移動させた結果、図９（ｃ）に示す状態になると、演奏用ＧＵＩ部２２０は、発音ラインＰが第２領域から外れたと判断し（ステップ２０８、Ｎｏ）、演奏用ＧＵＩ部２２０は発音データ生成部２２６に対して発音を停止するように指示する。これを受けて、発音データ生成部２２６は発音制御部２２８への発音データの出力を停止し、発音が終了する（ステップ２０９）。その後は、再び、ステップ１００の画像解析処理に戻り、上述した一連の処理を繰り返す。
【００４８】
次に、本実施形態における音色設定処理について説明する。本実施形態における音色設定部２２４は、任意の文字と所定の音色を紐付けて管理する。例えば、音色設定部２２４は、文字列「ｐｆ」を「ピアノ」の音色に紐付けたり、文字列「ｄｒ」を「ドラム」の音色に紐付けたりすることができる。
【００４９】
例えば、ユーザが図１２（ａ）に示すように、手書き譜面の適当な余白を利用して、文字列「ｐｆ」および文字列「ｄｒ」を手書きした後、ユーザが演奏用デバイス１００の読み取り部１３４を文字列「ｐｆ」が描画された位置に当接したとして、図６に戻って説明する。この場合、取得画像には第１領域（五線のみが存在する領域）が一切存在しないので（ステップ１０４、Ｎｏ）、ステップ３００に進んで音色設定処理が実行される。以下、図１２（ｂ）に示すフローチャート基づいて音色設定処理を説明する。
【００５０】
まず、ステップ３０１において、演奏用デバイス１００が撮影した手書き文字「ｐｆ」の画像を取得する。続く、ステップ３０２において、ＯＣＲ部２１２が取得した手書き文字「ｐｆ」の画像のＯＣＲ処理を実行し、手書き文字を認識する。最後に、ステップ３０２において、音色設定部２２４は、認識した文字「ｐｆ」に紐付けられたピアノの音色を発音データ生成部２２６に設定する。
【００５１】
以上、本実施形態のリアルタイム演奏モードについて説明してきたが、本実施形態においては、演奏用デバイス１００のトグルスイッチ１２４がユーザによって押下されたことに応答して、モード切替部２３０が情報処理装置２００の動作モードを、録音演奏モードに切り替える。録音演奏モードにおいては、ユーザが五線譜をスキャンする間、発音データ生成部２２６は、音高決定部２１４および音量決定部２１６が決定する音高および音量と、発音ラインＰの第２領域滞在期間に応じて決定された音価に基づいてＭＩＤＩデータを生成・保存し、ユーザからの求めに応じて演奏を再生する。
【００５２】
以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではない。
【００５３】
例えば、上述した実施形態では、手書き描画した五線譜を使用して演奏する態様を説明したが、本発明の演奏システムは、手書き描画した五線譜に限らず、印刷描画された五線譜、印刷された五線に手書きの音符を描画した五線譜など、どのような五線譜であっても適用可能であることは言うまでもない。また、五線譜が描画される媒体は紙に限らず任意の媒体であればよい。
【００５４】
また、上述した実施形態の演奏用ＧＵＩ画面では、発音ラインを定義した上で、当該発音ラインを表す直線を背景画像上に重畳表示する態様を例示したが、発音ラインを表すグラフィックは、ユーザが発音ラインを直感的に認識できるものであればどのようなものであってもよく、例えば、上述した直線の代わりに矢印などのグラフィックを採用してもよい。
【００５５】
また、上述した実施形態では、取得画像の内容に基づいて音色設定処理を自動的に実行する態様を示したが、音色設定処理用の専用のスイッチを設け、当該スイッチの押下に応答して音色設定処理を実行するようにしてもよい。また、上述した実施形態では、ＯＣＲ機能を利用して音色を設定する態様について説明したが、本発明においては、ＯＣＲ機能を利用して、エフェクトやリズムボックス、音域やテンポなどの所定の設定項目を設定するように構成してもよい。
【００５６】
また、本発明においては、音色設定部において複数のカラーと音色を紐付けておき、演奏用デバイスに搭載した３ＣＣＤカメラが取得したカラー画像を解析することによって、音符の彩色に応じてその音符が表す音の音色を設定するように構成することもできる。また、音量決定部を音符の画素領域の面積（ピクセル数）に基づいて音量を決定するように構成してもよく、音符の大きさ・形状にかかわらず一定の音量で発音してもよい。さらに、演奏デバイスに適切な振動アクチュエータを搭載し、音符の発音時やＯＣＲ認識成功時に１０ｍｓ程度の振動をユーザに与えるなどの触覚フィードバックの構成を採用してもよい。その他、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【００５７】
上述した実施形態の各機能は、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのオブジェクト指向プログラミング言語などで記述された装置実行可能なプログラムにより実現でき、本実施形態のプログラムは、ハードディスク装置、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。
【００５８】
最後に、本発明の演奏システムの応用展開について説明する。
【００５９】
（音楽教育用コンテンツとしての利用）
日本では、義務教育において五線譜の読み方が必修とされているにもかかわらず、依然として多くの人が楽譜を読めないまま大人になるという現実がある。これは、これまでの学習が、五線譜のフォーマットを理論的に学ばせることだけに終始する結果、生徒の頭の中で五線譜の視覚情報とそれが表すところの音（聴覚情報）がいつまでたっても結びついていかないことに原因がある。
【００６０】
この点につき、本発明の演奏システムを音楽教育用コンテンツとして導入すれば、生徒は、思いつくままに手書きした楽譜をその場ですぐに音として確認することができるので、記譜→発音→記譜→発音のサイクルを繰り返して遊んでいるうちに、自然と楽譜が読めるようになるであろう。
【００６１】
（新しい演奏パフォーマンスの提案）
近年、ラップトップコンピュータを使用して演奏パフォーマンスを行うラップトップミュージックと呼ばれる演奏形態が注目を集めている。ラップトップミュージックでは、ラップトップコンピュータやサンプラーなどの操作機器だけを使用してライブ演奏を行うが、演奏者がそれらを操作する姿それ自体は、魅力的な演奏パフォーマンスとは程遠い。ライブ演奏の観客は、演奏者の奏でる音はもちろんのこと、演奏者の動作パフォーマンスに大きな魅力を感じるものであり、この点に関しては、ラップトップミュージックは古典楽器の演奏に劣っていると言わざるを得ない。
【００６２】
一方、本発明の演奏システムをラップトップミュージックに応用すれば、ラップトップミュージックが持つ本来の利点を維持しつつ、従来の古典楽器の演奏に通ずるようなヒューマンなパフォーマンスを観客に披露することが可能になる。例えば、以下のような演奏を実現することができるであろう。
【００６３】
演奏者は、ステージ上で即興的に五線譜を描き、書き上げた五線譜を本発明の演奏用デバイスでなぞっていく。その様子は大型スクリーンに映し出される。このとき、演奏用ＧＵＩ画面も併せて大型スクリーンに映し出される。パフォーマーは、五線譜をなぞる速度を速くしたり遅くしたりしてメロディに緩急を付けたり、なぞる方向を反転させて逆再生的な音を出したり、演奏用デバイスを動かすことによって音量や音高を揺らし、トレモロ、ビブラート、ピッチベントのようなニュアンスを演奏の中に即興的に挿入したり、観客が見守る中、次々に新しい楽譜を書き足していき、それぞれの楽譜を異なる楽器音でループシーケンスさせる等々。このように、本発明の演奏システムをラップトップミュージックに応用すれば、観客を視覚と聴覚の両方から魅了することができるであろう。
【符号の説明】
【００６４】
２０…演奏用ＧＵＩ画面
１００…演奏用デバイス
１１０…撮影手段（ＣＣＤカメラ）
１２０…モード切替スイッチ
１２２，１２３，１２４…トグルスイッチ
１３２…円柱部
１３４…読み取り部
１３６…切り欠き部
１３７…ＬＥＤ
１４０…無線通信Ｉ/Ｆ
２００…情報処理装置
２１０…画像入力Ｉ/Ｆ
２１１…画像解析部
２１２…ＯＣＲ部
２１４…音高決定部
２１６…音量決定部
２１８…エフェクト部
２２０…演奏用ＧＵＩ部
２２４…音色設定部
２２６…発音データ生成部
２２８…発音制御部
２３０…モード切替部
３００…発音手段
４００…表示装置
５００…出力装置
１０００…演奏システム
【図１】
0005999689.tif 000002
【図２】
0005999689.tif 000003
【図３】
0005999689.tif 000004
【図４】
0005999689.tif 000005
【図５】
0005999689.tif 000006
【図６】
0005999689.tif 000007
【図７】
0005999689.tif 000008
【図８】
0005999689.tif 000009
【図９】
0005999689.tif 000010
【図１０】
0005999689.tif 000011
【図１１】
0005999689.tif 000012
【図１２】
0005999689.tif 000013