(57)【要約】【課題】ガイド画像と視野像とを容易に視認でき、しかも処理速度向上を図ることができる演奏教習装置を実現する。【解決手段】教習者はゴーグル形状のＨＭＤ２を装着して演奏教習を開始すると、手本となる演奏操作を表示するガイド画像が自身の視野像にスーパーインポーズされてＨＭＤ２の表示部２ａに画面表示され、この際、視野像の解像度および色数はアニメ画像であるガイド画像に合わされる為、ガイド画像と視野像とを容易に視認できるようになる。加えて、視野像の解像度および色数を落としてガイド画像に合わせるので、処理データ量の削減により処理速度向上を図ることも可能になる。【選択図】　図７
2004109540.tif 000002
【特許請求の範囲】
【請求項１】
弾くべき鍵の位置および指使いを教示する情報を含み、手本となる演奏操作を表示するガイド画像を記憶する画像記憶手段と、
教習者の視野に対応した像であって、自身の演奏操作を撮像した視野像を発生する撮像手段と、
この撮像手段が発生する視野像の色数および画素数を、前記画像記憶手段から読み出したガイド画像に合わせるように変換して変換視野像を生成する生成手段と、
この生成手段によって生成された変換視野像と前記ガイド画像を画面表示する表示手段と、
前記撮像手段および表示手段を備え、教習者に装着されるゴーグル形状の教習手段と、
この教習手段が備える表示手段に画面表示される変換視野像に、前記画像記憶手段から読み出したガイド画像を重ね合わせて弾くべき鍵の位置および指使いを教示するよう表示制御する表示制御手段と
を具備することを特徴とする演奏教習装置。
【請求項２】
前記生成手段は、前記画像記憶手段から読み出したガイド画像に含まれ、弾くべき鍵の位置および指使いを教示する情報に応じて、視野像の色数および画素数を変化させることを特徴とする請求項１記載の演奏教習装置。
【請求項３】
弾くべき鍵の位置および指使いを教示する情報を含み、手本となる演奏操作を表示するガイド画像を記憶する画像記憶手段と、
教習者の視野に対応した像であって、自身の演奏操作を撮像した視野像を発生する撮像手段と、
前記視野像から抽出した自身の手の像の色数および画素数を、前記画像記憶手段から読み出したガイド画像に合わせるように変換し、それを手の像が抽出された以外の視野像に重ね合わせて合成視野像を生成する生成手段と、
この生成手段によって生成された合成視野像と前記ガイド画像を画面表示する表示手段と、
前記撮像手段および表示手段を備え、教習者に装着されるゴーグル形状の教習手段と、
この教習手段が備える表示手段に画面表示される合成視野像に、前記画像記憶手段から読み出したガイド画像を重ね合わせて弾くべき鍵の位置および指使いを教示するよう表示制御する表示制御手段と
を具備することを特徴とする演奏教習装置。
【請求項４】
前記生成手段は、前記画像記憶手段から読み出したガイド画像に含まれ、弾くべき鍵の位置および指使いを教示する情報に応じて、視野像から抽出した自身の手の像の色数および画素数を変化させることを特徴とする請求項３記載の演奏教習装置。
【請求項５】
弾くべき鍵の位置および指使いを教示する情報を含み、手本となる演奏操作を表示するガイド画像を記憶する画像記憶手段と、
教習者の視野に対応した像であって、自身の演奏操作を撮像した視野像を発生する撮像手段と、
前記視野像から抽出した鍵盤像の色数および画素数を、前記画像記憶手段から読み出したガイド画像に合わせるように変換し、それを鍵盤像が抽出された以外の視野像に重ね合わせて合成視野像を生成する生成手段と、
この生成手段によって生成された合成視野像と前記ガイド画像を画面表示する表示手段と、
前記撮像手段および表示手段を備え、教習者に装着されるゴーグル形状の教習手段と、
この教習手段が備える表示手段に画面表示される合成視野像に、前記画像記憶手段から読み出したガイド画像を重ね合わせて弾くべき鍵の位置および指使いを教示するよう表示制御する表示制御手段と
を具備することを特徴とする演奏教習装置。
【請求項６】
前記生成手段は、前記画像記憶手段から読み出したガイド画像に含まれ、弾くべき鍵の位置および指使いを教示する情報に応じて、視野像から抽出した鍵盤像の色数および画素数を変化させることを特徴とする請求項５記載の演奏教習装置。
【請求項７】
手本となる演奏操作を表示する手の像を含むガイド画像を記憶する画像記憶手段と、
教習者の視野に対応した像であって、自身の演奏操作を撮像した視野像を発生する撮像手段と、
この撮像手段が発生する視野像の色数および画素数を、前記画像記憶手段から読み出したガイド画像に合わせるように変換して変換視野像を生成する生成手段と、
この生成手段によって生成された変換視野像と前記ガイド画像を画面表示する表示手段と、
前記撮像手段および表示手段を備え、教習者に装着されるゴーグル形状の教習手段と、
この教習手段が備える表示手段に画面表示される変換視野像に、前記画像記憶手段から読み出したガイド画像を重ね合わせ、変換視野像中の手の像とガイド画像中の手の像とが重なり合う場合、その重なり合う画像領域の表示態様を変化させる表示制御手段と
を具備することを特徴とする演奏教習装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、手本となる演奏操作を表示して演奏教習させる演奏教習装置に関する。
【０００２】
【従来の技術】
手本となる演奏操作を表示して演奏教習させる演奏教習装置が各種開発されている。この種の装置として、例えば特許文献１には、演奏曲に対応した運指情報を含む手の形の映像および押鍵を指示する映像情報を、演奏曲の進行に合せて読み出して表示部に演奏指示映像として表示するものが開示されている。
また、特許文献２には、曲データに従って押鍵指示を行うと共に、ゴーグル型の表示部に曲データの音符表示、運指表示、案内表示を行うものが開示されている。
さらに、特許文献３には、ＨＭＤ（ヘッドマウントディスプレイ）上に押鍵すべき鍵や指などを表示すると共に、演奏者の視野から鍵盤が外れたときにはその旨の表示をする技術が開示されている。
【０００３】
【特許文献１】
特許公開平７−０３６４４６号公報
【特許文献２】
特許公開２０００−３５２９７３号公報
【特許文献３】
特許公開２００１−２８２０９４号公報
【０００４】
加えて、ゴーグル形状の教習手段を教習者に装着させ、この教習手段の表示部に手本となる演奏操作を表すガイド画像と、自身の演奏操作を撮像した視野像とを重ね合わせて画面表示し、これにより弾くべき鍵の位置および指使いを視認性良く教示するようにした演奏教習装置も案出されている。
【０００５】
【発明が解決しようとする課題】
ところで、手本となる演奏操作を表すガイド画像と、自身の演奏操作を撮像した視野像とを重ね合わせて演奏操作を教示する装置では、手本となる演奏操作を実写してガイド画像を作成すると、データ容量が膨大になりメモリ浪費やＣＰＵ負荷増大を招致する上、ガイド画像と視野像とを見分け難いという問題がある。そこで本発明は、このような事情に鑑みてなされたもので、ガイド画像と視野像とを容易に視認でき、しかも処理速度向上を図ることができる演奏教習装置を提供することを目的としている。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、請求項１に記載の発明では、弾くべき鍵の位置および指使いを教示する情報を含み、手本となる演奏操作を表示するガイド画像を記憶する画像記憶手段と、教習者の視野に対応した像であって、自身の演奏操作を撮像した視野像を発生する撮像手段と、この撮像手段が発生する視野像の色数および画素数を、前記画像記憶手段から読み出したガイド画像に合わせるように変換して変換視野像を生成する生成手段と、この生成手段によって生成された変換視野像と前記ガイド画像を画面表示する表示手段と、前記撮像手段および表示手段を備え、教習者に装着されるゴーグル形状の教習手段と、この教習手段が備える表示手段に画面表示される変換視野像に、前記画像記憶手段から読み出したガイド画像を重ね合わせて弾くべき鍵の位置および指使いを教示するよう表示制御する表示制御手段とを具備することを特徴とする。
【０００７】
請求項２に記載の発明では、前記生成手段は前記画像記憶手段から読み出したガイド画像に含まれ、弾くべき鍵の位置および指使いを教示する情報に応じて、視野像の色数および画素数を変化させることを特徴とする。
【０００８】
請求項３に記載の発明では、弾くべき鍵の位置および指使いを教示する情報を含み、手本となる演奏操作を表示するガイド画像を記憶する画像記憶手段と、教習者の視野に対応した像であって、自身の演奏操作を撮像した視野像を発生する撮像手段と、前記視野像から抽出した自身の手の像の色数および画素数を、前記画像記憶手段から読み出したガイド画像に合わせるように変換し、それを手の像が抽出された以外の視野像に重ね合わせて合成視野像を生成する生成手段と、この生成手段によって生成された合成視野像と前記ガイド画像を画面表示する表示手段と、前記撮像手段および表示手段を備え、教習者に装着されるゴーグル形状の教習手段と、この教習手段が備える表示手段に画面表示される合成視野像に、前記画像記憶手段から読み出したガイド画像を重ね合わせて弾くべき鍵の位置および指使いを教示するよう表示制御する表示制御手段とを具備することを特徴とする。
【０００９】
請求項４に記載の発明では、前記生成手段は前記画像記憶手段から読み出したガイド画像に含まれ、弾くべき鍵の位置および指使いを教示する情報に応じて、視野像から抽出した自身の手の像の色数および画素数を変化させることを特徴とする。
【００１０】
請求項５に記載の発明では、弾くべき鍵の位置および指使いを教示する情報を含み、手本となる演奏操作を表示するガイド画像を記憶する画像記憶手段と、教習者の視野に対応した像であって、自身の演奏操作を撮像した視野像を発生する撮像手段と、前記視野像から抽出した鍵盤像の色数および画素数を、前記画像記憶手段から読み出したガイド画像に合わせるように変換し、それを鍵盤像が抽出された以外の視野像に重ね合わせて合成視野像を生成する生成手段と、この生成手段によって生成された合成視野像と前記ガイド画像を画面表示する表示手段と、前記撮像手段および表示手段を備え、教習者に装着されるゴーグル形状の教習手段と、この教習手段が備える表示手段に画面表示される合成視野像に、前記画像記憶手段から読み出したガイド画像を重ね合わせて弾くべき鍵の位置および指使いを教示するよう表示制御する表示制御手段とを具備することを特徴とする。
【００１１】
請求項６に記載の発明では、前記生成手段は、前記画像記憶手段から読み出したガイド画像に含まれ、弾くべき鍵の位置および指使いを教示する情報に応じて、視野像から抽出した鍵盤像の色数および画素数を変化させることを特徴とする。
【００１２】
請求項７に記載の発明では、手本となる演奏操作を表示する手の像を含むガイド画像を記憶する画像記憶手段と、教習者の視野に対応した像であって、自身の演奏操作を撮像した視野像を発生する撮像手段と、この撮像手段が発生する視野像の色数および画素数を、前記画像記憶手段から読み出したガイド画像に合わせるように変換して変換視野像を生成する生成手段と、この生成手段によって生成された変換視野像と前記ガイド画像を画面表示する表示手段と、前記撮像手段および表示手段を備え、教習者に装着されるゴーグル形状の教習手段と、この教習手段が備える表示手段に画面表示される変換視野像に、前記画像記憶手段から読み出したガイド画像を重ね合わせ、変換視野像中の手の像とガイド画像中の手の像とが重なり合う場合、その重なり合う画像領域の表示態様を変化させる表示制御手段とを具備することを特徴とする。
【００１３】
本発明では、教習者がゴーグル形状の教習手段を装着して演奏教習すると、ガイド画像を視野像に重ね合わせて弾くべき鍵の位置および指使いを教示するよう表示制御され、この際、視野像の色数および画素数がガイド画像に合わされる為、ガイド画像と視野像とを容易に視認できるようになる。加えて、視野像の色数および画素数を落としてガイド画像に合わせる為、処理データ量の削減により処理速度向上を図ることも可能になる。
【００１４】
【発明の実施の形態】
以下、本発明の実施の一形態による演奏教習装置について図面を参照して説明する。
（１）構成
図１は、本発明の実施例による演奏教習装置の全体構成を示すブロック図である。図１において、１は各種スイッチを有し、操作されたスイッチに応じたスイッチイベントを発生するパネルスイッチ群である。このパネルスイッチ群１には、電源をオンオフする電源スイッチの他、演奏教習する曲目を選択する曲選択スイッチや演奏教習の開始／停止を指示するスタート／ストップスイッチ等が設けられている。
【００１５】
２は教習者（ユーザ）に装着されるゴーグル形状のヘッドマウントディスプレイ（以下、ＨＭＤと略称する）である。ＨＭＤ２は、例えば図２（ａ）に図示するように、ＬＣＤパネル等から構成される表示部２ａ、ＣＣＤカメラおよびその駆動回路等から構成される撮像部２ｂおよびハーフミラー２ｃを備える。
ＨＭＤ２では、鍵盤上の演奏操作をハーフミラー２ｃを介して教習者に視認させながら、その教習者の視野像を撮像部２ｂにて撮像すると共に、後述するＣＰＵ３の制御の下に、その撮像された視野像に応じて手本となる演奏操作を表示するガイド画像（後述する）の表示サイズや表示位置を調整して表示部２ａに画面表示させ、これにより教習者の視野像とガイド画像とを重ね合わせて弾くべき鍵の位置や指使いを教示するよう構成されている。
【００１６】
なお、同図（ｂ）に図示するように、ハーフミラー２ｃを使用しない形態であれば、撮像部２ｂにて撮像され、鍵盤上の演奏操作を表示する視野像と、この視野像に応じて表示サイズや表示位置が調整されるガイド画像とを重ね合わせて表示部２ａに画面表示して教習者に弾くべき鍵の位置や指使いを教示させる構成であっても構わない。
【００１７】
ＣＰＵ３は装置各部を制御するものであり、本発明に要旨に係わる特徴的な処理動作については追って述べる。ＲＯＭ４は、上記ＣＰＵ３にロードされる各種制御プログラムの他、演奏教習する各種曲毎の演奏データおよびガイド画像データを記憶する。演奏データは、演奏教習に同期して自動演奏されるデータであって、曲を構成する各音の音高および発音／消音するイベントタイミングから構成される。
【００１８】
ガイド画像データは、鍵盤上に置くべき手の位置および指使いを表示するアニメ画像であって、曲を構成する各音に対応して設けたものである。具体的には、鍵盤像を背景とし、その鍵盤像上で手を置く位置に手形を表示すると共に、その表示される手形において鍵操作する指の表示形態を変化させて指使いを表示する。指使いの表示には、ガイド画像データに含まれる指使い情報を用いる。指使い情報とは、左右両手のいずれの手指でどの鍵を押鍵するかを表すものである。また、ガイド画像データには、撮像部２ｂにて撮像される視野像と表示位置合わせするための位置座標値も含まれる。
【００１９】
ＲＡＭ５は、ＣＰＵ３のワークエリアとして用いられ、各種レジスタ・フラグデータを一時記憶するレジスタエリア、上記ＨＭＤ２の撮像部２ｂが撮像する視野像データを一時記憶する視野像データエリアおよび曲選択スイッチの操作にて選択されて上記ＲＯＭ４から転送されるガイド画像データを一時記憶するガイド画像データエリアを備える。
６は周知の波形メモリ読み出し方式によって構成される音源であり、ＣＰＵ３の指示に応じてＲＯＭ４から読み出される演奏データに応じた楽音信号を発生する。７は上記音源６が出力する楽音信号をアナログ波形信号に変換し、不要ノイズを除去する等のフィルタリングを施した後、これを増幅してスピーカから発音するサウンドシステムである。
【００２０】
（２）動作
次に、図３〜図７を参照して実施例の動作について説明する。以下では、最初に動作概略としてメインルーチンの動作を説明した後、そのメインルーチンを構成するスイッチ処理、ガイド画像再生処理および演奏教習処理の各動作について述べる。
【００２１】
▲１▼メインルーチンの動作
上記構成による実施例に電源が投入されると、ＣＰＵ３はＲＯＭ４から所定の制御プログラムをロードして図３に示すメインルーチンを実行し、ステップＳＡ１に処理を進める。ステップＳＡ１では、装置各部を初期化するイニシャライズを実行し、続くステップＳＡ２では、パネルスイッチ１のスイッチ操作に応じたスイッチ処理を実行する。
このスイッチ処理では、例えば曲選択スイッチの操作に応じて選択される曲の演奏データやガイド画像データを指定したり、あるいはスタート／ストップスイッチの操作により演奏教習の開始／停止を指示するなどの処理が行われる。そして、ステップＳＡ３では、後述するフラグＳＴＦが「１」か否か、すなわち演奏教習を開始した状態であるかどうかを判断する。
【００２２】
フラグＳＴＦが「０」となる停止状態であれば、判断結果は「ＮＯ」となり、上記ステップＳＡ２に処理を戻すが、スタート／ストップスイッチの操作により演奏教習の開始が指示されていると、フラグＳＴＦが「１」に設定され、これによりステップＳＡ３の判断結果が「ＹＥＳ」となり、ステップＳＡ４に進む。ステップＳＡ４では、ＨＭＤ２の撮像部２ｂにて撮像される視野像に応じて手本となる演奏操作を表示するガイド画像の表示サイズおよび表示位置を調整する一方、解像度および色数をガイド画像に合わせた視野像にガイド画像をスーパーインポーズして表示部２ａに画面表示するガイド画像再生処理を実行する。
【００２３】
次いで、ステップＳＡ５では、撮像部２ｂにて撮像される視野像データから抽出する指使い情報とガイド画像データに含まれる指使い情報とを比較し、手本通りの演奏操作が行われているかどうかを評価する演奏教習処理を実行する。続いて、ステップＳＡ６では、例えば演奏教習する曲の演奏データを、設定された再生テンポに同期して再生する自動演奏処理などの、その他の処理を実行する。以後、電源スイッチがオフ設定されるか、あるいはスタート／ストップスイッチの操作により演奏教習停止が指示されるまでステップＳＡ２〜ＳＡ６を繰り返すようになっている。
【００２４】
▲２▼スイッチ処理の動作
次に、図４を参照してスイッチ処理の動作について説明する。上述のステップＳＡ２を介して本処理が実行されると、ＣＰＵ３はステップＳＢ１に処理を進め、曲選択スイッチのオンイベントの有無、つまり、曲選択スイッチがオン操作されたかどうかを判断する。曲選択スイッチがオン操作されると、判断結果が「ＹＥＳ」となり、ステップＳＢ２に進み、曲選択スイッチのオン操作に応じて選択された曲の演奏データおよびガイド画像データを指定する。なお、指定されたガイド画像データは、ＲＡＭ５のガイド画像データエリアに転送される。次いで、ステップＳＢ３では、その他のスイッチイベントに応じた処理を実行して本処理を完了させる。
【００２５】
一方、曲選択スイッチがオン操作されない場合には、ステップＳＢ１の判断結果が「ＮＯ」となり、ステップＳＢ４に進む。ステップＳＢ４では、スタート／ストップスイッチがオン操作されたかどうかを判断する。スタート／ストップスイッチがオン操作されると、判断結果が「ＹＥＳ」となり、前述のフラグＳＴＦに「１」をセットした後、ステップＳＢ３に進む。これに対し、スタート／ストップスイッチがオン操作されなければ、判断結果は「ＮＯ」となり、ステップＳＢ６に処理を進め、フラグＳＴＦをゼロリセットした後、ステップＳＢ３に進む。
【００２６】
▲３▼ガイド画像再生処理の動作
次に、図５〜図６を参照してガイド画像再生処理の動作について説明する。前述したメインルーチンのステップＳＡ４を介して本処理が実行されると、ＣＰＵ３は図５に示すステップＳＣ１に処理を進め、ＨＭＤ２の撮像部２ｂにより撮像された視野像データの解像度（画素数）および色数をガイド画像に合わせる視野像変換処理（後述する）を実行する。
なお、ここで言う視野像データとは、撮像視野を鍵盤に向けた状態でＨＭＤ２の撮像部２ｂが撮像する画像を指し、その画像中に写る鍵盤、すなわち教習者が演奏操作する鍵盤には予め図６に図示するように、鍵盤上部および下部にそれぞれ所定間隔で目印ＭＰが施されているものとする。
【００２７】
そして、ステップＳＣ２〜ＳＣ４では、上記ステップＳＣ１にて解像度（画素数）および色数がガイド画像にマッチするよう変換された視野像データ中の各目印ＭＰに対応する座標の内、座標Ａ，Ｂ，Ｃ（図６参照）を結ぶ三角形のエリアを１つのグループとし、各グループ毎にＸ方向の最長線分Ｘｍａｘ、Ｙ方向の最長線分Ｙｍａｘおよびそれら線分の交点座標を検出する。次いで、ステップＳＣ５では、検出した各グループ毎の交点座標に、ガイド画像データ中に含まれる位置座標値が一致するようにガイド画像データの表示サイズおよび表示位置を調整する。これにより、教習者の視野像にガイド画像がスーパーインポーズされた形でＨＭＤ２の表示部２ａに画面表示される。その際、後述する視野像変換処理によって視野像データの解像度および色数がアニメ画像であるガイド画像データに合わされるので、ガイド画像と視野像とを容易に視認し得るようになる。
【００２８】
▲４▼視野像変換処理の動作
次に、図７を参照して視野像変換処理の動作について説明する。上述したステップＳＣ１（図５参照）を介して本処理が実行されると、ＣＰＵ３は図７のステップＳＤ１に進み、ＨＭＤ２の撮像部２ｂにより撮像された視野像データを、ＲＡＭ５の視野像データエリアに取り込む。続くステップＳＤ２では、取り込んだ視野像データの色数をアニメ画像であるガイド画像データの色数に合わせる色数変更処理を行う。例えば、ガイド画像データの色数が１６階調で、視野像データの色数が２５６階調であれば、視野像データの色情報の上位４ビットのみ有効にする。次いで、ステップＳＤ３では取り込んだ視野像データの画素数をアニメ画像であるガイド画像データの画素数に合わせる画素数変更処理を実行する。例えば、視野像データの画素数とガイド画像データの画素数との比が９：１であれば、視野像データの３×３ドットの領域を１ドットと見做す。そして、ステップＳＤ４では、こうして色数および画素数が変更された視野像データをＲＡＭ５の視野像データエリアにストアする。
【００２９】
▲５▼演奏教習処理の動作
次に、図８を参照して演奏教習処理の動作について説明する。前述したメインルーチンのステップＳＡ５（図３参照）を介して本処理が実行されると、ＣＰＵ３は図８のステップＳＥ１に進み、ＲＡＭ５の視野像データエリアにストアされ、色数および画素数が変更された視野像データに画像認識処理を施して教習者の手の像を抽出する。続くステップＳＥ２では、抽出した手の像が鍵盤上のどの位置（鍵域）に置かれているかを判定する。具体的には、図６に図示したように、予め鍵盤上部および下部に所定間隔で設けられた目印ＭＰを参照して鍵盤上のどの位置（鍵域）に手が置かれているかを判定する。
【００３０】
そして、ステップＳＥ３では、こうして判定された手の位置に基づき押鍵している指を画像認識処理にて検出して教習者の指使い情報を生成する。次いで、ステップＳＥ４では、教習者の指使い情報と、それに対応するガイド画像データに含まれる指使い情報とを比較して手本通りの演奏操作であるかどうかを判断する。
手本通りの演奏操作であれば、判断結果が「ＹＥＳ」となり、ステップＳＥ５に進み、手本通りの演奏操作が行われた旨を表すべくＨＭＤ２の表示部２ａに「ＯＫ」を表示する。一方、手本通りの演奏操作が行われなかった場合には、判断結果が「ＮＯ」となり、ステップＳＥ６に進み、ＨＭＤ２の表示部２ａに「ＮＧ」を表示して本処理を完了させる。
【００３１】
このように、本実施例によれば、教習者はゴーグル形状のＨＭＤ２を装着して演奏教習を開始すると、手本となる演奏操作を表示するガイド画像が自身の視野像にスーパーインポーズされてＨＭＤ２の表示部２ａに画面表示され、この際、視野像の解像度および色数はアニメ画像であるガイド画像に合わされる為、ガイド画像と視野像とを容易に視認できるようになる。加えて、視野像の解像度および色数を落としてガイド画像に合わせるので、処理データ量の削減により処理速度向上を図ることも可能になっている。
【００３２】
（３）変形例
上述した実施例では、視野像の解像度および色数をアニメ画像であるガイド画像に合わせることによって、ガイド画像と視野像とを容易に視認できるようにしたが、これに限らず、例えば図９に図示する変形例による視野像変換処理のように、撮像された視野像に写る演奏者の手の像部分だけ解像度および色数落とす態様としても構わない。
すなわち、図９のステップＳＦ１では、ＨＭＤ２の撮像部２ｂにより撮像された視野像データをＲＡＭ５の視野像データエリアに取り込み、続くステップＳＦ２では、取り込んだ視野像データに画像認識処理を施して演奏者の手の像を抽出する。次いで、ステップＳＦ３では、抽出した手の像の解像度および色数をガイド画像に合わせる解像度・色数変更処理を行う。次いで、ステップＳＦ４では、解像度・色数変更処理された手の像を、上記ステップＳＦ２にて手の像が抽出された以外の視野像に重ね合わせ、その結果をＲＡＭ５にストアする（ステップＳＦ５）。
【００３３】
このように、視野像中の手の像だけをガイド画像に合わせるように解像度および色数を変更しても、ガイド画像と視野像との視認が容易になるという効果を奏する。
また、手の像に限らず、上述と同様に、視野像中に写る鍵盤像の解像度および色数を変更するようにしても良いし、あるいは手の像を所定色一色に変更してデータ量を削減することも可能である。
【００３４】
さらに、演奏教習する内容に応じて視野像の解像度および色数を変化させる形態にすることも可能である。すなわち、指使いが難しい鍵盤操作を教習させる場合には視野像の解像度および色数を落とさず、撮像したままの状態で表示させ、易しい鍵盤操作では視野像の解像度および色数を落とすようにすれば、細かい指使いを見落すことなく演奏教習させることができ、しかも演奏者に対して難易度の高い鍵盤操作であることを知らしめることができるようになる。
【００３５】
また、上述した実施例では、撮像して得た視野像の色数および画素数をガイド画像に合わせるようにしたが、これに限らず、ガイド画像側にも変換処理を施す形態としても良い。例えば、視野像中に写るユーザの手の像と、ガイド画像中で手本となる演奏操作を表す手の像とが重なり合う場合、その重なり合う画像領域の表示色を変化させたり、点滅させたりすれば、手の重なり具合を解りやすく表示することが可能になる。
【００３６】
【発明の効果】
請求項１に記載の発明によれば、教習者がゴーグル形状の教習手段を装着して演奏教習すると、ガイド画像を視野像に重ね合わせて弾くべき鍵の位置および指使いを教示するよう表示制御され、この際、視野像の色数および画素数がガイド画像に合わされる為、ガイド画像と視野像とを容易に視認することができる。また、視野像の色数および画素数を落としてガイド画像に合わせるので、処理データ量の削減により処理速度向上を図ることもできる。
請求項２に記載の発明によれば、ガイド画像に含まれ、弾くべき鍵の位置および指使いを教示する情報に応じて、視野像の色数および画素数を変化させるので、指使いが難しい鍵盤操作を教習させる場合に色数および画素数を落とさずに撮像したままの状態で表示させ、易しい鍵盤操作では色数および画素数を落とすようにすれば、細かい指使いを見落すことなく演奏教習させることができ、しかも演奏者に対して難易度の高い鍵盤操作であることを知らしめることができる。
請求項３に記載の発明によれば、視野像から抽出した自身の手の像の色数および画素数をガイド画像に合わせるように変換し、それを手の像が抽出された以外の視野像に重ね合わせて合成視野像を生成し、この合成視野像にガイド画像を重ね合わせて弾くべき鍵の位置および指使いを教示するので、ガイド画像と視野像とを容易に視認することができる。また、視野像の色数および画素数を落としてガイド画像に合わせる為、処理データ量の削減により処理速度向上を図ることもできる。
請求項４に記載の発明によれば、ガイド画像に含まれ、弾くべき鍵の位置および指使いを教示する情報に応じて、視野像から抽出した自身の手の像の色数および画素数を変化させるので、指使いが難しい鍵盤操作を教習させる場合には色数および画素数を落とさずに撮像したままの状態で表示させ、易しい鍵盤操作では色数および画素数を落とすようにすれば、細かい指使いを見落すことなく演奏教習させることができ、しかも演奏者に対して難易度の高い鍵盤操作であることを知らしめることができる。
請求項５に記載の発明によれば、視野像から鍵盤像の色数および画素数をガイド画像に合わせるように変換し、それを鍵盤像が抽出された以外の視野像に重ね合わせて合成視野像を生成し、この合成視野像にガイド画像を重ね合わせて弾くべき鍵の位置および指使いを教示するので、ガイド画像と視野像とを容易に視認することができる。また、視野像の色数および画素数を落としてガイド画像に合わせる為、処理データ量の削減により処理速度向上を図ることもできる。
請求項６に記載の発明では、ガイド画像に含まれ、弾くべき鍵の位置および指使いを教示する情報に応じて、視野像から抽出した鍵盤像の色数および画素数を変化させるので、指使いが難しい鍵盤操作を教習させる場合には色数および画素数を落とさずに撮像したままの状態で表示させ、易しい鍵盤操作では色数および画素数を落とすようにすれば、細かい指使いを見落すことなく演奏教習させることができ、しかも演奏者に対して難易度の高い鍵盤操作であることを知らしめることができる。
請求項７に記載の発明では、視野像の色数および画素数をガイド画像に合わせるように変換して変換視野像を生成し、この変換視野像にガイド画像を重ね合わせ、変換視野像中の手の像とガイド画像中の手の像とが重なり合う場合、その重なり合う画像領域の表示態様を変化させるので、手の重なり具合を解りやすく表示することができる。
【図面の簡単な説明】
【図１】本発明による実施例の構成を示すブロック図である。
【図２】ＨＭＤ２の概略構成を示す図である。
【図３】メインルーチンの動作を示すフローチャートである。
【図４】スイッチ処理の動作を示すフローチャートである。
【図５】ガイド画像再生処理の動作を示すフローチャートである。
【図６】鍵盤の上下に所定間隔で配設される目印ＭＰを説明するための図である。
【図７】視野像変換処理の動作を示すフローチャートである。
【図８】演奏教習処理の動作を示すフローチャートである。
【図９】変形例による視野像変換処理の動作を示すフローチャートである。
【符号の説明】
１　パネルスイッチ
２　ヘッドマウントディスプレイ（ＨＭＤ）
２ａ　表示部
２ｂ　撮像部
３　ＣＰＵ
４　ＲＯＭ
５　ＲＡＭ
６　音源
７　サウンドシステム
【図１】
2004109540.tif 000003
【図２】
2004109540.tif 000004
【図３】
2004109540.tif 000005
【図４】
2004109540.tif 000006
【図５】
2004109540.tif 000007
【図６】
2004109540.tif 000008
【図７】
2004109540.tif 000009
【図８】
2004109540.tif 000010
【図９】
2004109540.tif 000011