(57)【要約】【課題】演奏操作する手のポスチャー（姿勢）を教習させることができる演奏教習装置を実現する。【解決手段】演奏教習する曲の演奏データＰＤに対応して、その曲の演奏操作を行う模範的な手の姿勢を判定する判定データＨＤを設ける。側方撮像部４によって演奏操作する教習者の手を側方から撮像して側方視野像を得る。この側方視野像から教習者の手の像を抽出し、抽出された手の像が、前記判定データＨＤで規定される手の姿勢に合致するか否かを判定して教習者に報知する。これにより、演奏操作する手のポスチャー（姿勢）を教習可能にする。【選択図】  図４
2004177546.tif 000002
【特許請求の範囲】
【請求項１】
演奏教習する曲の進行に同期して演奏操作を行う教習者の手の姿勢を判定するデータを記憶する記憶手段と、
前記演奏操作する教習者の手を側方から撮像して側方視野像を生成する撮像手段と、
前記撮像手段が生成する側方視野像から教習者の手の像を抽出する抽出手段と、
前記抽出手段によって抽出された手の像が、前記判定データで規定される手の姿勢に合致するか否かを判定して教習者に報知する判定手段と
を具備することを特徴とする演奏教習装置。
【請求項２】
前記記憶手段は、演奏操作を行う模範となる手首、予め設定される指定ポイント、手の甲および手先の各位置を規定する判定データを記憶し、
前記判定手段は、抽出手段によって抽出された手の像が、前記判定データで規定される手首、予め設定される指定ポイント、手の甲および手先の各位置が模範通りであるか否かを、演奏教習する曲の進行に同期して随時判定し、判定結果を教習者に報知することを特徴とする請求項１記載の演奏教習装置。
【請求項３】
演奏操作を教習する装置で実行される演奏教習方法において、
演奏操作する教習者の手を側方から撮像して側方視野像を生成する撮像過程と、
前記撮像過程にて生成される側方視野像から教習者の手の像を抽出する抽出過程と、
演奏教習する曲の進行に同期したデータであって、当該曲の演奏操作を行う模範的な手の姿勢を判定する判定データを備え、前記抽出過程にて抽出された手の像が、前記判定データで規定される手の姿勢に合致するか否かを判定して教習者に報知する判定過程と
を具備することを特徴とする演奏教習方法。
【請求項４】
前記判定過程は、抽出過程で抽出された手の像が、前記判定データで規定される手首、予め設定される指定ポイント、手の甲および手先の各位置が模範通りであるか否かを、演奏教習する曲の進行に同期して随時判定し、判定結果を教習者に報知することを特徴とする請求項３記載の演奏教習装置。
【請求項５】
コンピュータを備えて演奏操作を教習する装置で実行される演奏教習プログラムであって、
演奏操作する教習者の手を側方から撮像して側方視野像を生成する撮像ステップと、
前記撮像ステップにて生成される側方視野像から教習者の手の像を抽出する抽出ステップと、
演奏教習する曲の進行に同期したデータであって、当該曲の演奏操作を行う模範的な手の姿勢を判定する判定データを備え、前記抽出過程にて抽出された手の像が、前記判定データで規定される手の姿勢に合致するか否かを判定して教習者に報知する判定ステップと
を具備することを特徴とする演奏教習プログラム。
【請求項６】
前記判定ステップは、抽出過程で抽出された手の像が、前記判定データで規定される手首、予め設定される指定ポイント、手の甲および手先の各位置が模範通りであるか否かを、演奏教習する曲の進行に同期して随時判定し、判定結果を教習者に報知することを特徴とする請求項５記載の演奏教習プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、手本となる演奏操作を表示して演奏教習させる演奏教習装置、演奏教習方法および演奏教習プログラムに関する。
【０００２】
【従来の技術】
手本となる演奏操作を表示して演奏教習させる演奏教習装置が各種開発されている。この種の装置として、例えば特許文献１には、演奏曲に対応した運指情報を含む手の形の映像および押鍵を指示する映像情報を、演奏曲の進行に合せて読み出して表示部に演奏指示映像として表示するものが開示されている。
また、特許文献２には、曲データに従って押鍵指示を行うと共に、ゴーグル型の表示部に曲データの音符表示、運指表示、案内表示を行うものが開示されている。
さらに、特許文献３には、ＨＭＤ（ヘッドマウントディスプレイ）上に押鍵すべき鍵や指などを表示すると共に、演奏者の視野から鍵盤が外れたときにはその旨の表示をする技術が開示されている。
【０００３】
【特許文献１】
特許公開平７−０３６４４６号公報
【特許文献２】
特許公開２０００−３５２９７３号公報
【特許文献３】
特許公開２００１−２８２０９４号公報
【０００４】
加えて、ゴーグル形状の教習手段を教習者に装着させ、この教習手段の表示部に手本となる演奏操作を表すガイド画像と、自身の演奏操作を撮像した視野像とを重ね合わせて画面表示し、これにより弾くべき鍵の位置および指使いを視認性良く教示するようにした演奏教習装置も案出されている。
【０００５】
【発明が解決しようとする課題】
ところで、ゴーグル形状の教習手段を教習者に装着させ、この教習手段の表示部に手本となる演奏操作を表すガイド画像と、自身の演奏操作を撮像した視野像とを重ね合わせて演奏教習する装置では、教習者の視点から俯瞰する視野像を用いる為、弾くべき鍵の位置や指使いを教示し得るものの、手首の位置や手の形など、演奏操作する手のポスチャー（姿勢）を教習させることができない、という問題がある。
そこで本発明は、このような事情に鑑みてなされたもので、演奏操作する手のポスチャー（姿勢）を教習させることができる演奏教習装置、演奏教習方法および演奏教習プログラムを提供することを目的としている。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、請求項１に記載の発明では、演奏教習する曲の進行に同期して演奏操作を行う教習者の手の姿勢を判定するデータを記憶する記憶手段と、前記演奏操作する教習者の手を側方から撮像して側方視野像を生成する撮像手段と、前記撮像手段が生成する側方視野像から教習者の手の像を抽出する抽出手段と、前記抽出手段によって抽出された手の像が、前記判定データで規定される手の姿勢に合致するか否かを判定して教習者に報知する判定手段とを具備することを特徴とする。
【０００７】
上記請求項１に従属する請求項２に記載の発明では、前記記憶手段は、演奏操作を行う模範となる手首、予め設定される指定ポイント、手の甲および手先の各位置を規定する判定データを記憶し、前記判定手段は、抽出手段によって抽出された手の像が、前記判定データで規定される手首、予め設定される指定ポイント、手の甲および手先の各位置が模範通りであるか否かを、演奏教習する曲の進行に同期して随時判定し、判定結果を教習者に報知することを特徴とする。
【０００８】
請求項３に記載の発明では、演奏操作を教習する装置で実行される演奏教習方法において、演奏操作する教習者の手を側方から撮像して側方視野像を生成する撮像過程と、前記撮像過程にて生成される側方視野像から教習者の手の像を抽出する抽出過程と、演奏教習する曲の進行に同期したデータであって、当該曲の演奏操作を行う模範的な手の姿勢を判定する判定データを備え、前記抽出過程にて抽出された手の像が、前記判定データで規定される手の姿勢に合致するか否かを判定して教習者に報知する判定過程とを具備することを特徴とする。
【０００９】
上記請求項３に従属する請求項４に記載の発明では、前記判定過程は抽出過程で抽出された手の像が、前記判定データで規定される手首、予め設定される指定ポイント、手の甲および手先の各位置が模範通りであるか否かを、演奏教習する曲の進行に同期して随時判定し、判定結果を教習者に報知することを特徴とする。
【００１０】
請求項５に記載の発明では、コンピュータを備えて演奏操作を教習する装置で実行される演奏教習プログラムであって、演奏操作する教習者の手を側方から撮像して側方視野像を生成する撮像ステップと、前記撮像ステップにて生成される側方視野像から教習者の手の像を抽出する抽出ステップと、演奏教習する曲の進行に同期したデータであって、当該曲の演奏操作を行う模範的な手の姿勢を判定する判定データを備え、前記抽出過程にて抽出された手の像が、前記判定データで規定される手の姿勢に合致するか否かを判定して教習者に報知する判定ステップとを具備することを特徴とする。
【００１１】
上記請求項５に従属する請求項６に記載の発明では、前記判定ステップは、抽出過程で抽出された手の像が、前記判定データで規定される手首、予め設定される指定ポイント、手の甲および手先の各位置が模範通りであるか否かを、演奏教習する曲の進行に同期して随時判定し、判定結果を教習者に報知することを特徴とする。
【００１２】
本発明では、演奏教習する曲の進行に同期したデータであって、当該曲の演奏操作を行う模範的な手の姿勢を判定する判定データを記憶しておき、演奏操作する教習者の手を側方から撮像して側方視野像を発生すると、この側方視野像から教習者の手の像を抽出し、抽出された手の像が、前記判定データで規定される手の姿勢に合致するか否かを判定して教習者に報知するので、演奏操作する手のポスチャー（姿勢）を教習させることが可能になる。なお、ここで言う演奏操作とは、具体的には鍵盤を押離鍵する鍵盤操作を指す。
【００１３】
【発明の実施の形態】
以下、本発明の実施の一形態による演奏教習装置について図面を参照して説明する。
Ａ．構成
図１は、本発明の実施例による演奏教習装置の全体構成を示すブロック図である。図１において、１は各種スイッチを有し、操作されたスイッチに応じたスイッチイベントを発生するパネルスイッチである。このパネルスイッチ１には、電源をオンオフする電源スイッチの他、演奏教習する曲目を選択する曲選択スイッチや演奏教習の開始／停止を指示するスタート／ストップスイッチ等が設けられている。２は教習者（ユーザ）に装着されるゴーグル形状のヘッドマウントディスプレイ（以下、ＨＭＤと略称する）である。ＨＭＤ２は、例えば図２（ａ）に図示するように、ＬＣＤパネル等から構成される表示部２ａ、ＣＣＤカメラおよびその駆動回路等から構成される撮像部２ｂおよびハーフミラー２ｃを備える。
【００１４】
ＨＭＤ２では、鍵盤上の演奏操作をハーフミラー２ｃを介して教習者に視認させながら、その教習者の視野像を撮像部２ｂにて撮像すると共に、後述するＣＰＵ３の制御の下に、その撮像された視野像に応じて手本となる演奏操作を表示するガイド画像（後述する）の表示サイズや表示位置を調整して表示部２ａに画面表示させ、これにより教習者の視野像とガイド画像とを重ね合わせて弾くべき鍵の位置や指使いを教示するよう構成されている。また、ＨＭＤ２の表示部２ａには、後述するＣＰＵ３の制御の下に、鍵盤操作する教習者の手のポスチャーが手本通りであるかどうかを画面表示するようになっている。
なお、ＨＭＤ２は、同図（ｂ）に図示するように、ハーフミラー２ｃを使用しない形態であれば、撮像部２ｂにて撮像され、鍵盤上の演奏操作を表示する視野像と、この視野像に応じて表示サイズや表示位置が調整されるガイド画像とを重ね合わせて表示部２ａに画面表示して教習者に弾くべき鍵の位置や指使いを教示させる構成であっても構わない。
【００１５】
ＣＰＵ３は装置各部を制御するものであり、本発明に要旨に係わる特徴的な処理動作については追って述べる。４は教習者の手の様子を側方から撮像する側方撮像部である。側方撮像部４は、図３に図示するように、鍵盤の左側に設置されるＣＣＤカメラ４ａおよび鍵盤の右側に設置されるＣＣＤカメラ４ｂから構成され、左手の鍵盤操作をＣＣＤカメラ４ｂが、右手の鍵盤操作をＣＣＤカメラ４ａが撮像するようになっている。５は上記ＣＰＵ３にロードされる各種制御プログラムの他、演奏教習する各種曲毎の演奏データＰＤと、この演奏データＰＤに付随するデータであって、教習者が鍵盤操作する手のポスチャーが正しいものであるか否かを判断するための判定データＨＤおよびガイド画像データＧＤを記憶するＲＯＭである。
【００１６】
上記ＲＯＭ５に記憶される演奏データＰＤは、演奏教習に同期して自動演奏されるデータであって、図４（ａ）に図示するように、発音／消音を示すイベントＥＶＴ音高を表すノートナンバＮＴ、次イベントまでの時間を表すＴｉｍｅ差ＤＴから構成される。
演奏データＰＤの各イベントＥＶＴに対応して設けられる判定データＨＤは、データＨＤ１〜ＨＤ５から構成される。データＨＤ１は、ＣＣＤカメラ４ａおよびＣＣＤカメラ４ｂのいずれが撮像する側方視野像データを参照するかを識別するフラグである。データＨＤ２〜ＨＤ３は、上記データＨＤ１にて指定される側方視野像データから抽出される教習者の手の位置が正しい位置に収まっているかどうかを判定するためのデータである。データＨＤ２は、手首位置（図４（ｂ）の▲１▼）を判定するためのデータである。データＨＤ３は、複数の指定ポイント（図４（ｂ）の▲２▼）に手が位置しているか否かを判定するためのデータである。データＨＤ４は、手の甲の位置（図４（ｂ）の▲３▼）を判定するためのデータである。データＨＤ５は指先の位置（図４（ｂ）の▲４▼）を判定するためのデータである。
【００１７】
ガイド画像データＧＤは、鍵盤上に置くべき手の位置および指使いを表示するアニメ画像であって、曲を構成する各音に対応して設けたものである。具体的には、鍵盤像を背景とし、その鍵盤像上で手を置く位置に手形を表示すると共に、その表示される手形において鍵操作する指の表示形態を変化させて指使いを表示する。指使いの表示には、ガイド画像データに含まれる指使い情報を用いる。指使い情報とは、左右両手のいずれの手指でどの鍵を押鍵するかを表すものである。また、ガイド画像データには、撮像部２ｂにて撮像される視野像と表示位置合わせするための位置座標値も含まれる。
【００１８】
ＲＡＭ６は、ＣＰＵ３のワークエリアとして用いられ、各種レジスタ・フラグデータを一時記憶するレジスタエリア、上記ＨＭＤ２の撮像部２ｂが撮像する視野像データを一時記憶する視野像データエリア、側方撮像部４が撮像する側方視野像データを一時記憶する側方視野像データエリアおよび曲選択スイッチの操作にて選択されて上記ＲＯＭ５から転送されるガイド画像データを一時記憶するガイド画像データエリアを備える。
７は周知の波形メモリ読み出し方式によって構成される音源であり、ＣＰＵ３の指示に応じてＲＯＭ５から読み出される演奏データに応じた楽音信号を発生する。８は上記音源７が出力する楽音信号をアナログ波形信号に変換し、不要ノイズを除去する等のフィルタリングを施した後、これを増幅してスピーカから発音するサウンドシステムである。
【００１９】
Ｂ．動作
次に、図５〜図１６を参照して実施例の動作について説明する。以下では、最初に動作概略としてメインルーチンの動作を説明した後、そのメインルーチンを構成するスイッチ処理、ガイド画像再生処理および演奏教習処理の各動作について述べる。
【００２０】
（１）メインルーチンの動作
上記構成による実施例に電源が投入されると、ＣＰＵ３はＲＯＭ５から所定の制御プログラムをロードして図５に示すメインルーチンを実行し、ステップＳＡ１に処理を進める。ステップＳＡ１では、装置各部を初期化するイニシャライズを実行し、続くステップＳＡ２では、パネルスイッチ１のスイッチ操作に応じたスイッチ処理を実行する。
このスイッチ処理では、例えば曲選択スイッチの操作に応じて選択される曲の演奏データＰＤ、判定データＨＤおよびガイド画像データＧＤを指定したり、あるいはスタート／ストップスイッチの操作により演奏教習の開始／停止を指示するなどの処理が行われる。そして、ステップＳＡ３では、後述するフラグＳＴＦが「１」か否か、すなわち演奏教習を開始した状態であるかどうかを判断する。
【００２１】
フラグＳＴＦが「０」となる停止状態であれば、判断結果は「ＮＯ」となり、上記ステップＳＡ２に処理を戻すが、スタート／ストップスイッチの操作により演奏教習の開始が指示されていると、フラグＳＴＦが「１」に設定され、これによりステップＳＡ３の判断結果が「ＹＥＳ」となり、ステップＳＡ４に進む。ステップＳＡ４では、ＨＭＤ２の撮像部２ｂにて撮像される視野像に応じて手本となる演奏操作を表示するガイド画像の表示サイズおよび表示位置を調整し、調整したガイド画像を視野像にスーパーインポーズして表示部２ａに画面表示するガイド画像再生処理を実行する。なお、ここで言う視野像とは、ＨＭＤ２の撮像部２ｂにより撮像された視野像データで形成される画像を指す。また、ガイド画像とは、上述のガイド画像データＧＤにて形成される画像を指す。
【００２２】
次いで、ステップＳＡ５では、撮像部２ｂにて撮像される視野像データから抽出する指使い情報とガイド画像データに含まれる指使い情報とを比較し、手本通りの演奏操作が行われているかどうかを評価すると共に、側方撮像部４が撮像する側方視野像データに基づく側方視野像とＲＯＭ５に記憶される判定データＨＤとに基づき教習者の手のポスチャーを評価する演奏教習処理を実行する。続いて、ステップＳＡ６では、例えば演奏教習する曲の演奏データを、設定された再生テンポに同期して再生する自動演奏処理などの、その他の処理を実行する。以後、電源スイッチがオフ設定されるか、あるいはスタート／ストップスイッチの操作により演奏教習停止が指示されるまでステップＳＡ２〜ＳＡ６を繰り返すようになっている。
【００２３】
（２）スイッチ処理の動作
次に、図６を参照してスイッチ処理の動作について説明する。上述のステップＳＡ２を介して本処理が実行されると、ＣＰＵ３はステップＳＢ１に処理を進め、曲選択スイッチのオンイベントの有無、つまり、曲選択スイッチがオン操作されたかどうかを判断する。曲選択スイッチがオン操作されると、判断結果が「ＹＥＳ」となり、ステップＳＢ２に進み、曲選択スイッチのオン操作に応じて選択された曲の演奏データＰＤ、判定データＨＤおよびガイド画像データＧＤを指定する。なお、指定されたガイド画像データＧＤは、ＲＡＭ６のガイド画像データエリアに転送される。次いで、ステップＳＢ３では、その他のスイッチイベントに応じた処理を実行して本処理を完了させる。
【００２４】
一方、曲選択スイッチがオン操作されない場合には、ステップＳＢ１の判断結果が「ＮＯ」となり、ステップＳＢ４に進む。ステップＳＢ４では、スタート／ストップスイッチがオン操作されたかどうかを判断する。スタート／ストップスイッチがオン操作されると、判断結果が「ＹＥＳ」となり、前述のフラグＳＴＦに「１」をセットした後、ステップＳＢ３に進む。これに対し、スタート／ストップスイッチがオン操作されなければ、判断結果は「ＮＯ」となり、ステップＳＢ６に処理を進め、フラグＳＴＦをゼロリセットした後、ステップＳＢ３に進む。
【００２５】
（３）ガイド画像再生処理の動作
次に、図７〜図８を参照してガイド画像再生処理の動作について説明する。前述したメインルーチンのステップＳＡ４を介して本処理が実行されると、ＣＰＵ３は図７に示すステップＳＣ１に処理を進め、ＨＭＤ２の撮像部２ｂにより撮像された視野像データをＲＡＭ６の視野像データエリアに取り込む。視野像データとは、撮像視野を鍵盤に向けた状態でＨＭＤ２の撮像部２ｂが撮像する画像を指し、その画像中に写る鍵盤、すなわち教習者が演奏操作する鍵盤には予め図８に図示するように、鍵盤上部および下部にそれぞれ所定間隔で目印ＭＰが施されているものとする。
【００２６】
そして、ステップＳＣ２〜ＳＣ４では、撮像された視野像データ中の各目印ＭＰに対応する座標の内、座標Ａ，Ｂ，Ｃ（図８参照）を結ぶ三角形のエリアを１つのグループとし、各グループ毎にＸ方向の最長線分Ｘｍａｘ、Ｙ方向の最長線分Ｙｍａｘおよびそれら線分の交点座標を検出する。次いで、ステップＳＣ５では、検出した各グループ毎の交点座標に、ガイド画像データ中に含まれる位置座標値が一致するようにガイド画像データの表示サイズおよび表示位置を調整する。これにより、教習者の視野像にガイド画像がスーパーインポーズされた形でＨＭＤ２の表示部２ａに画面表示されるので、視認性良く演奏操作を教示することが可能になっている。
【００２７】
（４）演奏教習処理の動作
次に、図９〜図１６を参照して演奏教習処理の動作について説明する。前述したメインルーチンのステップＳＡ５（図３参照）を介して本処理が実行されると、ＣＰＵ３は図９のステップＳＤ１に進み、手本通りの演奏操作が行われた否かを判断する演奏評価処理を行い、続くステップＳＤ２〜ＳＤ５では、上述した判定データＨＤに基づき、鍵盤操作する教習者の手のポスチャーが正しいものであるかどうかを判断する手首位置評価処理、指定ポイント位置評価処理、手の甲高さ位置評価処理および手先位置評価処理をそれぞれ実行する。以下、上記各処理の動作を説明する。
【００２８】
ａ．演奏評価処理の動作
上述のステップＳＤ１を介して本処理が実行されると、ＣＰＵ３は図１０のステップＳＥ１に進み、ＲＡＭ６の視野像データエリアに取り込まれている視野像データに画像認識処理を施して教習者の手の像を抽出する。続くステップＳＥ２では、抽出した手の像が鍵盤上のどの位置（鍵域）に置かれているかを判定する。具体的には、図８に図示したように、予め鍵盤上部および下部に所定間隔で設けられた目印ＭＰを参照して鍵盤上のどの位置（鍵域）に手が置かれているかを判定する。
【００２９】
そして、ステップＳＥ３では、こうして判定された手の位置に基づき押鍵している指を画像認識処理にて検出して教習者の指使い情報を生成する。次いで、ステップＳＥ４では、教習者の指使い情報と、それに対応するガイド画像データに含まれる指使い情報とを比較して手本通りの演奏操作であるかどうかを判断する。手本通りの演奏操作であれば、判断結果が「ＹＥＳ」となり、ステップＳＥ５に進み、手本通りの演奏操作が行われた旨を表すべくＨＭＤ２の表示部２ａに「ＯＫ」を表示する。一方、手本通りの演奏操作が行われなかった場合には、判断結果が「ＮＯ」となり、ステップＳＥ６に進み、ＨＭＤ２の表示部２ａに「ＮＧ」を表示して本処理を完了させる。
【００３０】
ｂ．手首位置評価処理の動作
上述のステップＳＤ２（図９参照）を介して本処理が実行されると、ＣＰＵ３は図１１のステップＳＦ１に進み、ＲＡＭ６の側方視野像データエリアに取り込まれている側方視野像データに画像認識処理を施し、側方視野像中から教習者の手首部分を検出する。次いで、ステップＳＦ２では、側方視野像中における手首部分の上端／下端位置（座標値）から中央値を算出する。そして、ステップＳＦ３では、現在再生されている演奏データＰＤに対応した判定データＨＤ中のデータＨＤ２（図４（ａ）参照）と上記中央値とが一致するか、つまり手首が正しい位置に置かれているかどうかを判断する。正しい位置に置かれていれば、判断結果は「ＹＥＳ」になり、ステップＳＦ４に進み、手首が適正位置にある旨を表すべくＨＭＤ２の表示部２ａに「ＯＫ」を表示する。一方、手首が適正位置にないと、判断結果が「ＮＯ」となり、ステップＳＦ５に進み、ＨＭＤ２の表示部２ａに「ＮＧ」を表示して本処理を完了させる。したがって、例えば図１５又は図１６に図示するような状態で教習者の手首が位置していれば、ＨＭＤ２の表示部２ａに「ＮＧ」が表示され、手首が適正位置に置かれていない旨を報知する。
【００３１】
ｃ．指定ポイント位置評価処理の動作
前述したステップＳＤ３（図９参照）を介して本処理が実行されると、ＣＰＵ３は図１２のステップＳＧ１に進み、レジスタＮを「１」にセットすると共に、レジスタＯＫをゼロリセットする。レジスタＮは、判定データＨＤ中のＨＤ３を構成する指定ポイントＮを指定するレジスタである。側方視野像中において、指定ポインタＮに対応する座標Ｎ（ｘ，ｙ）に手首像がある場合にインクリメントされ、手首像がない場合にデクリメントされるレジスタである。次いで、ステップＳＧ２に進むと、ＣＰＵ３はＲＡＭ６の側方視野像データエリアに取り込まれている側方視野像データに画像認識処理を施し、その側方視野像中において、指定ポインタＮに対応する座標Ｎ（ｘ，ｙ）に手首像があるか否かを判断する。
【００３２】
手首像が有ると、判断結果は「ＹＥＳ」になり、ステップＳＧ３に進み、レジスタＯＫをインクリメントする。一方、指定ポインタＮに対応する座標Ｎ（ｘ，ｙ）に手首像が無ければ、判断結果は「ＮＯ」になり、ステップＳＧ４に進み、レジスタＯＫをデクリメントする。次いで、ステップＳＧ５では、レジスタＮが値ＥＮＤに達したか、つまり指定ポイントの全てについて手首像の有無を判定し終えたかどうかを判断する。判定し終えていないと、判断結果は「ＮＯ」になり、ステップＳＧ６に進み、レジスタＮをインクリメントして歩進させ、上記ステップＳＧ２に進む。
【００３３】
以後、指定ポイントの全てについて手首像の有無を判定し終えるまで、ステップＳＧ２〜ＳＧ６を繰り返す。そして、判定し終えると、ステップＳＧ５の判断結果が「ＹＥＳ」となり、ステップＳＧ７に進む。ステップＳＧ７では、レジスタＯＫの値が所定値以上であるか、すなわち鍵盤操作する教習者の手が概ね適正な位置に置かれているかどうかを判断する。概ね適正な位置に置かれていれば、判断結果は「ＹＥＳ」になり、ステップＳＧ８に進み、ＨＭＤ２の表示部２ａに「ＯＫ」を表示する。一方、適正位置になければ、判断結果が「ＮＯ」となり、ステップＳＧ９に進み、ＨＭＤ２の表示部２ａに「ＮＧ」を表示して本処理を完了させる。したがって、例えば図１５又は図１６に図示するような状態で教習者の手が位置していれば、ＨＭＤ２の表示部２ａに「ＮＧ」が表示され、手首が適正位置に置かれていない旨を報知する。
【００３４】
ｄ．手の甲高さ位置評価処理の動作
前述のステップＳＤ４（図９参照）を介して本処理が実行されると、ＣＰＵ３は図１１のステップＳＨ１に進み、ＲＡＭ６の側方視野像データエリアに取り込まれている側方視野像データに画像認識処理を施し、側方視野像中から教習者の手の甲を検出する。次いで、ステップＳＨ２では、側方視野像中における手の甲の上端位置（座標値）が、現在再生されている演奏データＰＤに対応した判定データＨＤ中のデータＨＤ４（図４（ａ）参照）と一致するか、つまり手の甲が正しい位置に置かれているかどうかを判断する。正しい位置に置かれていれば、判断結果は「ＹＥＳ」になり、ステップＳＨ３に進み、適正位置にある旨を表すべくＨＭＤ２の表示部２ａに「ＯＫ」を表示する。一方、適正位置にないと、判断結果が「ＮＯ」となり、ステップＳＨ４に進み、ＨＭＤ２の表示部２ａに「ＮＧ」を表示して本処理を完了させる。したがって、例えば図１５又は図１６に図示するような状態で教習者の手の甲が位置していれば、ＨＭＤ２の表示部２ａに「ＮＧ」が表示される。
【００３５】
ｅ．手先位置評価の動作
前述のステップＳＤ５（図９参照）を介して本処理が実行されると、ＣＰＵ３は図１４のステップＳＪ１に進み、ＲＡＭ６の側方視野像データエリアに取り込まれている側方視野像データに画像認識処理を施し、側方視野像中から教習者の手先を検出する。次いで、ステップＳＪ２では、側方視野像中における手先の位置（座標値）が、現在再生されている演奏データＰＤに対応した判定データＨＤ中のデータＨＤ５（図４（ａ）参照）と一致するか、つまり手先が正しい位置に置かれているかどうかを判断する。正しい位置に置かれていれば、判断結果は「ＹＥＳ」になり、ステップＳＪ３に進み、適正位置にある旨を表すべくＨＭＤ２の表示部２ａに「ＯＫ」を表示する。一方、適正位置にないと、判断結果が「ＮＯ」となり、ステップＳＪ４に進み、ＨＭＤ２の表示部２ａに「ＮＧ」を表示して本処理を完了させる。
【００３６】
このように、本実施例によれば、教習者はゴーグル形状のＨＭＤ２を装着して演奏教習を開始すると、手本となる演奏操作を表示するガイド画像が自身の視野像にスーパーインポーズされてＨＭＤ２の表示部２ａに画面表示される一方、手首、指定ポイント、手の甲および手先の各位置が手本通りであるか否かを随時判定するので、鍵盤操作する際の手のポスチャー（姿勢）を教習させることが可能になっている。
【００３７】
なお、本実施例では、鍵盤の左側に設置されるＣＣＤカメラ４ａあるいは鍵盤の右側に設置されるＣＣＤカメラ４ｂによって鍵盤操作する教習者の手の様子を撮像した側方視野像から手首、指定ポイント、手の甲および手先の各位置を検出して手本通りであるか否かを判定するようにしたが、これに替えて、例えば鍵盤の左側（あるいは右側）から光を照射し、鍵盤操作する教習者の手が作る陰影を反対側から撮像し、それに基づき教習者の手首、指定ポイント、手の甲および手先の各位置を検出して手本通りであるか否かを判定する態様とすることもできる。
【００３８】
【発明の効果】
請求項１，３，５に記載の発明によれば、演奏教習する曲の進行に同期したデータであって、当該曲の演奏操作を行う模範的な手の姿勢を判定する判定データを記憶しておき、演奏操作する教習者の手を側方から撮像して側方視野像を生成すると、この側方視野像から教習者の手の像を抽出し、抽出された手の像が、前記判定データで規定される手の姿勢に合致するか否かを判定して教習者に報知するので、演奏操作する手のポスチャー（姿勢）を教習させることができる。
請求項２，４，６に記載の発明によれば、抽出された手の像が、判定データで規定される手首、予め設定される指定ポイント、手の甲および手先の各位置が模範通りであるか否かを、演奏教習する曲の進行に同期して随時判定し、判定結果を教習者に報知するので、教習者は自己の手のどの部分の姿勢が適正でないのかを把握することができる。
【図面の簡単な説明】
【図１】本発明の実施の一形態による演奏教習装置の構成を示すブロック図である。
【図２】ＨＭＤ２の概略構成を示す図である。
【図３】側方撮像部４の設置位置を説明するための図である。
【図４】ＲＯＭ５に記憶される演奏データＰＤおよび判定データＨＤの構成を示す図である。
【図５】メインルーチンの動作を示すフローチャートである。
【図６】スイッチ処理の動作を示すフローチャートである。
【図７】ガイド画像再生処理の動作を示すフローチャートである。
【図８】鍵盤の上下に所定間隔で配設される目印ＭＰを説明するための図である。
【図９】演奏教習処理の動作を示すフローチャートである。
【図１０】演奏評価処理の動作を示すフローチャートである。
【図１１】手首位置評価処理の動作を示すフローチャートである。
【図１２】指定ポイント位置評価処理の動作を示すフローチャートである。
【図１３】手の甲高さ位置評価処理の動作を示すフローチャートである。
【図１４】手先位置評価処理の動作を示すフローチャートである。
【図１５】側方視野像の一例を示す図である。
【図１６】側方視野像の一例を示す図である。
【符号の説明】
１  パネルスイッチ
２  ヘッドマウントディスプレイ（ＨＭＤ）
２ａ  表示部
２ｂ  撮像部
３  ＣＰＵ
４  側方撮像部
５  ＲＯＭ
６  ＲＡＭ
７  音源
８  サウンドシステム
【図１】
2004177546.tif 000003
【図２】
2004177546.tif 000004
【図３】
2004177546.tif 000005
【図４】
2004177546.tif 000006
【図５】
2004177546.tif 000007
【図６】
2004177546.tif 000008
【図７】
2004177546.tif 000009
【図８】
2004177546.tif 000010
【図９】
2004177546.tif 000011
【図１０】
2004177546.tif 000012
【図１１】
2004177546.tif 000013
【図１２】
2004177546.tif 000014
【図１３】
2004177546.tif 000015
【図１４】
2004177546.tif 000016
【図１５】
2004177546.tif 000017
【図１６】
2004177546.tif 000018