(57)【要約】【課題】視認性良く演奏操作を教示でき、しかも手本となる演奏操作が行われる鍵盤の鍵数と教習者が使用する鍵盤の鍵数とが一致していない場合でも正しく演奏教習できる演奏教習装置を実現する。【解決手段】教習者はゴーグル形状のＨＭＤ２を装着して演奏教習を開始すると、手本となる演奏操作を表示するガイド画像が自身の視野像にスーパーインポーズされてＨＭＤ２の表示部２ａに画面表示される結果、視認性良く演奏操作を教示することができる。また、視野像データから演奏操作が行われる鍵盤の鍵数を検出し、検出した鍵数を備える鍵盤に合致したガイド画像データを選択し、そのガイド画像データを再生して演奏教習する結果、演奏操作が行われる鍵盤の鍵数と教習者が使用する鍵盤の鍵数とが一致していない場合でも正しく演奏教習することができる。【選択図】　図２
2004077875.tif 000002
【特許請求の範囲】
【請求項１】
弾くべき鍵の位置および指使いを教示する情報を含み、手本となる演奏操作を表示するガイド画像を記憶する画像記憶手段と、
教習者の視野に対応した像であって、自身の演奏操作を撮像した視野像を発生する撮像部と、その視野像および前記ガイド画像を画面表示する表示部とを備え、教習者に装着されるゴーグル形状の教習手段と、
前記視野像内に写る鍵盤に設けられた複数の目印に応じて、前記画像記憶手段から読み出したガイド画像の表示サイズおよび表示位置を調整して当該視野像にガイド画像を重ね合わせる表示制御手段と、
この表示制御手段によって前記教習手段の表示部に手本となる演奏操作と自身の演奏操作とを画面表示して弾くべき鍵の位置および指使いを教示する教示手段と、
前記視野像から自身の演奏操作に対応した押鍵位置および指使いを抽出して前記ガイド画像に含まれる弾くべき鍵の位置および指使いと比較して演奏操作の適否を判定する判定手段と
を具備することを特徴とする演奏教習装置。
【請求項２】
前記表示制御手段は、前記視野像内に写る鍵盤の黒鍵を目印として検出し、それに応じて、前記画像記憶手段から読み出したガイド画像の表示サイズおよび表示位置を調整して当該視野像にガイド画像を重ね合わせることを特徴とする請求項１記載の演奏教習装置。
【請求項３】
前記表示制御手段は、視野像とガイド画像とのずれが所定値を超えている場合には教習者が意図的に視線を鍵盤から逸したと見做して視野像にガイド画像を重ね合わせる処理を中止し、ずれが所定値より小さい場合にはそのずれの大きさに応じて、ガイド画像を視野像に合わせ込む際の分解能を変化させることを特徴とする請求項１記載の演奏教習装置。
【請求項４】
弾くべき鍵の位置および指使いを教示する情報を含み、手本となる演奏操作を表示するガイド画像を記憶する画像記憶手段と、
教習者の視野に対応した像であって、自身の演奏操作を撮像した視野像を発生する撮像部と、その視野像および前記ガイド画像を画面表示する表示部とを備え、教習者に装着されるゴーグル形状の教習手段と、
前記視野像から演奏操作が行われる鍵盤の鍵数を検出する鍵数検出手段と、
この鍵数検出手段が検出した鍵数を備える鍵盤に合致したガイド画像を前記画像記憶手段から選択する選択手段と、
この選択手段により選択されたガイド画像が前記視野像に重なり合うように表示制御し、前記教習手段の表示部に手本となる演奏操作と自身の演奏操作とを画面表示して弾くべき鍵の位置や指使いを教示する表示制御手段と
を具備することを特徴とする演奏教習装置。
【請求項５】
弾くべき鍵の位置および指使いを教示する情報を含み、手本となる演奏操作を表示するガイド画像を記憶する画像記憶手段と、
教習者の視野に対応した像であって、自身の演奏操作を撮像した視野像を発生する撮像部と、その視野像および前記ガイド画像を画面表示する表示部とを備え、教習者に装着されるゴーグル形状の教習手段と、
前記視野像に写る鍵盤の黒鍵数に応じて当該鍵盤の鍵数を検出する鍵数検出手段と、
この鍵数検出手段が検出した鍵数を備える鍵盤に合致したガイド画像を前記画像記憶手段から選択する選択手段と、
この選択手段により選択されたガイド画像が前記視野像に重なり合うように表示制御し、前記教習手段の表示部に手本となる演奏操作と自身の演奏操作とを画面表示して弾くべき鍵の位置や指使いを教示する表示制御手段と
を具備することを特徴とする演奏教習装置。
【請求項６】
弾くべき鍵の位置および指使いを教示する情報を含み、手本となる演奏操作を表示するガイド画像を記憶する画像記憶手段と、
教習者の視野に対応した像であって、自身の演奏操作を撮像した視野像を発生する撮像部と、その視野像および前記ガイド画像を画面表示する表示部とを備え、教習者に装着されるゴーグル形状の教習手段と、
前記視野像に写る鍵盤の白鍵数に応じて当該鍵盤の鍵数を検出する鍵数検出手段と、
この鍵数検出手段が検出した鍵数を備える鍵盤に合致したガイド画像を前記画像記憶手段から選択する選択手段と、
この選択手段により選択されたガイド画像が前記視野像に重なり合うように表示制御し、前記教習手段の表示部に手本となる演奏操作と自身の演奏操作とを画面表示して弾くべき鍵の位置や指使いを教示する表示制御手段と
を具備することを特徴とする演奏教習装置。
【請求項７】
弾くべき鍵の位置および指使いを教示する情報を含み、手本となる演奏操作を表示するガイド画像を記憶する画像記憶手段と、
教習者の視野に対応した像であって、自身の演奏操作を撮像した視野像を発生する撮像部と、その視野像および前記ガイド画像を画面表示する表示部とを備え、教習者に装着されるゴーグル形状の教習手段と、
前記視野像に写る鍵盤の縦横比から当該鍵盤の鍵数を検出する鍵数検出手段と、
この鍵数検出手段が検出した鍵数を備える鍵盤に合致したガイド画像を前記画像記憶手段から選択する選択手段と、
この選択手段により選択されたガイド画像が前記視野像に重なり合うように表示制御し、前記教習手段の表示部に手本となる演奏操作と自身の演奏操作とを画面表示して弾くべき鍵の位置や指使いを教示する表示制御手段と
を具備することを特徴とする演奏教習装置。
【請求項８】
弾くべき鍵の位置および指使いを教示する情報を含み、手本となる演奏操作を表示するガイド画像を記憶する画像記憶手段と、
教習者の視野に対応した像であって、自身の演奏操作を撮像した視野像を発生する撮像部と、その視野像および前記ガイド画像を画面表示する表示部とを備え、教習者に装着されるゴーグル形状の教習手段と、
前記視野像に写る鍵盤の白鍵部分の面積と黒鍵部分の面積とを求め、それらの比から鍵盤の鍵数を検出する鍵数検出手段と、
この鍵数検出手段が検出した鍵数を備える鍵盤に合致したガイド画像を前記画像記憶手段から選択する選択手段と、
この選択手段により選択されたガイド画像が前記視野像に重なり合うように表示制御し、前記教習手段の表示部に手本となる演奏操作と自身の演奏操作とを画面表示して弾くべき鍵の位置や指使いを教示する表示制御手段と
を具備することを特徴とする演奏教習装置。
【請求項９】
弾くべき鍵の位置および指使いを教示する情報を含み、手本となる演奏操作を表示するガイド画像を記憶する画像記憶手段と、
教習者の視野に対応した像であって、自身の演奏操作を撮像した視野像を発生する撮像部と、その視野像および前記ガイド画像を画面表示する表示部とを備え、教習者に装着されるゴーグル形状の教習手段と、
押鍵された鍵の音高を押鍵ピッチとして検出する一方、前記視野像からその押鍵された鍵の位置を抽出し、抽出した押鍵位置と押鍵ピッチとに応じて鍵盤の鍵数を検出する鍵数検出手段と、
この鍵数検出手段が検出した鍵数を備える鍵盤に合致したガイド画像を前記画像記憶手段から選択する選択手段と、
この選択手段により選択されたガイド画像が前記視野像に重なり合うように表示制御し、前記教習手段の表示部に手本となる演奏操作と自身の演奏操作とを画面表示して弾くべき鍵の位置や指使いを教示する表示制御手段と
を具備することを特徴とする演奏教習装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、手本となる演奏操作を表示して演奏教習させる演奏教習装置に関する。
【０００２】
【従来の技術】
先行技術として、「特開平０７−０３６４４６号」に開示されているように演奏曲に対応した運指情報を含む手の形の映像および押鍵を指示する映像情報を、演奏曲の進行に合せて読み出して、表示部に演奏指示映像として表示するものがある。
また、「特開２０００−３５２９７３号」に開示されているように、曲データに従って押鍵指示を行うと共に、ゴーグル型の表示部に曲データの音符表示、運指表示、案内表示を行うものがある。
さらに、「特開２００１−２８２０９４号」に開示されているように、ＨＭＤ（ヘッドマウントディスプレイ）上に押鍵すべき鍵や指などを表示すると共に、演奏者の視野から鍵盤が外れたときにはその旨の表示をするものがある。
【０００３】
加えて、手本となる演奏操作を撮像した画像から左右両手のいずれの手指でどの鍵を押鍵するかを表すレッスンデータを抽出すると共に、教習者の演奏操作を撮像した画像から左右両手のいずれの手指でどの鍵を押鍵したかを表す演奏データを抽出し、それら抽出された両データを比較して正しい演奏操作が行われたか否かを判定し、誤った演奏操作が行われた場合、その際のレッスンデータに対応した画像を、鍵盤上に投影して手本となる演奏操作を教習者に教示する演奏教習装置も知られている。
【０００４】
【発明が解決しようとする課題】
ところで、上述した従来の演奏教習装置では、手本となる演奏操作を撮像した画像を、教習者が使う鍵盤上に投影する構成なので、周囲が明るいと見難いという弊害や、手本となる演奏操作が行われる鍵盤の鍵数と教習者が使用する鍵盤の鍵数とが一致していないと、弾くべき鍵を教示する際に鍵位置がずれて正しく演奏教習することができないという問題がある。
そこで本発明は、このような事情に鑑みてなされたもので、視認性良く演奏操作を教示でき、しかも手本となる演奏操作が行われる鍵盤の鍵数と教習者が使用する鍵盤の鍵数とが一致していない場合でも正しく演奏教習することができる演奏教習装置を提供することを目的としている。
【０００５】
【課題を解決するための手段】
上記目的を達成するため、請求項１に記載の発明では、弾くべき鍵の位置および指使いを教示する情報を含み、手本となる演奏操作を表示するガイド画像を記憶する画像記憶手段と、教習者の視野に対応した像であって、自身の演奏操作を撮像した視野像を発生する撮像部と、その視野像および前記ガイド画像を画面表示する表示部とを備え、教習者に装着されるゴーグル形状の教習手段と、前記視野像内に写る鍵盤に設けられた複数の目印に応じて、前記画像記憶手段から読み出したガイド画像の表示サイズおよび表示位置を調整して当該視野像にガイド画像を重ね合わせる表示制御手段と、この表示制御手段によって前記教習手段の表示部に手本となる演奏操作と自身の演奏操作とを画面表示して弾くべき鍵の位置および指使いを教示する教示手段と、前記視野像から自身の演奏操作に対応した押鍵位置および指使いを抽出して前記ガイド画像に含まれる弾くべき鍵の位置および指使いと比較して演奏操作の適否を判定する判定手段とを具備することを特徴とする。
【０００６】
上記請求項１に従属する請求項２に記載の発明では、前記表示制御手段は、前記視野像内に写る鍵盤の黒鍵を目印として検出し、それに応じて、前記画像記憶手段から読み出したガイド画像の表示サイズおよび表示位置を調整して当該視野像にガイド画像を重ね合わせることを特徴とする。
【０００７】
上記請求項１に従属する請求項３に記載の発明では、前記表示制御手段は、視野像とガイド画像とのずれが所定値を超えている場合には教習者が意図的に視線を鍵盤から逸したと見做して視野像にガイド画像を重ね合わせる処理を中止し、ずれが所定値より小さい場合にはそのずれの大きさに応じて、ガイド画像を視野像に合わせ込む際の分解能を変化させることを特徴とする。
【０００８】
請求項４に記載の発明では、弾くべき鍵の位置および指使いを教示する情報を含み、手本となる演奏操作を表示するガイド画像を記憶する画像記憶手段と、教習者の視野に対応した像であって、自身の演奏操作を撮像した視野像を発生する撮像部と、その視野像および前記ガイド画像を画面表示する表示部とを備え、教習者に装着されるゴーグル形状の教習手段と、前記視野像から演奏操作が行われる鍵盤の鍵数を検出する鍵数検出手段と、この鍵数検出手段が検出した鍵数を備える鍵盤に合致したガイド画像を前記画像記憶手段から選択する選択手段と、この選択手段により選択されたガイド画像が前記視野像に重なり合うように表示制御し、前記教習手段の表示部に手本となる演奏操作と自身の演奏操作とを画面表示して弾くべき鍵の位置や指使いを教示する表示制御手段とを具備することを特徴とする。
【０００９】
請求項５に記載の発明では、弾くべき鍵の位置および指使いを教示する情報を含み、手本となる演奏操作を表示するガイド画像を記憶する画像記憶手段と、教習者の視野に対応した像であって、自身の演奏操作を撮像した視野像を発生する撮像部と、その視野像および前記ガイド画像を画面表示する表示部とを備え、教習者に装着されるゴーグル形状の教習手段と、前記視野像に写る鍵盤の黒鍵数に応じて当該鍵盤の鍵数を検出する鍵数検出手段と、この鍵数検出手段が検出した鍵数を備える鍵盤に合致したガイド画像を前記画像記憶手段から選択する選択手段と、この選択手段により選択されたガイド画像が前記視野像に重なり合うように表示制御し、前記教習手段の表示部に手本となる演奏操作と自身の演奏操作とを画面表示して弾くべき鍵の位置や指使いを教示する表示制御手段とを具備することを特徴とする。
【００１０】
請求項６に記載の発明では、弾くべき鍵の位置および指使いを教示する情報を含み、手本となる演奏操作を表示するガイド画像を記憶する画像記憶手段と、教習者の視野に対応した像であって、自身の演奏操作を撮像した視野像を発生する撮像部と、その視野像および前記ガイド画像を画面表示する表示部とを備え、教習者に装着されるゴーグル形状の教習手段と、前記視野像に写る鍵盤の白鍵数に応じて当該鍵盤の鍵数を検出する鍵数検出手段と、この鍵数検出手段が検出した鍵数を備える鍵盤に合致したガイド画像を前記画像記憶手段から選択する選択手段と、この選択手段により選択されたガイド画像が前記視野像に重なり合うように表示制御し、前記教習手段の表示部に手本となる演奏操作と自身の演奏操作とを画面表示して弾くべき鍵の位置や指使いを教示する表示制御手段とを具備することを特徴とする。
【００１１】
請求項７に記載の発明では、弾くべき鍵の位置および指使いを教示する情報を含み、手本となる演奏操作を表示するガイド画像を記憶する画像記憶手段と、教習者の視野に対応した像であって、自身の演奏操作を撮像した視野像を発生する撮像部と、その視野像および前記ガイド画像を画面表示する表示部とを備え、教習者に装着されるゴーグル形状の教習手段と、前記視野像に写る鍵盤の縦横比から当該鍵盤の鍵数を検出する鍵数検出手段と、この鍵数検出手段が検出した鍵数を備える鍵盤に合致したガイド画像を前記画像記憶手段から選択する選択手段と、この選択手段により選択されたガイド画像が前記視野像に重なり合うように表示制御し、前記教習手段の表示部に手本となる演奏操作と自身の演奏操作とを画面表示して弾くべき鍵の位置や指使いを教示する表示制御手段とを具備することを特徴とする。
【００１２】
請求項８に記載の発明では、弾くべき鍵の位置および指使いを教示する情報を含み、手本となる演奏操作を表示するガイド画像を記憶する画像記憶手段と、教習者の視野に対応した像であって、自身の演奏操作を撮像した視野像を発生する撮像部と、その視野像および前記ガイド画像を画面表示する表示部とを備え、教習者に装着されるゴーグル形状の教習手段と、前記視野像に写る鍵盤の白鍵部分の面積と黒鍵部分の面積とを求め、それらの比から鍵盤の鍵数を検出する鍵数検出手段と、この鍵数検出手段が検出した鍵数を備える鍵盤に合致したガイド画像を前記画像記憶手段から選択する選択手段と、この選択手段により選択されたガイド画像が前記視野像に重なり合うように表示制御し、前記教習手段の表示部に手本となる演奏操作と自身の演奏操作とを画面表示して弾くべき鍵の位置や指使いを教示する表示制御手段とを具備することを特徴とする。
【００１３】
請求項９に記載の発明では、弾くべき鍵の位置および指使いを教示する情報を含み、手本となる演奏操作を表示するガイド画像を記憶する画像記憶手段と、教習者の視野に対応した像であって、自身の演奏操作を撮像した視野像を発生する撮像部と、その視野像および前記ガイド画像を画面表示する表示部とを備え、教習者に装着されるゴーグル形状の教習手段と、押鍵された鍵の音高を押鍵ピッチとして検出する一方、前記視野像からその押鍵された鍵の位置を抽出し、抽出した押鍵位置と押鍵ピッチとに応じて鍵盤の鍵数を検出する鍵数検出手段と、この鍵数検出手段が検出した鍵数を備える鍵盤に合致したガイド画像を前記画像記憶手段から選択する選択手段と、この選択手段により選択されたガイド画像が前記視野像に重なり合うように表示制御し、前記教習手段の表示部に手本となる演奏操作と自身の演奏操作とを画面表示して弾くべき鍵の位置や指使いを教示する表示制御手段とを具備することを特徴とする。
【００１４】
本発明では、教習者がゴーグル形状の教習手段を装着して演奏教習すると、ガイド画像が視野像に重なり合うように表示制御され、教習手段の表示部に手本となる演奏操作と自身の演奏操作とが画面表示されて弾くべき鍵の位置および指使いを教示するので、視認性良く演奏操作を教示することが可能になる。
また、本発明では、教習者がゴーグル形状の教習手段を装着して演奏教習すると、視野像から演奏操作が行われる鍵盤の鍵数を検出し、検出した鍵数を備える鍵盤に合致したガイド画像が選択され、選択されたガイド画像が視野像に重なり合うように表示制御され、教習手段の表示部に手本となる演奏操作と自身の演奏操作とが画面表示されて弾くべき鍵の位置および指使いを教示するので、手本となる演奏操作が行われる鍵盤の鍵数と教習者が使用する鍵盤の鍵数とが一致していない場合でも正しく演奏教習し得るようになる。
【００１５】
【発明の実施の形態】
以下、本発明の実施の一形態による演奏教習装置について図面を参照して説明する。
Ａ．第１実施例
（１）構成
図１は、本発明の第１実施例による演奏教習装置の全体構成を示すブロック図である。図１において、１は各種スイッチを有し、操作されたスイッチに応じたスイッチイベントを発生するパネルスイッチ群である。このパネルスイッチ群１には、電源をオンオフする電源スイッチの他、演奏教習する曲目を選択する曲選択スイッチや演奏教習の開始／停止を指示するスタート／ストップスイッチ等が設けられている。
【００１６】
２は教習者（ユーザ）に装着されるゴーグル形状のヘッドマウントディスプレイ（以下、ＨＭＤと略称する）である。ＨＭＤ２は、例えば図２（ａ）に図示するように、ＬＣＤパネル等から構成される表示部２ａ、ＣＣＤカメラおよびその駆動回路等から構成される撮像部２ｂおよびハーフミラー２ｃを備える。
ＨＭＤ２では、鍵盤上の演奏操作をハーフミラー２ｃを介して教習者に視認させながら、その教習者の視野像を撮像部２ｂにて撮像すると共に、後述するＣＰＵ３の制御の下に、その撮像された視野像に応じて手本となる演奏操作を表示するガイド画像（後述する）の表示サイズや表示位置を調整して表示部２ａに画面表示させ、これにより教習者の視野像とガイド画像とを重ね合わせて弾くべき鍵の位置や指使いを教示するよう構成されている。
【００１７】
なお、同図（ｂ）に図示するように、ハーフミラー２ｃを使用しない形態であれば、撮像部２ｂにて撮像され、鍵盤上の演奏操作を表示する視野像と、この視野像に応じて表示サイズや表示位置が調整されるガイド画像とを重ね合わせて表示部２ａに画面表示して教習者に弾くべき鍵の位置や指使いを教示させる構成であっても構わない。
【００１８】
ＣＰＵ３は装置各部を制御するものであり、本発明に要旨に係わる特徴的な処理動作については追って述べる。ＲＯＭ４は、上記ＣＰＵ３にロードされる各種制御プログラムの他、演奏教習する各種曲毎の演奏データおよびガイド画像データを記憶する。演奏データは、演奏教習に同期して自動演奏されるデータであって、曲を構成する各音の音高および発音／消音するイベントタイミングから構成される。
【００１９】
ガイド画像データは、鍵盤上に置くべき手の位置および指使いを表示する画像を、曲を構成する各音に対応して設けたものである。具体的には、鍵盤像を背景とし、その鍵盤像上で手を置く位置に手形を表示すると共に、その表示される手形において鍵操作する指の表示形態を変化させて指使いを表示する。指使いの表示には、ガイド画像データに含まれる指使い情報を用いる。指使い情報とは、左右両手のいずれの手指でどの鍵を押鍵するかを表すものである。また、ガイド画像データには、撮像部２ｂにて撮像される視野像と表示位置合わせするための位置座標値も含まれる。
【００２０】
ＲＡＭ５は、ＣＰＵ３のワークエリアとして用いられ、各種レジスタ・フラグデータを一時記憶するレジスタエリア、上記ＨＭＤ２の撮像部２ｂが撮像する視野像データを一時記憶する視野像データエリアおよび曲選択スイッチの操作にて選択されて上記ＲＯＭ４から転送されるガイド画像データを一時記憶するガイド画像データエリアを備える。
６は周知の波形メモリ読み出し方式によって構成される音源であり、ＣＰＵ３の指示に応じてＲＯＭ４から読み出される演奏データに応じた楽音信号を発生する。７は上記音源６が出力する楽音信号をアナログ波形信号に変換し、不要ノイズを除去する等のフィルタリングを施した後、これを増幅してスピーカから発音するサウンドシステムである。
【００２１】
（２）動作
次に、図３〜図７を参照して第１実施例の動作について説明する。以下では、最初に動作概略としてメインルーチンの動作を説明した後、そのメインルーチンを構成するスイッチ処理、ガイド画像再生処理および演奏教習処理の各動作について述べる。
【００２２】
▲１▼メインルーチンの動作
上記構成による第１実施例に電源が投入されると、ＣＰＵ３はＲＯＭ４から所定の制御プログラムをロードして図３に示すメインルーチンを実行し、ステップＳＡ１に処理を進める。ステップＳＡ１では、装置各部を初期化するイニシャライズを実行し、続くステップＳＡ２では、パネルスイッチ１のスイッチ操作に応じたスイッチ処理を実行する。
このスイッチ処理では、例えば曲選択スイッチの操作に応じて選択される曲の演奏データやガイド画像データを指定したり、あるいはスタート／ストップスイッチの操作により演奏教習の開始／停止を指示するなどの処理が行われる。そして、ステップＳＡ３では、後述するフラグＳＴＦが「１」か否か、すなわち演奏教習を開始した状態であるかどうかを判断する。
【００２３】
フラグＳＴＦが「０」となる停止状態であれば、判断結果は「ＮＯ」となり、上記ステップＳＡ２に処理を戻すが、スタート／ストップスイッチの操作により演奏教習の開始が指示されていると、フラグＳＴＦが「１」に設定され、これによりステップＳＡ３の判断結果が「ＹＥＳ」となり、ステップＳＡ４に進む。ステップＳＡ４では、ＨＭＤ２の撮像部２ｂにて撮像される視野像に応じて手本となる演奏操作を表示するガイド画像の表示サイズおよび表示位置を調整し、視野像にガイド画像をスーパーインポーズして表示部２ａに画面表示するガイド画像再生処理を実行する。
【００２４】
次いで、ステップＳＡ５では、撮像部２ｂにて撮像される視野像データから抽出する指使い情報とガイド画像データに含まれる指使い情報とを比較し、手本通りの演奏操作が行われているかどうかを評価する演奏教習処理を実行する。続いて、ステップＳＡ６では、例えば演奏教習する曲の演奏データを、設定された再生テンポに同期して再生する自動演奏処理などの、その他の処理を実行する。以後、電源スイッチがオフ設定されるか、あるいはスタート／ストップスイッチの操作により演奏教習停止が指示されるまでステップＳＡ２〜ＳＡ６を繰り返すようになっている。
【００２５】
▲２▼スイッチ処理の動作
次に、図４を参照してスイッチ処理の動作について説明する。上述のステップＳＡ２を介して本処理が実行されると、ＣＰＵ３はステップＳＢ１に処理を進め、曲選択スイッチのオンイベントの有無、つまり、曲選択スイッチがオン操作されたかどうかを判断する。曲選択スイッチがオン操作されると、判断結果が「ＹＥＳ」となり、ステップＳＢ２に進み、曲選択スイッチのオン操作に応じて選択された曲の演奏データおよびガイド画像データを指定する。なお、指定されたガイド画像データは、ＲＡＭ５のガイド画像データエリアに転送される。次いで、ステップＳＢ３では、その他のスイッチイベントに応じた処理を実行して本処理を完了させる。
【００２６】
一方、曲選択スイッチがオン操作されない場合には、ステップＳＢ１の判断結果が「ＮＯ」となり、ステップＳＢ４に進む。ステップＳＢ４では、スタート／ストップスイッチがオン操作されたかどうかを判断する。スタート／ストップスイッチがオン操作されると、判断結果が「ＹＥＳ」となり、前述のフラグＳＴＦに「１」をセットした後、ステップＳＢ３に進む。これに対し、スタート／ストップスイッチがオン操作されなければ、判断結果は「ＮＯ」となり、ステップＳＢ６に処理を進め、フラグＳＴＦをゼロリセットした後、ステップＳＢ３に進む。
【００２７】
▲３▼ガイド画像再生処理の動作
次に、図５〜図６を参照してガイド画像再生処理の動作について説明する。前述したメインルーチンのステップＳＡ４を介して本処理が実行されると、ＣＰＵ３は図５に示すステップＳＣ１に処理を進め、ＨＭＤ２の撮像部２ｂにより撮像された視野像データをＲＡＭ５の視野像データエリアに取り込む。視野像データとは、撮像視野を鍵盤に向けた状態でＨＭＤ２の撮像部２ｂが撮像する画像を指し、その画像中に写る鍵盤、すなわち教習者が演奏操作する鍵盤には予め図６に図示するように、鍵盤上部および下部にそれぞれ所定間隔で目印ＭＰが施されているものとする。
【００２８】
そして、ステップＳＣ２〜ＳＣ４では、撮像された視野像データ中の各目印ＭＰに対応する座標の内、座標Ａ，Ｂ，Ｃ（図６参照）を結ぶ三角形のエリアを１つのグループとし、各グループ毎にＸ方向の最長線分Ｘｍａｘ、Ｙ方向の最長線分Ｙｍａｘおよびそれら線分の交点座標を検出する。次いで、ステップＳＣ５では、検出した各グループ毎の交点座標に、ガイド画像データ中に含まれる位置座標値が一致するようにガイド画像データの表示サイズおよび表示位置を調整する。これにより、教習者の視野像にガイド画像がスーパーインポーズされた形でＨＭＤ２の表示部２ａに画面表示されるので、視認性良く演奏操作を教示することが可能になっている。
【００２９】
▲４▼演奏教習処理の動作
次に、図７を参照して演奏教習処理の動作について説明する。前述したメインルーチンのステップＳＡ５を介して本処理が実行されると、ＣＰＵ３は図７のステップＳＤ１に進み、ＲＡＭ５の視野像データエリアに取り込まれている視野像データに画像認識処理を施して教習者の手の像を抽出する。続くステップＳＤ２では、抽出した手の像が鍵盤上のどの位置（鍵域）に置かれているかを判定する。具体的には、図６に図示したように、予め鍵盤上部および下部に所定間隔で設けられた目印ＭＰを参照して鍵盤上のどの位置（鍵域）に手が置かれているかを判定する。
【００３０】
そして、ステップＳＤ３では、こうして判定された手の位置に基づき押鍵している指を画像認識処理にて検出して教習者の指使い情報を生成する。次いで、ステップＳＤ４では、教習者の指使い情報と、それに対応するガイド画像データに含まれる指使い情報とを比較して手本通りの演奏操作であるかどうかを判断する。
手本通りの演奏操作であれば、判断結果が「ＹＥＳ」となり、ステップＳＤ５に進み、手本通りの演奏操作が行われた旨を表すべくＨＭＤ２の表示部２ａに「ＯＫ」を表示する。一方、手本通りの演奏操作が行われなかった場合には、判断結果が「ＮＯ」となり、ステップＳＤ６に進み、ＨＭＤ２の表示部２ａに「ＮＧ」を表示して本処理を完了させる。
【００３１】
このように、第１実施例によれば、教習者はゴーグル形状のＨＭＤ２を装着して演奏教習を開始すると、手本となる演奏操作を表示するガイド画像が自身の視野像にスーパーインポーズされてＨＭＤ２の表示部２ａに画面表示される結果、視認性良く演奏操作を教示することが可能になっている。
なお、本実施例では、教習者が演奏操作する鍵盤の上部および下部にそれぞれ所定間隔で目印ＭＰを施しておき、この目印ＭＰを用いることによって教習者の視野像にガイド画像をスーパーインポーズさせたり、視野像中に写る鍵盤上のどの位置（鍵域）に手が置かれているかを判定するようにしたが、これに限らず、例えば視野像中から鍵盤の黒鍵を検出し、それを目印に用いて教習者の視野像にガイド画像をスーパーインポーズさせたり、あるいは検出した黒鍵の配列の規則性を勘案して鍵盤上のどの位置（鍵域）に手が置かれているかを判定することも可能である。
【００３２】
（３）変形例
次に、図８〜図９を参照して第１実施例の変形例について説明する。上述の第１実施例によるガイド画像再生処理では、撮像された視野像データ中の各目印ＭＰに対応する座標の内、座標Ａ，Ｂ，Ｃ（図６参照）を結ぶ三角形のエリアを１つのグループとし、各グループ毎にＸ方向の最長線分Ｘｍａｘ、Ｙ方向の最長線分Ｙｍａｘおよびそれら線分の交点座標を検出し、検出した各グループ毎の交点座標に、ガイド画像データ中に含まれる位置座標値が一致するようにガイド画像データの表示サイズおよび表示位置を調整して教習者の視野像にガイド画像をスーパーインポーズするようにした。
しかしながら、このような処理形態では、演算処理量が多くＣＰＵ３の負荷増大を招致する。この為、例えば教習者が意図的に視線を鍵盤から逸すような場合であっても、それに追随すべく上述の演算処理を実行してしまい、ガイド画像の表示に遅れが生じかねない。そこで、変形例ではそうした弊害を回避しつつ、教習者の視野像にガイド画像をスーパーインポーズさせるガイド画像再生処理の動作を説明する。
【００３３】
上述の第１実施例と同様、メインルーチン（図３参照）のステップＳＡ４を介して変形例によるガイド画像再生処理が実行されると、ＣＰＵ３は図８に示すステップＳＥ１に処理を進める。ステップＳＥ１では、前回検出した各グループ毎の交点位置と、今回検出した各グループ毎の交点位置との差分の平均値Ｈを算出する。なお、ここで言う交点位置とは、撮像された視野像データ中の各目印ＭＰに対応する座標の内、座標Ａ，Ｂ，Ｃ（図７参照）を結ぶ三角形のエリアを１つのグループとし、各グループ毎のＸ方向の最長線分Ｘｍａｘ、Ｙ方向の最長線分Ｙｍａｘの交点を指す。次いで、ステップＳＥ２では、算出した平均値Ｈが平均距離Ｄの４倍を超えているかどうかを判断する。なお、平均距離Ｄとは前回検出した各グループ毎の交点位置間の平均値である。
【００３４】
平均値Ｈが平均距離Ｄの４倍を超えると、上記ステップＳＥ２の判断結果は「ＹＥＳ」となり、この場合、教習者が意図的に視線を鍵盤から逸したと見做して本処理を完了させる。
これに対し、平均値Ｈが平均距離Ｄの４倍を超えていなければ、判断結果は「ＮＯ」となり、次のステップＳＥ３に進み、算出した平均値Ｈが平均距離Ｄの２倍を超えているかどうかを判断する。平均値Ｈが平均距離Ｄの２倍を超えていれば、判断結果は「ＹＥＳ」となり、ステップＳＥ４に進む。ステップＳＥ４では、図９（ａ）に図示するように、撮像された視野像データ中の各目印ＭＰを１つおきに使用するよう設定する。つまり、交点座標検出に用いる目印ＭＰの数を半減させる。
【００３５】
一方、平均値Ｈが平均距離Ｄの２倍を超えていなければ、上記ステップＳＥ３の判断結果は「ＮＯ」となり、ステップＳＥ５に進み、図９（ｂ）に図示するように、撮像された視野像データ中の各目印ＭＰを全て使用するよう設定する。そして、ステップＳＥ６では、図９（ａ）もしくは図９（ｂ）に図示するように、座標Ａ，Ｂ，Ｃを結ぶ三角形を基本単位としたデータセットを、使用設定された各目印ＭＰから形成する。次いで、ステップＳＥ７では、各目印ＭＰから形成したデータセットにそれぞれ対応するガイド画像データ中の位置座標値を抽出する一方、抽出した位置座標値で表される三角形が、対応するデータセットで表される三角形に一致するよう座標変換する。
【００３６】
すなわち、図９（ｃ）に示すように、ガイド画像データ中から抽出した位置座標値で表される三角形ＡＢＣを、目印ＭＰから形成したデータセットで表される三角形Ａ’Ｂ’Ｃ’となるように座標変換する。そして、ステップＳＥ８では、座標変換し終えたかどうかを判断し、変換し終えていなければ判断結果が「ＮＯ」となり、上記ステップＳＥ７に処理を戻す。そして、座標変換し終えると、判断結果が「ＹＥＳ」となり、本処理を完了させる。これにより、ガイド画像データの表示サイズおよび表示位置が調整されて教習者の視野像にガイド画像がスーパーインポーズされる。
【００３７】
以上のように、変形例によれば、教習者の視野像とガイド画像とのずれが所定値を超えていれば、教習者が意図的に視線を鍵盤から逸したと見做してガイド画像データの再生は行わず、ずれが所定値より小さければ、そのずれの大きさに応じて、ガイド画像データの表示サイズおよび表示位置を教習者の視野像に合わせ込む際の分解能を変化させるようにしたので、ＣＰＵ３の負荷増大を招致することなく、教習者の視野像にガイド画像をスーパーインポーズさせることが可能になる。
【００３８】
Ｂ．第２実施例
前述した第１実施例では、ゴーグル形状のＨＭＤ２を教習者に装着させ、手本となる演奏操作を表示するガイド画像を教習者自身の視野像にスーパーインポーズさせて画面表示することで視認性良く演奏操作を教示するようにしたが、第２実施例では手本となる演奏操作が行われる鍵盤の鍵数と教習者が使用する鍵盤の鍵数とが一致していない場合でも正しく演奏教習できるようにする。
第２実施例では、前述の第１実施例と同一の構成なので、その説明については省略する。第２実施例が前述の第１実施例と相違する点は、演奏操作が行われる鍵盤の鍵数を視野像データから検出し、検出した鍵数に合致するガイド画像データに基づきガイド画像を再生することにある。以下、図１０〜図１２を参照して第２実施例によるガイド画像再生処理の動作について説明する。
【００３９】
前述の第１実施例と同様に、メインルーチン（図３参照）のステップＳＡ４を介して第２実施例によるガイド画像再生処理が実行されると、ＣＰＵ３は図１０に示すステップＳＦ１に処理を進め、視野像データから演奏操作が行われる鍵盤の鍵数を検出する鍵数検出処理を実行する。
ステップＳＦ１を介して鍵数検出処理が実行されると、ＣＰＵ３は図１１に示すステップＳＦ１−１に処理を進め、黒鍵数をカウントするカウンタをリセットすると共に、検出座標ｘをゼロリセットする。次に、ステップＳＦ１−２では、ＨＭＤ２の撮像部２ｂにより撮像された視野像データをＲＡＭ５の視野像データエリアに取り込む。ここで、視野像データとは、撮像視野を鍵盤に向けた状態でＨＭＤ２の撮像部２ｂが撮像する画像を指す。
【００４０】
次いで、ステップＳＦ１−３では、ＲＡＭ５の視野像データエリアに取り込んだ視野像データの内、所定ラインの画素ドットを横方向（Ｘ方向）に順次読み出すドットスキャンを開始する。ここで、所定ラインとは、鍵盤を撮像した視野データ中で黒鍵部分を横切る位置を指す。そして、ステップＳＦ１−４では、読み出した画素ドットが黒鍵に対応した黒ドットであるかどうかを判断する。白鍵に対応した白ドットであると、判断結果は「ＮＯ」となり、ステップＳＦ１−５に処理を進め、検出座標ｘをインクリメントして歩進させる。続いて、ステップＳＦ１−６では、検出座標ｘが終端に達したか、つまりドットスキャンが完了したかどうかを判断する。完了していなければ、判断結果は「ＮＯ」となり、ステップＳＦ１−４に処理を戻す。
【００４１】
そして、歩進された検出座標ｘに応じて読み出した画素ドットが黒鍵に対応した黒ドットであると、上記ステップＳＦ１−４の判断結果が「ＹＥＳ」となり、ステップＳＦ１−７に進む。ステップＳＦ１−７では、黒ドットが連続したか否か、つまり、黒鍵検出したかどうかを判断する。黒ドットが連続しない場合には、黒鍵検出とは見做さず、判断結果が「ＮＯ」となり、ステップＳＦ１−５に進み、検出座標ｘを歩進させる。
一方、黒ドットが連続すると、黒鍵検出したとして上記ステップＳＦ１−７の判断結果は「ＹＥＳ」となり、ステップＳＦ１−８に進み、黒鍵数をカウントするカウンタをインクリメントした後、ステップＳＦ１−５に処理を進める。
【００４２】
こうして黒鍵数を計数するためのドットスキャンが完了すると、ステップＳＦ１−６の判断結果が「ＹＥＳ」となり、ステップＳＦ１−９に進み、カウンタに保持された黒鍵検出数に応じて、判定マップＭＡＰから鍵盤の鍵数を読み出す。判定マップＭＡＰとは、図１２に示すように、鍵盤鍵数毎の属性（最低音高、最低周波数、最低ノートナンバ、黒鍵数および白鍵数）を備えたデータテーブルであり、検出した黒鍵数を読み出しアドレスとして対応する鍵盤鍵数が読み出されるようになっている。
【００４３】
さて、検出した黒鍵数に応じて鍵盤の鍵数が定まると、ＣＰＵ３は図１０に示すステップＳＦ２に処理を進め、その鍵盤の鍵数に合致するガイド画像データをＲＯＭ４から選択して読み出すガイド画像選択処理を実行する。そして、ステップＳＦ３では、選択したガイド画像データの表示サイズや表示位置を調整して教習者の視野像にスーパーインポーズしてＨＭＤ２の表示部２ａに画面表示する再生処理を実行する。なお、この再生処理は、前述した第１実施例によるガイド画像再生処理（図５参照）と同様である。
このように、第２実施例によれば、視野像データから演奏操作が行われる鍵盤の鍵数を検出し、検出した鍵数を備える鍵盤に合致したガイド画像データを選択し、そのガイド画像データを再生して演奏教習する結果、演奏操作が行われる鍵盤の鍵数と教習者が使用する鍵盤の鍵数とが一致していない場合でも正しく演奏教習することが可能になっている。
【００４４】
なお、本実施例では、鍵盤を撮像した視野像データから黒鍵数を検出し、検出した黒鍵数に応じて鍵盤の鍵数を求めるようにしたが、これに替えて、視野像データから白鍵数を検出し、検出した白鍵数に応じて鍵盤の鍵数を求める態様としても構わない。
また、視野像データから鍵盤の鍵数を求める手法としては、撮像された鍵盤の縦方向の大きさと横（長手方向）方向の大きさとの比から鍵盤の鍵数を推定することも可能である。つまり、縦横比が「８．９」近傍であれば８８鍵、「７．７」近傍であれば７６鍵、「７．３」近傍であれば７３鍵、「６．１」近傍であれば６１鍵、「４．９」近傍であれば４９鍵という寸法関係がある為、縦横比より鍵数を推定し得る。
【００４５】
さらに、鍵盤を撮像した視野像データから白鍵部分の面積と黒鍵部分の面積とを求め、それらの比から鍵盤の鍵数を求めるなど、鍵盤固有の配列を特徴パラメータとして抽出し、抽出した特徴パラメータに応じて鍵数を求めることが可能である。
加えて、教習者が鍵盤のいずれかの鍵を押鍵し、それにより発音する音高を押鍵ピッチとして検出する一方、鍵盤を撮像した視野像データからその押鍵された鍵の位置を抽出し、抽出した押鍵位置と押鍵ピッチとに応じて鍵盤の鍵数を認識することも可能である。
【００４６】
【発明の効果】
請求項１に記載の発明によれば、教習者がゴーグル形状の教習手段を装着して演奏教習すると、視野像内に写る鍵盤に設けられた複数の目印に応じて、画像記憶手段から読み出したガイド画像の表示サイズおよび表示位置を調整して当該視野像にガイド画像を重ね合わせ、これにより教習手段の表示部に手本となる演奏操作と自身の演奏操作とを画面表示して弾くべき鍵の位置および指使いを教示する一方、視野像から抽出する押鍵位置および指使いとガイド画像に含まれる弾くべき鍵の位置および指使いと比較して演奏操作の適否を判定するので、視認性良く演奏操作を教示でき、しかも演奏操作の適否を判定することができる。
請求項２に記載の発明によれば、視野像内に写る鍵盤の黒鍵を目印として検出し、それに応じて、画像記憶手段から読み出したガイド画像の表示サイズおよび表示位置を調整して当該視野像にガイド画像を重ね合わせるので、教習手段の表示部に手本となる演奏操作と自身の演奏操作とを同時に画面表示することができる。
請求項３に記載の発明によれば、視野像とガイド画像とのずれが所定値を超えている場合には教習者が意図的に視線を鍵盤から逸したと見做して視野像にガイド画像を重ね合わせる処理を中止し、ずれが所定値より小さい場合にはそのずれの大きさに応じて、ガイド画像を視野像に合わせ込む際の分解能を変化させるので、処理負荷の増大を招くことなく視野像にガイド画像をスーパーインポーズさせることができる
請求項４に記載の発明によれば、教習者がゴーグル形状の教習手段を装着して演奏教習すると、視野像から演奏操作が行われる鍵盤の鍵数を検出し、検出した鍵数を備える鍵盤に合致したガイド画像が選択され、選択されたガイド画像が視野像に重なり合うように表示制御され、教習手段の表示部に手本となる演奏操作と自身の演奏操作とが画面表示されて弾くべき鍵の位置および指使いを教示するので、手本となる演奏操作が行われる鍵盤の鍵数と教習者が使用する鍵盤の鍵数とが一致していない場合でも正しく演奏教習することができる。
請求項５に記載の発明によれば、視野像に写る鍵盤の黒鍵数に応じて当該鍵盤の鍵数を検出し、検出した鍵数を備える鍵盤に合致したガイド画像に基づき演奏教習する為、手本となる演奏操作が行われる鍵盤の鍵数と教習者が使用する鍵盤の鍵数とが一致していない場合でも正しく演奏教習することができる。
請求項６に記載の発明によれば、視野像に写る鍵盤の白鍵数に応じて当該鍵盤の鍵数を検出し、検出した鍵数を備える鍵盤に合致したガイド画像に基づき演奏教習する為、手本となる演奏操作が行われる鍵盤の鍵数と教習者が使用する鍵盤の鍵数とが一致していない場合でも正しく演奏教習することができる。
請求項７に記載の発明によれば、視野像に写る鍵盤の縦横比から当該鍵盤の鍵数を検出し、検出した鍵数を備える鍵盤に合致したガイド画像に基づき演奏教習する為、手本となる演奏操作が行われる鍵盤の鍵数と教習者が使用する鍵盤の鍵数とが一致していない場合でも正しく演奏教習することができる。
請求項８に記載の発明によれば、視野像に写る鍵盤の白鍵部分の面積と黒鍵部分の面積とを求め、それらの比から鍵盤の鍵数を検出し、検出した鍵数を備える鍵盤に合致したガイド画像に基づき演奏教習する為、手本となる演奏操作が行われる鍵盤の鍵数と教習者が使用する鍵盤の鍵数とが一致していない場合でも正しく演奏教習することができる。
請求項９に記載の発明によれば、押鍵された鍵の音高を押鍵ピッチとして検出する一方、視野像からその押鍵された鍵の位置を抽出し、抽出した押鍵位置と押鍵ピッチとに応じて鍵盤の鍵数を検出し、検出した鍵数を備える鍵盤に合致したガイド画像に基づき演奏教習する為、手本となる演奏操作が行われる鍵盤の鍵数と教習者が使用する鍵盤の鍵数とが一致していない場合でも正しく演奏教習することができる。
【図面の簡単な説明】
【図１】本発明による第１実施例の構成を示すブロック図である。
【図２】ＨＭＤ２の概略構成を示す図である。
【図３】メインルーチンの動作を示すフローチャートである。
【図４】スイッチ処理の動作を示すフローチャートである。
【図５】ガイド画像再生処理の動作を示すフローチャートである。
【図６】鍵盤の上下に所定間隔で配設される目印ＭＰを説明するための図である。
【図７】演奏教習処理の動作を示すフローチャートである。
【図８】第１実施例の変形例によるガイド画像再生処理の動作を示すフローチャートである。
【図９】
第１実施例の変形例によるガイド画像再生処理の動作を説明するための図である。
【図１０】第２実施例によるガイド画像再生処理の動作を示すフローチャートである。
【図１１】第２実施例による鍵数検出処理の動作を示すフローチャートである。
【図１２】判定マップＭＡＰの一例を示す図である。
【符号の説明】
１　パネルスイッチ
２　ヘッドマウントディスプレイ（ＨＭＤ）
２ａ　表示部
２ｂ　撮像部
３　ＣＰＵ
４　ＲＯＭ
５　ＲＡＭ
６　音源
７　サウンドシステム
【図１】
2004077875.tif 000003
【図２】
2004077875.tif 000004
【図３】
2004077875.tif 000005
【図４】
2004077875.tif 000006
【図５】
2004077875.tif 000007
【図６】
2004077875.tif 000008
【図７】
2004077875.tif 000009
【図８】
2004077875.tif 000010
【図９】
2004077875.tif 000011
【図１０】
2004077875.tif 000012
【図１１】
2004077875.tif 000013
【図１２】
2004077875.tif 000014