(57)【要約】【課題】煩雑な画角調整操作を必要とすることなく、演奏する鍵盤の画像と演奏指示画像との整合を自動的に行うとともに、様々なユーザの性格や好みに適応した演奏教習ができるようにする。【解決手段】ＰＣ１０３は、カメラ１０２から得られる電子キーボード１０１の鍵盤の撮像画角を所定の画角に整合するための制御指令をカメラ１０２に送出して、所定の画角に整合した実演奏画像と演奏指示画像とを合成する複数種類の合成画像の中から、操作部１０５による表示選択指令に応じた１つの合成画像をディスプレイ１０４に出力して表示させる。【選択図】        図１
2004198761.tif 000002
【特許請求の範囲】
【請求項１】
鍵盤の画像を撮像した撮像画像を出力する撮像手段と、
前記撮像手段から出力された鍵盤の撮像画像を画像処理して前記鍵盤の撮像画角が所定の画角に整合しない場合には画角調整の制御指令を前記撮像手段に対して送出し前記鍵盤の撮像画角が前記所定の画角に整合した場合には前記鍵盤の画像および演奏する手の画像からなる実演奏画像を出力する画像処理手段と、
曲選択操作に応じた曲に基づいて演奏指示画像を作成する指示画像作成手段と、
前記画像処理手段から出力された実演奏画像と前記指示画像作成手段によって作成された演奏指示画像とで合成する複数種類の合成画像の中から表示選択操作に応じた少なくとも１種類の合成画像を生成して所定の表示手段に出力する画像合成手段と、
を備えた演奏教習装置。
【請求項２】
前記指示画像作成手段は、作成する演奏指示画像を前記実演奏画像に合わせて調整することを特徴とする請求項１記載の演奏教習装置。
【請求項３】
前記指示画像作成手段は、作成する演奏指示画像における鍵盤の鍵域と前記実演奏画像における鍵盤の鍵域とが同一の範囲になるように前記作成する演奏指示画像を調整することを特徴とする請求項２記載の演奏教習装置。
【請求項４】
前記画像合成手段は、前記実演奏画像と前記演奏指示画像の一部とを重複して表示させる合成画像を出力することを特徴とする請求項１記載の演奏教習装置。
【請求項５】
前記画像合成手段は、前記演奏指示画像の一部を前記実演奏画像の上に重複して合成する前に前記実演奏画像における重複した画像領域が視認可能になるように前記演奏指示画像の一部を画像処理することを特徴とする請求項４記載の演奏教習装置。
【請求項６】
前記画像合成手段は、前記実演奏画像の上に重複するように演奏指示画像の一部を合成することを特徴とする請求項４記載の演奏教習装置。
【請求項７】
前記画像合成手段は、演奏指示の鍵に対応する前記演奏指示画像の一部を前記実演奏画像におけるその鍵の画像領域の上に重複するように合成することを特徴とする請求項４記載の演奏教習装置。
【請求項８】
前記画像合成手段は、演奏指示の鍵および指の画像を含む前記演奏指示画像を前記実演奏画像の表示領域とは異なる表示領域に表示させる合成画像を出力することを特徴とする請求項７記載の演奏教習装置。
【請求項９】
前記画像合成手段は、前記実演奏画像における手の画像のみを前記演奏指示画像の上に重複するように合成することを特徴とする請求項１記載の演奏教習装置。
【請求項１０】
前記画像処理手段は、ベクトル画像処理によって前記撮像画像における各鍵の位置および音階を特定することを特徴とする請求項１記載の演奏教習装置。
【請求項１１】
前記画像処理手段は、前記鍵盤の撮像画像において基準となる特定の鍵に添付された添付物の画像に基づいて前記撮像画像における各鍵の位置および音階を特定することを特徴とする請求項１０記載の演奏教習装置。
【請求項１２】
所定の撮像手段によって撮像された鍵盤の撮像画像を画像処理して前記鍵盤の撮像画角が所定の画角に整合するか否かを判定する第１のステップと、
前記第１のステップによって前記所定の画角に整合しないと判定された場合には前記撮像手段に対して送出する画角調整の制御指令を生成し前記所定の画角に整合したと判定された場合には前記撮像手段から得られた前記鍵盤の画像および演奏する手の画像からなる実演奏画像を画像処理する第２のステップと、
曲選択操作に応じた曲に基づいて演奏指示画像を作成する第３のステップと、
前記第３のステップによって作成された演奏指示画像と前記第２のステップで画像処理された実演奏画像とで合成する複数種類の合成画像の中から表示選択操作に応じて少なくとも１種類の合成画像を生成して所定の表示手段に対して送出する第４のステップと、
を有する演奏教習処理のプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、曲の演奏を教習する演奏教習装置および演奏教習処理のプログラムに関する。
【０００２】
【従来の技術】
曲の演奏を教習する演奏教習装置としては、各鍵に内蔵された発光素子を光らせて押鍵を指示する演奏教習機能付きの電子鍵盤楽器が広く普及しているが、汎用の電子鍵盤楽器と演奏教習装置とを組み合わせたシステムも提案されている。その提案によれば、押鍵する鍵および押鍵する指や指運びを含む手の形等の演奏指示画像を演奏イメージそのままに表示出力して演奏誘導する。さらにこの提案によれば、鍵盤や鍵盤上の手および指等の実演奏画像を演奏指示画像と重ね合わせて表示出力させて、実際の指運びを含む手の形等を演奏指示画像と比較しながら練習することができ、より一層練習効率を向上させることができる（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開平７−３６４４６号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来の演奏教習装置においては、撮像画像である実演奏画像の位置や倍率を調整するカーソルキーをアジャストキーとして操作しなければならない。さらに、演奏指示画像のモードを設定するポジションキーをアジャストキーとして操作しなければならない。すなわち、表示された画像を見ながら、これらのキーを操作して実演奏画像と演奏指示画像との画角の整合をとる必要があり、その画角調整操作が煩雑であった。また、演奏指示の表示画像のバリエーションが少ないので、様々なユーザの性格や好みに適応した演奏教習ができなかった。
【０００５】
本発明の課題は、煩雑な画角調整操作を必要とすることなく、演奏する鍵盤の画像と演奏指示画像との整合を自動的に行うとともに、様々なユーザの性格や好みに適応した演奏教習が可能な演奏教習装置および演奏教習処理のプログラムを提供することである。
【０００６】
【課題を解決するための手段】
請求項１に記載の演奏教習装置は、鍵盤(実施形態においては、図１の電子キーボード１０１の鍵盤に相当する)の画像を撮像した撮像画像を出力する撮像手段(実施形態においては、図１のカメラ１０２に相当する)と、撮像手段から出力された撮像画像を画像処理して鍵盤の撮像画角が所定の画角に整合しない場合には画角調整の制御指令を撮像手段に対して送出し鍵盤の撮像画角が所定の画角に整合した場合には鍵盤の画像および演奏する手の画像からなる実演奏画像を出力する画像処理手段(実施形態においては、図３の実画像処理部３に相当する)と、曲選択操作(実施形態においては、図１の操作部１０５のマウスによるディスプレイ１０４のアイコンスイッチ操作に相当する)に応じた曲に基づいて演奏指示画像を作成する指示画像作成手段(実施形態においては、図３の演奏指示・楽譜表示処理部７に相当する)と、指示画像作成手段で作成された演奏指示画像と画像処理手段から出力された実演奏画像とで合成する複数種類の合成画像(実施形態においては、図１３ないし図１７の合成画像に相当する)の中から表示選択操作(実施形態においては、図１の操作部１０５のマウスによるディスプレイ１０４のアイコンスイッチ操作に相当する)に応じた少なくとも１種類の合成画像を生成して所定の表示手段(実施形態においては、図１および図２のディスプレイ１０４に相当する)に出力する画像合成手段(実施形態においては、図３の画像表示部８に相当する)とを備えた構成になっている。
【０００７】
この場合において、指示画像作成手段は、作成する演奏指示画像を実演奏画像に合わせて調整するような構成にしてもよい。
また、指示画像作成手段は、作成する演奏指示画像における鍵盤の鍵域と実演奏画像における鍵盤の鍵域とが同一の範囲になるように作成する演奏指示画像を調整するように構成してもよい。
また、画像合成手段は、実演奏画像と演奏指示画像の一部とを重複して表示させる合成画像を出力するように構成してもよい。
また、画像合成手段は、演奏指示画像の一部を実演奏画像の上に重複して合成する前に実演奏画像における重複した画像領域が視認可能になるように演奏指示画像の一部を画像処理するように構成してもよい。
また、画像合成手段は、実演奏画像の上に重複するように演奏指示画像の一部を合成するように構成してもよい。
また、画像合成手段は、演奏指示の鍵に対応する演奏指示画像の一部を実演奏画像におけるその鍵の画像領域の上に重複するように合成する構成にしてもよい。
また、画像合成手段は、演奏指示の鍵および指の画像を含む演奏指示画像を実演奏画像の表示領域とは異なる表示領域に表示させる合成画像を出力するように構成してもよい。
また、画像合成手段は、実演奏画像における手の画像のみを演奏指示画像の上に重複するように合成する構成にしてもよい。
また、画像処理手段は、ベクトル画像処理によって撮像画像における各鍵の位置および音階を特定するように構成してもよい。
また、画像処理手段は、鍵盤の撮像画像２０において基準となる特定の鍵に添付された添付物(実施形態においては、図９の鍵に貼られたシールに相当する)の画像２０ａに基づいて撮像画像における各鍵の位置および音階を特定するように構成してもよい。
【０００８】
請求項１２に記載の演奏教習処理のプログラムは、所定の撮像手段(実施形態においては、図１のカメラ１０２に相当する)によって撮像された鍵盤(実施形態においては、図１の電子キーボード１０１の鍵盤に相当する)の撮像画像を画像処理して鍵盤の撮像画角が所定の画角に整合するか否かを判定する第１のステップと、第１のステップによって所定の画角に整合しないと判定された場合には撮像手段に対して送出する画角調整の制御指令を生成し所定の画角に整合したと判定された場合には撮像手段から得られた鍵盤の画像および演奏する手の画像からなる実演奏画像を画像処理する第２のステップと、曲選択操作(実施形態においては、図１の操作部１０５のマウスによるディスプレイ１０４のアイコンスイッチ選択操作に相当する)に応じた曲に基づいて演奏指示画像を作成する第３のステップと、第３のステップによって作成された演奏指示画像と第２のステップにより画像処理された実演奏画像とで合成する複数種類の合成画像の中から表示選択操作(実施形態においては、図１の操作部１０５のマウスによるディスプレイ１０４のアイコンスイッチ操作に相当する)に応じて少なくとも１種類の合成画像を生成して所定の表示手段(実施形態においては、図１のディスプレイ１０４に相当する)に対して送出する第４のステップとを有する。
【０００９】
【発明の実施の形態】
以下、本発明によるの実施形態について、図を参照して説明する。
図１は、本発明の演奏教習装置を適用したシステムの構成を示す図である。この図において、電子キーボード１０１は、ＭＩＤＩ対応の鍵盤演奏機器であり、ユーザによる鍵盤演奏に応じてＭＩＤＩデータを出力するとともに、外部から入力されるＭＩＤＩデータを自動演奏する。ユーザの演奏又は自動演奏によって、内部又は外部の音源およびサウンドシステムから曲が発音される。
カメラ１０２は、例えば、オートフォーカス機能やズーム機能などを備えた軽量小型のディジタルカメラで構成され、電子キーボード１０１の鍵盤の画像および演奏する手の画像を撮像する。また、カメラ１０２は、パソコンやワークステーションなどの汎用の情報処理装置との間で画像や指令を送受信する通信機能を具備しているので、撮像画像をその情報処理装置に出力することができる。
【００１０】
ＰＣ（パソコン）１０３は、電子キーボード１０１に接続されており、電子キーボード１０１から入力されるＭＩＤＩデータを処理する。また、ＰＣ１０３はカメラ１０２に接続されており、カメラ１０２から出力される撮像画像を処理するとともに、撮像画像の画角を調整する画角調整の制御指令を出力する。さらに、ＰＣ１０３は、ディスプレイ１０４とキーボードやマウスからなる操作部１０５とに接続され、表示画像をディスプレイ１０４に出力するとともに、操作部１０５の操作に応じてその操作指令を入力する。
【００１１】
上記した電子キーボード１０１やＰＣ１０３などが配置された台１０６には、着脱自在なカメラ支持のアングル１０７が取り付けられており、アングル１０７の先端部にはカメラ把持部１０８が固定されている。なお、ＰＣ１０３からの画角調整の制御指令は、画角調整機能を具備したカメラ１０２に直接出力する構成も可能であるし、画角調整機能を具備しないカメラの場合でも、軽量小型のカメラであれば、カメラ把持部１０８内に小型モータなどの画角調整駆動手段を組み込んで、ＰＣ１０３からの画角調整の制御指令に応じてカメラ把持部１０８がカメラ１０２の画角調整を行なう構成も可能である。
【００１２】
図２は、電子キーボード１０１を演奏する際のユーザの視界を表す図である。この図に示すように、ユーザの正面には、ディスプレイ１０４が配置されている。このシステムにおいては、ディスプレイ１０４の表示領域は３つの部分に分かれている。表示領域１０４ａは、演奏する曲の楽譜を表示する範囲である。表示領域１０４ｂは、演奏指示画像やカメラ１０２で撮像された演奏状態の画像すなわち実演奏画像を表示する範囲である。また、表示領域１０４ｃは、曲データの読込、演奏開始、演奏停止、テンポ変更などを行なうアイコンスイッチや、表示モードの設定、表示の拡大や縮小などを行なうアイコンスイッチが表示される。これらのアイコンスイッチは、操作部１０５のマウスによってオンされる。
【００１３】
図３は、図１におけるＰＣ１０３の詳細な構成およびシステムの接続状態を示すブロック図である。この図に基づいて、ＰＣ１０３の機能を中心に、システムの基本的な動作を説明する。画像入力デバイス１は、カメラ１０２から出力されたフレーム単位の撮像画像をソフトウェア２における実画像処理部３に一時的にストアする。このソフトウェア２は、ＲＯＭなどのメモリに格納された演奏教習処理のプログラムおよびワークエリアの各変数などを含むものである。また、実画像処理部３には、カメラ１０２から得られる画像をストアする実画像バッファおよびその画像に対して様々な画像処理を行なう作業用画像バッファ（これを「ｔｍｐ画像バッファ」という）がある。
【００１４】
なお、画像処理の詳細については後述するが、撮像画像としては、演奏する前にカメラ１０２の撮像画角を調整する段階での鍵盤の画像や、画角調整の制御指令をＰＣ３からカメラ１０２（又は、カメラ把持部１０８）に出力して、鍵盤の画像の撮像画角が図２に示したディスプレイ１０４の表示領域１０４ｂの範囲にきちんと収まる所定の画角になった後に、鍵盤の画像および演奏する手の画像からなる演奏状態を撮像した実演奏画像とがある。実演奏画像は、ユーザが図２に示したディスプレイ１０４の表示領域１０４ｃに表示されている演奏開始のアイコンスイッチをオンにすると、カメラ１０２から出力される。
【００１５】
曲メモリ４には、ハードディスクなどから読み込んだ演奏指示データ５および楽曲データ６がストアされている。演奏指示データ５は、曲の楽譜、今回演奏すべき鍵番号、次に演奏すべき鍵番号、および右手と左手の指の番号などで構成されている。この演奏指示データ５は、楽曲データ６の進行に同期して演奏指示・楽譜表示処理部７に一時的にストアされる。画像表示部８は、実画像処理部３および演奏指示・楽譜表示処理部７から得られる実演奏画像、演奏指示画像、楽譜画像を画像処理して合成画像を生成する。この場合において、楽譜画像は、図２の表示領域１０４ａの範囲に表示される。一方、実演奏画像と演奏指示画像とを合成した合成画像は、図２の表示領域１０４ｂ（一部は表示領域１０４ａ）の範囲に表示される。また、合成画像を表示する場合には、複数種類の合成画像中から操作部１０５による表示選択指令に応じて１つの種類の合成画像を生成して、表示デバイス９を介してディスプレイ１０４に出力する。
【００１６】
曲メモリ４における楽曲データ９すなわちＭＩＤＩデータは、ユーザの演奏開始の操作により、時間経過に伴ってＭＩＤＩ演奏処理部１０に読み出される。ＭＩＤＩ演奏処理部１０は、ＭＩＤＩデバイス１１を介して電子キーボード１０１にその楽曲データ９を出力して自動演奏をさせる。ＭＩＤＩ演奏処理部１０はまた、ＭＩＤＩデバイス１１を介して電子キーボード１０１においてユーザの演奏によるＭＩＤＩデータを入力し、演奏結果の評価などを行なう。
【００１７】
次に、ＰＣ１０３によって実行される演奏教習処理の詳細な動作について、そのプログラムのフローチャートやディスプレイ１０４に表示される画像などに基づいて説明する。
図１はメインフローチャートである。ユーザによるプログラム開始操作により、各デバイス、各変数（フラグやレジスタなど）、各バッファ、およびカメラ１０２の初期化を行なう（ステップＡ１）。初期化の後、鍵盤位置検出処理を実行する（ステップＡ２）。次に、操作があったか否かを判別し（ステップＡ３）、操作があったときは、その操作がプログラム終了操作であるか否かを判別する（ステップＡ４）。プログラム終了操作である場合にはこのフローを終了するが、他の操作である場合には、その操作内容に応じた操作処理を実行する（ステップＡ５）。操作処理の後、又は、操作がされなかった場合には、表示処理を実行する（ステップＡ６）。次に、その他の処理を実行して（ステップＡ７）、ステップＡ３に戻って操作の有無を判別する。
【００１８】
図５〜図７は、割り込み処理のフローチャートである。
図５は、ＭＩＤＩ入力による割り込み処理のフローであり、電子キーボード１０１の演奏によって、ノートオン（押鍵）があったか否かを判別し（ステップＢ１）、ノートオンがあったときは、該当する音階のノートオンフラグをたてる（ステップＢ２）。また、ノートオフ（離鍵）があったか否かを判別し（ステップＢ３）、ノートオフがあったときは、該当する音階のノートオンフラグをクリアする（ステップＢ４）。そして、メインフローに戻る。
【００１９】
図６は、画像入力による割り込み処理のフローであり、画像入力デバイス１を介してカメラ１０２から所定の間隔で入力される１フレームごとの画像入力に応じて、その入力された画像データを実画像処理部３の実画像バッファにストアする（ステップＣ１）。そして、メインフローに戻る。
【００２０】
図７は、楽曲データ６の自動演奏による割り込み処理のフローであり、演奏開始操作がなされると、所定の間隔で入力されるクロックによるタイマインタラプトに応じて、演奏状態を示すフラグｎｏｗｐｌａｙがＴＲＵＥ（演奏状態）であるか否かを判別する（ステップＤ１）。このフラグがＦＡＬＳＥ（演奏停止）である場合には、このフローを終了するが、このフラグがＴＲＵＥである場合には、演奏すべきデータがあるか否かを判別する（ステップＤ２）。
【００２１】
演奏すべきデータがある場合には、演奏開始からの経過時間ｔｋｔｉｍｅを算出する（ステップＤ３）。次に、算出したｔｋｔｉｍｅに応じたイベントポインタの操作すなわち新たなＭＩＤＩデータを読み出すためのアドレスの歩進、および読み出したイベント処理を行なう（ステップＤ４）。また、このイベント処理に応じて楽譜表示の更新を行なう（ステップＤ５）。次に、演奏動作表示の更新を行なう（ステップＤ６）。すなわち、演奏指示の表示を更新する。そして、メインフローに戻る。
ステップＤ２において、曲が終了して演奏すべきデータがない場合には、フラグｎｏｗｐｌａｙをＦＡＬＳＥに反転して（ステップＤ７）、メインフローに戻る。
【００２２】
図８は、メインフローにおけるステップＡ２の鍵盤位置検出処理のフローチャートである。まず、実画像バッファから画像データをｔｍｐ画像バッファにコピーする(ステップＥ１)。次に、減色処理やノイズ削除などのフィルタ処理を行なう（ステップＥ２）。減色処理は、鍵盤の画像から色成分を除去して白および黒の２値の画像を生成する。そして、その画像から黒色ベクトルの抽出を行なって（ステップＥ３）、黒色ベクトルの中から黒鍵ベクトルの検出を行なう（ステップＥ４）。
【００２３】
次に、白鍵ベクトルの基準長さの算出を行なう（ステップＥ５）。この算出では、画像の中央、右端、左端における白鍵ベクトルの長さを算出する。この算出においては、画像の中央、右端、左端における黒鍵ベクトル付近の画像から、白鍵に相当する白色ベクトルを抽出し、その黒鍵ベクトルに平行な成分を持つ白色ベクトルを算出する。次に、画像の中央、右端、左端において算出した３つの白色ベクトルを補正することにより、各白鍵に相当するベクトルの長さを算出して、白鍵ベクトルを算出する(ステップＥ６)。すなわち、検出した黒鍵ベクトルの配置および鍵盤の配置データから、黒鍵間にある白鍵に相当する白鍵ベクトルの位置を算出する。白鍵ベクトルの方向は、左右それぞれに近い黒鍵ベクトルを補正することにより算出し、長さはすでに求めた画像の右端および左端のベクトルの長さを補正することにより算出する。
以上の処理により、実画像中の鍵盤のベクトルである位置、向き、および長さが算出できる。図９は、鍵盤の撮像画像２０すなわち実画像から検出した黒鍵ベクトルおよび白鍵ベクトルの一部を示す図である。この図において、白い矢印が黒鍵ベクトルを表し、黒い矢印が白鍵ベクトルを表している。
【００２４】
次に、指定音階の鍵の検出を行ない、黒鍵ベクトルおよび白鍵ベクトルの音階割り当てを行なう(ステップＥ７)。この処理において、ユーザにより指定鍵に予め添付されているシールの画像２０ａをパターンマッチングにより画像から検出する。そして、そのシール位置に近い白鍵ベクトルを算出し、その白鍵を基準音階（例えば、Ｃ４）の鍵とする。この基準音階の白鍵ベクトルから、他の黒鍵ベクトルおよび白鍵ベクトルに対して音階を割り当てる。以上の処理により、実画像中の各鍵の音階、ベクトルすなわち位置、向き、および長さが算出できる。実演奏画像において、ユーザの押鍵した鍵、押鍵すべき鍵を示す画像などは、以上の処理によって算出した黒鍵ベクトル、白鍵ベクトルを元に、位置、サイズなどを計算して演奏指示画像を生成し、実演奏画像と合成する。
ただし、２つの画像を合成する前に、実画像（撮像画像）における鍵盤の位置、サイズ、角度と同じになるように、演奏指示画像における鍵盤の位置、サイズ、角度を黒鍵ベクトルおよび白鍵ベクトルを元に算出する(ステップＥ８)。そして、メインフローに戻る。
【００２５】
図１０は、メインフローにおけるステップＡ５の操作処理のフローチャートである。操作部１０５のマウスの操作によって、ディスプレイ１０４の表示領域１０４ｃのアイコンスイッチがオンされるとこのフローを実行する。
楽曲読み込みの操作がされたか否かを判別し(ステップＦ１)、この操作がされない場合には、演奏開始の操作がされたか否かを判別する(ステップＦ２)。この操作がされない場合には、演奏停止の操作がされたか否かを判別する(ステップＦ３)。この操作がされない場合には、操作に応じた処理を行なう(ステップＦ４)。
【００２６】
演奏停止状態において、演奏開始の操作がされたときは、演奏開始処理を行い、フラグｎｏｗｐｌａｙにＴＲＵＥ（演奏状態）をストアする(ステップＦ５)。演奏状態において、演奏停止処理の操作がされたときは、演奏停止処理を行なって、ｎｏｗｐｌａｙにＦＡＬＳＥ（演奏停止）をストアする(ステップＦ６)。
また、ステップＦ１において、楽曲読み込みの操作がされたときは、楽曲データの読み込みを行い(ステップＦ７)、運指、演奏動作生成処理を行なう(ステップＦ８)。さらに、楽譜データ作成処理を行なう(ステップＦ９)。
ステップＦ４の処理の後、ステップＦ５の演奏開始処理の後、ステップＦ６の演奏停止処理の後、又は、ステップＦ９の楽譜データ作成処理の後は、メインフローに戻る。
【００２７】
図１１および図１２は、メインフローにおけるステップＡ６の表示処理のフローチャートである。まず、図１１において、ｔｍｐ画像バッファに実画像バッファの画像をコピーする(ステップＧ１)。すなわち、画像入力デバイス１を介してカメラ１０２から得られた実演奏画像を実画像バッファからｔｍｐ画像バッファに転送する。
次に、実演奏画像と演奏指示画像との複数種類の合成画像の中から、操作部１０５からの表示選択指令によって選択された表示モードが、表示１、表示２、表示３、又は表示４のいずれかに応じて、複数種類の合成画像の中から１つの合成画像を生成して表示画像として出力する。
【００２８】
選択された表示モードが表示１であるか否かを判別し(ステップＧ２)、表示１である場合には、演奏指示画像の作成を行う(ステップＧ３)。すなわち、演奏指示データ５に応じて、押鍵指示の画像を含む鍵盤の画像、および押鍵する指の画像を含む手の運指画像を作成する。次に、ｔｍｐ画像バッファに、ノートオンフラグから押鍵されている鍵盤部分に、押鍵を示す画像を合成する(ステップＧ４)。さらに、ｔｍｐ画像バッファに、押鍵すべき鍵、次に押鍵すべき鍵を示す画像を合成する(ステップＧ５)。そして、ｔｍｐ画像バッファの演奏指示画像と実演奏画像とを上下に並べて表示出力する(ステップＧ６)。
【００２９】
この場合には、図２に示したディスプレイ１０４の表示領域１０４ｂに、図１３に示すような、鍵盤の画像２０、左手の画像２１、右手の画像２２を含む実演奏画像を表示する。また、図２に示したディスプレイ１０４の表示領域１０４ａに、図１４に示すような、演奏指示画像を表示する。
図１４の演奏指示画像には、鍵盤の画像２３、左手の運指画像２４、右手の運指画像２５が表示される。また、左手の運指画像２４および右手の運指画像２５には、押鍵すべき左手の指を表す赤（図では網点）マークの画像２６、押鍵すべき右手の指を表す赤（図では網点）マークの画像２７がそれぞれ表示され、押鍵すべき鍵２８および２９を赤（図では網点）で表す画像、次に押鍵すべき鍵３０を例えば青（図ではハッチング）で表す画像が表示される。
さらに、図１３の実演奏画像においても、押鍵すべき鍵の上に赤（図では網点）マークの画像２８および２９を合成し、次に押鍵すべき鍵の上に青（図ではハッチング）マークの画像３０を合成する。
【００３０】
表示モードが表示１でない場合には、選択された表示モードが表示２であるか否かを判別し(ステップＧ７)、表示２である場合には、演奏指示画像の作成を行う(ステップＧ８)。次に、ｔｍｐ画像バッファに、ノートオンフラグから押鍵されている鍵盤部分に、押鍵を示す画像を合成する(ステップＧ９)。
さらに、ｔｍｐ画像バッファに、押鍵すべき鍵、次に押鍵すべき鍵を示す画像を合成する(ステップＧ１０)。そして、ｔｍｐ画像バッファの画像上に、演奏指示画像を半透明で合成して、表示出力する(ステップＧ１１)。
【００３１】
この場合には、図１５に示すように、鍵盤の画像２０、左手の画像２１、右手の画像２２を含む実演奏画像の上に、押鍵すべき指を赤（図では網点）マークの画像２６で表した左手の運指画像２４、押鍵すべき指を赤（図では網点）マークの画像２７で表した右手の運指画像２５、押鍵すべき鍵２８および２９を赤（図では網点）で表す画像、次に押鍵すべき鍵３０を青（図ではハッチング）で表す画像が半透明で合成して表示される。
【００３２】
表示モードが表示１および表示２でない場合には、図１２のフローにおいて、選択された表示モードが表示３であるか否かを判別し(ステップＧ１２)、表示３である場合には、演奏指示画像の作成を行う(ステップＧ１３)。次に、ｔｍｐ画像バッファの画像から手の部分のみを切り取った画像を作成し、３次元（３Ｄ）表示に重ね合わせて表示出力する(ステップＧ１４)。
【００３３】
この場合には、図１６に示すように、鍵盤の画像２３、押鍵すべき指を赤（図では網点）マークの画像２６で表した左手の運指画像２４、押鍵すべき指を赤（図では網点）マークの画像２７で表した右手の運指画像２５、押鍵すべき鍵２８および２９を赤（図では網点）で表す画像、次に押鍵すべき鍵３０を青（図ではハッチング）で表す演奏指示画像の上に、実演奏画像から切り取った左手の画像２１および右手の画像２２が合成して表示される。
【００３４】
表示モードが表示１、表示２、および表示３でない場合には、選択された表示モードは表示４であるので、手のみの画像からなる演奏指示画像を作成する (ステップＧ１５)。次に、ｔｍｐ画像バッファに、ノートオンフラグから押鍵されている鍵盤部分に、押鍵を示す画像を合成する(ステップＧ１６)。さらに、ｔｍｐ画像バッファに、押鍵すべき鍵、次に押鍵すべき鍵を示す画像を合成する(ステップＧ１７)。そして、ｔｍｐ画像バッファに３次元の手のみを合成して表示出力する(ステップＧ１８)。
【００３５】
この場合には、図１７に示すように、鍵盤の画像２０、左手の画像２１、右手の画像２２を含む実演奏画像の上に、押鍵すべき指の画像２６を含む左手の運指画像２４、押鍵すべき指の画像２７を含む右手の運指画像２５、押鍵すべき鍵を指示する画像２８、２９、次に押鍵すべき鍵を指示する画像３０が合成される。各表示モードに対応する表示出力を行なった後は、楽譜、操作子であるアイコンスイッチなどの表示出力を行なう(ステップＧ１９)。
【００３６】
以上のように、上記実施形態によれば、カメラ１０２は、電子キーボード１０１の鍵盤の画像を撮像した撮像画像をＰＣ１０３に出力する。ＰＣ１０３は、画像入力デバイス１を介して、その撮像画像をソフトウェア２の実画像処理部３の実画像バッファにストアする。実画像処理部３は、その撮像画像をｔｍｐ画像バッファに転送して画像処理を行い、鍵盤の撮像画角が所定の画角に整合しない場合には、画角調整の制御指令をカメラ１０２に対して送出する。カメラ１０２は、この制御指令に応じて鍵盤の撮像画角を調整して、再び鍵盤の撮像画像をＰＣ１０３に出力する。
【００３７】
カメラ１０２とＰＣ１０３との間で、鍵盤の撮像画像と画角調整の制御指令とを互いに送信した結果、鍵盤の撮像画角が所定の画角に整合した場合には、実画像処理部３は、その撮像画角を実画像バッファからｔｍｐ画像バッファに転送して、その後の画像処理の画角として設定する。ＰＣ１０３は、操作部１０５のマウスによって、ディスプレイ１０４の演奏開始のアイコンスイッチがオンされた後は、演奏開始からの経過時間ｔｋｔｉｍｅに伴って、カメラ１０２から出力される鍵盤の画像および演奏する手の画像からなる実演奏画像を１フレームごとに取得して、実画像処理部３の実画像バッファにストアする。実画像処理部３は、その１フレームごとの実演奏画像を実画像バッファからｔｍｐ画像バッファに転送して、画像合成のための画像処理を行って画像表示部８に出力する。
【００３８】
ＰＣ１０３はまた、操作部１０５から演奏開始指令が入力されたときは、曲選択操作に応じた曲に基づいて、楽曲データ６をＭＩＤＩ演奏処理部１０に読み出し、演奏指示データ５を演奏指示・楽譜表示部７に読み出す。演奏指示・楽譜表示部７は、ｔｋｔｉｍｅに伴って、実演奏画像と時間的に同期した演奏指示画像を生成して画像表示部８に出力する。
【００３９】
画像表示部８は、演奏指示・楽譜表示部７作成された演奏指示画像と実画像処理部３から出力された実演奏画像とで合成する複数種類の合成画像の中から、予め操作部１０５から入力されている表示選択操作に応じた少なくとも１種類の合成画像を生成して、表示デバイス９を介して、ディスプレイ１０４に出力する。
【００４０】
したがって、煩雑な画角調整操作を必要とすることなく、演奏する鍵盤の画像と演奏指示画像との整合を自動的に行うとともに、複数種類の合成画像を用意することにより、様々なユーザの性格や好みに適応した演奏教習ができる。
【００４１】
この場合において、演奏指示・楽譜表示処理部７は、作成する演奏指示画像を実演奏画像に合わせて調整して合成する。例えば、２つの画像の画角において対角する２つ角の座標を合わせて合成する。したがって、合成画像にずれが生じない。
また、演奏指示・楽譜表示処理部７は、作成する演奏指示画像における鍵盤の鍵域と実演奏画像における鍵盤の鍵域とが同一の範囲になるように作成する演奏指示画像を調整する。したがって、押鍵すべき鍵を指示する赤および青マークの画像で表した画像２８、２９および３０の位置と、実演奏画像における対応する鍵の位置にずれが生じない。
【００４２】
また、画像表示部８は、実演奏画像と演奏指示画像の一部とを重複して表示させる合成画像を出力する。すなわち、図１３、図１５、および図１７に示すように、鍵盤の画像２０の上に押鍵すべき鍵を指示する赤および青マークの画像で表した画像２８、２９および３０を重複して表示させ、演奏する手の画像２１、２２の上又は下に運指画像２４、２５を重複して表示させる。したがって、ユーザは、鍵盤および自分の手の画像と演奏指示画像とを同一画面で見ながら演奏練習をすることにより、効果的な演奏指示を受けることができる。
【００４３】
この場合において、画像表示部８は、操作部１０５によって表示２の表示モードが選択された場合には、演奏指示画像の一部を実演奏画像の上に重複して合成する前に、実演奏画像における重複した画像領域が視認可能になるように演奏指示画像の一部を画像処理する。すなわち、図１５に示すように、鍵盤および自分の手の画像の上に合成する演奏指示画像を半透明の画像に処理して合成する。したがって、合成する一方の画像によって他方の画像が隠れるのを好まないユーザにとっては、効果的な演奏指示を受けることができる。
【００４４】
また、画像表示部８は、操作部１０５によって表示４の表示モードが選択された場合には、実演奏画像の上に重複するように運指画像を合成する。すなわち、図１７に示すように、左手および右手の実演奏画像２１、２２の上に、運指画像２４、２５を重ねて表示させる。したがって、自分の手の動きよりも運指画像に注目するのを好むユーザにとっては、効果的な演奏指示を受けることができる。
【００４５】
また、画像表示部８は、操作部１０５によって表示１又は表示２の表示モードが選択された場合には、押鍵すべき鍵に対応するマークの画像を実演奏画像におけるその鍵の画像領域の上に重複するように合成する。すなわち、図１３、図１５に示すように、マークの画像２８、２９、３０を実演奏画像におけるその鍵の画像位置に重ねて表示させる。したがって、ユーザは実演奏画像を見ながら、押鍵すべき鍵を明確に認識することができる。
【００４６】
また、画像表示部８は、操作部１０５によって表示１の表示モードが選択された場合には、演奏指示の鍵および指の画像を含む演奏指示画像を実演奏画像の表示領域とは異なる表示領域に表示させる合成画像を出力する。すなわち、図１３に示す実演奏画像は、図２に示したディスプレイ１０４の表示領域１０４ｂに表示させる。一方、図１４に示す演奏指示画像は、ディスプレイ１０４の表示領域１０４ａに表示させる。したがって、実演奏画像と演奏指示画像とを別々に見ながら演奏練習をしたいユーザにとっては、効果的な演奏指示を受けることができる。
【００４７】
また、画像表示部８は、操作部１０５によって表示３の表示モードが選択された場合には、実演奏画像における手の画像のみを演奏指示画像の上に重複するように合成する。すなわち、図１６に示すように、鍵盤の演奏指示画像２３の上に運指画像２５、２６を合成し、さらにその上に演奏する手の撮像画像２１、２２を合成する。したがって、位置や輪郭が明確な演奏指示画像とともに、演奏する手の画像を見ながら演奏練習をしたいユーザにとっては、効果的な演奏指示を受けることができる。
【００４８】
また、上記実施形態において、実画像処理部３は、ベクトル画像処理によって撮像画像における各鍵の位置および音階を特定する。具体的には、図８のフローチャートおよび図９に示すように、鍵盤の撮像画像２０をフィルタ処理して白黒に２値化し、黒色ベクトルを抽出して黒鍵を特定し、この黒鍵に基づいて白鍵ベクトルを算出して白鍵を特定する。そして、各鍵の音階を特定する。
この場合において、実画像処理部３は、鍵盤の撮像画像２０において基準となる特定の鍵（音階がＣ４の鍵）に添付されたシールの画像２０ａに基づいて撮像画像における各鍵の位置および音階を特定する。
【００４９】
なお、上記実施形態においては、演奏教習装置を構成するＰＣ１０３に予め格納されているプログラムに基づいて、演奏教習処理を実行する構成にしたが、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭなどの外部記憶媒体に記憶されたプログラムや、インターネットなどの通信網を介してダウンロードしたプログラムをＰＣ１０３にインストールして、演奏教習処理を実行する構成も可能である。この場合には、プログラムの発明を実現する。
【００５０】
その演奏教習処理のプログラムは、所定の撮像手段によって撮像された鍵盤の撮像画像を画像処理して鍵盤の撮像画角が所定の画角に整合するか否かを判定する第１のステップと、第１のステップによって所定の画角に整合しないと判定された場合には撮像手段に対して送出する画角調整の制御指令を生成し所定の画角に整合したと判定された場合には撮像手段から得られた鍵盤の画像および演奏する手の画像からなる実演奏画像を画像処理する第２のステップと、曲選択操作に応じた曲に基づいて演奏指示画像を作成する第３のステップと、第３のステップによって作成された演奏指示画像と実演奏画像とを合成する複数種類の合成画像の中から表示選択操作に応じて少なくとも１種類の合成画像を生成して所定の表示手段に対して送出する第４のステップとを有する。
【００５１】
【発明の効果】
本発明によれば、撮像手段から出力された鍵盤の画像を撮像した撮像画像の撮像画角が所定の画角に整合しない場合には、画角調整の制御指令を送出し、撮像画角が所定の画角に整合した場合には、鍵盤の画像および演奏する手の画像からなる実演奏画像と、曲選択操作に応じた曲に基づいて作成された演奏指示画像とで合成する複数種類の合成画像の中から、表示選択操作に応じた少なくとも１種類の合成画像を生成して、所定の表示手段に出力するので、煩雑な画角調整操作を必要とすることなく、実演奏画像と演奏指示画像との整合を自動的に行うとともに、様々なユーザの性格や好みに適応した演奏教習ができるという効果が得られる。
【図面の簡単な説明】
【図１】本発明の演奏教習装置を適用したシステムの構成を示す図。
【図２】図１のシステムにおいて電子キーボードを演奏する際のユーザの視界を表す図。
【図３】図１におけるＰＣの詳細な構成およびシステムの接続状態を示すブロック図。
【図４】ＰＣのメインフローチャート。
【図５】ＭＩＤＩ入力による割り込み処理のフローチャート。
【図６】画像入力による割り込み処理のフローチャート。
【図７】楽曲データの自動演奏による割り込み処理のフローチャート。
【図８】メインフローチャートにおける鍵盤位置検出処理のフローチャート。
【図９】図８の処理によって実画像から検出した黒鍵ベクトルおよび白鍵ベクトルの一部を示す図。
【図１０】メインフローチャートにおける操作処理のフローチャート。
【図１１】メインフローチャートにおける表示処理のフローチャート。
【図１２】図１１に続く表示処理のフローチャート。
【図１３】本発明の実施形態によって合成された複数種類の合成画像の中で第１の表示モードによる合成画像の実演奏画像を示す図。
【図１４】本発明の実施形態によって合成された複数種類の合成画像の中で第１の表示モードによる合成画像の演奏指示画像を示す図。
【図１５】本発明の実施形態によって合成された複数種類の合成画像の中で第２の表示モードによる合成画像を示す図。
【図１６】本発明の実施形態によって合成された複数種類の合成画像の中で第３の表示モードによる合成画像を示す図。
【図１７】本発明の実施形態によって合成された複数種類の合成画像の中で第４の表示モードによる合成画像を示す図。
【符号の説明】
１  画像入力デバイス
３  実画像処理部
５  演奏指示データ
６  楽曲データ
７  演奏指示・楽譜表示部
８  画像表示部
９  表示デバイス
１０  ＭＩＤＩ演奏処理部
１１  ＭＩＤＩデバイス
２０  鍵盤の撮像画像
２１、２２  演奏する手の撮像画像
２３  演奏指示画像における鍵盤の画像
２４、２５、２６、２７  演奏指示画像における運指画像
２８、２９、３０  演奏指示画像における押鍵指示画像
１０１  電子キーボード
１０２  カメラ
１０３  ＰＣ
１０４  ディスプレイ
１０５  操作部
１０７  カメラ支持のアングル
１０８  カメラ把持部
【図１】
2004198761.tif 000003
【図２】
2004198761.tif 000004
【図３】
2004198761.tif 000005
【図４】
2004198761.tif 000006
【図５】
2004198761.tif 000007
【図６】
2004198761.tif 000008
【図７】
2004198761.tif 000009
【図８】
2004198761.tif 000010
【図９】
2004198761.tif 000011
【図１０】
2004198761.tif 000012
【図１１】
2004198761.tif 000013
【図１２】
2004198761.tif 000014
【図１３】
2004198761.tif 000015
【図１４】
2004198761.tif 000016
【図１５】
2004198761.tif 000017
【図１６】
2004198761.tif 000018
【図１７】
2004198761.tif 000019