(57)【要約】      （修正有）【課題】自動演奏を行いながら、演奏者が演奏しているというリアル感をユーザに与えることが可能となる演奏装置およびその制御方法を実現するプログラムを提供する。【解決手段】演奏装置は、電子楽器およびヘッド・マウント・ディスプレイ（ＨＭＤ）によって構成され、電子楽器側で自動演奏を行い、その自動演奏に同期した演奏画像を生成し、生成した演奏画像をＨＭＤに送信することで、ＨＭＤの表示器に演奏画像を表示させるようにしている。演奏画像は、主として、バーチャルな演奏者が自動演奏によって発音される音高の鍵を押鍵する様子を表す画像である。演奏画像は、位置検出信号発信デバイスおよび位置検出信号受信デバイスによって検出された、ＨＭＤと電子楽器との相対位置に応じて、その描画角度が変更される。【選択図】図１
2007271698.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの視点を直接的または間接的に検出する視点検出手段と、
ユーザの目の近傍に装着される表示手段と、
自動演奏データを再生することにより、自動演奏を行う自動演奏手段と、
該自動演奏手段による自動演奏と同期して、演奏画像を生成する演奏画像生成手段と、
該演奏画像生成手段によって生成された演奏画像の描画角度を、前記視点検出手段によって検出されたユーザの視点に応じて変更し、描画角度の変更された演奏画像を前記表示手段に表示させるように制御する制御手段と
を有することを特徴とする演奏装置。
【請求項２】
前記演奏画像は、リアルなまたはバーチャルな楽器をバーチャルな演奏者が演奏しているものであることを特徴とする請求項１に記載の演奏装置。
【請求項３】
自動演奏データを再生することにより、自動演奏を行う自動演奏モジュールと、
該自動演奏モジュールによる自動演奏と同期して、演奏画像を生成する演奏画像生成モジュールと、
該演奏画像生成モジュールによって生成された演奏画像の描画角度を、ユーザの視点を直接的または間接的に検出する視点検出手段によって検出されたユーザの視点に応じて変更し、描画角度の変更された演奏画像を、ユーザの目の近傍に装着される表示手段に表示させるように制御する制御モジュールと
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、演奏者の目の近傍に取り付けた表示器に演奏に関する動画像を表示する演奏装置およびその制御方法を実現するプログラムに関する。
【背景技術】
【０００２】
演奏者の目の近傍に取り付けた表示器に演奏に関する動画像を表示する演奏装置は、従来から知られている。
【０００３】
このような演奏装置として、ヘッド・マウント・ディスプレイにリアルな電子楽器とバーチャルな演奏支援情報を映し出し、演奏者は、演奏支援情報を参照しながらリアルな電子楽器を演奏することで、演奏練習を行うようにしたものがある（たとえば、特許文献１参照）。
【特許文献１】特開２００２−３６６１４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、電子楽器には、自動演奏機能がついているものが多く、そのユーザは、自動演奏機能を用いて、好みの楽曲データの自動演奏を楽しむことができる。
【０００５】
しかし、自動演奏は、ユーザの聴覚に訴えるものであり、視覚に訴えるものではないので、自動演奏を聴くことで、演奏者が演奏しているというリアル感をユーザに与えることはできなかった。
【０００６】
また、上記従来の演奏装置では、演奏練習のために、リアルな鍵盤画像に、手の形をした、バーチャルな演奏支援情報が合成されるだけであり、この従来の演奏装置によっても、演奏者が演奏しているというリアル感をユーザに与えることはできなかった。
【０００７】
本発明は、この点に着目してなされたものであり、自動演奏を行いながら、演奏者が演奏しているというリアル感をユーザに与えることが可能となる演奏装置およびその制御方法を実現するプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、請求項１に記載の演奏装置は、ユーザの視点を直接的または間接的に検出する視点検出手段と、ユーザの目の近傍に装着される表示手段と、自動演奏データを再生することにより、自動演奏を行う自動演奏手段と、該自動演奏手段による自動演奏と同期して、演奏画像を生成する演奏画像生成手段と、該演奏画像生成手段によって生成された演奏画像の描画角度を、前記視点検出手段によって検出されたユーザの視点に応じて変更し、描画角度の変更された演奏画像を前記表示手段に表示させるように制御する制御手段とを有することを特徴とする。
【０００９】
好ましくは、前記演奏画像は、リアルなまたはバーチャルな楽器をバーチャルな演奏者が演奏しているものであることを特徴とする。
【００１０】
上記目的を達成するため、請求項３に記載のプログラムは、請求項１と同様の技術的思想によって実現できる。
【発明の効果】
【００１１】
請求項１または３に記載の発明によれば、自動演奏データを再生することにより、自動演奏がなされ、この自動演奏と同期して、演奏画像が生成され、該生成された演奏画像の描画角度が、視点検出手段によって検出されたユーザの視点に応じて変更され、描画角度の変更された演奏画像が、ユーザの目の近傍に装着される表示手段に表示されるので、自動演奏のリアル感をユーザに与えることが可能となる。
【００１２】
また、請求項２に記載の発明によれば、演奏画像は、リアルなまたはバーチャルな楽器をバーチャルな演奏者が演奏しているものであるので、演奏者が演奏しているという、より一層のリアル感をユーザに与えることが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
【００１４】
図１は、本発明の一実施の形態に係る演奏装置の概略構成を示すブロック図であり、本実施の形態の演奏装置は、電子楽器１００およびヘッド・マウント・ディスプレイ（以下、「ＨＭＤ」と略して言う）２００によって構成されている。
【００１５】
同図に示すように、電子楽器１００は、音高情報を入力するための鍵盤を含む演奏操作子１と、各種情報を入力するための複数のスイッチを含む設定操作子２と、演奏操作子１の操作状態を検出する検出回路３と、設定操作子２の操作状態を検出する検出回路４と、ＨＭＤ２００に対して位置検出信号を発信する位置検出信号発信デバイス５と、装置全体の制御を司るＣＰＵ６と、該ＣＰＵ６が実行する制御プログラムや、各種テーブルデータ等を記憶するＲＯＭ７と、自動演奏データ、各種入力情報および演算結果等を一時的に記憶するＲＡＭ８と、タイマ割込み処理における割込み時間や各種時間を計時するタイマ９と、各種情報等を表示する、たとえば液晶ディスプレイ（ＬＣＤ）および発光ダイオード（ＬＥＤ）等を備えた表示装置１０と、前記制御プログラムを含む各種アプリケーションプログラムや各種自動演奏曲データ、ＨＭＤ２００の表示器２０３上にバーチャルな演奏者の動画像を表示させるために使用される多数の画像データ、各種データ等を記憶する外部記憶装置１１と、外部からのＭＩＤＩ（Musical Instrument Digital Interface）メッセージを入力したり、ＭＩＤＩメッセージを外部に出力したりするＭＩＤＩインターフェース（Ｉ／Ｆ）１２と、ＨＭＤ２００と信号の送受信を行うＨＭＤインターフェース（Ｉ／Ｆ）１３と、演奏操作子１から入力された演奏データや予め設定された自動演奏データ等を楽音信号に変換する音源回路１４と、該音源回路１４からの楽音信号に各種効果を付与するための効果回路１５と、該効果回路１５からの楽音信号を音響に変換する、たとえば、ＤＡＣ（Digital-to-Analog Converter）やアンプ、スピーカ等のサウンドシステム１６とにより構成されている。
【００１６】
上記構成要素３〜１５は、バス１７を介して相互に接続され、ＣＰＵ６にはタイマ９が接続され、ＭＩＤＩＩ／Ｆ１２には他のＭＩＤＩ機器３００が接続され、ＨＭＤＩ／Ｆ１３にはＨＭＤ２００が接続され、音源回路１４には効果回路１５が接続され、効果回路１５にはサウンドシステム１６が接続されている。ここで、ＨＭＤＩ／Ｆ１３は、本実施の形態では、有線方式のものを採用しているが、これに限らず、無線方式のものであってもよい。また、両方式のものを備えていてもよい。
【００１７】
外部記憶装置１１としては、たとえば、フレキシブルディスクドライブ（ＦＤＤ）、ハードディスクドライブ（ＨＤＤ）、ＣＤ−ＲＯＭドライブおよび光磁気ディスク（ＭＯ）ドライブ等を挙げることができる。そして、外部記憶装置１１には、前述のように、ＣＰＵ６が実行する制御プログラムも記憶でき、ＲＯＭ７に制御プログラムが記憶されていない場合には、この外部記憶装置１１に制御プログラムを記憶させておき、それをＲＡＭ８に読み込むことにより、ＲＯＭ７に制御プログラムを記憶している場合と同様の動作をＣＰＵ６にさせることができる。このようにすると、制御プログラムの追加やバージョンアップ等が容易に行える。
【００１８】
また、外部記憶装置１１には、前述のように、バーチャルな演奏者の動画像を表示するための多数の画像データが記憶されている。バーチャルな演奏者の動画像は、たとえば、演奏者の人体を複数のパーツ（頭、手、足、胴など）に分け、各パーツを連結することにより、フレーム毎に１つの静止画像を生成し、複数フレームの静止画像を補間しながら順次繋げて行くことによって生成する。そして、複数のパーツのそれぞれに対して、複数の画像データが予め作成され、外部記憶装置１１に記憶されている。たとえば、手の画像データとしては、押鍵する指の状態（１本の指で押鍵する場合には、左手または右手のどちらのどの指で押鍵するか、複数の指で押鍵する場合には、左手または右手の一方、あるいは両方の手のどの指を使って押鍵するか、など）に応じた数の画像データが記憶されている。なお、手の画像データのそれぞれは、音高のシーケンスと対応付けられ、自動演奏データのキーオンイベントが読み出されると、そのキーオンイベントとその直前に読み出された所定数のキーオンイベントが示す音高のシーケンスに対応付けられた、手の画像データが直ちに読み出される。また、各パーツの画像データは、それぞれ相互に対応付けられ、手の画像データが読み出されると、その手の画像データに対応する、他のパーツの画像データも、直ちに読み出される。このようにして読み出された各パーツの画像データを結合すると、１人のバーチャルな演奏者が、読み出されたキーオンイベントによって示される音高を押鍵している画像データが生成される。
【００１９】
図２は、電子楽器１００およびＨＭＤ２００の外観を示す図である。
【００２０】
同図に示すように、本実施の形態では、ＨＭＤ２００として、めがねタイプのものを採用している。もちろん、ユーザの目の近傍に装着できるものであれば、これに限らず、たとえばゴーグルタイプのものなど、どのようなものであってもよい。ＨＭＤ２００は、めがねのレンズを取り付けるための直線状のフレームの両端と左右のレンズの境に取り付けられた、３つの位置検出信号受信デバイス２０１と、上記直線状のフレームの中心部に取り付けられた撮像装置（カメラ）２０２と、めがねのレンズ状に形成された表示器２０３とを備えている。
【００２１】
表示器２０３は、表示画面が透けて、後ろにあるリアルな物体が見えるシースルーモードと、表示画面が透けない通常モードの２種類のモードを備え、いずれかのモードを選択できるように構成されている。
【００２２】
撮像装置２０２は、主として、表示器２０３の通常モードが選択された場合に、ＨＭＤ２００の外にある物体を撮像し、画像認識をして、表示器２０３に映すためのものである。なお、撮影された外の物体は、画像認識せずに、そのまま表示器２０３に映し出すようにしてもよい。
【００２３】
電子楽器１００は、通常の電子鍵盤楽器であるが、パネル面の３箇所には、位置検出信号発信デバイス５が取り付けられている。位置検出信号受信デバイス２０１は、位置検出信号受信デバイス２０１と協働して、ＨＭＤ２００の電子楽器１００に対する相対位置を検出する。位置検出信号発信デバイス５および位置検出信号受信デバイス２０１は、ＨＭＤ２００の電子楽器１００に対する相対位置を検出できるものであれば、検出する方式は問わないが、たとえば、磁気式、電波式、光学式などが考えられる。なお、本実施の形態では、位置検出信号発信デバイス５および位置検出信号受信デバイス２０１は、それぞれ、複数個取り付けられているが、これは、専ら位置検出の精度を高めるためであり、位置検出信号発信デバイス５および位置検出信号受信デバイス２０１の組毎に、異なった制御を行っている訳ではない。したがって、検出精度を問題にしないのであれば、位置検出信号発信デバイス５および位置検出信号受信デバイス２０１は、１つずつ設けておけばよい。なお、位置検出信号発信デバイス５および位置検出信号受信デバイス２０１をそれぞれ複数個設けた場合、位置検出信号発信デバイス５および位置検出信号受信デバイス２０１の組毎に、異なった制御を行うようにして、相対位置をさらに精度よく検出するようにしてもよい。また、本実施の形態では、位置検出信号発信デバイス５を電子楽器１００側に、位置検出信号受信デバイス２０１をＨＭＤ２００側に取り付けるようにしたが、これとは逆に、位置検出信号発信デバイス５をＨＭＤ２００側に、位置検出信号受信デバイス２０１を電子楽器１００側に取り付けるようにしてもよい。
【００２４】
以上のように構成された演奏装置が実行する制御処理を、まずその概要を説明し、次に図３〜図９を参照して詳細に説明する。
【００２５】
本実施の形態の演奏装置は、電子楽器１００側で自動演奏を行い、その自動演奏に同期した演奏画像を生成し、生成した演奏画像をＨＭＤ２００に送信することで、ＨＭＤ２００の表示器２０３に演奏画像を表示させるようにしている。演奏画像は、主として、バーチャルな演奏者が自動演奏によって発音される音高の鍵を押鍵する様子を表す画像である。ただし、登場人物や演奏場所、楽器画像などは、演奏環境設定により、自由に設定できるので、登場人物なし、つまり、バーチャルな演奏者が登場しない演奏画像も表示することができる。演奏画像内には、電子楽器１００が常に登場するが、登場する電子楽器１００は、ＨＭＤ２００の表示器２０３を透過したもの、ＨＭＤ２００の撮像装置２０２で撮像したもの、撮像装置２０２で撮像したものを画像認識し、その認識結果に基づいてアニメーション化したもののいずれかを選択して、演奏画像内に取り込むことができる。この選択も、演奏環境設定によってなされる。演奏画像は、位置検出信号発信デバイス５および位置検出信号受信デバイス２０１によって検出された、ＨＭＤ２００と電子楽器１００との相対位置に応じて、その描画角度が変更される。これにより、ユーザが頭を前後左右に動かすと、それに応じてＨＭＤ２００も前後左右に動き、ＨＭＤ２００と電子楽器１００との相対位置が変化するので、演奏画像の描画角度が変更される。たとえば、バーチャルな演奏者が１人登場した場合、ユーザが頭を左に向けると、ユーザの左側でバーチャルな演奏者が電子楽器１００を弾いている演奏画像が表示器２０３に表示される一方、ユーザが頭を右に向けると、ユーザの右側でバーチャルな演奏者が電子楽器１００を弾いている演奏画像が表示器２０３に表示される。
【００２６】
このように、本実施の形態では、自動演奏による楽音の発音に同期して、主として、バーチャルな演奏者が電子楽器１００を演奏している演奏画像がＨＭＤ２００の表示器２０３に表示され、その演奏画像は、ユーザの頭の動き、つまりＨＭＤ２００の動きに応じて描画角度が変更されて表示されるので、自動演奏を行いながら、演奏者が演奏しているというリアル感をユーザに与えることが可能となる。
【００２７】
次に、この制御処理を詳細に説明する。
【００２８】
図３は、電子楽器１００、特にＣＰＵ３が実行するメインルーチンの手順を示すフローチャートであり、本メインルーチンは、本実施の形態の演奏装置の電源がオンされたときに起動され、実行される。
【００２９】
本メインルーチンでは、
（１）初期化処理（ステップＳ１）
（２）パネル設定処理（ステップＳ２）
（３）特殊処理（ステップＳ３）
（４）楽音信号生成処理（ステップＳ４）
（５）発音処理（ステップＳ５）
（６）表示処理（ステップＳ６）
の各処理が順次実行された後、（２）〜（６）の処理が繰り返し実行される。
【００３０】
上記（１）の初期化処理では、ＲＡＭ８のクリア、表示装置１０の表示バッファ（図示せず）や音源回路１４の各種レジスタ（図示せず）、ＨＭＤＩ／Ｆ１３の初期設定などを行う。
【００３１】
図４は、上記（２）のパネル設定処理の詳細な手順を示すフローチャートである。
【００３２】
同図に示すように、この（２）パネル設定処理では、自動演奏関連機能が選択された場合、選択された機能に応じて、
（ａ）選択された曲の設定（ステップＳ１４）
（ｂ）チャンネルの変更（ステップＳ１６）
（ｃ）演奏環境の設定（ステップＳ１８）
（ｄ）演奏データの読み出し開始（ステップＳ２０）
（ｅ）再生停止（ステップＳ２２）
（ｆ）その他自動演奏関連の設定（ステップＳ２３）
の各処理を行う。なお、（２）パネル設定処理は、自動演奏関連機能以外の機能の設定も行うが、その機能の設定は、本発明の特徴ではないので、その他設定としてまとめ（ステップＳ２４）、その説明は省略する。
【００３３】
上記（ａ）の選択された曲の設定とは、ユーザが自動演奏曲として選択した自動演奏曲データを、たとえば、前記外部記憶装置１１から読み出して、ＲＡＭ８の所定位置に確保された再生領域（図示せず）に格納し、その自動演奏曲データのヘッダ等に含まれる、テンポ値や音色等を前記音源回路１４に設定する処理をいう。
【００３４】
前記音源回路１４は、本実施の形態では、演奏パート毎に発音チャンネルを確保するようにしている。したがって、演奏環境設定の変更などによって、演奏パートが増減した場合、確保する発音チャンネルも増減する。上記（ｂ）のチャンネルの変更とは、この発音チャンネルを増減させることである。
【００３５】
図５は、演奏環境として設定可能な項目の一覧を示す図である。
【００３６】
同図に示すように、本実施の形態の演奏装置では、演奏環境として、登場人物、自動演奏を行う場所と時間帯、自動演奏の演奏形態と演奏パート、および楽器画像の各項目を選択設定することができるように構成されている。
【００３７】
「登場人物」とは、前記演奏画像内に登場する、バーチャルな演奏者であり、大人の男性、女性および子供のうち、いずれかを選択できる。自動演奏に合わせて（つまり、短時間で）、バーチャルな人物の動画像を生成するのは、非常に高速な演算処理を必要とするため、本実施の形態では、登場人物は、多くて１人としている。もちろん、将来、バーチャルな演奏者の動画像を生成する簡単な方法や、能力の非常に高いＣＰＵが開発されたときには、登場人物を複数人に設定できるようにしてもよい。
【００３８】
自動演奏を行う「場所」とは、電子楽器１００を演奏する、バーチャルな場所（電子楽器１００の背景とも言い得る）である。なお、表示器２０３がシースルーモードに設定されている場合には、電子楽器１００とその背景を分離し、その分離した背景をバーチャルな背景に替えることはことは（現時点では）難しいので、その場合には、「場所」は「なし」に設定すればよい。
【００３９】
「時間帯」は、選択された「場所」で自動演奏を行うときの周囲の明るさや雰囲気を示し、「朝」、「昼」、「晩」のうち、いずれかを選択できる。
【００４０】
「演奏形態」としては、「通常」または「ウェイティング」のいずれかを選択できる。「ウェイティング」とは、演奏ガイドを行うときに、つまり、バーチャルな演奏者を先生として、ユーザが先生の演奏に追従して演奏練習を行うときに、バーチャルな演奏者は、ユーザが押鍵するまで待ってから、次の演奏に進むようにするモードである。なお、「通常」は、演奏ガイドがオンに設定されていたとしても、バーチャルな演奏者（先生）は、ユーザの押鍵を待たずに、その曲のテンポ通りに演奏を進めて行くモードである。
【００４１】
「演奏パート」として設定可能な“１”，“２”および“１＋２”は、それぞれ、「片手パート」、「両手パート」および「片手パート＋連弾者の両手パート」を意味する。この「演奏パート」の設定変更がなされると、前記（ｂ）チャンネルの変更が実行され、設定変更された「演奏パート」に応じて、確保される発音チャンネルが増減する。
【００４２】
「楽器画像」とは、表示器２０３に映し出す楽器、本実施の形態では、電子楽器１００を意味する。そして、「めがね透過」とは、前記シースルーモードが設定されて、リアルな電子楽器１００をそのまま楽器画像として使うことであり、「カメラ映像」とは、ＨＭＤ２００の撮像装置２０２で電子楽器１００を撮像して使うことであり、「合成映像」とは、撮像装置２０２で撮像したものを画像認識し、その認識結果に基づいてアニメーション化したものを使うことである。なお、「合成映像」は、電子楽器１００とは無関係に、予め作成しておいた電子楽器の画像データを使うこととしてもよい。
【００４３】
前記（ｃ）の演奏環境の設定とは、このような演奏環境の項目毎にユーザが選択した内容を電子楽器１００に設定することである。なお、演奏環境の項目毎に設定可能な選択肢、つまり、図５に示す選択肢は、ユーザの表示指示に応じて、電子楽器１００の表示装置１０またはＨＭＤ２００の表示器２０３に一覧表示され、その中から、選択カーソル（図示せず）によって選択したものを設定するようにすればよい。
【００４４】
前記（ｄ）の演奏データの読み出し開始とは、ユーザによる自動演奏の開始が指示されたときに、前記再生領域に格納されている自動演奏曲データの先頭のイベントデータに読み出しポインタ（図示せず）の指示位置を合わせる処理を行う。読み出しポインタによって指示されたイベントデータの読み出しと、そのイベントデータに応じた処理は、前記（３）の特殊処理内で行われる（後述する、図６のステップＳ３２参照）。
【００４５】
前記（ｅ）の再生停止とは、ユーザが自動演奏の停止を指示したときに、現在の自動演奏を停止する処理である。
【００４６】
前記（ｆ）のその他自動演奏関連の設定とは、ユーザが、上記（ａ）〜（ｅ）以外の自動演奏関連機能の設定を指示したときに、それに応じてなされる設定を意味する。
【００４７】
図６は、前記（３）の特殊処理の詳細な手順を示すフローチャートである。
【００４８】
本特殊処理では、自動演奏が開始されているときには、まず、自動演奏曲データから、読み出しポインタが示す位置のイベントデータを読み出す（ステップＳ３２）。自動演奏曲データは、イベントデータ（キーオンイベントデータまたはキーオフイベントデータ）と、その読み出しタイミングを示すタイミングデータとによって構成されている。したがって、読み出しポインタがタイミングデータを読み出したときには、読み出しポインタは、前記タイマ９の計時時間がそのタイミングに達するまで待ってから、イベントデータを読み出すことになる。しかし、このような読み出し方法は、極めて周知なものであるので、上記ステップＳ３２では、タイミングデータの読み出しとその制御を行わずに、いきなり、イベントデータを読み出すようにしているが、これは、タイミングデータの読み出しとその制御を行っていないことを意味しない。さらに、ステップＳ３２では、読み出されたイベントデータに応じて、楽音制御データを生成する。ここで、楽音制御データとは、前記音源回路１４の各種レジスタに設定するデータであり、音源回路１４が、読み出されたイベントデータに応じた楽音信号を生成するために必要な楽音パラメータである。なお、ステップＳ３２では、楽音制御データを生成し、たとえば、前記ＲＡＭ８の所定位置に確保された楽音制御データ格納領域（図示せず）に格納する処理まで行う。楽音制御データ格納領域に格納された楽音制御データを読み出して、音源回路１４に設定する処理は、前記（４）の楽音信号生成処理中で行われる。
【００４９】
次に、演奏環境機能が設定されているときには、ＣＰＵ６は、設定された演奏環境に応じて画像データを生成する画像データ生成処理を行う（ステップＳ３３→Ｓ３４）。
【００５０】
図７は、演奏環境に応じた画像データ生成処理の詳細な手順を示すフローチャートである。
【００５１】
同図において、まず、読み出された自動演奏データに基づいて、操作される操作子を決定する（ステップＳ４１）。たとえば、自動演奏データとして、ノートオンイベントが読み出されたときには、そのノートオンイベントが示す音高に対応する鍵が、被操作操作子として決定される。
【００５２】
次に、前記外部記憶装置１１等に記憶されている電子楽器形状情報に基づいて、上記決定した被操作操作子の座標を決定する（ステップＳ４２）。
【００５３】
次に、読み出された自動演奏データに基づいて、外部記憶装置１１から人体のパーツ画像データを読み出し、読み出した各パーツ画像データを結合する（ステップＳ４３）。ノートオンイベント（ノートオフイベントも同様）によって音高（のシーケンス）が決まれば、読み出すべき手の画像データが一意的に決まり、それに応じて、読み出すべき他のパーツ画像データも一意的に決まるので、このように決まった各パーツ画像データを外部記憶装置１１から読み出し、読み出した各パーツ画像データを所定に規則（人物画像になるような規則）に従って結合する。
【００５４】
次に、前記ステップＳ４２で決定された被操作操作子の座標に基づいて、ＨＭＤ２００と電子楽器１００とが基準位置関係にあるときの、結合したパーツ画像データの表示座標を決定する（ステップＳ４４）。
【００５５】
そして、決定された、結合したパーツ画像データの表示座標の修正処理を行う（ステップＳ４５）。
【００５６】
図８は、この表示座標修正処理の詳細な手順を示すフローチャートである。
【００５７】
同図において、まず、位置検出信号発信デバイス５と位置検出信号受信デバイス２０１により、ＨＭＤ２００の電子楽器１００に対する相対位置を検出する（ステップＳ５１）。
【００５８】
次に、外部記憶装置１１等に記憶されている、前記基準位置関係におけるＨＭＤ２００の座標と、上記ステップＳ５１で検出した相対位置におけるＨＭＤ２００の座標とのずれ（差分）を検出し、ずれが検出されたときには、そのずれに応じて、前記ステップＳ４４で決定した、結合したパーツ画像データの表示座標を修正する（ステップＳ５３）。
【００５９】
このようにして、結合したパーツ画像データの表示座標が修正されるので、ＨＭＤ２００を装着したユーザの実際の視界に対応した、バーチャルな演奏者を表示器２０３上に表示することができる。
【００６０】
前記図７に戻り、前記シースルーモードが設定されているときには、ＨＭＤ２００から視界画像データを取得し（ステップＳ４６）、取得した視界画像データと、前記ステップＳ５３で、表示座標の修正された、結合したパーツ画像データとを合成し、合成画像データを生成して、前記ＲＡＭ８の所定位置に確保された合成画像データ格納領域（図示せず）に格納する（ステップＳ４７）。
【００６１】
このように、本画像データ生成処理では、設定された演奏環境に応じた（合成）画像データを生成して、ＲＡＭ８上に保持する。保持された画像データを読み出して、前記表示装置１０に供給して表示させる処理は、前記（６）の表示処理で実行される。
【００６２】
図３に戻り、ステップＳ３の特殊処理が終了したときに、ＲＡＭ８上の楽音制御データ格納領域に有効な（つまり、音源回路１４に供給すべき）楽音制御データが格納されている場合には、その楽音制御データを読み出して、音源回路１４に供給することで、楽音信号を生成する（ステップＳ４）。
【００６３】
音源回路１４は、生成した楽音信号を所定にタイミングで、効果回路１５に供給する。前記ステップＳ２のパネル設定処理により、演奏環境の「場所」として、特定の場所（本実施の形態では、前記図５に示すように、「コンサートホール」、「スタジオ」および「音楽室」のうちのいずれか）が設定されているときには、効果回路１５は、その特定の場所で演奏を行った場合の音場効果を、供給された楽音信号に付加した後、サウンドシステム１６に供給する。これにより、サウンドシステム１６からは、特定の場所の音場効果が付与された楽音が発音される（ステップＳ５）。なお、ステップＳ５の発音処理では、自動演奏データを再生することによって生成された楽音信号だけではなく、ユーザが演奏操作子１を用いて演奏することによって生成された楽音信号に対する発音処理もなされる。
【００６４】
次に、ＲＡＭ８上の合成画像データ格納領域に有効な（つまり、表示器２０３に供給すべき）合成画像データが格納されている場合には、その合成画像データを読み出して、表示器２０３に供給することで、表示器２０３上に、バーチャルな演奏者がリアルな電子楽器１００を演奏している映像が表示される（ステップＳ６）。
【００６５】
このようにして、図９に示すように、バーチャルな演奏者が電子楽器１００を演奏している演奏画像（ただし、演奏環境の「登場人物」が「なし」でない場合）が、ＨＭＤ２００の表示器２０３に表示される。
【００６６】
なお、前記図７の画像データ生成処理では、表示器２０３がシースルーモードに設定されている場合の画像データ生成処理のみが示され、通常モードが設定されている場合の画像データ処理は示されていない。しかし、通常モードが設定されている場合の画像データ処理は、シースルーモードが設定されている場合の画像データ生成処理の一部を変更するだけで、簡単に実現できる。具体的には、通常モードが設定され、かつ演奏環境の「楽器画像」として「カメラ画像」が設定された場合には、前記ステップＳ４６の処理を「撮像装置２０２から視界画像データを取得」に変更すればよい。また、通常モードが設定され、かつ演奏環境の「楽器画像」として「合成画像」が設定された場合には、前記ステップＳ４６の処理を「撮像装置２０２から取得した視界画像データを画像認識し、その認識結果に基づいてアニメーション化したものを取得」に変更すればよい。
【００６７】
また、本実施の形態では、自動演奏に従って、楽音は電子楽器１００のサウンドシステム１６から発音されるものの、電子楽器１００の鍵盤は自動的に押鍵されないが、自動演奏に従って鍵盤を自動的に押鍵する制御方法は公知であるので、この公知技術を用いて、自動演奏に従って鍵盤を自動的に押鍵するようにすれば、バーチャルな演奏者が押鍵したときに、リアルな鍵盤が押鍵される。これにより、演奏者が演奏しているという、より一層のリアル感をユーザに与えることができる。
【００６８】
なお、本実施の形態では、自動演奏データと、バーチャルな演奏者を表示するための画像データは、電子楽器１００（の外部記憶装置１１）内に予め記憶されたものを用いたが、これに限らず、たとえば、インターネット等の通信ネットワークに接続できる通信インターフェースを電子楽器１００に設け、通信ネットワークおよび通信インターフェースを介して、遠隔地にいる先生やアーティストが実際に演奏することによって得られた演奏データや映像データをリアルタイムに取得し、前記自動演奏データおよび画像データに代えて、取得した演奏データおよび映像データを用いるようにしてもよい。この場合、ＨＭＤ２００の表示器２０３には、遠隔地の先生やアーティストが電子楽器１００を演奏している演奏画像が表示され、電子楽器１００のサウンドシステム１６からは、その先生やアーティストの演奏音が発音される。
【００６９】
また、本実施の形態では、ＨＭＤ２００の電子楽器１００に対する相対位置、つまり、電子楽器１００に対するユーザの頭の向きや距離を検出するようにしているが、これに限らず、電子楽器１００に対するユーザの視線を検出するようにしてもよい。視線の検出方法は、特にカメラの分野で公知であるので、その公知技術を用いればよい。
【００７０】
なお、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。
【００７１】
この場合、記憶媒体から読出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードおよび該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００７２】
プログラムコードを供給するための記憶媒体としては、たとえば、フレキシブルディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。また、通信ネットワークを介してサーバコンピュータからプログラムコードが供給されるようにしてもよい。
【００７３】
また、コンピュータが読出したプログラムコードを実行することにより、上述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【００７４】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００７５】
【図１】本発明の一実施の形態に係る演奏装置の概略構成を示すブロック図である。
【図２】図１の演奏装置を構成する電子楽器およびＨＭＤの外観を示す図である。
【図３】図１中の電子楽器、特にＣＰＵが実行するメインルーチンの手順を示すフローチャートである。
【図４】図３中のパネル設定処理の詳細な手順を示すフローチャートである。
【図５】演奏環境として設定可能な項目の一覧を示す図である。
【図６】図３中の特殊処理の詳細な手順を示すフローチャートである。
【図７】図６中の演奏環境に応じた画像データ生成処理の詳細な手順を示すフローチャートである。
【図８】図７中の表示座標修正処理の詳細な手順を示すフローチャートである。
【図９】図１中のＨＭＤの表示器に表示された画像の一例を示す図である。
【符号の説明】
【００７６】
５…位置検出信号発信デバイス（視点検出手段）６…ＣＰＵ（視点検出手段、自動演奏手段、演奏画像生成手段、制御手段），２０１…位置検出信号受信デバイス（視点検出手段），２０３…表示器（表示手段）
【図１】
2007271698.tif 000003
【図２】
2007271698.tif 000004
【図３】
2007271698.tif 000005
【図４】
2007271698.tif 000006
【図５】
2007271698.tif 000007
【図６】
2007271698.tif 000008
【図７】
2007271698.tif 000009
【図８】
2007271698.tif 000010
【図９】
2007271698.tif 000011