(57)【特許請求の範囲】
【請求項１】
鍵盤が標準鍵盤であるか、標準鍵盤よりも小さい小型鍵盤であるかを
識別する識別手段と、
前記鍵盤上における手の位置を検出する位置検出手段と、
前記鍵盤の画像を作成すると共に、前記検出した手を前記鍵盤の画像上に示す画像を作成する画像作成手段と、
前記画像作成手段により作成された画像を出力する画像出力手段と、
を有する画像効果付加装置において、
前記鍵盤が小型鍵盤であった場合には前記標準鍵盤と前記小型鍵盤とのサイズ比に応じて、前記小型鍵盤の画像を拡大すると共に、前記検出した手の位置を補正して前記拡大された鍵盤の画像上に示す画像を作成する
ことを特徴とする画像効果付加装置。
【請求項２】
鍵盤が標準鍵盤であるか、標準鍵盤よりも小さい小型鍵盤であるかを
識別し、
前記鍵盤上における手の位置を検出し、
前記鍵盤の画像を作成すると共に、前記検出した手を前記鍵盤の画像上に示す画像を作成し、前記作成された画像を出力する画像効果付加方法において、
前記鍵盤が小型鍵盤であった場合には前記標準鍵盤と前記小型鍵盤とのサイズ比に応じて、前記小型鍵盤の画像を拡大すると共に、前記検出した手の位置を補正して前記拡大された鍵盤の画像上に示す画像を作成する
ことを特徴とする画像効果付加方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、演奏者等が演奏空間に没入できる装置に関するもので、特に仮想現実感を用いて実現するものである。
【０００２】
【従来の技術】
従来、楽音に音響効果を付加してあたかも所定場所（例えばホール、教会等）にいるように聞える音響効果付加装置があった。
この音響効果付加装置は、所定場所での音の反射、吸収等をＤＳＰ（Digital Signal Processor）を用いて合成したりして音響効果を付加するものである。
【０００３】
【発明が解決しようとする課題】
一般に人間は、日常生活において視覚による情報を多大に得ている。このことは、視覚が人間に与える影響が大きいことを意味する。このため、演奏においてもこの視覚による情報により演奏が変化することは当然である。しかし、従来の音響効果付加装置では、演奏者を聴覚的に演奏空間に没入させることができるが、演奏者を視覚的に演奏空間に没入させることはできない。例えば、演奏者が実際に使用している楽器の鍵盤が安価で小さなサイズのものであったとすると、その視覚情報からは演奏に好影響を与えることはできない。つまり、視覚情報による新しいインスピレーション等が得られないという問題点があった。
本発明の課題は、視覚的没入感を仮想現実により付加することが可能で、これにより演奏のインスピレーション等を得られるようにした画像効果付加装置を提供することである。
【０００４】
【課題を解決するための手段】
鍵盤が標準鍵盤であるか、標準鍵盤よりも小さい小型鍵盤であるかを識別する識別手段と、前記鍵盤上における手の位置を検出する位置検出手段と、前記鍵盤の画像を作成する共に、前記検出した手を前記鍵盤の画像上に示す画像を作成する画像作成手段と、前記画像作成手段により作成された画像を出力する画像出力手段と、を有する画像効果付加装置において、前記鍵盤が小型鍵盤であった場合には前記標準鍵盤と前記小型鍵盤とのサイズ比に応じて、前記小型鍵盤の画像を拡大すると共に、前記検出した手の位置を補正して前記拡大された鍵盤の画像上に示す画像を作成する。
【０００５】
【作用】
楽音に対して音響効果を付加したりするだけでなく、画像効果を付加することにより視覚的情報を与える。このため、演奏者は視覚的効果から新しいインスピレーション等を得ることができる。
【０００６】
【実施例】
以下、本発明の実施例について図面を参照しながら説明する。
図１は、本発明の１つの実施例であり、楽音入力手段に鍵盤楽器を使用した場合である。演奏者はＨＭＤ（Head Mounted Display）を装着し、鍵盤楽器の前に座って演奏している。このとき演奏者には、ホール等の音響効果が付加された楽音を聞くと共にＨＭＤによりホール等の画像効果（あたかもホール等で演奏しているような画像）を視覚的に認識できる。
【０００７】
なお、上記実施例のように楽音入力手段が鍵盤楽器である場合、図２（ａ）に示すように通常鍵盤の場合は表示画像は１：１に対応させそのまま表示すれば良いが、ミニ鍵盤の場合は１：１に対応させて表示すると没入感を損うので、表示する時は、図２（ｂ）に示すように標準鍵盤の大きさの鍵盤を表示し、この表示にミニ鍵盤を対応させ、実際の手の移動量と表示での手の移動量を対応させる。
【０００８】
また、図３は、本発明の他の実施例であり、楽音入力手段にマイクを使用した場合である。この場合も使用者は、第１の実施例同様にＨＭＤを装着することによりあたかもホール等で歌っているような感じを得ることができる。
【０００９】
次に本実施例の構成を図４〜図７により説明する。
図４は、本実施例の全体ブロック図である。音声信号を入力するマイク４２、楽音信号を使用者の耳に出力する音響出力部４３及び画像信号を表示する画像表示部４４を有するＨＭＤ４１と、音声信号（特に歌）を入力するマイク４５、手の移動及び動作を入力するデータグローブ４６と、ＨＭＤ４１、マイク４５及びデータグローブ４６からの位置及び動作から使用者の動作状態を検出するベクトル検出部４７と、マイク４２及び４５からの音声信号、あるいは後述するＮＣＵ５２からの音声情報を制御する音声制御部４８と、楽器から入力される楽音信号あるいは演奏情報または後述するＮＣＵ５２から入力される楽音情報あるいは演奏情報を処理する楽音制御部４９と、前記音声制御部４８からの音声信号と楽音制御部４９からの楽音信号を混合して、その混合した音響信号に音響効果を付加してＨＭＤ４１の音響出力部４３に出力する音響効果付加部５０と、使用者により設定されたあるいは後述するＮＣＵ５２送られてきた画像情報から画像信号を作成して、後述する画像効果を付加してＨＭＤ４１の画像表示部４４に出力する画像制御部５１と、通信回線に接続されていて他端末と情報の送受信をするＮＣＵ（Network Control Unit）５２と、ベクトル検出部４７、音声制御部４８、楽音制御部４９、音響効果付加部５０、画像制御部５１及びＮＣＵ５２をそれぞれ制御する主制御部５３とで構成されている。なお、ベクトル検出部４７、音声制御部４８、楽音制御部４９、音響効果付加部５０、画像制御部５１及びＮＣＵ５２は、情報の発生により独立して動作する。
【００１０】
前記音声制御部４８は、図５に示されるように構成されていて、音声認識部４８ａは、ＨＭＤ４１のマイク４２及びマイク４５からの音声信号を制御用の音声信号か歌用の音声信号かを認識し、制御用の音声信号であるならその音声信号を音声認識して主制御部５３へ制御情報として出力する。また、音声処理部４８ｂは、主制御部５３から入力された制御情報に基づいて音声信号を作成したり、ＮＣＵ５２へ転送する音声信号を符号化して送信データに変換あるいは受信データを復号化して音声信号として、音響効果付加部５０に出力する。
【００１１】
前記楽音制御部４９は、図６示されるように構成されており、楽音入出力部４９ａは、楽器（例えば、鍵盤楽器）からの楽音信号を入力あるいは楽音信号を楽器へ出力する。外部入出力端子４９ｂは、外部入出力機器（例えば、ＣＤ等）からの楽音信号を入力あるいは出力する。伴奏データベース４９ｃは、予め伴奏情報をデータベース化して記憶させておき、任意に読み出して再生できる。演奏制御部４９ｄは、伴奏データベース４９ｃに記憶されている伴奏情報のタイミング情報に基づいて自動伴奏を制御し、主制御部５３からの演奏制御情報に基づき伴奏データベース４９ｃ、後述する楽音処理部４９ｆ及び音楽認識部４９ｅを制御する。また、演奏制御部４９ｄは、音楽認識部４９ｅからの音楽認識情報（例えば、音調等）を主制御部５３に出力する。楽音処理部４９ｆは、演奏制御部４９ｄ及びＮＣＵ５２からの演奏情報に基づいて伴奏データベース４９ｃを参照しながら楽音信号を作成し、音響効果付加部５０に出力する。また、楽音処理部４９ｆに入力された演奏情報を符号化し、送信データに変換してＮＣＵ５２に出力し、ＮＣＵ５２から送られてきた受信データを復号化し、受信データを演奏情報に変換する。楽音入出力部４９ａ及び外部入出力端子４９ｂから入力された楽音信号は、楽音処理部４９ｆを介して音響効果付加部５０へ出力される。
【００１２】
前記画像制御部５１は、図７に示されるように構成されていて、外部入出力端子５１ａ、画像データベース５１ｂ、画像処理部５１ｃ及び画像効果付加部５１ｄにより構成されており、外部入出力端子５１ａは、外部機器からの映像信号を画像処理部５１ｃに入力し、画像処理部５１ｃからの映像信号を外部機器に出力する端末である。画像データベース５１ｂは、画像効果を付加するための画像情報、各音調に対応する音階の画像情報及び鍵盤対比に対応する画像情報等を記憶している。画像処理部５１ｃでは、主制御部５３からの制御信号に基づき画像データベース５１ｂに記憶されている画像情報に基づき動作画像、鍵盤対比及び音階画像等の映像信号を作成する。また、外部から入力された映像信号を上記作成された映像信号と合成して出力し、画像効果付加部５１ｄで音響効果に対応する画像を合成してＨＭＤ４１の画像表示部４４に出力する。さらに、ＮＣＵ５２により送受信する画像情報の符号化／復号化をする。
【００１３】
図８は、モードの設定状態を示すモードフラグである。主制御部５３は、このモードフラグに基づいて各部に制御信号を出力する。入力端末は、メインの入力端末を指定するものであり、マイク、楽器等を指定する。自動伴奏は、自動伴奏するか否かのフラグである。トレーニングは、音調が変化した時に音階を表示するかを指定するものである。セッションは、通信回線を使用して相手と演奏をするいわゆるジャム・セッションを指定するものである。音響効果は、音響効果を指定するもので、例えば、ホール、教会、屋外、海、山等がある。画像効果は、音響効果に対応するあるいは独立して画像効果を指定するもので、音響効果同様、ホール、教会、屋外、海、山等がある。鍵盤対比は、鍵盤対比を示すものであり、通常鍵盤、ミニ鍵盤等を指定する。動作状態は、装置の動作状態を指定するものである。
【００１４】
次に動作を図９〜図１９の動作フローチャートにより説明する。図９は、本発明のメイン処理であり、基本的に主制御部５３で実行される。電源が投入されるとメモリ等がイニシャライズされ、使用者の位置が設定される（ステップＳ１００）。次に、演奏環境を設定するか／演奏に移るかを選択し（ステップＳ２００）、演奏環境を設定するときは、設定処理を実行し（ステップＳ３００）、演奏に移る時は、モードフラグの動作状態を演奏中にして演奏処理を実行する（ステップＳ４００）。
【００１５】
前記メイン処理の設定処理（ステップＳ３００）は、図１０に示されるように、先ず入力端末を設定する（ステップＳ３１０）。この入力端末は、例えば、音声、楽器等である。次に、効果設定処理でそれぞれの効果を設定し（ステップＳ３２０）、トレーニング設定処理でトレーニングモードを設定する（ステップＳ３３０）。さらに、自動伴奏設定処理で自動伴奏を設定し（ステップＳ３４０）、セッション処理でセッション環境を設定する（ステップＳ３５０）。そして、メイン処理に復帰する。
【００１６】
前記設定処理内の効果設定処理（ステップＳ３２０）は、図１１に示されるように、音響効果を選択してセットし（ステップＳ３２１）、対応する画像効果をセットし（ステップＳ３２２）、演奏楽器が鍵盤楽器であれば鍵盤対比をセットする（ステップＳ３２３）。なお、本実施例では、この効果設定処理は、使用者により任意に設定されているが入力楽音により対応した効果を選択して付加しても良い。例えば、オルガン系の音が入力されたら教会の音響効果及び画像効果を付加する。また、音響効果と画像効果とは必ずしも一致しなくても良い。
【００１７】
前記設定処理内のトレーニング設定処理（ステップＳ３３０）は、図１２に示されるように、トレーニングモードかをセットし（ステップＳ３３１）、トレーニングモードであればどの音階を表示するかをセットする（ステップＳ３３２、Ｓ３３３）。
【００１８】
前記設定処理内の自動伴奏設定処理（ステップＳ３４０）は、図１３に示されるように、自動伴奏モードかをセットし（ステップＳ３４１）、伴奏データベース４９ｃに登録されている登録伴奏パターンを使うか新たに伴奏パターンを作成するかを選択する（ステップＳ３４２）。ステップＳ３４２で登録伴奏パターンを使用する場合は、その登録伴奏パターンへのポインタをセットし（ステップＳ３４３）、登録伴奏パターンを使用しない場合は、その伴奏パターンを入力して作成して、その作成した伴奏パターンを伴奏データベース４９ｃに登録し、その登録した伴奏パターンへのポインタをセットする（ステップＳ３４４）。
【００１９】
前記設定処理内のセッション設定処理（ステップＳ３５０）は、図１４に示されるように、セッションモードかをセットし（ステップＳ３５１）、セッションモードがセットされているなら通信回線を接続し、相手端末とのセッション環境を設定する（ステップＳ３５２、Ｓ３５３、Ｓ３５４）。
【００２０】
次に、前記メイン処理における演奏処理（ステップＳ４００）は、図１５に示されるようにモードフラグの動作状態を判別し（ステップＳ４１０）、動作状態フラグが演奏中であると判断するとセッション処理（ステップＳ４２０）、自動伴奏処理（ステップＳ４３０）、音響効果処理（ステップＳ４４０）、画像効果処理（ステップＳ４５０）をそれぞれ実行する。これらの動作は情報の発生に伴いベクトル検出部４７、音声制御部４８、楽音制御部４９、画像制御部５１によりそれぞれ独立して実行される。
【００２１】
前記演奏処理内のセッション処理（ステップＳ４２０）は、図１６に示されるように、モードフラグがセッションか否かを判別し（ステップＳ４１１）、セッションであると判断すると、受信側では、音声制御部４８、楽音制御部４９、画像制御部５１及び主制御部５３の各部へそれぞれの受信データがＮＣＵ５２から転送され（ステップＳ４１２）、この受信データは、各部で復号化されそれぞれの情報に変換される（ステップＳ４１３）。そして、各部の情報と復号された情報とを混合し出力する（ステップＳ４１４）。また、送信側では、各部での情報が発生すると（ステップＳ４１５）、その情報を符号化して送信データに変換し（ステップＳ４１６）、その変換された各部からの送信データをＮＣＵ５２から通信回線へ出力する（ステップＳ４１７）。
【００２２】
前記演奏処理内の自動伴奏処理（ステップＳ４３０）は、図１７に示されたように、モードフラグが自動伴奏かを判別し（ステップＳ４２１）、自動伴奏であると判断すると、セットされているポインタに基づき伴奏データベース４９ｃの楽音情報を読み出して（ステップＳ４２２）、この読み出した楽音情報を楽音信号に変換して（ステップＳ４２３）、この変換した楽音信号を演奏楽音信号と混合して音響効果付加部５０に出力する（ステップＳ４２４）。
【００２３】
前記演奏処理内の音響効果処理（ステップＳ４４０）は、図１８に示されたように、楽音制御部４９及び音声制御部４８から入力された楽音信号及び音声信号に音響効果が付加される（ステップＳ４３１）。
【００２４】
前記演奏処理内の画像効果処理（ステップＳ４５０）は、図１９に示されたように、楽音制御部４９の音楽認識部４９ｅからの音調が変化したことを主制御部５３を介して入力されると（ステップＳ４４１）、モードフラグがトレーニングモードであるかを判別し（ステップＳ４４２）、トレーニングモードであると判断するとその変化した音調の音階画像出力する（ステップＳ４４３）。次に、主制御部５３を介してベクトル検出部４７からベクトル信号が入力されると、そのベクトル信号に基づいて画像データベース５１ｂを参照して画像信号を作成する（ステップＳ４４４）。そして、演奏楽器が鍵盤楽器であればモードフラグの鍵盤対比に基づいて鍵盤画像信号を作成する（ステップＳ４４５）。さらに、画像効果付加部５１ｄで画像処理部５１ｃからの画像信号に音響効果に対応した画像信号を合成してＨＭＤ４１の表示部４４に出力する（ステップＳ４４６）。
【００２５】
【発明の効果】
以上詳細に説明したように、本発明によれば、使用者に対して聴覚的な音響効果のみでなく視覚的な映像を出力できるので、より臨場感のある効果が得られると共に、演奏のインスピレーションを映像から得られる。
【図面の簡単な説明】
【図１】本発明の第１の実施例の概念図である。
【図２】本発明の鍵盤対比の概念図である。
【図３】本発明の第２の実施例の概念図である。
【図４】本発明の全ブロック図である。
【図５】図４の音声制御部のブロック図である。
【図６】図４の楽音制御部のブロック図である。
【図７】図４の画像制御部のブロック図である。
【図８】モードフラグの構成図である。
【図９】本発明のメイン処理を示す動作フローチャートである。
【図１０】図９の設定処理を示す動作フローチャートである。
【図１１】図１０の効果設定処理を示す動作フローチャートである。
【図１２】図１０のトレーニング設定処理を示す動作フローチャートである。
【図１３】図１０の自動伴奏設定処理を示す動作フローチャートである。
【図１４】図１０のセッション設定処理を示す動作フローチャートである。
【図１５】図９の演奏処理を示す動作フローチャートである。
【図１６】図１５のセッション処理を示す動作フローチャートである。
【図１７】図１５の自動伴奏処理を示す動作フローチャートである。
【図１８】図１５の音響効果処理を示す動作フローチャートである。
【図１９】図１５の画像処理を示す動作フローチャートである。
【符号の説明】
４１…ＨＭＤ（Head Mounted Display）
４５…マイク
４６…データグローブ
４７…ベクトル検出部
４８…音声制御部
４９…楽音制御部
５０…音響効果付加部
５１…画像制御部
５１ｄ…画像効果付加部
５２…ＮＣＵ（Network Control Unit）
５３…主制御部
【図１】
0003772855.tif 000002
【図２】
0003772855.tif 000003
【図３】
0003772855.tif 000004
【図４】
0003772855.tif 000005
【図５】
0003772855.tif 000006
【図６】
0003772855.tif 000007
【図７】
0003772855.tif 000008
【図８】
0003772855.tif 000009
【図９】
0003772855.tif 000010
【図１０】
0003772855.tif 000011
【図１１】
0003772855.tif 000012
【図１２】
0003772855.tif 000013
【図１３】
0003772855.tif 000014
【図１４】
0003772855.tif 000015
【図１５】
0003772855.tif 000016
【図１６】
0003772855.tif 000017
【図１７】
0003772855.tif 000018
【図１８】
0003772855.tif 000019
【図１９】
0003772855.tif 000020