(57)【要約】【課題】  演奏者が演奏中であっても、その演奏者の意思によって視覚効果装置を制御することができる映像システムを提供すること。【解決手段】  対象物の動きに基づいて、対象物を含む範囲に映像を投射する映像システムであって、対象物を撮像する撮像手段と、撮像手段から出力される映像信号から対象物に取付けられた光源の位置を検出する対象物位置検出手段と、光源の位置又は変位に応じた映像を選択又は生成する制御手段と、制御手段により選択又は生成された映像を、対象物を含む範囲に投影する投影手段とを備える。【選択図】  図１
2006325161.tif 000002
【特許請求の範囲】
【請求項１】
対象物の動きに基づいて、前記対象物を含む範囲に映像を投射する映像システムであって、
前記対象物を撮像する撮像手段と、
前記撮像手段から出力される映像信号から前記対象物に取付けられた光源の位置を検出する対象物位置検出手段と、
前記光源の位置又は変位に応じた映像を選択又は生成する制御手段と、
前記制御手段により選択又は生成された映像を、前記対象物を含む範囲に投影する投影手段と、を備えたことを特徴とする映像システム。
【請求項２】
前記投影手段は、前記光源の位置を基準として、前記対象物の位置に応じた映像を投影することを特徴とする請求項１に記載の映像システム。
【請求項３】
前記制御手段は、
前記光源の高さ又は変位に応じて、トータル的な輝度を変化させた映像を前記投影手段から投影させることを特徴とする請求項１又は請求項２に記載の映像システム。
【請求項４】
前記制御手段は、
前記光源の位置を略基点として放射状に広げた映像を前記投影手段から投影させることを特徴とする請求項３に記載の映像システム。
【請求項５】
前記制御手段は、
前記光源の高さに応じて、前記放射状の広がり又は長さを変えた映像を前記投影手段から投影することを特徴とする請求項４に記載の映像システム。
【請求項６】
前記制御手段は、
前記光源の高さに応じて、高輝度のシャワー状映像の量を変えた映像を前記投影手段から投影することを特徴とする請求項２に記載の映像システム。
【請求項７】
前記制御手段は、
前記撮像手段から出力される取得映像と同一の映像を前記取得映像の左右にそれぞれ配置した映像を合成した映像を、前記撮影手段から投影させることを特徴とする請求項１に記載の映像システム。
【請求項８】
前記光源は、赤外線光源であることを特徴とする請求項１〜７のいずれか１項に記載の映像システム。
【請求項９】
前記対象物は、ギター、ドラムのスティックなどの楽器であることを特徴とする請求項１〜８のいずれか１項に記載の映像システム。
【請求項１０】
前記楽器から出力されるオーディオ信号を入力し、このオーディオ信号のボリューム又は／及び周波数を変更するオーディオ装置を備え、
前記制御手段は、
前記光源の位置に応じて、ボリューム又は／及び周波数を変更するように前記オーディオ装置を制御することを特徴とする請求項９に記載の映像システム。
【請求項１１】
前記楽器から出力されるオーディオ信号を入力し、オーディオ信号のボリューム又は／及び周波数を検出する検出手段を備え、
前記制御手段は、
前記光源の位置及び前記検出手段の検出結果に応じた映像を選択又は生成する
ことを特徴とする請求項１０に記載の映像システム。
【請求項１２】
前記対象物は携帯電話であり、前記光源は前記携帯電話のディスプレイであることを特徴とする請求項１〜８のいずれか１項に記載の映像システム。
【請求項１３】
前記制御手段は、
前記ディスプレイの種別を検出し、このディスプレイの種別及び光源の位置に応じた映像を選択又は生成することを特徴とする請求項１２に記載の映像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像システムの技術に関する。詳細には、楽器などの対象物の動きに基づいて、この対象物を含む範囲に映像を投射する技術に関する。
【背景技術】
【０００２】
従来から、ライブハウスやコンサート会場などで催される音楽イベントにおいては、演奏家による音楽演奏をより盛り上げるために、多色の照明燈、ムービングライト、レーザー光線、電光盤などの視覚効果装置を取り入れることが多い。この視覚効果装置は、曲や歌の流れに応じて操作される。
【０００３】
ところで、これらの視覚的効果装置の操作は、一般にオペレータによって操作されるものであるが、オペレータの人件費が必要となる。しかも、その操作にはある程度の熟達が必要であり、オペレータの熟練度によって操作品質が左右される。
【０００４】
そこで、視覚効果装置を操作するための制御装置を設け、この制御装置によって、実演家が演奏する音楽に沿った視覚効果装置の作動を可能とするものが提案されている（例えば、特許文献１、２参照）。
【特許文献１】特開平６−２２２７５３号公報
【特許文献２】特表２００４−５３４３５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記特許文献１，２の構成によれば、視覚効果装置を演奏に沿って動的に作動させることができることから、オペレータを必要とせず、しかも、予め設定した内容に忠実である。
【０００６】
しかしながら、視覚効果装置を作動させるためにはその設定を予め行なう必要があり、その作業が煩雑となる。特に、演奏する曲が多い場合には、この設定操作は多大な労力を必要とすることになる。しかも、視覚効果装置の作動内容や組み合わせは多種多様であり、それらを考慮する必要があるため、ライブやコンサート前に視覚効果の演出に費やす時間が膨大なものになる。
【０００７】
また、ライブやコンサートの開始前には、視覚効果装置の制御内容の設定が終了しているため、ライブやコンサート中に演奏者が予定していた演奏曲やその順番を変えることが困難となっていた。
【０００８】
一方で、演奏者は、ライブ等を盛り上げるために、観客の様子を見ながら、節々にアクセントを入れることが多い。特に、ロックバンドにおけるロッカーは、非常に自己顕示欲が強く、演奏中に執拗に自己主張を繰り返すこと多い。
【０００９】
そこで、本発明は、演奏者が演奏中であっても、その演奏者の意思によって視覚効果装置を制御することができる映像システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
そこで、請求項１に記載の発明は、対象物の動きに基づいて、前記対象物を含む範囲に映像を投射する映像システムであって、前記対象物を撮像する撮像手段と、前記撮像手段から出力される映像信号から前記対象物に取付けられた光源の位置を検出する対象物位置検出手段と、前記光源の位置又は変位に応じた映像を選択又は生成する制御手段と、前記制御手段により選択又は生成された映像を、前記対象物を含む範囲に投影する投影手段と、を備えたことを特徴とする。
【００１１】
また、請求項２に記載の発明は、請求項１に記載の発明であって、前記投影手段は、前記光源の位置を基準として、前記対象物の位置に応じた映像を投影することを特徴とする。
【００１２】
また、請求項３に記載の発明は、請求項１又は請求項２に記載の発明であって、前記制御手段は、前記光源の高さ又は変位に応じて、トータル的な輝度を変化させた映像を前記投影手段から投影させることを特徴とする。
【００１３】
また、請求項４に記載の発明は、請求項３に記載の発明であって、前記制御手段は、前記光源の位置を略基点として放射状に広げた映像を前記投影手段から投影させることを特徴とする。
【００１４】
また、請求項５に記載の発明は、請求項４に記載の発明であって、前記制御手段は、前記光源の高さに応じて、前記放射状の広がり又は長さを変えた映像を前記投影手段から投影することを特徴とする。
【００１５】
また、請求項６に記載の発明は、請求項２に記載の発明であって、前記制御手段は、前記光源の高さに応じて、高輝度のシャワー状映像の量を変えた映像を前記投影手段から投影することを特徴とする。
【００１６】
また、請求項７に記載の発明は、請求項１に記載の発明であって、前記制御手段は、前記撮像手段から出力される取得映像と同一の映像を前記取得映像の左右にそれぞれ配置した映像を合成した映像を、前記撮影手段から投影させることを特徴とする。
【００１７】
また、請求項８に記載の発明は、請求項１〜７のいずれか一項に記載の発明であって、前記光源は、赤外線光源であることを特徴とする。
【００１８】
また、請求項９に記載の発明は、請求項１〜８のいずれか一項に記載の発明であって、前記対象物は、ギター、ドラムのスティックなどの楽器であることを特徴とする。
【００１９】
また、請求項１０に記載の発明は、請求項９に記載の発明であって、前記楽器から出力されるオーディオ信号を入力し、このオーディオ信号のボリューム又は／及び周波数を変更するオーディオ装置を備え、前記制御手段は、前記光源の位置に応じて、ボリューム又は／及び周波数を変更するように前記オーディオ装置を制御することを特徴とする。
【００２０】
また、請求項１１に記載の発明は、請求項１０に記載の発明であって、前記楽器から出力されるオーディオ信号を入力し、オーディオ信号のボリューム又は／及び周波数を検出する検出手段を備え、前記制御手段は、前記光源の位置及び前記検出手段の検出結果に応じた映像を選択又は生成することを特徴とする。
【００２１】
また、請求項１２に記載の発明は、請求項１〜８のいずれか一項に記載の発明であって、前記対象物は携帯電話であり、前記光源は前記携帯電話のディスプレイであることを特徴とする。
【００２２】
また、請求項１３に記載の発明は、請求項１２に記載の発明であって、前記ディスプレイの種別を検出し、このディスプレイの種別及び光源の位置に応じた映像を選択又は生成することを特徴とする。
【発明の効果】
【００２３】
請求項１に記載の発明によれば、対象物に取り付けられた光源の動きに応じた映像を、対象物を含む範囲に投影することができるため、例えば、演奏者の後に投影する映像を、ライブやコンサートなどにおいて楽器を動かすだけで容易に変更することができる。
【００２４】
また、請求項２に記載の発明によれば、光源の位置を基準とした映像を投影することができるため、視覚的効果を高めることが可能となる。
【００２５】
また、請求項３に記載の発明によれば、光源の高さや変位に応じて、投影する映像のトータル的な輝度を変化させることができるため、視覚的効果を高めることが可能となる。
【００２６】
また、請求項４に記載の発明によれば、光源の高さに応じて、光源の位置を基点として放射状に広げた映像を投影することができるため、視覚的効果を高めることが可能となる。
【００２７】
また、請求項５に記載の発明によれば、光源の高さに応じて、放射状の広がり又は長さを変えた映像を投影することができるため、より視覚的効果を高めることが可能となる。
【００２８】
また、請求項６に記載の発明によれば、光源の高さに応じて、高輝度のシャワー状の映像の量を変えた映像を投影することができるため、より視覚的効果を高めることが可能となる。
【００２９】
また、請求項７に記載の発明によれば、対象物の左右にさらに対象物の分身を投影することができるため、より視覚的効果を高めることが可能となる。
【００３０】
また、請求項８に記載の発明によれば、光源として赤外線光源を用いているため、光源の検出精度を高めることができる。さらに、赤外線光源は可視的なものではないため、観客等に視覚的な違和感を与えることがない。
【００３１】
また、請求項９に記載の発明によれば、演奏者が演奏する楽器を動かすことによって、演奏しながら、容易に映像を変えることが可能となる。
【００３２】
また、請求項１０に記載の発明によれば、楽器の位置に応じて、その楽器から出力されるオーディオ信号のボリュームや周波数を変えることができるため、より聴覚的効果の演出をすることが可能となる。
【００３３】
また、請求項１１に記載の発明によれば、楽器の位置に加え、楽器から出力されるオーディオ信号のボリュームや周波数によって、投影する映像を変えることができるため、演奏に応じた適切な視覚的効果の演出が可能となる。
【００３４】
また、請求項１２に記載の発明によれば、携帯電話に特別に光源をつけずとも、そのディスプレイを光源とすることができるため、汎用性に優れた映像システムを提供することができる。
【００３５】
また、請求項１３に記載の発明によれば、携帯電話のディスプレイの種類や位置に応じて、映像を選択することができるため、より視覚的効果の演出を高めることができる。
【発明を実施するための最良の形態】
【００３６】
本発明の実施形態について、以下図面を参照して説明する。図１，２は本実施形態における映像システムの構成を示す図である。
【００３７】
［映像システムの概略説明］
図１に示すように、本実施形態における映像システムは、対象物としての楽器10と、撮像手段としての撮像装置20と、投影手段としての投影装置30と、オーディオ制御装置40と、スピーカ41a,bと、コンピュータ装置50とを備えている。また、投影装置30から投影される映像は、スクリーンＳに投影される。なお、このスクリーンＳは、単なる壁であっても構わない。
【００３８】
楽器10は、例えばエレキギターであり、その先端（ギターヘッド）には豆電球や赤外線ライトなどの光源11が取り付けられている。なお、楽器10がドラムの場合には、演奏者Ａが使用するドラムスティックの先端に光源11を取り付けたり、ドラムスティックを透明にしてその中に光源11を取付けたり、またドラムスティック全体に蛍光塗料を塗るようにすることもできる。また、楽器10に代えてマイク12を対象物とし、マイクの後端や前端に光源11を取り付けるようにしてもよい。
【００３９】
撮像装置20は、楽器10を演奏中の演奏者Ａが移動する範囲（以下、「撮像範囲」とする。）を撮像するように予め設定されており、演奏者Ａ及び楽器10を含む映像を取得し、コンピュータ装置50に映像信号として出力する。なお、楽器10などの対象物に取り付ける光源11に赤外線ライトを用いた場合、この撮像装置20には赤外線フィルタを装着することが望ましい。
【００４０】
投影装置30は、撮像装置20の撮像範囲と同等又はそれよりも大きい範囲に対して、コンピュータ装置50から出力された映像信号に基づいて、映像を演奏者の背面にあるスクリーンや壁に投影する。なお、投影装置30として、高輝度のプロジェクタなどが用いられる。
【００４１】
オーディオ制御装置40は、楽器10から出力されるオーディオ信号やマイク12から出力されるオーディオ信号をオーディオインターフェイス42で受信後、ミキサー43によってミキシングし、スピーカ41a,bへ出力する。
【００４２】
また、楽器10やマイク12から出力されるオーディオ信号は、コンピュータ装置50へも出力される。さらに、このオーディオ制御装置40には、ＭＩＤＩトーンジェネレータ44が設けられており、コンピュータ装置50から出力されるＭＩＤＩデータを受信し、オーディオ信号に変換後、ミキサー43に出力する。なお、コンピュータ装置50内でオーディオ信号を生成し、出力するようにしてもよい。
【００４３】
コンピュータ装置50は、撮像装置20から出力される映像信号から光源11の位置を検出し、その検出結果に基づいた映像信号を選択又は生成して投影装置30に出力する。このコンピュータ装置50は、図２に示すように、対象物位置検出手段51と、記憶手段52と、制御手段53とを備えている。
【００４４】
［コンピュータ装置50の各構成の説明］
対象物位置検出手段51は、撮像装置20から出力される映像信号を受信し、この映像信号から光源11の水平方向位置Ｘと垂直方向位置Ｙ（図３参照）とを検出する。光源11の検出は、複数フレームの映像信号から所定輝度以上かつ所定の大きさを有する映像の位置を検出することによって行われる。このように複数フレームの映像信号から光源11の位置を検出するため光の反射などによって生じた所定輝度以上の部分を誤って光源11として検出してしまう問題を回避することができる。また、光源11を赤外線とした場合には、撮像装置20から赤外線フィルタを通して撮影された映像信号が出力するようにすれば、さらに誤検出の可能性を低減することができる。
【００４５】
また、記憶手段52には、投影装置30から出力するための映像に関する情報（以下、「映像情報」とする。）が記憶されている。この映像情報として、例えば、炎又はそれを模した映像をその炎の大きさが異なる大中小の３種類の映像を記憶している。
【００４６】
本実施形態においては、モードとして、炎モード、雨モード、火の玉モード、分身モード、残像モードが設けられているが、これに限られない。なお、炎モードとは投影装置30から投影する映像が炎又はそれを模した映像（以下、「炎映像」とする。）であるモード、雨モードとは投影装置30から投影する映像が雨又はそれを模した映像（以下、「雨映像」とする。）であるモード、火の玉モードとは投影装置30から投影する映像が火の玉や火炎放射又はそれを模した映像（以下、「火の玉映像」とする。）であるモード、分身モードとは対象物及び演奏者（以下、「分身対象」とする。）の映像を分身対象に近接して投影装置30から投影するモード、残像モードとは対象物及び演奏者（以下、「残像対象」とする。）の映像を一定期間残像として残像対象に近接して投影装置30から投影するモードである。
【００４７】
記憶手段52にはモード毎に複数の映像情報が関連付けられた映像情報テーブルが記憶されている。この映像情報テーブルは、例えば、雨モードにおいては、大雨の映像情報、中くらいの雨の映像情報及び小雨の映像情報がそれぞれ映像情報１，２，３として関連付けられている。
【００４８】
制御手段53は、対象物位置検出手段51から出力される光源11の位置情報を受け取り、この位置情報に応じた制御を行う。例えば、映像システムが雨モードにあるとき、制御手段53は、記憶手段52の映像情報テーブルを参照して光源11の位置情報に応じた雨映像情報を記憶手段52から取得し、この雨映像情報に基づいて雨映像を生成し、映像信号として投影装置30へ出力する。なお、この制御手段53は、光源11が第１の高さより高い位置にあるときにはどしゃぶりの映像情報を、光源11が第２の位置より低い位置にあるときは、小雨の映像情報を取得する。
【００４９】
また、制御手段53は、対象物位置検出手段51から出力される光源11の位置情報を連続して受け取った後、光源11の変位を検出し、その変位に応じた制御をも行う。例えば、映像システムが炎モードにあるとき、制御手段53は、記憶手段52の映像情報テーブルを参照して光源11の変位情報に応じた炎映像情報を記憶手段52から取得する。そして、この炎映像情報に基づいて炎映像を選択し、映像信号として投影装置30へ出力する。なお、この制御手段53は、光源11の変位、すなわち時間的な変動度合いが大きいときには、大きい炎の映像を記憶手段52から選択し、変動度合いが小さいときには、小さい炎の映像を記憶手段52から選択する。
【００５０】
以上のように構成された映像システムについて、以下モードごとにその動作を説明する。
【００５１】
［炎モードの説明］
上述のように、炎モードとは、火の玉映像を投影装置30から投影するモードであり、このモードでの動作を、図４を参照して具体的に説明する。
【００５２】
コンピュータ装置50により、映像システムのモードが炎モードに設定されているとき、制御手段53は、対象物位置検出手段51から出力される光源11の位置情報を逐次取得する。
【００５３】
続いて、制御手段53は、受け取った位置情報に基づき、光源11の位置が低いＹ１と判定すると、炎の映像を投影しない（図４（ａ）参照）。その後、光源11の位置がＹ２と高くなったとき、制御手段53は、記憶手段52に記憶された映像のうち小さい炎の映像を選択し、投影装置30から投影する（図４（ｂ）参照）。さらに、光源11の位置がＹ３と高くなると、制御手段53は、記憶手段52に記憶された映像のうち大きい炎映像を選択し、投影装置30から投影する（図４（ｃ）参照）。
【００５４】
以上のように、炎モードでは、光源11の高さに応じて映像を変えるようにしているが、光源11の変位に応じても映像を変える。すなわち、制御手段53は、対象物位置検出手段51から順次出力される位置情報を逐次取得して光源11の時間当たりの変位量を算出し、その変位量に応じた炎の映像を投影装置30から投影する。
【００５５】
このように、変位量に応じて、投影装置30から投影する映像を変えるようにしており、楽器10を演奏する演奏者は、楽器10の高さや移動のさせ方によって、投影装置30から投影する映像を容易に変えることができる。演奏者の演奏を楽しんでいる観客は、演奏者の背景に写る映像のトータル的な輝度が変化していくので、この視覚効果の演出を楽しむことができる。
【００５６】
［雨モードの説明］
上述のように、雨モードとは、雨映像を投影装置30から投影するモードであり、このモードでの動作を、図５を参照して具体的に説明する。
【００５７】
コンピュータ装置50により、映像システムのモードが雨モードに設定されているとき、制御手段53は、対象物位置検出手段51から出力される光源11の位置情報を逐次取得する。
【００５８】
続いて、制御手段53は、取得した位置情報から光源11の位置が低いＹ１であると判定すると、記憶手段52から小雨の映像情報を取得し、その映像情報に含まれる雨の数から雨映像を生成する。なお、この雨映像の生成においては、雨を示す一本一本の高輝度線の始点をランダムに決定すると共に、それら一本一本の垂直方向の長さもランダムに決定し、水平方向に順次ずらす方法で行っている。このように生成した小雨映像は図５（ａ）に示すように投影装置30から投影される。
【００５９】
その後、制御手段53は、取得した位置情報から光源11の位置が高いＹ２と判定すると、記憶手段52から中雨の映像情報を取得し、この映像情報に含まれる雨の数から上述の方法により中雨映像を生成する。このように生成した映像は図５（ｂ）に示すように投影装置30から投影される。さらに、光源11の位置が高いＹ３なると、制御手段53は、同様に大雨の映像情報に基づいて、図５（ｃ）に示すように、投影装置30から大雨映像を投影させる。
【００６０】
以上のように、雨モードでは、光源11の高さに応じて、投影装置30から投影する映像を変えるようにしており、楽器10を演奏する演奏者は、楽器10に取りつられた光源11の高さを変えることによって、投影装置30から投影する映像を容易に変えることができる。なお、炎モードと同様に、光源11の変位量に基づいて、雨映像の種類を変えるようにしてもよい。演奏者の演奏を楽しんでいる観客は、演奏者の背景に写る高輝度のシャワー状の映像がその量を変化していくので、この視覚効果の演出を楽しむことができる。
【００６１】
［火の玉モードの説明］
上述のように、火の玉モードとは、火の玉映像を投影装置30から投影するモードであり、このモードでの動作を、図６を参照して具体的に説明する。
【００６２】
コンピュータ装置50により、映像システムのモードが火の玉モードに設定されているとき、制御手段53は、対象物位置検出手段51から出力される光源11の位置情報を逐次取得する。
【００６３】
続いて、制御手段53は、取得した位置情報から光源11の位置を基準の始点として、火花を示す一本一本の高輝度線の長さを所定の範囲内でランダムに決定し、角度を順次ずらす方法により、放射状に広がる映像を生成する。なお、光源11の位置が低いＹ１の場合には、図６（ａ）に示すように火の玉の映像は投影されず、光源の位置がＹ２になったときに、図６（ｂ）に示すように放射状の広がりが小さい映像が生成され、光源11の位置が高いＹ３の場合には、図６（ｃ）に示すように、放射状の広がりが大きい映像が生成され、投影装置30から投影される。
【００６４】
なお、制御手段53は、取得した位置情報から光源11の変位量に応じて、火花の長さ範囲を変更する。例えば、光源11の変位量が大きいときには火花の長さ範囲を長く、逆に変位量が小さいときには火花の長さ範囲を短くするよう火の玉映像を生成する。
【００６５】
以上のように、火の玉モードでは、光源11の高さ及び変位量に応じて、投影装置30から投影する映像を変えるようにしており、楽器10を演奏する演奏者は、楽器10に取りつられた光源11の高さや移動量を変えることによって、投影装置30から投影する映像を容易に変えることができる。
【００６６】
［分身モードの説明］
上述のように、分身モードとは、分身対象の映像を残像として一定期間分身対象に近接した映像を生成し、投影装置30から投影するモードであり、このモードでの動作を、図７を参照して具体的に説明する。
【００６７】
コンピュータ装置50により、映像システムのモードが分身モードに設定されているとき、制御手段53は、対象物位置検出手段51から出力される光源11の位置情報を逐次取得すると共に、撮像装置20から出力される映像信号を取得する。
【００６８】
続いて、制御手段53は、取得した位置情報から光源11の位置を判定し、取得した映像を左に所定距離ずらした映像を生成すると共に、取得した映像を右に所定距離ずらした映像を生成する。そして、このように生成した映像を合成し、図７に示すように投影装置30から投影する。
【００６９】
なお、制御手段53は、取得した位置情報から光源11の変位量に応じて、分身させる数を増減させるようにしてもよい。例えば、変位量が大きい場合には、取得した映像を左に所定距離ずつずらした映像を２つ生成すると共に、取得した映像を右に所定距離ずつずらした映像を２つ生成する。そして、このように生成した映像を合成し、投影装置30から出力する。
【００７０】
以上のように、分身モードでは、分身させた画像を投影装置30から投影するようにしているが、炎モード、雨モード、火の玉モードなどと組み合わせるようにしてもよい。
【００７１】
［残像モードの説明］
上述のように、残像モードとは、残像対象の映像を残像対象に近接した映像を生成し、投影装置30から投影するモードであり、このモードでの動作を、図８を参照して具体的に説明する。
【００７２】
コンピュータ装置50により、映像システムのモードが残像モードに設定されているとき、制御手段53は、対象物位置検出手段51から出力される光源11の位置情報を逐次取得すると共に、撮像装置20から出力される映像信号を取得する。
【００７３】
続いて、制御手段53は、取得した位置情報から光源11の位置及び変位量を判定し、変位量が所定以上になったときから所定以下になるまでの間、生成した残像映像を投影装置30から所定時間投影する。このように投影装置30から投影した映像の例を図８（ｂ）に示す。なお、残像映像の生成は、例えば、取得した映像信号から１秒前、２秒前の１フレームの映像を１つの映像に合成することによって行うことができる。また、図８（ａ）は、図８（ｂ）に対して２秒前の映像である。
【００７４】
なお、残像映像は、対象物や演奏者の映像ではなく、例えば、虹色の残像映像であってもよい。この虹色の残像映像は、例えば、２秒前から現在までの水平方向の変位範囲（移動範囲）でかつ、所定高さ範囲の虹の映像を生成し、投影装置30から投影するようにすることもできる。
【００７５】
［その他のモードの説明］
上述のモードのほか、サイゲデリックな映像を投影するサイゲデリックモードも備えており、以下このモードの動作について説明する。
【００７６】
コンピュータ装置50により、映像システムのモードがこのモードに設定されているとき、制御手段53は、撮像装置20から出力される映像信号を取得する。
【００７７】
続いて、制御手段53は、取得した映像信号を順次取り込み、現時点又はある時点の映像とその１／３０秒前の映像との変化を検出する。このように映像の変化を検出した後、変化が検出されなかった部分は白い映像、検出された部分は黒い映像となるように映像が生成される。そして、制御手段53は、このように生成した映像に、現時点又はある時点の映像の大きさを所定倍率に変換後輝度を変更した映像を加えるようなループ制御を行い、サイゲデリックな映像を生成し、撮像装置20から投影する。
【００７８】
［モード設定及び変更の説明］
ここで、モードの設定及び変更について説明する。本実施形態の映像システムにおいては、上述のように複数のモードを有しており、その選択及び変更は、（ａ）コンピュータ装置50の入力手段（図示せず）からの入力による選択及び変更、（ｂ）楽器10やマイク12からのオーディオ信号に基づく選択及び変更、（ｃ）光源11の変位又は位置に基づく選択及び変更、（ｄ）時間に基づく変更、などがある。
【００７９】
まず、（ａ）のモード設定及び変更について説明する。コンピュータ装置50は図示しないキーボードなどの入力手段を有しており、この入力手段からの入力によりモードの設定及び変更が行われる。例えば、コンピュータ装置50のオペレータがライブ等の進行に応じて入力手段からモード変更を入力すると、制御手段53は入力手段からの入力にしたがってモードを切換えて制御を行う。
【００８０】
なお、演奏者の近くにフットスイッチとして設け、これを入力手段とするようにしてもよい。例えば、フットスイッチが所定時間（例えば、５秒間）に何回踏まれたかによって、モードを設定又は動作させるようにする。１回踏まれた場合には雨モードを、２回踏まれたら炎モードを、３回踏まれたら分身モードとなるようにするがごときである。また、複数のフットスイッチを設け、フットスイッチ毎にモードを対応させて切り替えるようにしてもよい。
【００８１】
次に、（ｂ）のモード設定及び変更について説明する。制御手段53には、オーディオインターフェイス42から楽器10やマイク12からのオーディオ信号が入力されるようになっており、このオーディオ信号に基づいて、モードの設定及び変更を行う。
【００８２】
たとえば、マイク12から所定のキーワードが入力されたときに、それを制御手段53で音声認識することによって、モードを選択することができる。このキーワードは、歌や掛け声などに含まれないようなものが選択され、記憶手段52に予め設定される。
【００８３】
また、楽器10からのオーディオ信号に基づいて、制御手段53は、演奏している曲のリズムやテンポなどを抽出し、そのリズムやテンポに応じたモードを選択することができる。制御手段53は、比較的静かな曲のときは雨モードを、テンポが速い曲では炎モードを選択する。なお、曲ごとにモードを選択するのではなく、曲の中のリズムやテンポの変わり目でモードを変更するようにすることも可能である。
【００８４】
また、楽器10からのオーディオ信号が途切れる期間が長く続いた場合に、モードを変更することもできる。このようにすれば、曲ごとのモード変更が容易となる。なお、オーディオ信号が途切れている間は、雨モードを選択するなど、曲ごとだけでなく曲間にもモードを選択するようにしてもよい。
【００８５】
次に、（ｃ）のモード設定及び変更について説明する。制御手段53は、光源11の変位又は位置を検出し、この検出結果に基づいて、モードの設定又は変更を行う。たとえば、楽器10を水平方向に所定距離移動させることによって、モードを変更したり、光源11の位置を最も高いところに移動させることによって、モードを変更したりする。また、複数の演奏者の持つ楽器10に取り付けられた光源11が近接したときにそれを検出してモードを切換えるようにすることもできる。このように、演奏者は所定の動作をすることによって容易にモードを変更することが可能となる。
【００８６】
次に、（ｄ）のモード設定及び変更について説明する。このモード設定及び変更は、所定時間ごと、例えば２分ごとにモードを変更するものであり、制御手段53によって時間をカウントし、順次モードを変更するものである。なお、この時間はランダムに変更されるようにしてもよい。
【００８７】
以上のようにモードの設定及び変更は、（ａ）〜（ｄ）のように行うことができるがこれに限られず、これらの組み合わせによってモードの設定や変更を行うようにしてもよい。
【００８８】
なお、本実施形態においては、光源11の位置又は変位に応じた映像を選択又は生成し、その映像を、対象物を含む範囲に投影するようにしたが、この映像に加え又はこの映像に代え、光源11の位置や変位に応じて、オーディオインターフェイス42を制御し、楽器10、マイク12及びコンピュータ装置50から出力されるオーディオ信号の音量や周波数を変更するようにしてもよい。たとえば、光源11の位置が高くなるとボリュームを大きくしたり、周波数を変更するなどである。
【００８９】
また、このオーディオ信号の音量や周波数の変更として、オーディオインターフェイス42にて、オーディオ信号の周波数を検出して、その周波数の数値を変更したり、その周波数に対応する周波数を合成したりするようにしてもよい。例えば、オーディオインターフェイス42が入力されたオーディオ信号をＣメジャーの音階の音に変換するように設定されている場合、入力されるオーディオ信号のうちＣメジャーの音階の音に該当する周波数でないオーディオ信号の周波数をＣメジャーの音階の音に収まる周波数に変換し、出力するようにオーディオインターフェイス42が動作する。
【００９０】
また、光源11の位置が高さに応じた高さの音をスピーカ41a,bから出力するモードを設けてもよい。すなわち、コンピュータ装置50において本モードが設定されているとき、制御手段53は、対象物位置検出手段51から出力される光源11の位置情報を取得し、光源11の位置を判定する。そして、光源11の高さに対応する高さの音をオーディオ信号として生成する。この動作を繰り返すことによって、対象物の位置を動かすだけで、メロディの生成及び出力が可能となる。
【００９１】
また、光源11の位置又は変位に加え、楽器10やマイク12から出力されるオーディオ信号の音量や周波数に基づいて、各モードの制御やモード間の変更をするようにしてもよい。たとえば、火の玉モードや雨モードでの制御が行われているとき、オーディオ信号の音量や周波数に応じて火の玉や雨の色を変えるがごときである。
【００９２】
また、本実施形態においては、楽器10としてエレキギターを例にとって説明したが、ドラムを対象とすることもできる。この場合、光源11を取り付ける場所は、ドラムとドラムスティックの２箇所とし、これらの光源11を検出することによって、各種の映像を投影装置30から投影させる。
【００９３】
たとえば、制御手段53は、ドラムスティックに取り付けられた光源11の位置や変位を検出し、その検出結果に基づいて、映像を選択又は生成して、投影装置30から投影する。なお、火の玉モードや炎モードの際に、ドラムに取り付けた光源11の位置を基準とした映像を選択又は生成して、投影装置30から投影することにより、ドラムをより強調した視覚的な演出が可能となる。図９（ａ）は、投影装置30からの映像の投影前の状態を示し、図９（ｂ）は、ドラマーがドラムスティックを振り上げたときに、投影装置30から大きい炎映像が投影された状態を示している。
【００９４】
また、制御手段53は、ドラムからのオーディオ信号が入力されたとき、そのオーディオ信号の大きさや周波数に応じて映像を変えるようにすることもできる。さらに、制御手段53は、ドラムのどの部分からのオーディオ信号かを検出し、その部分を基準とした映像を生成又は記憶手段52から選択して、投影装置30から投影する。なお、ドラムの各部分やドラムスティックには異なる色又は形状の光源11を配置することによって、各部分の位置を検出し、それらの部分を基準とすることが可能となる。
【００９５】
また、上述の実施形態においては、対象物を楽器として説明したが、携帯電話を対象物とするようにしてもよい。この場合、そのディスプレイを光源として、映像システムを構成する。
【００９６】
たとえば、撮像装置20から出力される映像信号に基づいて、対象物位置検出手段51が携帯電話のディスプレイの位置を検出し、そのディスプレイの高さに応じて、投影装置30から投影する映像を変える。携帯電話が高さＹ３の位置にあるときは、図１０（ａ）に示すように、投影装置30から緑の映像を投影し、携帯電話の高さがＹ４となったとき、図１０（ｂ）に示すように、投影装置30から青の映像を投影するようにする。
【００９７】
また、携帯電話のディスプレイの位置を基準として、このディスプレイの高さを変えると、図１１（ａ）に示すようなハートの映像から、図１１（ｂ）に示すような星の映像に変化するようにすることもできる。
【００９８】
さらに、携帯電話のディスプレイのサイズ、形状などの種別を検出して、検出した種別に応じたパターンに基づいた映像を投影するようにしてもよい。例えば、ディスプレイのサイズが大きいときは、携帯電話の高さをＹ４にしたときに、虹の映像が投影される等である。
【００９９】
なお、携帯電話のディスプレイのサイズは、実際のサイズでなく、撮像装置20で撮像したときの映像中のサイズを検出するようにしてもよい。このようにすれば、サイズ検出が容易となる。また、ディスプレイの検出は、携帯電話においてディスプレイ用バックライト又はフロントライト（以下、「ライト」とする。）が駆動している状態で行なう。
【０１００】
さらに、携帯電話のディスプレイのライトのＯＮ．ＯＦＦの回数に応じて、図１０のパターンから図１１のパターンへ変更、すなわちモード変更するようにもできる。
【０１０１】
このように、携帯電話のディスプレイを用いることにより、例えば、カラオケボックスにおいて、視覚効果の演出を容易に行なうことができ、更なる娯楽性の向上が可能となる。
【０１０２】
なお、光源11の位置の高さに音の高さを対応させてメロディを生成及び出力するようにしてもよい。例えば、流れているカラオケの曲がＣメジャーであると制御手段53が判定すると、Ｃメジャーに対応するテーブルを記憶手段52から取得し、光源11の高さに応じた音をこのテーブルを参照して生成してスピーカ41a,bから出力するようにする。なお、曲がＣメジャーのときに光源11の高さと音の高さとの関係を図１２（ａ）に示しており、この関係が記憶手段52に記憶されるテーブルである。このようにすることによって、カラオケで流れている曲にあったメロディが生成されるため、カラオケにあわせて誰でもメロディを奏でることが可能となる。なお、図１２（ｂ）には、曲がＣマイナーのときに光源11の高さと音の高さとの関係を示している。
【０１０３】
また、本実施形態にいては、対象物位置検出手段51が光源11を検出することによって、制御手段53がこの検出情報に基づき各種制御を行うようにしたが、光源11の検出に代えて、対象物（例えば、演奏者など）自体を画像認識によって識別して対象物を検出するようにしてもよい。
【図面の簡単な説明】
【０１０４】
【図１】本発明の一実施形態に係る映像システムの全体的な構成を示した図。
【図２】映像システムのブロック図。
【図３】光源の位置情報を説明するための図。
【図４】炎モードの説明図。
【図５】雨モードの説明図。
【図６】火の玉モードの説明図。
【図７】分身モードの説明図。
【図８】残像モードの説明図。
【図９】ドラムに対する投影映像を示す図。
【図１０】携帯電話に対する投影映像を示す図。
【図１１】携帯電話に対する投影映像を示す図。
【図１２】携帯電話の高さと音の高さの関係を示す図。
【符号の説明】
【０１０５】
１０  楽器
２０  撮像装置
３０  投影装置
４０  オーディオ制御装置
５０  コンピュータ装置
５１  対象物位置検出手段
５２  記憶手段
５３  制御手段
【図１】
2006325161.tif 000003
【図２】
2006325161.tif 000004
【図３】
2006325161.tif 000005
【図４】
2006325161.tif 000006
【図５】
2006325161.tif 000007
【図６】
2006325161.tif 000008
【図７】
2006325161.tif 000009
【図８】
2006325161.tif 000010
【図９】
2006325161.tif 000011
【図１０】
2006325161.tif 000012
【図１１】
2006325161.tif 000013
【図１２】
2006325161.tif 000014