(57)【特許請求の範囲】
【請求項１】
予め設定された視差を有するように配置された映像撮影用の第１撮像  手段及び第２撮像手段と、
前記第１撮像手段と前記第２撮像手段とを切り替えて、前記第１撮像手段又は前記第 ２撮像手段から入力されるフィールド映像を切り替えて出力するための切替スイッチを 備え、前記切替スイッチで切り替えられて出力されるフィールド映像の映像信号を処理  して、動的な立体映像用のビデオ映像信号を出力する映像制御手段と、
前記映像の撮影時に音声信号を採取する音声信号入力手段と、
加速度センサ及び角速度センサを備え、動作情報を検出する動作情報検出手段と、
前記映像制御手段の動作を制御すると共に、前記動作情報検出手段の検出情報を記録 するコンピュータと、
前記ビデオ映像信号及び前記音声信号を記録する記録手段と、
前記動作情報検出手段の検出情報及び前記記録手段からの同期信号を前記コンピュー タにそれぞれ出力するジャンクション手段と
をそれぞれ内蔵し、
前記コンピュータにおいては、前記ジャンクション手段を経由して前記同期信号によ って前記動作情報検出手段の検出情報を記録し、
前記記録手段においては、前記音声信号入力手段からの音声信号を記録し、この際、 前記コンピュータに記録された前記検出情報に基づいて前記音声信号を処理して音像を 定位させ、かつ、前記切替スイッチによって前記第１撮像手段又は前記第２撮像手段か らの映像信号を交互に記録する
ように構成されている撮影装置。
【請求項２】
前記第１撮像手段と前記第２撮像手段とが水平方向に配置されていることを確認するための水平確認手段を有する、請求項１に記載した撮影装置。
【請求項３】
前記第１撮像手段と前記第２撮像手段とによって撮影した映像をそれぞれ補正するための補正手段を有する、請求項１に記載した撮影装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、動的な立体映像を撮影するための撮影装置に関するものである。
【０００２】
【従来の技術】
近年、マルチメディア関連産業の発展が目覚ましく、生活の身近なところにも係わってきている。例えば、３Ｄ映像と呼ばれる立体映像は、ゲームや映画等の中でも用いられ、立体映像により遊技者等がまるで疑似的な仮想空間の中にいるかのような錯覚を起こさせるものである。
【０００３】
このような立体映像は、コンピュータグラフィックと呼ばれる手法により、コンピュータ上の特殊なソフトウェアを使用して作成する。このような立体映像を作成するためには、例えば人間でいう左右の視点から見た映像を、コンピュータ上で合成することにより作成する。
【０００４】
【発明が解決しようとする課題】
ところが、このような特殊な技術であるコンピュータグラフィックを用いて立体映像を作成することは、高度な技術を必要とし、非常に手間が掛かるばかりでなく、高額の費用が掛かってしまう。
そこでこの発明は上記課題を解消し、動的な立体映像を容易に作成することができる撮影装置を提供することを目的としている。
【０００５】
【課題を解決するための手段】
上記目的は、この発明にあっては、
予め設定された視差を有するように配置された映像撮影用の第１撮像手段及び第２撮  像手段と、
前記第１撮像手段と前記第２撮像手段とを切り替えて、前記第１撮像手段又は前記第 ２撮像手段から入力されるフィールド映像を切り替えて出力するための切替スイッチを 備え、前記切替スイッチで切り替えられて出力されるフィールド映像の映像信号を処理  して、動的な立体映像用のビデオ映像信号を出力する映像制御手段と、
前記映像の撮影時に音声信号を採取する音声信号入力手段と、
加速度センサ及び角速度センサを備え、動作情報を検出する動作情報検出手段と、
前記映像制御手段の動作を制御すると共に、前記動作情報検出手段の検出情報を記録 するコンピュータと、
前記ビデオ映像信号及び前記音声信号を記録する記録手段と、
前記動作情報検出手段の検出情報及び前記記録手段からの同期信号を前記コンピュー タにそれぞれ出力するジャンクション手段と
をそれぞれ内蔵し、
前記コンピュータにおいては、前記ジャンクション手段を経由して前記同期信号によ って前記動作情報検出手段の検出情報を記録し、前記記録手段においては、前記音声信 号入力手段からの音声信号を記録し、この際、前記コンピュータに記録された前記検出 情報に基づいて前記音声信号を処理して音像を定位させ、かつ、前記切替スイッチによ って前記第１撮像手段又は前記第２撮像手段からの映像信号を交互に記録する
ように構成されている撮影装置により達成される。
【０００６】
この発明では、予め設定された視差を有する第１撮像手段と第２の撮像手段とを切り替えることにより連続的に映像を撮影し、これらの映像を基に立体映像が作成されるので、動的な立体映像を容易に作成することができる。
しかも、こうした立体映像だけでなく、映像撮影時に音声も採取して、これらの信号を記録手段に記録し、この際、動作情報検出手段の検出情報（モーションデータ）で音声信号を処理しているので、映像信号に合わせてあらゆる方向に良好な音像を定位させることができる。
更に、動作情報検出手段の加速度センサ及び角速度センサで検出されたモーションデータに基づいて、体感シミュレーション時に使用者の着座装置をピッチング及び／又はローリングし、映像及び音声に同期して臨場感豊かな擬似空間を体験することができる。
【０００７】
【発明の実施の形態】
以下、この発明の好適な実施の形態を添付図面に基づいて詳細に説明する。
なお、以下に述べる実施の形態は、この発明の好適な具体例であるから、技術的に好ましい種々の限定が付されているが、この発明の範囲は、以下の説明において特にこの発明を限定する旨の記載がない限り、これらの形態に限られるものではない。
【０００８】
図１は、この発明の好ましい実施の形態である撮影装置が搭載されている体感シミュレーションデータ作成装置の外観を示す斜視図である。
体感シミュレーションデータ作成装置１は、対象動作物に対して配置させて、この対象動作物における映像、音声、及びこれらに同期した動作情報（モーションデータ）を一括して採取しすることで、体感シミュレーションデータを作成する装置である。
【０００９】
体感シミュレーションデータ作成装置１は、人間の体型をしており、その内部に空間ＳＰを有する。この体感シミュレーションデータ作成装置１が、このような形状をしているのは、体感シミュレーションデータ作成装置１を対象動作物に配置して体感シミュレーションデータを作成する際に、このような人間の体型をしている方が安定して配置させやすいためである。体感シミュレーションデータ作成装置１の外装の材質としては、例えばＦＲＰ（強化繊維プラスチック）等を採用することができる。
【００１０】
体感シミュレーションデータ作成装置１は、外観上、頭部１ｃ、胴体１ｄ等から構成されている。頭部１ｃは、その頭部側面１ｅ、１ｅにマイクロホン３が配置されており、頭部正面１ｆに穴状の開口部１ｋに後述する立体カメラ２等が配置されている。
【００１１】
胴体１ｄは、本体１ａ及び蓋１ｂ等を有する。本体１ａは、体感シミュレーションデータ作成装置１における後述する内部機器を収容する。蓋１ｂは、例えば取付部１ｇ、１ｈでネジ止め等により本体１ａに取り付け／取り外しが可能である。これにより、体感シミュレーションデータ作成装置１のメンテナンスや修理等が行いやすくなっている。体感シミュレーションデータ作成装置１は、蓋１ｂを本体１ａから取り外すと、本体１ａの内部には空間ＳＰが存在し、この空間ＳＰに以下に説明する内部機器を配置している。
【００１２】
図３は、図１の体感シミュレーションデータ作成装置１をＧ方向から見た場合の内部機器の配置を示す断面図である。
図４は、図１の体感シミュレーションデータ作成装置１の内部機器を示す機能構成図である。
【００１３】
体感シミュレーションデータ作成装置１は、図３のように、頭部１ｅには立体カメラ２（映像撮影手段）及びマイクロホン３（音声入力手段）が配置され、胴体１ｄにはスタート／ストップスイッチ９、モーションセンサ４（動作情報検出手段）、ジャンクションボックス５、コンピュータ６（制御手段）、ビデオレコーダ７（映像記録手段、音声記録手段）、及び電源８等が配置されている。
【００１４】
立体カメラ２は、図４のように体感シミュレーションデータ作成装置１において動的であって、立体的な実際の画像である映像を撮影するための撮影装置である。立体カメラ２は、例えばビデオレコーダ７及びバッテリ８等に接続されている。立体カメラ２は、バッテリ８により電源供給を受けている。立体カメラ２は、外観上において図５のように、筐体部分であり内部に電気的な回路を収容する本体２ｈ、本体２ｈの正面Ａに設けられている第１撮像手段２ｄ及び第２撮像手段２ｃ、背面Ｂ側には図７の表示装置３０等と接続するためのコネクタ等を有する。第１撮像手段２ｄ及び第２撮像手段２ｃについての詳細な説明は、後述する。
【００１５】
図６は、立体カメラ２の電気的な機能を示す回路図である。
立体カメラ２は、第１撮像手段２ｄ、第２撮像手段２ｃ、切替スイッチ２ｆ、増幅／利得制御部２５、Ａ／Ｄ（Ａｎａｌｏｇ  Ｔｏ  Ｄｉｇｉｔａｌ）変換部２２、信号処理部２３、映像信号変換部２４、水平確認手段３０、制御部２０（映像制御手段）、垂直方向補正部２１、及び補正手段３１等を有する。
【００１６】
以下の説明において、「フィールド映像」とは、第１撮像手段２ｄまたは第２撮像手段２ｃで撮影された映像を示し、「フレーム映像」とは、第１撮像手段２ｄ及び第２撮像手段２ｃにて撮影されたそれぞれのフィールド映像が、瞬時に切り替わることで人間が認識する映像を示す。
【００１７】
立体カメラ２は、第１撮像手段２ｄ及び第２撮像手段２ｃにて撮影された映像を、切替スイッチ２ｆにより切り替えたそれぞれフィールド映像を、増幅／利得制御部２５により増幅等を行い、Ａ／Ｄ変換部２２によりアナログ信号をデジタル信号化し、信号処理部２３や映像信号変換処理部２４にて所定の信号処理を行うことにより、立体映像を連続的に出力することで、動的な立体映像とするものである。
【００１８】
第１撮像手段２ｄは、立体カメラ２において外部からの映像を撮影する撮像手段である。第１撮像手段２ｄは、例えばＣＣＤ（電荷結合素子）を用いた撮像手段である。第１撮像手段２ｄは、信号処理部２３、垂直方法補正部２１、及び切替スイッチ２ｆと接続されている。第１撮像手段２ｄは、信号処理部２３により制御され、光学系レンズ等を経由して外部から取り込んだ映像をＣＣＤにより電気信号に変換して、垂直方法補正部２１により垂直方向の映像の補正を行いながら、切替スイッチ２ｆを経由して増幅／利得制御部２５に出力する。
【００１９】
第２撮像手段２ｃは、立体カメラ２において外部からの映像を撮影する撮像手段である。第２撮像手段２ｃは、例えばＣＣＤを用いた撮像手段である。第２撮像手段２ｃは、信号処理部２３、垂直方法補正部２１、及び切替スイッチ２ｆと接続されている。第２撮像手段２ｃは、信号処理部２３により制御され、光学系レンズ等を経由して外部から取り込んだ映像をＣＣＤにより電気信号に変換して、垂直方法補正部２１により垂直方向の映像の補正を行いながら、切替スイッチ２ｆを経由して増幅／利得制御部２５に出力する。
【００２０】
第１撮像手段２ｄと第２撮像手段２ｃとは、例えば、約６５ｍｍ程度離れるように、図５のような視差ｄを有するように水平方向に配置させている。ここで、視差とは、人間の両目の間隔より狭まった距離を示すものとする。このように、第１撮像手段２ｄと第２撮像手段２ｃとを所定の距離の視差ｄを有するように水平方向に配置させるのは、撮影した立体映像が最も良く立体化されるためである。
【００２１】
切替スイッチ２ｆは、第１撮像手段２ｄ及び第２撮像手段２ｃを切り替えるためのスイッチである。切替スイッチ２ｆは、撮像手段設定部２７を経由して信号処理部２３及び制御部２０と、また第１撮像手段２ｄ、第２撮像手段２ｃ、及び増幅／利得制御部２５等と接続されている。切替スイッチ２ｆは、信号処理部２３や制御部２０の制御を受けて、第１撮像手段２ｄまたは第２撮像手段２ｃから入力されるフィールド映像を例えば１／６０秒毎に切り替えて、それぞれのフィールド映像を増幅／利得制御部２５に出力する。ここで、１／６０秒毎に第１撮像手段２ｄと第２撮像手段２ｃを切り替えるのは、例えば切り替えることにより出力されるフィールド映像を、後述するようにビデオレコーダ７等の映像信号として記録するためである。
【００２２】
増幅／利得制御部２５は、切替スイッチ２ｆから入力される映像信号の増幅等を行う。増幅／利得制御部２５は、信号処理部２３、制御部２０、切替スイッチ２ｆ、及びＡ／Ｄ変換部２２等と接続されている。増幅／利得制御部２５は、信号処理部２３及び制御部２０の制御を受けながら、切替スイッチ２ｆの切替による第１撮像手段２ｄまたは第２撮像手段２ｃの映像信号をＡ／Ｄ変換部２２に出力する。
【００２３】
Ａ／Ｄ（Ａｎａｌｏｇ  Ｔｏ  Ｄｉｇｉｔａｌ）変換部２２は、増幅／利得制御部２５から入力されたアナログ信号であるフィールド映像信号をデジタル信号に変換する。Ａ／Ｄ変換部２２は、増幅／利得制御部２５、及び信号処理部２３と接続されている。Ａ／Ｄ変換部２２は、変換した信号を信号処理部２３に出力する。
【００２４】
信号処理部２３は、第１撮像手段２ｄ及び第２撮像手段２ｃによるフィールド映像を輝度信号ＹＳ及び色度信号ＣＳに分ける等の処理を行う。信号処理部２３は、例えばＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）と呼ばれる信号処理回路である。ＤＳＰは、特定用途向けの大型集積回路であり、所定の信号処理を行う回路やソフトウェアを組み込んだ回路である。
【００２５】
信号処理部２３は、第１撮像手段２ｄ、第２撮像手段２ｃ、増幅／利得制御部２５、垂直方向補正部２１、制御部２０、撮像手段設定部２７、Ａ／Ｄ変換部２２、及び映像信号変換部２４等と接続されている。信号処理部２３は、制御部２０の制御を受けながら、第１撮像手段２ｄ、第２撮像手段２ｃ、増幅／利得制御部２５、撮像手段設定部２７、及び垂直方向補正部２１を制御する。
【００２６】
信号処理部２３は、垂直方向補正部２１に対して第１撮像手段２ｄや第２撮像手段２ｃにて撮影する際にそのフィールド映像の水平方向における映像を調整させるための制御を行う。
【００２７】
信号処理部２３は、撮像手段設定部２７に対して第１撮像手段２ｄ及び第２撮像手段２ｃを切り替える指令を行って、第１撮像手段２ｄ又は第２撮像手段２ｃにてそれぞれフィールド映像を撮影し、増幅／利得制御部２５に出力させる。信号処理部２３は、増幅／利得制御部２５にてフィールド映像信号の増幅等を行なわせ、Ａ／Ｄ変換部２２に出力する。信号処理部２３は、出力Ａ／Ｄ変換部２２から入力された第１撮像手段２ｄ及び第２撮像手段２ｃにて撮影された例えば１／６０秒毎のフィールド映像を、制御部２０の制御を受けながら輝度信号ＹＳと色信号ＣＳに分割して、映像信号変換部２４に出力する。
【００２８】
映像信号変換部２４は、信号処理部２３からの輝度信号ＹＳと色信号ＣＳを例えばビデオ映像信号に変換するためのものである。映像信号変換部２４は信号処理部２３、水平確認手段３０、及びコネクタ２６等に接続されている。映像信号変換部２４は、信号処理部２３からの輝度信号ＹＳと色信号ＣＳを輝度ビデオ信号ＹＶＳと色ビデオ信号ＣＶＳにそれぞれ変換して、立体カメラ２の出力端子であるコネクタ２６の端子２６ａ、端子２６ｂにそれぞれ出力する。
【００２９】
水平確認手段３０は、第１撮像手段２ｄや第２撮像手段２ｃでフィールド映像を撮影する際に、撮影する映像が水平となっているかどうかを確認するためのものである。水平確認手段３０は、映像信号変換部２４等に接続されている。水平確認手段３０は、表示スイッチ３０ｂ及び水平／垂直補正部３０ａ等を有する。
【００３０】
表示スイッチ３０ｂは、第１撮像手段２ｄや第２撮像手段２ｃの水平性を確認する際に押すことにより、映像中に垂直及び／又は水平を表す、例えば線等を表示するためのボタンスイッチである。表示スイッチ３０ｂは、図７のように例えば押されている間のみ垂直及び／又は水平線を出力する。水平／垂直補正部３０ａは、表示スイッチ３０ｂが押されたことを検知し、映像信号変換部２４に対して垂直／水平線等を表示するための信号を与える。
【００３１】
制御部２０は、立体カメラ２全体を制御するためのものである。制御部２０は、垂直方向補正部２１、増幅／利得制御部２５、信号処理部２３、コネクタ２９、及び設定情報部２８等と接続されている。制御部２０は、立体カメラ２の設定情報である設定情報部２８の情報を読み込み、信号処理部２３を制御することで信号処理部２３に接続された各処理部等を制御したり、直接、垂直方向補正部２１及び増幅／利得制御部２５等を制御する。コネクタ２９は、例えば立体カメラ２に外部からコンピュータ等により制御する際の端子である。
【００３２】
垂直方向補正部２１は、第１撮像手段２ｄ及び第２撮像手段２ｃによるフィールド映像の垂直方向における補正を行うためのものである。垂直方向補正部２１は、信号処理部２３、制御部２０、第１撮像手段２ｄ、及び第２撮像手段２ｃと接続されている。垂直方向補正部２１は、信号処理部２３や制御部２０に制御されることにより、第１撮像手段２ｄや第２撮像手段２ｃからのフィールド映像の垂直方向の調整を行う。
【００３３】
補正手段３１は、第１撮像手段２ｄや第２撮像手段２ｃで取り込まれたフィールド映像の輝度等を補正するためのものである。補正手段３１は、信号処理部２３、制御部２０等を有する。補正手段３１は、１つの回路で第１撮像手段２ｄ及び第２撮像手段２ｃをそれぞれ制御しているため、第１撮像手段２ｄによるフィールド映像と第２撮像手段２ｃによるフィールド映像の明るさ等が異なるというようなことがない。
【００３４】
マイクロホン３は、体感シミュレーションデータ作成装置１において音声（音声信号ＡＳ）を採取するためのものである。マイクロホン３は、図１のように人間型の体感シミュレーションデータ作成装置１の頭部側面１ｅに、例えばそれぞれ左右１つずつ配置されている。マイクロホン３、３は、体感シミュレーションデータ作成装置１が動かされる方向により、音源に対して近づいたり、遠ざかる。このため、マイクロホン３、３より採取されるそれぞれの音声信号ＡＳは、時間差やレベル差（音声信号の強弱）が生ずる。これらの音声信号ＡＳの時間差やレベル差を再生時に出力する音声に反映するため、音声信号ＡＳは、モーションセンサ４により検出されたモーションデータＭＤに基づいて、以下のようにビデオレコーダ７にて信号処理される。
【００３５】
マイクロホン３、３により採取されたそれぞれの音声信号ＡＳは、モーションデータＭＤを基にしてそれぞれの音声信号ＡＳの時間差を与える時間差付加手段により時間差が付加され、さらにはそれぞれの音声信号ＡＳの強弱にレベル差を与えるレベル差付加手段によりレベル差が付加される。これにより、音声信号ＡＳは、映像信号ＰＳに合わせてあらゆる方向に良好な音像を定位させて、ビデオレコーダ７に記録される。
【００３６】
尚、マイクロホン３、３により採取されるそれぞれの音声信号ＡＳに時間差を与える手段としては、それぞれの音に対して位相差を付加する手段により実現してもよい。また、マイクロホン３、３により採取されるそれぞれの音声信号の強弱にレベル差を与える手段としては、それぞれの音の周波数特性を制御する手段により実現してもよい。
【００３７】
モーションセンサ４は、体感シミュレーションデータ作成装置１に与えられる動作情報を検出するための加速度センサや角速度センサである。モーションセンサ４は、図３のように例えば前傾角θ＝１０度程度前傾して体感シミュレーションデータ作成装置１に配置されている。これは、体感シミュレーションデータ作成装置１を、例えば図１２のようにジェットコースター５０に座らせて配置すると、体感シミュレーションデータ作成装置１は１０度程度後ろに傾くが、モーションセンサ４が前傾して配置されている。このため、モーションセンサ４は、水平な状態となる。
【００３８】
モーションセンサ４は、例えば図１の体感シミュレーションデータ作成装置１においてＸ軸、Ｙ軸、及びＺ軸の３軸加速度センサ３ａ、３ｂ、及び３ｃと、Ｘ軸角速度センサ３ｘ、Ｙ軸角速度センサ３ｙ、及びＺ軸角速度センサ３ｚとを備える。３軸加速度センサ３ａ、３ｂ、及び３ｃは、それぞれＸ軸、Ｙ軸、及びＺ軸方向の加速度を検出するためのセンサである。３軸加速度センサ３ａ、３ｂ、３ｃは、例えばシリコン素子型のセンサを採用することができる。
【００３９】
Ｘ軸角速度センサ３ｘ、Ｙ軸角速度センサ３ｙ、及びＺ軸角速度センサ３ｚは、それぞれＸ軸、Ｙ軸、及びＺ軸を中心として回転する方向の回転角速度を検出するセンサである。Ｘ軸角速度センサ３ｘ、Ｙ軸加速度センサ３ｙ、及びＺ軸加速度センサ３ｚは、例えば圧電素子型のセンサを採用することができる。
【００４０】
モーションセンサ４は、バッテリ８及びジャンクションボックス５等と接続されている。モーションセンサ４は、バッテリ８により電源の供給を受ける。３軸加速度センサ３ａ、３ｂ、及び３ｃにより検出されたモーションデータＭＤである加速度データＡＤは、ジャンクションボックス５を経由して例えばコンピュータ６のメモリ６ｂやハードディスクドライブ６ｆ等の記憶媒体に記録される。また、Ｘ軸角速度センサ３ｘ、Ｙ軸加速度センサ３ｙ、及びＺ軸加速度センサ３ｚとにより検出されたモーションデータＭＤである角速度データＳＤＸ、ＳＤＹ、ＳＤＺは、ジャンクションボックス５を経由して、例えばコンピュータ６の記憶媒体に記録される。
【００４１】
ジャンクションボックス５は、モーションセンサ４の各センサによる加速度データＡＤ、角速度データＳＤＸ、角速度データＳＤＹ、及び角速度多ＳＤＺをコンピュータ６にまとめて出力したり、ビデオレコーダ７からの同期信号ＳＤをコンピュータ６に出力するためのものである。ジャンクションボックス５は、スタート／ストップスイッチ９、ビデオレコーダ７、モーションセンサ４、及びコンピュータ６等に接続されている。
【００４２】
スタート／ストップスイッチ９は、体感シミュレーションデータ作成装置１において映像、音声、及びこれらに同期した動作情報の採取（体感シミュレーションデータの作成）を開始、または終了するためのスイッチである。スタート／ストップスイッチ９は、ジャンクションボックス５等に接続されている。
【００４３】
コンピュータ６は、例えばモーションセンサ４からのモーションデータＭＤを記録したり、体感シミュレーションデータ作成装置１を制御するためのものである。コンピュータ６は、例えば携帯型のノートブック型コンピュータ等を採用することができる。このような、コンピュータ６は自らバッテリを保有しているため、外部からの電源供給がなくても一定時間の動作が可能である。
【００４４】
コンピュータ６は、例えば図９のように内部バスＬＢにＣＰＵ６ａ、メモリ６ｂ、ＲＯＭ６ｃ、ハードディスクドライブ６ｆ、フロッピードライブ６ｋ、及びＣＤ−ＲＯＭドライブ６ｅ等が接続され、外部バスＥＢにＢＩＯＳ６ｆ、外部接続コネクタ６ｇ、及びＵＳＢコネクタ６ｈが接続され、内部バスＬＢと外部バスＥＢがブリッジ６ｄを介して接続されている。内部バスＬＢは、コンピュータ６において内部機能のデータをやり取りするための情報の信号線である。
【００４５】
ＣＰＵ６ａは、コンピュータ６全体のみならず、体感シミュレーションデータ作成装置１の各機器を制御するためのものである。メモリ６ｂは、コンピュータ６における一時記憶媒体である。メモリ６ｂは、ＣＰＵ６ａの作業領域でもあり、例えば、ＣＰＵ６ａが動作させるプログラム等を動作させる領域である。
【００４６】
メモリ６ｂは、図１０のように例えば同期信号受取手段６ｂ１、モーションデータ記録手段６ｂ２、及びＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）６ｂ３等を有する。同期信号受取手段６ｂ１は、ビデオレコーダ７から出力された同期信号をコンピュータ６が受け取るためのプログラムである。モーションデータ記録手段６ｂ２は、モーションセンサ４にて検出されたモーションデータＭＤをコンピュータ６が外部コネクタ６ｇから取り込むためのプログラムである。ＯＳ６ｂ３は、コンピュータ６全体を制御するための基本プログラムである。ＯＳ６ｂ３は、ハードディスクドライブ６ｆに格納されているのを、ＣＰＵ６ａが読み出してメモリに常駐しているものである。
【００４７】
ＲＯＭ６ｃ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）は、コンピュータ６における読み出し専用記録媒体である。ＲＯＭ６ｃは、コンピュータ６の設定情報等を格納している。ハードディスクドライブ６ｆは、コンピュータ６における大型記憶媒体である。ハードディスクドライブ６ｆは、コンピュータ６の基本ソフトウェア（以下、ＯＳと略す）等を格納し、コンピュータ６が起動されると、ＯＳを読み出しメモリ６ｂの一部に常駐することで、コンピュータ６等を制御する。
【００４８】
フレキシブルディスクドライブ６ｋは、フレキシブルディスク等の情報記憶媒体に書き込まれた情報をＣＰＵ６ａの制御により読み出したり書き込んだりするための装置である。ＣＤ−ＲＯＭドライブ６ｅは、ＣＤ−ＲＯＭに書き込まれた情報を読み出すための装置である。外部バスＥＢは、コンピュータ６の外部機器と接続した場合のデータが通過する信号線である。ＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ  Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）６ｊは、コンピュータ６の入出力を管理する入出力基本プログラムである。
【００４９】
外部接続コネクタ６ｇは、コンピュータ６と外部とで信号をやり取りするためのものである。外部コネクタ６ｇは、ジャンクションボックス５等と接続されている。つまり、コンピュータ６は、ＣＰＵ６ａの制御により外部コネクタ６ｇからモーションセンサ４のモーションデータを、ジャンクションボックス５を経由して取得する。ＵＳＢ（Ｕｎｉｖｅｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）コネクタ６ｈは、例えばキーボード６ｉやマウス６ｊ等を接続するための接続端子である。ブリッジ６ｄは、内部バスＬＢと外部バスＥＢとの情報のやり取りを行う。
【００５０】
ビデオレコーダ７は、例えば映像や音声をデジタルデータ形式にて記録するための電子機器である。ビデオレコーダ７は、図１１のように例えば同期信号発生手段７ｂ、音声記録手段７ｃ、映像記録手段７ｄ、及び情報記録媒体７ａ等を有する。電源（バッテリ）８は、体感シミュレーションデータ作成装置１の電源であり、例えば二次電池を採用することができる。
【００５１】
体感シミュレーションデータ作成装置１は、以上のような構成であるが、次に体感シミュレーションデータ作成方法について述べる。
図１３、図１４、及び図１５は、図１の体感シミュレーションデータ作成装置１における体感シミュレーションデータ作成方法を示すフローチャートである。以下、図６、図１３、図１４、及び図１５を参照しながら、体感シミュレーションデータ作成方法について説明する。以下の説明では説明の都合上、ステップＳＴ１にてスタート／ストップボタン９を押すと、図１３のようにコンピュータ６側の処理であるステップＳＴ２からステップＳＴ７が先に動作している様な表現であるが、図１４及び図１５のようにビデオレコーダ７側の処理であるステップＳＴ１０からステップＳＴ２１も同時に動作している。
【００５２】
準備として、体感シミュレーションデータ１４を作成したい対象動作物、ここでは例えば図１２のようなジェットコースター５０の座席に、図１の体感シミュレーションデータ作成装置１を配置させて、安全ベルト等でしっかりと固定する。この状態で、映像の水平度をチェックするため表示スイッチ３０ｂを押す。表示スイッチ３０ｂを押すと、水平・垂直補正部３０ａが映像信号変換処理部２４に対して、所定の信号を出力することにより、体感シミュレーションデータ作成装置１に映像を表示装置を取り付けた場合に、その表示装置に、例えば水平及び／又は垂直の線を表示して、体感シミュレーションデータ作成装置１の水平を調整する。
【００５３】
ステップＳＴ１  スタート／ストップボタンを押す
スタート／ストップボタン９を押すと、図４のようにジャンクションボックス５がコンピュータ６に開始を伝えて、体感シミュレーションデータ作成装置１は映像、音声、及び動作情報の記録を開始する。ここで、体感シミュレーションデータ作成装置１を配置したジェットコースター５０を走行させる。
まず、コンピュータ６側の処理を図１３を用いて説明する。
【００５４】
ステップＳＴ２  モーションセンサが動作を開始する
コンピュータ６は、ジャンクションボックス５を経由してモーションセンサ４を動作させる。モーションセンサ４の３軸加速度センサ３ａ、３ｂ、及び３ｃと、Ｘ軸角速度センサ３ｘ、Ｙ軸角速度センサ３ｙ、及びＺ軸角速度センサ３ｚとは、各々測定を開始する。
【００５５】
ステップＳＴ３  同期信号を受取開始
コンピュータ６は、ビデオレコーダ７側の処理である図１４のステップＳＴ１１にてビデオレコーダ７が出力する同期信号ＳＤをジャンクションボックス５を経由して受け取る。
【００５６】
ステップＳＴ４、ＳＴ５  同期信号を書き込み、モーションデータを記録
コンピュータ６は、モーションセンサ４からのモーションデータＭＤを、ビデオレコーダ７からの同期信号ＳＤを付加して、例えばＭＩＤＩ（Ｍｕｓｉｃ  Ｉｎｓｔｒｕｍｅｎｔ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）形式にてメモリ６ｂ等に記憶する。
【００５７】
ステップＳＴ６  スタート／ストップボタンを押す
ジェットコースター５０の一通りの動作を終了すると、スタート／ストップボタン９を押すことにより、コンピュータ６が認識し、モーションセンサ４の動作等を停止する。
【００５８】
ステップＳＴ７  同期信号受取終了
モーションセンサ４によるモーションデータＭＤの取得が終了したことから、ビデオレコーダ７が出力する同期信号ＳＤの受け取りを終了する。
以上がコンピュータ６側の体感シミュレーションデータ作成方法を示す。次にビデオレコーダ７側の処理を図１４及び図１５を参照しながら説明する。
【００５９】
ステップＳＴ１０  ビデオレコーダ動作開始
スタート／ストップボタン９を押すことにより、ビデオレコーダ７が動作する。前述したように、ジェットコースター５０は走行した状態である。
【００６０】
ステップＳＴ１１  同期信号出力開始
ビデオレコーダ７は、ジャンクションボックス５を経由してコンピュータ６に対して、同期信号ＳＤを出力する。出力された同期信号ＳＤは、コンピュータ６側の図１３のステップＳＴ３の処理で使用される。
【００６１】
ステップＳＴ１２  音声記録開始
ビデオレコーダ７は、マイクロホン３より採取された音声信号ＡＳをビデオレコーダ７の情報記録媒体等に記録する。この際、ビデオレコーダ７は、コンピュータ６側のモーションデータＭＤを受け取り、前述したようにこのモーションデータＭＤを基に、音声信号ＡＳに所定の処理を加えることにより、音声信号ＡＳは音像を定位させた状態の音声信号ＡＳとして記録される。
【００６２】
ステップＳＴ１３  第２撮像手段に切り替え
立体カメラ２の制御部２０は、まず第２撮像手段２ｃにて撮影を行うため、切替スイッチ２ｆを第２撮像手段２ｃ側をオンとし、第１撮像手段２ｄ側をＯＦＦとする。
【００６３】
ステップＳＴ１４  第２撮像手段にて撮影
切り替えられた第２撮像手段２ｃにて撮影し、撮影されたフィールド映像は、第２フィールド映像信号１２ｂとして増幅／利得制御部２５へ出力される。増幅／利得制御部２５は、制御部２０や信号処理部２３の制御により第２フィールド映像信号１２ｂの増幅等を行う。増幅／利得制御部２５から出力された第２フィールド映像信号１２ｂは、Ａ／Ｄ変換部２２に入力された後、信号処理部２３の制御を受けながら、アナログ信号からデジタル信号へと変換され、信号処理部２３に出力される。
【００６４】
ステップＳＴ１５  第２フィールド映像を記録
信号処理部２３は、第２フィールド映像信号１２ｂを輝度信号ＹＳと色信号ＣＳとに分離させて、図６のようにそれぞれ映像信号変換部２４に出力する。輝度信号ＹＳと色信号ＣＳは、映像信号変換部２４にて処理され、それぞれ輝度ビデオ信号ＹＶＳと色ビデオ信号ＣＶＳをコネクタ２６を経由してビデオレコーダ７に出力し、立体映像・音声データ１２として記録される。
【００６５】
ステップＳＴ１６  第１撮像手段に切り替え
立体カメラ２の制御部２０は、第１撮像手段２ｄにて撮影を行うため、切替スイッチ２ｆを第１撮像手段２ｄ側をオンとし、第２撮像手段２ｃ側をＯＦＦとする。
【００６６】
ステップＳＴ１７  第１撮像手段にて撮影
切り替えられた第１撮像手段２ｄにて撮影し、撮影されたフィールド映像は、第１フィールド映像信号１２ａとして増幅／利得制御部２５へ出力される。増幅／利得制御部２５は、制御部２０や信号処理部２３の制御により第１フィールド映像信号１２ａの増幅等を行う。増幅／利得制御部２５から出力された第１フィールド映像信号１２ａは、Ａ／Ｄ変換部２２に入力された後、信号処理部２３の制御を受けながら、アナログ信号からデジタル信号へと変換され、信号処理部２３に出力される。
【００６７】
ステップＳＴ１９  第１フィールド映像の記録
信号処理部２３は、第１フィールド映像信号１２ａを輝度信号ＹＳと色信号ＣＳとに分離させて、図６のようにそれぞれ映像信号変換部２４に出力する。輝度信号ＹＳと色信号ＣＳは、映像信号変換部２４にて処理され、それぞれ輝度ビデオ信号ＹＶＳと色ビデオ信号ＣＶＳをコネクタ２６を経由してビデオレコーダ７に出力し、立体映像・音声データ１２として記録される。
【００６８】
ステップＳＴ２０  映像・音声記録終了かどうか
映像・音声が終了であるかどうかをチェックし、終了である場合は、ステップ２１へ進み、終了ではない場合は、引き続き、第１撮像手段２ｄ及び第２撮像手段２ｃからのフィールド映像１２ａ、１２ｂを信号処理部２３にて処理する。
【００６９】
ステップＳＴ２１  同期信号出力停止
映像及び音声の記録が終了すると、ビデオレコーダ７からコンピュータ６への同期信号ＳＤの出力が停止される。この時、コンピュータ６側のステップＳＴ７にて、この同期信号ＳＤの受取を終了する。以上のような処理を行った後、終了する（ステップＳＴ３０）。
以上のようにして体感シミュレーションデータ１４である立体映像・音声データ１２、及びこれに同期したモーションデータＭＤを容易に作成することができる。
【００７０】
次に、これらの体感シミュレーションデータ１４を後述する体感シミュレーション装置にて使用するために変換処理を行う。
この変換処理は、図１７の変換手段１３により実行される。変換手段１３は、例えば予め設定された処理を行うコンピュータプログラム等である。変換手段１３は、図１７のようにモーションデータＭＤと立体映像・音声データ１２を含む体感シミュレーションデータ１４を、後述する体感シミュレーション装置１００で使用するためのデータ形式である体感シミュレーションデータ１４ａに変換する。以下に、モーションデータＭＤ及び立体映像・音声データ１２の変換内容を示す。
【００７１】
モーションデータＭＤは、前述したように６つの各センサを有するモーションセンサ４により作成されたものである。後述する体感シミュレーション装置１００は、２つのモータを用いて動作する。このため、２つのモータを駆動させて体感シミュレーション装置１００の動作を再生するための処理をモーションデータＭＤに施し、図１６のモーションファイル１１ａとして記憶媒体、例えばハードディスクやＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ  Ｄｉｓｃ）等に格納する。
【００７２】
次に、映像／音声データ１２は、ビデオレコーダ７の情報記憶媒体７ａに記録されているため、この情報を変換手段１３が読み出し、例えばＭＰＥＧ形式データと変換して、図１６の映像ファイル１２ａ及び音声ファイル１２ｂとして、例えばモーションファイル１１ａが格納されている記憶媒体にさらに格納する。このようにして、作成された映像ファイル１２ａ、音声ファイル１２ｂ、及びモーションファイル１１ａを含む体感シミュレーションデータ１４ａを作成する。
【００７３】
以上のようにして映像、音声、及びこれらに同期した動作情報を含む体感シミュレーションデータを容易に変換することができる。
このように体感シミュレーションデータ１４ａは、映像ファイル１２ａ及び音声ファイル１２ｂがＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  ＥｘｐｅｒｔｓＧｒｏｕｐ）形式等にて記録され、モーションデータＭＤがＭＩＤＩ形式等にて記録されているため、映像ファイル１２ａ、音声ファイル１２ｂ、及びモーションファイル１１ａは、様々な編集作業を行うことが可能である。例えば、モーションファイル１１ａにおいては、映像ファイル１２ａ及び音声ファイル１２ｂに対しての動作を緩慢にする等のように情緒的な編集が容易である。
【００７４】
このようにして作成した体感シミュレーションデータ１４ａは、以下に説明するような体感シミュレーション装置１００にて使用する。
図１７は、体感シミュレーションデータ作成装置１にて作成された体感シミュレーションデータ１４ａを使用して動作する体感シミュレーション装置１００である。
【００７５】
体感シミュレーション装置１００は、図１７のようにシステムコントローラ５０、本体５７、及び電源５５等を有する。
システムコントローラ５０は、体感シミュレーション装置１００における制御部であり、本体５７を動作させるためのものである。システムコントローラ５０は、電源５５、モータ制御回路５１を含む本体５７と接続されている。
【００７６】
システムコントローラ５０は、記憶部５４及びＣＰＵ５０ａ等を有する。記憶部５４は、体感シミュレーションデータ１４ａを有しており、体感シミュレーションデータ１４ａは、映像ファイル１２ａ、音声ファイル１２ｂ、及びモーションファイル１１ａ等を有する。記憶部５４は、例えばハードディスク（磁気ディスク等）、またはＤＶＤ等である。
【００７７】
本体５７は、体感シミュレーション装置１００における動作部分である。本体５７は、安全制御回路５４及びシステムコントローラ５０と接続されている。本体５７は、安全制御回路５４、モータ制御回路５１、モータ５１ａ、５１ｂ、モーションベース５４、及び着座装置５２、５３等を有する。
【００７８】
安全制御回路５４は、本体５７が動作中に危険な状態が発生した時に本体５７の動作を停止するための制御回路である。モータ制御回路５１は、システムコントローラ５０の制御により、モータ５１ａ及びモータ５１ｂの動作をそれぞれ制御するための制御回路である。モータ５１ａ及びモータ５１ｂは、例えばそれぞれ交流モータである。
【００７９】
モータ５１ａ及びモータ５１ｂは、着座装置５２及び着座装置５３を動作するための揺動装置５４を動作させ、着座装置５２、５３をピッチング及び／又はローリングするように揺動させるための可動部である。揺動装置５４は、例えば２つの着座装置５２、５３等を有する。着座装置５２、５３は、略同様のものであるため、以下の説明では着座装置５２についてのみ説明する。着座装置５２は、スピーカ５２ａ、５２ｂ、視覚装置５２ｃ、座席５２ｅ、ファン５２ｄ、及び座席５２ｅ等を有する。
【００８０】
スピーカ５２ａ、５２ｂは、システムコントローラ５０の制御により記憶部５４の音声ファイル１２ｂに格納された音声データを出力する。スピーカ５２ａ、５２ｂは、それぞれユーザが座席５２ｅに着座したときに耳の位置付近となるように配置されている。
【００８１】
視覚装置５２ｃは、システムコントローラ５０の制御により記憶部５４の映像ファイル１２ａに格納された動的な立体映像を表示する。視覚装置５２ｃは、例えば両目用に２枚の液晶ディスプレイを有する。視覚装置５２ｃは、例えばユーザが座席５２ｅに着座したときにユーザの上部より回動してユーザをしっかりと固定するためのロックアーム（図示せず）に配置され、ロックアームにてユーザを固定したときにユーザの目の位置に配置されるようになっている。ファン５２ｄは、記憶部５４の映像ファイル１２ａに同期しているモーションデータＭＤの情報により、ユーザに対して臨場感を出すために風圧等をユーザに与えるためのものである。電源５５は、体感シミュレーション装置１００の電源である。
【００８２】
体感シミュレーション装置１００は、以上のような構成であり、次にその動作について説明する。
まず、体感シミュレーション装置１００を体験するユーザの準備等について説明する。ユーザは、体感シミュレーション装置１００の座席に座り、ユーザをしっかりと固定するためのロックアーム等のような安全装置にて固定される。ユーザは、ロックアームが体感シミュレーション装置１００に固定されると、ロックアームに配置された視覚装置５２ｃが、目線位置に配置される。ユーザの耳の位置付近には、スピーカ５２ａ及び５２ｂが配置されている。その他、ユーザが、体感シミュレーション装置１００に座ると、例えばユーザの正面やや下側にファン５２ｄ、５３ｄが配置されている。
【００８３】
次に、体感シミュレーション装置１００の動作等について説明する。体感シミュレーション装置１００を動作させるための体感シミュレーションデータ１４ａは、システムコントローラ５０の記憶媒体の１つである記憶部５４に格納されている。記憶部５４は、例えばＤＶＤやハードディスク等である。システムコントローラ５０のＣＰＵ５０ａは、この記憶部５４から映像ファイル１２ａ、音声ファイル１２ｂ、及びモーションファイル１１ａを読み出す。ＣＰＵ５０ａは、本体５７の視覚装置５２ｃには、映像ファイル１２ａに書き込まれた動的な映像を出力する。この時、視覚装置５２ｃに出力する映像は、ユーザの左右の目に対して視差を有する映像を出力するため、ユーザは立体映像として見える。
【００８４】
また、ＣＰＵ５０ａは、スピーカ５２ａ、５２ｂには、音声ファイル１２ｂに書き込まれた音声を立体映像に同期して出力する。この時、この音声は、音像を定位させているため視覚装置５２ｃで表示している映像に対応する位置から音声が聞こえる。
【００８５】
さらに、ＣＰＵ５０ａは、モータ制御回路５１に対してモーションファイル１１ａに書き込まれた動作情報を基にして、モータ５１ａ、５１ｂを動作させることにより、着座装置５２を映像及び音声に同期して動作させることができる。そして、ユーザは、ＣＰＵ５０ａの制御によりファン５２ｄから風圧を与えられ、臨場感豊かな疑似空間を体験することができる。以上の動作の説明は、着座装置５３も同様である。
【００８６】
この発明の実施形態によれば、視差を有する映像を撮影して、これらの映像を基に立体的な映像を容易に作成することができる。
【００８７】
【発明の効果】
以上説明したように、この発明によれば、動的な立体映像を容易に作成することができる。
【図面の簡単な説明】
【図１】この発明の好ましい実施形態である撮影装置が体感シミュレーションデータ作成装置に搭載されている様子を示す斜視図。
【図２】図１の体感シミュレーションデータ作成装置の蓋を取り外した様子を示す斜視図。
【図３】図１の体感シミュレーションデータ作成装置の内部機器の配置を示す側面断面図。
【図４】図１の体感シミュレーションデータ作成装置の内部機能を示す機能構成図。
【図５】この発明の好ましい実施形態である撮影装置を示す拡大斜視図。
【図６】図５の撮影装置の回路構成を示す回路図。
【図７】図５の撮影装置により撮影した映像を表示している様子を示す図。
【図８】図５の撮影装置による映像の撮影方法を示す図。
【図９】図３のコンピュータの内部構成を示す概要構成図。
【図１０】図９のメモリの内部を示す図。
【図１１】図３のビデオレコーダの内部の処理手段を示す図。
【図１２】図１の体感シミュレーションデータ作成装置を対象動作物に配置して、体感シミュレーションデータを作成している様子を示す斜視図。
【図１３】図１２の状態でのコンピュータの内部処理を示すフローチャート。
【図１４】図１２の状態でのビデオレコーダの内部処理を示すフローチャート。
【図１５】図１４の続きを示すフローチャート。
【図１６】図１２のようにして作成された体感シミュレーションデータを変換する様子を示す図。
【図１７】図１７のようにして変換された体感シミュレーションデータを用いて動作する体感シミュレーション装置を示す構成図。
【符号の説明】
１・・・体感シミュレーションデータ作成装置、２・・・立体カメラ（映像記録手段、撮影装置）、２ｃ・・・第２撮像手段、２ｄ・・・第１撮像手段、３・・・マイクロホン（音声記録手段）、４・・・モーションセンサ（動作記録手段）、６・・・コンピュータ（制御手段）７・・・ビデオレコーダ（映像記録手段、音声記録手段）、２０・・・制御部（映像制御手段）
【図１】
0003800767.tif 000002
【図２】
0003800767.tif 000003
【図３】
0003800767.tif 000004
【図４】
0003800767.tif 000005
【図５】
0003800767.tif 000006
【図６】
0003800767.tif 000007
【図７】
0003800767.tif 000008
【図８】
0003800767.tif 000009
【図９】
0003800767.tif 000010
【図１０】
0003800767.tif 000011
【図１１】
0003800767.tif 000012
【図１２】
0003800767.tif 000013
【図１３】
0003800767.tif 000014
【図１４】
0003800767.tif 000015
【図１５】
0003800767.tif 000016
【図１６】
0003800767.tif 000017
【図１７】
0003800767.tif 000018