(57)【要約】【課題】  使用者への負担が少なく、周辺環境に依存せず現実世界と仮想世界のより的確な融合を可能とする映像融合装置を提供する。【解決手段】  現実世界を撮影する撮像部１と、前記撮像部１から得られる現実世界と仮想世界を融合した映像を表示する表示部２と、前記撮像部１と表示部２を一体で支持する支持部３と、前記支持部３を操作するための操作部４と、前記操作部４を使用者が手動で動かすことができる可動部と、前記可動部全てに取り付けられた変位検出部とを備える映像融合装置を提供する。【選択図】        図１
2005056161.tif 000002
【特許請求の範囲】
【請求項１】
現実世界を撮影する撮像部と、
前記撮像部から得られる現実世界と仮想世界を融合した映像を表示する表示部と、
前記撮像部と表示部を一体で支持する支持部と、
前記支持部を操作するための操作部と、
前記操作部を使用者が手動で動かすことができる複数の可動部と、
前記複数の可動部全てに取り付けられた変位検出部とを備えることを特徴とする映像融合装置。
【請求項２】
前記撮像部は３次元映像が構築できる撮像装置を備えることを特徴とする請求項１に記載の映像融合装置。
【請求項３】
前記表示部は、３次元映像を表示できる表示装置を備えることを特徴とする請求項１に記載の映像融合装置。
【請求項４】
前記表示部は外光を遮断するための遮光板を備えることを特徴とする請求項１に記載の映像融合装置。
【請求項５】
前記可動部は回転方向、もしくは直線方向に変位することを特徴とする請求項１に記載の映像融合装置。
【請求項６】
前記可動部は、可動範囲限界点での衝撃を和らげる衝撃吸収部を備えることを特徴とする請求項１に記載の映像融合装置。
【請求項７】
前記可動部は、負荷がかかっていない状態では、可動範囲の任意の点で自立する機構を備えることを特徴とする請求項１に記載の映像融合装置。
【請求項８】
前記変位検出部は回転変位、直線変位の情報を検出することを特徴とする請求項１に記載の映像融合装置。
【請求項９】
前記回転変位、直線変位の情報を検出する手段として、回転変位型または直線変位型のセンサを備えることを特徴とする請求項８に記載の映像融合装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、現実空間と仮想空間が融合された複合現実感を体験するための映像融合装置に関する。
【背景技術】
【０００２】
現実空間と仮想空間が融合された複合現実感を体験するための映像表示デバイスの１つとしてカメラを内蔵したＨＭＤ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ）が用いられている（例えば、特許文献1参照。）。
【０００３】
また、複合現実感を体験するためのキーコンポーネントとして、体験者の視点位置、視線方向を検出するための手段が必要である。この検出手段として、磁気センサ、光学式センサなどの各種センサが用いられている。
【特許文献１】特開２００３−１４１５７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
カメラを内蔵したＨＭＤは頭部に装着することが求められるために、初めて使用する体験者にとってはその装着、脱着が容易ではない。そのために、多くの体験者が使用する展示会場等では体験者１人に対しアテンダントが１人常に必要であり、ＨＭＤ使用法に関する説明やＨＭＤの衛生状態を良好に保つ清掃のための時間や人件費などのコストがかかるという課題が発生する。
【０００５】
また、検出手段である磁気センサ、光学式センサなどの物理的のそれぞれ独立したトランスミッタとレシーバで構成される各種センサは、周辺金属の影響、遮蔽物の影響等の周辺環境によりその精度が大きく影響され、的確な検出ができない場合がある。そのため展示会場等では、周辺環境の影響を最小限に抑えるために、全体レイアウト、センサのレシーバ設置位置を考慮するなどの対策が求められていた。
【課題を解決するための手段】
【０００６】
前記の課題を解決するための本発明による映像融合装置は以下の機構を備える。
【０００７】
すなわち、
現実世界を撮影する撮像部と、
前記撮像部から得られる現実世界と仮想世界を融合した映像を表示する表示部と、
前記撮像部と表示部を一体で支持する支持部と、
前記支持部を操作するための操作部と、
前記操作部を使用者が手動で動かすことができる複数の可動部と、
前記複数の可動部全てに取り付けられた変位検出部とを備える。
【０００８】
前記撮像部は３次元映像が構築できる撮像装置を備える。
【０００９】
前記表示部は３次元映像を表示できる表示装置を備える。
【００１０】
前記表示部は外光を遮断するための遮光板を備える。
【００１１】
前記可動部は回転方向、もしくは直線方向に変位する。
【００１２】
前記可動部は、可動範囲限界点での衝撃を和らげる衝撃吸収部を備える。
【００１３】
前記可動部は、負荷がかかっていない状態では、可動範囲の任意の点で自立する機構を備える。
【００１４】
前記変位検出部は回転変位、直線変位の情報を検出する。
【００１５】
前記回転変位、直線変位の情報を検出するために、回転変位型または直線変位型のセンサを備える。
【００１６】
以上、本発明を整理して要約すれば以下の構成に集約できる。
【００１７】
（１）現実世界を撮影する撮像部と、
前記撮像部から得られる現実世界と仮想世界を融合した映像を表示する表示部と、
前記撮像部と表示部を一体で支持する支持部と、
前記支持部を操作するための操作部と、
前記操作部を使用者が手動で動かすことができる複数の可動部と、
前記複数の可動部全てに取り付けられた変位検出部とを備えることを特徴とする映像融合装置。
【００１８】
（２）前記撮像部は３次元映像が構築できる撮像装置を備えることを特徴とする前記（１）に記載の映像融合装置。
【００１９】
（３）前記表示部は、３次元映像を表示できる表示装置を備えることを特徴とする前記（１）に記載の映像融合装置。
【００２０】
（４）前記表示部は外光を遮断するための遮光板を備えることを特徴とする前記（１）に記載の映像融合装置。
【００２１】
（５）前記可動部は回転方向、もしくは直線方向に変位することを特徴とする前記（１）に記載の映像融合装置。
【００２２】
（６）前記可動部は、可動範囲限界点での衝撃を和らげる衝撃吸収部を備えることを特徴とする前記（１）に記載の映像融合装置。
【００２３】
（７）前記可動部は、負荷がかかっていない状態では、可動範囲の任意の点で自立する機構を備えることを特徴とする前記（１）に記載の映像融合装置。
【００２４】
（８）前記変位検出部は回転変位、直線変位の情報を検出することを特徴とする前記（１）に記載の映像融合装置。
【００２５】
（９）前記回転変位、直線変位の情報を検出する手段として、回転変位型または直線変位型のセンサを備えることを特徴とする前記（８）に記載の映像融合装置。
【発明の効果】
【００２６】
以上、説明したように自立型でありながら、体験者が見たい方向に自由に動かすことができる映像融合装置が構成でき、体験者は映像表示部を覗き込むだけで、自由に現実世界と仮想世界が融合した複合現実感を体験することができる。すなわち、カメラを内蔵したＨＭＤでは問題であった頭部装着時の使用者への負担がなくなり、さらに使用者へ説明するためのアテンダントが不要となる。
【００２７】
また、本発明による映像融合装置は、展示会場等で周辺環境に影響されることなく的確な位置姿勢情報を得ることができ、より正確な現実世界と仮想世界の融合が可能となる。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の実施例を図面に基づいて説明する。
【実施例】
【００２９】
以下、添付の図面を参照して本発明の好適な実施形態について説明する。
【００３０】
図１、図２、図３は本発明の実施の形態による映像融合装置の概略構造を示す機構図である。
【００３１】
１は撮像部であり、例えばカメラからなる。撮像部１は使用者の視点位置から観察される視線方向の画像を撮影する。この撮影画像にＣＧ（コンピュータグラフィックス）映像を重畳表示させた融合映像を３次元映像として表示部２に表示する。なお、撮像部１と表示部２は、カメラを内蔵したＨＭＤの頭部装着機構を取り除いた撮像部分と表示部分を利用することができる。なお、本実施の形態による構造を説明する図２では左右の目それぞれに対応した２つの撮像部１を備えているが、特に３次元映像に限定されるものではない。
【００３２】
３は支持部であり、撮像部１、表示部２を一体で支持する。４は操作部であり、例えばハンドルからなる。支持部３は３方向の回転可動部分をもち、支持部３に取り付けられた操作部４により、撮像部１、表示部２を使用者が手動で左右方向および上下方向に自由に回転させることを可能にする。さらに、支持部３の３方向の可動部分は負荷がかかっていない状態、すなわち使用されていない状態では可動範囲中間点で自立する機構を備える。自立する機構としては、回転可動部分それぞれに、可動方向への張力を与えるゴム２本を取り付け、その張力を可動範囲中間点で相殺させることにより可能となる。なお、本実施の形態の構造では可動範囲の中間点で自立する機構であるが、自立する点は任意の点で良い。
【００３３】
５は装置支持部であり、本発明による映像融合装置全体を支持する。装置支持部５は２方向の回転可動部分と１方向の直線可動部分を持ち、映像融合装置全体を使用者が手動で前後方向、左右方向、上下方向に自由に移動させることを可能にする。さらに、装置支持部５の前後方向、左右方向の可動部分は負荷がかかっていない状態、すなわち使用されていない状態では可動範囲中間点で自立する機構を備える。自立する機構としては、例えば前後方向、左右方向の可動部分それぞれを、可動方向への張力を与えるバネ２本で構成し、その張力を可動範囲中間点で相殺させることにより可能となる。なお、本実施の形態の構造では装置支持部５の可動部分は３箇所だが、可動部分は何箇所あっても良い。
【００３４】
６は衝撃吸収部であり、例えばスポンジ、ゴム、エアダンパー、オイルダンパー等からなる。支持部３および装置支持部５の可動部分が可動範囲限界点に達する際に生じる衝撃を吸収する機構である。衝撃吸収部６は、映像融合装置全体を使用者が手動で動かす際に生じる衝撃を抑制する。衝撃吸収部６は全ての可動部に備えることができる。
【００３５】
７，８，９，１０，１１，１２は変位検出部であり、可動部分それぞれの回転変位および直線変位情報が得られる。これらの回転変位および直線変位の情報を基に使用者の視点位置、視線方向が計算できる。使用者の視点位置、視線方向の情報を基に、現実世界に融合させる３次元のＣＧ映像が生成され、現実世界と仮想世界（ＣＧ映像）を融合させた融合映像が表示部３に表示される。本実施の形態の構造では、変位検出部７，８，１０，１１，１２は回転変位を検出し、例えば機械式のエンコーダなどの角度センサから構成され、変位検出部９は直線変位を検出し、例えば直線変位センサから構成される。
【００３６】
２は表示部であり、例えば左右の目それぞれに対応する２枚の液晶ディスプレイからなる。表示部２は外光を遮断するための遮光板１３が取り付けられている。表示部２は撮像部１から得られる現実世界と、変位検出部７，８，９，１０，１１，１２からの情報を基に生成された仮想世界（ＣＧ映像）を融合させた融合映像を視差画像として２枚の液晶ディスプレイに表示する。なお、本実施の形態の構造では表示部２は２枚の液晶ディスプレイによる視差画像表示で立体視を実現しているが、表示部２はレンチキュラー方式、バリア方式により立体視を実現する表示デバイス、あるいは立体視が必要でない場合には１枚の液晶ディスプレイなどでも良い。
【００３７】
図４は、装置支持部５の変位検出部８における衝撃吸収部６を説明する図である。
【００３８】
図５は、装置支持部５の変位検出部７における自立機構を説明する図である。
【００３９】
なお、本実施の形態の構造では可動部分は支持部３と装置支持部５に合わせて６箇所備わっているが、それ以外に可動部分を設けても良い。
【００４０】
以上の様な機構を備えた本実施の形態の構成について、以下説明する。図６は本発明の実施の形態による概略構成を示すブロック図である。
【００４１】
撮像部１、表示部２、変位検出部７，８，９，１０，１１，１２は、上記図１、図２、図３の機構図に示し、説明したものと同様である。
【００４２】
撮像部１は、例えば博物館の展示物などの現実世界を撮影し、この撮影画像を画像信号として撮影画像取込部１４に出力する。１４は撮影画像取込部であり、撮像部１から送出された画像信号を映像融合部１７に適した形式に変換して映像融合部１７に送出する。１７は映像融合部であり、撮影画像取込部１４からの取込画像と融合映像生成部１６からの生成映像を融合して表示部２に送出する。
【００４３】
１５は位置姿勢算出部であり、変位検出部７，８，９，１０，１１，１２から送出された回転変位および直線変位情報をもとに使用者の視点位置、視線方向を推定する。本実施の形態では、変位検出部７，８，１０，１１，１２は回転変位を検出し、変位検出部９は直線変位を検出する。例えば変位検出部７，８，１０，１１，１２の回転角度をそれぞれθ１，θ２，θ３，θ４，θ５とし、回転変位を表す行列をＲ１（θ１），Ｒ２（θ２），Ｒ３（θ３），Ｒ４（θ４），Ｒ５（θ５）とする。また、変位検出部９の直線変位をｔ１とし、直線変位を表す行列をＴ１（ｔ１）とする。この際、使用者の視点位置、視線方向を表現する行列Ｍは、
Ｍ＝Ｒ１（θ１）Ｒ２（θ２）Ｔ１（ｔ１）Ｒ３（θ３）Ｒ４（θ４）Ｒ５（θ５）
で表現される。位置姿勢算出部１５は前記行列Ｍを算出し、使用者の視点位置、視線方向を推定する。なお、前記行列Ｍを算出する計算式は本実施形態に適用されるものであるが、例えば変位検出部の回転変位、直線変位の配置を変更した場合にも同様の手法により、使用者の視点位置、視線方向を表現する行列Ｍを算出することができる。
【００４４】
１６は融合映像生成部であり、位置姿勢算出部１５から使用者の視点位置、視線方向の情報を取得する。使用者の視点位置、視線方向が取得できれば使用者の視野が求まるため、融合映像生成部１６はデータ部１８から使用者の視野に対応するデータを取り出す。取り出されたデータは映像融合部１７に送られる。
【００４５】
１８はデータ部であり、例えばハードディスクから構成され、融合映像生成部１６に引き渡す生成画像を保持する。データ部１８に格納されるデータは、例えば３次元ＣＧデータである。データ部１８は融合映像生成部１６からの要求に応じて、適切なデータを融合映像生成部１６に送出する。例えば融合映像生成部１６が使用者のある特定の視野に融合する３次元ＣＧデータを要求してきた時に、データ部１８は格納されている３次元ＣＧデータの中から使用者の視野に含まれる３次元ＣＧデータを取り出して送出する。なお、データ部１８はハードディスクに限らず、データを保持することができる媒体であれば何でもよく、例えばテープやメモリなどで構成してもよい。
【００４６】
以上の様な機構、構成を備えた本実施形態の制御について、以下説明する。図７は本発明の映像融合装置における処理手順を説明するフローチャートである。
【００４７】
ステップＳ１でシステムが起動される。
【００４８】
ステップＳ２で撮像部１から画像が取得され、取得された撮影画像は撮影画像取込部１４で適切なフォーマットに変換され、映像融合部１７に送られる。
【００４９】
ステップＳ３で位置姿勢算出部１５が変位検出部７，８，９，１０，１１，１２から回転変位、および直線変位情報を取得し、使用者の位置姿勢を算出する。算出された位置姿勢情報は融合映像生成部１６に送られる。
【００５０】
ステップＳ４で位置姿勢情報をデータ部１８に送出し、データ部１８は取得した位置姿勢情報を基に適切な３次元ＣＧデータを融合映像生成部１６に送出する。
【００５１】
ステップＳ５で融合映像生成部１６が取得した３次元ＣＧデータは映像融合部１７に送出され、映像融合部１７において撮影画像取込部１４から送出された取込画像と、融合映像生成部１６から送出された３次元ＣＧデータ画像が融合される。撮影画像と３次元ＣＧデータ画像が融合された融合映像は表示部２に送られる。
【００５２】
ステップＳ６では映像融合部１７から送出されてきた融合映像情報を表示部２が表示する。
【００５３】
ステップＳ７でシステムを終了するかどうかがチェックされ、システムを終了させる場合はステップＳ８でシステムを終了させ、終了させない場合にはステップＳ２に戻り、上述の処理を繰り返す。
【００５４】
以上の様な機構、構成、制御を備えた本実施の形態によれば、例えば博物館に本発明による映像融合装置を展示物が好適に見渡せる場所に設置するだけで、使用者は簡易に、且つ自由に映像融合装置を操作できる。さらに、映像融合装置は６つの可動部分を備えているため、使用者は展示物をあらゆる位置、方向から観察することが可能となる。さらに、博物館の展示環境に依存せずに使用者の位置姿勢情報を得ることができるため、より正確な現実世界と仮想世界の融合が可能となる。
【図面の簡単な説明】
【００５５】
【図１】本発明の実施の形態による映像融合装置の概略構造を示す機構図
【図２】本発明の実施の形態による映像融合装置の概略構造を示す機構図
【図３】本発明の実施の形態による映像融合装置の概略構造を示す機構図
【図４】本発明の実施の形態による映像融合装置の衝撃吸収部を説明する図
【図５】本発明の実施の形態による映像融合装置の自立機構を説明する図
【図６】本発明の実施の形態による映像融合装置の概略構成を示すブロック図
【図７】本発明の実施の形態による映像融合装置における処理手順を説明するフローチャート
【符号の説明】
【００５６】
１  撮像部
２  表示部
３  支持部
４  操作部
５  装置支持部
６  衝撃吸収部
７，８，９，１０，１１，１２  変位検出部
１３  遮光板
１４  撮影画像取込部
１５  位置姿勢算出部
１６  融合映像生成部
１７  映像融合部
１８  データ部
【図１】
2005056161.tif 000003
【図２】
2005056161.tif 000004
【図３】
2005056161.tif 000005
【図４】
2005056161.tif 000006
【図５】
2005056161.tif 000007
【図６】
2005056161.tif 000008
【図７】
2005056161.tif 000009