(57)【特許請求の範囲】
【請求項１】
モニタ映像と背景とを視覚的に連続性を保って観察者に視認させるための映像表示システムであって、
撮像した背景映像を表示するためのモニタと、
前記モニタの表示面側に配置される光学レンズと、を備え、
前記光学レンズによるモニタ映像の虚像を任意に設定される背景面に略一致させ、  前記モニタと前記任意に設定される背景面間の距離をｌ、前記光学レンズのパワーをφとした場合に、前記モニタと前記光学レンズ間の距離ｄを下式（Ｘ１）を満たすように構成したことを特徴とする映像表示システム。
【数１】
0004417386.tif 000012
【請求項２】
前記モニタと前記任意に設定される背景面間の距離ｌを計測する距離計測手段と、
前記モニタと前記光学レンズ間の距離ｄを調整する距離調整機構と、
を有し、
前記距離調整機構は、前記距離計測手段で計測された前記モニタと前記任意に設定される背景面間の距離ｌに基づき、上記式（Ｘ１）に従って、前記モニタと前記光学レンズ間の距離ｄを調整することを特徴とする請求項１に記載の映像表示システム。
【請求項３】
前記モニタと前記任意に設定される背景面間の距離をｌ、前記光学レンズのパワーをφとした場合に、前記モニタに表示する背景映像の倍率Ｍｇを下式（Ｘ２）を満たすように構成したことを特徴とする請求項１に記載の映像表示システム。
【数２】
0004417386.tif 000013
【請求項４】
前記モニタと前記任意に設定される背景面間の距離ｌを計測する距離計測手段と、
前記モニタに表示する背景映像の倍率Ｍを変更する表示サイズ変換手段と、
を備え、
前記表示サイズ変換手段は、前記距離計測手段で測定された前記モニタと前記任意に設定される背景面間の距離ｌに基づき、上記式（Ｘ２）に従って、前記背景映像の倍率Ｍを変更することを特徴とする請求項３に記載の映像表示システム。
【請求項５】
前記モニタの光軸から所定方向に測定したモニタサイズをｍ0、前記光学レンズのパワーをφ、前記モニタと光学レンズ間の距離をｄ、前記光学レンズと任意に設定される観察位置の最短距離をｚmin、最長距離をｚmaxとした場合に、前記光学レンズの光軸から前記所定方向に測定したレンズサイズｒを下式（Ｘ３）を満たすように構成したことを特徴とする請求項１に記載の映像表示システム。
【数３】
0004417386.tif 000014
【請求項６】
前記光学レンズと前記任意に設定される観察位置の最短距離をｚmin、最長距離をｚmaxとした場合に、前記光学レンズのパワーφまたは焦点距離ｆが下式（Ｘ４）を満たすように構成したことを特徴とする請求項１に記載の映像表示システム。
【数４】
0004417386.tif 000015
【請求項７】
前記背景映像に付加映像を合成して、合成映像を生成する合成映像生成手段を備え、
前記モニタは、前記合成映像を表示することを特徴とする請求項１に記載の映像表示システム。
【請求項８】
前記背景を撮像するためのカメラを備えたことを特徴とする請求項１に記載の映像表示システム。
【請求項９】
前記カメラは、前記モニタの背景面側に配設されることを特徴とする請求項８に記載の映像表示システム。
【請求項１０】
前記カメラは、前記モニタと前記背景との間に存在する遮蔽物に配設されることを特徴とする請求項８に記載の映像表示システム。
【請求項１１】
前記カメラは、多眼カメラからなり、
前記多眼カメラで撮像した複数の背景映像に基づいて、観察者視点の背景映像を作成する視点位置変換映像生成手段を備えたことを特徴とする請求項８に記載の映像表示システム。
【請求項１２】
モニタ映像と背景とを視覚的に連続性を保って観察者に視認させるための映像表示方法であって、
背景を撮像する工程と、
その表示面側に光学レンズが配置されたモニタに、撮像した背景映像を表示する工程と、を含み、
前記光学レンズによるモニタ映像の虚像を任意に設定される背景面に略一致させ、
前記モニタと前記任意に設定される背景面間の距離をｌ、前記光学レンズのパワーをφとした場合に、前記モニタと前記光学レンズ間の距離ｄを下式（Ｘ１）を満たすように構成したことを特徴とする映像表示方法。
【数５】
0004417386.tif 000016
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像表示システムおよび映像表示方法に関し、詳細には、モニタ映像と背景とを視覚的に連続性を保って観察者に視認させるための映像表示システムおよび映像表示方法に関する。
【背景技術】
【０００２】
従来、実世界の中にバーチャルな映像を重畳表示させる手法として、「拡張現実」もしくは「複合現実」と呼ばれる技術があり、既に一部では実用化されている（例えば、非特許文献１参照）。かかる拡張現実を表示する方式としては、光学シースルー方式（例えば、特許文献１参照）とビデオシースルー方式（例えば、特許文献２参照）に大きく分類することができる。
【０００３】
図１６は、光学シースルー方式を説明するための模式図である。光学シースルー方式は、図１６に示すように、半透明の表示パネル４０１を使用し、表示パネル４０１に電子的に表示されるバーチャル映像ＶＩと表示パネル４０１を通して見る実世界の背景ＢＧとを重畳させて観察者ＯＢＳに視認させるものである。
【０００４】
図１７は、ビデオシースルー方式を説明するための模式図である。ビデオシースルー方式は、図１７に示すように、密閉型ヘッドマウントディスプレイやＣＡＶＥシステムなどを使用して、カメラ５０１で撮像した実世界の背景映像とバーチャル映像ＶＩを電子的に合成して表示するものである。
【０００５】
【特許文献１】
特開平１１−１７４３６７号公報
【特許文献２】
特開２００１−９２９９５号公報
【非特許文献１】
ＯＰＴＲＯＮＩＣＳ（２００２）  Ｎｏ．２、Ｐ１３７〜１４１「複合現実感」遠藤隆明氏等
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記光学シースルー方式では、実世界とバーチャル映像ＶＩを光学的に重畳しているため、バーチャル映像ＶＩが半透明になってしまい、電子的に表示される映像と光学系のみを透かして見る実世界の光景との本質的な整合は不可能であり、リアリティーにかける映像となるという問題がある。また、明るい現実環境の下では、暗いバーチャル映像ＶＩは殆ど視認できないという問題がある。
【０００７】
他方、上記ビデオシースルー方式では、リアリティーのある映像を表示することができるが、密閉型ヘッドマウントディスプレイやＣＡＶＥシステム等の非常に特殊な映像表示システムを使用しているため、観察者ＯＢＳの視野や動きが制限されるだけではなく、実世界を直接観察できないので日常生活の中で使うことが難しいという問題がある。すなわち、体験型ゲームやシミュレーション等の特殊なアプリケーション用途にしか使用できないという問題がある。
【０００８】
本発明は、上記に鑑みてなされたものであり、合成映像のリアリティーを保ちつつ、日常生活の中で実世界を観察している感覚で拡張現実を体現することが可能な映像表示システムおよび映像表示方法を提供することを目的とする。
【０００９】
ところで、観察者がモニタ方向を見た場合に、モニタが邪魔になってその部分の背景を視認することができない場合がある。観察者は、モニタ方向を見た場合でも、モニタに隠れている背景部分を見たいという要求がある。
【００１０】
本発明は、また、上記に鑑みてなされたものであり、観察者がモニタ方向を見た場合に、モニタ映像と背景とを視覚的に連続性を保って観察者に視認させることが可能な映像表示システムおよび映像表示方法を提供することを他の目的とする。
【課題を解決するための手段】
【００１１】
上述した課題を解決し、目的を達成するために、本発明は、モニタ映像と背景とを視覚的に連続性を保って観察者に視認させるための映像表示システムであって、撮像した背景映像を表示するためのモニタと、前記モニタの表示面側に配置される光学レンズと、を備え、前記光学レンズによるモニタ映像の虚像を背景面に略一致させたことを特徴とする。
【００１２】
また、本発明は、モニタ映像と背景とを視覚的に連続性を保って観察者に視認させるための映像表示方法であって、背景を撮像する工程と、その表示面側に光学レンズが配置されたモニタに、撮像した背景映像を表示する工程と、を含み、前記光学レンズによるモニタ映像の虚像を背景面に略一致させることを特徴とする。
【図面の簡単な説明】
【００１３】
【図１】図１は、本発明の原理を説明するための図である。
【図２】図２は、実施の形態１に係る映像表示システムの外観構成図である。
【図３】図３は、実施の形態１に係る映像表示システムのブロック構成図である。
【図４】図４は、観察者ＯＢＳがモニタを観察した場合に視認される映像を説明するための模式図である。
【図５】図５は、条件式（Ｘ２）の導出を説明するための説明図である。
【図６】図６は、表示モニタ−背景ＢＧ面間の距離ｌ［ｍ］と表示モニタ−光学レンズ間距離ｄ［ｍ］との関係を示す図である。
【図７】図７は、条件式（Ｘ２）の導出を説明するための説明図である。
【図８】図８は、条件式（Ｘ３）、（Ｘ４）の導出を説明するための説明図である。
【図９】図９は、観察者ＯＢＳの観察位置を制限する条件式および当該観察位置制限からレンズ特性を求める条件式を導出するための説明図である。
【図１０】図１０は、モニタと背景ＢＧ面間の距離ｌ［ｍ］と、ｚminおよびｚmaxとの関係を示す図である。
【図１１】図１１は、ｚminとｒmin、ｒmaxの関係を示す図である。
【図１２】図１２は、最大レンズ焦点距離を示す図である。
【図１３】図１３は、実施の形態２に係る映像表示システムの外観構成図である。
【図１４】図１４は、実施の形態３に係る映像表示システムの外観構成を示す図である。
【図１５】図１５は、実施の形態３に係る映像表示システムのブロック構成図である。
【図１６】図１６は、光学シースルー方式を説明するための模式図である。
【図１７】図１７は、ビデオシースルー方式を説明するための模式図である。
【符号の説明】
【００１４】
１００  映像表示システム
１０１  表示モニタ
１０２  カメラ
１０３  距離計測手段
１０４  光学レンズ
１０５  距離調整機構
１０６  画像処理手段
１１１  合成映像生成部
１１２  表示サイズ変換部
１００  映像表示システム
２０１  遮蔽物
３００  映像表示システム
３０１  多眼カメラ
３０２  画像処理手段
３１１  視点位置変換映像生成部
３１２  合成映像生成部
３１３  表示サイズ変換部
３１４  距離計算部
【発明を実施するための最良の形態】
【００１５】
以下、この発明につき図面を参照しつつ詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。また、下記実施の形態における構成要素には、当業者が容易に想定できるもの或いは実質的に同一のものが含まれる。
【００１６】
（本発明の原理）
図１は本発明に係る映像表示システムの原理を説明するための模式図である。本発明は、図１に示すように、観察者ＯＢＳと背景ＢＧとの間にモニタ１０１を配置するとともに、モニタ１０１の表示面側に光学レンズ１０４を配置する。そして、背景ＢＧをカメラ１０２で撮像し、撮像した背景映像とバーチャル映像ＶＩを合成して、モニタ１０１に表示する。この際、光学レンズ１０４とモニタ１０１との距離を調整することにより、光学レンズ１０４によるモニタ映像の虚像を背景面に略一致させて、モニタ映像と背景ＢＧとを視覚的に連続性を保って観察者ＯＢＳに視認させる。これにより、ビデオシースルー方式の利点である合成映像のリアリティーを保ちつつ、日常生活の中で実世界を観察している感覚で拡張現実の効果を得ることができる。
【００１７】
（実施の形態１）
図２は実施の形態１に係る映像表示システム１００の外観構成図である。映像表示システム１００は、図１に示すように、背景ＢＧと観察者ＯＢＳの間に配置される。同図において、１０１はモニタ、１０２はカメラ、１０３は距離計測手段、１０４は光学レンズ、１０５は距離調整機構を示している。モニタ１０１の背景面側には、カメラ１０２および距離計測手段１０３が配設されている。モニタ１０１の表示面（モニタ面）側には、４つの距離調整機構１０５を介して、光学レンズ１０４が対向配置されている。距離調整機構１０５は、伸縮可能に構成されており、その一端がモニタ１０１の表示面側に固定され、他端が光学レンズ１０４に固定されている。
【００１８】
図３は、図２の映像表示システム１００のブロック構成図である。映像表示システム１００の構成を図３を参照して詳細に説明する。モニタ１０１は、画像処理手段１０６から入力される映像を表示するためのものであり、例えば、ＣＲＴ、液晶パネル・プラズマディスプレイパネル・ＥＬディスプレイパネル等のフラットディスプレイパネル、およびフレキシブルディスプレイ等で構成することができる。
【００１９】
カメラ１０２は、ビデオカメラやデジタルカメラ等の撮像手段を使用することができ、背景の動画像または静止画像を撮像して、撮像した背景映像を画像処理手段１０６に出力する。画像処理手段１０６は、合成映像生成部１１１と表示サイズ変倍部１１２とを備えている。合成映像生成部１１１は、不図示のコントローラからの指示に応じて、背景映像に対して、任意の映像（バーチャル映像ＶＩ等）や文字情報などの付加映像を合成して合成映像を生成する。なお、合成映像生成部１１１は、不図示のコントローラから映像合成の指示がない場合には、映像合成を行わない。表示サイズ変倍部１１２は、距離計測手段１０３で計測されたモニタ１０１と背景面間の距離ｌに基づいて、背景映像または合成映像を伸縮（変倍）してモニタ１０１に出力する。なお、付加映像の合成は、背景映像の伸縮後に行うことにしても良い。
【００２０】
距離計測手段１０３は、モニタ１０１と背景面間の距離ｌを計測して、画像処理手段１０６の表示サイズ変倍部１１２および距離調整機構１０５に出力する。距離計測手段１０３は、例えば、赤外線センサー、超音波センサー、２眼カメラ等で構成することができる。２眼カメラを使用する場合は、公知のステレオ法（２つのカメラから得られる画像の間で対応点を見つけて、三角測量の原理を適用する手法）で距離を検出することができる。
【００２１】
距離調整機構１０５は、距離計測手段１０３で計測されたモニタ１０１と背景面間の距離ｌに応じて伸縮し、モニタ１０１と光学レンズ１０４間の距離を調整する。距離調整機構１０５は、例えば、アクチュエータと、当該アクチュエータを駆動する駆動回路とで構成することができる。光学レンズ１０４は、モニタ１０１のモニタ面（表示面）と背景面との視差を略一致させるためのものであり、例えば、ガラスレンズ、フレネルレンズ等の樹脂レンズで構成することができる。
【００２２】
つぎに、上記図２および図３に示す映像表示システム１００の表示動作およびその表示原理を図４〜図７を参照して説明する。カメラ１０２で背景を撮像して画像処理手段１０６の合成映像生成部１１１に出力する。また、距離計測手段１０３は、モニタ１０１と背景面間の距離ｌを計測して、画像処理手段１０６の表示サイズ変換部１１２および距離調整機構１０５に出力する。
【００２３】
合成映像生成部１１１は、不図示のコントローラの指示に応じて、背景映像に付加映像を合成して合成映像を生成する。表示サイズ変換部１１２は、モニタ１０１と背景面間の距離ｌに基づき、後述する背景映像のサイズ（倍率）を決定するための条件式（Ｘ２）に従って、背景映像または合成映像を伸縮（変倍）する。伸縮された背景映像または合成映像はモニタ１０１に表示される。
【００２４】
他方、距離調整機構１０５は、距離計測手段１０３で検出されたモニタ１０１と背景面間の距離ｌに基づいて、後述するモニタ映像と背景ＢＧからの視差を略一致させるための条件式（Ｘ１）に従ってモニタ１０１と光学レンズ１０４間の距離ｄを調整する。
【００２５】
これにより、観察者ＯＢＳは図４に示すような映像を視認することになる。図４は、観察者ＯＢＳがモニタ１０１を観察した場合に視認される映像の一例を説明するための模式図である。図４に示すように、観察者ＯＢＳが光学レンズ１０４を介してモニタ１０１を観察すると、モニタ映像のレンズ虚像がちょうど背景面とシームレスに繋がり、観察者ＯＢＳは、モニタ１０１は存在せず、画像処理手段１０６によって合成された映像や文字情報のみが背景映像に重畳表示されているように観察することができる。
【００２６】
次に、図５〜図７を参照して上記条件式（Ｘ１）、（Ｘ２）の導出について説明する。まず、図５および図６を参照して、条件式（Ｘ１）の導出について説明する。図５は、条件式（Ｘ１）の導出を説明するための説明図である。条件式（Ｘ１）は、上述したように、モニタ映像と背景ＢＧからの視差が略一致するように、モニタ１０１と光学レンズ１０４間の距離を決定するための式である。ここで、「視差が一致する」とは、背景面のある点とそれに対応するモニタ１０１上の点からの光線が、観察者ＯＢＳの観察位置によらずに同じ角度で観察者ＯＢＳまで到達するということを意味する。換言すると、モニタ映像の光学レンズ１０４による虚像が背景面と一致するということである。視差を一致させると、観察者ＯＢＳはモニタ１０１からの光線が背景面から発せられたものと区別できないため、モニタ映像が背景面に表示されているように観察することができる。この場合、視差だけでなく輻輳（水晶体の回転角度）や焦点調節（水晶体の厚み）も等しくなる。
［００２７］
図５において、背景面の１点Ｐに対応するモニタ１０１上の点はＰ’である。観察者ＯＢＳの観察位置が観察位置１の場合は、Ｐからの光線とＰ’からの光線はいずれも角度０（水平面からら）で到達する。他方、観察者ＯＢＳの観察位置が観察位置２の場合は、背景ＢＧ面の１点Ｐからの光線は角度ｕ’で到達する。点Ｐ’からの光線も角度ｕ’で到達させるためには、モニタ１０１と背景面間の距離ｌ、光学レンズ１０４のパワー（＝屈折力）をφ（レンズの焦点距離をｆとすると屈折力は、φ＝１／ｆで定義される）とした場合、以下のようにして近軸理論を適用すると、モニタ１０１と光学レンズ１０４間の距離ｄは、下記条件式（Ｘ１）を満たす必要があることが分かる。
［００２８］
【数１】
0004417386.tif 000002
［００２９］
図６は、φ＝１／０．１５［ｍ］とした場合に上記条件式（Ｘ１）で算出した、モニタ１０１と背景面間の距離ｌ［ｍ］と、モニタ１０１と光学レンズ１０４間の距離ｄ［ｍ］との関係を示す図である。同図において、横軸はモニタ１０１と背景面間の距離ｌ［ｍ］、縦軸はモニタ１０１と光学レンズ１０４間の距離ｄ［ｍ］を示している。同図に示すように、モニタ１０１と背景面間の距離ｌが比較的大きい場合には、モニタ１０１と光学レンズ１０４間の距離ｄはほぼ一定となることが分かる。このことは、仮に、モニタ１０１と背景面間の距離ｌが比較的小さな値（図６に示す例では、約２ｍ以下）にはならないことが予め分かっている場合には、モニタ１０１と背景面間の距離ｌに依存してモニタ１０１と光学レンズ１０４間の距離ｄを調整しなくても、上記条件式（Ｘ１）で求められる一定の値（ｄ＝１／φ）に設定しておくことでシステムが成立する可能性があることを意味する。このように、本発明では、モニタ１０１と背景面間の距離ｌが大きい場合には、モニタ１０１と光学レンズ１０４間の距離を調整する距離調整機構１０５は必ずしも必要ではないということになる。
［００３０］
つぎに、図７を参照して、上記条件式（Ｘ２）の導出について説明する。図７は、条件式（Ｘ２）の導出を説明するための説明図である。条件式（Ｘ２）は、上述したように、モニタ１０１に表示する背景映像のサイズ（倍率）を決定するための式である。図７において、背景面の２点ＰおよびＱに対応するモニタ１０１上の点をＰ’およびＱ’としている。φは光学レンズ１０４の屈折力，ｄはモニタ１０１と光学レンズ１０４間の距離，ｚはモニタ１０１と観察者ＯＢＳ間の距離である。実背景サイズに対するモニタ１０１に表示する背景映像の表示サイズ倍率Ｍｇ（＝Ｐ’Ｑ’／ＰＱ）は、以下のように近軸理論を用いると、下式（１）で表すことができる。
［００３１］
【数２】
0004417386.tif 000003
［００３２］
上記式（１）によれば、ｚに依存しているため、観察者ＯＢＳの位置によって背景映像のモニタ表示倍率を変更しなければならない。そこで、上記式（１）に、条件式（Ｘ１）を代入することで、下記条件式（Ｘ２）を得ることができる。
［００３３］
【数３】
0004417386.tif 000004
［００３４］
このように、条件式（Ｘ１）および条件式（Ｘ２）の条件を満たすことにより、光学レンズ１０４越しにモニタ１０１を観察することで、モニタ１０１に映った背景映像と実際の背景ＢＧをシームレスに観察することが可能になる。
【００３５】
ところで、条件式（Ｘ１）、（Ｘ２）を満たしただけでは、観察者ＯＢＳの視点位置によっては、光学レンズ１０４を介さずに、直接、モニタ１０１が見えてしまう場合がある。これでは、背景ＢＧ映像とモニタ映像をシームレスに観察することはできない。そこで、光学レンズ１０４を介さずに直接、モニタ１０１が見えるのを防止するための条件式（Ｘ３）、（Ｘ４）について説明する。図８は条件式（Ｘ３）、（Ｘ４）の導出を説明するための説明図である。
【００３６】
図８において、ｒは光学レンズ１０４を，背景面と平行な面内で，光軸からある方向（所定方向）に測った時のレンズサイズ、ｍ0は光学レンズ１０４と同じ方向に光軸から測ったモニタサイズ、ｚminとｚmaxは、システム上想定される観察者ＯＢＳとレンズ間距離ｚの最小値と最大値である。まず、レンズサイズの最小値について考える。これは観察者ＯＢＳが光学レンズ１０４から最も遠ざかった時、すなわちｚ＝ｚmaxの時に、モニタ１０１の端Ｍが直接見えないように、光学レンズ１０４の端Ｒが観察者ＯＢＳの視点ＯとＭを結ぶ直線よりも上になるようにすれば良いことになる。この条件から次式（２）を導出することができる。
【００３７】
【数４】
0004417386.tif 000005
【００３８】
次に、レンズサイズの最大値について考える。これは観察者ＯＢＳが光学レンズ１０４に最も近づいた時、すなわち、ｚ＝ｚminの時に、光学レンズ１０４の端Ｒ’を通って観察者ＯＢＳの観察位置Ｏ’に到達するモニタ１０１からの光線がモニタ１０１の端Ｍよりも光軸に近い位置であれば良いことになる。この条件から次式（３）を導出することができる。
【００３９】
【数５】
0004417386.tif 000006
【００４０】
上記式（２）、（３）から下記条件式（Ｘ３）を導出することができる。
【００４１】
【数６】
0004417386.tif 000007
【００４２】
また、上記条件式（Ｘ３）の右辺は、必ず左辺よりも大きくなければならないという条件から、光学レンズ１０４の屈折力φまたは焦点距離ｆ（＝１／φ）を制限する下記条件式（Ｘ４）を導出することができる。
【００４３】
【数７】
0004417386.tif 000008
【００４４】
以上、上記条件式（Ｘ１）、（Ｘ２）を満たした上で、さらに、上記条件式（Ｘ３）、（Ｘ４）を満たしていれば、システム上想定される観察者ＯＢＳの前後移動に対して、光学レンズ１０４を通さずにモニタ１０１が直接見えてしまったり、光学レンズ１０４越しにモニタ１０１の端Ｍが見えることがなくなり、背景映像とモニタ映像をシームレスに観察することが可能になる。
【００４５】
つぎに、観察者ＯＢＳの観察位置を制限する条件式および当該観察位置制限からレンズ特性を求める条件式について、図９〜図１２を参照して説明する。図９は、観察者ＯＢＳの観察位置を制限する条件式および当該観察位置制限からレンズ特性を求める条件式を導出するための説明図である。
【００４６】
図９において、ｒ0は光学レンズ１０４を，背景面と平行な面内で，光軸からある方向（所定方向）に測った時のレンズサイズ、Δｚは、背景面に垂直な軸方向における観察者ＯＢＳの観察可能範囲を示している。モニタ１０１と観察者ＯＢＳ間の距離ｚは、以下のように近軸理論を用いると、下式（４）で表すことができる。
【００４７】
【数８】
0004417386.tif 000009
【００４８】
上記式（４）は、ｄの関数であるが、上記条件式（Ｘ１）を適用すると、ｌの関数となる。図１０は、１／φ＝１／０．４５７ｍ、ｍ0＝０．１６ｍ、ｒ0＝０．１３５ｍとした場合のモニタ１０１と背景面間の距離ｌ［ｍ］と、ｚminとｚmaxの関係を示す図である。
下記式（５）は、レンズサイズを制限するレンズサイズ制限式を示している。
【００４９】
【数９】
0004417386.tif 000010
【００５０】
上記式（５）をφについて解くと、レンズの焦点距離もしくはパワー（屈折力）を制限する条件式（６）が導出される。
【００５１】
【数１０】
0004417386.tif 000011
【００５２】
図１１は、１／φ＝１／０．４５７ｍ、ｍ0＝０．１６ｍ、ｒ0＝０．１３５ｍとした場合のｚminとｒmin、ｒmaxの関係を示す図である。図１２は、最大レンズ焦点距離を示す等高線図であり、横軸はｚmin、縦軸はΔｚを示している。
【００５３】
以上説明したように、実施の形態１によれば、背景を撮像するカメラ１０２と、撮像された背景映像を表示するためのモニタ１０１と、モニタ１０１の表示面側に設けられた光学レンズ１０４とを有し、光学レンズ１０４によるモニタ映像の虚像をモニタ１０１の背景面に略一致させているので、観察者ＯＢＳが光学レンズ１０４越しにモニタ１０１を観た場合に、モニタ映像と背景ＢＧとを視覚的に連続性を保って視認することができる。
【００５４】
また、実施の形態１によれば、モニタ１０１と背景面間の距離ｌを計測する距離計測手段１０３と、光学レンズ１０４とモニタ１０１間の距離ｄを調整する距離調整機構１０５と、を有し、距離調整機構１０５は、距離計測手段１０３で測定されたモニタ１０１と背景面間の距離ｌに基づき、上記条件式（Ｘ１）に従って、モニタ１０１と光学レンズ１０４間の距離ｄを調整することとしたので、観察者ＯＢＳはモニタ１０１からの光線が背景面から発せられたものと区別できないため、モニタ映像が背景面に表示されているように観察することができる。
【００５５】
また、実施の形態１によれば、画像処理手段１０６の表示サイズ変換部１１２は、モニタ１０１と背景面間の距離をｌ、光学レンズ１０４のパワーをφとした場合に、距離計測手段１０３で測定されたモニタ１０１と背景面の距離ｌに基づき、上記条件式（Ｘ２）に従って、背景映像の変倍することとしたので、観察者ＯＢＳは、モニタ１０１に表示される背景映像の大きさを実際の背景ＢＧと同じサイズで視認することができる。
【００５６】
また、実施の形態１によれば、モニタのある方向の光軸から測ったサイズをｍ0、光学レンズ１０４のパワーをφ、モニタ１０１と光学レンズ１０４間の距離をｄ、光学レンズ１０４と観察位置の最短距離をｚmin、最長距離ｚmaxをとした場合に、光学レンズ１０４の光軸からある方向に測ったレンズサイズｒを、上記条件式（Ｘ３）を満たすように構成し、さらに、光学レンズ１０４のパワーφまたは焦点距離ｆを上記条件式（Ｘ４）を満たすように構成したので、光学レンズ１０４を通さずにモニタ１０１が直接見えてしまったり、また、光学レンズ１０４越しにモニタ１０１の端Ｍが見えることを防止することができる。
【００５７】
また、実施の形態１によれば、画像処理手段１０６の合成映像生成部１１１は、背景映像に付加映像を合成して合成映像を生成することとしたので、合成映像のリアリティーを保ちつつ、日常生活の中で実世界を観察している感覚で拡張現実を体現することができる。
【００５８】
（実施の形態２）
図１３は、実施の形態２に係る映像表示システム２００の外観構成図である。図１３において、図２と同等機能を有する部位には同一符号を付してある。実施の形態１に係る映像表示システム１００では、カメラ１０２および距離計測手段１０３をモニタ１０１と一体化して構成したが、必ずしも一体化させる必要はない。実施の形態２に係る映像表示システム２００は、図１３に示すように、モニタ１０１と背景ＢＧ間に存在する遮蔽物２０１に、カメラ１０２および距離計測手段１０３を配設した構成である。カメラ１０２は背景ＢＧに対向する位置に配設され、距離計測手段１０３はモニタ１０１と対向する位置に配設される。距離計測手段１０３では、モニタ１０１と背景面間の距離ｌを計測するために、背景面と遮蔽物２０１間の距離を固定とし、遮蔽物２０１とモニタ１０１間の距離を計測する。なお、遮蔽物２０１とモニタ１０１間の距離を固定とし、距離計測手段１０３をカメラ側に設置することで、背景面と遮蔽物２０１間の距離を計測する構成としても良い。
【００５９】
実施の形態２によれば、遮蔽物２０１にカメラ１０２を配置した構成であるので、観察者ＯＢＳに、遮蔽物２０１が存在しないように視認させることが可能となる。本実施の形態２の映像表示システム２００は、例えば、車載映像表示装置に応用することができる。この場合、例えば，移動体のボディーと屋根を繋ぐ柱（通常，ピラーなどと表現される部分）を遮蔽物として，ピラーの車内側面にモニタを，車外側面にカメラを設置して本実施の形態を適用することで，運転者はあたかもピラーが存在しないような感覚で外界を視認することが可能になる。
【００６０】
（実施の形態３）
上記実施の形態１および実施の形態２では、背景ＢＧを撮像するためのカメラ１０２をモニタ１０１と背景ＢＧ間に配置するものとして説明したが、本発明においては、カメラ１０２の配置位置は特に限定されるものではない。但し、カメラ１０２の位置と観察者ＯＢＳの位置が大きく異なると、上記条件式（Ｘ１）、（Ｘ２）を用いて、視差条件や表示倍率などを合わせても、カメラ１０２で撮像した背景映像と観察者ＯＢＳの位置から見た背景ＢＧが大きく異なってしまうため、シームレスに観察することが難しくなってしまう。
【００６１】
そこで、実施の形態３に係る映像表示システム３では、公知の任意視点映像生成技術（ＴＶＲＳＪ  Ｖｏｌ．４、Ｎｏ．４、１９９９「多眼ビデオ入力を用いた実時間ＩＢＲシステム」吉村健氏等参照）を使用して、観察者ＯＢＳの視点位置にカメラを設置したような背景映像を作成する場合について説明する。
【００６２】
図１４は、実施の形態３に係る映像表示システム３００の外観構成を示す図である。図１４において、図２と同等機能を有する部位には同一符号を付してある。実施の形態３に係る映像表示システム３００は、図１４に示すように、モニタ１０１の背景面側に３×３個のカメラからなる多眼カメラ３０１を配設した構成である。なお、多眼カメラ３０１はモニタ１０１に必ずしも配設する必要はない。
【００６３】
図１５は、実施の形態３に係る映像表示システム３００のブロック構成図である。図１５において、図３と同等機能を有する部位には同一符号を付してある。図１５において、多眼カメラ３０１は、複数の背景映像を撮像する。この複数の背景映像に基づいて、観察者の位置から見えるはずの背景映像が作成されるとともに、ステレオ法等を使用してモニタ１０１と背景面間の距離ｌが計測される。
【００６４】
画像処理手段３０２は、多眼カメラ３０１で撮像された複数の背景映像に基づいて、ステレオ法等を使用してモニタ１０１と背景面間の距離ｌを算出する距離計算部３１４と、上述の任意視点映像生成技術を使用して、多眼カメラ３０１で撮像された複数の背景映像に基づいて観察者の位置から見えるはずの背景映像を生成する視点位置変換映像生成部３１１と、不図示のコントローラの指示に従って背景映像に付加映像を合成する合成映像生成部３１２と、距離計算部３１４で計測されたモニタ１０１と背景面間の距離ｌに基づき、上記条件式（Ｘ２）を使用して、背景映像または合成映像を伸縮する表示サイズ変換部３１３とを備えている。
【００６５】
表示サイズ変換部３１３で伸縮された背景映像または合成映像はモニタ１０１に表示される。距離調整機構１０５は、距離計算部３１４で計測されたモニタ１０１と背景面間の距離ｌに基づいて、上記条件式（Ｘ１）に従ってモニタ１０１と光学レンズ１０４間の距離ｄを調整する。
【００６６】
実施の形態３によれば、多眼カメラ３０１で複数の背景映像を撮像し、視点位置変換映像生成部３１１は、この複数の背景映像に基づいて観察者視点の背景映像を作成することとしたので、カメラの位置によらずに観察者の位置から見えるはずの背景映像をモニタ１０１に表示することができる。
【産業上の利用可能性】
【００６７】
以上のように、本発明に係る映像表示システムおよび映像表示方法は、映像表示装置全般および車載映像表示装置等に有用である。
【図１】
0004417386.tif 000017
【図２】
0004417386.tif 000018
【図３】
0004417386.tif 000019
【図４】
0004417386.tif 000020
【図５】
0004417386.tif 000021
【図６】
0004417386.tif 000022
【図７】
0004417386.tif 000023
【図８】
0004417386.tif 000024
【図９】
0004417386.tif 000025
【図１０】
0004417386.tif 000026
【図１１】
0004417386.tif 000027
【図１２】
0004417386.tif 000028
【図１３】
0004417386.tif 000029
【図１４】
0004417386.tif 000030
【図１５】
0004417386.tif 000031
【図１６】
0004417386.tif 000032
【図１７】
0004417386.tif 000033