(57)【要約】【課題】動的に変化する鑑賞視野内の明るさを常に適切な状態に調整して、その視野内の画像を表示させるようにする。【解決手段】入力信号に基づいて、仮想空間内の視点位置から視線方向に沿った視野内に配置され光源により照らし出される鑑賞対象の画像を表示する画像表示装置において、視野内の鑑賞対象の明るさがその対象を鑑賞するのに適した明るさとなるように、仮想空間内の明るさを調整する。【選択図】　図８
2004086604.tif 000002
【特許請求の範囲】
【請求項１】
入力信号に基づいて、仮想空間内の視点位置から視線方向に沿った視野内に配置され光源により照らし出される鑑賞対象の画像を表示する画像表示装置において、
前記視野内の鑑賞対象の明るさがその対象を鑑賞するのに適した明るさとなるように、仮想空間内の明るさを調整する明るさ調整手段を備えたことを特徴とする画像表示装置。
【請求項２】
入力信号に基づいて、仮想空間内の視点位置から視線方向に沿った視野内に配置され光源により照らし出される鑑賞対象の画像を表示する画像表示装置において、
前記視野内の鑑賞対象の明るさがその対象を鑑賞するのに適した明るさとなるように、前記光源の照度を調整する明るさ調整手段を備えたことを特徴とする画像表示装置。
【請求項３】
前記明るさ調整手段は、前記視野内における特定領域の明るさを指標として、前記光源の照度を調整することを特徴とする請求項１または２記載の画像表示装置。
【請求項４】
前記明るさ調整手段は、前記視野内に配置され、所定の入力信号により指定された鑑賞対象の明るさを指標として、前記光源の照度を調整することを特徴とする請求項１または２記載の画像表示装置。
【請求項５】
入力信号に基づいて、仮想空間内の視点位置から視線方向に沿った視野内に配置され光源により照らし出される又は自らが光源である鑑賞対象の画像を表示する画像表示装置において、
前記視野毎にその視野内の鑑賞対象を鑑賞するのに適した明るさを設定した視野輝度設定テーブルと、
所定の入力信号により前記仮想空間内の視点位置又は視線方向が変化すると、その視点位置から視線方向に沿った視野内の最適な明るさを前記視野輝度設定テーブルから導出する最適輝度導出手段と、
この最適輝度導出手段により導出された最適な明るさとなるように前記光源の照度を調整する明るさ調整手段とを具備したことを特徴とする画像表示装置。
【請求項６】
入力信号に基づいて、仮想空間内の視点位置から視線方向に沿った視野内に配置され光源により照らし出される鑑賞対象の画像を表示する画像表示装置において、
前記鑑賞対象毎にその対象を鑑賞するのに適した明るさを設定した対象輝度設定テーブルと、
所定の入力信号により前記視野内の鑑賞対象が指定されると、その鑑賞対象の最適な明るさを前記対象輝度設定テーブルから導出する最適輝度導出手段と、
この最適輝度導出手段により導出された最適な明るさとなるように前記光源の照度を調整する明るさ調整手段とを具備したことを特徴とする画像表示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、バーチャルリアリティ（ＶＲ：仮想現実感）技術を用いて仮想空間内の画像を表示する画像表示装置に関する。
【０００２】
【従来の技術】
近年、三次元映像からなる仮想空間の内部に人間が入り込んで様々な疑似体験ができるシステム、いわゆるバーチャルリアリティシステムが開発され、実用に供されている。
【０００３】
ここで、仮想空間とは、コンピュータのメモリ内に、図１０に示すように、Ｘ，Ｙ，Ｚの３軸で表わされる空間を想定し、この空間中に種々の鑑賞対象（オブジェクト）１を配置するとともに光源２を設定する。そして、同空間内に置かれたカメラ３の視野４内に入る鑑賞対象１の光源２によって照らし出された状態の画像をコンピュータの演算処理によって生成し、図１１に示すように、スクリーンやディスプレイ等の画面５に映し出して、仮想空間の映像として操作者に提示するようにしたものである。
【０００４】
バーチャルリアリティシステムにおいては、操作者は、例えば操作用の入力装置を操作することによって、カメラ３の位置，つまりは仮想空間内に入り込んだ人間の視点位置や、カメラ３の向き，つまりはその人間の視線方向を制御できる。カメラ３の位置や向きが制御されると、コンピュータは、それに応じて新たな仮想空間画像を即座に生成して画面５を更新する。かくして、操作者は、コンピュータの中に作られた仮想空間内に入り込み、あたかも現実の世界にいるかのように鑑賞対象を気に入った角度から見ることができる。
【０００５】
ところで、昨今のハードウェアの著しい性能向上により、バーチャルリアリティシステムにおいても様々な照明効果の活用が可能となってきた。例えば、光源として太陽光のような無限遠光源を想定し、視野内における全ての鑑賞対象の同じ方向の面はすべて明るさが等しくなるようにしたり、光源として白熱電球のような点光源を想定し、光の強さは光源からの距離の二乗に比例して弱くなるから、光源から離れた面は急激に暗くなるようにしたりすることができた。無限遠光源は、例えば仮想空間の屋外を照らし出す光源として設定され、点光源は、例えば仮想空間の屋内を照らし出す光源として設定される。
【０００６】
【発明が解決しようとする課題】
しかしながら従来は、予め設定された特定の視点位置から特定の鑑賞対象を見たときに最適な映像表現が得られるように、光源の種類や照度等がコンテンツ製作時に設定されていた。このため、バーチャルリアリティシステムの場合には、鑑賞者（例えば操作者）が自由に仮想空間内を移動できるので、特定の位置以外の位置を視点としてその鑑賞対象を見ることが多々あり、その場合に最適な映像表現が得られないおそれがあった。
【０００７】
例えば、屋外の直射日光下にある鑑賞対象を屋内から見たときに最適な映像表現が得られるように光源の条件を設定した場合には、この鑑賞対象を屋外から見ると明るくなりすぎることがある。同様に、屋外の日陰にある鑑賞対象を屋外から道時に最適な映像表現が得られるように光源の条件を設定した場合には、この鑑賞対象を屋内から見ると暗くなりすぎることがある。
【０００８】
本発明はこのような事情に基づいてなされたものであり、その目的とするところは、動的に変化する鑑賞視野内の明るさを常に適切な状態に調整して、その視野内の画像を表示させることができる画像表示装置を提供しようとするものである。
【０００９】
【課題を解決するための手段】
本発明はかかる課題を解決するものであり、請求項１に対応する発明は、入力信号に基づいて、仮想空間内の視点位置から視線方向に沿った視野内に配置され光源により照らし出される鑑賞対象の画像を表示する画像表示装置において、視野内の鑑賞対象の明るさがその対象を鑑賞するのに適した明るさとなるように、仮想空間内の明るさを調整する明るさ調整手段を備えたものである。
【００１０】
この請求項１に対応する発明においては、入力信号に基づいて仮想空間内の視点位置から視線方向に沿った視野が変化すると、その視野内の鑑賞対象の明るさがその対象を鑑賞するのに適した明るさとなるように、仮想空間内の明るさが自動的に調整される。
【００１１】
本発明の請求項２に対応する発明は、入力信号に基づいて、仮想空間内の視点位置から視線方向に沿った視野内に配置され光源により照らし出される鑑賞対象の画像を表示する画像表示装置において、視野内の鑑賞対象の明るさがその対象を鑑賞するのに適した明るさとなるように、光源の照度を調整する明るさ調整手段を備えたものである。
【００１２】
この請求項２に対応する発明においては、入力信号に基づいて仮想空間内の視点位置から視線方向に沿った視野が変化すると、その視野内の鑑賞対象の明るさがその対象を鑑賞するのに適した明るさとなるように、光源の照度が自動的に調整される。
【００１３】
本発明の請求項３に対応する発明は、上記請求項１または２に対応する発明において、明るさ調整手段を、視野内における特定領域の明るさを指標として、光源の照度を調整するものである。
【００１４】
この請求項３に対応する発明においては、入力信号に基づいて仮想空間内の視点位置から視線方向に沿った視野が変化すると、その視野内における特定の鑑賞対象の明るさがその対象を鑑賞するのに適した明るさとなるように、光源の照度が自動的に調整される。
【００１５】
また、本発明の請求項４に対応する発明は、上記請求項１または２に対応する発明において、明るさ調整手段を、視野内に配置され、所定の入力信号により指定された鑑賞対象の明るさを指標として、光源の照度を調整するものである。
【００１６】
この請求項４に対応する発明においては、所定の入力信号により仮想空間内の鑑賞対象が指定されると、その鑑賞対象の明るさがその対象を鑑賞するのに適した明るさとなるように、光源の照度が自動的に調整される。
【００１７】
本発明の請求項５に対応する発明は、入力信号に基づいて、仮想空間内の視点位置から視線方向に沿った視野内に配置され光源により照らし出される又は自らが光源である鑑賞対象の画像を表示する画像表示装置において、視野毎にその視野内の鑑賞対象を鑑賞するのに適した明るさを設定した視野輝度設定テーブルと、所定の入力信号により仮想空間内の視点位置又は視線方向が変化すると、その視点位置から視線方向に沿った視野内の最適な明るさを視野輝度設定テーブルから導出する最適輝度導出手段と、この最適輝度導出手段により導出された最適な明るさとなるように光源の照度を調整する明るさ調整手段とを備えたものである。
【００１８】
この請求項５に対応する発明においては、入力信号に基づいて仮想空間内の視点位置から視線方向に沿った視野が変化すると、その視野内の最適な明るさが視野輝度設定テーブルから導出される。そして、視野輝度設定テーブルから導出された最適な明るさとなるように、光源の照度が自動的に調整される。
【００１９】
本発明の請求項６に対応する発明は、入力信号に基づいて、仮想空間内の視点位置から視線方向に沿った視野内に配置され光源により照らし出される鑑賞対象の画像を表示する画像表示装置において、鑑賞対象毎にその対象を鑑賞するのに適した明るさを設定した対象輝度設定テーブルと、所定の入力信号により視野内の鑑賞対象が指定されると、その鑑賞対象の最適な明るさを対象輝度設定テーブルから導出する最適輝度導出手段と、この最適輝度導出手段により導出された最適な明るさとなるように光源の照度を調整する明るさ調整手段とを備えたものである。
【００２０】
この請求項６に対応する発明においては、所定の入力信号により仮想空間内の鑑賞対象が指定されると、その鑑賞対象の最適な明るさが対象輝度設定テーブルから導出される。そして、対象輝度設定テーブルから導出された最適な明るさとなるように、光源の照度が自動的に調整される。
【００２１】
【発明の実施の形態】
以下、本発明の一実施の形態を図面を用いて説明する。
なお、この実施の形態は、図１に示すように、３台のプロジェクタ１１，１２，１３によって立体視可能な三次元映像からなる仮想空間の画像をスクリーン２０上に映し出し、この仮想空間の内部に人間が入り込んで様々な疑似体験ができるバーチャルリアリティシステムに本発明を適用したものであり、携帯可能な小型の入力装置３０の操作内容が、コンピュータ４０を介してスクリーン２０上の仮想空間画像にリアルタイムで反映されるようになっている。
【００２２】
入力装置３０は、図２に示すように、家庭用ＴＶゲーム機の操作スイッチと同様に操作者が両手で保持可能な程度の大きさを成しており、上面に、左手で操作可能な十字形状の方向キー３１と、右手で操作可能な４つのボタンａ，ｂ，ｃ，ｄとを有している。方向キー３１は、上方向を示すキーＵと、左方向を示すキーＬと、下方向を示すキーＤと、右方向を示すキーＲとからなり、各キーＵ，Ｌ，Ｄ，Ｒ又は各ボタンａ，ｂ，ｃ，ｄの単独押しや組合せの押し操作により、各種の信号をコンピュータ４０に供給するものとなっている。なお、方向キー３１は、左上，左下，右下及び右上の４方向がさらに追加される８方向のキーからなるものとしても良いが、説明の便宜上、ここでは４方向の方向キー３１を例に挙げている。
【００２３】
コンピュータ４０は、図２に示すように、入力信号変換部５０、画像生成演算部６０、３つのフレームメモリ７１，７２，７３及び３つのＤ／Ａ（ディジタル／アナログ）変換器８１，８２，８３を備えている。なお、フレームメモリ７１，７２，７３と、Ｄ／Ａ変換器８１，８２，８３と、プロジェクタ１１，１２，１３とは、符号の１の位が等しいものが同一の信号系統となっている。
【００２４】
入力信号変換部５０は、入力装置３０から入力される各種の信号を、それぞれ対応する内容の入力指令に変換し、この入力指令を画像生成演算部６０に入力するというインタフェース機能を有したものである。
【００２５】
画像生成演算部６０は、入力信号変換部５０から入力された入力指令に基づいて、仮想空間内の視点位置から視線方向に沿った視野内に配置され光源により照らし出される鑑賞対象を三次元形状で描画して仮想空間画像を生成し、その生成した仮想空間画像を示す画像データを、左領域，中央領域及び右領域の３領域に互いに境界を重複させつつ略３分割して、個別に３つのフレームメモリ４１〜４３に送出する機能を有している。
【００２６】
具体的には、画像生成演算部６０は、仮想空間画像を生成し表示するための基本機能部（図示せず）に加え、試書き用メモリ６１、視野輝度設定テーブル６２、対象輝度設定テーブル６３、鑑賞視野明るさ調整部６４及び鑑賞対象明るさ調整部６５を備えている。
【００２７】
基本機能部は、一つの仮想空間のコンテンツを構成する各種鑑賞対象の形状，位置，その他の属性や光源の位置，属性等のデータを記憶したコンテンツメモリを有し、入力信号変換部から受ける入力指令に基づいて、ワールド座標系，ボディ座標系，視点座標系及びスクリーン座標系を用いた仮想空間画像の画像生成演算を実行して仮想空間画像を生成する周知の仮想空間画像生成技術を具現化したものである。なお、この鑑賞対象は、光源により照らし出されるものと、自らが光源となるものが有り得る。
【００２８】
試書き用メモリ６１は、鑑賞視野明るさ調整部６４及び鑑賞対象明るさ調整部６５の作用により仮想空間画像が試書きされるメモリエリアであって、図３に示すように、左上端の画素（ｘ０，ｙ０）から右下端の画素（ｘｍ，ｙｎ）までマトリックス状に配置された多数の画素によって構成されている。
【００２９】
視野輝度設定テーブル６２は、仮想空間内の任意の各視点位置からそれぞれ視認可能な視野毎に、その視野内の鑑賞対象を鑑賞するのに適した明るさ（輝度）を設定したもので、調整パターン設定テーブル６２１と、調整パターンデータテーブル６２２とからなる。
【００３０】
調整パターン設定テーブル６２１は、図４に示すように、仮想空間内の任意の視点位置毎に、視線方向と、後述する調整パターンデータの調整パターンナンバーＰｎとが設定されたものである。なお、視点位置は、Ｘ，Ｙ，Ｚの３軸で表わされる仮想空間のワールド座標系で設定されている。また、視線方向は、そのワールド座標系のＸ軸方向，Ｙ軸方向，Ｚ軸方向，−Ｘ軸方向，−Ｙ軸方向及び−Ｚ軸方向の６方向に設定されている。
【００３１】
調整パターンデータテーブル６２２は、図５に示すように、複数パターンのサンプリング画素データと最適平均輝度データＬ０との組合せからなる複数の調整パターンデータが、調整パターンナンバーＰｎ別に設定されたものである。サンプリング画素データは、前記試書き用メモリ６１を構成する全画素（ｘ０，ｙ０），……，（ｘｍ，ｙｎ）のうち、明るさ調整のためにサンプリングする画素を指定するデータであり、ここでは、図７（ａ）に示すように試書き用メモリ６１の全画素（ｘ０，ｙ０），……，（ｘｍ，ｙｎ）をサンプリング対象とするデータＳＤ１と、同図（ｂ）に示すように略中央部の画素（ｘｉ，ｙｉ），……，（ｘｊ，ｙｊ）をサンプリング対象とするデータＳＤ２と、同図（ｃ）に示すように略下半分の画素（ｘｋ，ｙｋ），……，（ｘｍ，ｙｎ）をサンプリング対象とするデータＳＤ３の３パターンがある。また、最適平均輝度データＬ０は、対応するサンプリング画素データによって指定された画素の最適平均輝度を設定するデータであり、ここでは、データＬ０１，データＬ０２，データＬ０３（Ｌ０１＞Ｌ０２＞Ｌ０３）の３種類の最適平均輝度データが設定されている。
【００３２】
対象輝度設定テーブル６３は、鑑賞対象毎にその対象を鑑賞するのに適した明るさ（輝度）を設定したもので、図６に示すように、各種の鑑賞対象毎に予め設定された固有の対象ＩＤ別に最適輝度データＬ２が設定されている。なお、対象輝度設定テーブル６３には、一つの仮想空間のコンテンツを構成する全ての鑑賞対象について最適輝度データＬ２が設定されていてもよいし、輝度調整が必要な一部の鑑賞対象に対して選択的に最適輝度データＬ２が設定されていてもよい。
【００３３】
鑑賞視野明るさ調整部６４は、視野輝度設定テーブル６２（調整パターン設定テーブル６２１，調整パターンデータテーブル６２２）を読出し可能であり、図８の流れ図に示す処理を実行して、鑑賞対象の明るさがその対象を鑑賞するのに適した明るさとなるように光源の照度を調整するように構成されたものである。
【００３４】
すなわち、鑑賞視野明るさ調整部６４は、ＳＴ（ステップ）１として入力信号変換部５０から受ける入力指令により仮想空間内の視点位置または視線方向の変化が指示されるのを待機している。そして、視点位置または視線方向の変化が指示されたならば、鑑賞視野明るさ調整部６４は、ＳＴ２として変化後の視点位置（Ｘ，Ｙ，Ｚ）と、視線方向（Ｘ，Ｙ，Ｚ，−Ｘ，−Ｙ，−Ｚ）を検出する。
【００３５】
次に、鑑賞視野明るさ調整部６４は、ＳＴ３として調整パターン設定テーブル６２１を検索して、変化後の視点位置（Ｘ，Ｙ，Ｚ）と、視線方向（Ｘ，Ｙ，Ｚ，−Ｘ，−Ｙ，−Ｚ）に対応する調整パターンナンバーＰｎを取得する。そして鑑賞視野明るさ調整部６４は、ＳＴ４として今回の調整パターンナンバーＰｎが直前の視点位置（Ｘ，Ｙ，Ｚ）と視線方向（Ｘ，Ｙ，Ｚ，−Ｘ，−Ｙ，−Ｚ）に対応する調整パターンナンバーＰｎ′と一致するか否かを判断する。なお、直前の調整パターンナンバーＰｎ′は、図示しないデータ保持バッファにて保持されている。
【００３６】
今回の調整パターンナンバーＰｎが直前の調整パターンナンバーＰｎ′と一致しない場合には、鑑賞視野明るさ調整部６４は、ＳＴ５として基本機能部を動作させて、変化後の視点位置（Ｘ，Ｙ，Ｚ）から視線方向（Ｘ，Ｙ，Ｚ，−Ｘ，−Ｙ，−Ｚ）に沿った視野内の仮想空間画像を、その視野内の鑑賞対象を照らし出す光源の照度を予め設定された初期照度Ｅ０に設定して生成し、試書き用メモリ６１に描画する。なお、初期照度Ｅ０としては、例えば曇天の日の昼間の屋外の環境光に相当する照度等を予めメモリに設定しておく。
【００３７】
また、鑑賞視野明るさ調整部６４は、ＳＴ６として調整パターンデータテーブル６２２から今回の調整パターンナンバーＰｎに対応するサンプリング画素データと最適平均輝度データＬ０とを取得する。そして、鑑賞視野明るさ調整部６４は、ＳＴ７として調整パターンデータテーブル６２２から取得したサンプリング画素データによって指定される試書き用メモリ６１の各画素についてそれぞれ描画されたデータの輝度を求め、その平均値を平均輝度Ｌとして算出する。
【００３８】
鑑賞視野明るさ調整部６４は、サンプリング画素データに対応した各画素の平均輝度Ｌを算出したならば、次に、ＳＴ８として光源の初期照度Ｅ０と、最適平均輝度Ｌ０と、各画素の平均輝度Ｌとを用い、下記（１）式により当該視野内の仮想空間画像を表現するのに最適な光源の照度Ｅを算出する（最適輝度導出手段）。
【００３９】
Ｅ＝Ｅ０×（Ｌ０／Ｌ）　…（１）
そして、鑑賞視野明るさ調整部６４は、ＳＴ９として今回の調整パターンナンバーＰｎと、最適な光源の照度Ｅとを前記データ保持バッファに記憶保持する。
【００４０】
その後、鑑賞視野明るさ調整部６４は、ＳＴ１０として基本機能部を再度動作させて、変化後の視点位置（Ｘ，Ｙ，Ｚ）から視線方向（Ｘ，Ｙ，Ｚ，−Ｘ，−Ｙ，−Ｚ）に沿った視野内の仮想空間画像を、その視野内の鑑賞対象を照らし出す光源の照度を最適照度Ｅに設定して生成し、左領域，中央領域及び右領域の３領域に互いに境界を重複させつつ略３分割して、個別に３つのフレームメモリ４１〜４３に描画する（明るさ調整手段）。
【００４１】
また、鑑賞視野明るさ調整部６４は、ＳＴ４の処理において今回の調整パターンナンバーＰｎが直前の調整パターンナンバーＰｎ′と一致する場合には、ＳＴ１０の処理に進む。そして、鑑賞視野明るさ調整部６４は、基本機能部を動作させて、変化後の視点位置（Ｘ，Ｙ，Ｚ）から視線方向（Ｘ，Ｙ，Ｚ，−Ｘ，−Ｙ，−Ｚ）に沿った視野内の仮想空間画像を、その視野内の鑑賞対象を照らし出す光源の照度をデータ保持バッファにて保持している最適照度Ｅに設定して生成し、左領域，中央領域及び右領域の３領域に互いに境界を重複させつつ略３分割して、個別に３つのフレームメモリ４１〜４３に描画する。
【００４２】
その後、鑑賞視野明るさ調整部６４は、今回の処理を終了し、再び仮想空間内の視点位置または視線方向の変化が指示されるのを待機する。
【００４３】
鑑賞対象明るさ調整部６５は、対象輝度設定テーブル６３を読出し可能であり、図９の流れ図に示す処理を実行して、鑑賞対象の明るさがその対象を鑑賞するのに適した明るさとなるように光源の照度を調整するように構成されたものである。
【００４４】
すなわち、鑑賞対象明るさ調整部６５は、ＳＴ１１として入力信号変換部５０から受ける入力指令により、現在表示している仮想空間画像のなかのいずれかの鑑賞対象が注目指示されるのを待機している。そして、鑑賞対象が注目指示されたならば、鑑賞対象明るさ調整部６５は、ＳＴ１２として対象輝度設定テーブル６３を検索して、注目指示された鑑賞対象の対象ＩＤが設定されているか否かを判断する。ここで、注目指示された鑑賞対象の対象ＩＤが対象輝度設定テーブル６３に設定されていない場合には、注目指示された鑑賞対象は輝度調整が不要なので、鑑賞対象明るさ調整部６５は、今回の処理を終了する。そして、再び現在表示している仮想空間画像のなかのいずれかの鑑賞対象が注目指示されるのを待機する。
【００４５】
これに対し、ＳＴ１２において、注目指示された鑑賞対象の対象ＩＤが対象輝度設定テーブル６３に設定されている場合には、鑑賞対象明るさ調整部６５は、ＳＴ１３として対象輝度設定テーブル６３から当該対象ＩＤに対応して設定されている最適輝度データＬ２を取得する。また、鑑賞対象明るさ調整部６５は、ＳＴ１４として基本機能部を動作させて、現在表示している仮想空間画像を現在の照度Ｅで生成し、試書き用メモリ６１に描画する。そして、鑑賞対象明るさ調整部６５は、ＳＴ１５として試書き用メモリ６１の全画素のなかから注目指示された鑑賞対象の画像データが描画された画素を全て求め、その画素に描画されたデータの輝度を求めて、その平均値を平均輝度Ｌとして算出する。
【００４６】
鑑賞対象明るさ調整部６５は、鑑賞対象の画像データが描画された全画素の平均輝度Ｌを算出したならば、次に、ＳＴ１６として光源の現在の照度Ｅと、最適輝度Ｌ２と、各画素の平均輝度Ｌとを用い、下記（２）式により注目指示された鑑賞対象を表現するのに最適な光源の照度Ｅを算出する（最適輝度導出手段）。
【００４７】
そして、鑑賞対象明るさ調整部６５は、ＳＴ１７として基本機能部を再度動作させて、現在の視点位置（Ｘ，Ｙ，Ｚ）から視線方向（Ｘ，Ｙ，Ｚ，−Ｘ，−Ｙ，−Ｚ）に沿った視野内の仮想空間画像を、その視野内の鑑賞対象を照らし出す光源の照度を最適照度Ｅに設定して生成し、左領域，中央領域及び右領域の３領域に互いに境界を重複させつつ略３分割して、個別に３つのフレームメモリ４１〜４３に描画する（明るさ調整手段）。その後、鑑賞対象明るさ調整部６５は、今回の処理を終了して、再び現在表示している仮想空間画像のなかのいずれかの鑑賞対象が注目指示されるのを待機する。
【００４８】
このように構成された本実施の形態においては、操作者（鑑賞者自身であっても鑑賞者以外のものであってもよい）が入力装置３０を操作して仮想空間内の視点位置や視線方向を変化させると、コンピュータ４０によって、変化後の視点位置から視線方向に沿った視野内に配置され光源により照らし出される鑑賞対象を三次元形状で描画した仮想空間画像が生成される。そして、この仮想空間画像のデータが左領域，中央領域及び右領域の３領域に互いに境界を重複させつつ略３分割されて３つのプロジェクタ１１，１２，１３に供給され、各プロジェクタ１１，１２，１３によりスクリーン２０に立体視可能な三次元映像からなる仮想空間画像が映し出される。このとき、コンピュータ４０内の画像生成演算部６０においては、鑑賞視野明るさ調整部６４が機能して、視野内の鑑賞対象の明るさがその対象を鑑賞するのに適した明るさとなるように光源の照度が自動調整される。
【００４９】
例えば今、調整パターン設定テーブル６２１と調整パターンデータテーブル６２２にそれぞれ図４，図５に示すデータが設定されているものとする。この場合において、変化後の視点が座標（Ｘ１，Ｙ１，Ｚ１）〜（Ｘ２，Ｙ２，Ｚ２）の範囲内に位置し、かつ視線方向がＸ軸方向に近似可能な方向であったときには、調整パターンナンバーＰ１の調整パターンデータ（サンプリング画素データＳＤ１，最適平均輝度Ｌ０１）が選択される。そして、視野内に配置された鑑賞対象を光源により初期照度Ｅ０で照射したときの仮想空間画像の全画素の平均輝度Ｌにより光源の最適照度Ｅとして［Ｅ０×（Ｌ０１／Ｌ）］が算出され、光源の照度が初期照度Ｅ０から最適照度Ｅに調整される。したがって、鑑賞視野内の略全域が最適な輝度となるように光源の照度が調整されて仮想空間画像が生成され、スクリーン２０に表示される。
【００５０】
また、変化後の視点が座標（Ｘ１，Ｙ１，Ｚ１）〜（Ｘ２，Ｙ２，Ｚ２）の範囲内に位置し、かつ視線方向がＺ軸方向に近似可能な方向であったときには、調整パターンナンバーＰ５の調整パターンデータ（サンプリング画素データＳＤ２，最適平均輝度Ｌ０２）が選択される。そして、視野内に配置された鑑賞対象を光源により初期照度Ｅ０で照射したときの仮想空間画像のうち略中央部の画素の平均輝度Ｌにより光源の最適照度Ｅとして［Ｅ０×（Ｌ０２／Ｌ）］が算出され、光源の照度が初期照度Ｅ０から最適照度Ｅに調整される。したがって、鑑賞視野内の略中央部が最適な輝度となるように光源の照度が調整されて仮想空間画像が生成され、スクリーン２０に表示される。
【００５１】
また、変化後の視点が座標（Ｘ３，Ｙ３，Ｚ３）〜（Ｘ４，Ｙ４，Ｚ４）の範囲内に位置し、かつ視線方向がＹ軸方向に近似可能な方向であったときには、調整パターンナンバーＰ８の調整パターンデータ（サンプリング画素データＳＤ３，最適平均輝度Ｌ０２）が選択される。そして、視野内に配置された鑑賞対象を光源により初期照度Ｅ０で照射したときの仮想空間画像のうち略下半分の画素の平均輝度Ｌにより光源の最適照度Ｅとして［Ｅ０×（Ｌ０２／Ｌ）］が算出され、光源の照度が初期照度Ｅ０から最適照度Ｅに調整される。したがって、鑑賞視野内の略下半分が最適な輝度となるように光源の照度が調整されて仮想空間画像が生成され、スクリーン２０に表示される。
【００５２】
このように本実施の形態によれば、動的に変化する鑑賞視野内の明るさを常に適切な状態に調整してその視野内の仮想空間画像をスクリーン２０上に表示させることができるので、鑑賞者に対して違和感の少ない最適な映像を常に提示できるようになる。
【００５３】
しかも、鑑賞視野内における特定領域の明るさを指標として光源の照度を調整しているので、映像表現上重要な位置を占める鑑賞対象を最適な明るさとした仮想空間画像を鑑賞者に提示することも可能である。
【００５４】
また、本実施の形態においては、操作者が入力装置３０を操作して仮想空間内の特定の鑑賞対象を注目指示すると、コンピュータ４０内の鑑賞対象明るさ調整部６５が機能して、注目指示された鑑賞対象の明るさがその対象を鑑賞するのに適した明るさとなるように光源の照度が自動調整される。
【００５５】
例えば今、対象輝度設定テーブル６３に図６に示すデータが設定されているものとする。この場合において、対象ＩＤ「ＩＤ１」によって特定される鑑賞対象が注目指示されると、その鑑賞対象が最適輝度Ｌ２１で照らし出されるように高原の照度が自動調整される。したがって、鑑賞者が注目する鑑賞対象を最適な明るさで表現した仮想空間画像をスクリーン２０に表示させることができる。
【００５６】
なお、本発明はこの一実施の形態に限定されるものではない。
例えば、前記一実施の形態では光源の初期照度Ｅ０を予め設定し、この初期照度で鑑賞対象を照らしたときの仮想空間画像を非表示領域である試書き用メモリ６１に描画してその明るさを評価したが、表示領域であるフレームメモリ７１〜７３に描画してその明るさを評価し、その後の仮想空間画像における光源の照度を自動調整するようにしてもよい。こうすることにより、試書き用メモリ６１に描画する処理を省略できるので処理時間の短縮を図ることができる上、試書き用メモリ６１を不要にできる利点がある。
【００５７】
また、前記一実施の形態では、サンプリング分布データを図７に示す３パターンとしたが、例えば略上半分の画素を注目画素として平均輝度を算出する別パターンを組み合わせてもよい。また、２種類のパターンを用いたり、いずれか一つのパターンのみを用いてサンプリングし平均輝度を算出するものも、本発明は含むものである。
【００５８】
また、平均輝度を算出する場合において、単純平均でなく、例えば略中央部の画素に重点を置いた加重平均により算出してもよい。また、ＲＧＢ表示系等の複数バンドの表示系を用いる場合には、バンドごとに重み付けを変えることによりより自然な調整が可能となる。
【００５９】
また、最適輝度Ｅを算出する際に、Ｌ０／ＬまたはＬ２／Ｌを乗じるのでなく、Ｌ０／ＬまたはＬ２／Ｌの平方根を用いて非線形的な補正をすることによって、元のシーンの暗さや明るさを残すことができる。
【００６０】
さらに、描画された結果からサンプリング分布データを取る以外にも、視野内の描画対象物の反射率や座標から視野内の明るさを推測してもよい。
【００６１】
また、仮想空間内の明るさを調整する方法としては、光源の照度を調整する以外に、描画後に画素の値に係数を乗じて明るさを調整する方法、対象物の反射係数を変更させて明るさを調整する方法、減光用のグレーフィルタをかけることで明るさを調整する方法等が考えられる。本発明には、これらの方法も明るさを調整する手段として実現できるものである。
【００６２】
【発明の効果】
以上詳述したように、請求項１に対応する発明によれば、動的に変化する鑑賞視野内の明るさを常に適切な状態に調整して、その視野内の画像を表示させることができる画像表示装置を提供できる。
【００６３】
また、請求項２に対応する発明によれば、動的に変化する鑑賞視野内の明るさを、光源の照度を調整することで常に適切な状態に調整して、その視野内の画像を表示させることができる画像表示装置を提供できる。
【００６４】
また、請求項３及び５に対応する発明によれば、動的に変化する鑑賞視野内の特定領域の明るさを常に適切な状態に調整して、その視野内の画像を表示させることができる画像表示装置を提供できる。
【００６５】
また、請求項４及び６に対応する発明によれば、動的に変化する鑑賞視野内の指定された鑑賞対象の明るさを常に適切な状態に調整して、その視野内の画像を表示させることができる画像表示装置を提供できる。
【図面の簡単な説明】
【図１】本発明の一実施の形態を適用したバーチャルリアリティシステムの外観図。
【図２】同バーチャルリアリティシステムの要部構成を示すブロック図。
【図３】同実施の形態における試書き用メモリの構成を示す模式図。
【図４】同実施の形態における調整パターン設定テーブルの構成を示す模式図。
【図５】同実施の形態における調整パターンデータテーブルの構成を示す模式図。
【図６】同実施の形態における対象輝度設定テーブルの構成を示す模式図。
【図７】同実施の形態におけるサンプリング画素データの説明に用いる模式図。
【図８】同実施の形態における鑑賞視野明るさ調整部の主要な処理手順を示す流れ図。
【図９】同実施の形態における鑑賞対象明るさ調整部の主要な処理手順を示す流れ図。
【図１０】一般的な仮想空間を説明するための模式図。
【図１１】一般的な仮想空間画像の表示例を示す図。
【符号の説明】
１１，１２，１３…プロジェクタ
２０…スクリーン
３０…入力装置
４０…コンピュータ
５０…入力信号変換部
６０…画像生成演算部
６１…試書き用メモリ
６２…視野輝度設定テーブル
６２１…調整パターン設定テーブル
６２２…調整パターンデータテーブル
６３…対象輝度設定テーブル
６４…鑑賞視野明るさ調整部
６５…鑑賞対象明るさ調整部
【図１】
2004086604.tif 000003
【図２】
2004086604.tif 000004
【図３】
2004086604.tif 000005
【図４】
2004086604.tif 000006
【図５】
2004086604.tif 000007
【図６】
2004086604.tif 000008
【図７】
2004086604.tif 000009
【図８】
2004086604.tif 000010
【図９】
2004086604.tif 000011
【図１０】
2004086604.tif 000012
【図１１】
2004086604.tif 000013