(57)【要約】    【課題】  広視野角画像のある部分の画像を容易に取り出して見ることができるようにする。    【解決手段】  全方位カメラ２２で撮影された広視野角画像を出力可能な広視野角画像出力手段２と、ユーザの視線方向に合わせることができるように位置の変更が可能なディスプレイ装置１１と、このディスプレイ装置１１の位置を検出してその検出結果を位置情報として出力する位置検出手段１２と、前記位置情ABLE97ABLE97報を前記位置検出手段１２から受け取るとともに、前記広視野角画像出力手段２から送られてくる広視野角画像を受け取り、この広視野角画像と位置情報とから当該位置情報に応じた特定視線方向画像を生成する特定視線方向画像生成手段３とを有し、この特定視線方向画像生成手段３で生成された画像をディスプレイ装置１１で表示する。【選択図】      図２
2005077808.tif 000002
【特許請求の範囲】
【請求項１】
広視野角画像のある視線方向から見たときの画像を表示可能な画像表示装置であって、
ユーザの視線方向に合わせるように位置の変更が可能なディスプレイ装置と、このディスプレイ装置の位置を検出してその検出結果を位置情報として出力する位置検出手段とを有し、前記ディスプレイ装置の位置情報を前記位置検出手段から出力し、その位置情報と前記広視野角画像とから生成された当該位置情報に応じた特定視線方向画像を前記ディスプレイ装置が取得して、その取得した特定視線方向画像を当該ディスプレイ装置で表示することを特徴とする画像表示装置。
【請求項２】
前記位置検出手段から出力される位置情報は、前記ディスプレイ装置おけるディスプレイ座標系の３次元空間内での位置であることを特徴とする請求項１記載の画像表示装置。
【請求項３】
前記ディスプレイ座標系の３次元空間内での位置は、当該ディスプレイ座標系の基準となる点の３次元座標上の座標または当該基準となる点の極座標と、当該ディスプレイ座標系のある点における法線ベクトルと、当該法線ベクトルを中心軸とする回転方向の回転角とで表されることを特徴とする請求項２記載の画像表示装置。
【請求項４】
前記ディスプレイ座標系の３次元空間内での位置は、当該ディスプレイ座標系の複数の点の３次元座標上の座標または当該複数の点の極座標で表されることを特徴とする請求項２記載の画像表示装置。
【請求項５】
前記複数の点は、前記ディスプレイ装置の表示領域の少なくとも３隅の点であることを特徴とする請求項４記載の画像表示装置。
【請求項６】
前記広視野角画像は、画像入力手段で入力された画像であることを特徴とする請求項１から５のいずれかに記載の画像表示装置。
【請求項７】
前記広視野角画像は、３次元コンピュータグラフィックス画像であることを特徴とする請求項１から５のいずれかに記載の画像表示装置。
【請求項８】
前記広視野角画像は、画像入力手段で入力された画像と３次元コンピュータグラフィックス画像を混在させて用いることを可能とすることを特徴とする請求項１から５のいずれかに記載の画像表示装置。
【請求項９】
前記ディスプレイ装置で表示される特定視線方向画像は、前記位置情報に基づいて前記広視野角画像から切り出された所定範囲の画像に対し、前記ディスプレイ装置の表示領域上へ表示するに適した画像とすべく補正処理のなされた画像であることを特徴とする請求項６または８記載の画像表示装置。
【請求項１０】
前記ディスプレイ装置で表示される特定視線方向画像は、前記位置情報に基づいて前記３次元コンピュータグラフィックス画像のある視点位置からの視線方向を決めて計算によって求められた画像であることを特徴とする請求項７または８記載の画像表示装置。
【請求項１１】
前記ディスプレイ装置で特定視線方向画像を表示する際、その特定視線方向画像の表示領域の一部の表示領域に前記広視野角画像を表示させることを特徴とする請求項１から１０のいずれかに記載の画像表示装置。
【請求項１２】
ユーザの視線方向に合わせるように位置の変更が可能なディスプレイ装置と、このディスプレイ装置の位置を検出してその検出結果を位置情報として出力する位置検出手段とを有し、前記ディスプレイ装置の位置情報を前記位置検出手段から出力し、その位置情報から生成された当該位置情報に応じた特定視線方向画像を前記ディスプレイ装置が取得して、その取得した特定視線方向画像を当該ディスプレイ装置で表示することを特徴とする画像表示装置。
【請求項１３】
前記ディスプレイ装置で表示される特定視線方向画像は、前記位置情報に基づいて３次元コンピュータグラフィックス画像のある視点位置からの視線方向を決めて計算によって求められた画像であることを特徴とする請求項１２記載の画像表示装置。
【請求項１４】
広視野角画像のある視線方向から見たときの画像をディスプレイ装置に表示可能な画像表示方法であって、
前記ディスプレイ装置の位置情報を検出して出力し、その位置情報と前記広視野角画像とを用い、その位置情報に応じた特定視線方向画像を生成し、前記ディスプレイ装置がその特定視線方向画像を取得して、その取得した特定視線方向画像を表示することを特徴とする画像表示方法。
【請求項１５】
広視野角画像のある視線方向から見たときの画像を表示可能な画像表示システムであって、
広視野角画像を出力可能な広視野角画像出力手段と、
ユーザの視線方向に合わせることができるように位置の変更が可能なディスプレイ装置と、
このディスプレイ装置の位置を検出してその検出結果を位置情報として出力する位置検出手段と、
前記位置情報を前記位置検出手段から受け取るとともに、前記広視野角画像出力手段からの広視野角画像を受け取り、これら位置情報と広視野角画像とから当該位置情報に応じた特定視線方向画像を生成する特定視線方向画像生成手段と、
を有することを特徴とする画像表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスプレイ装置の位置に応じた画像を表示する画像表示装置および画像表示方法ならびに画像表示システムに関する。
【背景技術】
【０００２】
ごく一般的に用いられているＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）や液晶パネルなどのディスプレイ画面を有する直視型のディスプレイ装置では、そのディスプレイ装置そのもの位置や向きを変えても、そこに表示される画像は、ディスプレイ装置の位置や向きには無関係に、伝送されてきた画像をそのまま表示する。
【０００３】
たとえば、ディスプレイ装置のディスプレイ画面上にある人物の正面から見た顔画像が表示されていた場合、ディスプレイ装置の向きをたとえば水平方向に９０度変えても、表示されている顔画像は正面から見た顔画像がそのまま表示され、横顔が表示されるものではないことは当然のことである。同様に、ディスプレイ画面内の左端部に近い部分に表示されている画像をディスプレイ画面内の中央にしようとして、ディスプレイ装置を左方向にずらしても、表示されている画像はディスプレイ画面上の右方向に移動しないのも当然のことである。
【０００４】
これに対して、長方形のディスプレイ画面を横向き（横長方向）と縦向き（縦長方向）に変えることのできるディスプレイ装置が従来からある。この種のディスプレイ装置には、ディスプレイ画面が横向きに設置されているのか縦向きに設置されているのかを自動的に判別し、ディスプレイ画面の向きに応じて表示モードを切り替えることができるものもある。
【０００５】
たとえば、特開２０００−１４８１２２号公報に記載の「映像表示装置」（従来技術１という）がその一例である。この従来技術１は、たとえば、横向き状態のディスプレイ画面に表示されている文字や写真などの画像を、ディスプレイ画面を縦向きとして表示したい場合、ディスプレイ画面を９０度回転させて縦向きとしたとき、ディスプレイ画面が９０度回転しても、そこに表示されている文字や写真などはディスプレイ画面とともに９０度回転して横向きとなったりはせず、天地方向が正しく表示されるようにしたものである。
【０００６】
また、ディスプレイ画面を見るユーザの視線方向を検出してそれに応じた画像を表示する技術の一例として、特開平１１−２７６０８号公報に記載の「ディスプレイシステム」（従来技術２という）がある。
【０００７】
この従来技術２は、ユーザが視線入力スカウタと呼ばれるヘッドマウントディスプレイの一種を眼鏡の如く装着し、この視線入力スカウタから得られる視線位置データに応じた画像をスクリーン上に投影するものである。
【特許文献１】特開２０００−１４８１２２号公報
【特許文献２】特開平１１−２７６０８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述した従来技術１は、ディスプレイ画面が横向きか縦向きかのいずれかを検出し、検出した画面の「縦」または「横」のいずれかの向き対応して、文字や写真などが天地方向を正しく表示するだけのものである。
【０００９】
一方、従来技術２は、ユーザの視線方向に応じた画像を投影するようにしているが、このシステムでは、常に視線に連動した画像がユーザの目に飛び込んでくる。つまり、ユーザはどこを見てもその視線方向に応じた画像を見ていなければならないので、ユーザに疲労感や負担を与える問題がある。
【００１０】
また、ユーザの視線方向に応じた画像を投影するといったこの種のものは、画像だけを見る用途としてはそれなりの効果もあるが、手元の資料や他の画面などと見比べるような用途としては使いにくいという問題もある。
【００１１】
そこで本発明は、ユーザの視線方向に合わせてディスプレイ装置そのものの位置を設定することによって、その位置に応じた画像を表示可能とした画像表示装置および画像表示方法ならびに画像表示システムを提供することを目的としている。
【課題を解決するための手段】
【００１２】
（１）本発明の画像表示装置は、広視野角画像のある視線方向から見たときの画像を表示可能な画像表示装置であって、ユーザの視線方向に合わせるように位置の変更が可能なディスプレイ装置と、このディスプレイ装置の位置を検出してその検出結果を位置情報として出力する位置検出手段とを有し、前記ディスプレイ装置の位置情報を前記位置検出手段から出力し、その位置情報と前記広視野角画像とから生成された当該位置情報に応じた特定視線方向画像を前記ディスプレイ装置が取得して、その取得した特定視線方向画像を当該ディスプレイ装置で表示することを特徴としている。
【００１３】
このように本発明の画像表示装置は、ユーザの視線方向に合わせてディスプレイ装置そのものの位置を設定することによって、その位置に応じた特定視線方向画像を表示可能としている。
【００１４】
これによって、処理対象となる画像をある視線方向から見たときの画像を見ようとする場合には、その見たい画像が表示されるようにディスプレイ装置を動かすだけで、その視線方向の画像を表示させることができ、きわめて簡単な操作で自分の見たい位置の画像（特定視線方向画像）をディスプレイ装置上に表示させることができる。
【００１５】
また、本発明は、ディスプレイ装置上で特定視線方向画像が表示された場合、ディスプレイ装置をそのままの位置としておけば、ディスプレイ装置の位置情報は固定されたままであるので、その位置の画像が表示され続け、通常のディスプレイを見ているのと同じとなる。
【００１６】
したがって、視線方向に連動して、画像を表示させる従来のシステムとは異なり、ユーザは常に表示された画像を見ている必要がないので、ユーザに与える疲労や負担は通常のディスプレイ装置を見ているのと同じとすることができる。また、このことは、他の資料を参照しながら時々表示画像を確認するといった使い方もできるので、幅広い用途に使用することができる。
【００１７】
（２）前記（１）の画像表示装置において、前記位置検出手段から出力される位置情報は、前記ディスプレイ装置おけるディスプレイ座標系の３次元空間内での位置とすることができる。
これにより、ディスプレイ装置の置かれた位置やディスプレイ画面の向きを適切に表すことができ、適切な特定視線方向画像を表示することができる。
【００１８】
（３）前記（２）の画像表示装置において、前記ディスプレイ座標系の３次元空間内での位置は、当該ディスプレイ座標系の基準となる点の３次元座標上の座標または当該基準となる点の極座標と、ディスプレイ座標系のある点における法線ベクトルと、当該法線ベクトルを中心軸とする回転方向の回転角とで表すことができる。
これにより、ディスプレイ装置の置かれた位置やディスプレイ画面の向きを適切に表すことができる。
【００１９】
（４）前記（２）の画像表示装置において、前記ディスプレイ座標系の３次元空間内での位置は、当該ディスプレイ座標系の複数の点の３次元座標上の座標または当該複数の点の極座標で表すこともできる。
これによって、少ない情報量でディスプレイ装置の置かれた位置やディスプレイ画面の向きを適切に表すことができる。
【００２０】
（５）前記（４）の画像表示装置において、前記複数の点は、前記ディスプレイ装置の表示領域の少なくとも３隅の点とすることができる。
これによって、より少ない情報量でディスプレイ装置の置かれた位置やディスプレイ画面の向きを適切に表すことができる。
【００２１】
（６）前記（１）から（５）のいずれかの画像表示装置において、前記広視野角画像は、画像入力手段で入力された画像を用いることができる。
これによって、一般的なディタルカメラなどに広角レンズや魚眼レンズを装着するだけで広視野角画像を得ることができるので、広視野角画像を容易に得ることができる。
【００２２】
（７）前記（１）から（５）のいずれかの画像表示装置において、前記広視野角画像は、３次元コンピュータグラフィックス画像を用いることができる。
このように、3次元コンピュータグラフィックス画像を用いることによって、コンピュータゲームやＣＡＤ（Ｃｏｍｐｕｔｅｒ  Ａｉｄｅｄ  Ｄｅｓｉｇｎ）などへの応用が可能となる。
【００２３】
（８）前記（１）から（５）のいずれかの画像表示装置において、前記広視野角画像は、画像入力手段で入力された画像と３次元コンピュータグラフィックス画像を混在させて用いることもできる。
これによって、たとえば、ディジタルカメラなどで得た画像に対する特定視線方向画像と、３ＤＣＧで得た画像の特定視線方向画像を表示させるようなこともできるので、広い分野で応用が可能となる。
【００２４】
（９）前記（６）または（８）の画像表示装置において、前記ディスプレイ装置で表示される特定視線方向画像は、前記位置情報に基づいて前記広視野角画像から切り出された所定範囲の画像に対し、前記ディスプレイ装置の表示領域上へ表示するに適した画像とすべく補正処理のなされた画像としている。
これによって、たとえば、広角レンズや魚眼レンズで撮影された広視野角画像の一部が特定視線方向画像としてディスプレイ装置に表示される際、歪などが補正され、ユーザに違和感を与えない自然な画像をディスプレイ装置に表示させることができる。
【００２５】
（１０）前記（６）または（７）の画像表示装置において、ディスプレイ装置で表示される特定視線方向画像は、前記位置情報に基づいて前記３次元コンピュータグラフィックス画像のある視点位置からの視線方向を決めて計算によって求められた画像としている。
これによって、ディスプレイ装置を自分の見たい方向に動かすだけで、その視線方向の画像を表示させることができ、コンピュータゲームなどにおいては臨場感を得ることができ、また、建築設計や機械設計などの行う場合の出来具合の検討や確認を手軽に行うことができる。
【００２６】
（１１）前記（１）から（１０）の画像表示装置において、前記ディスプレイ装置で特定視線方向画像を表示する際、その特定視線方向画像の表示領域の一部の表示領域に前記広視野角画像を表示させるようにすることもできる。
このように、ある特定視線方向の画像を表示している表示領域の一部に広視野角画像を表示させることによって、たとえば、全体の様子を確認しながらある特定視線方向画像を見ることができる。
【００２７】
（１２）また、本発明の画像表示装置は、ユーザの視線方向に合わせるように位置の変更が可能なディスプレイ装置と、このディスプレイ装置の位置を検出してその検出結果を位置情報として出力する位置検出手段とを有し、前記ディスプレイ装置の位置情報を前記位置検出手段から出力し、その位置情報から生成された当該位置情報に応じた特定視線方向画像を前記ディスプレイ装置が取得して、その取得した特定視線方向画像を当該ディスプレイ装置で表示することを特徴としている。
【００２８】
これは、たとえば、全方位カメラなどで撮影された広視野角画像など始めから用意された広視野角画像を必ずしも用いる必要はないということである。一例として、異なった場所にいる複数の人を個々に撮影した画像を用いて、その複数の人があたかも同じ場所いるような仮想空間をコンピュータ上で作り出すということもでき、そのような仮想空間上での特定視線方向画像を作成してディスプレイ上に表示させることもできる。
【００２９】
（１３）前記（１２）の画像表示装置において、ディスプレイ装置で表示される特定視線方向画像は、前記位置情報に基づいて３次元コンピュータグラフィックス画像のある視点位置からの視線方向を決めて計算によって求められた画像とすることができる。
これによって、コンピュータ上で作り出された仮想空間上における特定視線方向の画像を容易に作成することができる。
【００３０】
また、前記（１２）の画像表示装置においても、前記（１）の画像表示装置と同様に、前記位置検出手段から出力される位置情報は、前記ディスプレイ装置おけるディスプレイ座標系の３次元空間内での位置とすることができる。
そして、前記ディスプレイ座標系の３次元空間内での位置は、当該ディスプレイ座標系の基準となる点の３次元座標上の座標または当該基準となる点の極座標と、ディスプレイ座標系のある点における法線ベクトルと、当該法線ベクトルを中心軸とする回転方向の回転角とで表すことができる。
同様に、前記ディスプレイ座標系の３次元空間内での位置は、当該ディスプレイ座標系の複数の点の３次元座標上の座標または当該複数の点の極座標で表すこともできる。ここで、前記複数の点は、前記ディスプレイ装置の表示領域の少なくとも３隅の点とすることができる。
【００３１】
（１４）本発明の画像表示方法は、広視野角画像のある視線方向から見たときの画像をディスプレイ装置に表示可能な画像表示方法であって、前記ディスプレイ装置の位置情報を検出して出力し、その位置情報と前記広視野角画像とを用い、その位置情報に応じた特定視線方向画像を生成し、前記ディスプレイ装置がその特定視線方向画像を取得して、その取得した特定視線方向画像を表示することを特徴としている。
これによって、前述の画像表示装置と同様の効果が得られる。
【００３２】
（１５）本発明の画像表示システムは、広視野角画像のある視線方向から見たときの画像を表示可能な画像表示システムであって、広視野角画像を出力可能な広視野角画像出力手段と、ユーザの視線方向に合わせることができるように位置の変更が可能なディスプレイ装置と、このディスプレイ装置の位置を検出してその検出結果を位置情報として出力する位置検出手段と、前記位置情報を前記位置検出手段から受け取るとともに、前記広視野角画像出力手段で生成された広視野角画像を受け取り、これら位置情報と広視野角画像とから当該位置情報に応じた特定視線方向画像を生成する特定視線方向画像生成手段とを有することを特徴としている。
【００３３】
これによって、前述の画像表示装置と同様の効果が得られる。また、この画像表示システムは、遠隔会議システムや各種監視システム、コンピュータゲーム、ＣＡＤなどによる建築設計や機械設計など広い分野に適用することができる。
【００３４】
また、これら画像表示方法および画像表示システムにおいても、前記（１）の画像表示装置と同様に、前記位置検出手段から出力される位置情報は、前記ディスプレイ装置おけるディスプレイ座標系の３次元空間内での位置とすることができる。
そして、前記ディスプレイ座標系の３次元空間内での位置は、当該ディスプレイ座標系の基準となる点の３次元座標上の座標または当該基準となる点の極座標と、ディスプレイ座標系のある点における法線ベクトルと、当該法線ベクトルを中心軸とする回転方向の回転角とで表すことができる。
【００３５】
また、前記ディスプレイ座標系の３次元空間内での位置は、当該ディスプレイ座標系の複数の点の３次元座標上の座標または当該複数の点の極座標で表すこともできる。ここで、前記複数の点は、前記ディスプレイ装置の表示領域の少なくとも３隅の点とすることができる。
【００３６】
また、前記広視野角画像は、画像入力手段で入力された画像を用いることもき、また、前記広視野角画像は、３次元コンピュータグラフィックス画像を用いることもできる。
また、前記広視野角画像は、画像入力手段で入力された画像と３次元コンピュータグラフィックス画像を混在させて用いることもできる。
【００３７】
また、前記ディスプレイ装置で表示される特定視線方向画像は、前記位置情報に基づいて前記広視野角画像から切り出された所定範囲の画像に対し、前記ディスプレイ装置の表示領域上へ表示するに適した画像とすべく補正処理のなされた画像とすることができる。
【００３８】
また、ディスプレイ装置で表示される特定視線方向画像は、前記位置情報に基づいて前記３次元コンピュータグラフィックス画像のある視点位置からの視線方向を決めて計算によって求められた画像とすることができる。
【００３９】
また、前記ディスプレイ装置で特定視線方向画像を表示する際、その特定視線方向画像の表示領域の一部の表示領域に前記広視野角画像を表示させるようにすることもできる。
【発明を実施するための最良の形態】
【００４０】
以下、本発明の実施形態について説明する。なお、この実施形態で説明する内容は、本発明の画像表示装置、画像表示方法、画像表示システムの説明を含むものである。
【００４１】
図１は本発明の画像表示システムを説明する構成図であり、画像表示装置１、広視野角画像出力手段２、特定視線方向画像生成手段３を有している。
【００４２】
画像表示装置１は、直視型のディスプレイ画面を有し、ユーザの視線方向に合わせることができるようにその位置（これについては後述する）の変更が可能なディスプレイ装置１１と、このディスプレイ装置１１の位置を検出してその検出結果を位置情報として出力する位置検出手段１２とを有している。
【００４３】
広視野角画像出力手段２は、広視野角画像の出力が可能なもので、この実施形態で用いる広視野角画像としては、たとえば、魚眼レンズや広角レンズなどを装着した全方位カメラで取得した広視野角画像や、３次元コンピュータグラフィックス画像（以下では、３ＤＣＧ画像という）などとしている。
【００４４】
なお、この広視野角画像出力手段２は、上述したように、広角レンズや魚眼レンズを装着した全方位カメラによって撮影された広視野角画像出力するもの、あるいは、３ＤＣＧ画像を生成するための3次元オブジェクト情報を出力するものの他に、複数のカメラによって撮影された画像を出力するものであってもよい。
【００４５】
特定視線方向画像生成手段３は、位置検出手段１２からの位置情報を受け取るとともに、広視野角画像出力手段２からの広視野角画像を受け取り、これら位置情報と広視野角画像とから当該位置情報に応じた特定視線方向画像を生成するものである。
【００４６】
また、直視型のディスプレイ装置１１としては、たとえば、液晶ディスプレイ装置、ＣＲＴディスプレイ装置などがあり、そのディスプレイ画面１１ａのサイズは特に限定されるものではなく、たとえば、液晶ディスプレイ装置であれば携帯電話機などの小さなディスプレイ画面を有するものから、大型テレビジョンのような大きなディスプレイ画面を有するものまでをも含む。ただし、ユーザの視線方向に合わせて容易に位置の変更が可能であることが要求される。また、ユーザが手で持って位置を変更できる程度に容易に変更可能であることが望ましい。
【００４７】
なお、この実施形態で用いるディスプレイ装置１１は、機器本体とディスプレイ画面が一体となっているものであっても、機器本体とディスプレイ画面が別体になっているものであってもよい。
【００４８】
位置検出手段１２は、たとえば、加速度センサ、超音波センサ、機械的あるいは光学的な位置検出手段、角度センサ、さらには、ＣＣＤカメラなどを用いた画像認識処理などによって、ディスプレイ装置の位置や向きの検出が可能なものであるが、この具体例については後述する。
【００４９】
特定視線方向画像生成手段３は、前述したように、位置検出手段１２で検出されたディスプレイ装置１１の位置情報と広視野角画像出力手段２から出力される広視野角画像とから、その位置情報に応じた特定視線方向画像を生成するものである。
【００５０】
たとえば、広視野角画像出力手段２から出力される広視野角画像が全方位カメラによる広視野角画像であれば、その広視野角画像に対して、位置情報に基づいて所定範囲の画像の切り出しや、その切り出された所定範囲の画像に対し画像補正を行うことによって、ディスプレイ装置１１の位置や向きに応じた画像を生成することができる。
【００５１】
また、広視野角画像が３ＤＣＧ画像であれば、視点を決めて、その視点からある方向を見たときどのような画像となるかを計算することによって、ディスプレイ装置１１の位置や向きに応じた画像を生成することができる。
【００５２】
また、広視野角画像が複数カメラからの画像情報であれば、パノラマ合成処理などを適用することによってディスプレイ装置１１の位置や向きに応じた画像を生成することができる。
【００５３】
次に、本発明の具体的な実施形態について説明する。この実施形態では、広視野角画像が全方位カメラによって得られた広視野角画像である場合と、広視野角画像が３ＤＣＧ画像である場合について説明し、広視野角画像が全方位カメラによって撮影された広視野角画像である場合を実施形態１、広視野角画像が３ＤＣＧ画像である場合を実施形態２として説明する。
【００５４】
〔実施形態１〕
図２は本発明の実施形態１を説明する図であり、本発明を遠隔会議システムに適用した場合の構成図である。
【００５５】
この図２に示す遠隔会議システムは、画像送り側としての一方の会議室２０では、複数の会議参加者（この図では３人の会議参加者Ａ，Ｂ，Ｃとする）が四角いテーブル２１をコの字型に囲むように座って会議をしているものとし、画像表示側としての他方の会議室３０では、会議参加者Ｄがディスプレイ装置１１に表示される会議室２０のそれぞれの会議参加者Ａ，Ｂ，Ｃによる会議の様子を見ながら何らかの形でその会議に参加している状況を想定する。
【００５６】
会議室２０には、少なくとも、その会議室２０内の様子を広視野角画像として入力するための画像入力手段としての全方位カメラ２２と、この全方位カメラ２２で入力された広視野角画像を出力する広視野角画像出力手段２と、この広視野角画像出力手段２から出力される広視野角画像をネットワーク４０に送信可能なネットワーク接続手段２３が設けられている。
【００５７】
図３は全方位カメラで撮影されて得られた広視野角画像例を示すもので、図３（ａ）は広角レンズを用いて撮影された広視野角画像例であり、３人の会議参加者Ａ，Ｂ，Ｃとテーブル２１の一部の画像が取得されている。また、図３（ｂ）は魚眼レンズを用いて撮影された広視野角画像例であり、３人の会議参加者Ａ，Ｂ，Ｃとテーブル２１の一部は勿論、会議室２０のほぼ全体の画像が取得されている。
【００５８】
一方、会議室３０側には、図１で説明した画像表示装置１（ディスプレイ装置１１と位置検出手段１２を有している）、特定視線方向画像生成手段３、会議室２０側からの広視野角画像（この実施形態では広視野角画像としている）をネットワーク４０を介して取得する広視野角画像取得手段３１を有している。
【００５９】
なお、特定視線方向画像生成手段３は、この実施形態１では、広視野角画像表示要求の入力を可能とし、この広視野角画像表示要求が入力されると、広視野角画像取得手段３１が取得した広視野角画像をそのまま（この実施形態では広視野角画像であるので広視野角画像をそのまま）ディスプレイ装置１１に出力できるようになっているものとする。
【００６０】
また、位置検出手段１２は、前述したように、加速度センサ、超音波センサ、機械的あるいは光学的なセンサ、角度センサなどのセンサ部１２１と、このセンサ部１２１の出力を用いてディスプレイ装置１１の位置とその向きを位置情報として算出する位置情報算出手段１２２とを有している。
【００６１】
この位置情報算出手段１２２からの位置情報は、ディスプレイ装置１１のディスプレイ画面１１ａ上の座標系（ディスプレイ座標系という）の３次元空間内での位置とすることができる。
このディスプレイ座標系の３次元空間内での位置というのは、当該ディスプレイ座標系の基準となる点（たとえば、ディスプレイ画面１１ａ上の２次元座標の基点）の３次元座標上での座標または当該基準となる点の極座標と、ディスプレイ画面１１ａの法線ベクトルと、当該法線ベクトルを中心軸とする回転方向の回転角で表すことができる。あるいは、当該ディスプレイ座標系の複数の点の３次元座標上の座標または当該複数の点の極座標で表すこともできる。
【００６２】
なお、この実施形態（実施形態１と後述する実施形態２を含む）では、位置情報としては、ディスプレイ装置１１のディスプレイ画面１１ａ上における表示領域の４隅の点（この実施形態では説明を簡単にするために表示領域はディスプレイ画面１１ａと一致すると考えて、ディスプレイ画面１１ａの４隅の点ａ１，ａ２，ａ３，ａ４とする）の３次元座標上における座標を用いるものとする。
ただし、実際には、ディスプレイ装置１１のディスプレイ画面１１ａの形状は決まっているので（通常は長方形）、３隅の点（たとえば、図２における３隅の点ａ１，ａ２，ａ３）の座標がわかればよい。
【００６３】
したがって、この実施形態では、位置情報算出手段１２２によって算出される位置情報は、ディスプレイ装置１１のディスプレイ画面１１ａの３隅の点ａ１，ａ２，ａ３の３次元座標上における座標とし、このディスプレイ装置１１のディスプレイ画面１１ａの３隅の点の３次元座標上における座標が特定視線方向画像生成手段３に位置情報として送られる。
【００６４】
図４および図５は位置検出手段１２の具体例を説明する図であり、この図４および図５に示すような位置検出手段１２によって、ディスプレイ装置１１のディスプレイ画面１１ａの３隅の点ａ１，ａ２，ａ３としている）の３次元座標上における座標を位置情報として得ることができる。これら図４および図５を参照しながら位置検出手段１２の具体例について説明する。
【００６５】
まず、図４に示すディスプレイ装置１１は、ディスプレイ装置本体１１１が基台１１２を有する支柱１１３に支持されており、ディスプレイ装置本体１１１が支柱１１３に対して、多方向（上下方向や左右方向など）に所定範囲内で自由に向きを変えることができるように支持されている。
【００６６】
また、このディスプレイ装置本体１１１は、支柱１１３に対し、そのディスプレイ画面１１ａを正面から見たときの時計方向および半時計方向への回転（当該ディスプレイ画面１１ａの法線ベクトルを中心軸とする回転方向への回転）が可能となるように支持されている。
【００６７】
そして、ディスプレイ装置本体１１１の支柱１１３に対する上下方向や左右方向などの向き（角度）や、時計方向・反時計方向の回転角度を検出可能な角度センサ（図示せず）が設けられている。この角度センサは図２のセンサ部１２１に相当する。
【００６８】
また、基台１１２のテーブル５０側の面には光学読み取り装置（図示せず）が設けられ、一般に広く用いられている光学式マウスと同様に、ディスプレイ装置１１をテーブル５０上で移動させることで、ある位置を基準とした移動ベクトルを算出することができるようになっている。
【００６９】
この図４に示すディスプレイ装置１１は、光学読み取り装置からの出力に基づいて算出される移動ベクトルと、上述したそれぞれの角度センサからの検出信号とを用いて、位置情報算出手段１２２によって位置情報（ディスプレイ装置１１のディスプレイ画面１１ａにおける３隅の点ａ１，ａ２，ａ３の３次元座標上の座標）が求められる。
また、図５は多関節型のアームスタンドを有するディスプレイ装置１１の例を示すもので、図５（ａ）は斜視図、図５（ｂ）は側面図である。
この多関節型のアームスタンドは、基台６１に対して矢印ｂ−ｂ’方向に回転自在に支持された支柱６２、第１のアーム６３、第２のアーム６４、ディスプレイ装置本体１１１を支持するディスプレイ装置本体支持部材６５、支柱６２と第１のアーム６３との間に介在される第１の関節機構６６、第１のアーム６３と第２のアーム６４との間に介在される第２の関節機構６７、第２のアーム６４とディスプレイ装置本体支持部材６５との間に介在される第３の関節機構６８と有する構造となっている。
【００７０】
このような多関節型アームスタンドを有するディスプレイ装置１１は、第１、第２、第３の関節機構６６，６７，６８によって、上下方向の高さや前後方向の移動が所定の範囲で自在であるとともに、ディスプレイ装置本体１１１の上下方向や左右方向の向きも所定の範囲で設定可能であり、また、矢印ｂ−ｂ’方向に回転可能な支柱６２によって、支柱６２を中心とした回転も自在なものとなっている。
【００７１】
さらに、このディスプレイ装置１１は、図４で示したディスプレイ装置１１と同様に、そのディスプレイ装置本体１１１がディスプレイ装置本体支持部材６５に対しては、多方向（上下方向や左右方向など）に所定範囲内で自由に向きを変えることができるように支持され、また、支柱６２に対して、上述同様、法線ベクトルの基点を中心とする法線ベクトル回りへの回転、すなわち、ディスプレイ画面１１ａを正面から見たときの時計方向および半時計方向への回転が可能となるように支持されている。時計方向・反時計方向への回転が可能となるように支持されている。
【００７２】
したがって、この図５のような構造のディスプレイ装置１１は、支柱６２の基台６１に対する回転角や第１、第２、第３の関節機構６６，６７，６８の折れ曲がり角度、さらには、ディスプレイ装置本体支持部材６５との間の角度をそれぞれに設けられた角度センサによって検出し、それぞれの角度センサからの角度検出信号を用いて、位置情報算出手段１２２により位置情報（ディスプレイ装置１１のディスプレイ画面１１ａにおける３隅の点ａ１，ａ２，ａ３の３次元座標上の座標）を求めることができる。
【００７３】
なお、この図５で示したディスプレイ装置１１における多関節型のアームスタンドの構造はその一例を示したもので、このような構造のものに限られるものではないことは勿論である。
【００７４】
ところで、会議室２０側の広視野角画像出力手段２から出力された広視野角画像は、ネットワーク接続手段２３からネットワーク４０を介して会議室３０側に送信される。会議室３０側では、その広視野角画像を広視野角画像取得手段３１で取得する。
【００７５】
この広視野角画像取得手段３１で取得された広視野角画像は、たとえば、図３（ａ），（ｂ）で示したような画像であるが、この実施形態１では、図３（ｂ）の魚眼レンズによる広視野角画像を用いるものとする。
【００７６】
ここで、会議室３０側にいる会議参加者Ｄがディスプレイ装置１１で会議室２０側の様子を見ることを考える。なお、このとき、会議参加者Ｄが使用するディスプレイ装置１１は複数台存在していてもよいが、ここでは、ディスプレイ装置１１は１台であるとする。
【００７７】
まず、会議参加者Ｄが会議室２０側の全体の様子を見たい場合には、特定視線方向画像生成手段に広視野角画像表示要求を与える。これによって、ディスプレイ装置１１にはネットワーク４０を介して広視野角画像取得手段３１が取得した広視野角画像（この場合は広視野角画像）が表示される。
これによって、会議参加者Ｄが使用するディスプレイ装置１１には、ディスプレイ装置１１の位置に関係なく、図３（ｂ）のような画像が表示される。
【００７８】
次に、ディスプレイ装置１１に特定視線方向画像を表示させる動作について図６を参照しながら説明する。なお、この場合は、特定視線方向画像生成手段３への広視野角画像表示要求の入力は解除されているものとする。
【００７９】
図６は、１台のディスプレイ装置１１を最初は位置Ｐ１、次は位置Ｐ２、その次は位置Ｐ３というように、置く位置を順次変えて行く場合を示すもので、ディスプレイ装置１１が３台存在するわけではない。
【００８０】
たとえば、今、ディスプレイ装置１１をテーブル（図６においては図示せず）上の位置Ｐ１（会議参加者Ｄの正面の位置）に置いたとする。このときの会議参加者Ｄの視線方向は図６のＶ１であり、この視線方向Ｖ１はディスプレイ装置１１のディスプレイ画面１１ａの中心座標の法線方向に沿う方向であるとする。
【００８１】
なお、ユーザ（この実施形態１では会議参加者Ｄ）がそのディスプレイ装置１１に表示された画像を見る場合、ユーザの視線方向はディスプレイ装置１１のディスプレイ画面１１ａの中心座標上の法線に沿った方向であるとして説明するが、ユーザの視線方向は必ずしも法線そのものの方向ではなく法線方向から多少のずれはあってもよいことは勿論である。
【００８２】
このように、ディスプレイ装置１１が会議参加者Ｄによって位置Ｐ１に置かれると、その位置情報が位置検出手段１２から特定視線方向画像生成手段３に送られる。なお、位置検出手段１２はディスプレイ装置１１の位置を常時検出しており、ディスプレイ装置１１の現在の位置情報を常時出力可能としている。
【００８３】
特定視線方向画像生成手段３では、位置検出手段１２からの位置情報と広視野角画像取得手段３１で取得された広視野角画像とを用いて、会議参加者Ｄの視線方向に適した画像生成を行う。
【００８４】
すなわち、この場合、会議参加者Ｄはテーブル上の正面方向（位置Ｐ１方向）を向いており、その会議参加者Ｄとディスプレイ装置１１のディスプレイ画面１１ａが対面するようにディスプレイ装置１１が置かれた場合である。したがって、この場合は、特定視線方向画像生成手段３では、図３（ｂ）の魚眼レンズによって撮影された画像から、位置検出手段１２によって算出された位置情報に基づいて、図７（ａ）のように、表示すべき画像を切り出す。この図７（ａ）は図３（ｂ）と同じ画像である。
【００８５】
この場合、まず、図７（ａ）における太線枠Ｆ１で囲まれた画像（真ん中に座っている会議参加者Ｂの画像）が切り出される。ただし、この図７（ａ）に示す広視野角画像は魚眼レンズにより撮影された画像であるので、切り出されたままの画像を会議参加者Ｄ側のディスプレイ装置１１にそのまま表示したのでは、画像に歪みがあり不自然な画像である。
【００８６】
そこで、特定視線方向画像生成手段３では、画像補正を行って、図７（ｃ）に示すような歪みが補正されてユーザに違和感を与えない会議参加者Ｂの画像を生成する。このように、画像補正の行われた会議参加者Ｂの画像は、ディスプレイ装置１１に送られる。
【００８７】
これによって、会議参加者Ｄの正面の位置Ｐ１に置かれたディスプレイ装置１１には、会議参加者Ｂの画像が会議参加者Ｄと対面するように表示される。
【００８８】
なお、この状態でディスプレイ装置１１の上下方向の角度を変えて少し下向きにしたとすると、その回転角に応じてディスプレイ装置１１のディスプレイ画面１１ａの中心座標の法線が下向きに変化するので、それに対応した位置情報を特定視線方向画像生成手段３が受け取ることによって、その位置情報に応じた画像生成が行われる。
【００８９】
このときディスプレイ装置１１に表示される画像は、会議参加者Ｂであるが、ディスプレイ装置１１を下向きにすることによって、会議参加者Ｂの頭部がディスプレイ画面１１ａ内において上方に位置し、テーブル２１部分がより多く表示されるので、テーブル２１上に置かれた資料などを確認するには好都合である。
【００９０】
また、同じ位置Ｐ１でディスプレイ装置１１を会議参加者Ｄに対して前後方向に移動させれば、画像のズーミングも可能となる。たとえば、ディスプレイ装置１１を位置Ｐ１で後ろ（奥行き方向）に移動させれば、会議参加者Ｂの画像は小さくなり、逆に、そのディスプレイ装置１１を手前方向に移動させれば、会議参加者Ｂの画像は大きくなるというような表示も可能となる。
【００９１】
そして、この状態（図６に示すように、ディスプレイ装置１１がＰ１に置かれた状態）から、会議参加者Ｄが、今度はディスプレイ装置１１をテーブル上で図６における矢印Ｘ方向に移動させて、位置Ｐ２に置いたとする。このときの会議参加者Ｄの視線方向は図６のＶ２であるとする。
【００９２】
このように、ディスプレイ装置１１が会議参加者Ｄによって位置Ｐ２に置かれると、その位置情報が位置検出手段１２から特定視線方向画像生成手段３に送られる。
【００９３】
特定視線方向画像生成手段３では、位置検出手段１２からの位置情報と広視野角画像取得手段３１で取得された広視野角画像とを用いて、会議参加者Ｄの視線方向Ｖ２に適した画像生成を行う。
【００９４】
このとき、会議参加者Ｄの視線方向は、Ｖ１からＶ２へと移り、その視線方向Ｖ１とディスプレイ装置１１のディスプレイ画面１１ａの中心座標の法線方向とがほぼ一致するようにディスプレイ装置が置かれているので、特定視線方向画像生成手段３では、位置検出手段１２からの位置情報に基づいて、図７（ａ）における太線枠Ｆ２で囲まれた画像（この図７（ａ）の例では、右端に座っている会議参加者Ｃの画像）が切り出され、上述同様、特定視線方向画像生成手段３では、画像補正を行って図９（ｄ）に示すような歪みのない画像を生成する。
【００９５】
そして、この画像補正の行われた会議参加者Ｃの画像はディスプレイ装置１１に送られる。これによって、図６における位置Ｐ２に置かれたディスプレイ装置１１には、会議参加者Ｃの画像が会議参加者Ｄと対面するように表示される。
【００９６】
なお、前述したように、位置検出手段１２はディスプレイ装置１１の位置を常時検出し、ディスプレイ装置１１の現在の位置情報を常時出力可能としているので、ユーザ（この例では会議参加者Ｄ）が意図的にディスプレイ装置１１の表示状態をオフしない限り、ディスプレイ装置１１の移動中にもその時点の画像を表示することができる。
【００９７】
たとえば、図６の例において、ディスプレイ装置１１を位置Ｐ１からＰ２に移動させて行くとき、その移動に伴って、会議参加者Ｂが表示領域の左端に徐々に寄って行くとともに、会議参加者Ｃが徐々に現れ、位置Ｐ１とＰ２の中間地点では、ディスプレイ画面１１ａには会議参加者Ｂと会議参加者Ｃの両方が表示され、やがて、ディスプレイ装置１１が位置Ｐ２に達すると、ディスプレイ画面１１ａには会議参加者Ｃがその真ん中に表示される状態となる。
【００９８】
また、図６に示す位置Ｐ２にディスプレイ装置１１が置かれた状態から、会議参加者Ｄが、今度はディスプレイ装置１１をテーブル上で図６における矢印Ｘ’方向に移動させて、位置Ｐ３に置いたとする。このときの会議参加者Ｄの視線方向は図６のＶ３であるとする。
【００９９】
このように、ディスプレイ装置１１が会議参加者Ｄによって位置Ｐ３に置かれると、上述したと同様に、図７（ａ）における太線枠Ｆ３で囲まれた画像（この図７（ａ）の例では、左端に座っている会議参加者Ａの画像）が切り出され、特定視線方向画像生成手段３では、画像補正を行って図７（ｃ）に示すような歪みのない会議参加者Ａの画像を生成する。そして、この画像補正の行われた会議参加者Ａの画像は、ディスプレイ装置１１に送られる。
これによって、図６における位置Ｐ３に置かれたディスプレイ装置１１には、会議参加者Ａの画像が会議参加者Ｄと対面するように表示される。
【０１００】
このように、ユーザ（この例では会議参加者Ｄ）は、ディスプレイ装置１１の置く位置を変えたりその向きを変えたりすることによって、自分の見たい画像を表示させることができる。
【０１０１】
なお、上述したディスプレイ装置１１の置く位置を変えたり向きを変えたりすることによって、そのときの位置情報に応じた特定視線方向画像を表示させる際、それぞれの位置で表示される特定視線方向画像の一部に広視野角画像を表示させるようにすることもできる。
【０１０２】
図８はその表示例を示すもので、この図８ではディスプレイ装置１１を位置Ｐ１に置いた場合であり、会議参加者Ｂの画像が表示されている表示領域の一部に広視野角画像７０が表示されている。
【０１０３】
これを実現するには、たとえば、図２の構成において、特定視線方向画像生成手段３で生成された特定視線方向画像と広視野角画像取得手段３１で取得された広視野角画像とを合成する画像合成手段（図示せず）を付加し、たとえば、画像合成要求を与えることによって、図８に示すように、特定視線方向画像の一部に広視野角画像を表示させることができる。
【０１０４】
このように、ある特定視線方向の画像を表示している表示領域の一部に広視野角画像を表示させることによって、たとえば、図８の例では、他の会議参加者の様子を確認しながら会議参加者Ｄと何らかの会話を行ったりすることができ、遠隔会議をよりリアルなものとすることができ、会議を円滑に進行させることが可能となる。
【０１０５】
図９は上述した実施形態１の変形例を説明する図であり、この図９では、特定視線方向画像生成手段３を画像送り側（この実施形態では会議室２０側）に設けるようにし、画像表示側（この実施形態では会議室３０側）では、位置検出手段１２で得られた位置情報を送信する位置情報送信手段３２と画像送り側から送られてくる表示画像を取得する表示画像取得手段３３を有している。
【０１０６】
一方、画像送り側である会議室２０側では、会議室３０側のディスプレイ装置１１の位置情報をネットワーク接続手段２３がネットワーク４０を介して受け取り、その位置情報と広視野角画像出力手段から出力される広視野角画像とを用いて、特定視線方向画像を生成して、その生成した特定視線方向画像をネットワーク４０を介して画像表示側（会議室３０側）に送信する。
【０１０７】
そして、画像表示側である会議室３０では、画像送り側である会議室２０から送信されてきた特定視線方向画像を表示画像取得手段３３で取得して、取得した特定視線方向画像をディスプレイ装置１１に送る。
【０１０８】
なお、この図９の場合も、ディスプレイ装置１１では、必要に応じて広視野角画像のみを表示したい場合もある。この場合は、たとえば、位置情報送信手段３２に、この図９では図示されていない広視野角画像送信要求を与えることによって、画像送り側から広視野角画像を送るような設定とすることが可能である。
【０１０９】
また、特定視線方向画像生成手段３は、画像送り側（この実施形態では会議室２０側）や画像表示側（この実施形態では会議室３０側）以外のところに設置するようにしてもよい。たとえば、この実施形態１のような遠隔会議システムであれば、その遠隔会議システムを管理する管理サーバ（図示せず）に設けるようにしてもよい。
【０１１０】
このように、特定視線方向画像生成手段３を画像表示側で持たない構成とすると、この図９からもわかるように、画像送り側と画像表示側との間での情報の受け渡し処理が多少複雑となる。しかし、たとえば、画像表示側が多数存在するような場合、すべての画像表示側に広視野角画像を送るとなると、その広視野角画像のデータ量が大きい場合には、伝送負荷はかえって大きくなる可能性がある。
【０１１１】
これに対して、この図９の方法では、画像表示側に送るべき画像は、主に、広視野角画像を切り分けた画像であるので、それほど大きいデータ量とならない場合もある。したがって、本発明を適用するシステムによって使い分けることによって、それぞれに対応した効果が得られる。
【０１１２】
なお、上述の例では、遠隔会議システムに本発明を適用した例について説明したが、本発明は、監視システムや天体観測など広い分野に適用できる。たとえば、店舗などの監視システムとして用いる場合は、図１の会議室２０を監視すべき店内とし、会議室３０を監視センタとすることによって、上述の遠隔会議システムと同様に、ディスプレイ装置１１で見たい位置の画像を表示させることができる。
【０１１３】
具体的には、たとえば、店内のある１つのフロアを撮影して得られた広視野角画像を監視センタなどに送る。一方、監視センタでは、モニタとしてのディスプレイ装置を監視人が前述同様、角度を変えたり位置を変えたりすることによって、位置検出手段１２から位置情報が出力され、この位置情報と店側から送信されてきた広視野角画像とを用い、特定視線方向画像生成手段３がその位置情報に対応した画像を生成し、それをディスプレイ装置１１に表示する。
これによって、監視人は、ディスプレイ装置１１の置く位置を変えたり角度を変えたりすることによって、監視したい位置の画像を表示させることができる。
【０１１４】
また、天体観測などに用いる場合は、たとえば、全天を撮影して得られた広視野角画像を画像表示側に送る。一方、画像表示側では、ディスプレイ装置１１を前述同様、置く位置を変えたり角度を変えたりすることによって、その位置情報と画像送り側から送られてくる広視野角画像とによって、特定視線方向画像生成手段３が位置情報に対応した画像を生成し、それをディスプレイ装置１１に表示する。
これによって、全天の中から自分の見たい星座の部分など自由にディスプレイ装置１１に表示させることができる。
【０１１５】
以上説明したように、本発明は、画像の送り側で取得された広視野角画像の中のある部分を見たい場合には、その見たい画像が表示されるようにディスプレイ装置１１を動かすだけでよく、きわめて簡単な操作で自分の見たい位置の画像をディスプレイ装置１１上に表示させることができる。また、ディスプレイ装置１１上でその見たい位置の画像が表示された場合、ディスプレイ装置をそのままの状態を保持しておけば、ディスプレイ装置１１の位置情報は固定されたままであるので、その位置の画像が表示され続け、通常のディスプレイ装置のディスプレイ画面を見ているのと同じとなる。
【０１１６】
したがって、視線方向に連動して、画像を表示させる従来のシステムとは異なり、ユーザは常に表示された画像を見ている必要がないので、ユーザに与える疲労や負担は通常のディスプレイ装置のディスプレイ画面を見ているのと同じとすることができる。また、このことは、他の資料を参照しながら時々表示画像を確認するといった使い方もできるので、幅広い用途に使用することができる。
【０１１７】
また、この実施形態では、広視野角画像としては、全方位カメラなどで撮影して得られた広視野角画像を用いた例で説明したが、全方位カメラなどで生成された広視野角画像を必ずしも用いる必要はない。たとえば、異なった場所にいる複数の人を個々に撮影した画像を用いて、その複数の人があたかも同じ場所いるような空間を仮想的にコンピュータ上で作り出すということもできる。
【０１１８】
〔実施形態２〕
前述の実施形態１では、画像表示側に送る広視野角画像としては、たとえば、魚眼レンズなどで撮影した画像を用いた例を示したが、この実施形態２は、広視野角画像として３ＤＣＧ画像を用いる。
【０１１９】
図１０は実施形態２を説明するための構成図であり、画像表示装置１は図２の画像表示装置１と同じであるので、その構成についてはここでは説明を省略する。
【０１２０】
この実施形態２の場合の広視野角画像としては、たとえば、コンピュータゲームやＣＡＤなどのアプリケーションソフトウエアが計算により生成したローカルな３次元オブジェクト情報５１やネットワーク４０を介して他のコンピュータなどから取得される３次元オブジェクト情報５２を用いる。また、３次元オブジェクト情報５１に対しては、オブジェクト制御プログラム５３が設けられ、ネットワークを介して他のコンピュータなどから取得される３次元オブジェクト情報５２に対しては、オブジェクト情報受信プログラム５４が設けられる。
【０１２１】
なお、これらローカルな３次元オブジェクト情報５１やネットワークを介して得られる３次元オブジェクト情報５２は、いずれか一方を用いることも可能であり、また、たとえば、両者からそれぞれ必要な情報を取得してそれぞれの３次元オブジェクト情報を組み合わせて用いてもよい。
【０１２２】
図１１は特定視線方向画像生成手段３に入力される３次元オブジェクト情報（ここではローカルな３次元オブジェクト情報５１であるとする）によって生成される３ＤＣＧ画像の例であり、ここでは、交差点やビルディングなどの建物が立ち並ぶ街並みとその背後に山々、右方に湖が存在する景色を考える。
【０１２３】
このような景色において、図中、○印（Ｐ０の符号を付す）の部分が仮想的な視点であるとする。今、この視点Ｐ０において矢印Ｖ１方向と矢印Ｖ２をそれぞれ視線方向とした場合、それぞれの視線方向Ｖ１，Ｖ２からはどのように見えるかを考える。
【０１２４】
図１２（ａ）は、視点Ｐ０をほぼ中心にした図１２の平面図であり、この図１２（ａ）では、視点Ｐ０の周辺のみが示され、山々や湖は省略されている。この図１２（ａ）において、視点Ｐ０からの視線方向をＶ１とＶ２に変えた場合、それぞれどのように見えるかは計算によって求めることができ、Ｖ１を視線方向として計算されて得られた画像が図１２（ｂ）であり、手前に交差点があり、その後方にビルディング群とまっすぐに伸びる道路、さらに後方には山々が見える景色となっている。また、矢印Ｖ２を視線方向として計算されて得られた画像が図１２（ｃ）であり、ビルディングの後方に湖が見える景色となっている。
【０１２５】
このように、３ＤＣＧ画像は、視線方向が決まれば、その視線方向から見ると、どのような画像が見えるかは計算によって求めることができる。これを利用することによって、ディスプレイ装置１１を任意の位置に置き、かつ、そのディスプレイ画面１１ａの向きなどを設定することによって、自分の見たい視線方向からの画像をディスプレイ装置１１に表示させることができる。
【０１２６】
図１３はその一例を示すもので、ディスプレイ装置１１を位置Ｐ１とＰ２に置いた場合であり、これは、図６における位置Ｐ１と位置Ｐ２にディスプレイ装置１１を置いたのと同じ状況であるとする。
【０１２７】
まず、ディスプレイ装置１１を位置Ｐ１に置く。このときのユーザの視線方向はＶ１であり、これは、図６の位置Ｐ１にディスプレイ装置１１を置いたのと同じ状態である。
【０１２８】
これによって、特定視線方向画像生成手段３では、位置検出手段１２からの位置情報（前述したように、ディスプレイ装置１１のディスプレイ画面１１ａにおける３隅の点ａ１，ａ２，ａ３の３次元座標上の座標）に基づいて、３次元オブジェクト情報５１に基づく３ＤＣＧ画像（図１１参照）における視点Ｐ０から視線方向Ｖ１を見た場合の画像を生成することによって、この位置Ｐ１に置かれたディスプレイ装置１１には、図１２（ｂ）と同様な画像が表示される。
【０１２９】
次に、この状態（図１３に示すように、ディスプレイ装置１１がＰ１に置かれた状態）から、ユーザが、今度はディスプレイ装置１１を図１３における矢印Ｘ方向に移動させて、位置Ｐ２に置いたとする。このときのユーザの視線方向はＶ２であり、これは、図６の位置Ｐ２にディスプレイ装置１１を置いたのと同じ状態である。
【０１３０】
これによって、特定視線方向画像生成手段３では、位置検出手段１２からの位置情報に基づいて、３次元オブジェクト情報５１に基づく３ＤＣＧ画像（図１１参照）における視点Ｐ０から視線方向Ｖ２を見た場合の画像を生成することによって、この位置Ｐ２に置かれたディスプレイ装置１１には、図１２（ｃ）と同様な画像が表示される。
【０１３１】
なお、この実施形態２の場合も、前述の実施形態１と同様、ユーザが意図的にディスプレイ装置１１の表示状態をオフしない限り、ディスプレイ装置１１の移動中にもその時点の画像を表示させることは可能である。
【０１３２】
たとえば、図１３の例において、ディスプレイ装置１１を位置Ｐ１からＰ２に移動させて行くと、その移動に伴い、ディスプレイ装置１１に表示される景色は、図１２における視点Ｐ０からの視線方向がＶ１からＶ２へと時計方向に回転して行くに伴って徐々に変化して行き、やがて、ディスプレイ装置１１が位置Ｐ１に到達すると、図１２（ｃ）のような景色となる。
【０１３３】
なお、実施形態１でも説明したように、ディスプレイ装置１１をある位置においた状態で、そのディスプレイ装置１１のディスプレイ画面１１ａの上下方向の角度を変えると、それに応じた画像を表示させることができることは勿論である。
【０１３４】
たとえば、ディスプレイ装置１１を位置Ｐ１に置いた状態で、ディスプレイ装置１１を少し下向きにしたとすると、そのときに表示される画像は、図１２（ｂ）の画像において、空や山々が見えなくなって、交差点部分がディスプレイ画面１１ａの上下方向の中央部に位置するような画像となる。逆に、ディスプレイ装置１１を位置Ｐ１に置いた状態で、ディスプレイ装置１１を少し上向きにしたとすると、そのときにディスプレイ装置１１に表示される画像は、図１３（ｂ）の画像において、空や山々の稜線などの景色が主となる画像となる。
【０１３５】
また、この実施形態２の場合も、図１と同様に、特定視線方向画像生成手段３で生成された画像と図１１で示すような広視野角画像を合成する機能を設ければ、たとえば、図１３で示した位置Ｐ１において、特定視線方向画像が表示されている表示領域の一部に、図１１のような広視野角画像を表示させることもできる。これによれば、現在、自分の見ている画像が全体の画像のどの方向から見たものかを容易に確認することができる。
【０１３６】
なお、本発明は上述の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施可能となるものである。たとえば、前述の各実施形態では、ディスプレイ装置１１は１台として説明したが、複数台とすることも可能である。
【０１３７】
また、前述の実施形態では、位置情報を得るための手段として、図４、図５で示したものを例にしたが、これに限られるものではなく、たとえば、図１４に示すように、ＣＣＤカメラ８１などを用いた画像認識手法によって位置情報を求めることもできる。この場合、ディスプレイ装置１１を撮影して得られた画像からディスプレイ装置１１のたとえば外枠の４箇所のかど部ｃ１，ｃ２，ｃ３，ｃ４を特徴点として抽出し、その抽出された特徴点の３次元座標上の座標を求めるようにする。
【０１３８】
また、ディスプレイ装置１１の４箇所のかど部ｃ１，ｃ２，ｃ３，ｃ４に超音波発振子（図示せず）を設けるとともに、ディスプレイ装置１１を置くテーブルなどの４隅に超音波センサ（図示せず）を設け、ディスプレイ装置１１を移動したときの、ディスプレイ装置の４箇所の超音波発振子からのそれぞれの超音波（それぞれ個別のパターンの超音波）がテーブルの４隅に超音波センサに到達する時間の差からディスプレイ装置のかど部ｃ１，ｃ２，ｃ３，ｃ４の３次元座標上の座標を求めるようにすることも可能である。
【０１３９】
また、前述の各実施形態では、ディスプレイ座標系を３次元空間内の位置として表す場合、３次元座標上の座標を用いたが、ある点を基準とする極座標であってもよい。
【０１４０】
また、本発明が用いる広視野角画像は、ディジタルカメラなどの画像入力手段で入力された画像と、３ＤＣＧ画像の両方を混在させて用いることもできる。このように、ディジタルカメラなどの画像入力手段で入力された画像と、３ＤＣＧ画像の両方を混在させて用いる場合も、それぞれの画像について、前述の実施形態１および実施形態２で説明したような特定視線方向画像の生成を行うことができる。
【０１４１】
これによって、たとえば、前述の会議システムの例であれば、会議の場で論議の対象となっているものなど（たとえば、建築設計図面など）を３ＤＣＧなどで表現してそれを重ねて表示するといったこともできる。
【０１４２】
また、本発明は以上説明した本発明を実現するための処理手順が記述された処理プログラムを作成し、その処理プログラムをフロッピィディスク、光ディスク、ハードディスクなどの記録媒体に記録させておくこともでき、本発明は、その処理プログラムの記録された記録媒体をも含むものである。また、ネットワークから当該処理プログラムを得るようにしてもよい。
【図面の簡単な説明】
【０１４３】
【図１】本発明の画像表示システムの概略的な構成図である。
【図２】本発明の実施形態１である遠隔会議システムの構成を説明する図である。
【図３】広視野角画像の一例を示す図であり、（ａ）は広角レンズを用いて撮影された広視野角画像例、（ｂ）は魚眼レンズを用いて撮影された広視野角画像例を示す図である。
【図４】位置情報を検出する手段の一例を説明する図である。
【図５】位置情報を検出する手段の他の例を説明する図である。
【図６】ディスプレイ装置を置く位置によって表示される画像が異なる例を説明する図である。
【図７】図６で示したそれぞれの位置において表示する画像（特定視線方向画像）生成を説明する図である。
【図８】ディスプレイ装置で表示されている特定視線方向画像の一部に広視野角画像を表示させる例を説明する図である。
【図９】実施形態１の変形例を説明する図であり、特定視線方向画像生成手段を画像送り側に設けた例を説明する図である。
【図１０】本発明の実施形態２である３ＤＣＧを広視野角画像として用いる場合の画像表示システムの構成を説明する図である。
【図１１】３ＤＣＧ画像の一例を示す図である。
【図１２】図１１の３ＤＣＧ画像においてある視点から見たときどのような画像となるかを説明する図である。
【図１３】実施形態２においてディスプレイ装置を置く位置によって表示される画像が異なる例を説明する図である。
【図１４】位置情報を検出する手段の他の例を説明する図である。
【符号の説明】
【０１４４】
１  画像表示装置、２  広視野角画像出力手段、３  特定視線方向画像生成手段、１１  ディスプレイ装置、１１ａ  ディスプレイ画面、１２  位置検出手段、２２  カメラ、２３  ネットワーク接続手段、３１  広視野角画像取得手段、３２  位置情報送信手段、３３  表示画像取得手段、４０  ネットワーク、５１，５２  ３次元オブジェクト情報、１２１  センサ部、１２２  位置情報算出手段、ａ１，ａ２，ａ３，ａ４  表示領域（ディスプレイ画面）の隅の点、Ｖ１，Ｖ２，Ｖ３  視線方向、Ｐ０  視点、Ｐ１，Ｐ２，Ｐ３  位置
【図１】
2005077808.tif 000003
【図２】
2005077808.tif 000004
【図３】
2005077808.tif 000005
【図４】
2005077808.tif 000006
【図５】
2005077808.tif 000007
【図６】
2005077808.tif 000008
【図７】
2005077808.tif 000009
【図８】
2005077808.tif 000010
【図９】
2005077808.tif 000011
【図１０】
2005077808.tif 000012
【図１１】
2005077808.tif 000013
【図１２】
2005077808.tif 000014
【図１３】
2005077808.tif 000015
【図１４】
2005077808.tif 000016