(57)【要約】【課題】  立体画像を表示するための２次元画像情報を従来よりも迅速且つ簡易な方法で得て、これを用いて観測者に立体画像を観測させることを可能にする。【解決手段】  画像の観測点ないし撮像点から十分遠方の物体に関しては、物体座標系Ｒにおける２次元画像データだけを用意する。具体的には、移動前の観測者Ａの視点からの視線が観測面（＝観測パネル１６のパネル面）と交わる点（Ｘc1，Ｙc1）と、移動後の観測者Ａ’の視点からの視線が観測面（＝観測パネル１６のパネル面）と交わる点（Ｘc2，Ｙc2）との差分（Ｈx,Ｈy）だけ、画像の位置を移動させる。立体画像表示装置１は、画像の位置が移動させられた２次元画像データに基づき２次元画像を表示する。これにより、観測者は立体画像を観測することができる。【選択図】      図４
2006197036.tif 000002
【特許請求の範囲】
【請求項１】
画像データを入力する入力手段と、
観測者の視点の位置が移動した量を検出する検出手段と、
前記検出手段によって検出された視点位置の移動量に合わせて、前記入力手段によって入力された画像データが表す画像の位置を２次元平面上で平行移動させる画像処理手段と、
前記画像処理手段によって画像の位置が移動させられた画像データに基づいて画像を表示する表示手段と
を備える立体画像表示装置。
【請求項２】
前記表示手段は、画像データに基づいた画像が表示される表示面と、前記表示面に平行に設けられて該表示面から発せられた画像光を背面から観測面に向けて透過する観測パネルとを有し、
前記画像処理手段は、移動前の前記観測者の視点から前記表示面に表示された観測対象に対する視線が前記観測パネルのパネル面と交わる点と、移動後の前記観測者の視点から前記観測対象に対する視線が前記観測パネルのパネル面と交わる点との間の距離だけ、前記画像データが表す画像の位置を平行移動させる請求項１記載の立体画像表示装置。
【請求項３】
移動体通信網経由でデータ通信を行う移動局を備え、
前記入力手段は、前記移動局によって受信された画像データを受け取って前記画像処理手段に供給する請求項１に記載の立体画像表示装置。
【請求項４】
立体画像表示装置が、画像データを自装置に入力するステップと、
前記立体画像表示装置が、観測者の視点の位置が移動した量を検出するステップと、
前記立体画像表示装置が、検出された視点位置の移動量に合わせて、前記画像データが表す画像の位置を２次元平面上で平行移動させるステップと、
前記立体画像表示装置において、画像の位置が移動させられた画像データに基づいた画像を表示するステップと
を備える立体画像表示方法。
【請求項５】
画像データに基づいた画像が表示される表示面と、前記表示面に平行に設けられて該表示面から発せられた画像光を背面から観測面に向けて透過する観測パネルとを有する立体画像表示装置が行う立体画像表示方法であって、
画像データを自装置に入力するステップと、
観測者の視点の位置が移動した量を検出するステップと、
移動前の前記観測者の視点から前記表示面に表示された観測対象に対する視線が前記観測パネルのパネル面と交わる点と、移動後の前記観測者の視点から前記観測対象に対する視線が前記観測パネルのパネル面と交わる点との間の距離だけ、前記画像データが表す画像の位置を平行移動させるステップと、
画像の位置が移動させられた画像データに基づいた画像を表示するステップと
を備える立体画像表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は立体画像を表示するための技術に関する。
【背景技術】
【０００２】
人間の目に立体的に見える画像（以下、立体画像という）を表示するために、従来から様々な技術が提案されている。典型的な立体画像の表示方法は、右眼用の画像と左眼用の画像とを短い周期で交互に表示し、これらの画像を表示面上に設けた偏光フィルターによって互いに直交する方向に偏光させるというものである。観測者が、左右に直交する方向の変更選択性を有する眼鏡を通してこの画像を観測すると、観測者の右眼には右眼用の画像のみが見えるし左眼には左眼用の画像のみが見えることになり、左右の画像で視差が発生し、この結果、観測者にとっては立体的な画像に見えることになる。さらに、例えば特許文献１には、観測者の視点の位置をセンサによって計測し、観測者の視線に応じた立体画像を生成して表示することで眼鏡を不要にした技術が開示されている。
【０００３】
上記のような従来技術においては、３次元画像データに基づいて、右眼用及び左眼用にそれぞれ２次元画像データを生成する処理に多大な時間を要してしまうという問題がある。特に観測者が移動したり或いは観測者が別の観測者に変わったりするなどして視点の位置が変わるたびに、３次元画像データから２次元画像データを即時に生成して表示しなければならないような場合もあるが、このような生成処理を迅速に実行することは容易ではない。
【特許文献１】特開２００２−７７９４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、上述した背景の下になされたものであり、立体画像を表示するための画像データを従来よりも迅速且つ簡易な方法で得て、これを用いて観測者に立体画像を観測させることを可能にするものである。
【課題を解決するための手段】
【０００５】
上述の課題を解決するために、本発明は、画像データを入力する入力手段と、観測者の視点の位置が移動した量を検出する検出手段と、前記検出手段によって検出された視点位置の移動量に合わせて、前記入力手段によって入力された画像データが表す画像の位置を２次元平面上で平行移動させる画像処理手段と、前記画像処理手段によって画像の位置が移動させられた画像データに基づいて画像を表示する表示手段とを備える立体画像表示装置を提供する。この立体画像表示装置によれば、例えば風景画像のように撮像点ないし観測点から十分遠方にあるような物体の画像であれば、観測者の視点位置の移動量に合わせてその画像の位置を２次元平面上で平行移動させるという簡易な処理を経るだけで立体画像用の画像データを生成することができる。もちろん、生成した画像データのデータ量も従来技術に比べて少なくて済む。また、観測者の視点の位置が移動したことによる画像のずれも発生しない。
【０００６】
本発明の好ましい態様において、前記表示手段は、画像データに基づいた画像が表示される表示面と、前記表示面に平行に設けられて該表示面から発せられた画像光を背面から観測面に向けて透過する観測パネルとを有し、前記画像処理手段は、移動前の前記観測者の視点から前記表示面に表示された観測対象に対する視線が前記観測パネルのパネル面と交わる点と、移動後の前記観測者の視点から前記観測対象に対する視線が前記観測パネルのパネル面と交わる点との間の距離だけ、前記画像データが表す画像の位置を平行移動させる。
【０００７】
また、本発明は、立体画像表示装置が、画像データを自装置に入力するステップと、前記立体画像表示装置が、観測者の視点の位置が移動した量を検出するステップと、前記立体画像表示装置が、検出された視点位置の移動量に合わせて、前記画像データが表す画像の位置を２次元平面上で平行移動させるステップと、前記立体画像表示装置において、画像の位置が移動させられた画像データに基づいた画像を表示するステップとを備える立体画像表示方法を提供する。
【０００８】
また、本発明は、画像データに基づいた画像が表示される表示面と、前記表示面に平行に設けられて該表示面から発せられた画像光を背面から観測面に向けて透過する観測パネルとを有する立体画像表示装置が行う立体画像表示方法であって、画像データを自装置に入力するステップと、観測者の視点の位置が移動した量を検出するステップと、移動前の前記観測者の視点から前記表示面に表示された観測対象に対する視線が前記観測パネルのパネル面と交わる点と、移動後の前記観測者の視点から前記観測対象に対する視線が前記観測パネルのパネル面と交わる点との間の距離だけ、前記画像データが表す画像の位置を平行移動させるステップと、画像の位置が移動させられた画像データに基づいた画像を表示するステップとを備える立体画像表示方法を提供する。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照して、本発明の最良の実施形態について説明する。
（１）装置構成
図１は、本発明の実施形態に係る立体画像表示装置１を上方から見た場合の断面図を表している。筐体１１の内部には、入力部１２と、画像処理部１３と、２次元情報投影機１４と、表示面１５とが設けられている。入力部１２は、例えばインターネットやＩＳＤＮ（Integrated Services Digital Network）網等の通信網２０に接続されている。入力部１２は、外部装置（図示略）から通信網２０経由で立体画像表示装置１宛てに送信されてくる画像データを受信すると、これを画像処理部１３に供給する。この画像データは、例えばデジタルカメラ等によって撮像された画像を表したものであり、撮像されると直ちに、デジタルカメラに接続された外部装置から通信網２０経由で立体画像表示装置１に送信されてくる。またこれ以外にも、画像データはＷＷＷサーバ装置等の外部装置にコンテンツとして予め蓄積されたものであってもよい。なお、図２に示すように、携帯電話機等のデータ通信の可能な移動局４０を入力部１２に接続し、移動体通信網３０経由で画像データを受信するように構成することも可能である。このようにすれば、固定通信網が整備されていないような山間部などで撮像された立体画像の画像データを立体画像表示装置１に送信することも可能となる。
【００１０】
立体画像表示装置１は、立体画像表示装置１の前に居る観測者Ａを撮像して画像認識等の処理を経ることで観測者の視点の位置を特定し、観測者が移動した場合にはその移動量（以下、視点移動量という）を検出する検出装置１７を備えている。ここで、撮像画像から観測者の視点の位置を特定するための画像処理に関しては既に周知の技術を利用すればよい。画像処理部１３は、検出装置１７によって検出された視点移動量に合わせて、入力部１２から供給される画像データが表す画像を２次元平面上で平行移動した２次元画像データに変換し、これを２次元情報投影機１４に供給する。２次元情報投影機１４は、例えば背面投影型の液晶プロジェクタ装置であり、画像処理部１３から供給された２次元画像データに基づいた２次元画像を、図中の点線矢印に示すように表示面１５の背面に向かって投影する。
【００１１】
表示面１５は、背面に投影された画像を表面側に透過する。筐体１１の観測者Ａに対向する正面側には、表示面１５の面積よりも小さい面積の観測パネル１６が設けられている。この観測パネル１６は、表示面１５から距離ｌだけ離れた位置に表示面１５と平行になるように設けられており、表示面１５から発せられた画像光を背面から観測面に透過する。観測者Ａは、立体画像用の眼鏡をかけた状態で、観測パネル１６を介して表示面１５上の画像を見ることになる。
【００１２】
（２）立体画像を表示する原理
次に、立体画像表示装置１が立体画像を表示する原理について説明する。
まず、観測者から見た場合の座標系（観測者座標系）と、立体表示される物体が存在する物体座標系との関係を考える。図３は、これら両座標系についての説明図であり、観測者Ａから観測した場合の観測者Ａ座標系Ｌと物体座標系Ｒとの関係を表している。また、図３には、観測者Ａが点線矢印に示すように図中右上方向に移動した場合を観測者Ａ’として、その移動後の視点の位置も図示している。観測者座標系は、観測者の視線に直交する面における２次元座標系である。図３では、観測者Ａが観測パネル１６のちょうど正面に相対するような位置に居るので、観測者Ａ座標系Ｌの座標面と観測パネル１６のパネル面とが一致することになる。
【００１３】
一方、物体座標系Ｒは、３次元空間中の任意の場所に原点とＸ，Ｙ，Ｚの座標軸とを設けた３次元座標系である。物体座標系Ｒにおける点（Ｘ，Ｙ，Ｚ）と、その点の像が観測される観測者座標系の点（Ｘc，Ｙc）との関係は、３行４列の行列Ｃによって表現することができる。すなわち、物体座標系Ｒにおける点を（Ｘ，Ｙ，Ｚ，１）、観測者座標系における点を（Ｘc，Ｙc，１）と表現すると、両者の関係は（i）式で表されることに
なる（Ｈcは媒介変数）。なお、この内容については「井口征士、佐藤宏介、３次元画像計測、昭晃堂、１９９０」に詳細に記載されている。
【数１】
2006197036.tif 000003
【００１４】
ここで、画像の撮像点から十分遠方に存在している物体（例えば遠方の風景等）については、図３において、
ｚ1≒∞
ｚ1’≒∞
Ｚ＝ｚ1＋ｚ2≒∞
Ｚ’＝ｚ’1＋ｚ’2≒∞
とみなすことができる。
なお、ｚ1、ｚ2、ｚ’1、ｚ’2は、それぞれ図３に示すような線分の長さを意味している。すなわち、ｚ1は、観測者Ａの視点から表示面１５に表示された観測対象（点ｒ）に対する視線が観測面（観測者Ａ座標系Ｌ）と交わる点と、表示面１５に表示された観測対象（点ｒ）との間の距離を意味している。また、ｚ2は、観測者Ａの視点と、その観測者Ａの視点から観測対象（点ｒ）に対する視線が観測面（観測者Ａ座標系Ｌ）と交わる点との間の距離を意味している。そして、ｚ’1は、観測者Ａ’の視点から観測対象（点ｒ）に対する視線が観測面（観測者Ａ座標系Ｌ）と交わる点と、観測対象（点ｒ）との間の距離を意味している。また、ｚ’2は、観測者Ａ’の視点と、その観測者Ａ’の視点から観測対象（点ｒ）に対する視線が観測面（観測者Ａ座標系Ｌ）と交わる点との間の距離を意味している。
【００１５】
この結果、Ｚ≒Ｚ’となり、物体座標系ＲにおいてはＺの影響を無視することができる。そのため、観測者Ａの視点の移動による物体座標系Ｒにおける回転については、次の（ii）式、（iii）式、（iv）式で表される一般的な３次元の回転公式に当てはめることがで
きる。
【数２】
2006197036.tif 000004
【数３】
2006197036.tif 000005
【数４】
2006197036.tif 000006
【００１６】
ここで、各軸周りの回転を考えると、既に説明したようにｚ1≒∞，Ｚ≒ｚ1であることより、物体座標系Ｒにおける奥行きＺをＺ≒∞とみなすことができる。そのため、θ≒０、α≒０、β≒０となり、物体座標系Ｒ上の各軸周りの回転は、その回転前に対してほとんど影響を及ぼさないといえる。すなわち、十分遠方に観測される風景等の物体に関しては、物体座標系Ｒの３次元画像情報へ変換しなくても問題ないことになる。例えば観測点（ないし撮像点）から数十メートル程度以上の距離であれば回転の影響をほとんど受けないと考えられるので、上記の「遠方」とは観測点（ないし撮像点）から数十メートル程度以上の距離であることばが望ましい。
【００１７】
そこで、本実施形態においては、画像データの供給源である外部装置が、画像の観測点ないし撮像点から十分遠方の物体に関しては、物体座標系Ｒにおける２次元画像データだけを用意し、３次元画像データを不要としている。これにより、外部装置による画像データの生成処理が簡易となり、その生成処理に要する処理時間も少なくて済むことになる。また、生成した画像データのデータ量も従来のように３次元画像データを変換して得られる２次元画像データの量に比べて少なくなる。
【００１８】
ただし、観測者座標系においては観測者の視点の位置が移動すると、それまでは観測者から見えなかった領域が見えてくるようになる。例えば、移動前の観測者Ａの視点からは図４の領域Ｆは観測することができないが、移動後の観測者Ａ’の視点からは領域Ｆを観測することができる。また、図４に示すように、物体座標系Ｒの（Ｘ，Ｙ）は、観測者Ａの視点からは観測者Ａ座標系Ｌにおける（Ｘc1，Ｙc1）の位置に観測されることになるが、観測者Ａ’の視点からは観測者Ａ’座標系Ｌ’における（Ｘb，Ｙb）の位置に観測されることになる。これを、観測面と一致する観測者Ａ座標系Ｌに置き換えると、（Ｘc2，Ｙc2）となる。つまり、観測者Ａ座標系Ｌ（すなわち観測面）においては、（Ｘc1，Ｙc1）に対して（Ｈx，Ｈy）のずれが生じる。なお、Ｈx，Ｈyはそれぞれ、ずれ量Ｈ＝（Ｈx2+Ｈy2）1/2のＸ方向成分、Ｙ方向成分を意味している。図４は、Ｙ軸に平行な平面上の位置関係を図示したものであるから、ずれＨのＸ方向成分であるＨxのみを表記している。
【００１９】
上記のようなずれが生じるために、図５に示すように、物体座標系Ｒに見立てた２次元画像データの座標（Ｘ’，Ｙ’）を観測面（すなわち観測者Ａ座標系Ｌ）の座標（Ｘc，Ｙc）に変換する必要が生じる。そのためには、観測者の右眼および左眼の視点の位置を特定し、原画像データを右眼および左眼の各々の視点位置に対して右眼および左眼で観測できる独立した２枚の画像に展開して投影すればよい。
【００２０】
そこで、本実施形態においては、次のような画像処理を実行することで上記の問題を解決した。図５においてＺ≒∞とみなしたことにより、θ＝０（θx≒０、θy≒０：なおθx,θyは、それぞれθのＸ軸方向成分、Ｙ軸方向成分）となる。つまり、観測者Ａの視線の方向（図中の線分ｌａ）と、観測者Ａ’の視線の方向（図中の線分ｌｂ）とを平行とみなすことができる。ここで、観測者Ａの視点位置の移動量（図中点線矢印で示す移動ベクトルの観測面に平行な成分）の大きさをＳxとすると、線分ｌａと線分ｌｂとが平行だから、Ｓx≒Ｈxとなる。よって、物体座標系（Ｘ，Ｙ）を（Ｈx，Ｈy）だけ平行移動させればよいことになる。つまり、移動前の観測者Ａの視点からの視線が観測面（＝観測パネル１６のパネル面）と交わる点（Ｘc1，Ｙc1）と、移動後の観測者Ａ’の視点からの視線が観測面（＝観測パネル１６のパネル面）と交わる点（Ｘc2，Ｙc2）との間の距離Ｈ＝（Ｈx2+Ｈy2）1/2だけ、画像の位置を移動させればよいというわけである。画像処理部１３は、観測者の視点移動量を検出すると、図４に示したような位置関係から、（Ｈx，Ｈy）を計算によって求めることができる。よって、画像処理部１３は、この（Ｈx，Ｈy）を用いて、物体座標系（Ｘ，Ｙ）に見立てた広域の２次元画像データ（観測面Ｌよりも広い領域に対応する画像データ）の座標位置（Ｘ’，Ｙ’）を観測者の視点位置に合わせて平行移動させればよい。
【００２１】
以上のようにして、画像処理部１３は、入力部１２から供給される２次元画像データが表す画像の位置を観測者の視点移動量に合わせて平行移動した画像データを生成し、これを２次元情報投影機１４に供給する。２次元情報投影機１４は、画像処理部１３から供給された２次元画像データに基づき２次元画像を表示面１５に向かって投影する。これにより、観測者は観測パネル１６を介して表示面１５を見ることで立体画像を観測することができる。
【００２２】
上述した実施形態によれば、観測者の視点の位置に合わせて画像の位置を平行移動するので、観測者の視点の位置に合わせた立体画像を表示することができる。また、本実施形態では２次元画像データを用いているので、従来の３次元画像データに比べて通信網２０上のデータ伝送量が少なくて済む。このことは特に移動体通信網３０経由で画像データを伝送するような場合に有利である。また、表示対象を遠方に観測される風景などに限定したことにより、動画像における前画像との差分データを大幅に削減することも可能となる。これによって、固定通信網が整備されていないような山間部などとの間で立体画像の画像データを送受信することもできる。
【００２３】
なお、上記の実施形態においては、説明を簡単にするため、１つの２次元画像を用いる場合について説明したが、奥行きの異なる複数の２次元画像からなる３次元画像を対象としてもよい。
また、観測者の視点の位置は、前述したように観測者を撮像した画像に基づいて特定するという方法もあるが、これ以外にも、例えば観測者が着席する座席の位置が予め分かっているのであれば、どの座席に観測者が着席しているかをその都度指定することで視点の位置を特定し、その移動量を求めるようにしてもよい。
また、上記の実施形態では、観測者の右眼と左眼とをそれぞれ観測者の視点の位置としていたが、これに限らず、例えば右眼と左眼とを結ぶ線分の中点を観測者の視点の位置としてもよい。このように視点の位置を１つに定めた場合には、観測者は立体画像用の眼鏡を装着しなくても立体的な画像を観測することも可能となる。
【図面の簡単な説明】
【００２４】
【図１】本発明の装置構成を示す図である。
【図２】本発明の別の装置構成を示す図である。
【図３】本発明の原理を説明するための図である。
【図４】本発明の原理を説明するための図である。
【図５】本発明の原理を説明するための図である。
【符号の説明】
【００２５】
１…立体画像表示装置、１１…筐体、１２…入力部、１３…画像処理部、１４…２次元情報投影機、１５…表示面、１６…観測パネル、１７…検出装置。
【図１】
2006197036.tif 000007
【図２】
2006197036.tif 000008
【図３】
2006197036.tif 000009
【図４】
2006197036.tif 000010
【図５】
2006197036.tif 000011