(57)【特許請求の範囲】
【請求項１】
全方位画像データを用いるステレオ画像表示方法であって、
予め用意された撮影地点がずれた３つ以上の全方位画像データより、観察者の視線の方位に基づいて選択した左目用の全方位画像データと右目用の全方位画像データを観察者の左目と右目にそれぞれ見せ、
観察者の視線の方位の変化により観察者に見せる全方位画像データの再選択を行う場合に、
（ａ）観察者の一方の目用の全方位画像データとして再選択前と同じ全方位画像データを選択し、
（ｂ）観察者の他方の目用の全方位画像データとして再選択前と別の全方位画像データを選択することを特徴とするステレオ画像表示方法。
【請求項２】
全方位画像データを用いるステレオ画像表示方法であって、
予め用意された撮影地点がずれた３つ以上の全方位画像データより、観察者の視線の方位に基づいて選択した左目用の全方位画像データと右目用の全方位画像データを観察者の左目と右目にそれぞれ見せ、
観察者の視線の方位の変化により観察者に見せる全方位画像データの再選択を行う場合に、
（ａ）観察者の一方の目用の全方位画像データとして再選択前と同じ全方位画像データを選択し、
（ｂ）観察者の他方の目用の全方位画像データとして再選択前と別の全方位画像データを選択し、再選択後の全方位画像データ及び再選択前の全方位画像データをオーバーラップさせて観察者の他方の目に見せつつ徐々に再選択後の全方位画像データへ切り替えることを特徴とするステレオ画像表示方法。
【請求項３】
全方位画像を用いるステレオ画像表示装置であって、
撮影地点がずれた３つ以上の全方位画像データを記憶する記憶手段と、観察者の視線の方位を入力する視線方位入力手段と、該視線方位入力手段により入力された視線の方位に基づいて、該記憶手段に記憶されている３つ以上の全方位画像データより左目用の全方位画像データと右目用の全方位画像データを選択し、選択した全方位画像データから左目用画像データと右目用画像データをそれぞれ作成して出力する画像処理手段と、該画像処理手段より出力された左目用画像データと右目用画像データをそれぞれ観察者の左目と右目に画像として見せる表示手段とを具備し、
前記画像処理手段は、前記視線方位入力手段により入力された視線の方位の変化により右目用及び左目用の全方位画像データの再選択を行う場合に、観察者の一方の目用の全方位画像データとして再選択前と同じ全方位画像データを選択し、観察者の他方の目用の全方位画像データとして再選択前と別の全方位画像データを選択することを特徴とするステレオ画像表示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、広視野の画像の立体視を実現する技術に関する。
【０００２】
【従来の技術】
デジタルカメラなどで撮影された２次元画像をもとにしたステレオ（立体）画像表示を実現する方法としては、視点の異なる２枚の画像の組を用意し、左右の目に、それぞれ異なる視点の画像を見せるという方法が一般的である。しかし、２枚の画像を用意するだけでは、広い視野角度をカバーすること、例えば３６０度パノラマ画像の立体視を実現することは不可能であった。広い視野角度をカバーするためには、各方位毎に２枚の画像の組を用意し、方位に応じて観察者に見せる画像の組を切り替える必要があった。例えば、３６０度パノラマ画像の立体視には、１５組（３０枚）以上の画像を用意する必要があった。
【０００３】
関連技術として、２次元画像から手前画像を抽出し、それを背景画像に対し相対的に左右に移動しかつ拡大することによって左目画像と右目画像を作成し、それらを３次元画像表示装置に出力することにより、ステレオ画像表示を実現する方法が特開平７−１８２５３３号公報に記載されている。
【０００４】
【発明が解決しようとする課題】
上に述べたように、各方位毎に２枚の画像の組を用意し、方位に応じて観察者に見せる画像の組を切り替える方法では、方位が変化する時に視野が途切れるという問題がある。つまり、連続して周囲を立体的に見渡すようことができない。
【０００５】
本発明の目的は、そのような視野の途切れを生じることなく、３６０度パノラマ画像のような広視野画像の立体視を可能にする手段を提供することにある。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、本発明においては、撮影地点がずれた３つ以上の全方位画像データを用意する。それぞれの全方位画像データは、例えば、固定した地点からデジタルカメラなどで水平面に沿って撮影方位を変えながら撮影した多数の画像データを、撮影地点を中心とした球面又は円筒面に投影して貼り合わせ合成した３６０度パノラマ画像データなどである。そして、本発明では、これら３つ以上の全方位画像データの中から、観察者の視線の方位に基づいて、左目用の全方位画像データと右目用の全方位画像データを選択し、それぞれを観察者の左目と右目に画像として見せることにより、３６０度パノラマ画像などの広視野画像の立体視を実現する。
【０００７】
【発明の実施の形態】
以下、添付図面を参照し、本発明の実施の形態を説明する。
【０００８】
本発明においては、撮影地点のずれた全方位画像データを少なくとも３つ用意するが、この全方位画像データの作成方法の例を図１により説明する。
【０００９】
全方位画像データを作成する場合、固定した撮影地点から、デジタルカメラなどで、例えば水平面に沿って一周するように撮影方位を変えながら、多数の画像を撮影する。そして、本発明の一実施例によれば、例えば、デジタルカメラなどのレンズ中心を中心Ｏ、レンズと撮像面までの距離に等しいか、あるいは、その任意倍率の半径をもつ球面Ａに、各画像データを投影して貼り合わせ合成することにより、全方位画像データが作成される。このような貼り合わせ合成は、本出願人の特願平９−３０３８９３号及び特願平９−２３４０９５号の明細書に詳述されているように、隣り合う画像データのオーバーラップ領域内の画素の相対位置関係を利用して画像間の方位角度座標の変換マトリクスを求め、これを利用して各画像データを統一した方位角度座標に変換することによって行うことができる。なお、水平面から上の全天をカバーするような３次元的なパノラマ画像の立体視を実現したい場合には、デジタルカメラなどで画像を撮影する際に、撮影方位を垂直方向へも振って撮影し、撮影した各画像データを同様に球面Ｂ上で貼り合わせ合成すればよい。
【００１０】
立体視を実現するには、全方位画像データを記憶装置などに保存する必要がある。本発明の一実施例によれば、上に述べたように球面に投影して貼り合わせ合成された全方位画像データは、本出願人の特願平９−２３４０９５号の明細書に詳述されているように、水平面Ｃ上の円盤Ｄに平射投影されたデータとして保存される。
【００１１】
本発明の一実施例によれば、例えば、撮影地点をずらした４つの全方位画像データが上に述べたような球面投影の方法によって作成され、それぞれが平射射影データの形で保存される。これを図２に示す。図２において、Ｐ１，Ｐ２，Ｐ３，Ｐ４はそれぞれ４つの全方位画像データの撮影地点に対応している。これら撮影地点のずれは、人間の左右の目の視差を考慮して決定されるもので、代表的には１０ｃｍから５０ｃｍの範囲に選ばれる。各撮影地点Ｐ１，Ｐ２，Ｐ３，Ｐ４からの全方位画像データは、それぞれ図１中の円Ｑ１，Ｑ２，Ｑ３，Ｑ４に対応する円盤上に平射投影された形で保存される。これら４つの全方位画像データは、撮影地点が近接しているから、互いに極めて類似している。
【００１２】
本発明の一実施例によれば、視線の方位が指定されると、保存された４つの全方位画像データの中から、左目用の一つの全方位データと右目用の一つの全方位画像データを選択し、観察者の左目と右目の視線に対応する位置に、対応した全方位画像データを見せることにより、広視野の画像の立体視を実現する。これを図２により説明する。
【００１３】
視線の方位が、例えばＤ３方向±２２．５゜の範囲内であれば、撮影地点Ｐ１からの全方位画像データを左目用の全方位画像データとして選択し、そのＤ３方向の近辺の領域を左目に見せ、同時に、撮影地点Ｐ２からの全方位画像データを右目用の全方位画像データとして選択し、そのＤ３方向の近辺の領域を右目に見せれば、立体視が可能となる。また、視線の方位がＤ４方向±２２．５゜の範囲内であれば、撮影地点Ｐ１からの全方位画像データを左目用の全方位画像データとして選択し、そのＤ４方向の近辺の領域を左目に見せ、同時に、撮影地点Ｐ４からの全方位画像データを右目用の全方位画像データとして選択し、そのＤ４方向の近辺の領域を右目に見せれば、立体視が可能である。このように視線の方位が変わることによって、観察者に観察される一方の全方位画像データが別の全方位画像データに切り替わるが（上に述べた例の場合、方位Ｄ３＋２２．５゜を境に右目に観察される全方位画像データが、撮影地点Ｐ２のものから撮影地点Ｐ４のものに切り替わる）、左目に観察される全方位画像データは変化せず、かつ、撮影地点Ｐ２からの全方位画像データと撮影地点Ｐ４からの全方位画像データとが極めて類似しているため、観察者は全方位画像データの切り替わりに殆ど気付かない。同様にして、観察者は、その周囲３６０度の範囲のシーンを、切れ目なく連続的に立体視することが可能となる。
【００１４】
なお、視線移動の途中で右目又は左目に見せる全方位画像データを急に切り替ずに、切り替わる前と後の２つの全方位画像データをオーバーラップさせて表示しながら連続的に画像データを切り替えてもよい。例えば、図２において、視線方位をＤ３方向からＤ４方向に順次変える際に、その中間的な方位で、撮影地点Ｐ２から全方位画像データと撮影地点Ｐ４からの全方位画像データをオーバーラップさせて表示しながら徐々に一つの全方位画像データへ切り替えるようにする。このようにすれば、全方位画像データの切り替わりに一層気付きにくくなり、より滑らかに全方位の画像の立体視が可能である。
【００１５】
また、平射投影された全方位画像データを観察者に見せる場合には、それを元の球面に再投影する必要がある。ヘッドマウント型（ゴーグル型）の立体視可能な表示装置や、球面の表示面を持つ立体視可能な表示装置で画像を観測する場合には、球面に再投影された全方位画像データをそのまま表示すればよい。ただし、平面的な表示面を持つ表示装置で画像を観測する場合には、全方位画像データを球面に再投影した後、さらに表示平面へ投影してから表示するほうが、歪みの少ない画像を観測できるであろう。
【００１６】
本発明の他の実施例によれば、固定した撮影地点からデジタルカメラなどで撮影された多数の画像データを、図１に示すような、中心Ｏを通り水平面Ｃと垂直な中心軸を持ち、レンズ中心と撮像面との距離に等しいか、あるいは、その任意倍率の半径を持つ円筒面Ｂに投影して貼り合わせ合成することにより、全方位画像データが作成される。そして、この全方位画像データは、円筒面Ｂの展開図に対応した２次元の記憶空間に保存される。なお、水平面Ｃからの仰角の大きな方位の画素は、円筒面Ｂ上の水平面Ｃから遠く離れた位置に投影される形になるため、全方位画像データの保存のために非常に大きな記憶空間が必要となる。したがって、水平面よりかなり上までの画像をカバーしたい場合には、前述のような球面投影により全方位画像データを作成し、それを平射投影した形で保存する方が有利であろう。
【００１７】
このような全方位画像データは、例えば、図２に関連して説明したように、撮影地点をわずかにずらしたものが４つ作成されて保存される。このような４つの全方位画像データから、前述のように視線の方位に応じた左目と右目用の全方位画像データを選択して観察者の左目と右目に見せることにより、広視野の立体視が実現される。
【００１８】
なお、円筒面投影の全方位画像データを用いる場合も、球面投影の全方位画像データを用いる場合と同様、視線移動の途中で右目又は左目に見せる全方位画像データを急に切り替えずに、切り替わる前と後の２つの全方位画像データをオーバーラップさせて表示しながら連続的に画像データを切り替えてもよい。また、円筒面投影の全方位画像データは、そのまま表示させることもできるし、表示平面に投影したものを表示させることもできる。
【００１９】
以上に述べたような本発明の方法により広視野のステレオ画像表示を行うステレオ画像表示装置の一例を図３乃至図６によって説明する。
【００２０】
図３はステレオ画像表示装置の概略ブロック図である。図３において、１００は全方位画像データの記憶装置であり、前述したような僅かにずれた撮影地点からの全方位画像データを例えば４つ記憶している。１０２は観察者の視線の方位を入力する視線入力装置である。この視線入力装置１０２は、キーボード等の人手操作によって視線方位を入力する装置でもよいし、観察者の視線の方位を光学的手法などにより自動的に検出して入力する公知の視線検知装置などでもよい。１０４は左目用画像データと右目用画像データを作成して出力する画像処理装置である。この画像処理装置としては、一般的なコンピュータを用いてもよいし、専用の装置を用いてよい。コンピュータが用いられる場合には、図４乃至図６に関連して後述するような処理の各ステップを実行するためのプログラムがロードされることになる。なお、そのようなプログラムが記録された媒体も、本発明に包含されることは当然である。１０６は左目用画像データと右目用画像データを立体視可能に表示するための表示装置である。この表示装置１０６としては、左目画像を左目に、右目画像を右目に、それぞれ分離して観察できる、偏光方式やヘッドマウント型（ゴーグル型）などの公知の画像表示装置を用いることができる。
【００２１】
図４は、このステレオ画像表示装置の全体的な処理フロー図である。全体的な処理フローは次の通りである。まず、視線方位入力装置１０２より、観察者の視線の方位が画像処理装置１０４に入力される（ステップ２００）。画像処理装置１０４において、入力された視線の方位に基づいて、記憶装置１００に記憶されている４つの全方位画像データの中から、図２に関連して説明したように左目用の全方位画像データと右目用の全方位画像データが選択され（ステップ２０２）、左目用全方位画像データから左目用画像データが作成されて出力され、また右目用全方位画像データから右目用画像データが作成されて出力される（ステップ２０４）。この左目用画像データと右目用画像データが表示装置１０６によりステレオ画像として表示される（ステップ２０６）。前述のように、視線方位を連続的に変更することにより、全方位の画像を立体視することが可能である。
【００２２】
記憶装置１００に記憶されている全方位画像データが平射投影データの場合、ステップ２０４では図５に示すような処理が行われる。すなわち、選択された右目用と左目用の全方位画像データ（平射投影されている）から、左目と右目の視野領域をそれぞれ切り出し（ステップ３００）、それぞれを球面に再投影し（ステップ３０２）、それをそのまま出力するか（ステップ３０６）、あるいは、必要ならばさらに視線方向と垂直な表示平面に投影し（ステップ３０４）、しかる後に出力する（ステップ３０６）。表示平面への投影を行うか否かを観察者から指示できるようにしてもよい。
【００２３】
記憶装置１００に記憶されている全方位画像データが、円筒面に投影された全方位画像データの場合、ステップ２０４では図６に示すような処理が行われる。すなわち、選択された右目用と左目用の全方位画像データから、左目と右目の視野領域をそれぞれ切り出し（ステップ４００）、それをそのまま出力するか（ステップ４０４）、あるいは、必要ならばさらに視線方向と垂直な表示平面に投影し（ステップ４０２）、しかる後に出力する（ステップ４０４）。表示平面への投影を行うか否かを観察者からの指示できるようにしてもよい。
【００２４】
なお、記憶装置１００に記憶される複数（ここでは例えば４つ）の全方位画像データは、前述のように、球面投影のものであっても円筒面投影のものであっても、相互に極めて類似している。したがって、ある一つの撮影地点からの全方位画像データを基準にし、それを公知の静止画像圧縮方式でデータ圧縮し、他の撮影地点からの全方位画像データは基準の全方位画像データとの差分データをとって、それを適宜変換してデータ圧縮するならば、極めて高い圧縮率を期待でき、記憶や伝送を効率的に行うことができる。このような圧縮データを記憶装置１００に保存しておくようにしてもよい。この場合、画像処理装置１０４において、必要な撮影地点からの全方位画像データを、圧縮データから復元する処理を別に行う必要がある。
【００２５】
【発明の効果】
以上の説明から明らかなように、本発明によれば、３６０゜パノラマ画像のような広視野の画像を視野の途切れを生じさせることなく立体視することが可能になるという効果を得られる。
【図面の簡単な説明】
【図１】全方位画像データの作成と保存の説明のための図である。
【図２】撮影地点の異なる全方位画像データと、その視線方位による選択を説明するための図である。
【図３】ステレオ画像表示装置の一例を示すブロック図である。
【図４】ステレオ画像表示装置の全体的な処理フローを示すフローチャートである。
【図５】平射投影の全方位画像データから左目用と右目用の画像データを作成し出力する処理のフローチャートである。
【図６】円筒面投影の全方位画像データから左目用と右目用の画像データを作成し出力する処理のフローチャートである。
【符号の説明】
１００  全方位画像データの記憶装置
１０２  視線方位入力装置
１０４  画像処理装置
１０６  表示装置
Ａ  画像が投影合成される球面
Ｂ  画像の投影合成される円筒面
Ｃ  水平面
Ｄ  合成画像が平射投影される円盤
【図１】
0003600422.tif 000002
【図２】
0003600422.tif 000003
【図３】
0003600422.tif 000004
【図４】
0003600422.tif 000005
【図５】
0003600422.tif 000006
【図６】
0003600422.tif 000007