(57)【特許請求の範囲】
【請求項１】
両眼視差を利用することにより立体感を得ることを特徴とする立体画像において、表示画面の両眼視差とズーム倍率とを用いて表示画像の両眼視差が観察者の両眼融合範囲内に表示立体画像が収まるように左右画像の切り出し領域を決定する切り出し領域決定部と、前記切り出し領域決定部の出力を用いて立体画像を切り出す立体画像切り出し部と、前記立体画像切り出し部により指定された切り出し領域を画像処理により拡大もしくは縮小しズーム処理された立体画像を得るズーム部により構成されることを特徴とする立体電子ズーム装置。
【請求項２】
両眼視差を利用することにより立体感を得ることを特徴とする立体画像において、各画像の水平位相差を変化させる水平位相差制御部と、各画像の水平位相差を変化させる時の左右画像のずらし量に対応する表示被写体の幾何学的大きさより小さな大きさ変化量を記憶する大きさ知覚変化量保持部と、前記大きさ知覚変化量保持部の出力と前記水平位相差を用いて水平位相差を変化させることによって生ずる被写体の大きさの違和感を補償するために前記ズーム倍率と立体画像の奥行き位置が変化しないようなズーム処理を行なう切り出し領域を計算する融合範囲確認部と、前記融合範囲確認部の出力に従って画像の切り出し・ズーム処理を行なうズーム部により構成されることを特徴とする立体画質制御装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は，観察者が自然な立体視をすることが出来る様な立体電子ズーム装置と立体画質制御装置に関するものである。
【０００２】
【従来の技術】
従来の立体画像撮像装置は、例えば図９に示すようなものがある。これは、２台のカメラを平行に設置し、２眼式立体画像の左右画像を同時に撮影出来るものである。また、図１０(a)は従来の電子ズーム装置の構成図、図１０(b)は電子ズームの動作を示す図である。図１０(ａ)に示すように、撮像された画像は画像メモリ８を利用した電子ズーム処理により、図１０(ｂ)の入力画像の一部分を各画素値の内挿処理により出力画像の大きさまで拡大、または縮小する。通常図１０（ｂ）の斜線領域は画面中央に選ばれ、電子ズーム時に光軸がずれないように設定される。
【０００３】
このような従来例では図１１に示す様に、２台のカメラで構成される立体画像撮像においては、撮像された被写体の画像は、その水平位置がお互いにずれている。このずれ量を両眼視差と呼ぶが、両眼視差の存在により、立体画像観察者は被写体が立体的に見えるのである。ここで観察者が立体画像を立体的に観察できるには、この両眼視差の大きさはある値よりも小さくなければならない。これよりも大きな両眼視差を観察者が見るともはや立体ではなく、単なる２重の画像が見えるだけである。
【０００４】
また、従来の立体映像の画質制御回路としては、例えば特開平４−３５４９１号公報に開示されており、図１２に示す構成となっている。この構成では、奥行き感調整手段９により左右画像の位相差を変化させて、被写体を立体表示手段１１の表示面の前後で観察者の好みの位置に設定する。この際に、表示される被写体像と観察者の距離が変化するのに対し被写体の大きさが変化しない違和感を、奥行き感調整手段９に連動したズーミング調整手段１０を図の様に講じることにより観察者に近付く場合は被写体を大きく、遠ざかる場合には小さくなる様に変化させ、被写体の大きさの違和感を軽減するものである。
【０００５】
【発明が解決しようとする課題】
しかしながら、図１１に示すように、２枚の立体画像を従来の電子ズームの手法で拡大すると、両眼視差も拡大され、両眼視差が観察者の許容限界を越えたズーム倍率に設定すると立体画像の観賞が不可能になる。そればかりでなく、２重に見える立体画像は非常に不快な画像となるのが問題であった。また、従来の立体映像の画質制御回路では、図１２のズーミング調整手段１０における画像の拡大縮小時に両眼視差が変化し、これによる被写体と観察者の距離の変化が生じてしまい、被写体の大きさ変化の違和感を完全に除去することが出来ない。また、観察者が感じる大きさの変化の違和感の大きさは、奥行き感調整手段９の制御量から幾何学的に推測される大きさとは異なるものであり、奥行き感調整手段９の制御量から直接ズーム倍率を求めると、観察者の大きさ変化の違和感を完全に除去できなかった。
【０００６】
本発明は上記課題を解決するもので、観察者の大きさ知覚特性と奥行き知覚特性を利用し、観察者の大きさ感覚・奥行き知覚を変化させることなく、両眼融合範囲内に被写体が観察者の両眼融合範囲に収まるように左右画像の切り出し・ズーム処理し、観察者の奥行き感・大きさ感覚を損なうこと無く両眼融合範囲内に立体画像を表示することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の立体電子ズーム装置は上記目的を達成するため、観察者の両眼融合範囲内に表示立体画像が収まるように左右画像の切り出し領域を決定する切り出し領域決定部と、前記切り出し領域決定部の出力を用いて立体画像を切り出す立体画像切り出し部と、前記立体画像切り出し部により指定された切り出し領域を画像処理により拡大もしくは縮小しズーム処理された立体画像を得るズーム部により構成される。
【０００８】
また、本発明の立体画質制御装置は、各画像の水平位相差を変化させる水平位相差制御部と、各画像の水平位相差を変化させる時に観察者が感じる表示被写体の大きさ変化を記憶する大きさ知覚変化量保持部と、前記大きさ知覚変化量保持部の出力と前記水平位相差を用いて水平位相差を変化させることによって生ずる被写体の大きさの違和感を補償するためのズーム倍率と立体画像の奥行き位置が変化しないようなズーム処理を行なう切り出し領域を計算する融合範囲確認部と、前記融合範囲確認部の出力に従って画像の切り出し・ズーム処理を行なうズーム部により構成される。
【０００９】
【作用】
本発明は、前記した構成により、観察者が常に両眼立体視可能な電子ズーム処理を行なった立体画像を得る。また、各画像の水平位相を変化させて被写体を観察者の両眼融合範囲内に設定する場合、観察者が知覚する被写体の大きさ変化の違和感の特性を用いて、かつ、表示される被写体の３次元位置が出来る限り変化しない様に、各画像の最適な領域を切り出してズーム処理することにより、観察者の奥行き感・大きさ感覚を損なうことの無い立体画像を得る。
【００１０】
【実施例】
図１は，本発明の第１の実施例における立体電子ズーム装置の構成を示すものである。図１において、１、２はレンズ、５、６はカメラ、１３は立体画像切り出し部、１４はズーム部、１５は切り出し領域決定部である。以上のように構成された本実施例の立体電子ズーム装置の動作を説明する。
【００１１】
まず、左右のカメラ５，６で撮像された右および左画像信号は立体画像切り出し部１３に入力される。立体画像切り出し部１３は、切り出し領域決定部１５が最も近い被写体までの距離（近点データ）とズーム倍率により決定した右および左画像の切り出し領域を切り出す。そしてズーム部１４により切り出し領域を所定のＴＶ規格の画面の大きさまで拡大することにより、電子ズーム処理されて拡大された左右画像を得る。このズーム処理を行なう時、切り出し領域の水平位置を制御することにより、画像の拡大に伴う両眼視差の増大を補償する動作を切り出し領域決定部１５で行なう。
【００１２】
以下、図２を用いて左右画像の切り出し・拡大動作について、更に詳しく説明する。図２において、被写体は英文字「Ａ」であり、右画像を実線、左画像を破線で示している。ここで、英文字「Ａ」の両眼視差はΔ１である。この場合、右画像の「Ａ」は画面の左側に、左画像の「Ａ」は画面の右側に撮像されており、この立体画像を観察者が見ると、画像表示面よりも手前側に飛び出して見える筈である。これらの画像の中で右画像は実線の領域を切り出し、左画像は破線の領域を切り出し、ズーム処理を行なってズーム処理後の画像を得る。ズーム処理後の画像においても、実線は右画像、破線は左画像を示している。この画像において、Δ２がズーム処理後の被写体「Ａ」の両眼視差となる。ここでズーム倍率をｍとすると、Δ１とΔ２の関係は
【００１３】
【数１】
0003653790.tif 000002
【００１４】
となる。ここで、観察者が良好に両眼立体視できる両眼視差の最大値は決まっており、視角にして大体数度である。これをΔmaxとすると、ズーム処理後の両眼視差は
【００１５】
【数２】
0003653790.tif 000003
【００１６】
を満足しなければならない。この条件を、ズーム処理前の切り出し領域（図２）で考慮すると、図２の切り出し領域の中心位置を、画像の中心位置から
【００１７】
【数３】
0003653790.tif 000004
【００１８】
【数４】
0003653790.tif 000005
【００１９】
を満たすΔＳL、ΔＳRだけお互いに反対方向に水平方向に移動した点にすれば、電子ズーム後の両眼視差Δ２を観察者の両眼視差許容範囲Δmax以下にすることができる。また、ΔＳL、ΔＳRを
【００２０】
【数５】
0003653790.tif 000006
【００２１】
【数６】
0003653790.tif 000007
【００２２】
を満足するように設定すれば、電子ズーム前後において被写体の両眼視差を一定に保つこともできる。切り出し領域決定部１５は、近点データΔ１（最も近い被写体の両眼視差）とズーム倍率ｍから上記の式を満たすΔＳL、ΔＳRを計算し結果を立体画像切り出し部１３に出力する。立体画像切り出し部１３は、切り出し領域の中心を左画像はΔＳL、右画像はΔＳRだけお互いに反対方向に水平方向に移動して各画像を切り出し、これをズーム部１４で拡大する。
【００２３】
また、画像処理による電子ズームについては、既存のビデオカメラに導入されている技術を用いれば簡単に実現できる。
【００２４】
以上の様に本実施例によれば、最も近い被写体の視差（近点データ）とズーム倍率を用いて、観察者の両眼融合範囲内に両眼視差を収めたズーム処理された立体画像を得ることが出来、両眼立体視に支障のない電子ズーム処理された立体画像を生成することが出来る。
【００２５】
図３は，本発明の第２の実施例における立体電子ズーム装置の構成を示すものである。図３において、１、２はレンズ、５、６はカメラ、１３は立体画像切り出し部、１４はズーム部、１５は切り出し領域決定部で、以上は第１の実施例と同じものである。第１の実施例と異なるのは、近点データを視差検出部１６により自動的に求めている点である。以上のように構成された本実施例の立体電子ズーム装置の動作を説明する。
【００２６】
基本的な動作は本発明の第１の実施例と同様である。即ち、左右のカメラで撮像された右および左画像信号は立体画像切り出し部１３に入力され、立体画像切り出し部１３は、切り出し領域決定部１５が最も近い被写体までの距離（近点データ）とズーム倍率により決定した右および左画像の切り出し領域を切り出す。そしてズーム部１４により切り出し領域を所定のＴＶ規格の画面の大きさまで拡大する。
【００２７】
ここで、第１の実施例では最も近い被写体の両眼視差Δ１を手動で入力していたが、本実施例ではこれを視差検出部１６により自動的に検出する。視差検出の手法は種々提案されているが、ここでは相関マッチング処理を用いた手法について説明する。
【００２８】
図４において，大きさＮ×Ｍの左右画像を考える。左画像でｎ×ｎ画素（図では３×３画素）のブロック窓を考える。このブロック窓と同じ画像を右画像で同じサイズの窓を用いて探し，この時の左右のブロック位置のずれを示すベクトル（Δｘ，Δｙ）の水平成分Δｘが，そのブロック窓の中心座標での左右画像の両眼視差となる。基準となる左画像のブロック窓の位置を全画面に渡って平行移動し，全ての場合において右画像の対応するブロックの位置（両眼視差）を求めれば，画面全体の視差地図（画面の各場所での奥行き距離を示したもの）が求められる。ここで画像の座標（ｘ，ｙ）における左右画像のずれ、すなわち両眼視差（Δｘ，Δｙ）は
【００２９】
【数７】
0003653790.tif 000008
【００３０】
ここで，
【００３１】
【数８】
0003653790.tif 000009
【００３２】
である。ただし（数８）のΣは、ｎ×ｎのブロック窓内について座標ｘk，ｙkを変化させて絶対値内の総和をとることを示す。両眼視差Δｘ，Δｙの内，奥行き位置を直接示すのはΔｘであり、両眼視差の値が正の時は，基準画像に対して右画像は右側に位置し，左画像は左側に位置し，両眼視差０の奥行き位置より奥側を示し，両眼視差の値が負の時は両眼視差０の奥行き位置より手前側に被写体が存在することを示す。近点データΔ１としては、計算されたΔｘのうち負の値で最も絶対値の大きいものを用いることにより、最も近い被写体の両眼視差Δ１が得られる。
【００３３】
以上の様にして得られた両眼視差Δ１と、使用者に設定されたズーム倍率ｍを用いて切り出し領域決定部１５は（数３）（数４）を満たすΔＳL、ΔＳRを算出し、これに従って立体画像切り出し部１３、ズーム部１４により所定の位置の画像をズーム処理し、観察者が良好に立体視可能な両眼視差の設定の立体画像を得る。
【００３４】
以上の様に本実施例によれば、最も近い被写体の視差（近点データ）とズーム倍率を用いて、観察者の両眼融合範囲内に両眼視差を収めたズーム処理された立体画像を得ることが出来、両眼立体視に支障のない電子ズーム処理された立体画像を生成することが出来る。
【００３５】
なお、本実施例においては各々のカメラが平行に設置されていたが、各々のカメラの光軸がある被写体に向けられる輻輳撮影、また、光学ズームにおいて輻輳角を変化する場合においても本手法は有効である。
【００３６】
また、本発明の第１及び第２の実施例において、最も近い被写体の視差（近点データ）とズーム倍率を用いて切り出し領域を決定したが、最も遠い被写体の視差（遠点データ）を用いても同様に、ズーム処理後の両眼視差を観察者の融合範囲内に収めた立体画像を得ることが出来る。この場合、Δmaxは観察者の遠点での両眼融合可能な最大両眼視差、Δ１は遠点の被写体の両眼視差となり、視差検出部１６は、最も遠い被写体の両眼視差Δ１を検出することになる。
【００３７】
図５は，本発明の第３の実施例における立体画質制御装置の構成図を示すものである。図５において、１３は立体画像切り出し部、１４はズーム部、１６は視差検出部、１７は水平位相差制御部、１８は注視点計算部、１９は大きさ知覚変化量保持部、２０は融合範囲確認部である。
【００３８】
以上のように構成された第３の本実施例の動作を説明する。本実施例では両眼視差を制御したときに生じる観察者などの人が知覚する被写体の大きさの歪みである違和感を、前記制御したときと同じ奥行き位置のまま補正するものである。まず、左右画像は視差検出部１６に入力され、左右画像の両眼視差が計算される。計算方法は第２の実施例（図４）と同じ構成で行なうことが出来る。これにより、画像中の任意の場所の両眼視差が計算される。検出された両眼視差のうち、最も近い位置を示す両眼視差を注視点計算部１８で計算し、これが観察者の両眼融合範囲に収まるように水平位相差制御部１７は左右画像をお互いに逆位相方向に水平方向に平行移動する。例えば、図６(ａ)に示す様に、右画像表示面２２、左画像表示面２３に、点画像ＡR、ＡLが表示され、点Ｐ１の位置に観察者２１が立体視している状態から、左右画像をＤだけ平行移動してずらし、図６(ｂ)に示すようにすると、Ｐ２の位置に被写体を立体視することが出来る。仮に、Ｐ１の位置が画像表示面２２、２３から離れ過ぎると観察者２１は立体視が非常に困難になるので、図６(ｂ)の様に左右画像の水平位相差を制御することにより、立体視し易い画像を得ることになる。
【００３９】
この場合、左右画像を平行移動したのみであるので、表示被写体の大きさは変化しない。通常の３次元世界では被写体が近づくと、被写体の視野角は大きくなる筈であるが、このような制御を行なうと大きさが変化しなくなるので非常に違和感がある。この違和感を取り除くために、立体画像切り出し部１３、ズーム部１４により、被写体の位置が近くなる場合には、拡大ズーム、遠くなる場合には縮小ズームを行なうことによりこの違和感を補償する。但し、図２で説明したように、ズーム処理を行なうと被写体の両眼視差が変化してしまう。
そこで実施例１，２の手法を適用する。また、観察者による被写体の大きさ変化の知覚は、被写体の表示位置から計算される幾何学的大きさの変化とは異なる特性を持っているので、それにより決められたズーム倍率を用いる。これらの２点を考慮して、大きさ知覚変化量保持部１９と融合範囲確認部２０は、左右画像の切り出し位置とズーム倍率を決定する。以下、この動作について更に詳しく説明する。
【００４０】
まず、注視点計算部１８により出力される左右画像のずらし量Ｄから、この制御を行なった場合に観察者が感じる大きさの変化量を大きさ知覚変化量保持部１９が出力する。
これら２つのデータから、融合範囲確認部２０は、大きさ変化を補正するのに必要なズーム倍率と、表示被写体の奥行き位置が変化しない様にズーム処理できる左右画像の切り出し領域を計算し、これをズーム部１４、立体画像切り出し部１３に出力する。この時のズーム倍率は、図８のように幾何学的計算から得られるずらし量Ｄと人の知覚する大きさ補正量（倍率）の関係を用いて決定する。
これにより、被写体の奥行き位置を変化させることなく、観察者が感じる被写体の大きさ変化を補償（即ち、図７（ａ）においてＤだけ水平移動した分の大きさの違和感を人間の知覚量として補償）した、立体画像の画質制御を行うことが出来る。
【００４１】
ここで、図７を用いて切り出し・ズーム処理について更に具体的に説明する。まず、切り出し手法について説明する。図７(ａ)は、左右画像２２、２３をＤだけ水平に位相制御し、観察者２１がＰ３の位置に被写体を認識している状態である。この場合、被写体Ｐ３は水平位相制御前と比較して手前側に移動しているので、被写体は大きくなるはずである。そこで、ズーム処理により左右画像を拡大し、これを補正するが、このまま画面の中央をｍ倍に拡大すると、Ｐ３の両眼視差ＤLRもｍ倍に拡大され、Ｐ３の奥行き位置も変化してしまう。例えば、ＡL,ＡRの水平座標をそれぞれx１,x２とすると、両眼視差x１−x２（＝ＤLR）が、ズーム処理後にはｍ（x１−x２）になるわけである（図７(ｂ)）。そこで、ズーム処理を行なう時、左画像は
【００４２】
【数９】
0003653790.tif 000010
【００４３】
だけ、中心から右側に水平方向に平行移動した領域を、右画像も（数９）だけ、中心から左側に水平方向に平行移動した領域を立体画像切り出し部１３により切り出し、ズーム部１４によりｍ倍に拡大する。これにより、図７(ｃ)のように、ズーム処理後の被写体ＡR”、ＡL”の両眼視差をＤLRに保つことができる。これらの動作は、ズーム倍率ｍと被写体の視差ＤLRから融合範囲確認部２０が計算する。
【００４４】
ズーム倍率ｍは、注視点計算部１８によって得られる左右画像に施す位相差Ｄ（図６・図７）から、融合範囲確認部２０が算出する。この計算は、位相差Ｄから幾何計算で得られる特性ではなく、予め人間が感じる大きさの変化量を測定しておき、この特性を大きさ知覚変化量保持部１９が記憶しておき、これによりズーム倍率ｍを決定する。例えば、図８に示すように、ズーム倍率ｍは幾何学的な計算（破線）よりも小さな値になる。
【００４５】
以上の様に本実施例によれば，観察者の大きさ変化の違和感や、表示される被写体の３次元位置の変化を発生することなく、左右画像の水平位相を変化させて被写体を観察者の両眼融合範囲内に設定することができる。
【００４６】
また、第３の実施例においては、被写体が表示面の手前方向にある場合の例を示したが、被写体が表示面の奥側にある場合も同様に制御できる。この場合、画像の切り出し領域の水平移動は、第３の実施例と反対方向に設定される。
【００４７】
また、第３の実施例において、左右画像の水平位相を被写体が表示面の手前側に移動するように制御する時、拡大ズーム処理を行なう例を示したが、被写体が表示面の奥側に移動する様に左右画像の位相差を制御する場合も考えられれる。この場合、ズーム処理は画像を縮小する処理となる（図８の第２象限の特性を用いることになる）。更に（数９）の計算値の符号が変わり、左右画像の切り出し領域の水平移動は反対方向になる。
【００４８】
なお、本発明の第１〜３の実施例においては、カメラを用いた自然画像の場合を説明したが、同じ手法を用いてＣＧ（コンピュータグラフィックス）においても同じ動作を容易に実現できる。
【００４９】
【発明の効果】
以上のように本発明によれば，観察者が常に両眼立体視可能な電子ズーム処理を行なった立体画像を得ることが出来る。また、画像を観察者の特性に合わせてズーム処理・切り出し処理することにより各画像の水平位相を変化させて、観察者の大きさ変化の違和感と表示される被写体の３次元位置の変化を発生することなく立体画像を観察者の両眼融合範囲内に表示でき、その実用的効果は大きい。
【図面の簡単な説明】
【図１】本発明の第１の実施例における立体電子ズーム装置の構成を示すブロック図
【図２】本発明の第１の実施例における立体電子ズーム処理の動作を示す線図
【図３】本発明の第２の実施例における立体電子ズーム装置の構成を示すブロック図
【図４】本発明の第２の実施例の視差検出部の動作を示すブロック図
【図５】本発明の第３の実施例における立体画質制御装置の構成を示すブロック図
【図６】  (a),(b)は本発明における第３の実施例の水平位相差制御の動作を示す線図
【図７】同第３の実施例の水平位相差制御・ズーム処理の動作を示す線図
【図８】同本実施例のズーム倍率における補正量を示す特性図
【図９】従来の立体画像撮像装置の構成を示す線図
【図１０】  (a)は従来の電子ズーム処理の構成を示すブロック図
(b)は同動作を示す線図
【図１１】従来の立体電子ズーム処理の動作を示す線図
【図１２】従来の立体画質制御装置の構成を示すブロック図
【符号の説明】
１  レンズ１
２  レンズ２
３  撮像素子
４  撮像素子
５  左画像用カメラ
６  右画像用カメラ
１３  立体画像切り出し部
１４  ズーム部
１５  切り出し領域決定部
１６  視差検出部
１７  水平位相差制御部
１８  注視点計算部
１９  大きさ知覚変化量保持部
２０  融合範囲確認部
２１  観察者
２２  右画面
２３  左画面
【図１】
0003653790.tif 000011
【図２】
0003653790.tif 000012
【図３】
0003653790.tif 000013
【図４】
0003653790.tif 000014
【図５】
0003653790.tif 000015
【図６】
0003653790.tif 000016
【図７】
0003653790.tif 000017
【図８】
0003653790.tif 000018
【図９】
0003653790.tif 000019
【図１０】
0003653790.tif 000020
【図１１】
0003653790.tif 000021
【図１２】
0003653790.tif 000022