(57)【特許請求の範囲】
【請求項１】
視点の異なる２つの画像について、それぞれの画像を基準として画素毎の対応を求めて視差を推定し、視差推定が行えない領域において、その領域近傍における所定の領域を物体の輪郭により分割して出来る２つの領域のそれぞれの視差のうち、遠くを示す方の視差を用いて、前記所定の領域におけるエッジ強度をもとに、エッジ強度の強い画素において視差が大きく変化し、エッジ強度の弱い画素において視差が小さく変化するように前記視差推定が行えない領域での視差を決定し、前記画像及び前記得られた視差からそれぞれ中間像を生成し、その生成した中間像を統合することを特徴とするステレオ画像の中間像生成方法。
【請求項２】
中間像の統合は、前記生成した中間像においてデータのない領域と隣接する画素のデータのうち、背景側の所定の画素数のデータを用いないことにより、統合された中間像における偽輪郭の発生をなくすることを特徴とする請求項１記載の中間像生成方法。
【請求項３】
中間像の統合は、視点の方向に応じて、前記生成した中間像に重み付けをすることにより行うことを特徴とする請求項１、又は２記載の中間像生成方法。
【請求項４】
視点の異なる２画像を記憶する画像メモリと、前記２画像間で画素の対応を求め初期視差を計算する初期視差推定手段と、その初期視差を記憶する初期視差メモリと、画像から物体輪郭線を検出する物体輪郭線検出手段と、その物体輪郭線を記憶する輪郭メモリと、前記初期視差および前記物体輪郭線から、物体輪郭線近傍における視差を、物体輪郭線近傍領域を前記物体輪郭線により分割して出来る２つの領域のそれぞれの視差のうち、遠くを示す方の視差を用いて、前記物体輪郭線近傍領域におけるエッジ強度をもとに、エッジ強度の強い画素において視差が大きく変化し、エッジ強度の弱い画素において視差が小さく変化するように決定する輪郭部視差推定手段と、前記画像と前記視差から中間像を生成する中間像生成手段とを備えたことを特徴とする中間像生成装置。
【請求項５】
視点の異なる複数の画像について、それぞれの画像を基準として画素毎の対応を求めて初期視差を推定し、前記初期視差推定が行えない領域での視差推定は、その領域近傍における所定の領域を物体の輪郭により分割して出来る２つの領域のそれぞれの視差のうち、遠くを示す方の視差を用いて、前記所定の領域の内で物体輪郭のエッジ強度に応じて、エッジ強度の強い画素において視差が大きく変化し、エッジ強度の弱い画素において視差が小さく変化するように、前記初期視差推定で求められた視差に対する重みを変化させて前記複数の画像の視差を演算することを特徴とする視差推定方法。
【請求項６】
請求項５記載の前記視差推定方法により求められた視差を利用して、前記画像から中間像を生成することを特徴とする複数画像の中間像生成方法。
【請求項７】
２眼式画像を伝送する送信部と、その伝送された２眼式画像を受信し、その受信した２眼式画像から左右の画像を基準とした視差情報を計算し、視差が正しく計算できない領域での視差については、その領域近傍における所定の領域を物体の輪郭により分割して出来る２つの領域のそれぞれの視差のうち、遠くを示す方の視差を用いて、前記所定の領域におけるエッジ強度をもとに、エッジ強度の強い画素において視差が大きく変化し、エッジ強度の弱い画素において視差が小さく変化するように前記視差が正しく計算できない領域での視差を決定し、前記２眼式画像と前記求めた視差情報とを用いて中間像を生成し、その中間像及び前記２眼式画像を併せて多眼式画像として表示する受信部とを備えたことを特徴とする画像伝送表示装置。
【請求項８】
２眼式画像から左右それぞれの画像を基準とした視差を計算し、視差が正しく計算できない領域では、その領域近傍における所定の領域を物体の輪郭により分割して出来る２つの領域のそれぞれの視差のうち、遠くを示す方の視差を用いて、前記所定の領域におけるエッジ強度をもとに、エッジ強度の強い画素において視差が大きく変化し、エッジ強度の弱い画素において視差が小さく変化するように視差を補充し、前記２眼式画像及び前記補充後の視差を符号化し伝送する送信部と、その伝送された符号化信号を受信し、その受信信号から前記２眼式画像及び前記補充後の視差を復号化し、その復号された２眼式画像及び補充後の視差を用いて中間像を生成し、その中間像及び前記２眼式画像を併せて多眼式画像として表示する受信部とを備えたことを特徴とする画像伝送表示装置。
【請求項９】
視点の異なる２つの画像について、それぞれの画像を基準として画素毎の対応を求めて視差を推定する手段と、視差推定が行えない領域において、その領域近傍における所定の領域を物体の輪郭により分割して出来る２つの領域のそれぞれの視差のうち、遠くを示す方の視差を用いて、前記所定の領域におけるエッジ強度をもとに、エッジ強度の強い画素において視差が大きく変化し、エッジ強度の弱い画素において視差が小さく変化するように前記視差推定が行えない領域での視差を決定する手段と、前記画像及び前記得られた視差から中間像を生成する手段とを備えたことを特徴とするステレオ画像の中間像生成装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、たとえば、立体映像表示方式における、中間像生成方法、中間像生成装置、視差推定方法、及び画像伝送表示装置に関するものである。
【０００２】
【従来の技術】
従来、立体映像方式には様々なものが提案されているが、特殊な眼鏡をかけることなく立体動画像を複数人数で観察できる方式として、多眼式立体映像方式が有望である。多眼式立体映像方式においては、使用するカメラ台数および表示装置台数が多いほど、観察者に対して自然な動視差を感じさせることができ、また、多人数での観察が容易になる。しかしながら、撮像系の規模やカメラの光軸の設定等の制約により、実用的に用いることができるカメラ台数には限度がある。また、伝送、蓄積過程においては、カメラ台数に比例して増大する情報量を低減することが望まれる。そこで、表示側において２眼式ステレオ画像から中間像を生成して多眼式立体画像を表示できれば、撮像系の負担を軽減し、伝送、蓄積時の情報量を低減することができることになる。
【０００３】
【発明が解決しようとする課題】
視点の異なる複数の画像から、その異なる視点間の任意の視点で見えるべき中間像を生成するためには、画像間で画素の対応を求めて奥行きを推定する必要がある。対応を求める方法はこう配法とブロックマッチング法に大別される。このうちこう配法は、大きな推定値に対して精度が低下し、また、こう配を用いているためにノイズの影響を受けやすい。さらに、こう配法では一般に、推定値を収束させるための繰り返し計算を必要とするため、実時間処理の点で不利である。一方、ブロックマッチング法はノイズに対して頑健であるが、輝度こう配の大小、推定値が不連続な領域の有無によって、適切なブロックサイズが異なり、適切なブロックサイズが推定値の分布に依存するという課題がある。
【０００４】
金出らは、輝度こう配、ノイズ、視差分布を考慮した評価尺度を用いて、ブロックのサイズ、位置と視差を更新する繰り返し計算によって上記問題点の解決を試みているが（T.Kanade,M.Okutomi : "A Stereo Matching Algorithm with an Adaptive Window : Theory and Experiment",Technical Report CMU-CS-90,School of Computer Science,C.M.U., Pittburgh,PA 15213,(1990)）、莫大な計算量を要している。
【０００５】
また、画像間の対応づけにおける根本的な問題は、奥行きが不連続に変化する視差エッジ近傍では、オクルージョンが生じるために対応を精度よく求めるのは困難なことである。しかし、この視差エッジ近傍での推定値は、生成された中間像中の物体の輪郭を決定するため、中間像の合成時には非常に重要である。すなわち、視差エッジ近傍で推定誤差が生じると、前景領域の画素が背景側にはりついたり、逆に背景領域の画素が前景にはりつき、物体の輪郭線が乱れたり、物体輪郭線近傍の背景領域に偽輪郭が生じることになる。
【０００６】
また、こう配法やブロックマッチング法による２画像間の対応づけ以外の方法として、アフィン変換による視差補償予測方式や（藤井,原島, "アフィン変換よる多眼式三次元画像符号化",電子情報通信学会秋期大会,D-200,(1993)）、EPI(Epipolor Plane Image)を用いる方法（苗村,原島, "自己相関モデリングによる多眼式画像の補間合成",電子情報通信学会秋期大会,D-267,(1993)）があるが、数 枚から数十枚の画像を用いるため、動画に適用する際には撮像系に大きな負担がかかる。
【０００７】
本発明は、従来のこのような立体画像表示方式における課題を考慮し、たとえば、物体輪郭線近傍での視差を推定し、複数の画像の、例えば１組のステレオ画像から２画像間の、任意の視点に対応する中間像を生成できる、中間像生成方法、中間像生成装置、視差推定方法、及び画像伝送表示装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
第１の本発明は、視点の異なる２つの画像について、それぞれの画像を基準として画素毎の対応を求めて視差を推定し、視差推定が行えない領域において、その領域近傍における所定の領域を物体の輪郭により分割して出来る２つの領域のそれぞれの視差のうち、遠くを示す方の視差を用いて、前記所定の領域におけるエッジ強度をもとに、エッジ強度の強い画素において視差が大きく変化し、エッジ強度の弱い画素において視差が小さく変化するように前記視差推定が行えない領域での視差を決定し、前記画像及び前記得られた視差からそれぞれ中間像を生成し、その生成した中間像を統合することを特徴とするステレオ画像の中間像生成方法である。
第２の本発明は、中間像の統合は、前記生成した中間像においてデータのない領域と隣接する画素のデータのうち、背景側の所定の画素数のデータを用いないことにより、統合された中間像における偽輪郭の発生をなくすることを特徴とする第１の本発明の中間像生成方法である。
第３の本発明は、中間像の統合は、視点の方向に応じて、前記生成した中間像に重み付けをすることにより行うことを特徴とする第１又は第２の本発明の中間像生成方法である。
第４の本発明は、視点の異なる２画像を記憶する画像メモリと、前記２画像間で画素の対応を求め初期視差を計算する初期視差推定手段と、その初期視差を記憶する初期視差メモリと、画像から物体輪郭線を検出する物体輪郭線検出手段と、その物体輪郭線を記憶する輪郭メモリと、前記初期視差および前記物体輪郭線から、物体輪郭線近傍における視差を、物体輪郭線近傍領域を前記物体輪郭線により分割して出来る２つの領域のそれぞれの視差のうち、遠くを示す方の視差を用いて、前記物体輪郭線近傍領域におけるエッジ強度をもとに、エッジ強度の強い画素において視差が大きく変化し、エッジ強度の弱い画素において視差が小さく変化するように決定する輪郭部視差推定手段と、前記画像と前記視差から中間像を生成する中間像生成手段とを備えたことを特徴とする中間像生成装置である。
第５の本発明は、視点の異なる複数の画像について、それぞれの画像を基準として画素毎の対応を求めて初期視差を推定し、前記初期視差推定が行えない領域での視差推定は、その領域近傍における所定の領域を物体の輪郭により分割して出来る２つの領域のそれぞれの視差のうち、遠くを示す方の視差を用いて、前記所定の領域の内で物体輪郭のエッジ強度に応じて、エッジ強度の強い画素において視差が大きく変化し、エッジ強度の弱い画素において視差が小さく変化するように、前記初期視差推定で求められた視差に対する重みを変化させて前記複数の画像の視差を演算することを特徴とする視差推定方法である。
第６の本発明は、第５の本発明の前記視差推定方法により求められた視差を利用して、前記画像から中間像を生成することを特徴とする複数画像の中間像生成方法である。
第７の本発明は、２眼式画像を伝送する送信部と、その伝送された２眼式画像を受信し、その受信した２眼式画像から左右の画像を基準とした視差情報を計算し、視差が正しく計算できない領域での視差については、その領域近傍における所定の領域を物体の輪郭により分割して出来る２つの領域のそれぞれの視差のうち、遠くを示す方の視差を用いて、前記所定の領域におけるエッジ強度をもとに、エッジ強度の強い画素において視差が大きく変化し、エッジ強度の弱い画素において視差が小さく変化するように前記視差が正しく計算できない領域での視差を決定し、前記２眼式画像と前記求めた視差情報とを用いて中間像を生成し、その中間像及び前記２眼式画像を併せて多眼式画像として表示する受信部とを備えたことを特徴とする画像伝送表示装置である。
第８の本発明は、２眼式画像から左右それぞれの画像を基準とした視差を計算し、視差が正しく計算できない領域では、その領域近傍における所定の領域を物体の輪郭により分割して出来る２つの領域のそれぞれの視差のうち、遠くを示す方の視差を用いて、前記所定の領域におけるエッジ強度をもとに、エッジ強度の強い画素において視差が大きく変化し、エッジ強度の弱い画素において視差が小さく変化するように視差を補充し、前記２眼式画像及び前記補充後の視差を符号化し伝送する送信部と、その伝送された符号化信号を受信し、その受信信号から前記２眼式画像及び前記補充後の視差を復号化し、その復号された２眼式画像及び補充後の視差を用いて中間像を生成し、その中間像及び前記２眼式画像を併せて多眼式画像として表示する受信部とを備えたことを特徴とする画像伝送表示装置である。
第９の本発明は、視点の異なる２つの画像について、それぞれの画像を基準として画素毎の対応を求めて視差を推定する手段と、視差推定が行えない領域において、その領域近傍における所定の領域を物体の輪郭により分割して出来る２つの領域のそれぞれの視差のうち、遠くを示す方の視差を用いて、前記所定の領域におけるエッジ強度をもとに、エッジ強度の強い画素において視差が大きく変化し、エッジ強度の弱い画素において視差が小さく変化するように前記視差推定が行えない領域での視差を決定する手段と、前記画像及び前記得られた視差から中間像を生成する手段とを備えたことを特徴とするステレオ画像の中間像生成装置である。
【００１６】
本発明は、例えば、視点の異なる２つの画像について、画素毎の対応を求めて視差を推定する際に、オクルージョンなどによって視差推定が行えない領域において、周囲での視差と物体の輪郭をもとに、視差推定が行えない領域での視差を決定し、それぞれの画像を基準として中間像を生成し、更にその生成された中間像を統合することにより、画像全体で中間像を生成する。
【００１７】
また、視差推定が行えない領域での視差を求める場合に、物体輪郭のエッジ強度に応じて、初期視差推定で求められた視差に対する重みを変化させて視差を求めることができる。
【００１８】
また、本発明は、観察者の位置を検出することにより、その検出した観察者の位置に応じた立体画像などを表示することができる。
【００１９】
【発明の実施の形態】
以下に、本発明をその実施の形態を示す図面に基づいて説明する。
【００２０】
図１は、本発明の第１の実施の形態における中間像生成装置の構成図である。図１において、１Ｌは左画像用フレームメモリ、１Ｒは右画像用フレームメモリ、２Ｌは左画像を基準とした視差を求める初期視差推定部、２Ｒは右画像を基準とした視差を求める初期視差推定部、３Ｌ，３Ｒはそれぞれ左右の画像を基準とした視差を記憶する視差メモリ、４Ｌ，４Ｒはそれぞれ左右の画像の輪郭を抽出する輪郭抽出部、５Ｌ，５Ｒはそれぞれ左右の画像の輪郭を記憶する輪郭メモリ、６Ｌ，６Ｒはそれぞれ左右の画像の輪郭部近傍の視差を求める輪郭部視差推定部、７Ｌ，７Ｒはそれぞれ左右の画像を基準とした中間像を生成する中間像生成部、８は左右の画像を基準とする中間像を統合する中間像統合部である。
【００２１】
以下に上記構成の動作について、図面を参照しながら説明する。
【００２２】
まず、左画像用フレームメモリ１Ｌ、右画像用フレームメモリ１Ｒは、それぞれ左右の画像を記憶する。
【００２３】
次に、初期視差推定部２Ｌは左画像を基準として（数１）に示すＳＳＤによる相関演算をブロック毎に行い、ＳＳＤを最小とするｄl を視差として左右の画像間の画素の対応を求め、ｄl を（ｘ，ｙ）における左画像基準の初期視差として視差メ モリ３Ｌに視差データを書き込む。
【００２４】
【数１】
0003826236.tif 000002
【００２５】
図２は、左画像を基準とした初期視差の模式図である。図２において、２１は前景視差、２２は背景視差、２３は物体輪郭線、２４はオクルージョン領域である。ブロック毎の相関演算による初期視差では、手前にある前景に対する視差データ２１と背景に対する視差データ２２の境界が物体輪郭線２３とは一致せず、また、前景の左側（右画像基準の初期視差の場合には前景の右側）に対応がとれず視差が原理上正しく計算できないオクルージョン領域２４が存在する。
【００２６】
また、初期視差推定部２Ｒは、右画像を基準として（数２）に示すＳＳＤによる相関演算を行い、左右の画像間の画素の対応を求め、右画像基準の初期視差として視差メモリ３Ｒに視差データを書き込む。
【００２７】
【数２】
0003826236.tif 000003
【００２８】
一方、輪郭抽出部４Ｌ，４Ｒは、それぞれ左右の画像のエッジ検出を行い、物体の輪郭を抽出して、輪郭メモリ５Ｌ，５Ｒにそれぞれ書き込む。
【００２９】
次に、輪郭部視差推定部６Ｌは、左画像基準の初期視差と左画像の物体輪郭線から、物体輪郭線近傍での視差推定を行う。輪郭部視差推定部６Ｌは、（数３）に示す左右の画像を基準とした初期視差の差が、一定のしきい値以上となる領域をオクルージョン領域とみなし、オクルージョン領域での視差データを通常、視差データが取り得ない値に変更する（例えば、画像の大きさやＳＳＤ計算時の探索領域の大きさよりも絶対値の大きな値にすればよい。具体的には、探索領域が±５０画素の場合には５１もしくは−５１をオクルージョン識別用のコードとする）。
【００３０】
【数３】
0003826236.tif 000004
【００３１】
次に、物体輪郭線に沿って視差推定を行う。図３は、輪郭部視差推定部６Ｌによる物体輪郭線近傍での視差推定の説明図である。図３において、３１は視差推定を行うための矩形領域である。輪郭部視差推定部６Ｌは、物体輪郭線に沿って図３に示す矩形領域３１内の視差を推定する。図４は、矩形領域内での視差推定の説明図である。矩形領域３１は長手方向が物体輪郭線２３に対してほぼ垂直になるように設定され（例えば、予め４５゜きざみや３０゜きざみのものを用意しておく）、物体輪郭線２３で２つの領域に分割される。そして、分割された領域内でのそれぞれの初期視差データの分散を計算する。
【００３２】
図４に示した矩形領域３１では、物体輪郭線２３で左右に分割された領域のうち、左の領域には背景視差２２、オクルージョン領域２４、前景視差２１が含まれているため、ここでの初期視差の分散は大きくなる。一方、右の領域には前景での視差のみが含まれているため、領域内での初期視差の分散は小さくなる。したがって、矩形領域３１を分割したそれぞれの領域における視差の分散に対してしきい値を設定し、視差の分散がしきい値以上の領域、すなわち、分割した左の領域に対しては、図４に示すように、物体輪郭線２３の左側に位置する矩形の一辺３１ａが存在する場所の視差データを用いて、オクルージョン領域２４内及び物体輪郭線２３までの視差データを補充する（黒矢印に示す）。
【００３３】
このようにして、オクルージョン領域２４近傍における視差を背景視差２２（物体輪郭線及びオクルージョン領域近傍で遠くを示す方の視差）から決定する。
【００３４】
以上のようにして、視差の境界と物体輪郭線とが一致するように、つまり物体輪郭線２３までの領域で視差を補充して視差分布を決定する。例えば図４では、物体輪郭線２３の近傍の視差を、物体輪郭線２３から左側の近傍領域については背景視差２２により補充する。物体輪郭線２３から右側の近傍領域については、矩形領域３１の分散が低いため、視差の補充はしない。
【００３５】
以上のように決定された視差により、輪郭部視差推定部６Ｌは視差メモリ３Ｌのデータを更新する。
【００３６】
また、輪郭部視差推定部６Ｒも、輪郭部視差推定部６Ｌと同様に右画像を基準とした視差推定を物体輪郭線に沿って行い初期視差データを変更し、視差メモリ３Ｒに書き込む。
【００３７】
次に、中間像生成部７Ｌ，７Ｒは、左右の画像データを画像用フレームメモリ１Ｌ，１Ｒから、と輪郭部視差推定部６Ｌ，６Ｒが更新した左右それぞれの画像を基準とした視差データを視差メモリ３Ｌ，３Ｒから、それぞれ読みだし、（数４）で示す座標値のシフトを行う。
【００３８】
【数４】
0003826236.tif 000005
【００３９】
（数４）においてαの値を０＜α＜１の範囲で変化させることにより、左右の画像の任意の中間像を生成できる。
【００４０】
次に、中間像生成の方法を以下に示す。
【００４１】
図６は、本実施の形態におけるステレオ画像の中間像生成方法を示す図である。図６において、初期視差６３，６４は、それぞれ左右の画像６１，６２を基準として（数１），（数２）による相関演算により推定する。この初期視差には、オクルージョンにより視差推定が原理上行えない領域７０，７１が存在する。
【００４２】
次に、左右それぞれの画像を基準とした初期視差６３，６４に対して、前述した物体輪郭線近傍での視差推定を行ない、上記視差推定が原理上行えない領域での視差を決定する。
【００４３】
そして、上記の視差推定結果６５，６６と左右の画像６１，６２から、（数４）に示す式により、左右の画像を画素毎に水平方向にシフトして、左右の画像をそれぞれ基準とした中間像６７，６８を生成する。この左右の画像を基準とした中間像では、物体輪郭線での視差の不連続に起因して中間像が生成されない領域（抜け領域）７２，７３が、物体のそれぞれ反対側（左画像基準では物体の右側、逆に右画像基準では物体の左側）に生じる。また、抜け領域の判別は、各画素に対応して専用のフラグを用意するか、特定のコード（例えば８ビットの画像であれば、２５５や０）を抜け領域識別用に割り当てることによって行う。
【００４４】
そして、左右の画像をそれぞれ基準とした中間像６７，６８を後述する方法により統合することによって、画像全体で抜け領域のない中間像６９を生成する。図１の中間像統合部８は、左右それぞれの画像を基準として生成された中間像を統合する。図５は、左右それぞれの画像を基準として生成された中間像を示す。前述のようにして、左右それぞれの画像に対して視差データにより座標値のシフトを行なうと、それぞれの中間像には、前景と背景での視差の不連続によりシフトの量が異なるため、中間像が生成されない領域が左右それぞれの画像に生じ、図５の斜線部分がこれを示している。図中、５１は左画像を基準とした中間像で像が生成されない領域であり、５２は右画像を基準とした中間像で像が生成されない領域である（左画像を基準とした中間像では前景物体の右、右画像を基準とした中間像では前景物体の左に生じる）。この、中間像が生成されない領域５１，５２は、左右の画像をそれぞれ基準とした場合に前景対象物に対して反対側に生じるため、左右それぞれの画像を基準として生成された中間像を統合することにより、画像全体で中間像を生成する。中間像統合部８は、画像中の各座標について、左右の画像を基準とした中間像が両方とも生成されている場合には、両方の値に基づく値（例えば両者の平均）を出力し、片方だけで中間像が生成されている場合にはそのデータを出力する。
【００４５】
以上のように本実施の形態によれば、視差推定が困難な物体輪郭線近傍において、オクルージョン領域を左右の画像を基準とした初期視差から検出し、検出したオクルージョン領域での視差を周囲の視差データから決定する。また、物体輪郭線で視差が不連続（なだらかに変化しないよう）になるように視差推定を行うことにより、生成された中間像の輪郭付近での画質を向上させる。さらに、左右の画像を基準とする中間像を合成することにより画像全体の画素について中間像を生成する。
【００４６】
図７は、本発明の第２の実施の形態における中間像生成装置の構成図である。図７において、９Ｌ，９Ｒはそれぞれ左右の画像を基準とした中間像を生成し、同時に、中間像についての視差分布を出力する中間像生成部、１０Ｌ，１０Ｒは中間像生成部９Ｌ，９Ｒが生成した中間像を修正する中間像修正部である。図中、中間像生成部９Ｌ，９Ｒ、中間像修正部１０Ｌ，１０Ｒ以外の構成は、本発明の第１の実施の形態と同一であるので図１と同一の符号を付し説明を省略し、以下に中間像生成部９Ｌ，９Ｒおよび中間像修正部１０Ｌ，１０Ｒの動作について説明する。
【００４７】
中間像生成部９Ｌ，９Ｒは、左右の画像データを画像用フレームメモリ１Ｌ，１Ｒから、輪郭部視差推定部６Ｌ，６Ｒが更新した左右それぞれの画像を基準とした視差データを視差メモリ３Ｌ，３Ｒから、それぞれ読みだし、（数４）で示す座標値のシフトを行い、中間像を生成する。さらに、（数４）における画像データを視差に置き換えて演算し、中間像についての視差を計算する。
【００４８】
中間像修正部１０Ｌ，１０Ｒは、中間像生成部９Ｌ，９Ｒが生成した中間像において中間像が生成されない領域（抜け領域）と接する背景領域側の境界近傍の数画素を抜け領域に編入することにより、中間像統合部８による統合後の中間像中で前景領域の物体輪郭線近傍で偽輪郭が生じることを防ぐ。この偽輪郭は、輪郭抽出の誤りに起因して、前景に含まれる画素が背景として処理されたり、もしくは、その逆の処理がなされた場合に生じる（特に前景の画素が背景として処理された場合に視覚的に目立ちやすい）。
【００４９】
図８は、中間像修正部１０Ｌ，１０Ｒによる中間像の修正を説明する図である。図８において、８１，８２は左右の画像を基準とした中間像、７２，７３は中間像生成部９Ｌ，９Ｒにより中間像が生成されなかった抜け領域、８３，８４は中間像修正部１０Ｌ，１０Ｒにより抜け領域に編入される修正領域、８５は修正領域を抜け領域として中間像８１，８２を統合し、偽輪郭が生じないように処理した中間像である。
【００５０】
図９は、修正領域の設定方法を示す図であり、中間像生成部９Ｌ，９Ｒによって計算された中間像についての視差を示す。図９において、９１は前景視差、９２は背景視差、９３は抜け領域、９４は修正領域である。修正領域９４は、抜け領域９３と接する背景視差９２中の水平方向の幅を１〜３画素程度の領域として設定する（これは、輪郭の抽出位置の精度が上記１〜３画素の範囲に入っていると仮定することと同じである）。背景視差９２と前景視差９１の識別は、図９中Ａ，Ｂで示すように、抜け領域９３を水平方向に走査し、抜け領域９３と左右で隣接する２つの視差領域のうち視差の絶対値の小さい（すなわち奥に位置する）側を背景視差として行う。
【００５１】
上述のように視差地図上に設定した修正領域より、これに対応する（視差地図上の修正領域と同一の座標値の）中間像中の領域を抜け領域に編入した後、左右の画像を基準として生成した中間像を統合することで、統合後の中間像において前景の物体輪郭線近傍で偽輪郭が生じることを防ぐことができる。
【００５２】
以上のように本実施の形態によれば、輪郭抽出結果に基づいて推定された視差をもとに中間像を生成する際に、中間像中に偽輪郭が生じることを防ぐことができる。
【００５３】
次に、画像輪郭部の視差推定の方法について上記実施の形態と異なる第３の実施の形態の方法を以下に示す。上記の実施の形態では画像輪郭抽出部において、輪郭のあるなしを２値で判定し、輪郭部と判定された部分での小領域の視差の分散をもとに視差の修正を行った。ここでは、輪郭部をエッジの強度で判断し、エッジ強度に応じて視差の修正の仕方を変化させる。図１２に視差修正の構成（方法）を示す。図１２において、１２１〜１２４は各方向成分を持つ空間フィルタ手段であり以下に示すエッジ強度を算出する。１２５は算出されたエッジ強度の統合手段であり、１２６は輪郭部視差推定手段であり、３は視差を記録するための視差メモリ手段であり、これは上記実施の形態のものと同様である。
【００５４】
以上のように構成された輪郭部の視差推定方法（及び手段）について以下にその動作及び原理を述べる。
【００５５】
まず、エッジ強度の算出方法であるが、図１１に示すように各画素に対して空間的な重みを付け、２次元の方向性を持ったＨＰＦ（ハイパスフィルタ）やＢＰＦ（バンドパスフィルタ）を構成する。図１１の（ａ）（ｄ）は垂直方向の連続するエッジを検出するものであり、（ｂ）（ｃ）（ｅ）は斜め方向のエッジを検出するものである。水平及び反対方向の斜めエッジの検出は、図１１の係数の配置の方向を９０度回転させればよい。またエッジの方向は４５度刻みに限る必要はなく、３０度刻みなどでもよいのは当然である。エッジ強度の算出法を式で示すと（数５）になる。
【００５６】
【数５】
Ed(x,y) = Σij Wt(i,j)*P(x+i,y+j) /  Σij｜Wt(i,j)｜
ここでＥｄはエッジの強度、Ｗｔは図１１に１例として示したフィルタの重み、Ｐは画素の規格化された信号レベル、i,j は図１１に示すフィルタ係数の存在する領域である。
【００５７】
統合手段１２５は、このようにして求められたエッジ強度を統合し、その強度のレベルの絶対値の最大値とその最大値を出したエッジの方向を輪郭部視差推定手段１２６に送る。輪郭部視差推定手段１２６では、一定の領域に対し、入力された初期視差を統合し視差を再推定する。統合の方法を（数６）に示す。
【００５８】
【数６】
0003826236.tif 000006
ここでＤｓは初期視差であり、Ｄｓｎは再推定された視差であり、ｍａｘｃはエッジの方向に対して法線方向に中心（i=±1,j=±1） からの最大値をとる演算子でi=0,j=0 の中心では０の値をとるものとする。初期視差Ｄｓが求めたれていない領域は演算範囲（i,j）から除外する。ここでの（i,j）は図１３に示す再推定に使用する演算範囲である。図１３において、１３１は再推定に使用する演算範囲であり、１３２は再推定を行う演算範囲の中心であり、１３４、１３５、１３６は画像のエッジ強度の強い部分すなわちエッジであり、１３７はエッジに対する法線方向を示し再推定の演算の方向を示す。図１３（ａ）から（ｃ）に再推定に使用する演算範囲に対する代表的なエッジの位置を示し、このときの再推定時の重みとなる 1/( 1 + maxc[ Ed(x+i,y+j)] ) の値を（ｄ）から（ｆ）にエッジ強度とともに示す（i,j を１次元として表示）。この再推定を定性的に述べると再推定の中心部では１の重みとし、その他の部分ではエッジがない限り重み１で加算され、エッジがある場合（エッジ強度に対応して）重みを低下させる。またエッジをまたいで再推定の演算範囲が延びるとき、エッジ強度の最大のときの重みを維持するようにしている。
【００５９】
このようにエッジ強度に応じて、エッジの周囲の再推定を行うことにより、第１の実施の形態よりなめらかで且つエッジをまたいで再推定の影響が及ばないようにしている（エッジ強度に応じて影響の度合いが変化し、強度が大きいとき影響はへり、強度が小さいとき影響は増える）。
【００６０】
以上のように、本実施の形態では、エッジ強度に応じた画像の輪郭部の視差推定方法を行うことにより、再推定された視差がよりなめらかで、且つ輝度又は色エッジの情報によりエッジを境界として影響度合いを自動的に調整することを可能とし、画像の輪郭部での視差推定値の変化をなまることなく推定することを可能とする。またこのようにして求めた視差を用い、画像間の中間視点から見た画像を上記第１、又は第２の実施の形態のように合成することにより、複数画像の中間視点画像が、よりなめらかで且つ画像のエッジ部分で画像がなまることなく合成することが可能となる。
【００６１】
本実施の形態では、視差の再推定の方法を、重み付きの平均としその重みを画像のエッジの強度で変化させ、上記のような画像のエッジ強度に応じた視差の再推定を行った。画像のエッジ強度に応じた視差の推定方法としては、このほかに視差の変化量に重みを掛けたエネルギーＥを（数７）のように定義し、重みＷを画像のエッジ強度に応じて小さくし、画像のエッジ強度が大きいところで視差が変化しても定義されたエネルギーが大きくならないようにし、定義されたエネルギーを最小にするようにして画像エッジ部の視差の再推定をおこなっても上記の再推定とほぼ似たような結果を得ることが可能である。
【００６２】
【数７】
E(f(x,y,u,ux,uy))= ∫W(x,y)((∂u/∂x)2 + (∂u/∂y)2)dxdy
ここで u は視差を示す。
【００６３】
次に、中間像を生成する際の画素の書き込み方法について以下に示す。
視差推定時に基準とした画像中の座標値(x,y) と、（数４）に示す中間像の生成により、生成された画像中の座標値(s,t) の関係は、（数８）のようになる。
【００６４】
【数８】
0003826236.tif 000007
【００６５】
図１４は、（数８）の座標変換により基準画像中の画素の座標値が、中間像中の画素間に変換されることを示す。すなわち、図１４中、○は画素の座標を示し、△は基準画像中の画素●が変換された画素間の座標を示し、□は変換によって中間像中の画素●に変換される基準画像中の座標を示す。基準画像のもつ空間解像度を劣化させずに中間像を生成するためには、□の座標における画素値を●の画素に書く必要がある。その方法について以下に説明する。
【００６６】
図１４（ａ）の●と□の差をΔｘ、図１４（ｂ）中の△と●の差をΔｓとすると、（数８）のテイラー展開より、
【００６７】
【数９】
0003826236.tif 000008
【００６８】
となる。（数８）と（数９）より、ΔｘとΔｓの関係は、（数１０）となる。
【００６９】
【数１０】
0003826236.tif 000009
【００７０】
（数１０）のΔｘの係数の絶対値がある程度以上（例えば０．０１以上）の場合、これをΔｘについて解き、（数１１）を得る。
【００７１】
【数１１】
0003826236.tif 000010
【００７２】
逆に、（数１０）をΔｘついて解かない場合には、中間像の画素への書き込みは行わない。
【００７３】
図１９に、上述した方法により視差と視点パラメータを用いて中間像生成を行う際のフローチャートを示す。図１９では、ｘ，ｙのインクリメントを１としているが、視差の変化に応じてインクリメントを１以下にすることにより中間像の書き込まれない画素の発生を防止できる。
【００７４】
以上、説明した方法により、視差と基準画像を用いて、基準画像の空間解像度を劣化させずに中間像を生成することができる。
【００７５】
なお、本発明のすべての実施の形態において、左右の画像を基準とした中間像の統合方法は、双方の中間像が共に生成されている画素において、両者の平均を出力する方法に限る必要はなく、中間像の視点位置のパラメータαに応じた重み付け加算を行ってもよく、本発明に含まれる。
【００７６】
図１０は、中間像の視点位置のパラメータαに対する重みの分布の例を示したものであり、図１０（ａ）のような直線的に変化する重みを用いても、図１０（ｂ）のような曲線的に変化する重みを用いてもよい。画素値の統合は、（数１２）による重み付け加算によって行う。
【００７７】
【数１２】
0003826236.tif 000011
【００７８】
なお、本発明のすべての実施の形態において、画像間の相関演算としては残差平方和（ＳＳＤ）に限る必要はなく、残差絶対値和（ＳＡＤ）を用いても同様の効果を得ることができ、そのような実施の形態ももちろん本発明に含まれる。
【００７９】
また、本発明の実施の形態では画像間で視差を求める例を示したが、画像間で動きベクトルを求めることにより、撮影時のカメラの制約（２台のカメラの厳密な水平位置関係、光軸の方向合わせ等）を緩めることができ、そのような実施の形態も本発明に含まれる。すなわち、２枚の画像を撮影するときのカメラの光軸の向きや相互の位置関係にずれがある場合においても、水平方向の視差に加えて垂直方向の視差も求める（すなわち動きベクトルを求める）ことにより、垂直方向の画像間のずれを補正でき、撮影時のカメラの姿勢に関する制約を緩めて中間像を生成することが可能となる。
【００８０】
また同様に、同一のカメラで異なる時間に撮影された画像に対しても、画像間で動きベクトルを求めることにより、撮影時のカメラの姿勢に関する制約を緩めて、時間的な中間像を生成することができ、そのような実施の形態も本発明に含まれる。
【００８１】
ここで、動きベクトルを用いた場合の中間像生成の方法について説明する。動きベクトルを用いた際の、変換前後の座標値の関係は（数１３）となる。
【００８２】
【数１３】
0003826236.tif 000012
【００８３】
図１５は、動きベクトルを用いた中間像生成の説明図である。図１５において○は画素の座標であり、△は基準画像中の画素●が変換された座標、□は中間像中の●に変換される基準画像中の座標を示す。基準画像中の●と□の差ベクトルを（Δｘ，Δｙ）、中間像中の△と●の差ベクトルを（Δｓ，Δｔ）とすると、視差を用いた中間像生成時と同様にして（数１４）を得る。
【００８４】
【数１４】
0003826236.tif 000013
【００８５】
（数１４）の右辺の係数行列の行列式の絶対値がある程度以上（例えば０．０１以上）の場合、逆行列を用いて（数１５）よりΔｘ、Δｙを計算する。
【００８６】
【数１５】
0003826236.tif 000014
【００８７】
逆に、上記係数行列の行列式の絶対値が小さい場合には、中間像の画素への書き込みは行わない。
【００８８】
図２０に、上述した方法により動きベクトルと視点パラメータを用いて中間像生成を行う際のフローチャートを示す。図２０では、ｘ，ｙのインクリメントを１としているが、視差の変化に応じてインクリメントを１以下にすることにより中間像の書き込まれない画素の発生を防止できる。
【００８９】
以上、説明した方法により、動きベクトルと基準画像を用いて中間像を生成することができる。
【００９０】
次に、本発明による中間像生成手段を用いた視点追従型画像表示の方法を示す第４の実施の形態について説明する。
【００９１】
図１６は、観察者の視点に応じた画像表示を行う構成の一例である。図１６において、１６１は観察者、１６２は観察者の位置を検出するための位置検出手段、１６３はディスプレイ、１６４は中間像生成手段、１６５は２台のカメラからなる撮像手段、１６６は撮像された画像データを蓄積する蓄積手段、１６７は映像ソースを切り替える映像ソース切替手段である。以下に各構成の動作について説明する。
【００９２】
撮像手段１６５は視点の異なる１組の画像を入力する。蓄積手段１６６は撮像手段１６５によって得られたステレオ画像を記録、再生する。映像ソース切替手段１６７は入力を撮像手段１６５と蓄積手段１６６のいずれかに設定する。位置検出手段１６２は観察者の位置を検出する。中間像生成手段１６４は、撮像手段１６５もしくは蓄積手段１６６から得られたステレオ画像から左右の画像を基準とした視差推定を（オクルージョン領域も含めて）行い、位置検出手段１６２からの視点情報に基づき中間像を生成する（ディスプレイ１６３が２Ｄ表示の際には、中間像をひとつ、ステレオ表示の際には右目用、左目用の中間像をそれぞれ生成する）。
【００９３】
以上のように本実施の形態によれば、２枚の画像を撮像・伝送し、受信側で視差を推定し、観察者の位置を検出することにより、少ない伝送情報量で観察者の視点に応じた臨場感のある画像表示が可能となる。
【００９４】
なお、本実施の形態では位置検出の結果に応じた表示の例について説明したが、複数の中間像を同時に生成し表示することにより、多人数で同時に各人の視点に応じた画像を観察することができ、本発明に含まれる。
【００９５】
また、本実施の形態では受信側で視差推定を行う例について説明したが、視差推定は送信側で行ってもよく、そのような第５の実施の形態について以下に説明する。
【００９６】
図１７は、送信側で視差推定（もしくは動き推定）を行うシステムの送信ブロックの一例である。図１７において、１７０は左画像を基準とした視差ＶL を推定する視差推定手段、１７１は右画像を基準とした視差ＶR を推定する視差推定手段、１７２ａ〜ｄは符号化器、１７３ａ，ｂは復号化器、１７４は左画像Ｌと左画像を基準とした視差ＶL から右画像Ｒを予測する予測手段、１７５は左画像を基準とした視差ＶLから右画像を基準とした視差ＶRを予測する予測手段、１７６ａ，ｂは穴埋め手段である。以下に上記構成の動作について説明する。
【００９７】
まず、左画像Ｌは符号化器１７２ａによって符号化される。また、視差推定手段１７０、１７１によって左右の画像をそれぞれ基準とした視差ＶL，ＶRが推定される。オクルージョン等により視差が正しく推定されない領域については、穴埋め手段１７６ａ，１７６ｂによって視差が決定される。次に、左画像を基準とした穴埋め後の視差は符号化器１７２ｂにより符号化される。符号化された左画像を基準とした穴埋め後の視差は復号化器１７３ａにより復号化され、予測器１７４による右画像Ｒの予測と、予測器１７５による穴埋め後の右画像を基準とした視差の予測に用いられる。
【００９８】
予測器１７５による右画像を基準とした視差ＶR の予測は、左画像を基準とした視差を用いて、（数１６）として計算する。
【００９９】
【数１６】
0003826236.tif 000015
【０１００】
右画像は予測器１７４による予測との残差をとり、符号化器１７２ｄによって符号化される。穴埋め後の右画像を基準とした視差ＶR は、予測器１７５による予測との残差をとり、符号化器１７２ｄにより符号化される。
【０１０１】
図１８は、送信側で視差推定を行うシステムの受信ブロックの一例である。図１８において、１８１ａ〜ｄは復号化器、１７４は右画像Ｒの予測器、１７５は右画像を基準とした視差の予測器である。符号化された左画像Ｌ、左画像基準の視差ＶL、右画像基準の視差ＶRの予測誤差、右画像Ｒの予測誤差はそれぞれ復号化器１８１ａ〜１８１ｄにより復号化される。右画像は予測器１７４による予測と復号化された右画像の予測誤差を加算して復元される。右画像基準の視差は予測器１７５による予測と復号化された予測誤差を加算して復元される。
【０１０２】
上記の構成により、送信側で視差推定と穴埋め処理を行うことにより、受信側での演算量を低減することができ、受信側の装置規模を縮小することができる。
【０１０３】
以上述べたところから明らかなように、本発明によれば、視差推定が困難な物体輪郭線近傍において、オクルージョン領域を左右の画像を基準とした初期視差から検出し、検出したオクルージョン領域での視差を周囲の視差データから決定して、物体輪郭線で視差が不連続になるように視差推定を行うことにより、生成された中間像の輪郭付近での画質を向上させることができる。
【０１０４】
また、左右の画像を基準とする中間像を統合することにより画像全体の画素について中間像を生成することができる。したがって、１組のステレオ画像から２画像間の任意の視点に対応する中間像を生成することができる。
【０１０５】
また、左右の画像を基準として生成した中間像中の抜け領域と接する背景側の数画素を統合に用いないことにより、統合後の中間像中に偽輪郭が生じることを防ぐことができる。
【０１０６】
さらに、動きベクトルを求めることにより、撮像時のカメラの姿勢に要求される制約を緩和することができる。
【０１０７】
【発明の効果】
以上述べたところから明らかなように本発明は、物体輪郭線近傍での視差を推定し、複数の画像の、例えば１組のステレオ画像から２画像間の、任意の視点に対応する中間像を生成できるという長所を有する。
【０１０８】
また本発明は、観察者の位置を検出する位置検出手段を備える場合は、観察者の位置に応じた画像を表示することができるという利点がある。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における中間像生成装置の構成図である。
【図２】同第１の実施の形態における左画像を基準とした初期視差の説明図である。
【図３】同第１の実施の形態における物体輪郭線近傍での視差推定の説明図である。
【図４】同第１の実施の形態における物体輪郭線近傍での視差推定の詳細な説明図である。
【図５】同第１の実施の形態における中間像中で像が生成されない領域の説明図である。
【図６】同第１の実施の形態における左右それぞれの画像を基準として生成された中間像を統合する説明図である。
【図７】本発明の第２の実施の形態における中間像生成装置の構成図である。
【図８】同第２の実施の形態における中間像統合方法の説明図である。
【図９】同第２の実施の形態における修正領域を示す図である。
【図１０】統合時に用いる重みの特性の一例を示す図である。
【図１１】フィルターの重み係数の１例を示す図である。
【図１２】本発明の第３の実施の形態における輪郭部視差推定方法を示す図である。
【図１３】同第３の実施の形態における輪郭部視差推定の演算領域を示す図である。
【図１４】中間像の書き込み方法の一例を示す図である。
【図１５】中間像の書き込み方法の一例を示す図である。
【図１６】本発明の第４の実施の形態における視点に応じた画像を表示するシステムを示す図である。
【図１７】本発明の第５の実施の形態の送信側で視差推定を行うシステムの送信部の構成の一例を示す図である。
【図１８】送信側で視差推定を行うシステムの受信部の構成の一例を示す図である。
【図１９】視差を用いた中間像生成方法を示すフローチャートである。
【図２０】動きベクトルを用いた中間像生成方法を示すフローチャートである。
【符号の説明】
１Ｌ            左画像用フレームメモリ
１Ｒ            右画像用フレームメモリ
２Ｌ、２Ｒ      初期視差推定部
３Ｌ、３Ｒ      視差メモリ
４Ｌ、４Ｒ      輪郭抽出部
５Ｌ、５Ｒ      輪郭メモリ
６Ｌ、６Ｒ      輪郭部視差推定部
７Ｌ、７Ｒ      中間像生成部
８              中間像統合部
９Ｌ、９Ｒ      中間像生成部
１０Ｌ、１０Ｒ  中間像修正部
２４            オクルージョン領域
１６２          位置検出手段
【図１】
0003826236.tif 000016
【図２】
0003826236.tif 000017
【図３】
0003826236.tif 000018
【図４】
0003826236.tif 000019
【図５】
0003826236.tif 000020
【図６】
0003826236.tif 000021
【図７】
0003826236.tif 000022
【図８】
0003826236.tif 000023
【図９】
0003826236.tif 000024
【図１０】
0003826236.tif 000025
【図１１】
0003826236.tif 000026
【図１２】
0003826236.tif 000027
【図１３】
0003826236.tif 000028
【図１４】
0003826236.tif 000029
【図１５】
0003826236.tif 000030
【図１６】
0003826236.tif 000031
【図１７】
0003826236.tif 000032
【図１８】
0003826236.tif 000033
【図１９】
0003826236.tif 000034
【図２０】
0003826236.tif 000035