(57)【特許請求の範囲】
【請求項１】
左右の画像をそれぞれ基準として計算した初期視差から、左右の画素間の対応のとれている領域と対応のとれていない領域とを抽出し、対応のとれている領域については画素値と初期視差値とによってクラスタリングを行い、対応のとれていない領域の各画素については該画素の画素値と前記クラスタリングによって得られる各クラスタ重心の画素値との画素値空間での距離を計算するとともに、対応のとれていない領域の画素における視差は、前記距離の最も近いクラスタに属する周囲の対応のとれている画素における視差を用いて決定することにより、前景物体の視差と背景視差の境界を前景物体の輪郭と一致させることを特徴とする中間視点画像生成方法。
【請求項２】
左右の画像をそれぞれ基準として計算した初期視差から、左右の画素間の対応のとれている領域と対応のとれていない領域とを抽出し、対応のとれている領域については画素値と初期視差値とによってクラスタリングを行い、対応のとれていない領域の各画素については該画素の画素値と前記クラスタリングによって得られる各クラスタ重心の画素値との画素値空間での距離を計算し、前記距離が最も近いクラスタを決定し、対応のとれていない領域の画素における視差を決定したクラスタリング結果の連結性を考慮して決定することにより、前景物体の視差と背景視差の境界を前景物体の輪郭と一致させることを特徴とする中間視点画像生成方法。
【請求項３】
画像のクラスタリングは、予め該画像にメディアンフィルターをかけてから行うことにより、物体輪郭付近において前景と背景の中間的な画素値をもつ微少な領域を除去することを特徴とする請求項１または２記載の中間視点画像生成方法。
【請求項４】
視差地図にメディアンフィルターをかけることにより、前景物体の視差と背景視差の境界を平滑化することを特徴とする請求項１または２記載の中間視点画像生成方法。
【請求項５】
左右の画像をそれぞれ基準として計算した初期視差から、左右の画素間の対応のとれている領域と対応のとれていない領域とを抽出し、対応のとれている領域については画素値と初期視差値とによってクラスタリングを行い、対応のとれていない領域の各画素については該画素の画素値と前記クラスタリングによって得られる各クラスタ重心の画素値との画素値空間での距離を計算するとともに、対応のとれていない領域の画素における視差は、前記距離の最も近いクラスタに属する周囲の対応のとれている画素における視差を用いて決定することにより、前景物体の視差と背景視差の境界を前景物体の輪郭と一致させることを特徴とする視差推定方法。
【請求項６】
左右の画像をそれぞれ基準として計算した初期視差から、左右の画素間の対応のとれている領域と対応のとれていない領域とを抽出し、対応のとれている領域については画素値と初期視差値とによってクラスタリングを行い、対応のとれていない領域の各画素については該画素の画素値と前記クラスタリングによって得られる各クラスタ重心の画素値との画素値空間での距離を計算し、前記距離が最も近いクラスタを決定し、対応のとれていない領域の画素における視差を、決定したクラスタリング結果の連結性を考慮して決定することにより、前景物体の視差と背景視差の境界を前景物体の輪郭と一致させることを特徴とする視差推定方法。
【請求項７】
画像のクラスタリングは予め該画像にメディアンフィルターをかけてから行うことにより、物体輪郭付近において前景と背景の中間的な画素値をもつ微少な領域を除去することを特徴とする請求項５または６記載の視差推定方法。
【請求項８】
視差地図にメディアンフィルターをかけることにより、前景物体の視差と背景視差の境界を平滑化することを特徴とする請求項５または６記載の視差推定方法。
【請求項９】
複数の視点において撮像した多視点画像について、複数の視点位置での画像を圧縮し符号化された画像を復号化し伸長する復号化画像伸長ステップと、前記復号化伸長された複数の画像から請求項１〜４のいずれかに記載の方法により中間視点での画像を生成する中間視点画像生成ステップと、前記生成された中間視点での画像と撮像された画像の残差とを圧縮し符号化する圧縮符号化ステップと、前記圧縮符号化ステップにより符号化した符号化情報を伝送する伝送ステップを有することを特徴とする画像伝送方法。
【請求項１０】
請求項９記載の画像伝送方法によって伝送された符号化情報に対して、生成された中間視点での画像と撮像された画像の残差を復号化し伸長する復号化残差伸長ステップを有することを特徴とする画像伝送方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、立体映像表示方式における中間視点画像の生成方法及び視差推定方法に関するものである。
【０００２】
【従来の技術】
従来、立体映像方式には様々なものが提案されているが、特殊な眼鏡をかけることなく立体動画像を複数人数で観察できる方式として、多眼式立体映像方式が有望である。多眼式立体映像方式においては、使用するカメラ台数および表示装置台数が多いほど、観察者に対して自然な運動視差を感じさせることができ、また、多人数での観察が容易になる。しかしながら、撮像系の規模やカメラの光軸の設定等の制約により、実用的に用いることができるカメラ台数には限度がある。また、伝送、蓄積過程においては、カメラ台数に比例して増大する情報量を低減することが望まれる。
【０００３】
そこで、表示側において２眼式ステレオ画像から中間視点画像を生成して多眼式立体画像を表示できれば、撮像系の負担を軽減し、伝送、蓄積時の情報量を低減することができることになる。視点の異なる複数の画像から、その異なる視点間の任意の視点で見えるべき中間視点画像を生成するためには、画像間で画素の対応を求めて奥行きを推定する必要がある。
【０００４】
【発明が解決しようとする課題】
画像間の対応づけにおける根本的な問題は、奥行きが不連続に変化する物体輪郭線では、オクルージョンが生じるために対応を精度よく求めるのは困難なことである。しかし、この物体輪郭線近傍での推定値は、生成された中間視点画像での物体の輪郭位置を決定するため、中間視点画像の合成時には非常に重要である。すなわち、視差推定時に物体輪郭線近傍で推定誤差が生じると、前景領域の画素が背景側にはりついたり、逆に背景領域の画素が前景にはりつき、物体の輪郭線が乱れたり、物体輪郭線近傍の背景領域で偽輪郭が生じることになる。
【０００５】
本発明はかかる点に鑑み、物体輪郭線近傍での視差の急激な変化（不連続な変化）を精度よく推定する視差推定方法と、その視差推定値を用いる中間視点画像の生成方法を提供することを目的とする。
【０００６】
また、送信側と受信側の双方で上記中間視点画像の生成を行うことによる、効率のよい多視点画像伝送方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は、左右の画像をそれぞれ基準として計算した初期視差から、左右の画素間の対応のとれている領域と対応のとれていない領域とを抽出し、対応のとれている領域については画素値と初期視差値とによってクラスタリングを行い、対応のとれていない領域の各画素については該画素の画素値と前記クラスタリングによって得られる各クラスタ重心の画素値との画素値空間での距離を計算するとともに、対応のとれていない領域の画素における視差は、前記距離の最も近いクラスタに属する周囲の対応のとれている画素における視差を用いて決定することにより、前景物体の視差と背景視差の境界を前景物体の輪郭と一致させることを特徴とする視差推定方法と、その視差推定値を用いる中間視点画像生成方法である。
【０００８】
また、左右の画像をそれぞれ基準として計算した初期視差から、左右の画素間の対応のとれている領域と対応のとれていない領域とを抽出し、対応のとれている領域については画素値と初期視差値とによってクラスタリングを行い、対応のとれていない領域の各画素については該画素の画素値と前記クラスタリングによって得られる各クラスタ重心の画素値との画素値空間での距離を計算し、前記距離が最も近いクラスタを決定し、対応のとれていない領域の画素における視差を、決定したクラスタリング結果の連結性を考慮して決定することにより、前景物体の視差と背景視差の境界を前景物体の輪郭と一致させることを特徴とする視差推定方法と、その視差推定値を用いる中間視点画像生成方法である。
【０００９】
【発明の実施の形態】
（第１の実施の形態）
図１は、本発明の第１の実施の形態における視差推定方法および中間視点画像生成方法のブロック図である。図１において、１Ｌ，１Ｒは視差推定部、２は中間視点画像生成部、３Ｌ，３Ｒは初期視差推定手段、４Ｌ，４Ｒは信頼性評価手段、５Ｌ，５Ｒはクラスタリング手段、６Ｌ，６Ｒは視差補間手段、７Ｌ，７Ｒは画素シフト手段、８は中間視点画像統合手段である。
【００１０】
以下に上記構成の動作について説明する。初期視差推定部３は、（数１）に示す残差平方和（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅｓ 以下ＳＳＤ）の計算を行う。（数１）によるＳＳＤの値は、基準画像に設定した窓領域と参照画像中に設定した窓領域内の画素値の分布が似ているところでは小さな値となり、逆に双方の窓領域内での画素値の分布が異なるところでは大きな値となる。初期視差推定部３は、所定の探索範囲内でＳＳＤの値を最小とする画像間のずれ量ｄを着目点（ｘ，ｙ）における視差とする。
【００１１】
【数１】
0003769850.tif 000002
【００１２】
図２は初期視差推定部３による上記初期視差推定（ブロックマッチング）を説明する図である。図２において着目点（ｘ，ｙ）を中心にして設定した窓領域が、（数１）の積分領域Ｗを示す。窓領域を順次ずらして設定し、上記のＳＳＤの計算を行うことにより画像全体での初期視差を得ることができる。初期視差推定部３Ｌでは左画像を基準画像として、初期視差推定部３Ｒでは右画像を基準画像としてそれぞれ初期視差を計算する。
【００１３】
信頼性評価部４は、（数２）に示す対応付けの評価値（左右の画像を基準とした初期視差の差）を各画素について計算する。そして、該評価値が一定のしきい値以上となる画素（信頼性の低い画素）をオクルージョン領域の画素とみなし、逆にしきい値未満の画素（信頼性の高い画素）では対応が正しく取られているとみなし、２値の出力を行う（例えば、オクルージョンと判断した画素については１、対応が正しく取られていると判断した画素については０を出力する）。
【００１４】
【数２】
0003769850.tif 000003
【００１５】
クラスタリング部５は、上記対応付けの信頼性が高い領域の画素について、画素値と初期視差を用いたクラスタリングを行い、対応付けの信頼性が低い画素については、画素値と前記クラスタリングの結果を用いたクラスタリングを行う。画像のクラスタリングの方法としては、画素値と初期視差のデータ（カラー画像を用いた場合４次元のデータとなる）を複数のクラスタに分類するものであればよい。本実施の形態ではk-mean法を用いた例について示す。以下に、k-mean法について説明する。
【００１６】
k-mean法はデータ全体をあらかじめ与えた数のクラスタに分類するアルゴリズムである。k-mean法は以下の4つの手順によりクラスタリングを行なう。
【００１７】
（１）クラスタ数、終了条件の決定。
（２）初期クラスタを配置。
【００１８】
（３）データの配置。
（４）終了判定(終了しない場合には、（３）に戻る）。
【００１９】
本実施の形態ではクラスタ数は固定の値として与える（例えば１０）。また、終了条件は各クラスタに配置されるデータ数が収束するか、もしくは、クラスター更新の繰り返し計算の回数が一定の回数（例えば10回）に達した場合とする。
【００２０】
初期クラスタの配置は、全データの平均ベクトル、標準偏差ベクトルより、ｉ番目のクラスタ重心を（数３）で求める。
【００２１】
【数３】
0003769850.tif 000004
【００２２】
初期視差推定値の信頼性の高い領域では、画素値（Ｒ,Ｇ,Ｂ）と、初期視差の４次元でクラスタリングを行なう。そして、初期視差推定値の信頼性の低い領域の画素は、前記対応付けの信頼性が高い領域におけるクラスタリング結果の中で、画素値（Ｒ，Ｇ，Ｂ）の３次元空間で最も距離の近いクラスタに属するものとしてクラスタリングを行う。
【００２３】
図３はクラスタリング部５によるクラスタリングのようすを説明する図である。図３において、２０３（中央部でハッチングが重なっている領域）は初期視差の信頼性が低い領域、２０１はクラスタ１の領域、２０２はクラスタ２の領域、２０４はクラスタ１とクラスタ２の領域境界を示す。図３では簡単のためにクラスタ数を２としている。図３において、２０３以外の領域では画素値と初期視差によりクラスタリングが行われる。そして、初期視差の信頼性が低い領域２０３の画素は、クラスタ１およびクラスタ２との（Ｒ，Ｇ，Ｂ）空間中での距離の近い方のクラスタに分類される。
【００２４】
視差補間部６は、信頼性評価部４においてオクルージョンであると判断された画素における視差を、周囲の対応が正しく取られていると判断した画素における視差を参照し、視差の値を補間することにより決定する。初期視差の信頼性の低い領域での視差値の補間は、例えば以下の式を計算して行う。
【００２５】
【数４】
0003769850.tif 000005
【００２６】
（数４）により、着目画素の視差を周囲の同一クラスタの視差から計算することにより、図３のクラスタ境界２０４において視差が不連続に変化する視差推定を行うことができ、前景視差と背景視差の境界での視差不連続を推定できる。
【００２７】
なお、視差補間の計算式は（数４）に限る必要はなく、着目画素の属するクラスタに応じて周囲の画素の視差値を参照し、また、参照する周囲の画素の視差についての重み係数の総和が１になる補間方法であればよい（（数４）に示した補間方法の場合には、着目画素と参照画素の距離の２乗に逆比例して参照する視差値の重みが変化する）。
【００２８】
以上に述べた視差補間部６による視差補間により、初期視差のオクルージョンに対して周囲の視差を充填することができる。
【００２９】
画素シフト部７は視差補間された視差を視点方向に応じて定数倍し、入力画像の画素をシフトする。すなわち、画素シフト部７Ｌは左画像と左画像を基準として計算した視差から中間視点画像を生成し、画素シフト部７Ｒは右画像と右画像を基準として計算した視差から中間視点画像を生成する。ここで、左画像基準時に視差に乗ずる定数と右画像基準時に視差に乗ずる定数との和を１にすることで双方から同一の視点方向の中間視点画像を生成する。
【００３０】
中間視点画像統合部８は、左画像を基準として生成した中間視点画像と、右画像を基準として生成した中間視点画像を統合する。左右の画像を基準として生成した中間視点画像では、視差の不連続な変化が原因で、図４に示すように画像が生成されない領域（ぬけ領域）が生じる。図４において５１は左画像を基準とした中間視点画像中で画像が生成されない領域、５２は右画像を基準とした中間視点画像中で画像が生成されない領域を示す。両者は前景物体に対して互いに反対の側に生じるため、左右の画像を基準とした中間視点画像を統合することにより画像全体でぬけ領域のない中間視点画像を生成することができる。
【００３１】
以上のように本実施の形態によれば、画像のクラスタリング結果を用いて、初期視差の信頼性が低い領域での視差を周囲の同一クラスタの画素における視差から決定する視差推定を行うことにより、前景物体の輪郭線と前景背景間の視差境界を一致させることができ、また、オクルージョンや物体輪郭線付近での視差を周囲の背景視差もしくは前景視差から決定できるため、中間視点画像中の物体輪郭を画質よく再現することができる。
【００３２】
（第２の実施の形態）
図５は、本発明の第２の実施の形態における視差推定方法および中間視点画像生成方法のブロック図である。本発明の第２の実施の形態においては、オクルージョン領域でのクラスタリング結果の空間的な連続性を考慮した視差推定を行うことにより、中間視点画像生成時の前景物体の輪郭付近での画質を改善する。
【００３３】
図５において、９Ｌ，９Ｒは視差推定部、２は中間視点画像生成部、３Ｌ，３Ｒは初期視差推定手段、４Ｌ，４Ｒは信頼性評価手段、５Ｌ，５Ｒはクラスタリング手段、１０Ｌ，１０Ｒはラベリング部、１１Ｌ，１１Ｒは視差補間、７Ｌ，７Ｒは画素シフト手段、８は中間視点画像統合手段である。上記構成のうち、図１における本発明の第１の実施の形態と同一の動作を行うものについては、図１と同一の符号を付し説明を省略し、以下に、ラベリング部１０、視差補間部１１の動作について説明する。
【００３４】
ラベリング部１０は、初期視差の信頼性の低い領域でのクラスタリング結果について、連結性を考慮したクラスタリングを行う。
【００３５】
図６は、ラベリング部１０によるラベリングのようすを説明する図である。図６において、４０１はクラスタ１、４０２はクラスタ２、４０３はクラスタ３、４０４はクラスタ４、４０５はラベル１、４０６はラベル２、４０７はラベル３、４０８はラベル４、４０９，４１０は初期視差の信頼性の高い領域と低い領域の境界をそれぞれ示す。図６では簡単の為にクラスタ数を４、ラベル領域の数を４としている。ラベリング部１０は、初期視差の信頼性の低い領域において、同一のクラスタに属する画素の空間連結性を考慮してラベル付けを行う。
【００３６】
該ラベル付けの方法について以下に説明する。
初期視差の信頼性の低い領域内の各画素について、隣接する画素が初期視差の信頼性の低い領域に含まれ、かつ、着目画素と同一のクラスタに属している場合には、前記隣接する画素と着目画素に同一のラベルを付し、そうでない場合には、着目画素に新たなラベルを付す。
【００３７】
視差補間部１１は、クラスタリング部５Ｌによるクラスタリング結果とラベリング部１０によるラベリング結果の双方を用いて視差補間を行う。視差補間は、各ラベル領域毎に行う。すなわち、ラベル領域が初期視差の信頼性の高い領域の同一のクラスタ領域と接している場合（図６のラベル１，２，３の場合）には、ラベル領域からみて境界線の外側の視差を用いて、（数５）によりラベル領域内の視差を決定する。
【００３８】
【数５】
0003769850.tif 000006
【００３９】
（数５）の積分路上の視差ｄ（ｓ，ｔ）は、ラベル領域からみて境界線の外側の視差（信頼性が高い領域の視差）を用いることにより、初期視差の信頼性の低い領域における視差を決定する。また、ラベル領域が初期視差の信頼性の高い同一クラスタ領域と接していない場合（図６のクラスタ４の場合）には、周囲の信頼性の高い領域での視差のうち背景側の視差のみを参照して視差を決定する。背景視差の抽出は、左右の画像の撮影時のカメラの位置関係（平行撮影もしくは輻輳撮影）によって異なる。以下に、平行撮影（左右の画像を撮影するカメラの光軸が平行）と輻輳撮影（左右の画像を撮影するカメラの光軸が一点で交差）のそれぞれの場合について説明する。
【００４０】
図１５は、平行撮影の場合の視差の分布の説明図である。図１５（ａ）のように左右のカメラを光軸が互いに平行になるように配置して撮影すると、左右の画像を基準とした視差は図１５（ｂ）のようになる。（図１５（ｂ）の左側が左画像を基準とする視差、右側が右画像を基準とする視差）また、図１５（ｃ）に示すように、平行撮影の場合、視差の分布は左画像を基準として計算すると負の値のみとなり、逆に右画像については正の値のみとなり、視差は奥行きが無限遠の時０となる。
【００４１】
以上のことから、平行撮影の場合、周囲の視差の絶対値がその平均値以下のものを背景視差とすることで抽出する。
【００４２】
図１６は輻輳撮影の場合の視差の分布の説明図である。図１６（ａ）のように左右のカメラの光軸が一定の奥行きで交差するように配置して撮影すると、視差は図１６（ｂ）のようになる。（図１６（ｂ）の左側が左画像を基準とする視差、右側が右画像を基準とする視差）また、図１６（ｃ）に示すように、輻輳撮影の場合、視差の分布は左右いずれの画像を基準とした場合にも正負両方の値をとり、輻輳点（左右のカメラの光軸の交差する点）において視差０となる。
【００４３】
以上のことから、輻輳撮影の場合、背景視差は、左画像を基準とした視差については周囲の視差の平均値以上のものとして、右画像を基準とした視差については逆に周囲の視差の平均値以下のものとして抽出する。
【００４４】
以上のように本実施の形態によれば、クラスタリングの結果をさらにラベリングして空間的な連結性を考慮することにより、オクルージョン内に前景物体と類似した画素値の画素がある場合にも安定して前景視差と背景視差の境界を決定することができ、中間視点画像の前景輪郭付近の画質を改善することができる。
【００４５】
（第３の実施の形態）
図７は、本発明の第３の実施の形態における視差推定方法および中間視点画像生成方法のブロック図である。本発明の第３の実施の形態においては、左画像基準の初期視差と右画像基準の初期視差の対応関係を考慮した視差推定を行うことにより、中間視点画像生成時の前景物体の輪郭付近での画質を改善する。
【００４６】
図７において、１２Ｌ，１２Ｒは視差推定部、２は中間視点画像生成部、１３Ｌ，１３Ｒは初期視差推定手段、１４Ｌ，１４Ｒは対応付け判断手段、１５Ｌ，１５Ｒは視差補間手段、７Ｌ，７Ｒは画像シフト手段、８は画像統合手段である。上記構成のうち、図１、図５における本発明の第１および第２の実施の形態と同一の動作を行うものについては、図１および図５と同一の符号を付し説明を省略し、以下に初期視差推定手段１３、対応付け判別手段１４、視差補間手段１５の動作について説明する。
【００４７】
初期視差推定部１３は、本発明の第１の実施の形態における視差推定部１もしくは本発明の第２の実施の形態における視差推定部９と同一の動作により、視差推定を行う。
【００４８】
対応付け判別部１４は、左画像を基準画像とした初期視差と右画像を基準とした初期視差から、初期視差の対応付けの状態を、（ａ）正しい対応付け、（ｂ）オクルージョン、（ｃ）誤対応、の３種類に分類する。図８は上記３つの対応付けのようすを説明する図である。図８において、（ａ）は基準画像中の点Ａと参照画像中の点Ｂが互いに対応している状態、（ｂ）は基準画像中の点Ａと対応する参照画像中の点Ｂが基準画像中の点Ａ以外の点Ｃと互いに対応している状態、（ｃ）は基準画像中の点Ａと対応する参照画像中の点Ｂが基準画像中の点Ｃと互いに対応していない状態を示す。
【００４９】
視差補間部１５は、上記３つの対応付けの状態のうち、（Ｃ）の状態となっている領域の視差について、周囲の前景視差もしくは背景視差を用いた視差補間を行う。前景視差と背景視差は、上記（Ｃ）の領域と接する周囲の領域の視差の平均値をしきい値とし、平均値よりも絶対値の大きい視差を前景視差、小さい視差を背景視差として抽出する。視差の補間は（数６）により計算する。
【００５０】
【数６】
0003769850.tif 000007
【００５１】
（数６）において積分路Ｃを、周囲の領域で上記（Ｃ）の領域と接する画素のうち、その平均値よりも絶対値が大きいものか小さいもののみに限定することにより、前景視差による視差補間と背景視差による視差補間を行う。最終的な視差値は、前景視差と背景視差とによる視差補間結果のうち対応先との画素値の差が小さい方の視差値を選択して決定する。
【００５２】
以上のように本実施の形態によれば、視差推定値が不安定になりやすい物体輪郭線近傍およびオクルージョン境界付近での視差を、周囲の前景視差と背景視差のいずれか片方を参照して推定することにより、前景視差と背景視差の境界付近で、視差が前景視差と背景視差の中間的な値となることがなく、中間視点画像の物体輪郭付近での画質を改善できる。
【００５３】
（第４の実施の形態）
図９は本発明の第４の実施の形態における多視点画像圧縮伝送システムの送信側の構成図である。図９において、１０１ａ〜１０１ｄは各視点位置での画像を撮像するカメラ、１０２はカメラ１とカメラ４の画像を圧縮し符号化する画像圧縮符号化部、１０３ａは画像圧縮符号化部１０２が圧縮符合化した画像データを復号化伸長する復号化画像伸長部、１０４ａは復号化画像伸長部１０３ａが復号化伸長したカメラ１とカメラ４の画像からカメラ２とカメラ３の視点での画像を予測し生成する中間視点画像生成部、１０５はカメラ２とカメラ３の画像について中間視点画像生成部１０４ａが生成した画像との残差を圧縮し符号化する残差圧縮符号化部である。以下に上記構成の動作について説明する。
【００５４】
画像圧縮符号化部１０２は、多視点画像中の複数の画像（本実施の形態では４視点の画像の両端の視点の画像）を画像間のブロック相関等を利用した既存の技術により圧縮し符号化する。図１０は画像圧縮伝送符号化部の構成の一例を示す。図１０において、１０７ａ，１０７ｂは８×８画素もしくは１６×１６画素毎にＤＣＴ計算を行いＤＣＴ係数を計算するＤＣＴ手段、１０８ａ，１０８ｂはＤＣＴ係数を量子化する量子化手段、１０９は逆量子化手段、１１０は逆ＤＣＴ計算をおこなう逆ＤＣＴ手段、１１１は視差検出手段、１１２は視差補償手段、１１３は量子化されたＤＣＴ係数と視差を符号化する符号化手段である。以下に上記構成の動作について説明する。
【００５５】
ＤＣＴ手段１０７ａは、カメラ１の画像をブロック毎に処理し、各ブロックについてＤＣＴ係数を計算する。量子化手段１０８ａは、前記ＤＣＴ係数を量子化する。逆量子化手段１０９ａは、前記量子化されたＤＣＴ係数を逆量子化する。逆ＤＣＴ手段１１０ａは、逆量子化されたＤＣＴ係数を逆変換し、受信側で得られるカメラ１の画像を復元する。視差検出手段１１１は前記復元されたカメラ１の画像とカメラ４の画像間でブロックマッチングを行い、カメラ１の画像を基準とした視差をブロック毎に計算する。視差補償手段１１２は、前記復元されたカメラ１の画像と前記ブロック毎の視差を用いてカメラ４の画像を予測する。（すなわち、動画像の動き補償に相当する処理を行う。）ＤＣＴ手段１０７ｂは、カメラ４の画像と前記予測画像の残差をブロック毎に処理しＤＣＴ係数を計算する。量子化手段１０８ｂは前記残差のＤＣＴ係数を量子化する。符号化手段１１３は、カメラ１の画像の量子化されたＤＣＴ係数、ブロック毎の視差、視差補償の残差の量子化されたＤＣＴ係数を符号化する。
【００５６】
復号化画像伸長部１０３は、画像圧縮符号化部１０２によって圧縮符号化された画像データを復号化し伸長する。図１１は復号化画像伸長部１０３の構成の一例を示す図である。図１１において、１１４ａは復号化手段、１０９ｂ、１０９ｃは逆量子化手段、１１０ｂ，１１０ｃは逆ＤＣＴ手段、１１２ｂは視差補償手段である。以下に上記構成の動作について説明する。
【００５７】
復号化手段１１４ａは圧縮符号化されたデータを復号化し、カメラ１の画像の量子化されたＤＣＴ係数、ブロック毎の視差、視差補償の残差の量子化されたＤＣＴ係数を伸長する。カメラ１の画像の量子化されたＤＣＴ係数は、逆量子化手段１０９ｂによって逆量子化され、逆ＤＣＴ手段１１０ｂによって画像として伸長される。動き補償手段１１２ｂは、前記伸長されたカメラ１の画像と復号化された視差から、カメラ２の予測画像を生成する。そして、逆量子化手段１０９ｃ、逆ＤＣＴ手段１１０ｃによって伸長された残差を前記予測画像に加えることにより、カメラ４の画像を伸長する。
【００５８】
中間視点画像生成部１０４ａは、本発明の第１〜第３のいずれかの実施の形態に示す方法によって、カメラ１とカメラ４の画像から画素毎の視差を計算し、カメラ２とカメラ３の画像を予測し生成する。
【００５９】
残差圧縮符号化部１０５は、カメラ２とカメラ３の画像と前記予測画像の残差を圧縮し符号化する。中間視点画像生成部１０４ａは視差を画素毎に計算するため、ブロックマッチングによるブロック毎の視差計算と比較して、精度よく視差を推定できる。その結果、中間視点画像の予測誤差（すなわち残差）を小さくすることができ、圧縮効率を高めることができるとともに、より有効なビット割り当てを行うことができ、画質を維持した圧縮を行える。図１２は、残差圧縮符号化部の構成の一例を示す。図１２において、１０７ｃ，１０７ｄはＤＣＴ手段、１０８ｃ，１０８ｄは量子化手段、１１３ｂは符号化手段である。カメラ２、カメラ３の画像の残差はそれぞれＤＣＴ手段１０７ｃ，１０７ｄによってＤＣＴ係数に変換され、量子化手段１０８ｃ，１０８ｄによって量子化され、符号化手段１１３ｂによって符号化される。
【００６０】
図１３は本発明の第４の実施の形態における多視点画像圧縮伝送システムの受信側の構成図である。図１３において、１０３ｂは送信側の画像圧縮符号化部１０２が圧縮符号化したカメラ１とカメラ４の画像データを復号化伸長する復号化伸長部、１０４ｂは復号化画像伸長部１０３ｂが復号化伸長したカメラ１とカメラ４の画像からカメラ２とカメラ３の視点での画像を予測し生成する中間視点画像生成部、１０６はカメラ２とカメラ３の視点での予測画像の予測誤差（残差）を復号化し伸長する復号化残差伸長部である。復号化画像伸長部１０３ｂおよび中間視点画像生成部１０４ｂの動作については、送信側の復号化画像伸長部１０３ａおよび中間視点画像生成部１０４ａの動作と同一であるので説明を省略し、以下に復号化残差伸長部の動作について説明する。
【００６１】
復号化残差伸長部１０６は、送信側の残差圧縮符号化部１０５によって圧縮符号化されたカメラ２とカメラ３の視点での予測画像の予測誤差（残差）を復号化し伸長する。図１４は復号化残差伸長部１０６の構成の一例を示す。図１４において、１１４ｂは復号化手段、１０９ｄ，１０９ｅは逆量子化手段、１１０ｄ，１１０ｅは逆ＤＣＴ手段である。圧縮符号化されたカメラ２とカメラ３の画像の残差データは、復号化手段１１４ｂによって復号化され、それぞれ、逆量子化手段１０９ｄ，１０９ｅにより逆量子化され、逆ＤＣＴ手段１１０ｄ，１１０ｅにより伸長される。復号化伸長されたカメラ２とカメラ３の画像の残差を、中間視点画像生成部１０４ｂによって生成された画像にそれぞれ重畳することにより、カメラ２とカメラ３の視点の画像を復元する。
【００６２】
以上のように、本実施の形態によれば、送信側で多視点画像中の隣接しない２つの画像からその中間視点の画像を生成し、前記２つの画像と中間視点画像の残差を圧縮符号化して伝送し、受信側で前記２つの画像と中間視点画像の残差を復号化伸長し、前記２つの中間視点視点の画像を生成し、復号化伸長した残差を重畳して中間視点での画像を復元することにより、多視点画像を効率よく、また、画質を維持して圧縮伝送することができる。
【００６３】
なお、中間視点画像の生成は、多視点画像の両端の２視点（カメラ１とカメラ４の視点）での画像から中間視点での画像を生成する構成に限る必要はなく、カメラ２とカメラ４の画像からカメラ１とカメラ３の視点での画像を生成してもよく、カメラ１とカメラ３の画像からカメラ２とカメラ４の視点での画像を生成してもよく、カメラ２とカメラ３の画像からカメラ１とカメラ４の視点での画像を生成してもよく、それぞれ本発明に含まれる。
【００６４】
さらに、多視点画像の視点数は４視点に限る必要はなく、また、２視点以上の視点での画像からそれぞれの中間視点画像を生成してもよいのは明らかであり、本発明に含まれる。
【００６５】
なお、本発明の第１の実施の形態における信頼性評価手段４における初期視差の信頼性評価尺度としては、（数２）に示すものに限る必要はなく、（数７），（数８），（数９）に示す評価値を用いても同様の効果を得ることができ、本発明に含まれる。
【００６６】
【数７】
0003769850.tif 000008
【００６７】
【数８】
0003769850.tif 000009
【００６８】
【数９】
0003769850.tif 000010
【００６９】
（数７），（数８），（数９）は、評価値が大きいほど初期視差の信頼性が低いことを示し、評価値が小さいほど初期視差の信頼性が高いことを示す。また、（数７），（数８），（数９）は輝度勾配（それぞれの式の分母）が小さい画素においては値が不安定になるため、輝度勾配が一定のしきい値以下となる点では初期視差の信頼性が低いとする。
【００７０】
また、本発明の第１の実施の形態における信頼性評価手段４における初期視差の信頼性評価尺度としては、（数１）に示す残差平方和ＳＳＤを用いたものに限る必要はなく、（数１０）に示す残差絶対値和ＳＡＤを用いた（数１１），（数１２），（数１３）を用いても同様の効果を得ることができ、本発明に含まれる。
【００７１】
【数１０】
0003769850.tif 000011
【００７２】
【数１１】
0003769850.tif 000012
【００７３】
【数１２】
0003769850.tif 000013
【００７４】
【数１３】
0003769850.tif 000014
【００７５】
なお、（数１１），（数１２），（数１３）においても、輝度勾配（それぞれの式の分母）が小さい画素においては値が不安定になるため、輝度勾配が一定のしきい値以下となる点では初期視差の信頼性が低いとする。
【００７６】
さらに、画像間のノイズが小さい場合には、信頼性評価尺度として（数７），（数８），（数９），（数１１），（数１２），（数１３）の画像間のノイズの項σnを無視した式を用いてもよく、また、（数７），（数８），（数９），（数１１），（数１２），（数１３）の分子だけで初期視差の信頼性を評価してもよく、それぞれ本発明に含まれる。
【００７７】
また、本発明の第２の実施の形態における初期視差推定手段を、本発明の第１の実施の形態における視差推定部１と同一の動作をするものとしても同様の効果を得ることができ、本発明に含まれる。
【００７８】
なお、本発明の第１および第２の実施の形態において、クラスタリングを行う前に、入力画像に対してメディアンフィルタをかけることにより、物体輪郭付近で前景と背景の中間的な画素値を、前景か背景いずれかの領域の画素値で置き換え、視差地図の前景と背景の境界において視差が中間的な値となることを抑制でき、中間視点画像の物体輪郭付近での画質を改善でき、本発明に含まれる。
【００７９】
さらに、本発明の第１〜第３の実施の形態において、視差推定部によって計算された視差地図に対して、メディアンフィルタをかけた後中間視点画像を生成することにより、視差地図の前景背景間の境界を平滑化でき、その結果中間視点画像中の物体輪郭を平滑化でき、より見た目に自然な中間視点画像を生成でき、本発明に含まれる。
【００８０】
なお、本発明の第４の実施の形態において、隣接しない２つの視点での画像の圧縮符号化の方法としては、画像間（視点間）の相関を利用したものに限る必要はなく、時間方向の相関を利用したものを用いてもよく本発明に含まれる。
【００８１】
【発明の効果】
以上説明したように、本発明によれば、画像のクラスタリング結果を用いて、初期視差の信頼性が低い領域での視差を周囲の同一クラスタの画素における視差から決定する視差推定を行うことにより、前景物体の輪郭線と前景背景間の視差境界を一致させることができ、また、オクルージョンや物体輪郭線付近での視差を周囲の背景視差もしくは前景視差から決定できるため、中間視点画像中の物体輪郭を画質よく再現することができる。
【００８２】
また、クラスタリングの結果をさらにラベリングして空間的な連結性を考慮することにより、オクルージョン内に前景物体と類似した画素値の画素がある場合にも安定して前景視差と背景視差の境界を決定することができ、中間視点画像の前景輪郭付近の画質を改善することができる。
【００８３】
さらに、左画像基準の初期視差と右画像基準の初期視差の対応関係を考慮した視差推定を行うことにより、視差推定値が不安定になりやすい物体輪郭線近傍およびオクルージョン境界付近での視差を、周囲の前景視差と背景視差のいずれか片方を参照して推定し、前景視差と背景視差の境界付近で、視差が前景視差と背景視差の中間的な値ならないようにし、中間視点画像の物体輪郭付近での画質を改善することができる。
【００８４】
また、クラスタリングを行う前に、入力画像に対してメディアンフィルタをかけることにより、物体輪郭付近で前景と背景の中間的な画素値を、前景か背景いずれかの領域の画素値で置き換え、視差地図の前景と背景の境界において視差が中間的な値となることを抑制でき、中間視点画像の物体輪郭付近での画質を改善できる。
【００８５】
さらに、視差推定部によって計算された視差地図に対して、メディアンフィルタをかけた後中間視点画像を生成することにより、視差地図の前景背景間の境界を平滑化でき、その結果中間視点画像中の物体輪郭を平滑化でき、見た目により自然な中間視点画像を生成できる。
【００８６】
また、多視点画像伝送システムの送信側と受信側の双方で中間視点画像の生成を行うことにより、中間視点画像の伝送量（残差の伝送量）を少なくすることができ、その結果多視点画像を効率よく、また、画質を維持して圧縮伝送することができ、その実用的効果は大きい。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における視差推定方法および中間視点画像生成方法の構成図
【図２】同ブロックマッチングを示す図
【図３】同クラスタリングを示す図
【図４】同中間視点画像のぬけ領域を示す図
【図５】本発明の第２の実施の形態における視差推定方法および中間視点画像生成方法の構成図
【図６】同クラスタリング結果のラベリングを示す図
【図７】本発明の第３の実施の形態における視差推定方法および中間視点画像生成方法の構成図
【図８】（ａ）〜（ｃ）同対応付けの状態を説明する図
【図９】本発明の第４の実施の形態における多視点画像伝送システムの送信部の構成図
【図１０】本発明の第４の実施の形態における多視点画像伝送システムの画像圧縮符号化部の構成の一例を示す図
【図１１】本発明の第４の実施の形態における多視点画像伝送システムの復号化画像伸長部の構成の一例を示す図
【図１２】本発明の第４の実施の形態における多視点画像伝送システムの残差圧縮符号化部の構成の一例を示す図
【図１３】本発明の第４の実施の形態における多視点画像伝送システムの受信部の構成図
【図１４】本発明の第４の実施の形態における多視点画像伝送システムの復号化残差伸長部の構成の一例を示す図
【図１５】（ａ）〜（ｃ）平行撮影時の視差の分布の説明図
【図１６】（ａ）〜（ｃ）輻輳撮影時の視差の分布の説明図
【符号の説明】
１Ｌ，１Ｒ  視差推定部
２  中間視点画像生成部
３Ｌ，３Ｒ  初期視差推定手段
４Ｌ，４Ｒ  信頼性評価手段
５Ｌ，５Ｒ  クラスタリング手段
６Ｌ，６Ｒ  視差補間手段
７Ｌ，７Ｒ  画素シフト手段
８  中間視点画像統合手段
【図１】
0003769850.tif 000015
【図２】
0003769850.tif 000016
【図３】
0003769850.tif 000017
【図４】
0003769850.tif 000018
【図５】
0003769850.tif 000019
【図６】
0003769850.tif 000020
【図７】
0003769850.tif 000021
【図８】
0003769850.tif 000022
【図９】
0003769850.tif 000023
【図１０】
0003769850.tif 000024
【図１１】
0003769850.tif 000025
【図１２】
0003769850.tif 000026
【図１３】
0003769850.tif 000027
【図１４】
0003769850.tif 000028
【図１５】
0003769850.tif 000029
【図１６】
0003769850.tif 000030