(57)【特許請求の範囲】
【請求項１】
高画質の視点画像を用いて、低画質の視点画像の画質を改善する多視点画像処理装置であって、
前記高画質の視点画像と前記低画質の視点画像との間で、部分領域毎の対応付けを行い、視差を推定する視差推定手段と、
前記視差推定手段により推定された視差に基づいて、前記高画質の視点画像に対して視差補償を行い、前記視差補償した高画質の視点画像を用いて、前記低画質の視点画像の画質を改善した画像を生成する画像補正手段と、を備え、
前記画像補正手段が、
前記高画質の視点画像から補強信号画像を抽出し、
前記視差推定手段により推定された視差に基づいて、前記補強信号画像に対して前記部分領域毎に視差補償を行い、
前記部分領域毎に、前記低画質の視点画像に、対応する前記視差補償した補強信号画像を重畳し、
前記補強信号画像が、空間高周波成分の画像である、ことを特徴とする多視点画像処理装置。
【請求項２】
高画質の視点画像を用いて、低画質の視点画像の画質を改善する多視点画像処理装置であって、
前記高画質の視点画像と前記低画質の視点画像との間で、部分領域毎の対応付けを行い、視差を推定する視差推定手段と、
前記視差推定手段により推定された視差に基づいて、前記高画質の視点画像に対して視差補償を行い、前記視差補償した高画質の視点画像を用いて、前記低画質の視点画像の画質を改善した画像を生成する画像補正手段と、を備え、
前記画像補正手段が、
前記高画質の視点画像から補強信号画像を抽出し、
前記視差推定手段により推定された視差に基づいて、前記補強信号画像に対して前記部分領域毎に視差補償を行い、
前記部分領域毎に、前記低画質の視点画像に、対応する前記視差補償した補強信号画像を重畳し、
前記補強信号画像が、テクスチャ成分の画像である、ことを特徴とする多視点画像処理装置。
【請求項３】
前記画像補正手段が、
トータルバリエーションフィルタを用いて、前記高画質の視点画像からテクスチャ成分を抽出する、ことを特徴とする請求項２に記載の多視点画像処理装置。
【請求項４】
高画質の視点画像を用いて、低画質の視点画像の画質を改善する多視点画像処理装置であって、
前記高画質の視点画像と前記低画質の視点画像との間で、部分領域毎の対応付けを行い、視差を推定する視差推定手段と、
前記視差推定手段により推定された視差に基づいて、前記高画質の視点画像に対して視差補償を行い、前記視差補償した高画質の視点画像を用いて、前記低画質の視点画像の画質を改善した画像を生成する画像補正手段と、を備え、
前記画像補正手段が、
前記高画質の視点画像から補強信号画像を抽出し、
前記視差推定手段により推定された視差に基づいて、前記補強信号画像に対して前記部分領域毎に視差補償を行い、
前記部分領域毎に、前記低画質の視点画像に、対応する前記視差補償した補強信号画像を重畳し、
前記補強信号画像が、色差成分の画像である、ことを特徴とする多視点画像処理装置。
【請求項５】
高画質の視点画像を用いて、低画質の視点画像の画質を改善する多視点画像処理方法であって、
前記高画質の視点画像及び前記低画質の視点画像を入力する第１のステップと、
前記高画質の視点画像と前記低画質の視点画像との間で、部分領域毎の対応付けを行い、視差を推定する第２のステップと、
前記推定した視差に基づいて、前記高画質の視点画像に対して視差補償を行い、前記視差補償した高画質の視点画像を用いて、前記低画質の視点画像の画質を改善した画像を生成する第３のステップと、を有し、
前記第３のステップが、
前記高画質の視点画像から補強信号画像を抽出し、
前記推定した視差に基づいて、前記補強信号画像に対して前記部分領域毎に視差補償を行い、
前記部分領域毎に、前記低画質の視点画像に、対応する前記視差補償した補強信号画像を重畳し、
前記補強信号画像が、空間高周波成分の画像、テクスチャ成分の画像または色差成分の画像である、ことを特徴とする多視点画像処理方法。
【請求項６】
コンピュータを、請求項１から４までのいずれか一項に記載の多視点画像処理装置として機能させるための多視点画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の視点画像（多視点画像）のうちのある視点の低画質画像に対し、その画質を改善する多視点画像処理装置、方法及びプログラムに関する。
【背景技術】
【０００２】
従来、１つの対象物を複数の視点から撮影し、これにより得られた多視点画像を伝送する多視点画像処理システムが知られている。多視点画像（２視点画像を含む）を立体テレビ放送等で用いる場合には、ある視点の画像は高画質で伝送し、他の視点の画像はより低画質で伝送する。この多視点画像処理システムによれば、伝送帯域を節減することができ、効率的な多視点画像の伝送を実現することができる。
【０００３】
このような多視点画像処理システムにより伝送された多視点画像に画質差があったとしても、視聴者は、視差の認知が可能であるため、提示された画像に立体感を感じ取ることができる。また、人間の視覚特性は、より高画質な画像に頼って精細な絵柄を認知する傾向があるため、視聴者は、どちらかというと高画質寄りの主観画質として画像を認知することができる。
【０００４】
ところで、画像処理の技術分野では、画質を改善する技術が知られている。例えば、複数の画像を用いて画質を向上する技術として複数枚超解像がある（特許文献１）。この複数枚超解像技術は、高解像度画像を仮定し、この仮定した高解像度画像から所定の関数を用いて、低解像度画像の画素毎に画素値を推定し、推定した画素値と観測した画素値との間の差が最小になるように、高解像度画像を探索するものである。
【０００５】
また、例えば、物体の３次元モデルを用いたテクスチャの超解像技術が提案されている（特許文献２）。この超解像技術は、低画質の画像から、高品質で、かつ任意の位置の置かれた擬似的な光源下での被写体画像を生成するものである。具体的には、この超解像技術を実現する装置は、光源及び視点の位置情報並びに被写体の表面形状を表す法線情報から被写体の形状に関する第一幾何パラメータを算出し、法線情報の空間的な解像度よりも高い解像度の成分をもつ幾何パラメータである表現子を空間的に拡張し、拡張した表現子を用いて第一幾何パラメータを補正し、補正後の第一幾何パラメータを反射モデルに適用することにより、高画質画像を生成する。
【０００６】
また、例えば、視点間の視差を動きベクトルとみなして符号化を行う多視点画像符号化手法が提案されている（特許文献３）。この多視点画像符号化手法では、立体画像圧縮装置が、立体画像を構成する多視点画像を１枚の画像に多重して圧縮する際に、動きベクトルをオフセットベクトル及びローカル動きベクトルに分解し、動画ストリーム中に挿入する。そして、立体画像伸長装置が、動画ストリームを受信して伸長する際に、オフセットベクトル及びローカル動きベクトルを１本の動きベクトルに合成し、合成した動きベクトルを用いて立体画像を復元する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−１２７２４１号公報
【特許文献２】特表２０１１−５２２３１６号公報
【特許文献３】特開２００５−１１０１１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、視点によって画質の異なる従来の立体テレビでは、視聴者は、目や精神に疲労や酔いを生じたり、片目をつぶったときの画質差を違和感として感じたり、にじみのような画質劣化を感じたりするという問題があった。
【０００９】
また、前述の特許文献１に記載された複数枚超解像技術は、複数の低解像の画像列から高解像の画像を生成するものであり、画像間に画質差がある場合を積極的に考慮していない。また、複数枚超解像技術では、低解像の画像列には折り返し歪が存在することが前提となるため、撮像時に折り返し歪が付加されていない場合には、有効に動作しない。
【００１０】
また、前述の特許文献２に記載された３次元モデルを用いたテクスチャの超解像技術では、多視点画像に応用するために、３次元モデルの構築及び視点毎のレンダリングが必要となることから、ハードウェア及び演算が極端に大規模なものとなる。
【００１１】
また、前述の特許文献３に記載された視差を動きベクトルとみなして符号化を行う手法では、視点の異なる画像列を動画像とみなして符号化を行うため、視点毎に解像度が異なるような場合が考慮されていない。
【００１２】
このように、特許文献１〜３は、画質差がある多視点画像において、低画質画像の画質を改善する手法について何ら言及していない。低画質画像の画質を改善することができれば、視点によって画質の異なる従来の立体テレビにおける目の疲労、酔い等の問題を解決することができる。
【００１３】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、ある視点の低画質画像（低画質の視点画像）を、別の視点の高画質画像（高画質の視点画像）に基づいて精細化することが可能な多視点画像処理装置、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【００１４】
前記した課題を解決するため、本発明の請求項１に係る多視点画像処理装置は、高画質の視点画像を用いて、低画質の視点画像の画質を改善する多視点画像処理装置であって、前記高画質の視点画像と前記低画質の視点画像との間で、部分領域毎の対応付けを行い、視差を推定する視差推定手段と、前記視差推定手段により推定された視差に基づいて、前記高画質の視点画像に対して視差補償を行い、前記視差補償した高画質の視点画像を用いて、前記低画質の視点画像の画質を改善した画像を生成する画像補正手段と、を備え、前記画像補正手段が、前記高画質の視点画像から補強信号画像を抽出し、前記視差推定手段により推定された視差に基づいて、前記補強信号画像に対して前記部分領域毎に視差補償を行い、前記部分領域毎に、前記低画質の視点画像に、対応する前記視差補償した補強信号画像を重畳し、前記補強信号画像が、空間高周波成分の画像である、ことを特徴とする。係る構成によれば、多視点画像に高画質の視点画像と低画質の視点画像が含まれる場合において、低画質の視点画像の画質を改善することができる。例えば、伝送帯域を削減可能な、左眼用と右眼用の伝送映像に画質差が生じるシステムであっても、本発明の多視点画像処理装置によれば、低画質の視点画像の画質を改善でき、両眼の画質差を小さくすることができる。また、係る構成によれば、低画質の視点画像の情報を残したまま、補間すべき高域情報を付加するため、実際の視点から見た情報を保持しつつ、低画質の視点画像の画質を改善することができる。
【００１９】
請求項２に係る多視点画像処理装置は、高画質の視点画像を用いて、低画質の視点画像の画質を改善する多視点画像処理装置であって、前記高画質の視点画像と前記低画質の視点画像との間で、部分領域毎の対応付けを行い、視差を推定する視差推定手段と、前記視差推定手段により推定された視差に基づいて、前記高画質の視点画像に対して視差補償を行い、前記視差補償した高画質の視点画像を用いて、前記低画質の視点画像の画質を改善した画像を生成する画像補正手段と、を備え、前記画像補正手段が、前記高画質の視点画像から補強信号画像を抽出し、前記視差推定手段により推定された視差に基づいて、前記補強信号画像に対して前記部分領域毎に視差補償を行い、前記部分領域毎に、前記低画質の視点画像に、対応する前記視差補償した補強信号画像を重畳し、前記補強信号画像が、テクスチャ成分の画像である、ことを特徴とする。係る構成によれば、低画質の視点画像に対して、非輪郭的な振動成分のみを付加するため、エッジ部分のリンギング等のアーチファクトを防止しつつ、低画質の視点画像の画質を改善することができる。
【００２０】
請求項３に係る多視点画像処理装置は、請求項２に記載の多視点画像処理装置において、前記画像補正手段が、トータルバリエーションフィルタを用いて、前記高画質の視点画像からテクスチャ成分を抽出する、ことを特徴とする。係る構成によれば、演算の平易なトータルバリエーションノルムの正則化を行うため、少ない演算コストでエッジ部分のリンギング等のアーチファクトを防止しつつ、低画質の視点画像の画質を改善することができる。
【００２１】
請求項４に係る多視点画像処理装置は、高画質の視点画像を用いて、低画質の視点画像の画質を改善する多視点画像処理装置であって、前記高画質の視点画像と前記低画質の視点画像との間で、部分領域毎の対応付けを行い、視差を推定する視差推定手段と、前記視差推定手段により推定された視差に基づいて、前記高画質の視点画像に対して視差補償を行い、前記視差補償した高画質の視点画像を用いて、前記低画質の視点画像の画質を改善した画像を生成する画像補正手段と、を備え、前記画像補正手段が、前記高画質の視点画像から補強信号画像を抽出し、前記視差推定手段により推定された視差に基づいて、前記補強信号画像に対して前記部分領域毎に視差補償を行い、前記部分領域毎に、前記低画質の視点画像に、対応する前記視差補償した補強信号画像を重畳し、前記補強信号画像が、色差成分の画像である、ことを特徴とする。係る構成によれば、低画質の視点画像の情報を残したまま、補間すべき色差を付加するため、実際の視点から見た情報を保持しつつ、低画質の視点画像の画質を改善することができる。
【００２２】
請求項５に係る多視点画像処理方法は、高画質の視点画像を用いて、低画質の視点画像の画質を改善する多視点画像処理方法であって、前記高画質の視点画像及び前記低画質の視点画像を入力する第１のステップと、前記高画質の視点画像と前記低画質の視点画像との間で、部分領域毎の対応付けを行い、視差を推定する第２のステップと、前記推定した視差に基づいて、前記高画質の視点画像に対して視差補償を行い、前記視差補償した高画質の視点画像を用いて、前記低画質の視点画像の画質を改善した画像を生成する第３のステップと、を有し、前記第３のステップが、前記高画質の視点画像から補強信号画像を抽出し、前記推定した視差に基づいて、前記補強信号画像に対して前記部分領域毎に視差補償を行い、前記部分領域毎に、前記低画質の視点画像に、対応する前記視差補償した補強信号画像を重畳し、前記補強信号画像が、空間高周波成分の画像、テクスチャ成分の画像または色差成分の画像である、ことを特徴とする。
【００２３】
請求項６に係る多視点画像処理プログラムは、コンピュータを、請求項１から４までのいずれか一項に記載の多視点画像処理装置として機能させることを特徴とする。
【発明の効果】
【００２４】
以上のように、本発明によれば、ある視点の低画質画像を、別の視点の高画質画像に基づいて精細化することができ、低画質画像の画質を改善することができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施形態による多視点画像処理装置の構成例を示すブロック図である。
【図２】多視点画像処理装置の処理を示すフローチャートである。
【図３】実施例１の画像補正手段の構成例を示すブロック図である。
【図４】実施例１の画像補正手段の処理を示すフローチャートである。
【図５】実施例２の画像補正手段の構成例を示すブロック図である。
【図６】実施例２の画像補正手段の処理を示すフローチャートである。
【図７】実施例３の画像補正手段の構成例を示すブロック図である。
【図８】実施例４の画像補正手段の構成例を示すブロック図である。
【発明を実施するための形態】
【００２６】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔多視点画像処理装置〕
まず、本発明の実施形態による多視点画像処理装置の構成について説明する。図１は、多視点画像処理装置の構成例を示すブロック図であり、図２は、多視点画像処理装置の処理を示すフローチャートである。この多視点画像処理装置１は、視差推定手段１０及び画像補正手段２０を備えている。多視点画像処理装置１は、ある視点（視点１）から撮影された高画質画像と、別の視点（視点２）から撮影された低画質画像とを入力し、これらの画像に基づいて、低画質画像の画質を改善し、視点２の改善画像として出力する。
【００２７】
尚、多視点画像処理装置１は、さらに別の視点（視点Ｖ；Ｖは３以上の整数）から撮影された低画質画像も入力し、視点Ｖの低画質画像を改善し、視点Ｖの改善画像として出力するようにしてもよい。その場合の多視点画像処理装置１は、後述する「視点２」の低画質画像を「視点Ｖ」の低画質画像に置き換えた構成を付加したものとすればよい。
【００２８】
また、高画質画像と低画質画像とは、解像度または撮像レンズの焦点距離が異なるカメラまたはレンズにて撮影されたものであっても構わない。高画質画像と低画質画像との原点、倍率及び収差を考慮した対応付け（キャリブレーション）は、図１には示していない低画質画像校正手段によりなされるものとする。このキャリブレーションは、高画質画像を撮影するレンズと低画質画像を撮影するレンズとの光軸及び前側光学主点を一致させたときに、両画像上における被写体の位置及び大きさが一致するような、画像座標間の対応付けを意味する。
【００２９】
また、高画質画像と低画質画像とは、異なる量子化方法で量子化されたもの、例えば、異なるビット深度（量子化ビット数）で量子化されたものであっても構わない。高画質画像及び低画質画像の量子化方法を一致させる処理も、図１には示していない低画質画像校正手段によりなされるものとする。
【００３０】
以下、低画質画像をＬ、高画質画像をＨとし、低画質画像Ｌの量子化のダイナミックレンジ及び特性曲線を、高画質画像Ｈの量子化のダイナミックレンジ及び特性曲線に整合させる関数をｂとする。高画質画像Ｈにおける画像座標（Ｐ）（Ｐは２次元のベクトル）の画素値をＨ（Ｐ）、低画質画像Ｌにおける画像座標（ｐ）（ｐは２次元のベクトル）の画素値をＬ（ｐ）とする。
【００３１】
また、前記キャリブレーションによる高画質画像Ｈ上の画像座標Ｐから低画質画像Ｌ上の画像座標ｐへの対応付けを、以下の式のように、ベクトル関数ｃにて表すものとする。
【数１】
0005940812.tif 000002
【００３２】
多視点画像処理装置１が視点１の高画質画像Ｈ及び視点２の低画質画像Ｌを入力すると（ステップＳ２０１）、図示しない低画質画像校正手段は、視点２の低画質画像Ｌを、キャリブレーションによって高画質画像Ｈの画像座標系に一致させ、高画質画像Ｈの画像座標系に一致した低画質画像Ｌを、高画質画像Ｈの量子化特性に一致させ、校正済み低画質画像Ｍを生成する（ステップＳ２０２）。校正済み低画質画像Ｍは、視差推定手段１０及び画像補正手段２０に出力される。例えば、低画質画像校正手段は、低画質画像Ｌの解像度を高画質画像Ｈの解像度に一致させ、低画質画像Ｌのビット深度を高画質画像Ｈのビット深度に一致させる。低画質画像校正手段により、校正済み低画質画像Ｍの画像座標系は高画質画像Ｈの画像座標系に一致することになるが、両画像間の視差は存在する。
【００３３】
尚、図示しない低画質画像校正手段は、視差推定手段１０及び画像補正手段２０に含まれるようにしてもよい。この場合、視差推定手段１０及び画像補正手段２０は、視点２の低画質画像Ｌを入力し、校正済み低画質画像Ｍを生成する。また、低画質画像Ｌと高画質画像Ｈとの間で、画像座標系及び量子化特性が一致している場合には、低画質画像校正手段による処理は不要である。
【００３４】
ここで、低画質画像Ｌを、キャリブレーションによって高画質画像Ｈの画像座標系に一致させ、かつ高画質画像Ｈの量子化特性に一致させた画像である校正済み低画質画像Ｍは、以下の式で表される。
【数２】
0005940812.tif 000003
【００３５】
尚、前記式（２）の演算において、ｃ（Ｐ）が非格子点（水平座標または垂直座標のいずれか一方または両方が非整数の点）となった場合には、多視点画像処理装置１は、低画質画像Ｌにおけるｃ（Ｐ）近傍の格子点上の画素値に基づいて、補間演算（例えば、最近傍補間、双一次補間、双三次補間等）によって画素値Ｌ（ｃ（Ｐ））を定め、それらを関数ｂによって量子化の特性を補償し、ｂ（Ｌ（ｃ（Ｐ）））を求め、校正済み低画質画像Ｍを得る。この場合、多視点画像処理装置１は、低画質画像Ｌにおけるｃ（Ｐ）近傍の格子点上の画素値を求め、それらを関数ｂによって量子化の特性を補償した後に補間演算を施し、その結果をｂ（Ｌ（ｃ（Ｐ）））とみなし、校正済み低画質画像Ｍを得るようにしてもよい。
【００３６】
また、多視点画像処理装置１は、以下の式のように、補間演算（汎関数Ｆ；画像Ｆ［Ｌ］は小数画素位置における画素値を補間演算により定義した連続な定義域の画像）によって小数画素位置の画素値を定めた後、画像座標ｃ（Ｐ）の画素値を求め、校正済み低画質画像Ｍを得るようにしてもよい。
【数３】
0005940812.tif 000004
【００３７】
例えば、補間演算Ｆは、以下の式のように、インパルス応答がｆ（ｐ）のフィルタ係数の畳み込みによることができる。
【数４】
0005940812.tif 000005
ｆ（ｐ）は、例えば、Ｓｉｎｃ関数、Ｌａｎｃｚｏｓ関数に基づき定義することができる。
【００３８】
視差推定手段１０は、視点１の高画質画像Ｈを入力すると共に、図示しない低画質画像校正手段から視点２の校正済み低画質画像Ｍを入力し、高画質画像Ｈと校正済み低画質画像Ｍとの間のパターン照合により、部分領域毎の対応付けを行い、視差を推定し、視差ベクトル（視差マップＤ）を生成する（ステップＳ２０３）。視差ベクトルは、画像補正手段２０に出力される。尚、高画質画像Ｈと校正済み低画質画像Ｍとの間のパターン照合による対応付けは、高画質画像Ｈと低画質画像Ｌとの間のパターン照合による対応付けでもある。
【００３９】
例えば、視差推定手段１０は、ブロックマッチング法により、以下の式のように、高画質画像Ｈの画素値Ｈ（Ｐ）と校正済み低画質画像Ｍの画素値Ｍ（Ｐ）との間で部分領域毎のマッチングを行い、視差を推定し、視差マップＤ（Ｐ）を生成する。
【数５】
0005940812.tif 000006
ここで、視差マップＤ（Ｐ）は、マッチングした部分領域を基準にした、高画質画像Ｈの画像座標Ｐと校正済み低画質画像Ｍの画像座標Ｐとの間の差をいい、画像座標Ｐにおいて、その差の大きさ及び方向を示すべクトル（視差ベクトル）で表したものをいう。Ｂは部分領域（ブロック領域）、Ｓは探索領域を表す。
【００４０】
尚、前記式（５）は、高画質画像Ｈと校正済み低画質画像Ｍとの間の差の絶対値和（ＳＡＤ値；Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）の最小化結果を視差として求めるものであるが、この代わりに、差の二乗和（ＳＳＤ値;Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）の最小化結果、または正規化相互相関の最大化結果を視差として求めるようにしてもよい。また、部分領域のブロック内において重み付け（例えば、ブロック中心からの距離に応じて単調減少する重み付け）を施すようにしてもよい。また、全ての画像座標Ｐについて視差を求めないで、間引いた画像座標のみで視差を求め、間引かれた画像座標については、補間処理により視差を定義するようにしてもよい。また、視差の推定に先立って、高画質画像Ｈ及び校正済み低画質画像Ｍのいずれかまたはその両方に対し、フィルタ処理（例えば、ガウシアンフィルタ）を適用するようにしてもよい。これにより、ノイズの影響を抑え、視差を頑健に求めることができる。
【００４１】
画像補正手段２０は、視点１の高画質画像Ｈを入力し、図示しない低画質画像校正手段から視点２の校正済み低画質画像Ｍを入力し、視差推定手段１０から視差ベクトル（視差マップＤ）を入力し、視差マップＤを用いて高画質画像Ｈの視差補償を行い、視差補償した高画質画像Ｈ及び校正済み低画質画像Ｍに基づいて、低画質画像Ｌに対して画質改善した改善画像Ｋを生成し（ステップＳ２０４）、改善画像Ｋを外部へ出力する（ステップＳ２０５）。尚、画像補正手段２０の詳細については、後述する実施例１〜４にて説明する。
【００４２】
〔実施例１〕
まず、実施例１の画像補正手段２０について詳細に説明する。実施例１の画像補正手段２０は、校正済み低画質画像Ｍの部分領域を、視差補償した高画質画像Ｈに置換し、改善画像Ｋを生成することを特徴とする。
【００４３】
図３は、実施例１の画像補正手段２０の構成例を示すブロック図であり、図４は、実施例１の画像補正手段２０の処理を示すフローチャートである。この画像補正手段２０−１は、視差補償手段２１を含む画像置換手段２２を備えている。画像補正手段２０−１は、視点１の高画質画像Ｈを入力し、低画質画像校正手段から視点２の校正済み低画質画像Ｍを入力し、視差推定手段１０から視差ベクトル（視差マップＤ）を入力し、視差マップＤに基づいて高画質画像Ｈを視差補償し、その結果を校正済み低画質画像Ｍ上に貼り込み（画像を部分領域毎に置換し）、視点２の改善画像Ｋを生成して外部へ出力する。
【００４４】
具体的には、画像補正手段２０−１が高画質画像Ｈ、視差マップＤ及び校正済み低画質画像Ｍを入力すると（ステップＳ４０１）、画像置換手段２２の視差補償手段２１は、高画質画像Ｈの画素値Ｈ（Ｐ）及び視差マップＤの視差ベクトルＤ（Ｐ）を入力し、以下に示す式（６）の上段に示す画素値Ｈ（Ｐ＋Ｄ（Ｐ））を生成する演算（視差補償の演算）を行うことで、高画質画像Ｈを視差補償し、視差補償した画素値Ｈ（Ｐ＋Ｄ（Ｐ））を生成する（ステップＳ４０２）。
【００４５】
画像置換手段２２は、校正済み低画質画像の画素値Ｍ（Ｐ）を入力し、校正済み低画質画像Ｍ上の部分領域に、対応する高画質画像Ｈの部分領域が存在するか否かを判定する（ステップＳ４０３）。具体的には、画像置換手段２２は、後述する式（６）の右辺の条件部分に示すように、高画質画像Ｈを視差補償した画像の座標値Ｐ＋Ｄ（Ｐ）が、校正済み低画質画像Ｍの画像内に存在するか否かを判定する。画像置換手段２２は、校正済み低画質画像Ｍ上の部分領域に、対応する高画質画像Ｈの部分領域が存在する場合（ステップＳ４０３：Ｙ）、校正済み低画質画像Ｍの当該部分領域に、対応する高画質画像Ｈの部分領域について視差補償して移動させた画素値Ｈ（Ｐ＋Ｄ（Ｐ））を貼り付ける（ステップＳ４０４）。すなわち、校正済み低画質画像Ｍの当該部分領域において、校正済み低画質画像Ｍの画素値Ｍ（Ｐ）を、対応する高画質画像Ｈの部分領域について視差補償して移動させた画素値Ｈ（Ｐ＋Ｄ（Ｐ））に置き換える。一方、画像置換手段２２は、校正済み低画質画像Ｍ上の部分領域に、対応する高画質画像Ｈの部分領域が存在しない場合（ステップＳ４０３：Ｎ）、校正済み低画質画像Ｍの当該部分領域には、校正済み低画質画像Ｍの画素値Ｍ（Ｐ）をそのまま使用する（ステップＳ４０５）。そして、画像置換手段２２は、ステップＳ４０４及びステップＳ４０５の処理により改善画像Ｋの画素値Ｋ（Ｐ）を生成し（ステップＳ４０６）、改善画像Ｋを外部へ出力する（ステップＳ４０７）。
【００４６】
このように、画像補正手段２０−１は、以下に示す式（６）のように、校正済み低画質画像Ｍ上の部分領域に対し、対応する高画質画像Ｈの部分領域を移動（視差補償）して置換することにより改善画像Ｋを生成する。
【数６】
0005940812.tif 000007
前記式（６）の下段に示すＭ（Ｐ）は、高画質画像Ｈを視差補償した結果、参照される高画質画像Ｈの画素が校正済み低画質画像Ｍの範囲外に位置する場合に、当該画素の代わりに校正済み低画質画像Ｍの画素値を充てることを示している。
【００４７】
以上のように、実施例１の画像補正手段２０−１を備えた多視点画像処理装置１によれば、低画質画像校正手段が、低画質画像Ｌを、キャリブレーションによって高画質画像Ｈの画像座標系に一致させると共に、高画質画像Ｈの量子化特性に一致させ、校正済み低画質画像Ｍを生成し、視差推定手段１０が、高画質画像Ｈと校正済み低画質画像Ｍとの間のパターン照合により、部分領域毎の対応付けを行い、視差マップＤを生成するようにした。そして、視差補償手段２１が、視差マップＤに基づいて高画質画像Ｈを視差補償し、画像置換手段２２が、校正済み低画質画像Ｍ上の部分領域に、対応する高画質画像Ｈの部分領域が存在する場合、校正済み低画質画像Ｍの当該部分領域に、視差補償した高画質画像Ｈを貼り付け、校正済み低画質画像Ｍ上の部分領域に、対応する高画質画像Ｈの部分領域が存在しない場合、校正済み低画質画像Ｍをそのまま使用して改善画像Ｋを生成するようにした。これにより、校正済み低画質画像Ｍの部分領域が、高画質画像Ｈに置換される。したがって、多視点画像のうちの低画質画像Ｌを、高画質画像Ｈに基づいて精細化することができ、低画質画像Ｌの画質を改善することができる。
【００４８】
また、例えば、伝送帯域を削減可能な、左眼用と右眼用の伝送映像に画質差が生じるシステムであっても、多視点画像処理装置１を用いることにより、低画質画像Ｌの画質が改善されるから、両眼の画質差を小さくすることができる。また、視点によって画質の異なる従来の立体テレビでは、視聴者は、目や精神に疲労や酔いを生じたり、片目をつぶったときの画質差を違和感として感じたり、にじみのような画質劣化を感じたりするという問題があったが、多視点画像処理装置１を用いることにより、これらの問題を解決することができる。
【００４９】
（実施例１の変形例）
尚、実施例１の画像補正手段２０−１において、第１の変形例として、画像置換手段２２は、校正済み低画質画像Ｍ上の部分領域に、対応する高画質画像Ｈの部分領域を貼り付ける際に、以下の式（７）に示すように、視差ベクトルＤ（Ｐ）の信頼度に応じて、視差補償した高画質画像Ｈの画素値Ｈ（Ｐ）の貼り付けを行うか、校正済み低画質画像Ｍの画素値Ｍ（Ｐ）をそのまま使用するかを選択し、改善画像Ｋの画素値Ｋ（Ｐ）を生成するようにしてもよい。
【数７】
0005940812.tif 000008
【００５０】
視差ベクトルＤ（Ｐ）の信頼度は、視差マップＤを生成する視差推定手段１０により、ブロックマッチング時の評価値に基づいて判定される。例えば、視差推定手段１０は、前記式（５）の演算処理において、差の絶対値和（ＳＡＤ値）が所定の閾値以下の場合に、視差ベクトルＤ（Ｐ）は信頼できると判定し、差の絶対値和が所定の閾値よりも大きい場合に、視差ベクトルＤ（Ｐ）は信頼できないと判定する。視差推定手段１０は、このようにして判定した視差ベクトルＤ（Ｐ）の信頼度を画像補正手段２０−１の画像置換手段２２に出力する。
【００５１】
また、第２の変形例として、画像置換手段２２は、校正済み低画質画像Ｍ上の部分領域に、対応する高画質画像Ｈの部分領域を貼り付ける際に、以下の式（８）に示すように、視差ベクトルＤ（Ｐ）の信頼度λ（λは０以上１以下の実数とし、λが大きいほど信頼度が高いものとする。）に応じて、視差補償した高画質画像Ｈの画素値Ｈ（Ｐ）と校正済み低画質画像Ｍの画素値Ｍ（Ｐ）との按分比を制御し、視差補償した高画質画像Ｈの画素値Ｈ（Ｐ）及び校正済み低画質画像Ｍの画素値Ｍ（Ｐ）を用いて改善画像Ｋの画素値Ｋ（Ｐ）を生成するようにしてもよい。
【数８】
0005940812.tif 000009
【００５２】
以下、第２の変形例について具体的に説明する。例えば、視差推定手段１０は、差の絶対値和（ＳＡＤ値）または差の二乗和（ＳＳＤ値）を最小化するブロックマッチング法によって視差ベクトルＤ（Ｐ）を求めた場合、以下の式のように、これらの誤差値（ＳＡＤ値、ＳＳＤ値）の最小値ｅが小さいほど信頼度λが大きくなるような関数Λを用いて、信頼度λの値を定める。
【数９】
0005940812.tif 000010
Λは広義単調減少関数とし、その値域は０以上１以下の実数とする。
【００５３】
例えば、関数Λは、以下の式のように、予め定められた閾値θに基づいて定義することができる。
【数１０】
0005940812.tif 000011
【００５４】
また、関数Λは、以下の式のように、予め定められた２つの閾値θ０及びθ１（θ０＜θ１）に基づいて、折れ線関数によって定義することができる。
【数１１】
0005940812.tif 000012
【００５５】
また、例えば、視差推定手段１０は、相互相関を最大化するブロックマッチング法によって視差ベクトルＤ（Ｐ）を求めた場合、該相関値の最大値ｒが大きいほど信頼度λが大きくなるような関数Γを用いて、信頼度λの値を定める。
【数１２】
0005940812.tif 000013
Γは広義単調増加関数とし、その値域は０以上１以下の実数とする。
【００５６】
例えば、関数Γは、以下の式のように、予め定められた閾値θに基づいて定義することができる。
【数１３】
0005940812.tif 000014
【００５７】
また、関数Γは、以下の式のように、予め定められた２つの閾値θ０及びθ１（θ０＜θ１）に基づいて、折れ線関数によって定義することができる。
【数１４】
0005940812.tif 000015
【００５８】
以上のように、実施例１の変形例の画像補正手段２０−１を備えた多視点画像処理装置１によれば、視差推定手段１０が、ブロックマッチングの処理を示す前記式（５）の演算処理において、差の絶対値和（ＳＡＤ値）に基づいて視差ベクトルＤ（Ｐ）の信頼度を求めるようにした。すなわち、差の絶対値が小さい場合、視差ベクトルＤ（Ｐ）は信頼できる、または、視差ベクトルＤ（Ｐ）の信頼度が高くなるようにし、差の絶対値が大きい場合、視差ベクトルＤ（Ｐ）は信頼できない、または、視差ベクトルＤ（Ｐ）の信頼度が低くなるようにした。そして、画像置換手段２２が、視差ベクトルＤ（Ｐ）の信頼度に応じて、視差補償した高画質画像Ｈを使用するか、校正済み低画質画像Ｍを使用するかを選択し、または、視差補償した高画質画像Ｈと校正済み低画質画像Ｍとの按分比を制御し、改善画像Ｋを生成するようにした。すなわち、視差ベクトルＤ（Ｐ）の信頼度が高い場合、視差補償した高画質画像Ｈを使用し、またはその按分比が高くなるようにし、視差ベクトルＤ（Ｐ）の信頼度が低い場合、校正済み低画質画像Ｍを使用し、またはその按分比が高くなるようにした。これにより、多視点画像のうちの低画質画像Ｌを、高画質画像Ｈに基づいて一層精細化することができ、低画質画像Ｌの画質を一層改善することができる。
【００５９】
〔実施例２〕
次に、実施例２の画像補正手段２０について詳細に説明する。実施例２の画像補正手段２０は、高画質画像Ｈの高域成分（空間高周波成分）を視差補償し、校正済み低画質画像Ｍに対し、視差補償した高域成分を重畳し、改善画像Ｋを生成することを特徴とする。
【００６０】
図５は、実施例２の画像補正手段２０の構成例を示すブロック図であり、図６は、実施例２の画像補正手段２０の処理を示すフローチャートである。この画像補正手段２０−２は、高域通過型フィルタ手段２３、及び視差補償手段２４を含む画像重畳手段２５を備えている。画像補正手段２０−２は、視点１の高画質画像Ｈを入力し、低画質画像校正手段から視点２の校正済み低画質画像Ｍを入力し、視差推定手段１０から視差ベクトル（視差マップＤ）を入力し、高画質画像Ｈに高域通過型フィルタを適用し、視差マップＤに基づいて、適用後の高画質画像Ｈ（高域成分）を視差補償し、その結果を校正済み低画質画像Ｍ上に重畳し、視点２の改善画像Ｋを生成して外部へ出力する。
【００６１】
具体的には、画像補正手段２０−２が高画質画像Ｈ、視差マップＤ及び校正済み低画質画像Ｍを入力すると（ステップＳ６０１）、高域通過型フィルタ手段２３は、高画質画像Ｈに対して高域通過型フィルタを適用し、その結果を補強信号画像Ｇとして画像重畳手段２５に出力する（ステップＳ６０２）。高域通過型フィルタ手段２３は、高画質画像Ｈと校正済み低画質画像Ｍとの間の画質差に相当するスペクトル包絡を有するような高域通過特性を有することが好ましいが、必ずしもそうでなくとも構わない。
【００６２】
例えば、高域通過型フィルタ手段２３は、高域通過特性を有するタップ係数のディジタルフィルタを畳み込むことにより、補強信号画像Ｇを生成するようにしてもよい。簡単には、ラプラシアンフィルタを適用する。
【００６３】
また、例えば、高域通過型フィルタ手段２３は、高画質画像Ｈを周波数領域に変換した後、高域通過型の周波数特性を有する周波数応答を乗算し、その結果を空間領域に変換することにより、補強信号画像Ｇを生成するようにしてもよい。このとき、空間領域から周波数領域への変換には、フーリエ（Ｆｏｕｒｉｅｒ）変換、コサイン変換、サイン変換、アダマール（Ｈａｄａｍａｒｄ）変換、ウォルシュ（Ｗａｌｓｈ）変換、またはそれらを離散化したもの、高速アルゴリズム化したもの等を利用することができる。また、周波数領域から空間領域への変換には、前述した空間領域から周波数領域への変換手法に対して逆変換の手法を用いればよい。具体的には、高域通過型フィルタ手段２３は、高画質画像Ｈをフーリエ変換してスペクトル画像に変換し、スペクトル画像のうち、その空間周波数の大きさ（２次元空間周波数を（ｕ，ｖ）としたとき、その大きさを（ｕ2＋ｖ2）1/2とする。）が所定の値以下のスペクトル成分を０として高域スペクトル画像を生成する。そして、高域通過型フィルタ手段２３は、高域スペクトル画像に対して逆フーリエ変換を施し、補強信号画像Ｇを生成する。
【００６４】
さらに、例えば、高域通過型フィルタ手段２３は、２次元ウェーブレット分解により補強信号画像Ｇを生成するようにしてもよい。具体的には、高域通過型フィルタ手段２３は、入力した高画質画像Ｈを、水平低周波及び垂直低周波（ＬＬ）成分、水平高周波及び垂直低周波（ＨＬ）成分、水平低周波及び垂直高周波（ＬＨ）成分、水平高周波及び垂直高周波（ＨＨ）成分に分解し、ＬＬ成分を全て０に置き換えた後、２次元ウェーブレット分解の逆変換を実行することにより、補強信号画像Ｇを生成する。ウェーブレット分解に用いる基底関数には、例えば、ハール（Ｈａａｒ）基底、ドベシー（Ｄａｕｂｅｃｈｉｅｓ）基底を用いることができる。
【００６５】
画像重畳手段２５の視差補償手段２４は、高域通過型フィルタ手段２３から補強信号画像Ｇの画素値Ｇ（Ｐ）を入力すると共に、視差マップの視差ベクトルＤ（Ｐ）を入力し、以下の式（１５）の上段に示すαＧ（Ｐ＋Ｄ（Ｐ））の演算（視差補償した結果に係数α倍（αは正の実数）する演算）を行うことで、補強信号画像Ｇを視差補償して係数α倍し、画素値αＧ（Ｐ＋Ｄ（Ｐ））を生成する（ステップＳ６０３）。
【００６６】
画像重畳手段２５は、校正済み低画質画像Ｍの画素値Ｍ（Ｐ）を入力し、校正済み低画質画像Ｍ上の部分領域に、対応する補強信号画像Ｇの部分領域が存在するか否かを判定する（ステップＳ６０４）。具体的には、画像重畳手段２５は、実施例１の画像置換手段２２と同様の処理を行うことで、対応する補強信号画像Ｇの部分領域が存在するか否かを判定する。画像重畳手段２５は、校正済み低画質画像Ｍ上の部分領域に、対応する補強信号画像Ｇの部分領域が存在する場合（ステップＳ６０４：Ｙ）、校正済み低画質画像Ｍの当該部分領域に、対応する補強信号画像Ｇの部分領域について視差補償して移動させ係数α倍した画素値αＧ（Ｐ＋Ｄ（Ｐ））を重畳する（ステップＳ６０５）。一方、画像重畳手段２５は、校正済み低画質画像Ｍ上の部分領域に、対応する補強信号画像Ｇの部分領域が存在しない場合（ステップＳ６０４：Ｎ）、校正済み低画質画像Ｍの当該部分領域には、校正済み低画質画像Ｍの画素値Ｍ（Ｐ）をそのまま使用する（ステップＳ６０６）。そして、画像重畳手段２５は、ステップＳ６０５及びステップＳ６０６の処理により改善画像Ｋの画素値Ｋ（Ｐ）を生成し（ステップＳ６０７）、改善画像Ｋを外部へ出力する（ステップＳ６０８）。
【００６７】
このように、画像補正手段２０−２は、以下に示す式（１５）のように、校正済み低画質画像Ｍ上の部分領域に対し、対応する補強信号画像Ｇの部分領域を移動（視差補償）して係数α倍（αは正の実数）し、重畳することにより改善画像Ｋを生成する。
【数１５】
0005940812.tif 000016
前記式（１５）の下段に示すＭ（Ｐ）は、補強信号画像Ｇを視差補償して係数α倍した結果、参照される補強信号画像Ｇの画素が校正済み低画質画像Ｍの範囲外に位置する場合に、当該画素を重畳する代わりに、校正済み低画質画像Ｍの画素値を充てることを示している。
【００６８】
以上のように、実施例２の画像補正手段２０−２を備えた多視点画像処理装置１によれば、実施例１と同様に、低画質画像校正手段が、低画質画像Ｌを校正して校正済み低画質画像Ｍを生成し、視差推定手段１０が、視差マップＤを生成するようにした。そして、高域通過型フィルタ手段２３が、高画質画像Ｈに対して高域通過型フィルタを適用し、補強信号画像Ｇを生成し、視差補償手段２４が、視差マップＤに基づいて補強信号画像Ｇを視差補償して係数α倍し、画像重畳手段２５が、校正済み低画質画像Ｍ上の部分領域に、対応する補強信号画像Ｇの部分領域が存在する場合、校正済み低画質画像Ｍの当該部分領域に、視差補償して係数α倍した補強信号画像Ｇを重畳し、校正済み低画質画像Ｍ上の部分領域に、対応する補強信号画像Ｇの部分領域が存在しない場合、校正済み低画質画像Ｍをそのまま使用して改善画像Ｋを生成するようにした。これにより、校正済み低画質画像Ｍの部分領域に、高画質画像Ｈの高域成分が重畳される。したがって、多視点画像のうちの低画質画像Ｌを、高画質画像Ｈに基づいて精細化することができ、低画質画像Ｌの画質を改善することができる。
【００６９】
また、校正済み低画質画像Ｍの情報を残したまま、補間すべき高域成分の情報を付加するため、実際の視点から見た情報を保持しつつ、低画質画像Ｌの画質を改善することができる。また、実施例１と同様に、両眼の画質差を小さくすることができ、視点によって画質の異なる従来の立体テレビの問題を解決することができる。
【００７０】
（実施例２の変形例）
尚、実施例２の画像補正手段２０−２において、第１の変形例として、画像重畳手段２５は、校正済み低画質画像Ｍ上の部分領域に、対応する補強信号画像Ｇの部分領域を重畳する際に、以下の式（１６）に示すように、視差ベクトルＤ（Ｐ）の信頼度に応じて、補強信号画像Ｇの重畳を実行するか、校正済み低画質画像Ｍの画素値をそのまま使用するかを選択し、改善画像Ｋの画素値Ｋ（Ｐ）を生成するようにしてもよい。
【数１６】
0005940812.tif 000017
【００７１】
視差ベクトルＤ（Ｐ）の信頼度は、実施例１の変形例の場合と同様に、視差マップＤを生成する視差推定手段１０により、ブロックマッチング時の評価値（例えば、前記式（５）の演算処理における差の絶対値和（ＳＡＤ値））に基づいて判定される。
【００７２】
また、第２の変形例として、画像重畳手段２５は、校正済み低画質画像Ｍ上の部分領域に、対応する補強信号画像Ｇの部分領域を重畳する際に、以下の式（１７）に示すように、視差ベクトルＤ（Ｐ）の信頼度λ（λは０以上１以下の実数とし、λが大きいほど信頼度が高いものとする。）に応じて、校正済み低画質画像Ｍの画素値Ｍ（Ｐ）に対する視差補償した補強信号画像Ｇの画素値Ｇ（Ｐ）の重畳量を制御し、校正済み低画質画像Ｍの画素値Ｍ（Ｐ）及び視差補償した補強信号画像Ｇの画素値Ｇ（Ｐ）を用いて改善画像Ｋの画素値Ｋ（Ｐ）を生成するようにしてもよい。
【数１７】
0005940812.tif 000018
【００７３】
尚、実施例２における第２の変形例についての具体例は、実施例１における第１の変形例及び第２の変形例の具体例と同様に、関数Λまたは関数Γを用いて、信頼度λの値を定める。
【００７４】
以上のように、実施例２の変形例の画像補正手段２０−２を備えた多視点画像処理装置１によれば、視差ベクトルＤ（Ｐ）が信頼できる、または視差ベクトルＤ（Ｐ）の信頼度が高い場合に、校正済み低画質画像Ｍの部分領域に、高画質画像Ｈの高周波成分が重畳される。したがって、多視点画像のうちの低画質画像Ｌを、高画質画像Ｈに基づいて一層精細化することができ、低画質画像Ｌの画質を一層改善することができる。
【００７５】
〔実施例３〕
次に、実施例３の画像補正手段２０について詳細に説明する。実施例３の画像補正手段２０は、高画質画像Ｈのテクスチャ成分（変動成分）を視差補償し、校正済み低画質画像Ｍに対し、視差補償したテクスチャ成分を重畳し、改善画像Ｋを生成することを特徴とする。
【００７６】
図７は、実施例３の画像補正手段２０の構成例を示すブロック図である。この画像補正手段２０−３は、テクスチャ抽出手段２６、及び視差補償手段２４を含む画像重畳手段２５を備えている。画像補正手段２０−３は、視点１の高画質画像Ｈを入力し、低画質画像校正手段から視点２の校正済み低画質画像Ｍを入力し、視差推定手段１０から視差ベクトル（視差マップＤ）を入力し、高画質画像Ｈからテクスチャ成分を抽出し、視差マップＤに基づいて、高画質画像Ｈのテクスチャ成分を視差補償し、その結果を校正済み低画質画像Ｍ上に重畳し、視点２の改善画像Ｋを生成して外部へ出力する。
【００７７】
実施例３の画像補正手段２０−３の処理は、図６に示したステップＳ６０１〜ステップＳ６０８のうち、ステップＳ６０２のみが異なり、これ以外は同じである。
【００７８】
具体的には、画像補正手段２０−３が高画質画像Ｈ、視差マップＤ及び校正済み低画質画像Ｍを入力すると（ステップＳ６０１に対応）、テクスチャ抽出手段２６は、高画質画像Ｈからテクスチャ成分を抽出し、テクスチャ成分を補強信号画像Ｇとして画像重畳手段２５に出力する（ステップＳ６０２に対応）。
【００７９】
例えば、テクスチャ抽出手段２６には、トータルバリエーションフィルタ等の骨格成分（ストラクチャ成分）及びテクスチャ成分を分離するフィルタを適用し、トータルバリエーション正則化法を用いて高画質画像Ｈから骨格成分及びテクスチャ成分を分離し、分離したテクスチャ成分を補強信号画像Ｇとして出力するようにしてもよい。トータルバリエーション正則化法による骨格成分及びテクスチャ成分の分離手法は既知であるから、ここでは説明を省略する。詳細については、例えば「Jerome Gilles and Yves Meyer: Properties of BV-G Structures+Textures Decomposition Models. Application to Road Detection in Satellite Images, IEEE Transactions on Image Processing, vol.19, no.11, November 2010.」を参照されたい。
【００８０】
画像重畳手段２５の視差補償手段２４は、テクスチャ抽出手段２６から補強信号画像Ｇの画素値Ｇ（Ｐ）を入力すると共に、視差マップの視差ベクトルＤ（Ｐ）を入力し、前記式（１５）の上段に示すαＧ（Ｐ＋Ｄ（Ｐ））の演算（視差補償した結果に係数α倍（αは正の実数）する演算）を行うことで、補強信号画像Ｇを視差補償して係数α倍し、画素値αＧ（Ｐ＋Ｄ（Ｐ））を生成する（ステップＳ６０３に対応）。以下、画像重畳手段２５は、図６に示したステップＳ６０４〜ステップＳ６０８と同様の処理を行う。
【００８１】
このように、画像補正手段２０−３は、実施例１の画像置換手段２２と同様の処理を行うことで、対応する補強信号画像Ｇの部分領域が存在するか否かを判定し、前記式（１５）のように、校正済み低画質画像Ｍ上の部分領域に対し、対応する補強信号画像Ｇの部分領域を移動（視差補償）して係数α倍（αは正の実数）し、重畳することにより改善画像Ｋを生成する。後述する実施例４の画像補正手段２０−４についても同様である。
【００８２】
以上のように、実施例３の画像補正手段２０−３を備えた多視点画像処理装置１によれば、実施例１，２と同様に、低画質画像校正手段が、低画質画像Ｌを校正して校正済み低画質画像Ｍを生成し、視差推定手段１０が、視差マップＤを生成するようにした。そして、テクスチャ抽出手段２６が、高画質画像Ｈからテクスチャ成分を抽出して補強信号画像Ｇを生成し、視差補償手段２４が、視差マップＤに基づいて補強信号画像Ｇを視差補償して係数α倍し、画像重畳手段２５が、校正済み低画質画像Ｍ上の部分領域に、対応する補強信号画像Ｇの部分領域が存在する場合、校正済み低画質画像Ｍの当該部分領域に、視差補償して係数α倍した補強信号画像Ｇを重畳し、校正済み低画質画像Ｍ上の部分領域に、対応する補強信号画像Ｇの部分領域が存在しない場合、校正済み低画質画像Ｍをそのまま使用して改善画像Ｋを生成するようにした。これにより、校正済み低画質画像Ｍの部分領域に、高画質画像Ｈのテクスチャ成分が重畳される。したがって、多視点画像のうちの低画質画像Ｌを、高画質画像Ｈに基づいて精細化することができ、低画質画像Ｌの画質を改善することができる。
【００８３】
また、校正済み低画質画像Ｍに対して、テクスチャ成分である非輪郭的な振動成分のみを付加するため、エッジ部分のリンギング等のアーチファクトを防止しつつ、低画質画像Ｌの画質を改善することができる。テクスチャ抽出手段２６にトータルバリエーションフィルタを用いる場合には、演算の平易なトータルバリエーションノルムの正則化が行われるから、少ない演算コストで低画質画像Ｌの画質を改善することができる。
【００８４】
また、校正済み低画質画像Ｍの情報を残したまま、補間すべきテクスチャ成分の情報を付加するため、実施例２と同様に、実際の視点から見た情報を保持しつつ、低画質画像Ｌの画質を改善することができる。また、実施例１と同様に、両眼の画質差を小さくすることができ、視点によって画質の異なる従来の立体テレビの問題を解決することができる。
【００８５】
尚、実施例３の画像補正手段２０−３は、実施例２における第１の変形例及び第２の変形例と同様の変形例を適用することができる。
【００８６】
〔実施例４〕
次に、実施例４の画像補正手段２０について詳細に説明する。実施例４の画像補正手段２０は、高画質画像Ｈがカラー画像であり、低画質画像Ｌがモノクロ画像である場合に、高画質画像Ｈの色差成分を視差補償し、校正済み低画質画像Ｍに対し、視差補償した色差成分を重畳し、改善画像Ｋを生成することを特徴とする。
【００８７】
図８は、実施例４の画像補正手段２０の構成例を示すブロック図である。この画像補正手段２０−４は、色差抽出手段２７、及び視差補償手段２４を含む画像重畳手段２５を備えている。画像補正手段２０−４は、視点１の高画質画像Ｈ（カラー画像）を入力し、低画質画像校正手段から視点２の校正済み低画質画像Ｍ（校正済みモノクロ画像）を入力し、視差推定手段１０から視差ベクトル（視差マップＤ）を入力し、高画質画像Ｈから色差を抽出し、視差マップＤに基づいて、高画質画像Ｈの色差を視差補償し、その結果を校正済み低画質画像Ｍ上に重畳し、視点２の改善画像Ｋを生成して外部へ出力する。
【００８８】
実施例４の画像補正手段２０−４の処理は、図６に示したステップＳ６０１〜ステップＳ６０８のうち、ステップＳ６０２のみが異なり、これ以外は同じである。
【００８９】
具体的には、画像補正手段２０−４が高画質画像Ｈ、視差マップＤ及び校正済み低画質画像Ｍを入力すると（ステップＳ６０１に対応）、色差抽出手段２７は、高画質画像Ｈから色差を抽出し、色差を補強信号画像Ｇとして画像重畳手段２５に出力する（ステップＳ６０２に対応）。
【００９０】
例えば、色差抽出手段２７は、色マトリックス演算により、ＩＴＵ−Ｒ  ＢＴ．６０１に定めるＣｂ信号及びＣｒ信号、または、ＩＴＵ−Ｒ  ＢＴ．７０９に定めるＰｂ信号及びＰｒ信号を抽出するようにしてもよい。
【００９１】
画像重畳手段２５の視差補償手段２４は、色差抽出手段２７から補強信号画像Ｇの画素値Ｇ（Ｐ）を入力すると共に、視差マップの視差ベクトルＤ（Ｐ）を入力し、前記式（１５）の上段に示すαＧ（Ｐ＋Ｄ（Ｐ））の演算（視差補償した結果に係数α倍（αは正の実数）する演算）を行うことで、補強信号画像Ｇを視差補償して係数α倍し、画素値αＧ（Ｐ＋Ｄ（Ｐ））を生成する（ステップＳ６０３に対応）。以下、画像重畳手段２５は、図６に示したステップＳ６０４〜ステップＳ６０８と同様の処理を行う。
【００９２】
このように、画像補正手段２０−４は、前記式（１５）のように、校正済み低画質画像Ｍ上の部分領域に対し、対応する補強信号画像Ｇの部分領域を移動（視差補償）して係数α倍（αは正の実数）し、重畳することにより改善画像Ｋを生成する。つまり、画像補正手段２０−４の画像重畳手段２５は、輝度画像である校正済み低画質画像Ｍの部分領域に対し、対応する色差画像である補強信号画像Ｇの部分領域を移動（視差補償）して合成することにより、改善画像Ｋを生成する。
【００９３】
以上のように、実施例４の画像補正手段２０−４を備えた多視点画像処理装置１によれば、低画質画像校正手段が、低画質画像Ｌ（モノクロ画像）を校正して校正済み低画質画像Ｍを生成し、視差推定手段１０が、視差マップＤを生成するようにした。そして、色差抽出手段２７が、高画質画像Ｈ（カラー画像）から色差を抽出して補強信号画像Ｇを生成し、視差補償手段２４が、視差マップＤに基づいて補強信号画像Ｇを視差補償して係数α倍し、画像重畳手段２５が、輝度画像である校正済み低画質画像Ｍ上の部分領域に、対応する色差画像である補強信号画像Ｇの部分領域が存在する場合、校正済み低画質画像Ｍの当該部分領域に、視差補償して係数α倍した補強信号画像Ｇを重畳し、校正済み低画質画像Ｍ上の部分領域に、対応する色差画像である補強信号画像Ｇの部分領域が存在しない場合、校正済み低画質画像Ｍをそのまま使用して改善画像Ｋを生成するようにした。これにより、校正済み低画質画像Ｍの部分領域に、高画質画像Ｈの色差が重畳される。したがって、多視点画像のうちの低画質画像Ｌを、高画質画像Ｈに基づいて精細化することができ、低画質画像Ｌの画質を改善することができる。
【００９４】
また、高画質画像Ｈ及び低画質画像Ｌを送信側から多視点画像処理装置１へ伝送するシステムにおいて、送信側は、多視点画像のうちの一部の画像を色情報のない低画質画像Ｌとして伝送することができるため、同じ画質を得るために必要な伝送帯域を削減することができる。
【００９５】
また、校正済み低画質画像Ｍの情報を残したまま、補間すべき色差の情報を付加するため、実施例２と同様に、実際の視点から見た情報を保持しつつ、低画質画像Ｌの画質を改善することができる。また、実施例１と同様に、両眼の画質差を小さくすることができ、視点によって画質の異なる従来の立体テレビの問題を解決することができる。
【００９６】
尚、実施例４の画像補正手段２０−４は、実施例２における第１の変形例及び第２の変形例と同様の変形例を適用することができる。
【００９７】
以上、実施例１〜４を挙げて本発明を説明したが、本発明は前記実施例１〜４に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、前記実施例１〜３において、高画質画像Ｈと低画質画像Ｌとの間の画質の差異は、解像度の違い及び量子化方法の違いの他、高画質画像Ｈ及び低画質画像Ｌを符号化して伝送する際の符号化パラメータの違いに起因するものであってもよい。符号化パラメータは、例えば、直交変換係数に対する量子化ステップ等に用いるＱＰ（Ｑｕａｎｔｉｚａｔｉｏｎ  Ｐａｒａｍｅｔｅｒ：量子化パラメータ）値である。小さい値の（量子化の細かい）ＱＰ値を用いて符号化した画像が高画質画像Ｈであり、大きい値の（量子化の粗い）ＱＰ値を用いて符号化した画像が低画質画像Ｌである。この場合、高画質画像Ｈ及び低画質画像Ｌを送信側から多視点画像処理装置１へ伝送するシステムにおいて、送信側は、多視点画像のうちの一部の高画質画像Ｈを高圧縮に伝送することができるから、同じ画質を得るために必要な伝送帯域を削減することができる。
【００９８】
高画質画像Ｈと低画質画像Ｌとの間の画質の差異が解像度の違いに起因する場合には、送信側は、多視点画像のうちの一部の画像を解像度の低い低画質画像Ｌとして伝送することができるから、同じ画質を得るために必要な伝送帯域を削減することができる。
【００９９】
また、高画質画像Ｈと低画質画像Ｌとの間の画質の差異が画素値の量子化方法の違いに起因する場合には、送信側は、例えば、多視点画像のうちの一部の画像をビット深度の小さい低階調の低画質画像Ｌとして伝送することができるから、同じ画質を得るために必要な伝送帯域を削減することができる。
【０１００】
尚、本発明の実施形態による多視点画像処理装置１のハードウェア構成としては、通常のコンピュータを使用することができる。多視点画像処理装置１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。多視点画像処理装置１に備えた視差推定手段１０及び画像補正手段２０の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
【符号の説明】
【０１０１】
１  多視点画像処理装置
１０  視差推定手段
２０  画像補正手段
２１，２４  視差補償手段
２２  画像置換手段
２３  高域通過型フィルタ手段
２５  画像重畳手段
２６  テクスチャ抽出手段
２７  色差抽出手段
【図１】
0005940812.tif 000019
【図２】
0005940812.tif 000020
【図３】
0005940812.tif 000021
【図４】
0005940812.tif 000022
【図５】
0005940812.tif 000023
【図６】
0005940812.tif 000024
【図７】
0005940812.tif 000025
【図８】
0005940812.tif 000026