(57)【特許請求の範囲】
【請求項１】
入力画像から、前記入力画像の新しい視点の画像である新視点画像を生成する新視点画像生成装置であって、
前記入力画像は、対象物体の画像領域である前景画像領域と、前記前景画像領域以外の背景画像領域とから構成されており、
前記入力画像に対応するデプスマップに基づき、前記入力画像で前記前景画像領域をシフトさせることにより、欠落画素領域を含む新視点画像を生成する生成部と、
前記背景画像領域を構成する複数の背景画素のうち、前記入力画像において前記前景画像領域と前記背景画像領域との境界を示す複数のエッジ画素から所定の画素数離れた背景画素を複数の代表背景画素として選択する選択部と、
選択された前記複数の代表背景画素それぞれにおける前記背景画像領域のテクスチャのエッジ方向であるテクスチャ方向であって前記複数の代表背景画素それぞれのテクスチャ方向を算出し、前記代表背景画素それぞれの位置と前記欠落画素領域に含まれる複数の欠落画素それぞれの位置とに基づき、前記複数の欠落画素それぞれに対応するテクスチャ方向を示すテクスチャ方向マップを算出するテクスチャ方向マップ算出部と、
前記テクスチャ方向マップに従って、複数の背景画素を用いて、前記欠落画素領域を補間する補間処理部とを備え、
前記テクスチャ方向マップ算出部は、
前記複数の代表背景画素それぞれのテクスチャ方向を算出するテクスチャ方向算出部と、
前記代表背景画素それぞれの位置と前記複数の欠落画素それぞれの位置とに基づき、前記代表背景画素それぞれのテクスチャ方向を重み付けることで、前記複数の欠落画素それぞれに対応するテクスチャ方向を算出することにより、前記テクスチャ方向マップを算出するマップ算出部とを備える、
新視点画像生成装置。
【請求項２】
前記マップ算出部は、前記複数の欠落画素それぞれと前記代表背景画素それぞれとの距離、および、前記複数の欠落画素それぞれに対する前記代表背景画素それぞれの方向に従って、前記代表背景画素それぞれの重み付けされたテクスチャ方向が加重された方向を、前記複数の欠落画素それぞれの仮テクスチャ方向として算出し、算出した前記複数の欠落画素それぞれの仮テクスチャ方向を平均することで、前記複数の欠落画素それぞれに対応するテクスチャ方向を算出する、
請求項１に記載の新視点画像生成装置。
【請求項３】
算出された前記複数の代表背景画素それぞれのテクスチャ方向の信頼値を算出する信頼値算出部を備え、
前記マップ算出部は、前記複数の代表背景画素のうち、前記信頼値算出部により所定の閾値より大きい信頼値が算出された第１代表背景画素の位置と、前記複数の欠落画素それぞれの位置とに基づき、前記第１代表背景画素のテクスチャ方向それぞれのテクスチャ方向を重み付けることで、前記複数の欠落画素それぞれに対応するテクスチャ方向を算出する、
請求項１または２に記載の新視点画像生成装置。
【請求項４】
前記信頼値算出部は、
算出対象の代表背景画素に対する算出済みの代表背景画素の距離とベクトルの向きとに基づいて、前記算出対象の代表背景画素のテクスチャ方向の信頼値を算出する、
請求項３に記載の新視点画像生成装置。
【請求項５】
前記テクスチャ方向算出部は、
選択された前記複数の代表背景画素を起点として前記背景画像領域のテクスチャのエッジを追跡することで、前記テクスチャ方向を算出する、
請求項１〜４のいずれか１項に記載の新視点画像生成装置。
【請求項６】
さらに、
選択された前記代表背景画素ごとにエッジ強度を算出するエッジ強度算出部を備え、
前記テクスチャ方向マップ算出部は、前記代表背景画素の一のエッジ強度が閾値より大きい場合、前記代表背景画素の一のテクスチャ方向を算出する、
請求項１〜５のいずれか１項に記載の新視点画像生成装置。
【請求項７】
さらに、前記デプスマップに基づいて、前記入力画像において前記前景画像領域と前記背景画像領域との境界を示すエッジ画素を検出するエッジ検出部を備え、
前記選択部は、エッジ検出部により検出された前記エッジ画素から所定の方向に所定の画素数分離れた背景画素を前記代表背景画素として選択する、
請求項１〜６のいずれか１項に記載の新視点画像生成装置。
【請求項８】
前記選択部は、
前記エッジ検出部により検出された前記エッジ画素の水平微分係数の平均値と垂直微分係数の平均値とを算出し、算出された前記水平微分係数の平均値と前記垂直微分係数の平均値とを用いて、前記エッジ画素の直交方向を、前記所定の方向として決定し、決定した前記直交方向に前記所定の画素数分離れた背景画素を前記代表背景画素として選択する、
請求項７に記載の新視点画像生成装置。
【請求項９】
前記生成部は、
前記デプスマップのデプス値、右眼および左眼の距離、および、ゼロ視点位置に基づいて、前記入力画像で前記前景画像領域をシフトさせ、かつ、前記前景画像領域に対応する前記デプスマップの領域のデプス値をシフトさせることにより、前記欠落画素領域を含む新視点画像を生成する、
請求項１〜８のいずれか１項に記載の新視点画像生成装置。
【請求項１０】
さらに、
前記新視点画像に対応する新デプスマップをフィルタリングすることで、前記欠落画素領域に対応する前記新デプスマップの領域のデプス値であって所定値以下のデプス値を平滑化するフィルタを備える、
請求項１〜９のいずれか１項に記載の新視点画像生成装置。
【請求項１１】
前記補間処理部は、
算出された前記テクスチャ方向マップを参照し、前記複数の欠落画素それぞれに対応するテクスチャ方向を取得する方向取得部と、
取得した前記複数の欠落画素それぞれに対応するテクスチャ方向にあるエッジ画素から、当該複数の欠落画素それぞれまでの距離を算出する距離決定部と、
前記距離に基づき、対応する前記テクスチャ方向のおける背景画素を取得する画素取得部と、
取得した前記背景画素を用いて対応する前記テクスチャ方向の欠落画素の画素値を算出することで、前記欠落画素領域を補間する補間部とを備える、
請求項１〜１０のいずれか１項に記載の新視点画像生成装置。
【請求項１２】
入力画像から、前記入力画像の新しい視点の画像である新視点画像を生成する新視点画
像生成方法であって、
前記入力画像は、対象物体の画像領域である前景画像領域と、前記前景画像領域以外の背景画像領域とから構成されており、
前記入力画像に対応するデプスマップに基づき、前記入力画像で前記前景画像領域をシフトさせることにより、欠落画素領域を含む新視点画像を生成する生成ステップと、
前記背景画像領域を構成する複数の背景画素のうち、前記入力画像において前記前景画像領域と前記背景画像領域との境界を示す複数のエッジ画素から所定の画素数離れた背景画素を複数の代表背景画素として選択する選択ステップと、
選択された前記複数の代表背景画素それぞれにおける前記背景画像領域のテクスチャのエッジ方向であるテクスチャ方向であって前記複数の代表背景画素それぞれのテクスチャ方向を算出し、前記代表背景画素それぞれの位置と前記欠落画素領域に含まれる複数の欠落画素それぞれの位置とに基づき、前記複数の欠落画素それぞれに対応するテクスチャ方向を示すテクスチャ方向マップを算出するテクスチャ方向マップ算出ステップと、
前記テクスチャ方向マップに従って、複数の背景画素を用いて、前記欠落画素領域を補間する補間処理ステップとを含み、
前記テクスチャ方向マップ算出ステップは、
前記複数の代表背景画素それぞれのテクスチャ方向を算出するテクスチャ方向算出ステップと、
前記代表背景画素それぞれの位置と前記複数の欠落画素それぞれの位置とに基づき、前記代表背景画素それぞれのテクスチャ方向を重み付けることで、前記複数の欠落画素それぞれに対応するテクスチャ方向を算出することにより、前記テクスチャ方向マップを算出するマップ算出ステップとを含む、
新視点画像生成方法。
【請求項１３】
入力画像から、前記入力画像の新しい視点の画像である新視点画像を生成する新視点画像生成方法をコンピュータに実行させるためのプログラムであって、
前記入力画像は、対象物体の画像領域である前景画像領域と、前記前景画像領域以外の背景画像領域とから構成されており、
前記入力画像に対応するデプスマップに基づき、前記入力画像で前記前景画像領域をシフトさせることにより、欠落画素領域を含む新視点画像を生成する生成ステップと、
前記背景画像領域を構成する複数の背景画素のうち、前記入力画像において前記前景画像領域と前記背景画像領域との境界を示す複数のエッジ画素から所定の画素数離れた背景画素を複数の代表背景画素として選択する選択ステップと、
選択された前記複数の代表背景画素それぞれにおける前記背景画像領域のテクスチャのエッジ方向であるテクスチャ方向であって前記複数の代表背景画素それぞれのテクスチャ方向を算出し、前記代表背景画素それぞれの位置と前記欠落画素領域に含まれる複数の欠落画素それぞれの位置とに基づき、前記複数の欠落画素それぞれに対応するテクスチャ方向を示すテクスチャ方向マップを算出するテクスチャ方向マップ算出ステップと、
前記テクスチャ方向マップに従って、複数の背景画素を用いて、前記欠落画素領域を補間する補間処理ステップとを含み、
前記テクスチャ方向マップ算出ステップは、
前記複数の代表背景画素それぞれのテクスチャ方向を算出するテクスチャ方向算出ステップと、
前記代表背景画素それぞれの位置と前記複数の欠落画素それぞれの位置とに基づき、前記代表背景画素それぞれのテクスチャ方向を重み付けることで、前記複数の欠落画素それぞれに対応するテクスチャ方向を算出することにより、前記テクスチャ方向マップを算出するマップ算出ステップとを含む、
プログラム。
【請求項１４】
入力画像から、前記入力画像の新しい視点の画像である新視点画像を生成する集積回路であって、
前記入力画像は、対象物体の画像領域である前景画像領域と、前記前景画像領域以外の背景画像領域とから構成されており、
前記入力画像に対応するデプスマップに基づき、前記入力画像で前記前景画像領域をシフトさせることにより、欠落画素領域を含む新視点画像を生成する生成部と、
前記背景画像領域を構成する複数の背景画素のうち、前記入力画像において前記前景画像領域と前記背景画像領域との境界を示す複数のエッジ画素から所定の画素数離れた背景画素を複数の代表背景画素として選択する選択部と、
選択された前記複数の代表背景画素それぞれにおける前記背景画像領域のテクスチャのエッジ方向であるテクスチャ方向であって前記複数の代表背景画素それぞれのテクスチャ方向を算出し、前記代表背景画素それぞれの位置と前記欠落画素領域に含まれる複数の欠落画素それぞれの位置とに基づき、前記複数の欠落画素それぞれに対応するテクスチャ方向を示すテクスチャ方向マップを算出するテクスチャ方向マップ算出部と、
前記テクスチャ方向マップに従って、複数の背景画素を用いて、前記欠落画素領域を補
間する補間処理部とを備え、
前記テクスチャ方向マップ算出部は、
前記複数の代表背景画素それぞれのテクスチャ方向を算出するテクスチャ方向算出部と、
前記代表背景画素それぞれの位置と前記複数の欠落画素それぞれの位置とに基づき、前記代表背景画素それぞれのテクスチャ方向を重み付けることで、前記複数の欠落画素それぞれに対応するテクスチャ方向を算出することにより、前記テクスチャ方向マップを算出するマップ算出部とを備える、
集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像から新視点画像を生成する新視点画像生成装置および新視点画像生成方法に関する。
【背景技術】
【０００２】
あるシーンを新視点から見た画像は、デプス画像に基づくレンダリング（ＤＩＢＲ：Depth Image Based Rendering）技術を用いることで生成できることが知られている。つまり、あるシーンを所定の視点から見ている入力画像と、そのシーンの対象物間の距離を示すデプス画像とを用いて、あるシーンを新視点から見た新視点画像の生成することができる。この新視点画像は、元の視点のカメラ位置と新視点のカメラ位置との情報を用いたカメラの幾何学に基づき、生成することができ、元視点画像（入力画像）と生成された新視点画像とは、例えば左眼画像と右眼画像として３Ｄ表示に利用することができる。同様にして多視点画像群も生成することができる。多視点画像群は多視点３Ｄディスプレイ用として利用することができる。
【０００３】
したがって、上記ＤＩＢＲ技術を用いることで、１つの視点画像である入力画像とそれに対応するデプスマップとを用いて３Ｄ表示に用いられる３次元画像を生成することができる。
【０００４】
しかし、入力画像を用いて新視点画像を生成する際、入力画像（元視点画像）中で隠蔽領域であった領域には、情報を含まない（空である）未知領域（以下、穴領域ともよぶ）が生じる。これは、元視点画像における隠蔽領域が、新視点画像で可視化（非隠蔽化）されるからである。そのため、新視点画像を生成する際には、穴埋め方法または非隠蔽方法を用いて、穴領域を補間することが必要になる。
【０００５】
ここで、特許文献１では、デプスに基づく修復方法が提案されており、特許文献２では、画像特徴の方向に基づく穴補充方法が提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許出願公開第２０１０／０２３８１６０号明細書
【特許文献２】米国特許出願公開第２００９／００１６６４０号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１および特許文献２などの従来方法では、鮮明で自然な新視点画像を生成することができないという問題がある。それにより、３Ｄ画像の視覚的な品質が低下する。つまり、ユーザは３Ｄ画像に違和感を感じてしまう。
【０００８】
そこで、本発明の目的は、上記の問題点に着目したものであり、より鮮明でより自然な新視点画像を生成することができる新視点画像生成装置および新視点画像生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の一形態に係る新視点画像生成装置は、入力画像から、前記入力画像の新しい視点の画像である新視点画像を生成する新視点画像生成装置であって、前記入力画像は、対象物体の画像領域である前景画像領域と、前記前景画像領域以外の背景画像領域とから構成されており、前記入力画像に対応するデプスマップに基づき、前記入力画像で前記前景画像領域をシフトさせることにより、欠落画素領域を含む新視点画像を生成する生成部と、前記背景画像領域を構成する複数の背景画素のうち、前記入力画像において前記前景画像領域と前記背景画像領域との境界を示す複数のエッジ画素から所定の画素数離れた背景画素を複数の代表背景画素として選択する選択部と、選択された前記複数の代表背景画素それぞれにおける前記背景画像領域のテクスチャのエッジ方向であるテクスチャ方向であって前記複数の代表背景画素それぞれのテクスチャ方向を算出し、前記代表背景画素それぞれの位置と前記欠落画素領域に含まれる複数の欠落画素それぞれの位置とに基づき、前記複数の欠落画素それぞれに対応するテクスチャ方向を示すテクスチャ方向マップを算出するテクスチャ方向マップ算出部と、前記テクスチャ方向マップに従って、複数の背景画素を用いて、前記欠落画素領域を補間する補間処理部とを備える。
【００１０】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【００１１】
本発明の新視点画像生成装置および新視点画像生成方法は、より鮮明でより自然な新視点画像を生成することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、実施の形態１における新視点画像生成装置１００の構成の一例を示すブロック図である。
【図２Ａ】図２Ａは、実施の形態１におけるテクスチャ方向マップ算出部の詳細構成を示すブロック図である。
【図２Ｂ】図２Ｂは、実施の形態１におけるテクスチャ方向マップ算出部の詳細構成を示すブロック図である。
【図３】図３は、実施の形態１における穴補間処理部の詳細構成を示すブロック図である。
【図４】図４は、実施の形態１における新視点画像装置の動作を示すフローチャートである。
【図５Ａ】図５Ａは、実施の形態１におけるデプスマップの例を示す図である。
【図５Ｂ】図５Ｂは、実施の形態１におけるデプスマップの例を示す図である。
【図５Ｃ】図５Ｃは、実施の形態１におけるデプスマップの例を示す図である。
【図６】図６は、実施の形態１における代表背景画素の選択方法の一例を説明するための図である。
【図７Ａ】図７Ａは、実施の形態１における入力画像の一例を示す図である。
【図７Ｂ】図７Ｂは、実施の形態１における生成された欠落画素を含む新視点画像の一例を示す図である。
【図８】図８は、実施の形態１におけるテクスチャ方向マップを算出するための詳細な方法を示すフローチャートである。
【図９】図９は、実施の形態１におけるテクスチャ方向マップを算出するための詳細な方法を示す別のフローチャートである。
【図１０】図１０は、実施の形態１における入力画像において選択された背景画素のテクスチャ方向の算出例を示す図である。
【図１１】図１１は、実施の形態１における欠落画素のテクスチャ方向マップの算出方法の概念を説明するための図である。
【図１２】図１２は、実施の形態１における欠落画素領域の補間方法の概念を説明するための図である。
【図１３】図１３は、実施の形態１における欠落画素を補間する詳細法の一例を示すフローチャートである。
【図１４】図１４は、図７Ｂに示す欠落画素を含む新視点画像が補間された新視点画像の一例を示す図である。
【図１５】図１５は、実施の形態１の変形例における新視点画像生成装置２００の構成の一例を示すブロック図である。
【図１６Ａ】図１６Ａは、ユーザが制御パラメータを調整または制御した際の効果の違いを説明するための図である。
【図１６Ｂ】図１６Ｂは、ユーザが制御パラメータを調整または制御した際の効果の違いを説明するための図である。
【図１６Ｃ】図１６Ｃは、ユーザが制御パラメータを調整または制御した際の効果の違いを説明するための図である。
【図１７】図１７は、新視点画像生成モジュールを備える再生／記録装置の構成を示すブロック図である。
【図１８】図１８は、新視点画像生成装置を備える表示装置の構成を示すブロック図である。
【図１９】図１９は、新視点画像生成装置を備える画像化装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１３】
（本発明の基礎となった知見）
入力画像を用いて新視点画像を生成する際、入力画像（元視点画像）中で隠蔽領域であった領域には、穴領域が生じるので、穴埋め方法または非隠蔽方法を用いて、穴領域を補間する必要がある。
【００１４】
周知の穴埋め方法としては、穴領域の両側（または背景側）の画素を用いたバイリニア補間法に基づく補間（または外挿）方法が知られている。
【００１５】
しかし、この方法は穴領域が小さい場合にはうまく機能するものの、穴領域が大きい場合には、不鮮明なエッジ、境界アーチファクトおよび対象物の歪みなどが生じてしまう場合があるなどの問題ある。そして、アーチファクトが生じた新視点画像を３次元画像に用いた場合には、３Ｄ表示品質を著しく低下させてしまう。
【００１６】
また、穴領域のサイズを縮小する技術として、対称又は非対称のデプスマップの平滑化などの方法が知られている。しかし、この方法では、対象物に幾何学的歪みが生じてしまうという問題がある。つまり、この方法で生成された３次元画像を用いた場合、３Ｄ表示の効果が抑制されてしまう問題がある。
【００１７】
一方、上記特許文献１では、デプス値に基づく修復方法が提案されている。この修復方法では、幾何学的歪みを軽減し穴領域補充の質を向上させるため、背景画素を用いる。しかしながら、この修復法では、穴領域周辺に不鮮明なテクスチャを生じさせる傾向があり、鮮明で自然な新視点画像を生成することができない。
【００１８】
また、特許文献２では、画像特徴の方向に基づく穴領域補充方法が提案されている。この穴領域補充方法では画像特徴の方向を推定し、推定された方向の画素セットから算出された画素値を用いて、穴領域の画素を補充する。しかしながら、多くの場合、この穴領域補充方法では、その方向を正確に推定することができず、満足な結果を得ることができない。例えば、穴領域の両側が前景対象物である場合、この方法では正しい方向を推定することができない。また、この方法は、非線形テクスチャには有効でないという問題もある。
【００１９】
そこで、本発明の一態様は、かかる問題に鑑みてなされたものであって、より鮮明でより自然な新視点画像を生成することができる新視点画像生成装置および新視点画像生成方法を提示することを目的とする。
【００２０】
このような問題を解決するため、本発明の一態様に係る新視点画像生成装置は、入力画像から、前記入力画像の新しい視点の画像である新視点画像を生成する新視点画像生成装置であって、前記入力画像は、対象物体の画像領域である前景画像領域と、前記前景画像領域以外の背景画像領域とから構成されており、前記入力画像に対応するデプスマップに基づき、前記入力画像で前記前景画像領域をシフトさせることにより、欠落画素領域を含む新視点画像を生成する生成部と、前記背景画像領域を構成する複数の背景画素のうち、前記入力画像において前記前景画像領域と前記背景画像領域との境界を示す複数のエッジ画素から所定の画素数離れた背景画素を複数の代表背景画素として選択する選択部と、選択された前記複数の代表背景画素それぞれにおける前記背景画像領域のテクスチャのエッジ方向であるテクスチャ方向であって前記複数の代表背景画素それぞれのテクスチャ方向を算出し、前記代表背景画素それぞれの位置と前記欠落画素領域に含まれる複数の欠落画素それぞれの位置とに基づき、前記複数の欠落画素それぞれに対応するテクスチャ方向を示すテクスチャ方向マップを算出するテクスチャ方向マップ算出部と、前記テクスチャ方向マップに従って、複数の背景画素を用いて、前記欠落画素領域を補間する補間処理部とを備える。
【００２１】
この構成により、より鮮明でより自然な新視点画像を生成することができる新視点画像生成装置を実現することができる。
【００２２】
具体的には、本態様の新視点画像生成装置によれば、鮮明で自然な画像テクスチャを生成することができるので、前景画像領域の形状を保ちつつ、ブレと境界アーチファクトを軽減することができる。したがって、画質が向上することができるので、より高い３Ｄ効果を生じさせることができる。つまり、立体視聴時のユーザの違和感を抑制することができる。
【００２３】
また、本態様の新視点画像生成装置によれば、さまざまな場合において背景テクスチャ方向を正確に算出することができるので、出力画像の質を向上することができる。
【００２４】
また、例えば前記テクスチャ方向マップ算出部は、前記複数の代表背景画素それぞれのテクスチャ方向を算出するテクスチャ方向算出部と、前記代表背景画素それぞれの位置と前記複数の欠落画素それぞれの位置とに基づき、前記代表背景画素それぞれのテクスチャ方向を重み付けることで、前記複数の欠落画素それぞれに対応するテクスチャ方向を算出することにより、前記テクスチャ方向マップを算出するマップ算出部とを備えるとしてもよい。
【００２５】
また、例えば前記マップ算出部は、前記複数の欠落画素それぞれと前記代表背景画素それぞれとの距離、および、前記複数の欠落画素それぞれに対する前記代表背景画素それぞれの方向に従って、前記代表背景画素それぞれの重み付けされたテクスチャ方向が加重された方向を、前記複数の欠落画素それぞれの仮テクスチャ方向として算出し、算出した前記複数の欠落画素それぞれの仮テクスチャ方向を平均することで、前記複数の欠落画素それぞれに対応するテクスチャ方向を算出するとしてもよい。
【００２６】
また、例えば算出された前記複数の代表背景画素それぞれのテクスチャ方向の信頼値を算出する信頼値算出部を備え、前記マップ算出部は、前記複数の代表背景画素のうち、前記信頼値算出部により所定の閾値より大きい信頼値が算出された第１代表背景画素の位置と、前記複数の欠落画素それぞれの位置とに基づき、前記第１代表背景画素のテクスチャ方向それぞれのテクスチャ方向を重み付けることで、前記複数の欠落画素それぞれに対応するテクスチャ方向を算出するとしてもよい。
【００２７】
また、例えば前記信頼値算出部は、算出対象の代表背景画素に対する算出済みの代表背景画素の距離とベクトルの向きとに基づいて、前記算出対象の代表背景画素のテクスチャ方向の信頼値を算出するとしてもよい。
【００２８】
また、例えば前記テクスチャ方向算出部は、選択された前記複数の代表背景画素を起点として前記背景画像領域のテクスチャのエッジを追跡することで、前記テクスチャ方向を算出するとしてもよい。
【００２９】
また、例えばさらに、選択された前記代表背景画素ごとにエッジ強度を算出するエッジ強度算出部を備え、前記テクスチャ方向マップ算出部は、前記代表背景画素の一のエッジ強度が閾値より大きい場合、前記代表背景画素の一のテクスチャ方向を算出するとしてもよい。
【００３０】
また、例えばさらに、前記デプスマップに基づいて、前記入力画像において前記前景画像領域と前記背景画像領域との境界を示すエッジ画素を検出するエッジ検出部を備え、前記選択部は、エッジ検出部により検出された前記エッジ画素から所定の方向に所定の画素数分離れた背景画素を前記代表背景画素として選択するとしてもよい。
【００３１】
また、例えば前記選択部は、前記エッジ検出部により検出された前記エッジ画素の水平微分係数の平均値と垂直微分係数の平均値とを算出し、算出された前記水平微分係数の平均値と前記垂直微分係数の平均値とを用いて、前記エッジ画素の直交方向を、前記所定の方向として決定し、決定した前記直交方向に前記所定の画素分離れた背景画素を前記代表背景画素として選択するとしてもよい。
【００３２】
また、例えば前記生成部は、前記デプスマップのデプス値、右眼および左眼の距離、および、ゼロ視点位置に基づいて、前記入力画像で前記前景画像領域をシフトさせ、かつ、前記前景画像領域に対応する前記デプスマップの領域のデプス値をシフトさせることにより、前記欠落画素領域を含む新視点画像を生成するとしてもよい。
【００３３】
また、例えばさらに、前記新視点画像に対応する新デプスマップをフィルタリングすることで、前記欠落画素領域に対応する前記新デプスマップの領域のデプス値であって所定値以下のデプス値を平滑化するフィルタを備えるとしてもよい。
【００３４】
また、例えば前記補間処理部は、算出された前記テクスチャ方向マップを参照し、前記複数の欠落画素それぞれに対応するテクスチャ方向を取得する方向取得部と、取得した前記複数の欠落画素それぞれに対応するテクスチャ方向にあるエッジ画素から、当該複数の欠落画素それぞれまでの距離を算出する距離決定部と、前記距離に基づき、対応する前記テクスチャ方向のおける背景画素を取得する画素取得部と、取得した前記背景画素を用いて対応する前記テクスチャ方向の欠落画素の画素値を算出することで、前記欠落画素領域を補間する補間部とを備えるとしてもよい。
【００３５】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
【００３６】
以下、本発明の一態様に係る新視点画像生成装置および新視点画像生成方法について、図面を参照しながら具体的に説明する。
【００３７】
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００３８】
（実施の形態１）
図１は、本実施の形態における新視点画像生成装置１００の構成の一例を示すブロック図である。
【００３９】
図１に示す新視点画像生成装置１００は、入力画像から、入力画像の新しい視点の画像である新視点画像を生成する。具体的には、新視点画像生成装置１００は、入力画像とデプスマップとをそれぞれ取り込み、それらに基づき、新視点画像を生成する。以下、入力画像は、対象物体の画像領域である前景画像領域と、前景画像領域以外の背景画像領域とから構成されており、デプスマップは、例えばシーンオブジェクト間の距離を示す情報など前景画像領域と背景画像領域との奥行き情報を含むとして説明する。
【００４０】
新視点画像生成装置１００は、デプスエッジ検出部１０２と、代表背景画素選択部１０４と、新視点画像生成部１０６と、テクスチャ方向マップ算出部１０８と、穴補間処理部１１０とを備える。
【００４１】
デプスエッジ検出部１０２は、入力画像に対応するデプスマップに基づいて、入力画像において前景画像領域と背景画像領域との境界を示すエッジ画素を検出する。言い換えると、デプスエッジ検出部１０２は、前景対象物（前景画像領域）と背景対象物（背景画像領域）との境界点を示すデプスマップのエッジ画素の位置を検出する。このようにして、デプスエッジ検出部１０２は、入力画像で前景画像領域と背景画像領域との境界を検出することができる。
【００４２】
代表背景画素選択部１０４は、例えば選択部の一例であり、背景画像領域を構成する複数の背景画素のうち、入力画像において前景画像領域と背景画像領域との境界を示すエッジ画素から所定の画素数離れた背景画素を複数の代表背景画素として選択する。
【００４３】
具体的には、代表背景画素選択部１０４は、デプスエッジ検出部１０２により検出されたエッジ画素から所定の方向に所定の画素数分離れた背景画素を代表背景画素として選択する。つまり、代表背景画素選択部１０４は、検出されたデプスマップのエッジ画素に対応する入力画像のエッジ画素の位置から所定の方向および所定の距離の背景画素を代表背景画素として選択する。
【００４４】
ここで、例えば、代表背景画素選択部１０４は、デプスエッジ検出部１０２により検出されたエッジ画素の水平微分係数の平均値と垂直微分係数の平均値とを算出し、算出された水平微分係数の平均値と垂直微分係数の平均値とを用いて、エッジ画素の直交方向を、所定の方向として決定し、決定した前記直交方向に前記所定の画素分離れた背景画素を前記代表背景画素として選択するとしてもよい。
【００４５】
新視点画像生成部１０６は、例えば生成部の一例であり、デプスマップに基づき、入力画像で前景画像領域をシフトさせることにより、欠落画素領域を含む新視点画像を生成する。つまり、新視点画像生成部１０６は、入力画像とデプスマップとに基づき、欠落画素を含む新視点画像を生成する。
【００４６】
例えば、新視点画像生成部１０６は、デプスマップが示すデプス値、右眼および左眼の距離、および、ゼロ視点位置に基づいて、入力画像での前景画像領域をシフトさせ、かつ、前景画像領域に対応するデプスマップの領域のデプス値をシフトさせることにより、欠落画素領域を含む新視点画像を生成する。
【００４７】
このように、本実施の形態では、新視点画像生成部１０６は、入力画像をシフトさせて新視点画像を生成するとともに、同手法で、デプスマップをシフトさせて新視点画像に対応する新デプスマップを生成する。なお、詳細は後述する。
【００４８】
テクスチャ方向マップ算出部１０８は、選択された前記複数の代表背景画素それぞれを起点とした背景画像領域のテクスチャのエッジ方向であるテクスチャ方向であって複数の代表背景画素それぞれのテクスチャ方向を算出し、代表背景画素それぞれの位置と欠落画素領域に含まれる複数の欠落画素それぞれの位置とに基づき、複数の欠落画素それぞれに対応するテクスチャ方向を示すテクスチャ方向マップを算出する。
【００４９】
つまり、テクスチャ方向マップ算出部１０８は、欠落画素それぞれにおける背景画像領域のテクスチャ方向（以下ｘｙ方向とも呼ぶ）を示すテクスチャ方向マップを算出する。なお、このｘｙ方向は、欠落画素それぞれに補間されるべき画素値を算出するのに用いられる背景画素を取得するために用いられる。
【００５０】
図２Ａ及び図２Ｂは、本実施の形態におけるテクスチャ方向マップ算出部の詳細構成を示すブロック図である。図２Ａに示すようにテクスチャ方向マップ算出部１０８Ａは、テクスチャ方向算出部１０８１と、マップ算出部１０８２とを備えるとしてもよい。なお、図２Ｂに示すように、テクスチャ方向マップ算出部１０８Ｂは、さらに、信頼値算出部１０８３とエッジ強度検出部１０８４とを備えるとしてもよい。以下では、テクスチャ方向マップ算出部１０８が、図２Ｂに示す構成を備える場合を例に挙げて説明する。
【００５１】
信頼値算出部１０８３は、算出された複数の代表背景画素それぞれのテクスチャ方向の信頼値を算出する。具体的には、信頼値算出部１０８３は、算出対象の代表背景画素に対する算出済みの代表背景画素の距離とベクトルの向きとに基づいて、算出対象の代表背景画素のテクスチャ方向の信頼値を算出する。なお、信頼値は算出されたテクスチャ方向の正確性を示す値である。
【００５２】
エッジ強度検出部１０８４は、代表背景画素選択部１０４により選択された代表背景画素ごとにエッジ強度を算出する。
【００５３】
テクスチャ方向算出部１０８１は、複数の代表背景画素それぞれのテクスチャ方向を算出する。
【００５４】
具体的には、テクスチャ方向算出部１０８１は、選択された複数の代表背景画素を起点として背景画像領域のテクスチャのエッジを追跡することで、テクスチャ方向を算出する。ここで、例えば、テクスチャ方向算出部１０８１は、代表背景画素の一のエッジ強度が閾値より大きい場合、代表背景画素の一のテクスチャ方向を算出するとしてもよい。
【００５５】
マップ算出部１０８２は、代表背景画素それぞれの位置と複数の欠落画素それぞれの位置とに基づき、代表背景画素それぞれのテクスチャ方向を重み付けることで、複数の欠落画素それぞれに対応するテクスチャ方向を算出し、それにより複数の欠落画素それぞれに対応するテクスチャ方向を示すテクスチャ方向マップを算出する。
【００５６】
ここで、例えば、マップ算出部１０８２は、複数の欠落画素それぞれと代表背景画素それぞれとの距離、および、複数の欠落画素それぞれに対する代表画素それぞれの方向に従って、代表背景画素それぞれの重み付けされたテクスチャ方向が加重された方向（ブレンドされた方向）を、複数の欠落画素それぞれの仮テクスチャ方向として算出し、算出した前記複数の欠落画素それぞれの仮テクスチャ方向を平均することで、複数の欠落画素それぞれに対応するテクスチャ方向を算出するとしてもよい。また、例えば、マップ算出部１０８２は、複数の代表背景画素のうち信頼値算出部１０８３により所定の閾値より大きい信頼値が算出された第１代表背景画素の位置と、複数の欠落画素それぞれの位置とに基づき、第１代表背景画素のテクスチャ方向それぞれのテクスチャ方向を重み付けることで、複数の欠落画素それぞれに対応するテクスチャ方向を算出するとしてもよい。
【００５７】
以下、図１に戻り説明を続ける。
【００５８】
穴補間処理部１１０は、例えば補間処理部の一例であり、テクスチャ方向マップに従って、取得した複数の背景画素を用いて、欠落画素領域を補間する。
【００５９】
つまり、穴補間処理部１１０は、算出されたテクスチャ方向マップに基づき、各欠落画素に対して取得した背景画素を用いて、各欠落画素を補間する。これにより、出力画像（新視点画像）が得られる。
【００６０】
図３は、本実施の形態における穴補間処理部の詳細構成を示すブロック図である。図３に示すように穴補間処理部１１０Ａは、方向取得部１１０１と、距離決定部１１０２と、背景画素取得部１１０３と、穴補間部１１０４とを備えるとしてもよい。
【００６１】
方向取得部１１０１は、算出されたテクスチャ方向マップを参照し、複数の欠落画素それぞれに対応するテクスチャ方向を取得する。
【００６２】
距離決定部１１０２は、方向取得部１１０１が取得した複数の欠落画素それぞれに対応するテクスチャ方向にあるエッジ画素から、当該複数の欠落画素それぞれまでの距離を算出する。
【００６３】
背景画素取得部１１０３は、距離決定部１１０２が算出した距離に基づき、対応するテクスチャ方向のおける背景画素を取得する。
【００６４】
穴補間部１１０４は、例えば補間部の一例であり、背景画素取得部１１０３が取得した背景画素を用いて、上記複数の欠落画素それぞれに対応するテクスチャ方向の欠落画素の画素値を算出することで、欠落画素領域を補間する。
【００６５】
なお、以上のように構成される新視点画像生成装置１００とそれを構成する構成要素（モジュール）は、一般的に、ＩＣ（集積回路）、ＡＳＩＣ（特定用途向け集積回路）、ＬＳＩ（大規模集積）およびＤＳＰ（デジタル信号プロセッサ）の形態で実現されるか、ＡＲＭなどのＣＰＵに基づくプロセッサおよびＰＣ（パーソナルコンピュータ）などの機械により実現される。これらの各モジュールは、多くの単機能ＬＳＩまたは１つのＬＳＩに含まれ得る。ここで用いられた名称はＬＳＩであるが、集積度に応じて、ＩＣ、システムＬＳＩ、スーパーＬＳＩまたはウルトラＬＳＩと呼称されることもある。さらに、集積方法はＬＳＩに限るものではなく、専用回路または汎用プロセッサなどによっても集積することができる。これには、プログラム命令により指示可能なＤＳＰ（デジタル信号プロセッサ）などの特殊なマイクロプロセッサも含まれる。ＬＳＩの製造後にプログラム可能なＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ）もしくはＬＳＩの接続または配置を再構成できる再構成可能プロセッサを同様の目的で用いることができる。今後は、製造と処理技術の発展に伴い、全く新しい技術がＬＳＩに置き換わるかもしれない。集積はそのような技術によって実現され得る。実施の態様として、デジタルスチルカメラおよびムービーカメラなどの撮像装置に上記の新視点画像生成装置１００が組み込まれるとしてもよい。また、新視点画像生成装置１００は、業務用撮像システムなどに見られるように、画像撮像システムと連動するスタンドアロン型の装置に実装されてもよいがそれに限らない。他の種類の装置に新視点画像生成装置１００を実装するとしてもよい。
【００６６】
続いて、上記のように構成された新視点画像生成装置１００の動作について説明する。
【００６７】
図４は、本実施の形態における新視点画像生成装置の動作を示すフローチャートである。
【００６８】
まず、新視点画像生成装置１００は、入力画像とデプスマップとをそれぞれ取り込む。
【００６９】
次に、デプスエッジ検出部１０２は、前景画像領域と背景画像領域との境界点を示すデプスマップのエッジ画素を検出する（Ｓ３０２）。そして、デプスエッジ検出部１０２は、デプスマップのエッジ画素に基づき、入力画像で前景画像領域と背景画像領域との境界点を示すエッジ画素を検出することができる。
【００７０】
次に、代表背景画素選択部１０４は、検出された入力画像のエッジ画素の位置から所定の方向および所定の距離の背景画素を代表背景画素として選択する（Ｓ３０４）。例えば、代表背景画素選択部１０４は、検出されたデプスマップのエッジ画素に対応する入力画像のエッジ画素から所定の方向に所定の距離離れた背景画素を代表背景画素として選択する。
【００７１】
次に、新視点画像生成部１０６は、デプスマップに基づき入力画像の前景画像領域をシフトさせることにより、欠落画素を含む新視点画像を生成する（Ｓ３０６）。
【００７２】
次に、テクスチャ方向マップ算出部１０８は、欠落画素それぞれにおけるｘｙ方向を示すテクスチャ方向マップを算出する（Ｓ３０８）。
【００７３】
最後に、ステップＳ３１０で、算出されたテクスチャ方向マップに基づき取得した背景画素を用いて欠落画素を補間する（Ｓ３１０）。
【００７４】
以上のように新視点画像生成装置は動作し、入力画像と入力画像に対応するデプスマップから、前記入力画像の新しい視点の画像である新視点画像を生成する。
【００７５】
図５Ａ〜図５Ｃは、本実施の形態におけるデプスマップの例を示す図である。
【００７６】
図５Ａに示すように、デプスマップ４００は、前景対象物４１０と背景対象物４２０とのデプス値を有している。ここで、デプスマップ４００の前景対象物４１０と背景対象物４２０は、入力画像での前景対象物（前景画像領域）と背景対象物（背景画像領域）と対応している。
【００７７】
デプスマップ４００を観察することにより、生成される新視点画像の隠蔽領域と穴領域（以下欠落画素領域ともよぶ）が明らかになる。これは、デプス値の小さい前景対象物４１０（図ではより明るい色で示された画像領域）に対応する入力画像の前景画像領域は常に、デプス値の大きい背景対象物４２０（より暗い色で示された画像領域）に対応する入力画像の背景画像領域を隠蔽するからである。
【００７８】
したがって、デプス値の差に基づき、穴（欠落画素）の生じる位置を特定することができる。例えば、これは、デプスマップ４００の水平方向の単純な微分により実現することができる。より具体的には、デプスマップ４００上でデプス値の差がある閾値（例えば３）より大きい位置がデプスエッジ画素として検出される。
【００７９】
ここで、入力画像から右視点画像が生成される場合、例えば図５Ｂのデプスマップ４０２に示されるように、前景対象物４１０の右のデプスエッジ画素のみを検出するとしてもよい。一方、入力画像から左視点画像が生成される場合、図５Ｃのデプスマップ４０４に示されるように、前景対象物４１０の左のデプスエッジ画素のみを検出するとしてもよい。つまり、検出された右のデプスエッジ画素７Ｒまたは左のデプスエッジ画素７Ｌは、前景対象物４１０と背景対象物４２０との境界点を示す。
【００８０】
なお、微分結果の符合（＋、−）により、前景対象物４１０の右のデプスエッジ画素か左のデプスエッジ画素かを区別するとしてもよい。
【００８１】
ここで、デプスマップの右のデプスエッジ画素を例えば下記式１のように算出することができる。
【００８２】
【数１】
0005983935.tif 000002
（式１）
【００８３】
ここで、Ｄ（ｐ）は入力されたデプスマップを示す。ｐは、デプスマップで（ｘ、ｙ）番目の位置（画素位置）のベクトルを示す。また、ｐ＋１はｘ方向における次の画素位置を示す。
【００８４】
続いて、図４のＳ３０４の詳細について、図６を用いて説明する。図６は、本実施の形態における代表背景画素の選択方法の一例を説明するための図である。
【００８５】
上述したように、Ｓ３０４では、代表背景画素選択部１０４は、検出されたデプスマップのエッジ画素に対応する入力画像のエッジ画素から所定の方向に所定の距離離れた背景画素を代表背景画素として選択する。そして、選択された代表背景画素は、テクスチャ方向マップの算出に用いられる。なお、代表背景画素選択部１０４は、検出されたデプスマップのエッジ画素から所定の方向に所定の距離離れた背景画素に対応する入力画像の背景画素を代表背景画素として選択するとしてもよい。
【００８６】
例えば図５Ｂまたは図５Ｃに示すように、代表背景画素選択部１０４は、デプスエッジ検出部１０２により検出されたデプスマップ４００のエッジ画素から前景対象物４１０（に対応する入力画像の前景画像領域）と背景対象物４２０（に対応する入力画像の背景画像領域）との境界位置を決定することができるので、代表背景画素を選択することができる。
【００８７】
ここで、前景対象物４１０と背景対象物４２０との境界位置を含む領域５１０を例に挙げて説明する。
【００８８】
代表背景画素選択部１０４は、まず、領域５１０のエッジ画素５２０に対するエッジ方向であるデプスエッジ方向Ｄ５０１を決定してもよい。ここで、代表背景画素選択部１０４は、例えばエッジ画素５２０の隣接画素に対する、デプスマップ上の水平微分係数と垂直微分係数を算出することにより、デプスエッジ方向Ｄ５０１を決定するとしてもよい。また、代表背景画素選択部１０４は、例えば周知のＳｏｂｅｌ演算子を用いて、水平微分係数と垂直微分係数を算出することにより、デプスエッジ方向Ｄ５０１を決定するとしてもよい。
【００８９】
次に、代表背景画素選択部１０４は、上記所定の方向に相当する方向Ｄ５０３を決定する。なお、方向Ｄ５０３は、例えば、デプスエッジ方向Ｄ５０１に対し直角（角度５３０は９０度）である。もちろん、方向Ｄ５０３は、デプスエッジ方向Ｄ５０１に対して直角でなくてもよい（角度５３０は９０度でなくてもよい）。
【００９０】
次に、代表背景画素選択部１０４は、上述した所定の距離に相当する方向Ｄ５０３の距離を決定し、この距離上に位置する入力画像の背景画素を代表背景画素として選択する。なお、ここでは、選択されたデプスマップ４００上の代表背景画素の位置と入力画像での代表背景画素の位置とは一致させて取り扱っている。
【００９１】
続いて、図４のＳ３０６の詳細について説明する。
【００９２】
上述したように、Ｓ３０６では、デプスマップに基づき入力画像の前景画像領域をシフトさせることで、欠落画素を含む新視点画像を生成する。
【００９３】
なお、従来のＤＩＢＲ方法では、入力画像を目標の視点に直接シフトすることで新視点画像を生成する（３Ｄ  ｗａｒｐｉｎｇと呼ばれることもある）。しかし、その方法では、多くの場合、新視点画像においてひび割れ（アーチファクト）の発生が頻繁に観察される。ひび割れ（アーチファクト）のある新視点画像を用いて３Ｄ画像を生成した場合には、３Ｄ画像の画質は大幅に低下する。このようなひび割れ（アーチファクト）の原因は、シフト量を算出する際のデプス量子化誤差および丸め誤差に原因がある。
【００９４】
本実施の形態では、この問題を回避するために、入力画像と同様の方法でデプスマップをシフトさせる。それにより、シフトされたデプスマップ（新デプスマップと称する）で新視点画像のひび割れを効果的に取り除くことができる。
【００９５】
ここで、Ｄを入力画像に対応するデプスマップとし、シフト済みデプスマップすなわち新デプスマップＤＮとすると、新デプスマップＤＮは、式２を用いて算出することができる。
【００９６】
【数２】
0005983935.tif 000003
（式２）
【００９７】
なお、式２において、ｐはデプスマップにおける（ｘ、ｙ）番目の位置を示すベクトルを示し、ｄ（＝ｄｘ、０）は水平方向にシフトするベクトルを示す。
【００９８】
ここで、シフト量ｄｘは、式３で表される。
【００９９】
【数３】
0005983935.tif 000004
（式３）
【０１００】
式３において、Ｚはゼロ視差の設定（ｚｐｓ）を示し、Ｂはユーザが示す基線長パラメータである。ここで、基線長パラメータとしては、例えばユーザの右眼および左眼の距離などである。
【０１０１】
ただし、本実施の形態においても、ひび割れ（アーチファクト）が、シフト済み入力画像である新視点画像の前景画像領域と背景画像領域との間に生じる可能性がある。ひび割れは前景画像領域の内側に生じ、新視点画像の前景画像領域のテクスチャを壊してしまう。
【０１０２】
そこで、本実施の形態では、新視点画像の前景画像領域のテクスチャが壊されないように、新デプスマップ（シフト済みデプスマップ）に簡易な３×３の最大値フィルタを適用することにより、効果的にひび割れを取り除くとしてもよい。
【０１０３】
すなわち、新視点画像生成装置１００は、新視点画像に対応する新デプスマップをフィルタリングすることで、欠落画素領域に対応する新デプスマップの領域のデプス値であって所定値以下のデプス値を平滑化するフィルタを備えるとしてもよい。
【０１０４】
なお、ひび割れの除去に用いるフィルタとしては、簡易な３×３の最大値フィルタに限らず、他の種類のフィルタを使用してもよい。
【０１０５】
次に、新視点画像生成部１０６は、新デプスマップ（シフト済みデプスマップ）の生成後に、同様の手法を用いて、新視点画像を生成する。
【０１０６】
例えば、新視点画像生成部１０６は、カメラが平行に設置されて左眼用画像および右眼用画像が撮影された場合に対応するように、式４を用いて、入力画像ＩＬから新視点画像ＩＮを効率的に生成することができる。
【０１０７】
【数４】
0005983935.tif 000005
（式４）
【０１０８】
ここで、ｄ＝（ｄｘ、０）は水平シフトベクトルであり、ｄｘは、式５で表される。なお、上述したように、式５においても、Ｚはゼロ視差の設定（ｚｐｓ）を示す。また、Ｂはユーザが示す基線長パラメータ、ＤＮは新デプスマップを示す。
【０１０９】
【数５】
0005983935.tif 000006
（式５）
【０１１０】
続いて、図７Ａおよび図７Ｂを用いて、入力画像から欠落画素を含む新視点画像が生成される場合の例について説明する。
【０１１１】
図７Ａは本実施の形態における入力画像の一例を示す図であり、図７Ｂは本実施の形態における生成された欠落画素を含む新視点画像の一例を示す図である。
【０１１２】
図７Ａには、前景画像領域６０４と背景画像領域６０６とで構成されている入力画像６０２の一例が示されている。入力画像６０２に対応するデプスマップの例は図５Ａに示されるデプスマップ４００である。入力画像６０２の前景画像領域６０４は、デプスマップ４００の前景対象物４１０と対応する。同様に、入力画像６０２の背景画像領域６０６は、デプスマップ４００の背景対象物４２０と対応する。
【０１１３】
図７Ｂには、生成された欠落画素を含む新視点画像６１２の一例が示されており、新視点画像６１２が右眼用画像として生成される場合の例が示されている。
【０１１４】
新視点画像生成部１０６は、上述した式においてデプス値とパラメータ（ＢおよびＺ）に基づき、入力画像６０２の前景画像領域６１４をシフトすることで新視点画像６１２を生成する。新視点画像６１２には、穴領域６１８（欠落画素領域）が生じている。図７Ｂに示すように右眼用画像が生成される場合、穴領域６１８は前景画像領域６１４の右側に現れる。しかし、最適な出力画像（右眼用画像）として新視点画像６１２を生成するためには、穴領域６１８を補間する必要がある。
【０１１５】
なお、本実施の形態では、新視点画像６１２に対応する新デプスマップではひび割れが取り除かれているため、新視点画像６１２にひび割れ（アーチファクト）は抑制されている。
【０１１６】
続いて、図４のＳ３０４の詳細について、図８を用いて説明する。図８は、本実施の形態におけるテクスチャ方向マップを算出するための詳細な方法を示すフローチャートである。
【０１１７】
上述したように、Ｓ３０８では、テクスチャ方向マップ算出部１０８は、欠落画素それぞれにおけるｘｙ方向（背景画像領域のテクスチャ方向）を示すテクスチャ方向マップを算出する。
【０１１８】
まず、図４に示すＳ３０４で、入力画像において代表背景画素が選択される。
【０１１９】
その場合、エッジ強度検出部１０８４は、代表背景画素選択部１０４により選択された代表背景画素の一のエッジ強度Ｇを算出する（Ｓ４０２）。
【０１２０】
次に、テクスチャ方向算出部１０８１は、代表背景画素の一のエッジ強度Ｇと閾値１（Ｔｈｒ１）を比較する（Ｓ４０４）。
【０１２１】
Ｓ４０４において、テクスチャ方向算出部１０８１は、そのエッジ強度Ｇが閾値１（Ｔｈｒ１）より大きい場合（Ｓ４０４でＹｅｓ）、Ｓ４０６に進む。なお、テクスチャ方向算出部１０８１は、そのエッジ強度Ｇが閾値１（Ｔｈｒ１）以下の場合（Ｓ４０４でＮｏ）、Ｓ４０２に戻る。そして、Ｓ４０２では、エッジ強度検出部１０８４が代表背景画素の一の次の代表背景画素に対してエッジ強度Ｇを算出する。
【０１２２】
次に、テクスチャ方向算出部１０８１は、エッジ強度が閾値より大きいと判定された代表背景画素のテクスチャ方向を算出する（Ｓ４０６）。
【０１２３】
次に、信頼値算出部１０８３は、算出されたテクスチャ方向の信頼値を算出する（Ｓ４０８）。ここで、この信頼値は算出されたテクスチャ方向の正確性を示す値である。
【０１２４】
次に、マップ算出部１０８２は、信頼値算出部１０８３により算出された信頼値と閾値２（Ｔｈｒ２）を比較する（Ｓ４１０）。
【０１２５】
Ｓ４１０において、マップ算出部１０８２は、その信頼値が閾値２（Ｔｈｒ２）より大きい場合（Ｓ４１０でＹｅｓ）、Ｓ４１２に進む。なお、マップ算出部１０８２は、その信頼値が閾値２（Ｔｈｒ２）以下の場合（Ｓ４１０でＮｏ）、Ｓ４０２に戻る。そして、Ｓ４０２では、エッジ強度検出部１０８４が代表背景画素の一の次の代表背景画素に対してエッジ強度Ｇを算出する。
【０１２６】
次に、マップ算出部１０８２は、代表背景画素の位置と欠落画素の位置とに基づき、代表背景画素のテクスチャ方向を重み付けることで、その欠落画素に対応するテクスチャ方向（ｘｙ方向）を算出する（Ｓ４１２）。ここで、その欠落画素は、代表背景画素から所定の範囲内にある。また、代表背景画素から所定の範囲内にある欠落画素は複数あるため、Ｓ４１２では、複数の欠落画素それぞれに対応するｘｙ方向（仮テクスチャ方向）が算出される。なお、ここで算出されるｘｙ方向（仮テクスチャ方向）は、複数の欠落画素それぞれと代表背景画素それぞれとの距離、および、複数の欠落画素それぞれに対する代表画素それぞれの方向に従って、代表背景画素それぞれの重み付けされたテクスチャ方向が加重された方向となっている。
【０１２７】
次に、マップ算出部１０８２は、代表背景画素選択部１０４により選択された代表背景画素すべてが評価されているか確認する（Ｓ４１４）。換言すると、マップ算出部１０８２は、代表背景画素選択部１０４により選択された代表背景画素のテクスチャ方向を用いて、欠落画素領域を構成するすべての欠落画素が評価されたかを確認する。
【０１２８】
Ｓ４１４において、マップ算出部１０８２は、代表背景画素選択部１０４により選択された代表背景画素のうちで評価されていない代表背景画素がある場合（Ｓ４１４でＮｏ）、Ｓ４０２に戻る。そして、Ｓ４０２では、エッジ強度検出部１０８４が次の代表背景画素すなわち評価されていない代表背景画素のうちの一つの代表背景画素に対してエッジ強度Ｇを算出する。
【０１２９】
なお、マップ算出部１０８２は、代表背景画素選択部１０４により選択された代表背景画素すべてが評価されている場合（Ｓ４１４でＹｅｓ）、次のＳ４１６に進む。
【０１３０】
Ｓ４１６において、マップ算出部１０８２は、算出した複数の欠落画素それぞれｘｙ方向を平均することで、各欠落画素に対応するテクスチャ方向（平均的なｘｙ方向）を算出する。
【０１３１】
なお、テクスチャ方向マップを算出するための詳細な方法は、上記の場合に限らない。その一例を、図９を用いて説明する。
【０１３２】
図９は、本実施の形態におけるテクスチャ方向マップを算出するための詳細な方法を示す別のフローチャートである。なお、Ｓ５０２〜Ｓ５０６は図８で説明したＳ４０２〜Ｓ４０６に相当し、Ｓ５１０〜Ｓ５１６は、図８で説明したＳ４１０〜Ｓ４１６に相当するため、説明を省略する。
【０１３３】
まず、Ｓ５０６において、テクスチャ方向算出部１０８１により代表背景画素のテクスチャ方向が算出されている。
【０１３４】
次に、信頼値算出部１０８３は、Ｓ５０４で、エッジ強度が閾値より大きいと判定された代表背景画素のエッジ方向に沿って算出されたテクスチャ方向を追跡し（Ｓ５０７）、算出されたテクスチャ方向の信頼値を算出する（Ｓ５０８）。例えば、信頼値算出部１０８３は、テクスチャ方向の算出対象である代表背景画素および算出済みである代表背景画素の距離と、算出対象である代表背景画素のテクスチャ方向に対する算出済みである代表背景画素のテクスチャ方向のベクトルの向きとに基づいて、算出対象の代表背景画素のテクスチャ方向の信頼値を算出する。つまり、信頼値算出部１０８３は、Ｓ５０７で追跡（トレース）することで算出した現在のテクスチャ方向と以前に算出したテクスチャ方向とのベクトルの向きに基づいて、信頼値を算出する。
【０１３５】
図１０は、本実施の形態における入力画像において選択された代表背景画素のテクスチャ方向の算出例を示す図である。図１０には入力画像の一部領域の輝度値が示されている。
【０１３６】
ここで、例えば画素９０３は、上述のように選択され代表背景画素の１つであるとする。その場合、テクスチャ方向算出部１０８１は、例えば画素９０３を中心とするブロックＢ９１３に対し畳み込みを実行することで、画素９０３のテクスチャ方向を算出するとしてもよい。なお、畳み込みに例えば３×３のＳｏｂｅｌ演算子を用いることができる。これにより、テクスチャ方向算出部１０８１は、画素９０３のテクスチャ方向すなわち、画素９０３のｘ方向（水平方向）およびｙ方向（垂直方向）の勾配（輝度勾配）を得ることができる。
【０１３７】
また、テクスチャ方向算出部１０８１は、上述のように代表背景画素のエッジ強度を算出することで、テクスチャ方向を算出するとしてもよい。例えば、Ｓｏｂｅｌ演算子を用いてエッジ強度が算出される場合、画素９０３はｘ方向で輝度値に大きな差があることからｘ方向に大きな勾配を持つことになる。つまり、画素９０３がｙ方向のエッジ方向（方向Ｄ９２０）を持つことを意味する。
【０１３８】
一方、テクスチャ方向算出部１０８１は、ブロックＢ９１１を用いて、画素９０１のテクスチャ方向を算出するとしてもよい。その場合、画素９０１は、ｘ方向およびｙ方向で輝度値に大きな差がないことからｘ方向およびｙ方向の両方向に小さな勾配を持つことになる。したがって、エッジ強度検出部１０８４により算出される画素９０１のエッジ強度は閾値Ｔｈｒ１よりも小さくなるため、これ以上、処理されることはない。
【０１３９】
なお、画素９０３については、上述したように方向Ｄ９２０が得られるが、算出されたテクスチャ方向（ここでは、方向Ｄ９２０）の正確性をさらに検証するため、信頼値算出部１０８３は、算出されたエッジ方向に沿って算出されたテクスチャ方向を追跡（トレース）するとしてもよい。
【０１４０】
また、信頼値算出部１０８３は、例えば、画素９０３の方向Ｄ９２０（算出済みである代表背景画素のテクスチャ方向）に基づき、算出対象である代表背景画素である画素９０５をブロックＢ９１５で評価してもよい。同様に、画素９０３の方向Ｄ９２０に基づき、次の画素９０７（ブロックＢ９１１内の画素９０７）を評価してもよい。
【０１４１】
なお、上述したように、エッジ方向を追跡（トレース）することでテクスチャ方向を算出するとしてもよい。
【０１４２】
以下、代表背景画素のテクスチャ方向の算出方法について、さらに具体的に説明する。
【０１４３】
ｐｂを、入力画像の前景画像領域付近の選択された背景画素の位置（画素位置）とする。なお、この画素位置は、生成された新視点画像の穴領域付近にある有効な背景画素の位置に対応する。この画素位置の勾配は、式６を用いて算出することができる。
【０１４４】
【数６】
0005983935.tif 000007
（式６）
【０１４５】
ここで、ｇｘは水平エッジ方向を示し、ｇｙは垂直エッジ方向を示す。
【数７】
0005983935.tif 000008
は畳み込み演算子を示す。
【０１４６】
また、ＳｘおよびＳｙは、修正後のＳｏｂｅｌ演算子であり、例えば式７のように表される。
【０１４７】
【数８】
0005983935.tif 000009
（式７）
【０１４８】
勾配強度を示すエッジ強度Ｇは式８を用いて計算することができる。
【０１４９】
【数９】
0005983935.tif 000010
（式８）
【０１５０】
ここで、エッジ強度Ｇが閾値Ｔｈｒ１より大きい場合、エッジ方向ｔｘおよびｔｙは式９〜式１１を用いて追跡（トレース）される。
【０１５１】
【数１０】
0005983935.tif 000011
（式９）
および
【数１１】
0005983935.tif 000012
（式１０）
【０１５２】
【数１２】
0005983935.tif 000013
（式１１）
【０１５３】
ここで、ｔ‘ｘはｔｘを正規化したものであり、ｔ’ｙはｔｙを正規化したものである。αは、所定の動作ステップである。ｉはエッジ方向に沿ってトレースするステップ数を示す。例えば、確実に十分な長さのエッジ（テキスチャ方向）にするため、８つのステップを用いてもよい。そして、欠落画素ｐのテクスチャ方向マップを式１２および式１３を用いて算出する。
【０１５４】
【数１３】
0005983935.tif 000014
（式１２）
【０１５５】
【数１４】
0005983935.tif 000015
（式１３）
【０１５６】
なお、上記式において、画素ｊの方向を検討する際、
【数１５】
0005983935.tif 000016
は欠落画素位置ｑにおける加重値である。
【０１５７】
ｌｊは、画素ｊとデプスエッジ画素から直角の画素位置ｑとの距離である。ｈｊは、画素ｑと算出された方向との距離である。βは定数である。そして、θｘとθｙは、穴補間ステップで用いられる。
【０１５８】
図１１は、本実施の形態における欠落画素のテクスチャ方向マップの算出方法の概念を説明するための図である。
【０１５９】
図１１には、背景画像領域１２０１と前景画像領域１２０２とを含む新視点画像１２００が示されている。新視点画像１２００には、欠落画素領域１２０４が発生している。さらに図１１には、エッジ画素１２４０およびエッジ画素１２５０と共に、代表背景画素ｅ１、代表背景画素ｅ２、欠落画素ｐ１、欠落画素ｐ２および欠落画素ｐ３も示されている。
【０１６０】
テクスチャ１２０６は、代表背景画素ｅ１におけるテクスチャを模式的に示したものである。
【０１６１】
エッジ画素１２４０およびエッジ画素１２５０は、新視点画像１２００で検出された前景画像領域１２０２と背景画像領域１２０１との境界を示すエッジ画素に対応する。
【０１６２】
代表背景画素ｅ１は、エッジ画素１２４０に対して選択された代表選択画素に対応し、代表背景画素ｅ２は、エッジ画素１２５０に対して選択された代表選択画素に対応する。
【０１６３】
方向Ｄ１２０８は、代表選択画素ｅ１に対して算出されたテクスチャ方向である。
【０１６４】
ここで、方向Ｄ１２０８に基づき、半径Ｒ１２２２を決定し、半径Ｒ１２２２で規定される円１２２０に含まれる欠落画素で決定してもよい。
【０１６５】
例えば、代表選択画素ｅ１に対する半径Ｒ１２２２内の画素である欠落画素を例に挙げて説明する。
【０１６６】
欠落画素ｐ１のｘｙ方向（テクスチャ方向）は、代表選択画素ｅ１のテクスチャ方向に重みをかけて算出される。この重み（加重値）は、例えば、欠落画素ｐ１と代表選択画素ｅ１との距離（第１の距離）と、欠落画素ｐ１と方向Ｄ１２０８の線上の画素との距離（第２の距離）に基づいて算出する。図１１に示す例では、欠落画素ｐ１は方向Ｄ１２０８の線上にあるため、第２の距離はゼロである。
【０１６７】
したがって、欠落画素ｐ１のテクスチャ方向は、方向Ｄ１２０８および第１の距離に基づき算出される。
【０１６８】
欠落画素ｐ２のｘｙ方向（テクスチャ方向）は、同様に、代表選択画素ｅ１のテクスチャ方向に重みをかけて算出される。すなわち、欠落画素ｐ２のｘｙ方向（テクスチャ方向）は、方向Ｄ１２０８および欠落画素ｐ２と代表選択画素ｅ１との距離（第１の距離）と欠落画素ｐ２と方向Ｄ１２０８の線上の画素との距離（第２の距離）の両方の距離に基づき算出される。図１１に示す例では、欠落画素ｐ１の加重値は欠落画素ｐ２の加重値よりも大きい。
【０１６９】
また、欠落画素ｐ３は、円１２２０と円１２３０との両方の円の内側に位置する。この場合、式１０および式１１で示されるように、欠落画素ｐ３のテクスチャ方向は、代表選択画素ｅ１のテクスチャ方向（方向Ｄ１２０８）と代表選択画素ｅ２のテクスチャ方向を、重みをかけてブレンドされて算出される。
【０１７０】
このようにして、すべての欠落画素のテクスチャ方向（テクスチャ方向マップ）の算出後に、欠落画素領域１２０４（穴領域）を補間することができる。
【０１７１】
なお、穴領域（欠落画素領域）に関する情報は入力画像から得ることができないため、穴領域の補間は単純な作業ではない。重要な手掛かりは、穴領域が新視点画像の背景画像領域であるということである。
【０１７２】
したがって、本実施の形態では、代表背景画素のテクスチャ方向を利用し、穴領域の補間を行う。つまり、テクスチャ方向マップθｘおよびθｙを用いて取得した背景画像領域の背景画素（テクスチャ画素）を用いて、穴領域を適切に補間することができる。
【０１７３】
以下、これについて式を用いて説明する。
【０１７４】
生成される新視点画像の欠落画素ｐは式１４、式１５を用いて算出することができる。
【０１７５】
【数１６】
0005983935.tif 000017
（式１４）
【０１７６】
【数１７】
0005983935.tif 000018
（式１５）
【０１７７】
上記の式において、θ’ｘ（ｐ）およびθ’ｙ（ｐ）は、欠落画素ｐにおける正規化された方向を示す。λは、欠落画素ｐと、算出された方向における最も近くの非欠落画素（背景画素）との距離を示す。
【０１７８】
ここで、
【数１８】
0005983935.tif 000019
を確実に背景画素にするため、シフト済みのデプスマップ（新デプスマップ）の対応位置を確認する。
【０１７９】
続いて、テクスチャ方向マップを用いて取得した背景画素を用いて、欠落画素領域を補間する方法について図１２を用いて説明する。図１２は、本実施の形態における欠落画素領域の補間方法の概念を説明するための図である。
【０１８０】
図１２に示すように、方向Ｄ１２０８に基づき算出されたテクスチャ方向Ｄ１３０４に沿って、背景画素１３１２を取り出し（反転させ）、欠落画素１３０２を補間する。ここで、λは、上述したように、欠落画素１３０２と、算出されたテクスチャ方向Ｄ１３０４において最も近くの背景画素との距離を示しており、欠落画素１３０２と、欠落画素１３０２との距離は２λとなっている。
【０１８１】
このように、欠落画素領域の補間に、欠落画素の位置に対応するテクスチャ方向を用いることにより、適切な背景画素で欠落画素領域を自然に補間することができる。
【０１８２】
なお、滑らかなテクスチャにするため、上記方法に加えてバイリニア補間法を用いて欠落画素を補間するとしてもよい。これにより、取得される背景画素をより適切なものとして補間することによりをよりさらに高品質の新視点画像が得られる。
【０１８３】
続いて、図１３を用いて欠落画素領域の補間する詳細方法について説明する。
【０１８４】
図１３は、本実施の形態における欠落画素を補間する詳細方法の一例を示すフローチャートである。
【０１８５】
まず、穴補間処理部１１０は、例えば、欠落画素ｐに対する、θ’ｘ（ｐ）およびθ’ｙ（ｐ）など、Ｓ６０２で決定した一の欠落画素に対するｘｙ方向（テクスチャ方向）を、算出されたテクスチャ方向マップに基づいて取得する（Ｓ６０４）。
【０１８６】
次に、穴補間処理部１１０は、取得したｘｙ方向において、当該欠落画素から第１の有効画素（背景画素）までの距離（λ）を決定する（Ｓ６０６）。
【０１８７】
次に、穴補間処理部１１０は、決定した距離（λ）と上記ｘｙ方向とに基づいて背景画素を取得する（Ｓ６０８）。
【０１８８】
次に、穴補間処理部１１０は、取得した背景画素に基づいて、当該欠落画素の画素値を算出する（Ｓ６１０）。
【０１８９】
次に、穴補間処理部１１０は、すべての欠落画素を補間したか否かを判定する（Ｓ６１２）。
【０１９０】
Ｓ６１２おいて、穴補間処理部１１０は、すべての欠落画素を補間していないと判定した場合（Ｓ６１２でＮｏ）、次の欠落画素を決定し、Ｓ６０４から処理を繰り返す。
【０１９１】
一方、穴補間処理部１１０は、すべての欠落画素を補間したと判定した場合（Ｓ６１２でＹｅｓ）、処理を終了する。
【０１９２】
このようにして、新視点画像生成装置１００は、新視点画像（新たなビュー）を生成することができる。例えば、図１４に示すように、領域６１８Ａにおいて、欠落画素が背景画素で自然に補間される。ここで、図１４は、図７Ｂに示す欠落画素を含む新視点画像が補間された新視点画像６１２の一例を示す図である。図７Ｂと同様の要素には同一の符号を付しており、詳細な説明は省略する。
【０１９３】
以上、本実施の形態によれば、より鮮明でより自然な新視点画像を生成することができる新視点画像生成装置および新視点画像生成方法を実現することができる。
【０１９４】
例えば、本実施の形態の新視点画像生成装置等では、代表背景画素の方向に沿って背景画素の大きなテクスチャ勾配を追跡（トレース）することで、テクスチャの方向性を算出する。そして、テクスチャの方向性に基づき、欠落画素（穴領域の画素）のテクスチャ方向マップを算出する。こうすることで、テクスチャ方向マップに導かれた方向に沿う背景画素を用いて、欠落画素を補間することができる。このようにして、さまざまな場合において背景テクスチャ方向を正確に算出することができるので、出力画像の質を向上することができる。
【０１９５】
なお、本実施の形態の新視点画像生成装置等では、例えば、選択された各代表背景画素のエッジ強度を求め、エッジ強度が閾値より大きい場合に選択された代表背景画素のテクスチャ方向を算出してもよいし、さらに、テクスチャ方向を追跡（トレース）してテクスチャの方向性を求め、信頼値を算出してもよい。それらの場合、これらの情報を用いて、欠落画素の補間に用いられる背景画素を取得する。こうすることで、線形および非線形両方の欠落画素（穴領域の画素）をより自然に補間することができる。
【０１９６】
以上のように、本実施の形態の新視点画像生成装置等によれば、ブレを軽減し前景画像領域の歪みを防ぐと同時に、穴領域で自然なテクスチャを生成することができる。つまり、本実施の形態の新視点画像生成装置等によれば、鮮明で自然な画像テクスチャを生成することができるので、前景画像領域の形状を保ちつつ、ブレと境界アーチファクトを軽減することができる。
【０１９７】
したがって、本実施の形態の新視点画像生成装置等は、たとえ長基線長の合成の場合でも、高品質の新視点画像を生成することができる。さらに、この新視点画像を３Ｄ表示に用いると、３Ｄ効果は高められる。つまり、本実施の形態の新視点画像生成装置等は、３Ｄアプリケーションに用いることもできる。
【０１９８】
（変形例）
なお、上記実施の形態における新視点画像生成装置において、基線長パラメータおよびゼロ視差の設定をユーザの入力に応じて行うとしてもよい。以下、それについて説明する。
【０１９９】
図１５は、本実施の形態の変形例における新視点画像生成装置２００の構成の一例を示すブロック図である。図１と同様の要素には同一の符号を付しており、詳細な説明は省略する。
【０２００】
図１５に示す新視点画像生成装置２００は、図１に示す新視点画像生成装置１００に対して、新視点画像生成部２０６の構成が異なる。
【０２０１】
具体的には、新視点画像生成部２０６は、ユーザの制御パラメータ信号Ｓ２２０も取り込み、基線長パラメータ（Ｂ）およびゼロ視差設定（ｚ）などユーザの入力に応じて、新視点画像を生成する。その他については、新視点画像生成部１０６と同様のため説明を省略する。
【０２０２】
図１６Ａ〜図１６Ｃは、ユーザが制御パラメータを調整または制御した際の効果の違いを説明するための図である。図１６Ａ〜図１６Ｃには、ユーザの左眼ＥＬおよび右眼ＥＲ、左眼用前景画像領域９Ｒおよび左眼用前景画像領域９Ｌ、ならびに、ディスプレイスクリーン１３００に表示される対象物Ｐ０が示されている。ここで、左眼用前景画像領域９Ｒと、左眼用前景画像領域９Ｌは、入力画像および入力画像から生成された新視点画像の前景画像領域に対応する。
【０２０３】
図１６Ａには、正視差であり、対象物Ｐ０がディスプレイスクリーン１３００の奥に表示される例が示されている。図１６Ｂには、ゼロ視差であり、対象物Ｐ０がディスプレイスクリーン１３００上に表示される例が示されている。また、図１６Ｃは、負視差であり、対象物Ｐ０がディスプレイスクリーン１３００から飛び出したように表示される例が示されている。
【０２０４】
このように、ユーザは、基線長パラメータ（Ｂ）を調整することで、多かれ少なかれ差が出るように対象物を制御することができる。また、ユーザは、ゼロ視差設定（ｚ）を調整することで、ポップアウト効果とディープイン効果が得られるように対象物を制御することができる。
【０２０５】
以上のように、本実施の形態の新視点画像生成装置等によれば、入力されたデプスマップの値とユーザの入力とに基づいて、入力されたデプスマップをシフトさせることにより、シフト済みデプスマップを生成することができる。
【０２０６】
なお、実施の形態同様に、シフト済みデプスマップ（新デプスマップ）における小さな穴（ひび割れ）を取り除くため、新デプスマップにフィルタを適用するとしてもよい。
【０２０７】
その場合、入力画像とフィルタリング後の新デプスマップに基づき、新視点画像を生成する。この利点は、生成画像の前景画像領域におけるひび割れアーチファクトが完全に取り除かれることである。したがって、出力画像の画質は向上する。
【０２０８】
（実施の形態２）
本実施の形態では、実施の形態１で説明した新視点画像生成装置を実装した装置の例を説明する。
【０２０９】
図１７は、新視点画像生成モジュール１４０８を備える再生／記録装置１４００の構成を示すブロック図である。同装置は記録メディアリーダー１４０２を用いて画像／映像データを取り込み、画像デコーダ１４０４に信号Ｓ２２を送る。画像／映像データが符号化されている場合、画像デコーダは画像／映像データを復号し、（復号した画像／映像データを）デプスマップ生成モジュール１４０６に送る。デプスマップ生成モジュール１４０６はデプスマップを生成し、生成したデプスマップを新視点画像生成モジュール１４０８に送る。新視点画像生成モジュール１４０８は新視点画像を生成し、生成した新視点画像を画像出力モジュール１４１０に送る。出力画像モジュール１４１０は、生成した新視点画像を含み、かつ、表示部１４１４での表示、または記録／送信用の、または印刷時に使用できる画像を出力する。ここで、新視点画像生成モジュール１４０８は、実施の形態１で説明した新視点画像生成装置に対応するものである。
【０２１０】
図１８は、新視点画像生成装置を備える表示装置１５００の構成を示すブロック図である。３Ｄ画像プロセッサ１５１０は、入力画像とデプスマップを同プロセッサ内の新視点画像生成装置に与え、３Ｄ画像を生成するとしてもよい。３Ｄ画像を表示装置１５００の表示部に表示してもよい。ユーザは、リモートコントロールや類似の装置を用いて、新視点画像生成装置に対するパラメータを制御することにより、３Ｄの効果を制御してもよい。
【０２１１】
３Ｄ画像プロセッサ１５１０と同プロセッサ内の他のモジュールは通常、ＩＣ（集積回路）、ＡＳＩＣ（特定用途向け集積回路）、ＬＳＩ（大規模集積）回路およびＤＳＰ（デジタル信号プロセッサ）の形態で実現される。これらの各モジュールは、多くの単機能ＬＳＩまたは、１つのＬＳＩ内に含まれ得る。ここでも用いられた名称はＬＳＩであるが、集積度に応じて、ＩＣ、システムＬＳＩ、スーパーＬＳＩまたはウルトラＬＳＩまたはウルトラＬＳＩと呼称されることもある。さらに、集積方法はＬＳＩに限るものではなく、専用回路または汎用プロセッサなどによっても集積することができる。これは、プログラム命令により指示可能なＤＳＰ（デジタル信号プロセッサ）などの特殊なマイクロプロセッサも含まれる。ＬＳＩの製造後にプログラム可能なＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ）もしくはＬＳＩの接続または配置を再構成できる再構成可能プロセッサを同様の目的で用いることができる。今後は、製造と処理技術の発展に伴い、全く新しい技術がＬＳＩに置き換わるかもしれない。集積はそのような技術によって実現され得る。
【０２１２】
図１９は、新視点画像生成装置を備える画像化装置１６００の構成を示すブロック図である。画像化装置１６００は、光学システム１６０２、イメージセンサ／複数のイメージセンサ１６０４、ＡＤＣ（アナログデジタル変換器）１６０６、画像プロセッサ１６０８、マイクロコンピュータ１６１０、外部メモリ１６１２、ドライバコントローラー１６２０、ＯＩＳ（光学式の画像安定装置）センサ１６１８、操作部１６２２、記録／送信装置１６１６および表示装置１６１４を備える。
【０２１３】
イメージプロセッサ１６０８は、内部メモリ１６４０、生画像プロセッサ１６４２、カラー画像プロセッサ１６４３および３Ｄ画像プロセッサ１６４４から成る。３Ｄ画像プロセッサ１６４４は、実施の形態１における新視点画像生成装置を備える。一方で、マイクやスピーカーなど他の部品は示されていない。しかし、これにより、本発明の範囲と内容は限定されない。
【０２１４】
光学システム１６０２は、イメージセンサ／複数のイメージセンサ１６０４に到達する光信号を制御するため、例えば、複数のレンズまたはレンズ一式、ズーム／フォーカス機、アクチュエータ、シャッター、アパーチャなどの部品から構成されてもよい。イメージセンサ１６０４は、入ってくる光信号を蓄積し、その光信号を電気信号に変換する。また、マイクロコンピュータ１６１０が同センサに指示する。電気信号はＡＤＣ１６０６によりデジタルデータ（生画像データ）に変換され、内部メモリ１６４０または外部メモリ１６１２に記録される。生画像プロセッサ１６４２は、内部メモリ１６４０（または、外部メモリ１６１２）から生画像データを取り込み、サイズ変更、直線性補正、ホワイトバランス、ガンマ（γ）補正などの多くの前処理（図示せず）を行ってもよい。記録／送信装置１６１６により前処理されたこの生画像を記録または送信することができる。また、カラー画像プロセッサ１６４３が前処理された生画像を処理し、ＲＧＢ（光の三原色）またはＹＣｂＣｒなどのカラー画像を生成することができる。カラー画像プロセッサ１６４３は、望ましいカラー画像を生成するため、色補間、色補正、色調範囲の調整、色ノイズの軽減などを行ってもよい。３Ｄ画像プロセッサ１６４４は、１つ以上の画像（例えば、立体音像）を取り込み、同プロセッサ内の新視点画像生成装置を用いて３Ｄ画像を再生成してもよい。表示装置１６１４に表示する際、出力された３Ｄ画像（複数の３Ｄ画像）を可視化に用いてもよく、また、さらなる利用法として、記録／送信装置１６１６に記録してもよい。記録装置の例として、フラッシュメモリカード、ハードドライバおよび光学装置が挙げられるが、これだけに限定されない。送信装置の例として、ＨＤＭＩインターフェース、ＵＳＢインターフェース、ワイヤレスインターフェースおよび直接プリンタに接続するインターフェースが挙げられるが、これだけに限定されない。記録装置または送信装置は任意で、可逆圧縮または不可逆圧縮から構成されてもよい。
【０２１５】
マイクロコンピュータ１６１０に指示されるドライバコントローラー１６２０が、光学システム１６０２を制御してもよい。操作部１６２２は、ユーザの操作入力を受信し、電気信号をマイクロプロセッサ１６１０に送信して、ユーザの入力と一致する、ドライバコントローラー１６２０、イメージセンサ／複数のイメージセンサ１６０４、イメージプロセッサ１６０８などの関連モジュールに指示する。ＯＩＳセンサ１６１８は、手の震えまたはカメラの動きによる動きを検知し、マイクロコンピュータ１６１０に電気信号を送信する。マイクロコンピュータ１６１０は、ドライバコントローラー１６２０に対し、動きを補償するレンズを動かすため、アクチュエータまたは光学システム１２０２における類似物を制御するように指示する。これにより、手の震えやカメラの動きにより生じるブレの現象を軽減することができる。
【０２１６】
画像プロセッサ１６０８、３Ｄ画像プロセッサ１６４４および両プロセッサ内のモジュールは通常、ＩＣ（集積回路）、ＡＳＩＣ（特定用途向け集積回路）およびＬＳＩ（大規模集積）回路の形態で実現される。これらの各モジュールは、多くの単機能ＬＳＩまたは、１つのＬＳＩ内に含まれ得る。ここでも用いられた名称はＬＳＩであるが、集積度に応じて、ＩＣ、システムＬＳＩ、スーパーＬＳＩまたはウルトラＬＳＩと呼称されることもある。さらに、集積方法はＬＳＩに限るものではなく、専用回路または汎用プロセッサなどによっても集積することができる。これは、プログラム命令により指示可能なＤＳＰ（デジタル信号プロセッサ）などの特殊なマイクロプロセッサも含まれる。ＬＳＩの製造後にプログラム可能なＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ）もしくはＬＳＩの接続または配置を再構成できる再構成可能プロセッサを同様の目的で用いることができる。今後は、製造と処理技術の発展に伴い、全く新しい技術がＬＳＩに置き換わるかもしれない。集積はそのような技術によって実現され得る。
【０２１７】
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像復号化装置などを実現するソフトウェアは、次のようなプログラムである。
【０２１８】
すなわち、このプログラムは、コンピュータに、対象物体の画像領域である前景画像領域と、前記前景画像領域以外の背景画像領域とから構成された入力画像から、前記入力画像の新しい視点の画像である新視点画像を生成する新視点画像生成方法を実行させるためのものであって、前記入力画像に対応するデプスマップに基づき、前記入力画像で前記前景画像領域をシフトさせることにより、欠落画素領域を含む新視点画像を生成する生成ステップと、前記背景画像領域を構成する複数の背景画素のうち、前記入力画像において前記前景画像領域と前記背景画像領域との境界を示す複数のエッジ画素から所定の画素数離れた背景画素を複数の代表背景画素として選択する選択ステップと、選択された前記複数の代表背景画素それぞれにおける前記背景画像領域のテクスチャのエッジ方向であるテクスチャ方向であって前記複数の代表背景画素それぞれのテクスチャ方向を算出し、前記代表背景画素それぞれの位置と前記欠落画素領域に含まれる複数の欠落画素それぞれの位置とに基づき、前記複数の欠落画素それぞれに対応するテクスチャ方向を示すテクスチャ方向マップを算出するテクスチャ方向マップ算出ステップと、前記テクスチャ方向マップに従って、複数の背景画素を用いて、前記欠落画素領域を補間する補間処理ステップとを含む。
【０２１９】
以上、本発明の一つまたは複数の態様に係る新視点画像生成装置および新視点画像生成方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
【産業上の利用可能性】
【０２２０】
本発明は、新視点画像生成装置および新視点画像生成方法等に利用でき、特に、ジタルスチルカメラおよびムービーカメラなどの撮像装置等に実装され、３Ｄ表示用の立体画像または多視点画像を構成する新視点画像の生成を行う新視点画像生成装置および新視点画像生成方法等に利用することができる。
【符号の説明】
【０２２１】
１００、２００  新視点画像生成装置
１０２  デプスエッジ検出部
１０４  代表背景画素選択部
１０６  新視点画像生成部
１０８、１０８Ａ、１０８Ｂ  テクスチャ方向マップ算出部
１１０、１１０Ａ  穴補間処理部
４００、４０２、４０４  デプスマップ
４１０  前景対象物
４２０  背景対象物
５１０  領域
５２０  エッジ画素
５３０  角度
６０２  入力画像
６０４、６１４  前景画像領域
６０６  背景画像領域
６１２  新視点画像
６１８  穴領域
９０１、９０３、９０５、９０７  画素
１０８１  テクスチャ方向算出部
１０８２  マップ算出部
１０８３  信頼値算出部
１０８４  エッジ強度検出部
１１０１  方向取得部
１１０２  距離決定部
１１０３  背景画素取得部
１１０４  穴補間部
【図１】
0005983935.tif 000020
【図２Ａ】
0005983935.tif 000021
【図２Ｂ】
0005983935.tif 000022
【図３】
0005983935.tif 000023
【図４】
0005983935.tif 000024
【図５Ａ】
0005983935.tif 000025
【図５Ｂ】
0005983935.tif 000026
【図５Ｃ】
0005983935.tif 000027
【図６】
0005983935.tif 000028
【図７Ａ】
0005983935.tif 000029
【図７Ｂ】
0005983935.tif 000030
【図８】
0005983935.tif 000031
【図９】
0005983935.tif 000032
【図１０】
0005983935.tif 000033
【図１１】
0005983935.tif 000034
【図１２】
0005983935.tif 000035
【図１３】
0005983935.tif 000036
【図１４】
0005983935.tif 000037
【図１５】
0005983935.tif 000038
【図１６Ａ】
0005983935.tif 000039
【図１６Ｂ】
0005983935.tif 000040
【図１６Ｃ】
0005983935.tif 000041
【図１７】
0005983935.tif 000042
【図１８】
0005983935.tif 000043
【図１９】
0005983935.tif 000044