(57)【要約】  本発明に係る画像生成装置（２００）は、入力画像と奥行きマップとに基づき、入力画像に対し、新視点に対応するシフト量だけ画素をシフトさせる処理を施した第１の画素シフト画像と、入力画像に含まれる、対象物のエッジ周辺の背景領域の画素を含む背景エッジ画像に対し、第１の画素シフト画像と同じシフト量だけ対応する画素をシフトさせる処理を施した第２の画素シフト画像とを生成する画素シフト画像生成部（２０６）と、第２の画素シフト画像に含まれる背景領域が、画素をシフトさせる処理により第１の画素シフト画像に生じた、画素情報がない領域であるホールに含まれるように、第２の画素シフト画像と第１の画素シフト画像とを結合する画像結合部（２０８）と、結合された画素シフト画像に基づいて、ホールに含まれる画素情報を補完する穴埋め部（２１０）とを備える。
2012153513.tif 000002
【特許請求の範囲】
【請求項１】
入力画像と、前記入力画像に対応する奥行きマップとから、当該入力画像により表されるシーンを新視点から表示する画像を生成する画像生成装置であって、
前記入力画像と前記奥行きマップとに基づき、前記入力画像に対し、前記新視点に対応するシフト量だけ画素をシフトさせる処理を施した第１の画素シフト画像と、前記入力画像に含まれる、前景対象物のエッジ周辺の背景領域の画素である指定エッジ画素を含む背景エッジ画像に対し、第１の画素シフト画像と同じシフト量だけ対応する画素をシフトさせる処理を施した第２の画素シフト画像とを生成する画素シフト画像生成部と、
前記第２の画素シフト画像に含まれる背景領域が、画素をシフトさせる処理により前記第１の画素シフト画像に生じた、画素情報がない領域であるホールに含まれるように、前記第２の画素シフト画像と前記第１の画素シフト画像とを結合する画像結合部と、
前記結合された画素シフト画像に基づいて、前記ホールに含まれる画素情報を補完する穴埋め部とを備える
画像生成装置。
【請求項２】
前記入力画像と前記奥行きマップとに含まれるエッジをそれぞれ検出するエッジ検出モジュールと、
前記入力画像に含まれるエッジ情報を示す第１のエッジ画像と、前記奥行きマップに含まれるエッジ情報を示す第２のエッジ画像との位置合わせを行うエッジフィルタリングモジュールと、
位置合わせをされた前記入力画像に含まれるエッジと、前記奥行きマップに含まれるエッジとに基づいて、前記入力画像に含まれるエッジの画素値を、当該エッジの位置に対応する前記奥行きマップ上の位置から所定範囲内において最も奥まった位置を示す画素の画素値によって置き換えることにより、前記背景エッジ画像を生成する生成モジュールとを有する
背景エッジ画像生成部をさらに備える
請求項１に記載の画像生成装置。
【請求項３】
前記エッジフィルタリングモジュールは、
前記第１のエッジ画像及び前記第２のエッジ画像の一方における所定領域内でエッジを示す第１エッジ画素と、前記第１のエッジ画像及び前記第２のエッジ画像の他方における前記所定領域内でエッジを示す画素であって、前記第１エッジ画素との距離が最短となる第２エッジ画素とを決定し、
前記第１エッジ画素及び前記第２エッジ画素のうち一方の位置を他方の位置と一致させることにより、前記第１のエッジ画像と前記第２のエッジ画像との位置合わせを行う
請求項２に記載の画像生成装置。
【請求項４】
前記第１のエッジ画像及び前記第２のエッジ画像において、前記エッジは幅方向に２つ以上の画素を有する
請求項２又は請求項３に記載の画像生成装置。
【請求項５】
前記エッジが有する幅方向の画素のうち、少なくとも１つの画素は前記前景対象物に含まれ、他の少なくとも１つの画素は、背景領域に含まれる
請求項４に記載の画像生成装置。
【請求項６】
前記エッジ検出モジュールは、
キャニーエッジ（Ｃａｎｎｙ  ｅｄｇｅ）検出器、プリウィットエッジ（Ｐｒｅｗｉｔｔ  ｅｄｇｅ）検出器、ソベルエッジ（Ｓｏｂｅｌ  ｅｄｇｅ）検出器、ラプラシアン・ガウシアンエッジ（Ｌａｐｌａｃｉａｎ  ｏｆ  Ｇａｕｓｓｉａｎ  ｅｄｇｅ）検出器、又は、他の微分エッジ検出器からなるグループに含まれるエッジ検出器を有する
請求項２に記載の画像生成装置。
【請求項７】
前記画素シフト画像生成部は、前記奥行きマップと、前記シフト量のゲインを示す少なくとも１つのパラメーターとに基づき、前記シフト量を算出する
請求項１に記載の画像生成装置。
【請求項８】
前記画像結合部は、前記第１の画素シフト画像の画素値を前記第２の画素シフト画像の対応する画素値に置き換えることにより前記第２の画素シフト画像を前記第１の画素シフト画像に結合する
請求項１に記載の画像生成装置。
【請求項９】
前記画像結合部は、画素値の加重平均に基づき、前記第２の画素シフト画像を前記第１の画素シフト画像に結合する
請求項１に記載の画像生成装置。
【請求項１０】
前記穴埋め部は、ＴＶ（Ｔｏｔａｌ  Ｖａｒｉａｔｉｏｎ）修正処理を前記結合された画素シフト画像に施すことにより、前記ホールに含まれる画素情報を補完する
請求項１に記載の画像生成装置。
【請求項１１】
前記穴埋め部は、前記ＴＶ修正処理において、近隣画素を利用して算出される画素値の変化度合いに基づき前記画素情報の補完を行う
請求項１０に記載の画像生成装置。
【請求項１２】
前記穴埋め部は、さらに、
前記穴埋め部によりホールが補完された後の前記結合された画素シフト画像に対し、前記境界近傍における画素値の類似性と前記奥行きマップにより示される奥行き度とに基づいて前記前景対象物の境界を滑らかにする処理を施す
請求項１に記載の画像生成装置。
【請求項１３】
入力画像と、前記入力画像に対応する奥行きマップとから、当該入力画像により表されるシーンを新視点から表示する画像を生成する画像生成方法であって、
前記入力画像と前記奥行きマップとに基づき、前記入力画像に対し、前記新視点に対応するシフト量だけ画素をシフトさせる処理を施した第１の画素シフト画像と、前記入力画像に含まれる、前景対象物のエッジ周辺の背景領域の画素である指定エッジ画素を含む背景エッジ画像に対し、第１の画素シフト画像と同じシフト量だけ対応する画素をシフトさせる処理を施した第２の画素シフト画像とを生成する画素シフト画像生成ステップと、
前記第２の画素シフト画像に含まれる背景領域が、画素をシフトさせる処理により前記第１の画素シフト画像に生じた、画素情報がない領域であるホールに含まれるように、前記第２の画素シフト画像と前記第１の画素シフト画像とを結合する画像結合ステップと、
前記結合された画素シフト画像に基づいて、前記ホールに含まれる画素情報を補完する穴埋めステップとを含む
画像生成方法。
【請求項１４】
請求項１３に記載の画像生成方法をコンピュータに実行させるための
プログラム。
【請求項１５】
請求項１３に記載の画像生成方法をコンピュータに実行させるためのプログラムを記録した
記録媒体。
【請求項１６】
請求項１３に記載の画像生成方法を実現する
集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般に画像処理に関し、特に立体／多視点画像の生成方法および装置に関する。
【背景技術】
【０００２】
従来から知られているＤＩＢＲ（Ｄｅｐｔｈ−Ｉｍａｇｅ−Ｂａｓｅｄ  Ｒｅｎｄｅｒｉｎｇ）技術を用いることで、１つの画像ビューとそれに対応する奥行きマップとを用いて３次元画像を生成することができる（例えば特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許出願公開第２００９／０１１５７８０号明細書
【非特許文献】
【０００４】
【非特許文献１】L. McMillan & S. Gortler:“Image-Based Rendering: A New Interface Between Computer Vision and Computer Graphics", Computer Graphics, Vol. 33, No. 4 (November 1999)
【非特許文献２】C. Fehn: “Depth-Image-Based Rendering (DIBR), Compression and Transmission for a New Approach on 3D-TV", Proceedings of SPIE Stereoscopic Displays and Virtual Reality Systems XI, 5291: 93-104 (2004)
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ＤＩＢＲ技術により生成した画像において、前景対象物と背景との境界アーチファクトが増加するという課題がある。【０００６】
そこで、本発明は、ＤＩＢＲ技術により新たな画像を生成した際に生じる前景対象物と背景との境界アーチファクトを抑制可能な画像生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するため、本発明の一態様に係る画像生成装置は、入力画像と、前記入力画像に対応する奥行きマップとから、当該入力画像により表されるシーンを新視点から表示する画像を生成する画像生成装置であって、前記入力画像と前記奥行きマップとに基づき、前記入力画像に対し、前記新視点に対応するシフト量だけ画素をシフトさせる処理を施した第１の画素シフト画像と、前記入力画像に含まれる、前景対象物のエッジ周辺の背景領域の画素である指定エッジ画素を含む背景エッジ画像に対し、第１の画素シフト画像と同じシフト量だけ対応する画素をシフトさせる処理を施した第２の画素シフト画像とを生成する画素シフト画像生成部と、前記第２の画素シフト画像に含まれる背景領域が、画素をシフトさせる処理により前記第１の画素シフト画像に生じた、画素情報がない領域であるホールに含まれるように、前記第２の画素シフト画像と前記第１の画素シフト画像とを結合する画像結合部と、前記結合された画素シフト画像に基づいて、前記ホールに含まれる画素情報を補完する穴埋め部とを備える画像生成装置である。【０００８】
なお、本発明は、このような画像生成装置として実現できるだけでなく、画像生成装置に含まれる特徴的な手段をステップとする画像生成方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのはいうまでもない。【０００９】
さらに、本発明は、このような画像生成装置の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現したり、このような画像生成装置を含む画像生成システムとして実現したりできる。
【発明の効果】
【００１０】
本発明によると、前景対象物と背景との境界アーチファクトを抑制可能な画像生成装置を提供できる。
【図面の簡単な説明】
【００１１】
【図１】図１は、本発明の関連技術により生成される新たな画像ビューの概念図である。
【図２】図２は、本発明の実施の形態に係る画像生成装置により生成される新たな画像ビューの概念図である。
【図３】図３は、先行技術に係る画像レンダリング手段の概略図である。
【図４】図４は、本発明に係る新たな画像ビューを生成する装置を示すブロック図である。
【図５】図５は、本発明に係る新たな画像ビューを生成する方法を示すフローチャートである。
【図６】図６は、本発明の一実施形態に係る新たな画像ビューを生成する装置を示すブロック図である。
【図７】図７は、フィルタ処理後のエッジ画像を生成するためのエッジ画像のフィルタリングの図である。
【図８】図８は、本発明の実施形態に係る背景エッジ画像の一例を示す図である。
【図９】図９は、本発明の実施形態に係る背景エッジ画像生成の生成過程の一例を示す図である。
【図１０】図１０は、本発明の実施形態に係る画像結合の図である。
【図１１】図１１は、本発明の実施形態に係る背景エッジ画像生成の詳細な方法を示すフローチャートである。
【図１２】図１２は、本発明の実施形態に係る新たな画像ビュー生成の詳細な方法を示すフローチャートである。
【図１３】図１３は、本発明の実施形態に係る前景エッジのリマッピング方法を示す図である。
【図１４】図１４は、本発明の実施形態に係る修復の収束率を示すグラフである。
【図１５】図１５は、本発明の新たな画像ビューを生成する装置が組み込まれている表示装置のブロック図である。
【発明を実施するための形態】
【００１２】
（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した３次元画像生成技術について、以下の問題が生じることを見出した。
【００１３】
通常、あるシーンを新視点から見た画像は、奥行き画像に基づくレンダリング（ＤＩＢＲ）技術を用いることで生成できる。あるシーンの元の視点からの入力画像と、それに対応するそのシーンの対象物間の距離を示す奥行き画像（デプスマップともよぶ）は、ビュー合成としても知られる新視点の合成に用いられる。
【００１４】
このビュー合成手法では、元の視点のカメラ位置と新視点の新たなカメラ位置との情報を用いるカメラの幾何学に基づき、新たな画像ビューを生成する。ここで、新たな画像ビューとは、入力画像とは異なる視点から見た画像となるように、新たに合成された画像を意味する。合成された新たな画像ビューは、左眼ビュー画像と右眼ビュー画像とを３Ｄ立体視表示に利用することができる。多視点画像は多視点３Ｄディスプレイ用としても生成することができる。したがって、ＤＩＢＲ技術を用いることで、１つの画像ビューとそれに対応する奥行きマップのみを用いて３次元画像を生成することができる。
【００１５】
新たなビューの生成により、隠蔽領域に穴（ホール）が生じる。ここで、ホールとは、合成ビューにおいて、画素情報を含まず空である未知領域をいう。これは、元の視点における隠蔽領域が、新視点で可視化（非隠蔽化）されることにより生じる。したがって、ホールが生じた画像に対して、穴埋め方法を適用することが必要になる。
【００１６】
周知の穴埋め方法は、補間のため穴の両側の画素を用いるバイリニア補間法に基づく。同方法は小さい穴領域ではうまく機能する。しかしながら、大きな穴については、同方法では、不鮮明なエッジ、境界アーチファクトおよび対象物の歪みが生じる場合が多い。そのような３Ｄは低品質である。対称又は非対称の奥行きマップの平滑化などの方法は、穴のサイズを縮小する技術に開示されている。しかしながら、そのような方法では、対象物に幾何学的歪みが生じ３Ｄ効果が抑制される。
【００１７】
また、別の方法が、特許文献１に開示されている。図３に示される関連技術に係る画像生成装置１００は、エッジ検出１０４で奥行きマップのエッジが検出される。次に、テクスチャ分析１０２で、エッジの周辺領域と一致する入力画像の領域における画素値の一定の変化を計算するため、入力画像のテクスチャが分析される。また、奥行きスケーリング１０６でその変化量に基づき奥行きマップが縮小する。最後に、レンダリング部１０８で出力画像が表示される。奥行きスケーリング１０６で奥行きマップを縮小することにより、同方法では高テクスチャ領域において穴のサイズが縮小する。このため、レンダリングアーチファクトを低減できる。しかし、３Ｄ効果は抑制される可能性がある。また、周知の方法では対象物のエッジが正確に処理されない。周知の方法では、前景対象物のエッジが広がり、境界アーチファクトが生じる傾向にある。このため、３Ｄの品質が劣化する。
【００１８】
このような問題を解決するため、本発明の一態様に係る画像生成装置は、入力画像と、前記入力画像に対応する奥行きマップとから、当該入力画像により表されるシーンを新視点から表示する画像を生成する画像生成装置であって、前記入力画像と前記奥行きマップとに基づき、前記入力画像に対し、前記新視点に対応するシフト量だけ画素をシフトさせる処理を施した第１の画素シフト画像と、前記入力画像に含まれる、前景対象物のエッジ周辺の背景領域の画素である指定エッジ画素を含む背景エッジ画像に対し、第１の画素シフト画像と同じシフト量だけ対応する画素をシフトさせる処理を施した第２の画素シフト画像とを生成する画素シフト画像生成部と、前記第２の画素シフト画像に含まれる背景領域が、画素をシフトさせる処理により前記第１の画素シフト画像に生じた、画素情報がない領域であるホールに含まれるように、前記第２の画素シフト画像と前記第１の画素シフト画像とを結合する画像結合部と、前記結合された画素シフト画像に基づいて、前記ホールに含まれる画素情報を補完する穴埋め部とを備える画像生成装置である。
【００１９】
これによると、結合された画素シフト画像において、ホールの外縁領域に含まれる画素値は、背景領域に含まれる画素値となる。したがって、画像生成装置がホールを補完する際には、背景領域に含まれる画素値が用いられる。これにより、前景対象物と背景との境界アーチファクトを抑制することができる。
【００２０】
具体的には、前記入力画像と前記奥行きマップとに含まれるエッジをそれぞれ検出するエッジ検出モジュールと、前記入力画像に含まれるエッジ情報を示す第１のエッジ画像と、前記奥行きマップに含まれるエッジ情報を示す第２のエッジ画像との位置合わせを行うエッジフィルタリングモジュールと、位置合わせをされた前記入力画像に含まれるエッジと、前記奥行きマップに含まれるエッジとに基づいて、前記入力画像に含まれるエッジの画素値を、当該エッジの位置に対応する前記奥行きマップ上の位置から所定範囲内において最も奥まった位置を示す画素の画素値によって置き換えることにより、前記背景エッジ画像を生成する生成モジュールとを有する背景エッジ画像生成部をさらに備えるとしてもよい。
【００２１】
また、前記エッジフィルタリングモジュールは、前記第１のエッジ画像及び前記第２のエッジ画像の一方における所定領域内でエッジを示す第１エッジ画素と、前記第１のエッジ画像及び前記第２のエッジ画像の他方における前記所定領域内でエッジを示す画素であって、前記第１エッジ画素との距離が最短となる第２エッジ画素とを決定し、前記第１エッジ画素及び前記第２エッジ画素のうち一方の位置を他方の位置と一致させることにより、前記第１のエッジ画像と前記第２のエッジ画像との位置合わせを行うとしてもよい。
【００２２】
これによると、入力画像と奥行きマップとの位置ズレを補正することにより、より正確な背景エッジ画像を生成することができる。
【００２３】
また、前記第１のエッジ画像及び前記第２のエッジ画像において、前記エッジは幅方向に２つ以上の画素を有するとしてもよい。
【００２４】
これによると、生成した背景エッジ画像をシフトした際に、ホールの両側に背景領域に含まれる画素値を配置することができる。
【００２５】
また、前記エッジが有する幅方向の画素のうち、少なくとも１つの画素は前記前景対象物に含まれ、他の少なくとも１つの画素は、背景領域に含まれるとしてもよい。
【００２６】
例えば、前記エッジ検出モジュールは、キャニーエッジ（Ｃａｎｎｙｅｄｇｅ）検出器、プリウィットエッジ（Ｐｒｅｗｉｔｔｅｄｇｅ）検出器、ソベルエッジ（Ｓｏｂｅｌｅｄｇｅ）検出器、ラプラシアン・ガウシアンエッジ（Ｌａｐｌａｃｉａｎ  ｏｆ  Ｇａｕｓｓｉａｎｅｄｇｅ）検出器、又は、他の微分エッジ検出器からなるグループに含まれるエッジ検出器を有するとしてもよい。
【００２７】
また、前記画素シフト画像生成部は、前記奥行きマップと、前記シフト量のゲインを示す少なくとも１つのパラメーターとに基づき、前記シフト量を算出するとしてもよい。
【００２８】
これによると、例えば立体視用の画像を生成する際に、シフト量のゲインを示すパラメーターを調整することにより、立体視を行った際の飛び出し量又はへこみ量を調整することができる。
【００２９】
例えば、前記画像結合部は、前記第１の画素シフト画像の画素値を前記第２の画素シフト画像の対応する画素値に置き換えることにより前記第２の画素シフト画像を前記第１の画素シフト画像に結合するとしてもよい。
【００３０】
また、前記画像結合部は、画素値の加重平均に基づき、前記第２の画素シフト画像を前記第１の画素シフト画像に結合するとしてもよい。
【００３１】
これにより、より適切に２つの画素シフト画像を結合することができる。
【００３２】
例えば、前記穴埋め部は、ＴＶ（Ｔｏｔａｌ  Ｖａｒｉａｔｉｏｎ）修正処理を前記結合された画素シフト画像に施すことにより、前記ホールに含まれる画素情報を補完するとしてもよい。
【００３３】
また、前記穴埋め部は、前記ＴＶ修正処理において、近隣画素を利用して算出される画素値の変化度合いに基づき前記画素情報の補完を行うとしてもよい。
【００３４】
これにより、穴埋め部は、ホールの補完処理をより高速に行うことができる。
【００３５】
また、前記穴埋め部は、さらに、前記穴埋め部によりホールが補完された後の前記結合された画素シフト画像に対し、前記境界近傍における画素値の類似性と前記奥行きマップにより示される奥行き度とに基づいて前記前景対象物の境界を滑らかにする処理を施すとしてもよい。
【００３６】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
【００３７】
以上述べたように、本発明の目的は、新たな画像ビューを生成する方法および装置の提供である。同方法および装置により、対象物の境界を正確に生成することができ、前景対象物の形状を保ちつつ、境界アーチファクトを低減することができる。よって、画質が向上してより高い３Ｄ効果が得られる。
【００３８】
また、本発明は、３Ｄアプリケーションに使用可能な新たな画像ビューの生成方法および装置を提供する。本発明において同方法は、前景対象物の形状を保ちながら背景情報を画素シフト入力画像に結合し、穴の両側が確実に背景画素を含むようにする。次に、穴埋めが実行される。この効果は、出力画像における対象物の境界の正確さが向上し、歪みが軽減されることである。これにより、より高い３Ｄの効果が得られる。
【００３９】
また、本発明では一実施形態において、入力画像および入力画像と奥行きマップ両方のエッジ情報から、背景エッジ画像を生成する。奥行きマップにおける対象物の境界周辺の奥行き誤差は、入力画像のエッジ情報を用いてフィルタ処理される。この効果は、出力時に前景対象物の境界アーチファクトが低減されることである。
【００４０】
また、本発明では一実施形態において、穴埋めに近似修復法（ａｐｐｒｏｘｉｍａｔｅｄ  ｉｎｐａｉｎｔｉｎｇ  ｍｅｔｈｏｄ）が用いられる。同様の画素出力の修復結果が得られる一方、係数を加えることで収束率が向上し反復回数が減る。この効果は、従来の修復方法と比較すると計算時間を大幅に削減できることである。
【００４１】
以下、本発明の一態様に係る画像生成装置について、図面を参照して具体的に説明する。なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００４２】
（実施の形態）
まず、本発明の効果を具体的に説明するため、図１及び図２を参照して、本発明の実施の形態に係る画像生成装置を用いて生成される画像と、本発明の関連技術によって生成される画像との違いについて述べる。
【００４３】
図１は、本発明の関連技術によって生成された新たな画像ビューを示す概念図である。
【００４４】
ここでは、まず、入力画像と、当該入力画像に対応するデプスマップとから、視点を左方向へシフトさせた新たな画像ビューをＤＩＢＲ技術により合成する。言いかえると、入力画像において、前景が背景に対して右方向にシフトした画像ビューを合成する。この画像ビューには、前景がシフトした分だけ、画素情報のない領域であるホール（Ｈｏｌｅ）が存在する。
【００４５】
そこで関連技術においては、ホールの左側近傍の画素情報と右端近傍の画素情報とに基づいて、ホールを補完する。この時、ホールの左側近傍の画素情報は、背景の画素情報である。また、ホールの右側近傍の画素情報は、前景の画素情報である。その結果、図１に示される様に、前景の左端と背景との境界にアーチファクトが生じる。
【００４６】
一方、図２は、本実施の形態に係る画像生成装置により生成された新たな画像ビューを示す概念図である。
【００４７】
図２に示される様に、本実施の形態に係る画像生成装置は、ホールを補完する際に背景の画素情報のみを使用する。そのために、画像生成装置は、ホールの右側近傍において、前景の画素情報を背景の画素情報で置き換えた後に補完処理を行っている。その結果、新たな画像ビューを生成した際にも、前景の左端と背景との境界にアーチファクトが生じることがない。
【００４８】
次に、本実施の形態に係る画像生成装置の構成について説明する。
【００４９】
図４は、画像生成装置２００のブロック図の一例を示す。画像生成装置２００は、入力画像と、入力画像に対応する奥行きマップとから、当該入力画像により表されるシーンを新視点から表示する新たな画像を生成する。
【００５０】
図４に示される様に、画像生成装置２００は、画素シフト画像生成部２０６と、画像結合部２０８と、穴埋め部２１０とを備える。
【００５１】
画素シフト画像生成部２０６は、入力画像と奥行きマップとに基づき、入力画像に対し、新視点に対応するシフト量だけ画素をシフトさせる処理を施した第１の画素シフト画像を生成する。また、入力画像に含まれる、前景対象物のエッジ周辺の背景領域の画素である指定エッジ画素を含む背景エッジ画像に対し、第１の画素シフト画像と同じシフト量だけ対応する画素をシフトさせる処理を施した第２の画素シフト画像を生成する。
【００５２】
画像結合部２０８は、第２の画素シフト画像に含まれる背景領域が、画素をシフトさせる処理により第１の画素シフト画像に生じた、画素情報がない領域であるホールに含まれるように、第２の画素シフト画像と第１の画素シフト画像とを結合する。
【００５３】
穴埋め部２１０は、結合された画素シフト画像に基づいて、ホールに含まれる画素情報を補完する。
【００５４】
以下、より具体的に説明する。
【００５５】
画像生成装置２００は、入力画像２０２と奥行きマップ（デプスマップ）２０４とを取得する。奥行きマップ２０４は、入力画像のシーンオブジェクト間の距離を示す情報を含む。画素シフト画像生成部２０６は、入力画像２０２および奥行きマップ２０４に基づき、第１の画素シフト画像および第２の画素シフト画像を生成する。
【００５６】
ここで第１の画素シフト画像とは、入力画像にＤＩＢＲ技術を適用することにより生成される、視点がシフトされた画像である。すなわち、入力画像と奥行きマップとに基づき、入力画像に対し、新視点に対応するシフト量だけ画素をシフトさせる処理を施した画像である。
【００５７】
また、第２の画素シフト画像とは、入力画像に含まれる前景対象物のエッジ周辺の背景領域の画素である指定エッジ画素を含む背景エッジ画像に対し、第１の画素シフト画像と同じシフト量だけ対応する画素をシフトさせる処理を施した画像である。
【００５８】
画素シフト量は、奥行きマップ２０４から導出される。画像結合部２０８は、第２の画素シフト画像の情報を第１の画素シフト画像に結合し、結合された画素シフト画像を生成する。最後に、穴埋め部２１０は穴領域周辺の情報を用いて、結合された画素シフト画像の欠落画素を補充することで、出力画像２１２を取得する。
【００５９】
画像生成装置２００を構成する各構成要素は、通常、ＩＣ（集積回路）、ＡＳＩＣ（特定用途向け集積回路）、ＬＳＩ（大規模集積）回路およびＤＳＰ（デジタル信号プロセッサ）の形態で実現されるか、ＡＲＭなどＣＰＵベースのプロセッサおよびＰＣ（パソコン）などの機械により実現される。これらの各モジュールは多くの単機能ＬＳＩまたは１つのＬＳＩの中に含まれ得る。ここで用いられた名称はＬＳＩであるが、集積度に応じて、ＩＣ、システムＬＳＩ、スーパーＬＳＩまたはウルトラＬＳＩと呼称されることもある。さらに、集積方法はＬＳＩに限るものではなく、専用回路または汎用プロセッサなどによっても集積することができる。これには、プログラム命令により指示可能なＤＳＰ（デジタル信号プロセッサ）などの特殊なマイクロプロセッサも含まれる。ＬＳＩの製造後にプログラム可能なＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ）もしくはＬＳＩの接続または配置を再構成できる再構成可能プロセッサを同様の目的で用いることができる。今後は、製造と処理技術の発展に伴い全く新しい技術がＬＳＩに置き換わるかもしれない。集積はそのような技術によって実現され得る。実施態様では、デジタルスチルカメラおよびムービーカメラなどの撮像装置に画像生成装置２００を組み込んでもよい。装置２００は、業務用撮像システムなどに見られるように画像撮像システムと連動するスタンドアロン型の装置に実装されてもよい。しかし、他の種類の装置に画像生成装置２００を実装することも可能であり、本発明の範囲を限定するものではない。
【００６０】
図５は、画像生成装置２００が行う処理の流れを示す。
【００６１】
まず、画像生成装置２００は、ステップＳ３０２で入力画像および奥行きマップを取得する。
【００６２】
次に、画像生成装置２００は、ステップＳ３０４で、入力画像と奥行きマップとに基づき、第１の画素シフト画像および第２の画素シフト画像を生成する。第２の画素シフト画像は、前景対象物のエッジ周辺の背景領域の画素から取得した指定エッジ画素を含む。
【００６３】
次に、画像生成装置２００は、ステップＳ３０６で、前景対象物の形状を保ちながら第２の画素シフト画像の背景情報を第１の画素シフト画像に結合するように、第２の画素シフト画像を第１の画素シフト画像に結合する。
【００６４】
最後に、画像生成装置２００は、ステップＳ３０８で、結合された画素シフト画像の背景情報を利用し、結合された画素シフト画像の欠落画素を補充して出力画像を取得する。画像結合プロセスにおいてこの背景エッジ画素を前景エッジ画素に正確に結合することにより、前景対象物は正確に保たれ、アーチファクトは低減される。これにより画質が向上する。
【００６５】
図６は、本実施の形態に係る画像生成装置２００のブロック図の他の一例を示す。図４に示す画像生成装置２００との相違点は、さらに、背景エッジ画像生成部４１９を備えている点である。
【００６６】
図６に示される様に、背景エッジ画像生成部４１９は、入力画像と奥行きマップとに含まれるエッジをそれぞれ検出するエッジ検出モジュール４１４と、入力画像に含まれるエッジ情報を示す第１のエッジ画像と、奥行きマップに含まれるエッジ情報を示す第２のエッジ画像との位置合わせを行うエッジフィルタリングモジュール４１６と、位置合わせをされた入力画像に含まれるエッジと、奥行きマップに含まれるエッジとに基づいて、入力画像に含まれるエッジの画素値を、当該エッジの位置に対応する奥行きマップ上の位置から所定範囲内において最も奥まった位置を示す画素の画素値によって置き換えることにより、背景エッジ画像を生成する生成モジュール４１８とを有する。
【００６７】
また、エッジフィルタリングモジュール４１６は、第１のエッジ画像及び第２のエッジ画像の一方における所定領域内でエッジを示す第１エッジ画素と、第１のエッジ画像及び第２のエッジ画像の他方における所定領域内でエッジを示す画素であって、第１エッジ画素との距離が最短となる第２エッジ画素とを決定してもよい。この場合、エッジフィルタリングモジュール４１６は、第１エッジ画素及び第２エッジ画素のうち一方の位置を他方の位置と一致させることにより、第１のエッジ画像と第２のエッジ画像との位置合わせを行う。
【００６８】
以下、より詳細に説明する。
【００６９】
エッジ検出モジュール４１４は、入力画像２０２および奥行きマップ２０４を取得し、入力画像２０２の第１のエッジ画像および奥行きマップ２０４の第２のエッジ画像を生成する。当該第１及び第２のエッジ画像は、指定エッジ画素を含む。
【００７０】
エッジフィルタリングモジュール４１６は、第１と第２のエッジ画像を取得し、第１と第２両方のエッジ画像の情報を用いて第２のエッジ画像をフィルタ処理することにより、指定エッジ画素を含むフィルタ処理後のエッジ画像を生成する。これにより、前景対象物と背景対象物の間の境界ノイズはフィルタ処理され、第２のエッジ画像のエッジ誤差は訂正される。
【００７１】
ここで、フィルタ処理後の第１及び第２のエッジ画像において、エッジは幅方向に２つ以上の画素を有する。また、エッジが有する幅方向の画素のうち、少なくとも１つの画素は前景対象物に含まれ、他の少なくとも１つの画素は、背景領域に含まれる。
【００７２】
生成モジュール４１８は入力画像と奥行きマップとの情報を用いて、フィルタ処理後のエッジ画像に基づき背景エッジ画像を生成する。この生成方法では、フィルタ処理後のエッジ画像における指定エッジ画素の対応周辺領域において最小奥行き位置を検出し、指定エッジ画素を前記最小奥行き位置に対応する入力画像の画素強度値に置き換える。
【００７３】
画素シフト画像生成部２０６は、第１の画素シフト画像および第２の画素シフト画像を生成する。第１の画素シフト画像は入力画像と奥行きマップを用いて生成される。第２の画素シフト画像は背景エッジ画像と奥行きマップを用いて生成される。第２の画素シフト画像は、前景対象物のエッジ周辺の背景領域の画素から取得した指定エッジ画素を含む。なお、画素シフト画像生成部２０６は、奥行きマップと、シフト量のゲインを示す少なくとも１つのパラメーターとに基づき、シフト量を算出してもよい。
【００７４】
画像結合部２０８は、第１の画素シフト画像の画素値を第２の画素シフト画像の対応する画素値に置き換えることにより第２の画素シフト画像を第１の画素シフト画像に結合してもよい。より詳細には、画像結合部２０８は、前景対象物の形状を保ちながら第２の画素シフト画像の背景情報を第１の画素シフト画像に結合するように、第２の画素シフト画像を第１の画素シフト画像に結合して、結合された画素シフト画像を取得する。この際、画像結合部２０８は、画素値の加重平均に基づき、第２の画素シフト画像を第１の画素シフト画像に結合してもよい。
【００７５】
最後に、穴埋め部２１０は結合された画素シフト画像の背景情報を利用して結合された画素シフト画像の欠落画素を補充し、出力画像４１２を取得する。ここで、穴埋め部２１０は、ＴＶ（Ｔｏｔａｌ  Ｖａｒｉａｔｉｏｎ）修正処理を結合された画素シフト画像に施すことにより、ホールに含まれる画素情報を補完してもよい。より詳細には、穴埋め部２１０は、ＴＶ修正処理において、近隣画素を利用して算出される画素値の変化度合いに基づき画素情報の補完を行ってもよい。これにより、穴埋め部２１０は、画素値の補完処理をより効率よく行うことができる。
【００７６】
エッジ検出モジュール４１４には周知のエッジ検出器を用いることができる。例えば、エッジ検出モジュール４１４は、キャニーエッジ（Ｃａｎｎｙ  ｅｄｇｅ）検出器、プリウィットエッジ（Ｐｒｅｗｉｔｔ  ｅｄｇｅ）検出器、ソベルエッジ（Ｓｏｂｅｌ  ｅｄｇｅ）検出器、ラプラシアン・ガウシアンエッジ（Ｌａｐｌａｃｉａｎ  ｏｆ  Ｇａｕｓｓｉａｎ  ｅｄｇｅ）検出器およびその他の微分エッジ検出器からなるグループに含まれるエッジ検出器または、これらを改良したエッジ検出器を有してもよい。
【００７７】
図７には、本実施の形態におけるエッジ検出結果およびエッジフィルタリングの例が示されている。画像５０２は奥行きマップから取得した第２のエッジ画像の例である。また、画像５０４は入力画像から取得した第１のエッジ画像（プレフィルタリング後（図示せず））の例である。
【００７８】
図７を参照して、エッジフィルタリングモジュール４１６は、画素列（セット）５１２を奥行きマップ５０２のエッジ画像から抽出する。中心位置５２０はエッジ画素の位置にある。また、エッジフィルタリングモジュール４１６は、画素列（セット）５１４をエッジ画像５０４から抽出する。中心位置５４０は中心位置５２０と同じ位置である。
【００７９】
次に、エッジフィルタリングモジュール４１６は、画素列（セット）５１４の中心位置５４０と各エッジ画素との距離を計算する。例えば、画素列（セット）５１４には画素５４２および画素５４４の２つのエッジ画素がある。エッジフィルタリングモジュール４１６は、中心位置５４０と画素５４２との距離ｄ１および、中心位置５４０と画素５４４との距離ｄ２を計算する。この場合、セット５１２とセット５１４において対象物のエッジは一致しておらず、２画素分の奥行き誤差がある。すなわち奥行きマップ５０２のエッジは２画素分ずれている。この誤差を訂正するため、エッジフィルタリングモジュール４１６は、セット５１４の中心位置５４０とエッジ画素位置との最短距離を計算する。この例では、ｄ１が最短である。したがって、エッジフィルタリングモジュール４１６は、中心位置５２０であるエッジ画素を、画素５２２にリマッピングする。このようにして、対象物の境界周辺の奥行き誤差は低減される。
【００８０】
図８は、本実施の形態に係る背景エッジ画像生成部４１９により生成される背景エッジ画像の一例を示す。
【００８１】
ウィンドウ６０２は、フィルタ処理後のエッジ画像に含まれるエッジ位置を中心にした奥行きマップから抽出された領域を示す。生成モジュール４１８は、中心位置６５０の奥行き値と比較して、３×３の周辺領域６１０の最小の奥行き値を求める。この例では、画素位置６５２の奥行き値が最小である。なお、ここでは奥行き値が小さいほど、より遠いことを示す。
【００８２】
しかしながら、誤差を防ぐため、生成モジュール４１８は、中心位置６５０から見て、奥行き値が最小となる画素位置６５２を挟んで、もう１画素離れている画素位置６５４を選択する。なお、生成モジュール４１８は、奥行き値が最小の画素から、これ以外の事前に定められた距離及び方向に位置する画素を選択してもよい。
【００８３】
次に生成モジュール４１８は、ウィンドウ６０２と同位置の入力画像からウィンドウ６０４を抽出する。この例では、入力画像がカラー画像である場合における、入力画像の１つの色成分を示す。中心位置６６０は中心位置６５０に対応し、画素位置６６４は画素位置６５４に対応する。
【００８４】
生成モジュール４１８は、画素位置６６４の画素値で、画素位置６６０の画素値を置き換えることにより、背景エッジ画像を生成する。その結果、ウィンドウ６０６に示されるように、中心位置６６２の画素値は画素位置６６６の画素値と同じとなる。すなわち、中心位置６６２の画素値がフィルタ処理後のエッジ画像の同位置におけるエッジの画素値と置き換えられることにより、背景エッジ画像が生成される。
【００８５】
以後、生成モジュール４１８は、他のエッジ上の画素について、同様の処理を行う。
【００８６】
図９は、背景エッジ画像７３０を生成するプロセスの例を示している。
【００８７】
フィルタ処理後のエッジ画像７２０は、エッジ画素を画素値で置き換えた後の、フィルタ処理後のエッジ画像である。フィルタ処理後のエッジ画像７２０は、前景画素７１２および背景画素７１４を含む。
【００８８】
背景エッジ画像７３０は、エッジに沿う前景画素全てが、入力画像の背景画素に置き換えられている。例えば、前景画素７１２が、背景画素７１６に置き換えられている。
【００８９】
画素シフト画像生成部２０６は、第１の画素シフト画像および第２の画素シフト画像を生成する。図１０は、第１の画素シフト画像８０２と第２の画素シフト画像８０４の例示である。この画素シフトは奥行きマップに基づく。画素シフト画像の生成には従来のＤＩＢＲ技術を用いることができる。例えば、その方法は、非特許文献１及び非特許文献２等に開示されている。
【００９０】
図１０を参照すると、ホール８１４およびホール８２４は、入力画像における隠蔽領域で生じ得る。第１の画素シフト画像８０２において、ホール８１４は前景８１０と背景８１２との間にある。第２の画素シフト画像８０４において、ホール８２４は背景画素８１８と、背景画素８２０との間にある。第２の画素シフト画像８０４と、第１の画素シフト画像８０２とが結合され、シフト後の結合画像８０６が生成される。ホール８２４は背景画素８１８と背景画素８２０との間にある。
【００９１】
画素をシフトした入力画像と、画素をシフトした背景エッジ画像とを結合することにより、ホール領域の両側が背景画素で囲まれる。その結果、ホール領域の両側の画素値を用いたホールの補完後においても、出力された合成画像が前景対象物の形状を保つことができ、アーチファクトをより少なくすることができる。
【００９２】
再度図１０を参照すると、ホール８２４の領域における穴埋めは、ＴＶ修復（Ｔｏｔａｌ  Ｖａｒｉａｔｉｏｎ  Ｉｎｐａｉｎｔｉｎｇ）、近似ＴＶ修復（Ａｐｐｒｏｘｉｍａｔｅｄ  ＴＶ  Ｉｎｐａｉｎｔｉｎｇ）、高速修復（Ｆａｓｔ  Ｉｎｐａｉｎｔｉｎｇ）、または近似高速修復（Ａｐｐｒｏｘｉｍａｔｅｄ  Ｆａｓｔ  Ｉｎｐａｉｎｔｉｎｇ）などの修復アルゴリズムにより実行される。
【００９３】
なお、ＴＶ修復アルゴリズムによる修復の質を向上するため、修復マスクの平均近傍画素値が局所的または全体的に計算されてもよい。この場合、平均画素値が所定範囲内であれば所定の修復パラメーターａが設定される。これらのパラメーターは結合画像の各チャネルに基づいて設定される。ここで定義するように、修復マスクの局所的な平均近傍画素値とは、結合画像における各局所領域を分割することで計算可能な値のことである。修復マスクの全体的な平均近傍画素値は、結合画像における全体領域を考慮することにより計算可能な値である。平均近傍画素は修復パラメーターａの推定に用いられる。
【００９４】
結合画像の各チャネルについて、修復パラメーターａは以下の数式（１）により定義される。
【００９５】
【数１】
2012153513.tif 000003
【００９６】
近似ＴＶ修復において、修復画素値の拡散率はパラメーターλ，χｔを定数にすることで向上する。また、これらのパラメーター、λ，χｔ項は、拡散された画素値の変換率を加えることにより拡散率を加速する。結果的に、大きな穴領域が原因である不完全な補間を防ぐことができ、より完全な補間画素値が実現される。
【００９７】
修復式は以下の数式（２）で示される通りである。
【００９８】
【数２】
2012153513.tif 000004
【００９９】
ここで、ａは平均近傍画素により設定されたパラメーターであり、パラメーターλ，χｔは拡散率を加速する高速収束パラメーターであり、ｎは反復回数である。また、数式（３）で示される
【数３】
2012153513.tif 000005
は新たな画素値であり、ｂは平均化を行う数値関数である。
【０１００】
一般的に、反復を利用する修復アルゴリズムは以下の数式（４）により近似される。
【０１０１】
【数４】
2012153513.tif 000006
【０１０２】
ここで、Ｉｎ＋１は新たな画素値であり、カーネルＡは対応の修復方法により計算された係数であり、パラメーターλ，χｔは拡散率を加速する高速収束パラメーターであり、ｎは反復回数である。
【０１０３】
図１４に示されるように、従来の修復アルゴリズムでは、画素値の修復度合いの評価指標が飽和する飽和修復画素値に達するまでに多数の反復を要する。一方、上記の数式２により示される修復アルゴリズムによると、飽和修復画素値に達するまでの反復回数がより少ないため、近似修復の複雑度は低い。結果として、強度のわずかな違いを除いて修復の質は維持され、処理速度は大幅に向上する。
【０１０４】
なお、穴埋め部２１０は、さらに、穴埋め部２１０によりホールが補完された後の結合された画素シフト画像に対し、境界近傍における画素値の類似性と奥行きマップにより示される奥行き度とに基づいて前景対象物の境界を滑らかにする処理を施してもよい。以下、図１３を参照して、具体的に説明する。
【０１０５】
図１３は、本発明の実施形態に係る穴埋め部２１０が行う前景エッジのリマッピング方法を示す図である。最初のエッジ画素モジュールをリマッピングする際、フィルタ処理後の前景エッジ画像１１２０は、修復された修復画像１１２４のエッジにおいてＰ２（ｘ＋Δ，ｙ）を中心とする所定サイズのブロックを抽出するのに用いられる。また、あらかじめ記録された背景エッジの最初の画素位置は、入力されたテクスチャ画像のエッジにおいてＰ１（ｘ，ｙ）を中心とする所定サイズのブロックを、修復された画像のエッジにおいてＰ２（ｘ＋Δ，ｙ）を中心とするブロックにリマッピングするのに用いられる。合成画像１１２６が、入力画像１１２２の境界と同程度に滑らかな境界を有することは明白である。なぜなら、最初の前景画素が全て合成画像に修復されるからである。
【０１０６】
最初のエッジ画素をリマッピングする間、対応位置における２つのブロックの色強度を示す画素値および奥行き度によりアーチファクトを抑制することが確認されている。ブロックのマッチングは以下の数式（５）により計算される。
【０１０７】
【数５】
2012153513.tif 000007
【０１０８】
ここで、ＳＳＤは類似差の合計を意味し、ｎ，Ｍ，Ｎはチャネルおよび合成画像のサイズを示し、Ｉは修復された画像の画像情報を示し、Ｉｏｒｇは入力されたテクスチャ画像の画像情報を示し、ｄｅｐｔｈｏｒｇは入力された奥行き画像の画像情報を示し、ｄｅｐｔｈは修復された奥行き画像の画像情報を示す。
【０１０９】
図１３に示されるように、前景エッジ１１００（１１０１、１１０２、１１０３）は修復された奥行きマップから検出される。前景エッジを利用して、入力されたテクスチャ画像のＰ１（ｘ，ｙ）を中心としたウィンドウ１１０６に含まれる画素値は修復された画像のＰ２（ｘ＋Δ，ｙ）を中心としたウィンドウ１１０７に含まれる対応する画素値にコピーされる。その結果、ウィンドウ１１０７に含まれる画素値はウィンドウ１１０８に示される状態となる。ウィンドウ１１０８に示される様に、エッジのリマッピング後、前景エッジは全て、入力されたテクスチャ画像の前景エッジと一致し、その合成画像が出力される。
【０１１０】
図１１は、本実施の形態における背景エッジ画像の生成方法の詳細なフローチャートを示している。
【０１１１】
エッジ検出モジュール４１４は、ステップＳ９０２で、入力画像１０ａのエッジと奥行きマップ１０ｂのエッジとを検出し、それぞれエッジ画像１０とエッジ画像１１を生成する。
【０１１２】
次に、エッジフィルタリングモジュール４１６は、ステップＳ９０４で、それぞれ奥行きマップのエッジ１１に中心がある複数の入力画像のエッジ１０を抽出する。またエッジフィルタリングモジュール４１６は、ステップＳ９０６で、各奥行きマップのエッジ１１に中心があるエッジ画像列を抽出する。次に、エッジフィルタリングモジュール４１６は、ステップＳ９０８で、入力画像のエッジ１０に含まれる画素のそれぞれと奥行きマップのエッジ１１に含まれる画素のそれぞれとの距離を算出する。エッジフィルタリングモジュール４１６は、ステップＳ９１０で、この距離が閾値よりも長く、かつ、連結性の基準が満たされているか否かについて判断する。ここで、連結性とは、他のエッジとの空間的な連続性を意味する。例えば、他のエッジとは離れた位置に数画素分のエッジが存在することは通常考えにくい。この場合は、他のエッジと離れた場所にある画素情報はノイズであると判断される。
【０１１３】
ステップＳ９１０でＹｅｓと判定した場合、エッジフィルタリングモジュール４１６は、ステップＳ９１２で、前のエッジ位置と連結する入力画像エッジの最短位置に奥行きエッジの位置をリマッピングする。これにより、フィルタ処理後のエッジ画像１２が得られる。
【０１１４】
なお、ステップＳ９１０でＮｏと判定した場合、エッジフィルタリングモジュール４１６は、ステップＳ９１２の処理を行わない。
【０１１５】
次に、生成モジュール４１８は、ステップＳ９１４で、各エッジ位置を中心とする、周辺領域のより小さい奥行きの位置を算出する。その後、生成モジュール４１８は、ステップＳ９１６で、エッジ画素の奥行きを、周辺領域近隣の最小の奥行き位置の画素値に置き換える。これにより、最終的に背景エッジ画像１５が得られる。
【０１１６】
図１２は、本実施の形態における新たな画像ビューの生成方法を示すフローチャートである。
【０１１７】
まず、画素シフト画像生成部２０６は、図１１に示される方法により生成された背景エッジ画像１５と、入力画像１０ａと、奥行きマップ１０ｂの奥行きを平滑化した（Ｓ１０００）、平滑化された奥行きマップ１０１２とを取得する。
【０１１８】
その後、画素シフト画像生成部２０６は、背景エッジ画像１５と、入力画像１０ａとを、それぞれ奥行き情報に基づき、所定の量だけ画素ごとにシフトする（Ｓ１０４０、Ｓ１０４１）。
【０１１９】
次に、画像結合部２０８は、シフト済背景エッジ画像１００６と、シフト済入力画像１００７とをエッジが重なるように結合する（Ｓ１０５０）ことにより、結合画像１０１４を取得する。さらに、ホールを修復するために修復マスクを算出することにより（Ｓ１０５２）、マスク画像１０１６を生成する。
【０１２０】
その後、穴埋め部２１０は、ホールの修復（すなわち、画素情報の欠損部分の補完）を最大反復回数まで繰り返す（Ｓ１０６１、Ｓ１０６２）ことにより、ホールが補完された修復画像１０２０を生成する。
【０１２１】
なお、穴埋め部２１０は、前景エッジ画像１０１８に基づいて、修復画像１０２０に含まれるエッジ部分をより正確に修復してもよい（Ｓ１０６４、Ｓ１０６５）。
【０１２２】
こうして、画像生成装置２００は、合成画像１０２２を生成する。
【０１２３】
図１５は、本実施の形態に係る画像生成装置２００が組み込まれた３Ｄ画像プロセッサ１３１０を備える表示装置１３００のブロック図である。３Ｄ画像プロセッサ１３１０は、同プロセッサに組み込まれた画像生成装置２００に入力画像と奥行きマップを提供し、３Ｄ画像を生成する。３Ｄ画像を表示装置１３００の表示部に表示してもよい。
【０１２４】
画像生成装置２００、３Ｄ画像プロセッサ１３１０、及び同プロセッサの他のモジュールは通常、ＩＣ（集積回路）、ＡＳＩＣ（特定用途向け集積回路）、ＬＳＩ（大規模集積）回路およびＤＳＰ（デジタル信号プロセッサ）の形態で実現される。これらの各モジュールは、多くの単機能ＬＳＩまたは、１つのＬＳＩ内に含まれ得る。ここで用いられた名称はＬＳＩであるが、集積度に応じて、ＩＣ、システムＬＳＩ、スーパーＬＳＩまたはウルトラＬＳＩと呼称されることもある。さらに、集積方法はＬＳＩに限るものではなく、専用回路または汎用プロセッサなどによっても集積することができる。これには、プログラム命令により指示可能なＤＳＰ（デジタル信号プロセッサ）などの特殊なマイクロプロセッサも含まれる。ＬＳＩの製造後にプログラム可能なＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ）もしくはＬＳＩの接続または配置を再構成できる再構成可能プロセッサを同様の目的で用いることができる。今後は、製造と処理技術の発展に伴い、全く新しい技術がＬＳＩに置き換わるかもしれない。集積はそのような技術によって実現され得る。
【０１２５】
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【０１２６】
以上、本発明の一態様に係る画像生成装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一態様の範囲内に含まれてもよい。
【０１２７】
なお、図７、図９等に示す画像の原画像には、以下の論文内の画像を利用した。
【０１２８】
（１）D. Scharstein and C. Pal. Learning conditional random fields forstereo.In IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2007), Minneapolis, MN, June 2007.（非特許文献３）
（２）H. Hirschmuller and D. Scharstein. Evaluation of cost functions for stereo matching.In IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 2007), Minneapolis, MN, June 2007.（非特許文献４）
【産業上の利用可能性】
【０１２９】
本発明は、画像生成装置等に利用できる。特に、入力画像と、前記入力画像に対応する奥行きマップとから、当該入力画像により表されるシーンを新視点から表示する新たな画像を生成する画像生成装置等に利用できる。
【符号の説明】
【０１３０】
１０  入力画像のエッジ
１１  奥行きマップのエッジ
１２  奥行きマップのフィルタ処理後のエッジ
１５、７３０  背景エッジ画像
１００、２００  画像生成装置
１０２  テクスチャ分析
１０４  エッジ検出
１０６  奥行きスケーリング
１０８  レンダリング部
２０２、１０ａ、１１２２  入力画像
２０４、１０ｂ、５０２  奥行きマップ
２０６  画素シフト画像生成部
２０８  画像結合部
２１０  穴埋め部
２１２、４１２、１０２２、１１２６  出力画像（合成画像）
４１４  エッジ検出モジュール
４１６  エッジフィルタリングモジュール
４１８  生成モジュール
４１９  背景エッジ画像生成部
５０２、５０４  画像
５０４、７０２  エッジ画像
５１２、５１４  セット
５２０、５４０、６５０、６６０、６６２  中心位置
５２２、５４２、５４４  画素
６０２、６０４、６０６、１１０６、１１０７、１１０８  ウィンドウ
６１０  周辺領域
６５２、６５４、６６０、６６４、６６６  画素位置
７１２  前景画素
７１４、７１６、８１８、８２０  背景画素
７２０  フィルタ処理後のエッジ画像
８０２、１００７  第１の画素シフト画像（シフト済入力画像）
８０４、１００６  第２の画素シフト画像（シフト済背景エッジ画像）
８０６、１０１４  シフト後の結合画像
８１０  前景
８１２  背景
８１４、８２４  ホール
１０１２  平滑化された奥行きマップ
１０１６  マスク画像
１０１８、１１２０  前景エッジ画像
１０２０、１１２４  修復画像
１１００、１１０１、１１０２、１１０３  前景エッジ
１３００  表示装置
１３１０  ３Ｄ画像プロセッサ
【図１】
2012153513.tif 000008
【図２】
2012153513.tif 000009
【図３】
2012153513.tif 000010
【図４】
2012153513.tif 000011
【図５】
2012153513.tif 000012
【図６】
2012153513.tif 000013
【図７】
2012153513.tif 000014
【図８】
2012153513.tif 000015
【図９】
2012153513.tif 000016
【図１０】
2012153513.tif 000017
【図１１】
2012153513.tif 000018
【図１２】
2012153513.tif 000019
【図１３】
2012153513.tif 000020
【図１４】
2012153513.tif 000021
【図１５】
2012153513.tif 000022
【国際調査報告】
2012153513.tif 000023
2012153513.tif 000024
2012153513.tif 000025
2012153513.tif 000026