(57)【要約】【課題】２Ｄ画像から３Ｄ画像を生成する際に、オブジェクト境界部分の画像品質を向上させる。【解決手段】デプスマップ生成部１０は、入力画像のデプスマップを生成する。デプスマップ補正部２０は、生成されたデプスマップを補正する。３Ｄ画像生成部３０は、補正されたデプスマップをもとに入力画像を画素シフトして、別視点の画像を生成する。デプスマップ補正部２０の段差検出部は、デプスマップの水平方向のデプス値の差を検出し、ローパスフィルタ部２３は、検出されたデプス値の差に応じて、デプスマップ生成部１０により生成されたデプスマップの一部にローパスフィルタをかける。【選択図】図５
2015012429.tif 000002
【特許請求の範囲】
【請求項１】
入力画像のデプスマップを生成するデプスマップ生成部と、
生成されたデプスマップを補正するデプスマップ補正部と、
補正されたデプスマップをもとに前記入力画像を画素シフトして、別視点の画像を生成する画像生成部と、を備え、
前記デプスマップ補正部は、
前記デプスマップの水平方向におけるデプス値の差を検出する段差検出部と、
検出されたデプス値の差に応じて、前記デプスマップ生成部により生成されたデプスマップの一部にローパスフィルタをかけるローパスフィルタ部と、
を含むことを特徴とする画像処理装置。
【請求項２】
前記デプスマップ補正部は、
前記段差検出部により検出されたデプス値の差と閾値を比較して、前記入力画像内のオブジェクト境界を検出する段差判定部を、さらに含み、
前記ローパスフィルタ部は、前記デプスマップ内の、前記画素シフトにより欠落画素が発生する側のオブジェクト境界部分にローパスフィルタをかける、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記段差判定部は、デプス値の差に基づいて立ち上がりエッジまたは立ち下がりエッジの画素位置を検出し、
前記画像生成部により左眼用の別視点の画像を生成する場合、前記ローパスフィルタ部は、前記立ち上がりエッジの位置から、前記立ち上がりエッジより左側の所定画素の位置までの領域に、ローパスフィルタをかけ、
前記画像生成部により右眼用の別視点の画像を生成する場合、前記ローパスフィルタ部は、前記立ち下がりエッジの位置から、前記立ち下がりエッジよりも右側の所定画素の位置までの領域に、ローパスフィルタをかける、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像生成部により左眼用の別視点の画像を生成する場合、前記ローパスフィルタ部は、前記ローパスフィルタを中心より右側に係数を持ち左側に係数を持たないフィルタ特性に設定し、
前記画像生成部により右眼用の別視点の画像を生成する場合、前記ローパスフィルタ部は、前記ローパスフィルタを中心より左側に係数を持ち右側に係数を持たないフィルタ特性に設定する、
ことを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
入力画像のデプスマップを生成するステップと、
前記デプスマップの水平方向におけるデプス値の差を検出するステップと、
検出されたデプス値の差に応じて、前記デプスマップの一部にローパスフィルタをかけて前記デプスマップを補正するステップと、
補正されたデプスマップをもとに前記入力画像を画素シフトして、別視点の画像を生成するステップと、
を備えることを特徴とする画像処理方法。
【請求項６】
入力画像のデプスマップを生成する処理と、
前記デプスマップの水平方向におけるデプス値の差を検出する処理と、
検出されたデプス値の差に応じて、前記デプスマップの一部にローパスフィルタをかけて前記デプスマップを補正する処理と、
補正されたデプスマップをもとに前記入力画像を画素シフトして、別視点の画像を生成する処理と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２Ｄ画像を、立体視のための３Ｄ画像に変換する画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
近年、３Ｄ映画、３Ｄ放送などの３Ｄ映像コンテンツが普及してきている。観察者に立体視させるためには、視差を持つ右眼画像と左眼画像が必要である。３Ｄ映像を表示する際、右眼画像と左眼画像を時分割に表示し、シャッタメガネや偏光メガネなどの映像分離用メガネにより右眼画像と左眼画像を分離する。これにより観察者は右眼画像を右眼のみで、左眼画像を左眼のみで観察でき立体視できる。
【０００３】
３Ｄ映像を製作するには大きく２つの方法があり、２台のカメラを用いて右眼画像と左眼画像を同時に撮影する方法と、１台のカメラで撮影された２Ｄ画像を後に編集して視差画像を生成する方法がある。本発明は後者の方法に関するものであり、２Ｄ３Ｄ変換技術に関するものである。
【０００４】
図１は、２Ｄ３Ｄ変換の基本処理プロセスを説明するための図である。まず２Ｄ入力画像からデプスマップ（奥行き情報ともいう）を生成する（ステップＳ１０）。そして２Ｄ入力画像とデプスマップを用いて３Ｄ画像を生成する（ステップＳ３０）。図１では２Ｄ入力画像を３Ｄ出力画像の右眼画像とし、２Ｄ入力画像をデプスマップを用いて画素シフトした画像を３Ｄ出力画像の左眼画像としている。以下、所定の視差を持つ右眼画像と左眼画像の組みを３Ｄ画像または視差画像という。
【０００５】
上述のように３Ｄ画像を生成する際にはデプスマップを用いて２Ｄ画像を画素シフトして、当該２Ｄ画像に対して視差を持つ別視点の２Ｄ画像を生成する（例えば、特許文献１参照）。この画素シフトにより、生成される別視点の２Ｄ画像内には欠落画素が発生する。
【０００６】
図２は、画素シフトにより生じる欠落画素の様子を示す。２Ｄ入力画像をデプスマップを用いて画素シフトした画像を３Ｄ出力画像の左眼画像とする場合、立体視を行った際に飛び出す方向を示すデプス値の場合は右方向に画素シフトし、奥行き方向を示すデプス値の場合は左方向に画素シフトする。図２中の人物に着目すると、人物と周囲の道路との間に大きなデプス値の差がある。人物が近景で周囲の道路が遠景であるため、人物部分の画素が右にシフトされる。この画素シフトにより、人物の左側の境界部分に欠落画素領域（符号Ａ１箇所参照）が発生する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−４４７２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
一般的に、画素シフトにより発生した欠落画素は周辺画素から補間される。画面内においてオブジェクト境界でのデプス値の差（デプスの段差ともいう）が大きい場合、その境界部分の画素シフト量も大きくなる。したがって欠落画素の数、即ち欠落領域の面積も大きくなる。上述のように欠落画素には周辺画素が補間されるが、その欠落領域の面積が大きくなると、補間される画素と正解の画素との乖離が大きくなる箇所が発生しやすくなる。
【０００９】
本発明はこうした状況に鑑みてなされたものであり、その目的は、２Ｄ画像から３Ｄ画像を生成する際に、オブジェクト境界部分の画像品質を向上させる技術を提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明のある態様の画像処理装置（１００）は、入力画像のデプスマップを生成するデプスマップ生成部（１０）と、生成されたデプスマップを補正するデプスマップ補正部（２０）と、補正されたデプスマップをもとに前記入力画像を画素シフトして、別視点の画像を生成する画像生成部（３０）と、を備える。前記デプスマップ補正部（２０）は、前記デプスマップの水平方向におけるデプス値の差を検出する段差検出部（２１）と、検出されたデプス値の差に応じて、前記デプスマップ生成部（１０）により生成されたデプスマップの一部にローパスフィルタをかけるローパスフィルタ部（２３）と、を含む。
【００１１】
本発明の別の態様は、画像処理方法である。この方法は、入力画像のデプスマップを生成するステップと、前記デプスマップの水平方向におけるデプス値の差を検出するステップと、検出されたデプス値の差に応じて、前記デプスマップの一部にローパスフィルタをかけて前記デプスマップを補正するステップと、補正されたデプスマップをもとに前記入力画像を画素シフトして、別視点の画像を生成するステップと、を備える。
【００１２】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１３】
本発明によれば、２Ｄ画像から３Ｄ画像を生成する際に、オブジェクト境界部分の画像品質を向上させることができる。
【図面の簡単な説明】
【００１４】
【図１】２Ｄ３Ｄ変換の基本処理プロセスを説明するための図である。
【図２】画素シフトにより生じる欠落画素の様子を示す図である。
【図３】一般的な画素補間方法により、図２の人物の左側境界に発生している欠落画素領域の画素を補間する様子を示す図である。
【図４】ローパスフィルタをかけたデプスマップを用いた画素補間方法により、図２の人物の左側境界に発生している欠落画素領域の画素を補間する様子を示す図である。
【図５】本発明の実施の形態に係る画像処理装置の構成を示す図である。
【図６】本発明の実施の形態に係るデプスマップ生成部の構成例を示す図である。
【図７】本発明の実施の形態に係るデプスマップ補正部の構成例を示す図である。
【図８】デプスマップエッジ度dpt_edgeとデプスマップエッジ度判定値dpt_jdgの変換特性を示す図である。
【図９】図９（ａ）−（ｃ）は、前景のオブジェクトを右に画素シフトする場合のフィルタ処理を説明するための図である。
【図１０】本実施の形態に係る画素補間方法により、図２の人物の左側境界に発生している欠落画素領域の画素を補間する様子を示す図である。
【図１１】図１１（ａ）−（ｃ）は、前景のオブジェクトを左に画素シフトする場合のフィルタ処理を説明するための図である。
【発明を実施するための形態】
【００１５】
本発明の実施の形態を説明する前に、一般的な画素補間方法を説明する。
図３は、一般的な画素補間方法により、図２の人物の左側境界に発生している欠落画素領域の画素を補間する様子を示す。以下、デプス値がプラスなら飛び出し方向、マイナスなら奥行き方向を表す値とする。人物のデプス値が７、道路のデプス値が０の場合、人物の画素のみが右方向に７画素シフトする。道路と人物の境界部分の欠落画素領域には、境界画素p00,p10の加重平均画素が補間される（符号Ａ２箇所参照）。この方法により欠落画素が全て埋められるが、デプスの段差が大きいほど境界画素p00,p10の距離が大きくなるため、デプスの段差が大きい場合は画像品質が低下する傾向にある。
【００１６】
この画像品質の低下を回避する方法として、デプスマップにローパスフィルタをかける方法が考えられる。デプスマップにローパスフィルタをかけると、境界部分のデプスの段差が緩やかに変化するようになるため補間品質が改善する。
【００１７】
図４は、ローパスフィルタをかけたデプスマップを用いた画素補間方法により、図２の人物の左側境界に発生している欠落画素領域の画素を補間する様子を示す。図４では境界付近の画素p00〜p03,p10〜p13が、徐々に画素間ピッチを広げながら画素シフトする。デプスマップにローパスフィルタがかかっているため、境界付近のデプス値が段階的に変化し、境界付近の各画素p00〜p03,p10〜p13のシフト量は画素によって異なる。
【００１８】
図３では境界付近の画素p10〜p16が一律に画素シフトする。従って隣り合う画素間（画素p00と画素p10間）との間に大きな乖離が生じ、その間の補間画素の品質は基本的に低くなる。これに対して図４では欠落領域が、かたまりでなくまばらに発生する。従って各欠落領域の両側の画素間の距離は比較的短く、欠落領域に埋められる補間画素は高品質である（符号Ａ３箇所参照）。
【００１９】
デプスマップにローパスフィルタをかける方法は有効な方法であるが、ローパスフィルタがデプスマップ全域にかけられてしまうため、本来ローパスフィルタをかける必要のない部分にもかかってしまう。例えば図２の人物の右側境界部分に対してもローパスフィルタがかかってしまう。右に画素シフトする場合、オブジェクトの左側境界部分には欠落画素が発生するが、オブジェクトの右側境界部分には前景の画像である人物の画像が右側にシフトするため、欠落画素は発生しない。
【００２０】
ローパスフィルタをかけたデプスマップを用いて画素シフトされた画像は、オブジェクトの境界がぼやけた画像になる。２Ｄ３Ｄ変換の対象となる静止画や動画では、視聴者に見せたい被写体が近景に位置していることが多いため、近景のオブジェクトエッジのぼやけが目立ちやすくなる。従って欠落画素が発生する側のオブジェクト境界部分にのみローパスフィルタをかけることが望まれる。
【００２１】
図５は、本発明の実施の形態に係る画像処理装置の構成を示す図である。本実施の形態に係る画像処理装置１００はデプスマップ生成部１０、デプスマップ補正部２０及び３Ｄ画像生成部３０を備える。
【００２２】
デプスマップ生成部１０は、入力される２Ｄ画像を解析し、擬似的なデプスマップを生成する。以下、デプスマップ生成の具体例を説明する。デプスマップ生成部１０は、入力される２Ｄ画像とデプスモデルをもとに当該２Ｄ画像のデプスマップを生成する。デプスマップは、デプス値（奥行き値ともいう）を輝度値で表したグレースケール画像である。デプスマップ生成部１０はシーン構造を推定して、そのシーン構造に適合的なデプスモデルを使用してデプスマップを生成する。デプスマップ生成部１０は複数の基本デプスモデルを合成してデプスマップ生成に使用する。その際、当該２Ｄ画像のシーン構造に応じて複数の基本デプスモデルの合成比率を変化させる。
【００２３】
図６は、本発明の実施の形態に係るデプスマップ生成部１０の構成例を示す図である。デプスマップ生成部１０は、画面上部高域成分評価部１１、画面下部高域成分評価部１２、合成比率決定部１３、第１基本デプスモデル用フレームメモリ１４、第２基本デプスモデル用フレームメモリ１５、第３基本デプスモデル用フレームメモリ１６、合成部１７、加算部１８を含む。
【００２４】
画面上部高域成分評価部１１は、処理すべき２Ｄ画像の画面上部において高域成分を有する画素の割合を算出する。その割合を画面上部の高域成分評価値とする。なお画面全体に対する画面上部の割合は略２０％に設定するとよい。画面下部高域成分評価部１２は当該２Ｄ画像の画面下部において高域成分を有する画素の割合を算出する。その割合を画面下部の高域成分評価値とする。なお画面全体に対する画面下部の割合は略２０％に設定するとよい。
【００２５】
第１基本デプスモデル用フレームメモリ１４は第１基本デプスモデルを保持し、第２基本デプスモデル用フレームメモリ１５は第２基本デプスモデルを保持し、第３基本デプスモデル用フレームメモリ１６は第３デプスモデルを保持する。第１基本デプスモデルは画面上部及び画面下部をそれぞれ凹状の球面とするモデルである。第２基本デプスモデルは画面上部を縦方向に軸線を有する円筒面、画面下部を凹状の球面とするモデルである。第３基本デプスモデルは画面上部を平面、画面下部を横方向に軸線を有する円筒面とするモデルである。
【００２６】
合成比率決定部１３は、画面上部高域成分評価部１１および画面下部高域成分評価部１２によりそれぞれ算出された、画面上部および画面下部の高域成分評価値をもとに第１基本デプスモデル、第２基本デプスモデル、第３基本デプスモデルの合成比率ｋ１，ｋ２，ｋ３（ただし、ｋ１＋ｋ２＋ｋ３＝１）を決定する。合成部１７はこれらの合成比率ｋ１，ｋ２，ｋ３と、第１基本デプスモデル、第２基本デプスモデル、第３基本デプスモデルをそれぞれ乗算し、それぞれの乗算結果を加算する。この演算結果が合成基本デプスモデルとなる。
【００２７】
例えば合成比率決定部１３は、画面上部の高域成分評価値が小さい場合は画面上部に空もしくは平坦な壁が存在するシーンと認識して、画面上部の奥行きを深くした第２基本デプスモデルの比率を増加させる。また画面下部の高域成分評価値が小さい場合は画面下部に平坦な地面もしくは水面が手前に連続的に広がるシーンと認識して、第３基本デプスモデルの比率を増加させる。第３基本デプスモデルでは、画面上部は遠景として平面近似し、画面下部は下に行くほど奥行きを小さくしている。
【００２８】
加算部１８は、合成部１７により生成された合成基本デプスモデルに上記２Ｄ画像の赤成分（Ｒ）信号を重畳してデプスマップを生成する。Ｒ信号を使用する理由は、Ｒ信号の大きさが順光に近い環境で、かつテクスチャの明度が大きく異ならないような条件において、被写体の凹凸と一致する確率が高いという経験則によるものである。また赤色および暖色は色彩学における前進色であり、寒色系よりも奥行きが手前に認識され、立体感が強調されるためである。
【００２９】
図５に戻る。デプスマップ補正部２０は、デプスマップ生成部１０により生成されたデプスマップを補正する。デプスマップ補正部２０の詳細は後述する。３Ｄ画像生成部３０は、デプスマップ補正部２０により補正されたデプスマップをもとに、上述の２Ｄ画像を画素シフトして、別視点の２Ｄ画像を生成する。
【００３０】
まずオリジナル視点の２Ｄ画像を右眼画像に設定し、左に視点移動した左眼画像を生成する場合を考える。この場合にて、観察者に対してテクスチャを飛び出し方向に立体視させるときは画面に向かって右側へオリジナル視点の２Ｄ画像のテクスチャをデプス値に応じて移動させる。反対にテクスチャを観察者に奥行き方向に立体視させるときは画面に向かって左側へテクスチャを、デプス値に応じて移動させる。
【００３１】
次にオリジナル視点の２Ｄ画像を左眼画像に設定し、右に視点移動した右眼画像を生成する場合を考える。この場合にて、観察者に対してテクスチャを飛び出し方向に立体視させるときは画面に向かって左側へオリジナル視点の２Ｄ画像のテクスチャを、デプス値に応じて移動させる。反対にテクスチャを観察者に奥行き方向に立体視させるときは画面に向かって右側へテクスチャを、デプス値に応じて移動させる。
【００３２】
３Ｄ画像生成部３０は、オリジナル視点の２Ｄ画像と別視点の２Ｄ画像を３Ｄ画像として出力する。なお、デプスマップ生成部１０によるデプスマップ生成、および３Ｄ画像生成部３０による３Ｄ画像生成のより詳細な説明は、本出願人が先に出願した上記特許文献１に開示されている。
【００３３】
以下、デプスマップ生成部１０により生成されるデプスマップをデプスマップdptと表記する。デプスマップdptを構成する各デプス値が−２５５〜２５５の範囲の値を取り、デプス値がプラスのときは飛び出し方向、マイナスのときは奥行き方向を表す値とする。なお正負反対の設定も可能である。
【００３４】
デプスマップ補正部２０は、デプスマップ生成部１０により生成されたデプスマップdptを補正し、補正後デプスマップdpt_adjを生成する。３Ｄ画像生成部３０は入力２Ｄ画像と、デプスマップ補正部２０により補正された補正後デプスマップdpt_adjに基づき３Ｄ画像を生成する。本実施の形態では、入力２Ｄ画像をそのまま右眼画像として出力し、画素シフトにより生成した画像を左眼画像として出力する。
【００３５】
図７は、本発明の実施の形態に係るデプスマップ補正部２０の構成例を示す。デプスマップ補正部２０は、段差検出部２１、段差判定部２２及びローパスフィルタ部２３を備える。段差検出部２１は、デプスマップの水平方向の段差を検出する。この段差は水平方向のエッジ度を示す。
【００３６】
段差検出部２１は、デプスマップdptの水平方向の段差を検出する。例えば、段差検出部２１は、水平方向に隣り合う画素におけるデプス値の差を検出する。処理負荷を低減させるために所定画素数おきにデプス値の差を検出してもよい。段差判定部２２は、段差検出部２１により検出された段差と、設定された閾値を比較して、入力２Ｄ画像内のオブジェクト境界を検出する。ローパスフィルタ部２３は、検出された段差に応じて、デプスマップdptの一部にローパスフィルタをかける。具体的にはデプスマップdptの、画素シフトにより欠落画素が発生する側のオブジェクト境界部分にローパスフィルタをかける。
【００３７】
画素シフトにより生じる欠落画素領域は、左眼画像を画素シフトにより生成する場合は、前景オブジェクトの左側境界に生じ、右眼画像を画素シフトにより生成する場合は、前景オブジェクトの右側境界に生じる。また前景オブジェクトの左側境界は、検出された段差が大きくプラスになる立ち上がりエッジであり、右側境界は当該段差が大きくマイナスになる立ち下がりエッジである。反対に後景オブジェクトの左側境界は当該段差が大きくマイナスになる立ち下がりエッジであり、右側境界は当該段差が大きくプラスになる立ち上がりエッジである。
【００３８】
ローパスフィルタ部２３は、左眼画像を画素シフトにより生成する場合は、前景オブジェクトの左側の境界画素位置つまりはデプス値の段差が大きくプラスになる立ち上がりエッジ位置を基準として、その立ち上がりエッジ位置から設定画素数左側の画素位置までの領域にローパスフィルタをかける。つまり、立ち上がりエッジの位置から、立ち上がりエッジより左側の所定画素の位置までの領域にローパスフィルタをかける。右眼画像を画素シフトにより生成する場合は、前景オブジェクトの右側の境界画素位置つまりはデプス値の段差が大きくマイナスになる立ち下りエッジ位置から設定画素数左側の画素位置までの領域にローパスフィルタをかける。つまり、立ち下りエッジの位置から、立ち下りエッジの位置より右側の所定画素の位置までの領域にローパスフィルタをかける。
【００３９】
左眼画像を画素シフトにより生成する場合、前景オブジェクトと後景オブジェクト又は背景との関係が次の（１）又は（２）のときに欠落画素が生じる。
（１）前景オブジェクトの左側に後景オブジェクト又は背景が存在する場合において、前景オブジェクトのデプス値＞０、かつ、前景オブジェクトのデプス値＞左側後景オブジェクトのデプス値、のとき
（２）前景オブジェクトの左側に後景オブジェクトが存在する場合において、前景オブジェクトのデプス値≦０、かつ、前景オブジェクトのデプス値＞左側後景オブジェクトのデプス値、のとき
（１）は、前景オブジェクトが右側に画素シフト（飛び出し方向）した結果、立ち上がりエッジ位置の左側に欠落画素が生じる場合を示している。（２）は前景オブジェクトが左側に画素シフト（奥行き方向）するとともに、後景オブジェクトが前景オブジェクトと比べより大きく左側に画素シフト（奥行き方向）した結果、立ち上がりエッジ位置の左側に欠落画素が生じる場合を示している。
【００４０】
右眼画像を画素シフトにより生成する場合、前景オブジェクトと後景オブジェクト又は背景との関係が次の（３）又は（４）のときに欠落画素が生じる。
（３）前景オブジェクトの右側に後景オブジェクト又は背景が存在する場合において、前景オブジェクトのデプス値＞０、かつ、前景オブジェクトのデプス値＞右側後景オブジェクトのデプス値、のとき
（４）前景オブジェクトの右側に後景オブジェクトが存在する場合において、前景オブジェクトのデプス値≦０、かつ、前景オブジェクトのデプス値＞右側後景オブジェクトのデプス値、のとき
（３）は、前景オブジェクトが左側に画素シフト（飛び出し方向）した結果、立ち下がりエッジ位置の右側に欠落画素が生じる場合を示している。（４）は前景オブジェクトが右側に画素シフト（奥行き方向）するとともに、後景オブジェクトが前景オブジェクトと比べより大きく右側に画素シフト（奥行き方向）した結果、立ち下がりエッジ位置の右側に欠落画素が生じる場合を示している。
【００４１】
左眼画像を画素シフトにより生成する場合、ローパスフィルタ部２３は、中心より右側に係数を持ち左側に係数を持たないフィルタ特性に設定される（図９（ａ）参照）。右眼画像を画素シフトにより生成する場合、ローパスフィルタ部２３は、中心より左側に係数を持ち右側に係数を持たないフィルタ特性に設定される（図１１（ａ）参照）。
【００４２】
以下、具体例を挙げながら説明する。段差検出部２１は下記式（１）に基づき、隣接画素間のデプス値の差分値を計算し、その結果をデプスマップエッジ度dpt_edgeとして出力する。dpt(x,y)は入力画像の水平方向の位置をx、垂直方向の位置をyとした場合のデプス値を表している。本実施の形態ではデプスマップエッジ度dpt_edgeの算出に隣接画素間の差分計算を採用したがこれに限るものではない。デプスマップにハイパスフィルタ処理を行いエッジ度を算出しても構わない。
dpt edge(x,y)=dpt(x+1,y)-dpt(x,y)  …式（１）
【００４３】
段差判定部２２はデプスマップエッジ度dpt_edgeと閾値th1とを比較して、デプスマップエッジ度dpt_edgeを、３値をとるデプスマップエッジ度判定値dpt_jdgに変換する。閾値th1は実験、シミュレーション、経験則などに基づき設計者により決定された値に設定される。
【００４４】
図８は、デプスマップエッジ度dpt_edgeとデプスマップエッジ度判定値dpt_jdgの変換特性を示す。この変換特性は下記式（２）−式（４）で表現できる。
dpt_edge≧th1        dpt_jdg＝1  …式（２）
th1＞dpt_edge＞th2  dpt_jdg＝0  …式（３）
th2≧dpt_edge        dpt_jdg＝-1 …式（４）
th1＞0, th2＜0
【００４５】
デプスマップエッジ度dpt_jdg=1の画素位置はデプスマップの立ち上がりエッジ位置を示し、デプスマップエッジ度dpt_jdg=-1の画素位置はデプスマップの立ち下りエッジ位置を示す。本実施の形態では、同一オブジェクト内の小さな段差を検出しないように、デプスマップエッジ度dpt_jdg=0の領域を設けている。これにより、オブジェクト間の段差のみをエッジとして検出できる。
【００４６】
ローパスフィルタ部２３は、フィルタ係数が可変の水平ローパスフィルタで構成される。ローパスフィルタ部２３は、段差判定部２２から供給されるデプスマップエッジ度判定値dpt_jdgに基づきフィルタ係数を可変させながら、デプスマップdptに対してローパスフィルタ処理を行う。具体的には画素シフトにより左眼画像を生成する場合は、右側のみに係数を持つフィルタ形状に変化し、画素シフトにより右眼画像を生成する場合は、左側のみに係数を持つフィルタ形状に変化する。水平ローパスフィルタは2N+1タップのものを使用する（Nは自然数）。以下、具体的な動作例を説明する。
【００４７】
図９（ａ）−（ｃ）は、画素シフトにより左眼画像を生成する場合のフィルタ処理を説明するための図である。図９（ｂ）は、図２の人物周辺のデプスマップdptを模式的に表したものである。人物のデプス値は、周辺の道路のデプス値に対して大きな値になっている。つまり人物部分が道路に対して手前に位置するデプスマップdptとなっている。例えば道路のデプス値が０で人物のデプス値が７である。図２の人物は前景オブジェクトであるため、人物の左側境界では、デプスマップエッジ度dpt_jdg=1、つまり立ち上がりエッジとなる。人物の右側境界では、デプスマップエッジ度dpt_jdg=-1、つまり立ち下がりエッジとなる。
【００４８】
本実施の形態では画素シフトにより左眼画像を生成するため、入力２Ｄ画像のシフト画像内において、デプスマップdptの立ち上がりエッジの左側に欠落画素が生じる。ローパスフィルタ部２３はデプスマップdptに対して、デプスマップエッジ度dpt_jdg=1となるデプスマップdptの水平位置から左側Ｎ画素（Ｎは自然数）までの領域にのみローパスフィルタ処理を行う（符号Ａ４箇所参照）。
【００４９】
当該Ｎは実験、シミュレーション、経験則などに基づき設計者により決定された値に設定される。当該Ｎは固定値でもよいし変動値でもよい。変動値にする場合、段差検出部２１により検出された境界画素の段差に比例して変化させる。即ち、段差が大きいほど画素シフト量が大きくなるため、より広範囲にローパスフィルタをかける。
【００５０】
図９（ａ）は、図９（ｂ）のデプスマップdptに適用されるローパスフィルタ部２３のフィルタ特性を示す。図９（ａ）に示すような左右非対称な周波数特性を持つフィルタが使用される。フィルタ処理後の補正後デプスマップdpt_adjは図９（ｃ）のようになる。欠落画素が生じる領域においてローパスフィルタがかかり、人物領域のデプスマップdptは、入力された信号がそのまま出力される。人物領域を構成する画素には両端画素を含め、ローパスフィルタがかからないためシフト画像における人物のエッジがぼやけたり、歪んだりすることはない。またシフト画像において欠落画素が生じる人物領域の左側境界部分においてはローパスフィルタがかかったデプスマップに基づき画素シフトが行われた後、画素補間が行われるため、補間画素をより高品位に生成できる。
【００５１】
図１０は、本実施の形態に係る画素補間方法により、図２の人物の左側境界に発生している欠落画素領域の画素を補間する様子を示す。図４と比較し、人物領域のデプスマップdptにローパスフィルタがかからず、その左側境界部分の道路領域のデプスマップdptにのみローパスフィルタがかかっている。従って図４では発生した人物領域の間延びが、図１０では発生していない（符号Ａ５箇所参照）。
【００５２】
以上、画素シフトにより左眼画像を生成する場合を説明したが、以下に画素シフトにより右眼画像を生成する場合を説明する。
図１１（ａ）−（ｃ）は、画素シフトで右眼画像を生成する場合のフィルタ処理を説明するための図である。画素シフトで右眼画像を生成する場合、前景オブジェクの右側に欠落画素領域が発生する。この場合、図１１（ｂ）に示すデプスマップdptの立ち下がりエッジの右側に欠落画素領域が発生する。ローパスフィルタ部２３はデプスマップdptに対して、デプスマップエッジ度dpt_jdg=-1となるデプスマップdptの水平位置から右側Ｎ画素（Ｎは自然数）までの領域にのみローパスフィルタ処理を行う（符号Ａ６箇所参照）。
【００５３】
図１１（ａ）は、図１１（ｂ）のデプスマップdptに適用されるローパスフィルタ部２３のフィルタ特性を示す。フィルタ処理後の補正後デプスマップdpt_adjは図１１（ｃ）のようになる。欠落画素が生じる領域においてローパスフィルタがかかり、人物領域のデプスマップdptは、入力された信号がそのまま出力される。
【００５４】
以上説明した画像処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現できる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。
【００５５】
以上説明したように本実施の形態によれば、２Ｄ３Ｄ変換処理においてデプスマップに基づきシフト画像を生成する際に、デプスの段差に起因する欠落画素領域における画像品位の低下を改善できる。即ち、デプスマップのエッジ度を検出し、検出したエッジ度を判定することで、デプスマップの立ち上がりエッジ位置、立ち下がりエッジ位置を特定する。そして立ち上がりエッジ位置、立ち下がりエッジ位置の周辺領域においてのみ、左右非対称な周波数特性を持つローパスフィルタ処理を施す。これにより、シフト画素生成時に欠落画素が生じうるデプスマップ内の領域のみに対してローパスフィルタ処理が適応的に施されるようになり、シフト画像の品位を改善できる。本来必要でない領域に対して、ローパスフィルタ処理が施されないことにより、オブジェクトの間延びやぼやけを防止できる。またローパスフィルタをソフトウェア処理で実現する場合、演算量を低減できる。
【００５６】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００５７】
例えば、上述の実施の形態では、入力２Ｄ画像とそのデプスマップをもとに３Ｄ画像の一方の画像を生成し、他方の画像は入力２Ｄ画像をそのまま使用する例を説明した。この点、入力２Ｄ画像とそのデプスマップをもとに３Ｄ画像の両眼画像を生成してもよい。
【００５８】
例えば、デプスマップdptを値がプラスのときは飛び出し方向、マイナスのときは奥行き方向を表す値とした場合、入力２Ｄ画像のオブジェクトの画素をデプスマップdptをもとに右（左）方向にdpt／２画素シフトして左眼画像（右眼画像）を生成し、入力２Ｄ画像のオブジェクトの画素をデプスマップdptをもとに右（左）方向に-dpt／２画素シフトして右眼画像（左眼画像）を生成する。
【符号の説明】
【００５９】
１０  デプスマップ生成部、  １１  画面上部高域成分評価部、  １２  画面下部高域成分評価部、  １３  合成比率決定部、  １４  第１基本デプスモデル用フレームメモリ、  １５  第２基本デプスモデル用フレームメモリ、  １６  第３基本デプスモデル用フレームメモリ、  １７  合成部、  １８  加算部、  ２０  デプスマップ補正部、  ２１  段差検出部、  ２２  段差判定部、  ２３  ローパスフィルタ部、  ３０  ３Ｄ画像生成部。
【図３】
2015012429.tif 000003
【図４】
2015012429.tif 000004
【図５】
2015012429.tif 000005
【図６】
2015012429.tif 000006
【図７】
2015012429.tif 000007
【図８】
2015012429.tif 000008
【図９】
2015012429.tif 000009
【図１０】
2015012429.tif 000010
【図１１】
2015012429.tif 000011
【図１】
2015012429.tif 000012
【図２】
2015012429.tif 000013