(57)【要約】【課題】２次元画像から高精度な奥行き推定を行い、推定奥行き値を適用した３Ｄ画像を生成する装置、方法を提供する。【解決手段】奥行きマップ情報推定部が、２次元画像の領域単位の奥行き推定値を設定した奥行きマップ情報を生成する。さらに、奥行きマップ情報に設定された奥行き値の信頼度を判定する。さらに、信頼度に応じて奥行きマップ情報の補正を行い、補正奥行きマップ情報を生成し、補正奥行きマップ情報を適用して２次元画像から３次元画像表示に適用する左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を生成する。奥行きマップ情報推定部は、領域単位の中低域成分エネルギーと、ＡＣ成分エネルギーから、中低域成分エネルギー占有率を算出し、算出した中低域成分エネルギー占有率の値に応じた奥行き推定値を設定した奥行きマップ情報を生成する。【選択図】図１
2013172190.tif 000002
【特許請求の範囲】
【請求項１】
２次元画像の領域単位の奥行きを推定し、２次元画像の領域単位の奥行き推定値を設定した奥行きマップ情報を生成する奥行きマップ情報推定部と、
前記奥行きマップ情報に設定された奥行き値の信頼度を判定し、奥行きマップ情報信頼度を生成する信頼度情報生成部と、
前記奥行きマップ情報信頼度に応じて前記奥行きマップ情報の補正を行い、補正奥行きマップ情報を生成する奥行きマップ情報補正部と、
前記補正奥行きマップ情報を適用して、前記２次元画像から３次元画像表示に適用する左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を生成する３Ｄ画像生成部を有し、
前記奥行きマップ情報推定部は、
前記２次元画像の領域単位の周波数成分解析を行い、領域単位の中低域成分エネルギーと、ＡＣ成分エネルギーから、中低域成分エネルギー占有率を算出し、
算出した中低域成分エネルギー占有率の値に応じた奥行き推定値を設定した奥行きマップ情報を生成する画像処理装置。
【請求項２】
前記奥行きマップ情報推定部は、
前記中低域成分エネルギー占有率が大きい領域は、奥（遠い）の位置を示す奥行き推定値を設定し、
前記中低域成分エネルギー占有率が小さい領域は、手前（近い）位置を示す奥行き推定値を設定した奥行きマップ情報を生成する請求項１に記載の画像処理装置。
【請求項３】
前記奥行きマップ情報推定部は、
前記領域単位の中低域成分エネルギーと、ＡＣ成分エネルギーから、中低域成分エネルギー占有率を、
中低域成分エネルギー占有率＝（中低域成分エネルギー）／（ＡＣ成分エネルギー）
上記式に従って算出し、
算出した中低域成分エネルギー占有率の値に応じた奥行き推定値を設定した奥行きマップ情報を生成する請求項１に記載の画像処理装置。
【請求項４】
前記信頼度情報生成部は、
前記奥行きマップ情報の奥行値の度数分布情報である奥行き情報ヒストグラムのピーク位置情報を適用して算出した統計情報信頼度を生成する請求項１に記載の画像処理装置。
【請求項５】
前記信頼度情報生成部は、
前記奥行きマップ情報の奥行値の度数分布情報である奥行き情報ヒストグラムのピーク値の度数：ＰＦと、該奥行き情報ヒストグラムの極小部の度数：ＭＦとの度数比（ＭＦ／ＰＦ）を算出し、度数比（ＭＦ／ＰＦ）に応じた統計情報信頼度を生成する請求項１に記載の画像処理装置。
【請求項６】
前記信頼度情報生成部は、
前記奥行きマップ情報の所定領域単位の奥行き値の差分情報を適用して算出した空間分布信頼度を生成する請求項１に記載の画像処理装置。
【請求項７】
前記信頼度情報生成部は、
前記２次元画像の輝度に応じた信頼度である輝度信頼度を生成する請求項１に記載の画像処理装置。
【請求項８】
前記信頼度情報生成部は、
外部から入力する外部ブロック検出信号を適用して該部プロック対応信頼度を生成する請求項１に記載の画像処理装置。
【請求項９】
前記外部ブロック検出信号は、ノイズ量計測結果、信号帯域計測結果、顔検出結果、テロップ検出結果、ＥＰＧ情報、カメラ撮影情報、動き検出結果の少なくともいずれかの検出信号であり、
前記信頼度情報生成部は、前記いずれかの検出信号を適用して該部プロック対応信頼度を生成する請求項８に記載の画像処理装置。
【請求項１０】
前記奥行きマップ情報補正部は、
前記奥行きマップ情報信頼度に応じて、前記奥行きマップ情報と、奥行き値を固定値とした固定奥行きマップとのブレンド比を決定し、決定したブレンド比を適用して、前記奥行きマップ情報と、固定奥行きマップとのブレンド処理を実行して補正奥行きマップ情報を生成する請求項１に記載の画像処理装置。
【請求項１１】
前記奥行きマップ情報補正部は、
前記奥行きマップ情報信頼度が高い場合は、前記奥行きマップ情報のブレンド比率を高め、前記奥行きマップ情報信頼度が低い場合は、前記奥行きマップ情報のブレンド比率を低めてブレンド処理を実行して補正奥行きマップ情報を生成する請求項１０に記載の画像処理装置。
【請求項１２】
前記奥行きマップ情報補正部は、
前記奥行きマップ情報信頼度に応じて、前記奥行きマップ情報に設定された奥行き値のレンジを制御した補正奥行きマップ情報を生成する請求項１に記載の画像処理装置。
【請求項１３】
前記奥行きマップ情報補正部は、
前記奥行きマップ情報信頼度が高い場合は、前記奥行きマップ情報に設定された奥行き値のレンジの縮小幅を小さくし、
前記奥行きマップ情報信頼度が低い場合は、前記奥行きマップ情報に設定された奥行き値のレンジの縮小幅を大きくする制御を実行して補正奥行きマップ情報を生成する請求項１２に記載の画像処理装置。
【請求項１４】
画像処理装置において実行する画像処理方法であり、
奥行きマップ情報推定部が、２次元画像の領域単位の奥行きを推定し、２次元画像の領域単位の奥行き推定値を設定した奥行きマップ情報を生成する奥行きマップ情報推定ステップと、
信頼度情報生成部が、前記奥行きマップ情報に設定された奥行き値の信頼度を判定し、奥行きマップ情報信頼度を生成する信頼度情報生成ステップと、
奥行きマップ情報補正部が、前記奥行きマップ情報信頼度に応じて前記奥行きマップ情報の補正を行い、補正奥行きマップ情報を生成する奥行きマップ情報補正ステップと、
３Ｄ画像生成部が、前記補正奥行きマップ情報を適用して、前記２次元画像から３次元画像表示に適用する左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を生成する３Ｄ画像生成ステップを実行し、
前記奥行きマップ情報推定ステップは、
前記２次元画像の領域単位の周波数成分解析を行い、領域単位の中低域成分エネルギーと、ＡＣ成分エネルギーから、中低域成分エネルギー占有率を算出し、
算出した中低域成分エネルギー占有率の値に応じた奥行き推定値を設定した奥行きマップ情報を生成するステップである画像処理方法。
【請求項１５】
画像処理装置において画像処理を実行させるプログラムであり、
奥行きマップ情報推定部に、２次元画像の領域単位の奥行きを推定し、２次元画像の領域単位の奥行き推定値を設定した奥行きマップ情報を生成させ奥行きマップ情報推定ステップと、
信頼度情報生成部に、前記奥行きマップ情報に設定された奥行き値の信頼度を判定し、奥行きマップ情報信頼度を生成させる信頼度情報生成ステップと、
奥行きマップ情報補正部に、前記奥行きマップ情報信頼度に応じて前記奥行きマップ情報の補正を行わせ、補正奥行きマップ情報を生成させる奥行きマップ情報補正ステップと、
３Ｄ画像生成部に、前記補正奥行きマップ情報を適用して、前記２次元画像から３次元画像表示に適用する左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を生成させる３Ｄ画像生成ステップを実行させ、
前記奥行きマップ情報推定ステップにおいては、
前記２次元画像の領域単位の周波数成分解析を行い、領域単位の中低域成分エネルギーと、ＡＣ成分エネルギーから、中低域成分エネルギー占有率を算出し、
算出した中低域成分エネルギー占有率の値に応じた奥行き推定値を設定した奥行きマップ情報を生成する処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、ステレオ視（立体視）可能な３次元画像（３Ｄ画像）の生成を行う画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
奥行きを持つ立体画像として視覚可能なステレオ視（立体視）に対応した画像は、異なる視点からの画像である左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）の２つの画像の組み合わせによって構成される。これらの２つの視点からの画像、すなわち両眼視差画像を得るためには、例えば２つの撮像装置を左右に離間させて配置して撮像することが行われる。
【０００３】
撮像された一対のステレオ画像は、
左側の撮像装置で撮像し、左眼で観察する左眼用画像（Ｌ画像）と、
右側の撮像装置で撮像し、右眼で観察する右眼用画像（Ｒ画像）と、
のペア画像によって構成される。
【０００４】
左眼用画像と右眼用画像のペアによって構成されるステレオ画像対を、左眼用画像と右眼用画像をそれぞれ分離して観察者の左眼と右眼に提示できる表示装置に表示することで、観察者は画像を立体画像として知覚することができる。
【０００５】
一方、１つの視点から撮影された通常の２次元（２Ｄ）画像を利用して、ステレオ視（立体視）に対応した左眼用画像と右眼用画像からなる両眼視差画像としての３次元（３Ｄ）画像を生成する構成についても従来から様々な提案がなされている。
【０００６】
これは、近年３次元（３Ｄ）表示可能な表示装置として液晶ディスプレイやプラズマディスプレイ（ＰＤＰ）が普及する一方で、これらの３Ｄ表示装置に表示するための３Ｄコンテンツが不足しているという現状に対応するものであり、通常の２次元（２Ｄ）画像信号を疑似的に３次元（３Ｄ）画像信号に変換する技術（以後、２Ｄ３Ｄ変換）により３Ｄコンテンツの不足を補うものとして期待されている。
【０００７】
この２Ｄ３Ｄ変換は、通常の２Ｄ画像信号から奥行き情報を推定する必要があるが、たとえば、特許文献１（特開平１０−０５１８１２号公報）では、奥行き手がかりとして輝度コントラスト、輝度積算値、彩度積算値の他に、高周波成分の積算値に基づいて奥行き情報を推定している。
【０００８】
例えば、高周波成分の積算値を利用した奥行き推定では、高周波成分のエネルギーが高いほど手前にあると推定する処理を実行する。従って、必然的に高周波成分を含んだコントラストの高い領域ほど手前の奥行きとして推定される。その結果、夜景のネオンなどコントラストの大きいエッジ部が過度に手前に飛び出す傾向がある。その一方で、カメラのピントのあった、コントラストの比較的低い、動物の毛並み、人の肌のしわなどが奥側として推定され、３Ｄ画像でみた場合、不自然な奥行感を感じることがある。
【０００９】
また、他の手がかりと組み合わせて奥行きを推定する場合、輝度や彩度などの情報に応じた複数の奥行き推定値を重み付け加算する処理などが実行される。しかし、このような処理において、重みの決め方は経験的なものに頼っているのが現状であり、例えば、画像情報の性質に起因した的確な制御を実現しているものはない。
このような処理に基づく奥行き推定処理においては、シーンによっては奥行き感に違和感を発生させるなどの副作用が生じる場合がある。
【００１０】
また、非特許文献１（"２Ｄ  ｔｏ  ３Ｄ  ｃｏｎｖｅｒｔｉｏｎ  ｂａｓｅｄ  ｏｎ  ｅｄｇｅ  ｄｅｆｏｃｕｓ  ａｎｄ  ｓｅｇｍｅｎｔａｔｉｏｎ"，ＧｅＧｕｏ，Ｎａｎ  Ｚｈａｎｇ，Ｌｏｎｇｓｈｅ  Ｈｕｏ，Ｗｅｎ  Ｇａｏ：ＩＣＡＳＳＰ  ２００８）は、ウェーブレット（ｗａｖｅｌｅｔ）を使ったエッジ部のデフォーカス解析により、被写界深度の浅いようなシーンに対して奥行きマップ情報を求めていることに成功しているが、それ以外のシーンについては何のケアもされていない。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開平１０−０５１８１２号公報
【非特許文献】
【００１２】
【非特許文献１】"２Ｄ  ｔｏ  ３Ｄ  ｃｏｎｖｅｒｔｉｏｎ  ｂａｓｅｄ  ｏｎ  ｅｄｇｅ  ｄｅｆｏｃｕｓ  ａｎｄ  ｓｅｇｍｅｎｔａｔｉｏｎ"，ＧｅＧｕｏ，Ｎａｎ  Ｚｈａｎｇ，Ｌｏｎｇｓｈｅ  Ｈｕｏ，Ｗｅｎ  Ｇａｏ：ＩＣＡＳＳＰ  ２００８
【発明の概要】
【発明が解決しようとする課題】
【００１３】
本開示は、例えば上記の問題に鑑みてなされたものであり、通常の２次元（２Ｄ）画像信号を疑似的に３次元（３Ｄ）画像信号に変換する処理において、不自然な奥行き感を抑制した画像変換を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【００１４】
例えば、本開示の一実施例では、画像の周波数解析による奥行き推定において、より高精度な奥行き推定を実現している。
従来の周波数解析による奥行き推定技術では、前述のように高周波成分の大きいほど、つまり、高周波を含んだ高コントラストな領域ほど手前と推定されるため、夜景のネオンなどのエッジ部が過度に手前に飛び出す傾向がある。
その一方で、カメラのピントのあった、コントラストの比較的低い、動物の毛並み、人の肌のしわなどが奥側として推定され、３Ｄ画像でみた場合、不自然な奥行きを感じることがある。
【００１５】
従来型の周波数解析による奥行き推定技術では、一般的に被写界深度の浅いシーン（前景の被写体にピントが合って、背景がぼけているようなシーン）に対して良好な推定結果を得ることができる。しかしながら、それ以外のシーン（例えば、被写界深度の深いパンフォーカスシーン）に対しては、奥行きを誤推定する可能性が高まり、その結果を使って生成される３Ｄ画像は、不自然な奥行き感を生じさせてしまうという問題がある。
【００１６】
例えば本開示の一実施例の構成は、コントラストの影響を受けにくい周波数解析を用いた奥行き推定処理を行い、さらに、推定結果の信頼性の高いシーン（例えば、被写界深度の浅いシーン）であるかを判定し、判定結果に応じた処理を行うことで不自然な奥行感を抑制した２Ｄ３Ｄ画像変換処理を実現する。
【課題を解決するための手段】
【００１７】
本開示の第１の側面は、
２次元画像の領域単位の奥行きを推定し、２次元画像の領域単位の奥行き推定値を設定した奥行きマップ情報を生成する奥行きマップ情報推定部と、
前記奥行きマップ情報に設定された奥行き値の信頼度を判定し、奥行きマップ情報信頼度を生成する信頼度情報生成部と、
前記奥行きマップ情報信頼度に応じて前記奥行きマップ情報の補正を行い、補正奥行きマップ情報を生成する奥行きマップ情報補正部と、
前記補正奥行きマップ情報を適用して、前記２次元画像から３次元画像表示に適用する左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を生成する３Ｄ画像生成部を有し、
前記奥行きマップ情報推定部は、
前記２次元画像の領域単位の周波数成分解析を行い、領域単位の中低域成分エネルギーと、ＡＣ成分エネルギーから、中低域成分エネルギー占有率を算出し、
算出した中低域成分エネルギー占有率の値に応じた奥行き推定値を設定した奥行きマップ情報を生成する画像処理装置にある。
【００１８】
さらに、本開示の画像処理装置の一実施態様において、前記奥行きマップ情報推定部は、前記中低域成分エネルギー占有率が大きい領域は、奥（遠い）の位置を示す奥行き推定値を設定し、前記中低域成分エネルギー占有率が小さい領域は、手前（近い）位置を示す奥行き推定値を設定した奥行きマップ情報を生成する。
【００１９】
さらに、本開示の画像処理装置の一実施態様において、前記奥行きマップ情報推定部は、前記領域単位の中低域成分エネルギーと、ＡＣ成分エネルギーから、中低域成分エネルギー占有率を、中低域成分エネルギー占有率＝（中低域成分エネルギー）／（ＡＣ成分エネルギー）上記式に従って算出し、算出した中低域成分エネルギー占有率の値に応じた奥行き推定値を設定した奥行きマップ情報を生成する。
【００２０】
さらに、本開示の画像処理装置の一実施態様において、前記信頼度情報生成部は、前記奥行きマップ情報の奥行値の度数分布情報である奥行き情報ヒストグラムのピーク位置情報を適用して算出した統計情報信頼度を生成する。
【００２１】
さらに、本開示の画像処理装置の一実施態様において、前記信頼度情報生成部は、前記奥行きマップ情報の奥行値の度数分布情報である奥行き情報ヒストグラムのピーク値の度数：ＰＦと、該奥行き情報ヒストグラムの極小部の度数：ＭＦとの度数比（ＭＦ／ＰＦ）を算出し、度数比（ＭＦ／ＰＦ）に応じた統計情報信頼度を生成する。
【００２２】
さらに、本開示の画像処理装置の一実施態様において、前記信頼度情報生成部は、前記奥行きマップ情報の所定領域単位の奥行き値の差分情報を適用して算出した空間分布信頼度を生成する。
【００２３】
さらに、本開示の画像処理装置の一実施態様において、前記信頼度情報生成部は、前記２次元画像の輝度に応じた信頼度である輝度信頼度を生成する。
【００２４】
さらに、本開示の画像処理装置の一実施態様において、前記信頼度情報生成部は、外部から入力する外部ブロック検出信号を適用して該部プロック対応信頼度を生成する。
【００２５】
さらに、本開示の画像処理装置の一実施態様において、前記外部ブロック検出信号は、ノイズ量計測結果、信号帯域計測結果、顔検出結果、テロップ検出結果、ＥＰＧ情報、カメラ撮影情報、動き検出結果の少なくともいずれかの検出信号であり、前記信頼度情報生成部は、前記いずれかの検出信号を適用して該部プロック対応信頼度を生成する。
【００２６】
さらに、本開示の画像処理装置の一実施態様において、前記奥行きマップ情報補正部は、前記奥行きマップ情報信頼度に応じて、前記奥行きマップ情報と、奥行き値を固定値とした固定奥行きマップとのブレンド比を決定し、決定したブレンド比を適用して、前記奥行きマップ情報と、固定奥行きマップとのブレンド処理を実行して補正奥行きマップ情報を生成する。
【００２７】
さらに、本開示の画像処理装置の一実施態様において、前記奥行きマップ情報補正部は、前記奥行きマップ情報信頼度が高い場合は、前記奥行きマップ情報のブレンド比率を高め、前記奥行きマップ情報信頼度が低い場合は、前記奥行きマップ情報のブレンド比率を低めてブレンド処理を実行して補正奥行きマップ情報を生成する。
【００２８】
さらに、本開示の画像処理装置の一実施態様において、前記奥行きマップ情報補正部は、前記奥行きマップ情報信頼度に応じて、前記奥行きマップ情報に設定された奥行き値のレンジを制御した補正奥行きマップ情報を生成する。
【００２９】
さらに、本開示の画像処理装置の一実施態様において、前記奥行きマップ情報補正部は、前記奥行きマップ情報信頼度が高い場合は、前記奥行きマップ情報に設定された奥行き値のレンジの縮小幅を小さくし、前記奥行きマップ情報信頼度が低い場合は、前記奥行きマップ情報に設定された奥行き値のレンジの縮小幅を大きくする制御を実行して補正奥行きマップ情報を生成する。
【００３０】
さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
奥行きマップ情報推定部が、２次元画像の領域単位の奥行きを推定し、２次元画像の領域単位の奥行き推定値を設定した奥行きマップ情報を生成する奥行きマップ情報推定ステップと、
信頼度情報生成部が、前記奥行きマップ情報に設定された奥行き値の信頼度を判定し、奥行きマップ情報信頼度を生成する信頼度情報生成ステップと、
奥行きマップ情報補正部が、前記奥行きマップ情報信頼度に応じて前記奥行きマップ情報の補正を行い、補正奥行きマップ情報を生成する奥行きマップ情報補正ステップと、
３Ｄ画像生成部が、前記補正奥行きマップ情報を適用して、前記２次元画像から３次元画像表示に適用する左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を生成する３Ｄ画像生成ステップを実行し、
前記奥行きマップ情報推定ステップは、
前記２次元画像の領域単位の周波数成分解析を行い、領域単位の中低域成分エネルギーと、ＡＣ成分エネルギーから、中低域成分エネルギー占有率を算出し、
算出した中低域成分エネルギー占有率の値に応じた奥行き推定値を設定した奥行きマップ情報を生成するステップである画像処理方法にある。
【００３１】
さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
奥行きマップ情報推定部に、２次元画像の領域単位の奥行きを推定し、２次元画像の領域単位の奥行き推定値を設定した奥行きマップ情報を生成させ奥行きマップ情報推定ステップと、
信頼度情報生成部に、前記奥行きマップ情報に設定された奥行き値の信頼度を判定し、奥行きマップ情報信頼度を生成させる信頼度情報生成ステップと、
奥行きマップ情報補正部に、前記奥行きマップ情報信頼度に応じて前記奥行きマップ情報の補正を行わせ、補正奥行きマップ情報を生成させる奥行きマップ情報補正ステップと、
３Ｄ画像生成部に、前記補正奥行きマップ情報を適用して、前記２次元画像から３次元画像表示に適用する左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を生成させる３Ｄ画像生成ステップを実行させ、
前記奥行きマップ情報推定ステップにおいては、
前記２次元画像の領域単位の周波数成分解析を行い、領域単位の中低域成分エネルギーと、ＡＣ成分エネルギーから、中低域成分エネルギー占有率を算出し、
算出した中低域成分エネルギー占有率の値に応じた奥行き推定値を設定した奥行きマップ情報を生成する処理を実行させるプログラムにある。
【００３２】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。
【００３３】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００３４】
本開示の一実施例の構成によれば、２次元画像から高精度な奥行き推定を行い、精度の高い奥行き値を適用した３Ｄ画像を生成する装置、方法が実現される。
具体的には、奥行きマップ情報推定部が、２次元画像の領域単位の奥行き推定値を設定した奥行きマップ情報を生成する。さらに、奥行きマップ情報に設定された奥行き値の信頼度を判定する。さらに、信頼度に応じて奥行きマップ情報の補正を行い、補正奥行きマップ情報を生成し、補正奥行きマップ情報を適用して２次元画像から３次元画像表示に適用する左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を生成する。奥行きマップ情報推定部は、領域単位の中低域成分エネルギーと、ＡＣ成分エネルギーから、中低域成分エネルギー占有率を算出し、算出した中低域成分エネルギー占有率の値に応じた奥行き推定値を設定した奥行きマップ情報を生成する。
この構成により、２次元画像から高精度な奥行き推定を行い、精度の高い奥行き値を適用した３Ｄ画像を生成する装置、方法が実現される。
【図面の簡単な説明】
【００３５】
【図１】本開示の画像処理装置の構成例について説明する図である。
【図２】本開示の画像処理装置における奥行きマップ情報推定部の構成例を示す図である。
【図３】本開示の画像処理装置における奥行きマップ情報推定部の処理について説明する図である。
【図４】本開示の画像処理装置における奥行きマップ情報推定部の処理について説明する図である。
【図５】本開示の画像処理装置における信頼度情報生成部の構成例について説明する図である。
【図６】本開示の画像処理装置における信頼度情報生成部の処理例について説明する図である。
【図７】本開示の画像処理装置における信頼度情報生成部の処理例について説明する図である。
【図８】本開示の画像処理装置における信頼度情報生成部の処理例について説明する図である。
【図９】本開示の画像処理装置における信頼度情報生成部の処理例について説明する図である。
【図１０】本開示の画像処理装置における信頼度情報生成部の処理例について説明する図である。
【図１１】本開示の画像処理装置における信頼度情報生成部の処理例について説明する図である。
【図１２】本開示の画像処理装置における信頼度情報生成部の処理例について説明する図である。
【図１３】本開示の画像処理装置における奥行きマップ情報補正部の構成例について説明する図である。
【図１４】本開示の画像処理装置における奥行きマップ情報補正部の構成例について説明する図である。
【図１５】本開示の画像処理装置における奥行きマップ情報補正部の構成例について説明する図である。
【発明を実施するための形態】
【００３６】
以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
１．本開示の画像処理装置の全体構成と処理の概要について
２．奥行きマップ情報推定部の構成と処理の詳細について
３．信頼度情報生成部の構成と処理について
３−１．統計情報信頼度算出部の処理について
３−２．空間分布信頼度算出部の処理について
３−３．輝度信頼度算出部の処理について
３−４．外部ブロック信頼度算出部の処理について
３−５．信頼度統合部の処理について
４．奥行きマップ情報補正部の構成と処理について
５．３Ｄ画像生成部の処理について
６．画像処理装置の全体的な処理の流れと効果について
７．本開示の構成のまとめ
【００３７】
［１．本開示の画像処理装置の全体構成と処理の概要について］
図１は本開示の画像処理装置の一実施例のブロック図である。
図１に示す画像処理装置１００は、奥行きマップ情報推定部１０１、信頼度情報生成部１０２、奥行きマップ情報補正部１０３、３Ｄ画像生成部１０４を有する。
【００３８】
図１に示す画像処理装置１００は、２次元（２Ｄ）画像信号５０を入力し、入力した１枚の２次元（２Ｄ）画像信号５０に基づいて３次元（３Ｄ）画像表示用の左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）からなる３Ｄ画像信号７０を生成して出力する。
本実施の形態の画像処理装置１００は、１枚の２次元（２Ｄ）画像信号５０の画像変換によって、疑似的な３Ｄ画像信号７０を生成する画像信号処理を行う。
【００３９】
まず、奥行きマップ情報推定部１０１において、入力された２Ｄ画像信号５０に対して、コントラストの影響を受けにくい周波数解析を用いた奥行き推定処理を実行して、奥行きマップ情報６１を生成する。
信頼度情報生成部１０２では、生成した奥行きマップ情報６１の信頼性を示す信頼度情報１０２を生成する。
さらに、奥行きマップ情報補正部１０３では、信頼度情報６２に基づいて、奥行きマップ情報６１を補正し、補正奥行きマップ情報６３を生成する。
３Ｄ画像生成部１０４では、補正奥行きマップ情報６３に基づいて、入力された２Ｄ画像信号５０から３Ｄ画像信号７０を生成する。
以下、画像処理装置１００の各構成部の処理の詳細について、以下説明する。
【００４０】
［２．奥行きマップ情報推定部の構成と処理の詳細について］
まず、図１に示す画像処理装置１００の奥行きマップ情報推定部１０１の構成と処理の詳細について、図２以下を参照して説明する。
なお、以後の説明における奥行きマップ情報の値は、大きいほど手前、小さいほど奥として表わされることを仮定している。
【００４１】
例えば、奥行き値を輝度情報として表現した奥行きマップ情報（デプスマップともよばれる）を生成する場合、画素単位で奥行きに応じて、例えば０〜２５５等の輝度値が設定される。
奥行きが、手前（近い）〜奥（遠い）に応じて、画素値は２５５（明るい）〜０（暗い）の各値に設定される。
このように、奥行きマップ情報は、画像を構成する画素単位で奥行きを示す値を持つ情報である。
【００４２】
本開示の画像処理装置１００における奥行きマップ情報推定部１０１の構成例を図２に示す。
奥行きマップ情報推定部１０１に入力された２Ｄ画像信号５０に対して、中低域成分エネルギー算出部１１１において、図２（ａ）の斜線部に示すような中低域を通過域とするフィルタ特性をもったバンドパスフィルタを用いて、図２（ａ）の斜線部に対応する中低域成分エネルギー１２１を算出する。
なお、この中低域成分エネルギー１２１算出処理は、入力された２Ｄ画像信号５０の所定領域単位、例えば画素単位あるいは、ｎ×ｎ画素の画素領域単位で実行する。例えばｎ＝３，５，７，９等である。
【００４３】
図２（ａ）は横軸が周波数（０〜πに正規化）、縦軸が出力強度（パワー）を示す。
中低域成分エネルギー算出部１１１は、図２（ａ）の斜線部の中低域を透過するフィルタを適用して２Ｄ画像信号５０中の中域成分のみを抽出する。なお、中低域成分は、正規化周波数０〜π中、例えばπ／２以下の周波数領域とする。なお、このフィルタ設定は、例えば画像を観察しながら処理を行うユーザによる設定可能な構成としてもよい。
【００４４】
なお、２Ｄ画像信号５０中の中低域成分は、多くの場合、ボケた領域であると推定される。
例えばピントの合っているオブジェクトの境界などのエッジ領域等は、高域成分が優勢となる。これに対して、中低域成分は、ピントの合っていない背景オブジェクトなどのボケた領域である場合が多い、
【００４５】
一方、ＡＣ成分エネルギー算出部１１２は、上記の中低域成分エネルギー算出部１１１のフィルタ解析窓と同じ範囲の信号データ、すなわち、入力された２Ｄ画像信号５０の所定領域単位、例えば画素単位あるいは、ｎ×ｎ画素の画素領域単位の信号データに対して、全エネルギーからＤＣ成分エネルギーを除去して図２（ｂ）の網点部に対応するＡＣ成分エネルギー１２２を算出する。
このＡＣ成分のエネルギー１２２は、図２（ｂ）の網点部に対応するフィルタ特性をもった広通過帯域をもったハイパスフィルタを用いて生成してもよい。
なお、上記のエネルギーとしては、フィルタ出力の２乗和でもよいし、絶対値和でもよい。
【００４６】
次に、中低域成分エネルギー占有率算出部１１３は、上記のＡＣ成分エネルギー１２２に対する中低域成分エネルギー１２１の比を求め、これを中低域成分エネルギー占有率１２３として出力する。すなわち、
中低域成分エネルギー占有率＝（中低域成分エネルギー）／（ＡＣ成分エネルギー）
上記式に従って中低域成分エネルギー占有率を算出する。
【００４７】
奥行きマップ情報変換部１１４では、入力された中低域成分エネルギー占有率１２３が大きい（１に近い）ほど、奥行きマップ情報６１の値を、より遠い位置（奥側）を示す値に設定する。
一方、中低域成分エネルギー占有率１２３が小さい（０に近い）ほど、奥行きマップ情報６１の値を、より近い位置（手前側）を示す値に設定する。
【００４８】
この奥行きマップ情報変換部１１４における奥行きマップ情報変換処理について、図３を参照して説明する。
図３には、
（ａ）中低域成分エネルギー占有率が大きい画像の中低域成分エネルギー占有率
（ｂ）中低域成分エネルギー占有率が大きい画像の中低域成分エネルギー占有率
これらの例を示している。
【００４９】
（ａ）中低域成分エネルギー占有率が大きい画像に対する処理例として、
（ａ１）は、中低域成分エネルギー抽出処理、
（ａ２）は、ＡＣ成分エネルギー抽出処理、
（ａ３）は、中低域成分エネルギー占有率、
これらを示している。
（ａ１），（ａ２）に示す太線が画像の処理対象領域の周波数分布に相当する。
【００５０】
（ａ１），（ａ２）に示すように、画像の周波数分布を示す太線と各フィルタ領域との重なり領域はほぼ同じであり、
（ａ１）は、中低域成分エネルギー抽出処理、
（ａ２）は、ＡＣ成分エネルギー抽出処理、
いずれの場合もほぼ同じ強度（エネルギー量）の抽出がなされる。
従って、
（ａ３）に示すように、中低域成分エネルギー占有率の算出処理において、
（中低域成分エネルギー）／（ＡＣ成分エネルギー）≒１
このように、中低域成分エネルギー占有率は、約１となる。
【００５１】
つまり、図３（ａ）に示すように、中低域成分エネルギー占有率１２３が大きい（１に近い）ほど、信号帯域中で中低域成分の示す割合が高くなっている、すなわちボケた領域を示しているので、背景のぼけた部分と判定し、奥行きマップ情報６１の値を遠い位置（奥側）を示す値に設定する。
【００５２】
一方、図３（ｂ）は、中低域成分エネルギー占有率が小さい画像に対する処理例であり、
（ｂ１）は、中低域成分エネルギー抽出処理、
（ｂ２）は、ＡＣ成分エネルギー抽出処理、
（ｂ３）は、中低域成分エネルギー占有率、
これらを示している。
（ｂ１），（ｂ２）に示す太線が画像の処理対象領域の周波数分布に相当する。
【００５３】
（ｂ１），（ｂ２）に示すように、画像の周波数分布を示す太線と各フィルタ領域との重なり領域は、大きく異なり、
（ｂ１）は、中低域成分エネルギー抽出処理、
（ｂ２）は、ＡＣ成分エネルギー抽出処理、
これらの各場合において、大きく異なる強度（エネルギー量）の抽出がなされる。
従って、
（ｂ３）に示すように、中低域成分エネルギー占有率の算出処理において、
（中低域成分エネルギー）／（ＡＣ成分エネルギー）≒０
このように、中低域成分エネルギー占有率は、０に近い値となる。
【００５４】
図３（ｂ）に示すように、中低域成分エネルギー占有率１２３が小さい（０に近い）ほど、信号帯域中で中低域成分の示す割合が低くなっている、すなわち高周波成分まで含まれたピントの合っている領域を示しているので、前景の被写体部分と判定し、奥行きマップ情報６１の値を、より近い位置（手前）を示す値に設定する。
【００５５】
従来の手法として、例えば、図４（ａ）に示すようなハイパスフィルタの出力エネルギーを算出し、ハイパスフィルタの出力エネルギーが大と判定した領域を手前と推定して、奥行きマップ情報の値を手前側に設定する手法がある。
しかし、このようなハイパスフィルタに依存した手法とすると以下のような問題が発生する可能性がある。
【００５６】
例えば、高域で高コントラストな領域（例えば、夜景の電飾（ネオン）など）では、例えば、図４（ｂ）のようにハイパスフィルタの出力エネルギーが大きくなる。このような画像に対して、上記のハイパスフィルタ依存処理を行うと、この画像領域が過度に手前の位置にあると判定され、奥行きマップ情報６１の値として過度な手前の位置情報が設定される可能性がある。
【００５７】
一方、高域で低コントラストな領域（例えば、動物の毛並み、人の肌のしわなど）では、図４（ｃ）のように、ハイパスフィルタの出力エネルギーが小さくなる。。このような画像に対して、上記のハイパスフィルタ依存処理を行うと、この画像領域が過度に遠い位置にあると判定され、奥行きマップ情報６１の値として過度な遠い位置情報が設定される可能性がある。
【００５８】
これに対して、本開示の手法では、
（１）中低域成分と、
（２）ＡＣ成分と、
これらの各成分の比率に基づいて、奥行きの推定を行う。
【００５９】
この手法を適用すると、例えば、図４（ｂ）に示すような、高域で高コントラストな領域の場合や、図４（ｃ）に示すような、高域で低コントラストな領域、いずれの場合も、
中低域成分エネルギー占有率、すなわち、
（中低域成分エネルギー）／（ＡＣ成分エネルギー）
上記の中低域成分エネルギー占有率の値は同程度の値が算出される。従って、ハイパスフィルタ依存処理のように誤った奥行き情報の設定がなされる可能性が低減される。すなわち、本開示の手法では、もともとの２Ｄ画像の絵柄の影響を受けにくくなるので、従来手法のような問題は生じない。
【００６０】
なお、奥行きマップ情報変換部１１４は、上記の中低域成分エネルギー占有率に応じた奥行き情報の変換を行った奥行きマップ情報６１を生成して出力する。なお、奥行きマップ情報６１は、例えば、各画素に対して奥行きに応じた輝度値を設定した画像であり、
奥行きが近い（手前側）＝高輝度（高画素値）、
奥行きが遠い（奥側）＝低輝度（低画素値）、
このような設定とした輝度画像として出力可能である。
【００６１】
［３．信頼度情報生成部の構成と処理について］
次に、図１に示す画像処理装置１００の信頼度情報生成部１０２の構成と処理について図５以下を参照して説明する。
信頼度情報生成部１０２の構成例を図５に示す。
図５に示すように、信頼度情報生成部１０２は、統計情報信頼度算出部１３１、空間分布信頼度算出部１３２、輝度信頼度算出部１３３、外部ブロック信頼度算出部１３４、信頼度統合部１３５を有する。
【００６２】
（３−１．統計情報信頼度算出部の処理について）
まず、図５に示す信頼度情報生成部１０２の統計情報信頼度算出部１３１の処理について説明する。
統計情報信頼度算出部１３１は、奥行きマップ情報推定部１０１の生成した奥行きマップ情報６１を入力し、奥行きマップ情報６１に設定された各画素単位の奥行き情報を取得し、例えば、図６に示すような奥行き情報ヒストグラムを生成し、度数のピーク値ＰＦと極小値ＭＦを求める。
【００６３】
図６に示す奥行き情報ヒストグラムは、
横軸が、奥行きマップ情報６１に設定された画素値、
縦軸が、度数（画素数）、
を示している。
なお、奥行きマップ情報６１に設定される画素値は、前述したように、
奥行きが近い（手前側）＝高輝度（高画素値）、
奥行きが遠い（奥側）＝低輝度（低画素値）、
このような設定とした輝度画像（＝デプスマップ）が利用可能である。
【００６４】
例えば、人物像を撮影した一般的なポートレートのような被写界深度を浅くして撮影されたシーンであれば、背景部がぼけて前景の被写体はしゃっきりした画像になる。このようなポートレートのシーンに対して、奥行きマップ情報推定部１０１の出力する奥行きマップ情報６１のヒストグラムをとると、図６に示すように、背景のボケた部分に対応するデータで一つの山ができ、その頂上は全体のヒストグラムのピーク値になることが多い。
奥行き情報ヒストグラムのピーク値の度数をＰＦとする。
【００６５】
一方、前景となる被写体のしゃっきりした部分は、奥行き情報ヒストグラムにもうひとつの山を構成し、これら２つの山の間に谷、すなわち、極小部分が設定される。
極小部分の度数をＭＦ、極小となる階級（ＢＩＮ）の位置をＭＰとする。
【００６６】
統計情報信頼度算出部１３１は、
ヒストグラムのピーク値の度数：ＰＦと、
ヒストグラムの極小部の度数：ＭＦと、
の比（ＭＦ／ＰＦ）を算出する。
このヒストグラムのピークと極小部の度数比（ＭＦ／ＰＦ）に基づいて、統計情報信頼度１４１を算出するためのパラメータ（Ｒ＿ｓｈａｐｅ）を算出する。
【００６７】
具体的には、図７（ａ）に示すグラフの特性のように、（ＭＦ／ＰＦ）の値が小さいほど、ピークの急峻さによる信頼度（Ｒ＿ｓｈａｐｅ）が大きく（１．０に近く）なるように設定する。
【００６８】
さらに、統計情報信頼度算出部１３１は、
ヒストグラムの極小部を示す奥行き値の相対的位置（ＭＰ）を用いて、統計情報信頼度１４１を算出するためのパラメータ（Ｒ＿ｐｏｓ）を算出する。
【００６９】
具体的には、図７（ｂ）に示すグラフの特性のように、ＭＰが小さいほど、極小位置による信頼度（Ｒ＿ｐｏｓ）が大きくなるように設定する。
【００７０】
以上の２つの信頼度算出パラメータ（Ｒ＿ｓｈａｐｅ，Ｒ＿ｐｏｓ）を用いて統計情報信頼度１４１を算出して出力する。
なお、統計情報信頼度１４１の具体的な算出処理としては、これら２つの信頼度算出ハーラメータ（Ｒ＿ｓｈａｐｅ，Ｒ＿ｐｏｓ）のいずれかを統計情報信頼度１４１として設定してもよいし、両方を使う場合、両者の積、加重平均などを使って算出してもよい。
また、奥行き情報ヒストグラムのピーク値ＰＦの山の右側に極小が存在しない場合は、統計情報信頼度１４１の値を０のような小さい値に設定する。
【００７１】
（３−２．空間分布信頼度算出部の処理について）
次に、図５に示す信頼度情報生成部１０２の空間分布信頼度算出部１３２の処理について説明する。
空間分布信頼度算出部１３２は、統計情報信頼度算出部１３１から奥行き分布情報１４０を入力する。奥行き分布情報１４０は、例えば奥行き情報マップの解析情報であり、具体的には、例えば図６を参照して説明した奥行情報ヒストグラムである。
空間分布信頼度算出部１３２は、奥行きマップ情報６１に基づいて生成される奥行き情報ヒストグラムのデータが、図８に示しているような２つの分布に対して、低輝度側の左側の山（斜線部）に属するか、右側の山（網点部）に属しているかを判定する。
【００７２】
まず、奥行き情報ヒストグラムの低輝度側、すなわち左側の山（斜線部）に属するデータ数をカウントする（この値をＮｕｍＬｏｗＤｐｔｈとする）。次に、左側の山（斜線部）に属する各画素データに対して、図８の右上の奥行きマップ情報６１の画像中に示したように、左側の山（斜線部）に属する各画素データを注目画素として、注目画素を中心とした周囲画素領域（例えば５×５画素の周囲領域画素）について、注目画素と同様、奥行き情報ヒストグラムの低輝度側の左側の山（斜線部）に属している割合が、ある一定以上含まれているような画素をカウントする。この値をＮｕｍＵｆｍＤｐｔｈとする。
すなわち、左側の山（斜線部）に属するという状態をＬＤＰと表すと、ＬＤＰとなる各画素Ｘに対して、その周囲画素領域中のＬＤＰとなっている割合がある一定以上を含むような画素Ｘの数を、ＮｕｍＵｆｍＤｐｔｈとする。
【００７３】
さらに、この、
奥行き情報ヒストグラムの低輝度側山（斜線部）に属する画素数：ＮｕｍＬｏｗＤｐｔｈと、
周囲画素も含めて、ある一定の割合以上で低輝度側山（斜線部）に属しているような画素数：ＮｕｍＵｆｍＤｐｔｈ、
これらの２つの値の比（ＵＦＭ＿Ｒ）を算出する。すなわち、
ＵＦＭ＿Ｒ＝ＮｕｍＵｆｍＤｐｔｈ／ＮｕｍＬｏｗＤｐｔｈ
上記の画素数比（ＵＦＭ＿Ｒ）に基づいて空間分布信頼度１４２を算出する。
【００７４】
具体的には、図９に示すグラフの特性のように、ＵＦＭ＿Ｒ大きいほど、空間分布信頼度１４２が大きくなるように設定する。
【００７５】
この空間分布信頼度１４２は、図８に示しているようなボケた領域に属する分布としゃっきりしている領域に属する分布が、空間的に偏って存在するか、あるいはばらばらに空間的に飛び地となるように存在しているかに応じて値が異なる。
【００７６】
ボケた領域に属する分布としゃっきりしている領域に属する分布が空間的に飛び地となるように存在している場合は、もはやポートレートのような画像ではなく、ノイズなどの影響を受けているものと判断できる。このような領域では、空間分布信頼度１４２の値が小さい値として設定され、このような値に応じて、そのようなシーンを変換した３Ｄ画像での副作用を目立ちにくくするといった処理が可能となる。
【００７７】
（３−３．輝度信頼度算出部の処理について）
次に、図５に示す信頼度情報生成部１０２の輝度信頼度算出部１３３の処理について説明する。
輝度信頼度算出部１３３は、図５に示すように２Ｄ画像信号５０と、奥行きマップ情報６１と、統計情報信頼度算出部１３１から奥行き分布情報１４０を入力する。
前述したように、奥行き分布情報１４０は、例えば奥行き情報マップの解析情報であり、具体的には、例えば図６を参照して説明した奥行情報ヒストグラムである。
【００７８】
輝度信頼度算出部１３３は、奥行き分布情報１４０から奥行きマップ情報６１の各データが、図８に示すような２つの分布に対して、左側の山（斜線部）に属するか、右側の山（網点部）に属しているかを判定し、以下の各値を算出する。
（１）左側の山（斜線部）に属する画素の２Ｄ画像における平均輝度値（ＬｅｆｔＡｖｅ）、
（２）右側の山（網点部）に属する画素の２Ｄ画像における平均輝度値（ＲｉｇｈｔＡｖｅ）、
（３）左側の山（斜線部）と右側の山（網点部）に属する画素の２Ｄ画像における平均輝度差（ＤｉｆｆＡｖｅ）、
これらを算出する。
【００７９】
次に、図１０に示すグラフ（１）〜（３）に示す特性のような信頼度設定を行う。
（１）左側の山（斜線部）に属する画素の２Ｄ画像における平均輝度値（ＬｅｆｔＡｖｅ）の値が小さいほど、暗さによる信頼度（Ｒ＿ｄａｒｋ）が小さく（０．０に近く）なるように設定する。
（２）右側の山（網点部）に属する画素の２Ｄ画像における平均輝度値（ＲｉｇｈｔＡｖｅ）の値が大きいほど、明るさによる信頼度（Ｒ＿ｂｒｉｇｈｔ）が小さく（０．０に近く）なるように設定する。
（３）左側の山（斜線部）と右側の山（網点部）に属する画素の２Ｄ画像における平均輝度差（ＤｉｆｆＡｖｅ）の値が極端に大きいような場合、明るさの差による信頼度（Ｒ＿ｄｉｆｆａｖｅ）が小さく（０．０に近く）なるように設定する。
【００８０】
輝度信頼度算出部１３３は、上記の３つの信頼度（Ｒ＿ｄａｒｋ，Ｒ＿ｂｒｉｇｈｔ，Ｒ＿ｄｉｆｆａｖｅ）のいずれかを輝度信頼度１４３として設定する。あるいは、３つのうち、複数個を使う場合、それらの積、加重平均などを使って輝度信頼度１４３を算出して出力する。
【００８１】
この輝度信頼度１４３は、奥行き情報ヒストグラムの各山に属する画素の２Ｄ画像における平均輝度が極端に低い場合や高い場合に、信頼度を低く設定される。
この輝度信頼度１４３は、２Ｄ画像の輝度分布が特殊なシーン（暗いシーン、照明などで白とびが発生しているシーン、逆光のシーンなど）では低く設定され、この低信頼度に応じて、３Ｄ画像への変換処理度合いが抑制される。この結果、変換後の３Ｄ画像において違和感のある奥行きが設定されにくくなり、副作用を目立ちにくくすることが可能となる。
【００８２】
なお、上述した処理例では、奥行き情報ヒストグラムの左側の山（斜線部）が暗すぎる場合、右側の山（網点部）が明るすぎる場合を信頼度の指標として評価しているが、左側の山（斜線部）が明るすぎる場合、右側の山（網点部）が暗すぎる場合でもよいし、これらすべての指標を評価して信頼度を設定してもよい。
【００８３】
（３−４．外部ブロック信頼度算出部の処理について）
次に、図５に示す信頼度情報生成部１０２の外部ブロック信頼度算出部１３４の処理について説明する。
【００８４】
外部ブロック信頼度算出部１３４には、図５に示すように外部ブロック検出信号５５が入力される。この外部ブロック検出信号５５は、例えば、以下の各外部信号が含まれる。
ノイズ量計測結果、
信号帯域計測結果、
顔検出結果、
テロップ検出結果、
ＥＰＧ情報、
カメラ撮影情報、
動き検出結果、
例えば、これらの外部から入力する検出信号である。
少なくともこれらの各信号の１つ以上の信号から構成される。
【００８５】
外部ブロック信頼度算出部１３４は、これらの外部ブロック検出信号に基づいて外部ブロック対応信頼度１４４を生成して出力する。
【００８６】
例えば、外部ブロック検出信号５５として、ノイズ量計測結果を入力した場合、外部ブロック信頼度算出部１３４は、図１１（１）に示すようにノイズ量が多いほど、外部ブロック対応信頼度１４４を低く設定する。
すなわち、ノイズ量が多い場合には、２Ｄ画像に基づく３Ｄ画像への変換において奥行き設定誤りなどの副作用が目立ちやすくなるため、３Ｄ画像への変換時における奥行き情報の反映度合いを抑制するために信頼度を低くする制御を行う。
【００８７】
例えば、外部ブロック検出信号５５として、信号帯域計測結果を入力した場合、外部ブロック信頼度算出部１３４は、図１１（２）に示すように帯域分布が高域領域であるほど信頼度を高く設定する。
これは、シーンの帯域分布が高域まで伸びている場合、周波数解析に基づいた奥行きマップ情報を推定しやすくなるため、信頼度を高くするものである。
【００８８】
また、外部ブロック検出信号５５として、顔検出結果を入力した場合、外部ブロック信頼度算出部１３４は、図１１（３）に示すように、顔領域の面積が大きいほど、信頼度を低く設定した外部ブロック対応信頼度１４４を生成して出力する。
また、外部ブロック検出信号５５として、テロップ検出結果を入力した場合、外部ブロック信頼度算出部１３４は、図１１（４）に示すようにシーン内にテロップ領域の面積が大きいほど、信頼度を低く設定した外部ブロック対応信頼度１４４を生成して出力する。
顔領域やテロップ領域に対しては、周波数解析に基づいた奥行きマップ情報が推定しにくくなるため、これらの領域が大きい場合は、信頼度を低くするようにして３Ｄ画像への変換時における奥行き情報の反映度合いを小さくして副作用の発生を抑制する制御を行う。
【００８９】
また、外部ブロック検出信号５５として、ＥＰＧ情報を入力した場合、外部ブロック信頼度算出部１３４は、映像シーンが周波数解析に基づいた奥行きマップ情報の推定が当たりやすい番組のカテゴリ（ドラマ、映画、動物、自然）であるか否かを判定し、奥行きマップ情報の推定が当たりやすい番組のカテゴリ（ドラマ、映画、動物、自然）である場合、信頼度を高くするような制御を行う。
【００９０】
また、外部ブロック検出信号５５として、カメラ撮影情報を入力した場合は、被写界深度に関連する情報（レンズ焦点距離、被写体距離、Ｆ値、許容錯乱円径など）から被写界深度を算出（推定）し、図１２（５）に示すように算出した被写界深度が浅い場合、信頼度を高くした外部ブロック対応信頼度１４４を出力する。
これは、被写界深度が浅いシーンの場合、周波数解析に基づいた奥行きマップ情報が推定しやすく、かつ３Ｄ画像の奥行き感を感じやすくなるためである。
【００９１】
また、外部ブロック検出信号５５として、動き検出結果を入力した場合、外部ブロック信頼度算出部１３４は、図１２（６）に示すように動き量が大きいほど信頼度を低くした外部ブロック対応信頼度１４４を出力する。
これは、動きぼけの発生や速い動物体に対しては奥行き感が得られにくいなどの理由により、信頼度を低くするような制御を行うものである。
【００９２】
なお、外部ブロック信頼度算出部１３４は、上記で説明した複数の信頼度のうち、いずれかを外部ブロック対応信頼度１４４として設定して出力してもよいし、複数を組み合わせて使用してもよい。
複数を組み合わせて使用する場合は、複数の信頼度の積、加重平均などにより、外部ブロック対応信頼度１４４を算出して出力する。
【００９３】
以上のように、図５に示す外部ブロック信頼度算出部１３４は、ざまざまな外部ブロック検出信号５５に応じて、２Ｄ３Ｄ変換時の違和感のある奥行き情報の発生等の副作用の抑制や、３Ｄ画像の自然な奥行き感の促進を行うための外部ブロック信頼度１４４を算出して出力する。
【００９４】
（３−５．信頼度統合部の処理について）
次に、図５に示す信頼度統合部１３５の処理について説明する。
図５に示す信頼度統合部１３５は、
統計情報信頼度算出部１３１の生成した統計情報信頼度１４１、
空間分布信頼度算出部１３２の生成した空間分布信頼度１４２、
輝度信頼度算出部１３３の生成した輝度信頼度１４３、
外部ブロック信頼度算出部１３４の生成した外部ブロック対応信頼度１４４、
これらの複数の信頼度情報を入力する。
【００９５】
信頼度統合部１３５は、これらの複数の入力信頼度のうち、いずれかを選択して出力する奥行きマップ信頼度情報６２として設定して出力する。
あるいは、複数を組み合わせて奥行きマップ信頼度情報６２を算出して出力する。
複数を組み合わせて奥行きマップ信頼度情報６２を算出する場合、複数の信頼度の積、加重平均などにより、奥行きマップ信頼度情報６２を算出する。
【００９６】
［４．奥行きマップ情報補正部の構成と処理について］
次に、図１に示す画像処理装置１００の奥行きマップ情報補正部１０３の構成と処理について説明する。
奥行きマップ情報補正部１０３の構成例を図１３に示す。
奥行きマップ情報補正部１０３は、奥行きマップブレンド比制御部１５１、固定奥行きマップ値設定部１５２と、２個の加算器と乗算器を有する。
【００９７】
奥行きマップ情報補正部１０３は、図１に示すように、
奥行きマップ情報推定部１０１の生成した奥行きマップ情報６１、
信頼度情報生成部１０２の生成した奥行きマップ情報信頼度６２、
これらの各情報を入力する。
【００９８】
図１３に示す奥行きマップ情報補正部１０３の奥行きマップブレンド比制御部１５１は、入力された奥行きマップ情報信頼度６２に基づいて、マップブレンド比（α）１６１を生成して出力する。
マップブレンド比（α）１６１とは、
（１）入力された奥行きマップ情報６１（Ｆｒｅｑ＿Ｄｅｐｔｈ）と、
（２）固定奥行きマップ値設定部１５２から出力される固定奥行きマップ値１６２（Ｆｉｘ＿Ｄｅｐｔｈ）、
これらの２つのマップの値の加重平均処理を行うためのマップブレンド比である。
【００９９】
なお、固定奥行きマップ値設定部１５２から出力される固定奥行きマップ値１６２（Ｆｉｘ＿Ｄｅｐｔｈ）は、奥行き値を一定の固定値として設定した奥行きマップである。
奥行きマップブレンド比制御部１５１は、マッププレンド比を、所定の画素領域単位、例えば各画素単位のブレンド比として算出して出力する。
【０１００】
奥行きマップブレンド比制御部１５１は、マップブレンド比（α）１６１を、図１３の下段のグラフのように設定する。
図１３の下段に示すグラフは、
横軸が奥行きマップ情報信頼度６２、
縦軸がマップブレンド比（α）１６１、
これらの設定である。
【０１０１】
奥行きマップ情報信頼度の値（０〜１）に応じて、マップブレンド比（α＝０〜１）が設定される。
奥行きマップ情報信頼度の値が大きい（１に近い）ほど、マップブレンド比（α）の値が大きく（１に近く）設定され、奥行きマップ情報信頼度の値が小さい（０に近い）ほど、マップブレンド比（α）の値が小さく（０に近く）設定される。
奥行きマップブレンド比制御部１５１は、各画素単位のマップブレンド比（α）１６１を、図１３の下段のグラフに従って設定して出力する。
【０１０２】
奥行きマップ情報補正部１０２は、このマップブレンド比（α）に基づいて、下式の加重平均処理によって、補正奥行きマップ情報６３（Ｒｅｖ＿Ｄｅｐｔｈ）を求め出力する。
Ｒｅｖ＿Ｄｅｐｔｈ＝α×（Ｆｒｅｑ＿Ｄｅｐｔｈ）＋（１．０−α）×（Ｆｉｘ＿Ｄｅｐｔｈ）
【０１０３】
すなわち、奥行きマップ情報信頼度の値が大きい（１に近い）領域では、マップブレンド比（α）の値が大きく（１に近く）設定され、入力された奥行きマップ情報６１（Ｆｒｅｑ＿Ｄｅｐｔｈ）の設定値の重みが、固定奥行きマップ値（Ｆｉｘ＿Ｄｅｐｔｈ）より大きく設定された加重平均により、奥行きマップ情報６１（Ｆｒｅｑ＿Ｄｅｐｔｈ）の設定値を大きく反映した補正奥行値（Ｒｅｖ＿Ｄｅｐｔｈ）が算出される。
【０１０４】
一方、奥行きマップ情報信頼度の値が小さい（０に近い）領域では、マップブレンド比（α）の値が小さく（０に近く）設定され、入力された奥行きマップ情報６１（Ｆｒｅｑ＿Ｄｅｐｔｈ）の設定値の重みが、固定奥行きマップ値（Ｆｉｘ＿Ｄｅｐｔｈ）より小さく設定された加重平均により、固定奥行きマップ値（Ｆｉｘ＿Ｄｅｐｔｈ）の設定値を大きく反映した補正奥行値（Ｒｅｖ＿Ｄｅｐｔｈ）が算出される。
【０１０５】
このように、この加重平均処理により、奥行きマップ情報信頼度６２が小さい信頼度の場合には、固定奥行きマップ値（Ｆｉｘ＿Ｄｅｐｔｈ）１６２の重みが高くなるので、補正奥行きマップ情報（Ｒｅｖ＿Ｄｅｐｔｈ）６３の奥行値のダイナミックレンジは小さくなる。この結果、後段の３Ｄ画像生成部１０４で生成される３Ｄ画像の視差分布のレンジも狭くなるため、奥行き感が弱まる効果（副作用を抑制する）がある。
【０１０６】
一方、奥行きマップ情報信頼度６２が大きい信頼度の場合は、この逆で、後段の３Ｄ画像生成部１０４で生成される３Ｄ画像の視差分布のレンジが広くなるため、奥行き感が強まる効果がある。
【０１０７】
奥行きマップ情報補正部１０３の内部構成図の別の構成例を図１４に示す。
図１４に示す奥行きマップ情報補正部１０３は、ＬＵＴ選択部１７１、ＬＵＴマップ変換部１７２を有する。
ＬＵＴ選択部１７１は、例えば図１４の下段に示す（Ａ），（Ｂ），（Ｃ）の異なる入出力特性をもつ複数のＬＵＴの中から、入力された奥行きマップ情報信頼度６２に基づいて入出力対応テーブル（ＬＵＴ）の選択を行うためのＬＵＴ識別情報１８１を生成して出力する。
【０１０８】
図１４の下段に示す（Ａ），（Ｂ），（Ｃ）のＬＵＴは、以下の入出力対応関係を持つテーブルである。
図１４の下段に示す（Ａ），（Ｂ），（Ｃ）のＬＵＴにおいて、
横軸は、奥行きマップ情報推定部１０１の生成した奥行きマップ情報６１の設定値としての奥行値、
縦軸は、奥行きマップ情報補正部１０３における補正処理によって出力する補正奥行きマップ情報６３の設定値としての奥行値、
である。
【０１０９】
例えば、図１４（Ａ）のＬＵＴは、入力値と出力値が同一であり、奥行きマップ情報推定部１０１の生成した奥行きマップ情報６１の設定値をそのまま補正奥行きマップ情報６３の設定値として出力するＬＵＴである。
図１４（Ｂ）のＬＵＴは、入力値の値の幅に比較してと出力値の幅が小さく設定され、奥行きマップ情報推定部１０１の生成した奥行きマップ情報６１の設定値のレンジを小さくして補正奥行きマップ情報６３の設定値として出力するＬＵＴである。
図１４（Ｃ）のＬＵＴは、入力値の値に依存せず、一定の出力値が設定され、奥行きマップ情報推定部１０１の生成した奥行きマップ情報６１の設定値の値に依存することなく、一定値を補正奥行きマップ情報６３の設定値として出力するＬＵＴである。
【０１１０】
ＬＵＴ選択部１７１は、例えば、入力された奥行きマップ情報信頼度６２の示す信頼度が大きければ（Ａ）に示すＬＵＴを選択し、信頼度が小さければ（Ｃ）に示すＬＵＴを選択し、中程度の信頼度であれば（Ｂ）のＬＵＴを選択するためのＬＵＴ識別情報１８１を生成して出力する。
【０１１１】
このように、入力された奥行きマップ情報信頼度６２の示す信頼度が小さい値の場合、出力のダイナミックレンジを小さくするため、図１４下段に示す（Ａ），（Ｂ），（Ｃ）の異なる入出力特性をもつ複数のＬＵＴの中から、（Ｂ）や（Ｃ）が選択される。一方、奥行きマップ情報信頼度６２の示す信頼度が大きい場合、出力のダイナミックレンジを大きくするため、（Ｂ）から（Ａ）に近くようなＬＵＴを選択する。
【０１１２】
ＬＵＴマップ変換部１７２は、ＬＵＴ識別情報１８１に応じて決定されるＬＵＴの入出力特性に従って、入力された奥行きマップ情報６１を変換し、補正奥行きマップ情報６３を出力する。
【０１１３】
なお、ＬＵＴの特性は、図１４の（Ａ）、（Ｂ）、（Ｃ）のように直線に限るものではなく、奥行きマップ情報信頼度６２の示す信頼度が小さくなるほど補正奥行きマップ情報６３のダイナミックレンジを小さくする効果を出すものであれば、折れ線、曲線などで示される特性でもよい。
【０１１４】
さらに、奥行きマップ情報補正部１０３の別の構成例について図１５を参照して説明する。
図１５に示す奥行きマップ情報補正部１０３は、入出力特性設定部１９１、マップ変換部１９２を有する。
【０１１５】
入出力特性設定部１９１は、入力された奥行きマップ情報信頼度６２の示す信頼度に応じて、図１５の下段に示すような入出力特性を定義するパラメータ（ａ，ｂ）を含む入出力特性情報（ａ，ｂ）を設定して出力する。
【０１１６】
具体的には図１５下段のグラフ（２）に示すように入力された奥行きマップ情報信頼度６２の示す信頼度が大きいほど、図１５下段のグラフ（１）の特性直線の傾きａが大きくなるように設定する。なお、この場合、ｂの設定方法は任意とする。例えば固定値としてもよいし、ユーザが調整可能なパラメータとしてもよい。
これにより、奥行きマップ情報信頼度６２の示す信頼度が大きい場合、出力のダイナミックレンジが大きくなる。
【０１１７】
逆に、奥行きマップ情報信頼度６２の示す信頼度が小さい場合は、図１５（２）のグラフに示すように、パラメータａが小さく設定され、図１５下段のグラフ（１）の特性直線の傾きａが小さく設定される。この結果、出力される補正奥行きマップ情報６３のダイナミックレンジが小さくなる。
【０１１８】
マップ変換部１９２では、このようにして、入出力特性設定部１９１の設定したパラメータ（ａ，ｂ）を含む入出力特性情報（ａ，ｂ）２０１を入力して、以下に示す変換式により、入力された奥行きマップ情報（Ｆｒｅｑ＿Ｄｅｐｔｈ）６１から補正奥行きマップ情報（Ｒｅｖ＿Ｄｅｐｔｈ）６３に変換し出力する。
Ｒｅｖ＿Ｄｅｐｔｈ＝ａ×（Ｆｒｅｑ＿Ｄｅｐｔｈ）＋ｂ
【０１１９】
なお、入出力特性設定部１９１の生成するパラメータ（ａ，ｂ）は、図１５のグラフのように直線に限るものではなく、奥行きマップ情報信頼度６２の示す信頼度が小さくなるほど補正奥行きマップ情報６３のダイナミックレンジを小さくする効果を出すものであれば、折れ線、曲線などで示される特性でもよい。
【０１２０】
［５．３Ｄ画像生成部の処理について］
最後に、図１に示す画像処理装置１００の３Ｄ画像生成部１０４の処理について説明する。
３Ｄ画像生成部１０４では、
奥行きマップ情報補正部１０３の生成した補正奥行きマップ情報６３と２Ｄ画像信号５０を入力し、入力した２Ｄ画像信号５０に対して、補正奥行きマップ情報６３を適用した２Ｄ３Ｄ変換処理を行い、３Ｄ画像表示用の左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）からなる３Ｄ画像７０を生成して出力する。
【０１２１】
なお、この２Ｄ３Ｄ変換処理については、例えば、非特許文献（Ｙ．Ｊ．Ｊｅｏｎｇ，Ｙ．Ｋｗａｋ，Ｙ．Ｈａｎ，Ｙ．Ｊ．Ｊｕｎ  ａｎｄ  Ｄ．Ｐａｒｋ，"Ｄｅｐｔｈ−ｉｍａｇｅ−ｂａｓｅｄ  ｒｅｎｄｅｒｉｎｇ（ＤＩＢＲ）  ｕｓｉｎｇ  ｄｉｓｏｃｃｌｕｓｉｏｎ  ａｒｅａ  ｒｅｓｔｒａｔｉｏｎ，"Ｐｒｏｃ．ｏｆ  ＳＩＤ，２００９．）等に記載の手法を用いた処理として実行可能である。
具体的には、補正奥行きマップ情報を視差情報に変換し、２Ｄ画像信号５０に奥行きに応じた視差を設定した左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）からなる３Ｄ画像７０を生成する。
【０１２２】
なお、奥行きマップ情報を適用して、２Ｄ画像信号から３Ｄ画像を生成する手法は、上記文献に記載の手法に限らず、様々な手法が提案されており、３Ｄ画像生成部１０４は、上記文献に記載の手法に限らず、様々な手法が適用可能である。
【０１２３】
［６．画像処理装置の全体的な処理の流れと効果について］
上述したように、本開示の画像処理装置は、まず、奥行きマップ情報推定部１０１において、図２を参照して説明したように、画像領域の周波数解析を行い中低域成分の占有率に応じた奥行き情報の設定を行う。
すなわち、
中低域成分の占有率が高い場合は奥（遠い）値を示す奥行き値、
中低域成分の占有率が低い場合は手前（近い）値を示す奥行き値、
このように中低域成分の占有率に応じた奥行き値を設定した奥行きマップ情報６１を生成する。
【０１２４】
この手法によって、例えば以下の効果が得られる。
例えば、夜景のネオンなどの高コントラストなエッジ部が過度に手前に飛び出す副作用を抑制する効果がある。
また、カメラのピントのあった被写体部のコントラストの比較的低い領域（動物の毛並み、人の肌のしわなど）が奥側として誤推定されたときに生成される３Ｄ画像の不自然な奥行き感を抑制する効果がある。
さらに、被写界深度の浅いシーン（前景の被写体にピントが合って、背景がぼけているようなシーン）に対しては、奥行感のある３Ｄ画像を生成することができ、その一方で、被写界深度の深いパンフォーカスシーンのような誤推定を起こすようなシーンに対しては、３Ｄ画像中の不自然な奥行感を抑制することができるため、効果のあるシーンでの立体感を維持しつつ、視聴者への目の負担を軽減させる効果がある。
【０１２５】
さらに、本開示の画像処理装置の信頼度情報生成部１０２は、
奥行き情報マップの設定値の統計情報、
奥行き情報マップの設定値の空間分布情報、
２Ｄ画像の輝度分布情報、
外部ブロックから得られる各種情報、
これらの様々な情報を適用して奥行きマップ情報６１の信頼度を算出する構成としている。
【０１２６】
また、奥行きマップ情報補正部１０３は、信頼度情報生成部１０２の生成した奥行きマップ情報信頼度６２に応じて、奥行きマップ情報推定部１０１の生成した奥行きマップ情報６１の補正処理を実行する。
具体的には、例えば、
（１）信頼度に応じたブレンド比（α）を適用した奥行きマップ情報６１と、固定奥行きマップ値のブレンド処理（加重平均）、
（２）信頼度に応じて、入出力対応関係を規定した複数のＬＵＴから１つのＬＵＴを選択し選択したＬＵＴを適用した補正処理、
（３）信頼度に応じて、入出力特性を規定するパラメータ（ａ，ｂ）を設定して、設定したパラメータを適用した補正処理、
これらのいずれかを適用して、奥行きマップ情報６１の補正処理を実行する。
【０１２７】
このように様々な要素に応じた奥行きマップ情報の信頼度算出を実行し、算出した信頼度に応じて、奥行きマップ情報６１の補正処理を実行する構成としている。
これらの処理によって、奥行きマップ情報の設定値の信頼度をより確実に把握可能となり、また信頼度に応じた的確な補正が実現される。
【０１２８】
［７．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の構成について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１２９】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）  ２次元画像の領域単位の奥行きを推定し、２次元画像の領域単位の奥行き推定値を設定した奥行きマップ情報を生成する奥行きマップ情報推定部と、
前記奥行きマップ情報に設定された奥行き値の信頼度を判定し、奥行きマップ情報信頼度を生成する信頼度情報生成部と、
前記奥行きマップ情報信頼度に応じて前記奥行きマップ情報の補正を行い、補正奥行きマップ情報を生成する奥行きマップ情報補正部と、
前記補正奥行きマップ情報を適用して、前記２次元画像から３次元画像表示に適用する左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を生成する３Ｄ画像生成部を有し、
前記奥行きマップ情報推定部は、
前記２次元画像の領域単位の周波数成分解析を行い、領域単位の中低域成分エネルギーと、ＡＣ成分エネルギーから、中低域成分エネルギー占有率を算出し、
算出した中低域成分エネルギー占有率の値に応じた奥行き推定値を設定した奥行きマップ情報を生成する画像処理装置。
【０１３０】
（２）前記奥行きマップ情報推定部は、前記中低域成分エネルギー占有率が大きい領域は、奥（遠い）の位置を示す奥行き推定値を設定し、前記中低域成分エネルギー占有率が小さい領域は、手前（近い）位置を示す奥行き推定値を設定した奥行きマップ情報を生成する前記（１）に記載の画像処理装置。
（３）前記奥行きマップ情報推定部は、前記領域単位の中低域成分エネルギーと、ＡＣ成分エネルギーから、中低域成分エネルギー占有率を、
中低域成分エネルギー占有率＝（中低域成分エネルギー）／（ＡＣ成分エネルギー）
上記式に従って算出し、
算出した中低域成分エネルギー占有率の値に応じた奥行き推定値を設定した奥行きマップ情報を生成する前記（１）または（２）に記載の画像処理装置。
【０１３１】
（４）前記信頼度情報生成部は、前記奥行きマップ情報の奥行値の度数分布情報である奥行き情報ヒストグラムのピーク位置情報を適用して算出した統計情報信頼度を生成する前記（１）〜（３）いずれかに記載の画像処理装置。
（５）前記信頼度情報生成部は、前記奥行きマップ情報の奥行値の度数分布情報である奥行き情報ヒストグラムのピーク値の度数：ＰＦと、該奥行き情報ヒストグラムの極小部の度数：ＭＦとの度数比（ＭＦ／ＰＦ）を算出し、度数比（ＭＦ／ＰＦ）に応じた統計情報信頼度を生成する前記（１）〜（４）いずれかに記載の画像処理装置。
（６）前記信頼度情報生成部は、前記奥行きマップ情報の所定領域単位の奥行き値の差分情報を適用して算出した空間分布信頼度を生成する前記（１）〜（５）いずれかに記載の画像処理装置。
【０１３２】
（７）前記信頼度情報生成部は、前記２次元画像の輝度に応じた信頼度である輝度信頼度を生成する前記（１）〜（６）いずれかに記載の画像処理装置。
（８）前記信頼度情報生成部は、外部から入力する外部ブロック検出信号を適用して該部プロック対応信頼度を生成する前記（１）〜（７）いずれかに記載の画像処理装置。
（９）前記外部ブロック検出信号は、ノイズ量計測結果、信号帯域計測結果、顔検出結果、テロップ検出結果、ＥＰＧ情報、カメラ撮影情報、動き検出結果の少なくともいずれかの検出信号であり、前記信頼度情報生成部は、前記いずれかの検出信号を適用して該部プロック対応信頼度を生成する前記（８）に記載の画像処理装置。
（１０）前記奥行きマップ情報補正部は、前記奥行きマップ情報信頼度に応じて、前記奥行きマップ情報と、奥行き値を固定値とした固定奥行きマップとのブレンド比を決定し、決定したブレンド比を適用して、前記奥行きマップ情報と、固定奥行きマップとのブレンド処理を実行して補正奥行きマップ情報を生成する前記（１）〜（９）いずれかに記載の画像処理装置。
【０１３３】
（１１）前記奥行きマップ情報補正部は、前記奥行きマップ情報信頼度が高い場合は、前記奥行きマップ情報のブレンド比率を高め、前記奥行きマップ情報信頼度が低い場合は、前記奥行きマップ情報のブレンド比率を低めてブレンド処理を実行して補正奥行きマップ情報を生成する前記（１０）に記載の画像処理装置。
（１２）前記奥行きマップ情報補正部は、前記奥行きマップ情報信頼度に応じて、前記奥行きマップ情報に設定された奥行き値のレンジを制御した補正奥行きマップ情報を生成する前記（１）〜（１１）いずれかに記載の画像処理装置。
【０１３４】
（１３）前記奥行きマップ情報補正部は、前記奥行きマップ情報信頼度が高い場合は、前記奥行きマップ情報に設定された奥行き値のレンジの縮小幅を小さくし、前記奥行きマップ情報信頼度が低い場合は、前記奥行きマップ情報に設定された奥行き値のレンジの縮小幅を大きくする制御を実行して補正奥行きマップ情報を生成する前記（１２）に記載の画像処理装置。
【０１３５】
さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。
【０１３６】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１３７】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１３８】
以上、説明したように、本開示の一実施例の構成によれば、２次元画像から高精度な奥行き推定を行い、精度の高い奥行き値を適用した３Ｄ画像を生成する装置、方法が実現される。
具体的には、奥行きマップ情報推定部が、２次元画像の領域単位の奥行き推定値を設定した奥行きマップ情報を生成する。さらに、奥行きマップ情報に設定された奥行き値の信頼度を判定する。さらに、信頼度に応じて奥行きマップ情報の補正を行い、補正奥行きマップ情報を生成し、補正奥行きマップ情報を適用して２次元画像から３次元画像表示に適用する左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を生成する。奥行きマップ情報推定部は、領域単位の中低域成分エネルギーと、ＡＣ成分エネルギーから、中低域成分エネルギー占有率を算出し、算出した中低域成分エネルギー占有率の値に応じた奥行き推定値を設定した奥行きマップ情報を生成する。
この構成により、２次元画像から高精度な奥行き推定を行い、精度の高い奥行き値を適用した３Ｄ画像を生成する装置、方法が実現される。
【符号の説明】
【０１３９】
１００  画像処理装置
１０１  奥行きマップ情報推定部
１０２  信頼度情報生成部
１０３  奥行きマップ情報補正部
１０４  ３Ｄ画像生成部
１１１  中低域成分エネルギー算出部
１１２  ＡＣ成分エネルギー算出部
１１３  中低域成分エネルギー占有率算出部
１１４  奥行きマップ情報変換部
１３１  統計情報信頼度算出部
１３２  空間分布信頼度算出部
１３３  輝度信頼度算出部
１３４  外部ブロック信頼度算出部
１３５  信頼度統合部
１５１  奥行きマップブレンド比制御部
１５２  固定奥行きマップ値設定部
１７１  ＬＵＴ選択部
１７２  ＬＵＴマップ変換部
１９１  入出力特性設定部
１９２  マップ変換部
【図１】
2013172190.tif 000003
【図２】
2013172190.tif 000004
【図３】
2013172190.tif 000005
【図４】
2013172190.tif 000006
【図５】
2013172190.tif 000007
【図７】
2013172190.tif 000008
【図９】
2013172190.tif 000009
【図１０】
2013172190.tif 000010
【図１１】
2013172190.tif 000011
【図１２】
2013172190.tif 000012
【図１３】
2013172190.tif 000013
【図１４】
2013172190.tif 000014
【図１５】
2013172190.tif 000015
【図６】
2013172190.tif 000016
【図８】
2013172190.tif 000017