(57)【要約】  画像の立体感を強調するための複数の処理を想定し、画像に適した態様で複数の立体感強調処理を統合する。  画像処理装置は、立体感強調処理部および統合処理部を具備する。立体感強調処理部は、入力画像に対して複数の立体感強調処理を実行する。統合処理部は、入力画像を解析した複数の立体感強調処理を統合する際の統合係数に従って複数の立体感強調処理の結果を統合する。また、入力画像を解析して複数の立体感強調処理を統合する際の統合係数を生成する画像解析部をさらに具備してもよい。
2014041860.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に対して複数の立体感強調処理を実行する立体感強調処理部と、
前記入力画像を解析した前記複数の立体感強調処理を統合する際の統合係数に従って前記複数の立体感強調処理の結果を統合する統合処理部と
を具備する画像処理装置。
【請求項２】
前記入力画像を解析して前記複数の立体感強調処理を統合する際の前記統合係数を生成する画像解析部をさらに具備する
請求項１記載の画像処理装置。
【請求項３】
前記画像解析部は、前記入力画像のシーンに基づいて前記統合係数を生成する請求項２記載の画像処理装置。
【請求項４】
前記画像解析部は、前記認識されたシーンおよび前記入力画像に含まれる特徴量に基づいて前記統合係数を生成する請求項３記載の画像処理装置。
【請求項５】
前記画像解析部は、相対的大きさを制御する立体感強調処理およびパースペクティブに基づいて位置制御を行う立体感強調処理の統合係数が所定の閾値より高い場合には、前記位置制御を行う立体感強調処理の統合係数をさらに高める請求項１記載の画像処理装置。
【請求項６】
前記画像解析部は、テクスチャ勾配を強調する立体感強調処理およびフォーカスに応じた立体感強調処理の統合係数が所定の閾値より高い場合には、前記テクスチャ勾配を強調する立体感強調処理および前記フォーカスに応じた立体感強調処理の統合係数をさらに高める請求項１記載の画像処理装置。
【請求項７】
前記画像解析部は、空気遠近感に基づく立体感強調処理と陰影を施すことによる立体感強調処理とのうち統合係数が低い方の統合係数を抑制する請求項１記載の画像処理装置。
【請求項８】
前記画像解析部は、陰影を施すことによる立体感強調処理とテクスチャ勾配を強調する立体感強調処理またはフォーカスに応じた立体感強調処理とのうち統合係数が低い方の統合係数を抑制する請求項１記載の画像処理装置。
【請求項９】
前記画像解析部は、空気遠近感に基づく立体感強調処理と相対的大きさを制御する立体感強調処理またはパースペクティブに基づいて位置制御を行う立体感強調処理とのうち統合係数が低い方の統合係数を抑制する請求項１記載の画像処理装置。
【請求項１０】
前記統合処理部は、前記複数の立体感強調処理のうち、位置に関する立体感強調処理の統合と画素値に関する立体感強調処理の統合とを分けて順番に行う請求項１記載の画像処理装置。
【請求項１１】
前記入力画像に対して前記複数の立体感強調処理の結果が統合された画像を表示する表示部をさらに具備する
請求項１記載の画像処理装置。
【請求項１２】
入力画像に対して複数の立体感強調処理を実行する立体感強調処理手順と、
前記入力画像を解析した前記複数の立体感強調処理を統合する際の統合係数に従って前記複数の立体感強調処理の結果を統合する統合処理手順と
を具備する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像の立体感を強調する画像処理装置に関する。詳しくは、複数の立体感強調処理結果を統合する画像処理装置、画像表示装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
デジタルスチルカメラの普及により、エンドユーザにとって日常の光景を撮影することが身近なものになっている。デジタルスチルカメラでは焦点距離が短くなるため、撮影された画像が平面的になり、立体感が乏しいものになることがある。【０００３】
そこで、２名の人物を左右両眼の共通の注目被写体とするステレオ画像において、立体感を強調するために、被写体距離を算出してこれに基づいて陰影やぼかしを付加する技術が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−５３７４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の従来技術では、ステレオ画像を用いてステレオ距離計測を行って、これに基づいて画像の奥行きを深く見せる加工を施すことにより、平面的で奥行きが浅い画像の立体感を強めている。しかしながら、この従来技術では、左右両眼の画像からなるステレオ画像を想定したものであり、被写体距離の算出に時間を要してしまう。また、陰影やぼかしなどの複数の立体感強調処理をいかに組み合わせるかについては、これまで検討されていなかった。【０００６】
本技術はこのような状況に鑑みて生み出されたものであり、画像の立体感を強調するための複数の処理を想定し、画像に適した態様で複数の立体感強調処理を統合することを目的とする。
【課題を解決するための手段】
【０００７】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、入力画像に対して複数の立体感強調処理を実行する立体感強調処理部と、上記入力画像を解析した上記複数の立体感強調処理を統合する際の統合係数に従って上記複数の立体感強調処理の結果を統合する統合処理部とを具備する画像処理装置、その画像処理方法またはプログラムである。これにより、画像に適した態様で複数の立体感強調処理を統合するという作用をもたらす。また、この第１の側面において、上記入力画像を解析して上記複数の立体感強調処理を統合する際の上記統合係数を生成する画像解析部をさらに具備してもよい。【０００８】
また、この第１の側面において、上記画像解析部は、上記入力画像のシーンに基づいて上記統合係数を生成するようにしてもよい。これにより、シーン認識に基づいて複数の立体感強調処理を統合するという作用をもたらす。【０００９】
また、この第１の側面において、上記画像解析部は、上記認識されたシーンおよび上記入力画像に含まれる特徴量に基づいて上記統合係数を生成するようにしてもよい。これにより、シーン認識および特徴量に基づいて複数の立体感強調処理を統合するという作用をもたらす。【００１０】
また、この第１の側面において、上記画像解析部は、相対的大きさを制御する立体感強調処理およびパースペクティブに基づいて位置制御を行う立体感強調処理の統合係数が所定の閾値より高い場合には、上記位置制御を行う立体感強調処理の統合係数をさらに高めるようにしてもよい。これにより、奥行き感のある画像について立体感を強調するという作用をもたらす。【００１１】
また、この第１の側面において、上記画像解析部は、テクスチャ勾配を強調する立体感強調処理およびフォーカスに応じた立体感強調処理の統合係数が所定の閾値より高い場合には、上記テクスチャ勾配を強調する立体感強調処理および上記フォーカスに応じた立体感強調処理の統合係数をさらに高めるようにしてもよい。これにより、テクスチャ勾配がはっきりしている画像について立体感を強調するという作用をもたらす。【００１２】
また、この第１の側面において、上記画像解析部は、空気遠近感に基づく立体感強調処理と陰影を施すことによる立体感強調処理とのうち統合係数が低い方の統合係数を抑制するようにしてもよい。これにより、空気遠近感に基づく立体感強調処理と陰影を施すことによる立体感強調処理の何れかを優先して立体感を強調するという作用をもたらす。【００１３】
また、この第１の側面において、上記画像解析部は、陰影を施すことによる立体感強調処理とテクスチャ勾配を強調する立体感強調処理またはフォーカスに応じた立体感強調処理とのうち統合係数が低い方の統合係数を抑制するようにしてもよい。これにより、オブジェクトの配置を考慮して立体感を強調するという作用をもたらす。【００１４】
また、この第１の側面において、上記画像解析部は、空気遠近感に基づく立体感強調処理と相対的大きさを制御する立体感強調処理またはパースペクティブに基づいて位置制御を行う立体感強調処理とのうち統合係数が低い方の統合係数を抑制するようにしてもよい。これにより、画角を考慮して立体感を強調するという作用をもたらす。【００１５】
また、この第１の側面において、上記統合処理部は、上記複数の立体感強調処理のうち、位置に関する立体感強調処理の統合と画素値に関する立体感強調処理の統合とを分けて順番に行うようにしてもよい。これにより、種類の異なる立体感強調処理同士を組み合わせるという作用をもたらす。【００１６】
また、本技術の第２の側面は、入力画像に対して複数の立体感強調処理を実行する立体感強調処理部と、上記入力画像を解析した上記複数の立体感強調処理を統合する際の統合係数に従って上記複数の立体感強調処理の結果を統合する統合処理部と、上記入力画像に対して上記複数の立体感強調処理の結果が統合された画像を表示する表示部とを具備する画像表示装置である。これにより、画像に適した態様で複数の立体感強調処理を統合して画像を表示するという作用をもたらす。
【発明の効果】
【００１７】
本技術によれば、画像の立体感を強調するための複数の処理を想定し、画像に適した態様で複数の立体感強調処理を統合することができるという優れた効果を奏し得る。
【図面の簡単な説明】
【００１８】
【図１】本技術の実施の形態における画像表示装置の構成例を示す図である。
【図２】本技術の実施の形態における立体感強調処理部１５０の構成例を示す図である。
【図３】本技術の実施の形態の第１強調処理部１５１におけるオブジェクト間の相対的な大きさを制御する立体感強調処理の一例を示す図である。
【図４】本技術の実施の形態の第２強調処理部１５２におけるパースペクティブに基づいてオブジェクトの位置を制御する立体感強調処理の一例を示す図である。
【図５】本技術の実施の形態の第３強調処理部１５３におけるオブジェクトの動きを制御する立体感強調処理の一例を示す図である。
【図６】本技術の実施の形態の第４強調処理部１５４における空気遠近感に基づく立体感強調処理の一例を示す図である。
【図７】本技術の実施の形態の第４強調処理部１５４における空気遠近感に基づく立体感強調処理における奥行きと彩度の関係を示す図である。
【図８】本技術の実施の形態の第５強調処理部１５５におけるテクスチャ勾配を強調する立体感強調処理の一例を示す図である。
【図９】本技術の実施の形態の第６強調処理部１５６における陰影を施すことによる立体感強調処理の一例を示す図である。
【図１０】本技術の実施の形態の第７強調処理部１５７におけるフォーカスに応じた立体感強調処理の一例を示す図である。
【図１１】本技術の実施の形態における画像解析部１４０の第１の構成例を示す図である。
【図１２】画像のシーンとして風景の例を示す図である。
【図１３】画像のシーンとして構造物や街路等の例を示す図である。
【図１４】画像のシーンとしてポートレートの例を示す図である。
【図１５】本技術の実施の形態における結合係数テーブル１４２の構成例を示す図である。
【図１６】本技術の実施の形態における画像解析部１４０の第１の構成例による処理手順を示す流れ図である。
【図１７】本技術の実施の形態における画像解析部１４０の第２の構成例を示す図である。
【図１８】本技術の実施の形態における一般係数テーブル１４４の構成例を示す図である。
【図１９】本技術の実施の形態における画像解析部１４０の第２の構成例による処理手順を示す流れ図である。
【図２０】本技術の実施の形態における画像解析部１４０の第３の構成例を示す図である。
【図２１】本技術の実施の形態における画像解析部１４０の第３の構成例による処理手順を示す流れ図である。
【図２２】本技術の実施の形態における画像解析部１４０の第４の構成例を示す図である。
【図２３】本技術の実施の形態における画像解析部１４０の第４の構成例による処理手順を示す流れ図である。
【図２４】本技術の実施の形態の第１強調処理部１５１によるオブジェクト間の相対的な大きさを制御する立体感強調処理における奥行きと倍率の関係例を示す図である。
【図２５】本技術の実施の形態の第２強調処理部１５２によるパースペクティブに基づいてオブジェクトの位置を制御する立体感強調処理における奥行きと移動量の関係例を示す図である。
【図２６】本技術の実施の形態の第３強調処理部１５２によるオブジェクトの動きを制御する立体感強調処理における奥行きと移動量の関係例を示す図である。
【図２７】本技術の実施の形態における統合処理部１６０の面積または位置の制御の統合処理の処理手順例を示す図である。
【図２８】本技術の実施の形態における統合処理部１６０の画素値の制御の統合処理の処理手順例を示す図である。
【図２９】本技術の実施の形態における画像表示装置の第１の全体処理手順例を示す図である。
【図３０】本技術の実施の形態における画像表示装置の第２の全体処理手順例を示す図である。
【図３１】本技術の実施の形態における画像表示装置の第３の全体処理手順例を示す図である。
【図３２】本技術の実施の形態における画像表示装置の第４の全体処理手順例を示す図である。
【発明を実施するための形態】
【００１９】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．全体構成（画像表示装置への適用例）
２．立体感強調処理
３．画像解析（統合係数の生成）
４．統合処理
５．全体動作
【００２０】
＜１．全体構成＞
［画像表示装置の構成］
図１は、本技術の実施の形態における画像表示装置の構成例を示す図である。この画像表示装置は、入力画像供給部１１０と、奥行き情報取得部１２０と、付加情報取得部１３０と、画像解析部１４０と、立体感強調処理部１５０と、統合処理部１６０と、表示部１７０とを備える。
【００２１】
入力画像供給部１１０は、入力画像を供給するものである。この入力画像供給部１１０としては、例えば、被写体を撮像して撮像画像を生成する撮像装置や、保存された画像の中から選択された画像を出力する画像サーバなどを想定することができる。また、この入力画像供給部１１０は、入力画像に対応する奥行き情報や付加情報を併せて供給してもよい。
【００２２】
奥行き情報取得部１２０は、入力画像に対応する奥行き情報を取得するものである。奥行き情報は、入力画像を構成する各画素の奥行き（depth）を示す情報である。この奥行き情報は、入力画像供給部１１０から供給されたものを利用することができる。また、入力画像供給部１１０以外で生成された奥行き情報を取得するようにしてもよい。また、この奥行き情報取得部１２０は、入力画像から奥行き情報を生成するようにしてもよい。
【００２３】
付加情報取得部１３０は、入力画像に対応する付加情報を取得するものである。付加情報は、画像解析部１４０において用いられる画像特徴量や制御パラメータである。この付加情報は、入力画像供給部１１０から供給されたものを利用することができる。また、入力画像供給部１１０以外で生成された付加情報を取得するようにしてもよい。また、この付加情報取得部１３０は、入力画像から付加情報を生成するようにしてもよい。
【００２４】
画像解析部１４０は、入力画像を解析して複数の立体感強調処理を統合する際の統合係数を生成するものである。この統合係数は、立体感強調処理部１５０および統合処理部１６０に供給される。統合係数の詳細については後述する。
【００２５】
立体感強調処理部１５０は、入力画像に対して複数の立体感強調処理を実行するものである。この立体感強調処理部１５０は、入力画像供給部１１０から供給された入力画像および奥行き情報取得部１２０において取得された奥行き情報を画像解析部１４０から受け取って、画像解析部１４０から供給された統合係数に従って複数の立体感強調処理を施す。
【００２６】
統合処理部１６０は、立体感強調処理部１５０において実行された複数の立体感強調処理の結果を、画像解析部１４０から供給された統合係数に従って統合するものである。この統合処理部１６０は、統合した結果を出力画像として出力する。
【００２７】
表示部１７０は、統合処理部１６０から出力された出力画像を表示するものである。この表示部１７０は、例えば、ＬＣＤ（Liquid Crystal Display）などにより実現することができる。
【００２８】
なお、ここでは表示部１７０を含む画像表示装置の構成例を示したが、表示部１７０を含まない画像処理装置として構成するようにしてもよい。
【００２９】
＜２．立体感強調処理＞
［立体感強調処理部の構成］
図２は、本技術の実施の形態における立体感強調処理部１５０の構成例を示す図である。この立体感強調処理部１５０は、７種類の立体感強調処理を行う処理部を備えている。
【００３０】
すなわち、第１強調処理部１５１は、相対的大きさを制御する立体感強調処理を行うものである。第２強調処理部１５２は、パースペクティブ（遠近法）に基づいて位置制御を行う立体感強調処理を行うものである。第３強調処理部１５３は、オブジェクトの動き（Depth from Motion）を制御する立体感強調処理を行うものである。第４強調処理部１５４は、空気遠近感に基づく立体感強調処理を行うものである。第５強調処理部１５５は、テクスチャ勾配を強調する立体感強調処理を行うものである。第６強調処理部１５６は、陰影を施すことによる立体感強調処理を行うものである。第７強調処理部１５７は、フォーカスに応じた立体感強調処理を行うものである。以下、これら立体感強調処理の各々について説明する。
【００３１】
［第１強調処理部（相対的大きさ）］
図３は、本技術の実施の形態の第１強調処理部１５１におけるオブジェクト間の相対的な大きさを制御する立体感強調処理の一例を示す図である。この立体感強調処理では、画像が各領域にセグメンテーションされる。このセグメンテーションの際には、例えばＭｅａｎ  Ｓｈｉｆｔ法やＧｒａｐｈ  Ｃｕｔ法などが用いられる。そして、各領域に対する奥行き情報が参照され、手前側にある前景領域（前景オブジェクト）が処理対象領域として抽出される。この処理対象領域を抽出する際には、精度を高めるために、ＳＶＭ（Support Vector Machine）法やブースティング（Boosting）法などの物体認識アルゴリズムを用いてもよい。この立体感強調処理では、同図に示すように、前景領域の大きさを相対的に大きくすることにより、立体感が強調される。その際の倍率は、奥行きから求めることができる。
【００３２】
前景領域が複数ある場合、例えば前景領域のうち最も近くの領域と２番目に近くの領域のように、処理の対象とする２つの領域を取得して、近くの領域に対しては拡大処理を施し、遠くの領域に対しては縮小処理を施す。これにより、２つの領域の間の奥行き方向の距離感を強調させることができる。ここで、拡大処理や縮小処理の際には、例えばＢｉｃｕｂｉｃ法やＬａｎｃｚｏｓ法などが用いられる。これら拡大処理や縮小処理の際には、２つの領域に対してそれぞれ行ってもよく、何れか一方のみの領域に対してのみ行ってもよい。前景領域が１つの場合は，前景領域と背景領域に対して同様の処理を行う。
【００３３】
この立体感強調処理では、画像において前景領域の大きさを変化させる際には、同図に示すように、奥行き情報についても画像と同様に拡大処理や縮小処理を行うことにより、奥行き情報における画素位置も併せて変化させる必要がある。
【００３４】
［第２強調処理部（パースペクティブ）］
図４は、本技術の実施の形態の第２強調処理部１５２におけるパースペクティブに基づいてオブジェクトの位置を制御する立体感強調処理の一例を示す図である。この立体感強調処理では、画像における水平線や消失点を検出して、その交点を求めることにより、奥行きの基準が設定される。ここで、直線の検出には、例えばＨｏｕｇｈ変換を用いることができる。また、第１強調処理部１５１における立体感強調処理と同様に、画像が各領域にセグメンテーションされる。このセグメンテーションの際には、例えばＭｅａｎ  Ｓｈｉｆｔ法やＧｒａｐｈ  Ｃｕｔ法などが用いられる。そして、各領域に対する奥行き情報が参照され、手前側にある前景領域（前景オブジェクト）が処理対象領域として抽出される。この処理対象領域を抽出する際には、精度を高めるために、ＳＶＭ（Support Vector Machine）法やブースティング（Boosting）法などの物体認識アルゴリズムを用いてもよい。
【００３５】
この立体感強調処理では、同図に示すように、処理対象の前景領域について、例えば消失点を基準に、前景領域の重心座標と消失点の座標を通る直線方向に、前景領域の位置が移動される。すなわち、消失点から外に向かうと近くになり、消失点に向かうようにすると遠くになるように、前景領域の移動が行われる。その際の移動量は奥行きから求めることができる。
【００３６】
この立体感強調処理では、画像において前景領域の位置を移動させる際には、同図に示すように、奥行き情報についても画像と同様に前景領域の位置を移動することにより、奥行き情報における画素位置も併せて変化させる必要がある。
【００３７】
［第３強調処理部（オブジェクトの動き）］
図５は、本技術の実施の形態の第３強調処理部１５３におけるオブジェクトの動きを制御する立体感強調処理の一例を示す図である。この立体感強調処理では、画像から動きベクトルが求められる。また、画像が各領域にセグメンテーションされる。このセグメンテーションの際には、例えばＭｅａｎ  Ｓｈｉｆｔ法やＧｒａｐｈ  Ｃｕｔ法、または、同じ方向や大きさを有する動きベクトルをひとまとめにするなどの手法が用いられる。そして、各領域に対する奥行き情報が参照され、手前側にある前景領域（前景オブジェクト）が処理対象領域として抽出される。その後、セグメンテーションされた領域毎に、平均値をとるなどにより、代表ベクトルが求められる。
【００３８】
この立体感強調処理では、前景領域と背景領域の代表ベクトルの大きさの差分を調整することにより距離感が制御される。例えば、差分値が大きくなるように前景の動き量を調整することにより、前景と背景の間の距離感が強調される。一方、差分値が小さくなるように前景の動き量を調整することにより、前景と背景の距離感が抑制される。その際の変化量は奥行きから求めることができる。
【００３９】
［第４強調処理部（空気遠近感）］
図６は、本技術の実施の形態の第４強調処理部１５４における空気遠近感に基づく立体感強調処理の一例を示す図である。この立体感強調処理では、遠景にぼかしを施し、または、遠景の彩度を弱めることにより奥行き感が制御される。
【００４０】
まず、この立体感強調処理が適用可能な画像であるか否かが判定される。典型的な例が風景画像である。そこで、例えば、画像の上部１／３の面積に空の色が閾値以上含まれている場合や、画像内に緑色の領域が閾値以上含まれている場合などには、この立体感強調処理が適用可能な画像であると判定される。空の色の判定手法としては、ＹＣｂＣｒやＲＧＢについて、輝度が閾値ｔｈ＿ｙより高く、色がＲとＧの閾値ｔｈ＿ｒとｔｈ＿ｇより低い場合を検出することにより判定される。緑色の領域の判定手法についても同様である。
【００４１】
この立体感強調処理が適用可能な画像であると判定された場合には、画像の垂直方向に対して、上部側ほど彩度（ＣｂやＣｒ）を弱める処理や、ガウシアンフィルタなどによって遠景をぼかす処理などが適用される。
【００４２】
また、図７のように、奥行き情報に基づいて、遠景の彩度を弱める処理や遠景をぼかす処理を行うようにしてもよい。この場合、奥行きが閾値より遠くを示す場合に、遠景であると判定することができる。
【００４３】
［第５強調処理部（テクスチャ勾配）］
図８は、本技術の実施の形態の第５強調処理部１５５におけるテクスチャ勾配を強調する立体感強調処理の一例を示す図である。この立体感強調処理では、まず、テクスチャの検出が行われる。テクスチャは、例えば、エッジ検出結果のエッジの大きさ、方向、水平垂直Ｎタップ内の密度等を特徴量として、領域拡張法により求めることができる。この領域拡張法では、各画素における特徴量の大小をテクスチャの粗密として、各画素に対してラベル付けが行われる。
【００４４】
得られたテクスチャにおいて、近景のテクスチャは、アンシャープマスクをかけ、または、ハイパスフィルタから得られる高周波成分を加えることにより、鮮鋭化される。遠景のテクスチャは、ガウシアンフィルタ等により鈍らせられる。例えば、奥行き値は大きいときに近景、小さいときに遠景を表すとしたとき、閾値ｔｈ１以上のときは近景として近景用の処理を行い、閾値ｔｈ２以下のときは遠景として遠景用の処理を行う。閾値ｔｈ１と閾値ｔｈ２の間の場合は、近景処理結果と遠景処理結果にかける係数を、ｔｈ１、ｔｈ２、奥行き値を用いた線形補間により求め、近景処理結果と遠景処理結果とをブレンドする。
【００４５】
［第６強調処理部（陰影）］
図９は、本技術の実施の形態の第６強調処理部１５６における陰影を施すことによる立体感強調処理の一例を示す図である。この立体感強調処理では、奥行きの凹凸がある部分に対して陰影が施される。この立体感強調処理では、光源推定が行われ、画像の上下左右のどこから光が当たっているのかが特定される。また、奥行き情報を用いて、前景と背景の奥行きの変化が大きい領域が検出され、推定された光の方向により影ができる領域であるか否かが判定される。その際、空間方向の水平垂直Ｎタップ内の、奥行きの差分絶対値和が閾値以上となる領域が、検出対象となる。
【００４６】
この立体感強調処理では、以上の処理で影ができる領域と判定された領域の輝度が抑制される。例えば、画像の前景と背景との境界の輝度コントラストが高いほど下げ幅を大きくし、輝度コントラストが低いほど下げ幅を小さくする。または、前景と背景の奥行きの変化が小さい場合は下げ幅を小さくし、奥行き変化が大きい場合はより強く影ができるものとして下げ幅を大きくする。その際、前景と背景の奥行きの変化は、空間方向の水平垂直Ｎタップ内の、奥行きの差分絶対値和として算出することができる。
【００４７】
［第７強調処理部（フォーカス）］
図１０は、本技術の実施の形態の第７強調処理部１５７におけるフォーカスに応じた立体感強調処理の一例を示す図である。この立体感強調処理では、フォーカスの合っている部分に対してエンハンス処理が施される。
【００４８】
ＦＦＴなどにより得られる空間周波数の高い領域はフォーカスが合っている、すなわち近景であると推定される。一方、空間周波数の低い領域はフォーカスが合っていない、すなわち遠景であると推定される。前景であっても、ぼけている部分は例外となる。さらに、奥行き情報に基づいて、近景と遠景を分離する。この場合、例えば、奥行き情報のヒストグラムを生成し、遠い側の山を遠景、近い側の山を近景とする。そして、空間周波数の高い領域かつ奥行き情報から求めた近景部分を、フォーカスが合っている領域とする。
【００４９】
近景に対してアンシャープマスクをかけ、または、ハイパスフィルタから得られる高周波成分を加えることにより、エッジやテクスチャを強調し、近景の立体感を強調することができる。奥行き値が大きいときに近景、小さいときに遠景を表すとしたとき、奥行き値が大きいほど強調の度合いを強める。
【００５０】
このように、立体感強調処理部１５０における複数の立体感強調処理の各々は既存の技術を用いることができる。
【００５１】
＜３．画像解析（統合係数の生成）＞
［画像解析部の第１の構成例］
図１１は、本技術の実施の形態における画像解析部１４０の第１の構成例を示す図である。この画像解析部１４０の第１の構成例は、シーン認識処理部１４１と、結合係数テーブル１４２とを備えている。
【００５２】
シーン認識処理部１４１は、入力画像から推定されるシーンを認識するものである。画像のシーンとしては種々のものが考えられるが、この実施の形態では以下に示すように、代表的なものとして、風景、構造物や街路等、ポートレートの３つを想定する。
【００５３】
図１２は、画像のシーンとして風景の例を示す図である。風景の場合には、全体が遠景となり、基本的に前景が含まれない。図１３は、画像のシーンとして構造物や街路等の例を示す図である。この場合には、街路等に消失点が含まれ、構造物が前景となることが多い。図１４は、画像のシーンとしてポートレートの例を示す図である。ポートレートの場合には、前景として人物が含まれ、背景がぼやけていることが多い。
【００５４】
結合係数テーブル１４２は、シーン認識処理部１４１において認識されたシーンに対応して、複数の立体感強調処理の統合係数を保持するテーブルである。
【００５５】
図１５は、本技術の実施の形態における結合係数テーブル１４２の構成例を示す図である。この結合係数テーブル１４２は、上述の７つの立体感強調処理の各々について統合係数ｗ１乃至ｗ７をシーン毎に保持する。シーンとしては、上述の風景、構造物や街路等、ポートレートの３つが例示されている。
【００５６】
この結合係数テーブル１４２は、シーン認識処理部１４１から指示されたシーンに従って、立体感強調処理の統合係数ｗ１乃至ｗ７を出力する。この結合係数テーブル１４２に保持される統合係数ｗ１乃至ｗ７としては、例えば学習により予め作成したものが用いられる。
【００５７】
図１６は、本技術の実施の形態における画像解析部１４０の第１の構成例による処理手順を示す流れ図である。
【００５８】
まず、シーン認識処理部１４１によって入力画像から推定されるシーンが認識される（ステップＳ９４１）。そして、この認識されたシーンに従って、結合係数テーブル１４２が索引され、立体感強調処理の統合係数ｗ１乃至ｗ７が出力される（ステップＳ９４２）。
【００５９】
［画像解析部の第２の構成例］
図１７は、本技術の実施の形態における画像解析部１４０の第２の構成例を示す図である。この画像解析部１４０の第１の構成例は、シーン認識処理部１４３と、一般係数テーブル１４４と、特徴量係数生成部１４５と、結合係数生成部１４６とを備えている。
【００６０】
シーン認識処理部１４３は、入力画像から推定されるシーンを認識するものである。画像のシーンとしては第１の構成例と同様に、風景、構造物や街路等、ポートレートの３つを想定する。
【００６１】
一般係数テーブル１４４は、シーン認識処理部１４３から指示されたシーンに従って、立体感強調処理の一般係数Ｇ１乃至Ｇ７を出力する。この一般係数Ｇ１乃至Ｇ７は、立体感強調処理の各々の関係を示す大局的な重み係数である。
【００６２】
特徴量係数生成部１４５は、入力画像から画像の特徴量係数Ｆ１乃至Ｆ７を生成するものである。この特徴量係数Ｆ１乃至Ｆ７は、画像の特徴量に基づく係数であり、具体的には、画像の画素値と、画像の特徴量と、奥行き情報の奥行きとから得られる。
【００６３】
結合係数生成部１４６は、一般係数テーブル１４４から出力された一般係数Ｇ１乃至Ｇ７と、特徴量係数生成部１４５によって生成された特徴量係数Ｆ１乃至Ｆ７とから、次式に従って、統合係数ｗ１乃至ｗ７を生成するものである。すなわち、統合係数ｗ１乃至ｗ７と、一般係数Ｇ１乃至Ｇ７と、特徴量係数Ｆ１乃至Ｆ７との間には次式が成り立つ。
ｗｉ＝Ｇｉ×Ｆｉ  （ｉ＝１〜７）
【００６４】
上述の第１の構成例ではシーン認識結果の１つの項目に１種類の結合係数セットしか用意できないが、この第２の構成例によればシーン認識結果による一般係数と特徴量係数とを掛け合わせるため、画像毎により細かい立体感強調処理を行うことができる。
【００６５】
ここで、結合係数生成部１４６によって生成される。画像の特徴量係数Ｆ１乃至Ｆ７について説明する。上述のように、特徴量係数Ｆ１乃至Ｆ７は入力画像から生成される。以下では、上述の７つの立体感強調処理の各々について特徴量係数Ｆ１乃至Ｆ７を生成する際の指針について示す。
【００６６】
第１強調処理部１５１におけるオブジェクト間の相対的な大きさを制御する立体感強調処理のために抽出される画像特徴量としては、例えば、処理対象である前景と他の前景との面積比が想定される。２つの領域の面積が近い場合ほど、２つのオブジェクトの間に距離感を得られるように、この立体感強調処理の特徴量係数Ｆ１が生成される。
【００６７】
第２強調処理部１５２におけるパースペクティブに基づいてオブジェクトの位置を制御する立体感強調処理のために抽出される画像特徴量としては、消失点の有無や、消失点を構成する直線の本数が想定される。消失点が存在する場合には特徴量係数Ｆ２を大きくする。また、消失点を構成する直線の本数が所定数より多い場合には画像特徴量Ｆ２を大きくし、少ない場合には特徴量係数Ｆ２を小さくする。すなわち、消失点を構成する直線の本数を、消失点の信頼性の目安とする。
【００６８】
第３強調処理部１５３におけるオブジェクトの動きを制御する立体感強調処理のために抽出される画像特徴量としては、前景と背景のベクトルの大きさの比が想定される。前景と背景のベクトルの比が近い場合ほど、前景と背景の間に距離感が得られるように、この立体感強調処理の特徴量係数Ｆ３が生成される。
【００６９】
第４強調処理部１５４における空気遠近感に基づく立体感強調処理のために抽出される画像特徴量としては、奥行き情報について垂直方向の隣接画素間で勾配を求めて垂直ライン毎に平均した値を、水平方向の画素数で平均したものが想定される。縦軸を垂直方向とし、横軸を奥行き方向として勾配に基づいた線を描くとき、勾配が緩やかであるほど遠景と近景の開きがあり、奥行き方向のダイナミックレンジが大きくなる。したがって、勾配が小さいほど、遠景と近景の位置の開きが強調されるように、この立体感強調処理の特徴量係数Ｆ４が生成される。
【００７０】
第５強調処理部１５５におけるテクスチャ勾配を強調する立体感強調処理のために抽出される画像特徴量としては、テクスチャ検出結果における、細かいテクスチャから粗いテクスチャに向かう勾配が想定される。この勾配は、閾値で切り分けた２つ以上のテクスチャ領域における、最も細かいものと最も粗いものとの重心間の特徴量の勾配である。この勾配が大きいほど奥行きがあり、これが強調されるように、この立体感強調処理の特徴量係数Ｆ５が生成される。
【００７１】
第６強調処理部１５６における陰影を施すことによる立体感強調処理のために抽出される画像特徴量としては、奥行き情報の空間方向の差分絶対値が閾値以上になる場合の数、すなわち対象となる面積が想定される。この対象となる面積が広いほど、前景と背景の位置に開きがあり、これが強調されるように、この立体感強調処理の特徴量係数Ｆ６が生成される。
【００７２】
第７強調処理部１５７におけるフォーカスに応じた立体感強調処理のために抽出される画像特徴量としては、奥行き情報の度数分布における、前景と背景との分布の面積比が想定される。例えば、前景の面積が背景の面積よりも広い場合には、強調すべき主要被写体の存在が推定されるため、これが強調されるように、この立体感強調処理の特徴量係数Ｆ７が生成される。
【００７３】
図１８は、本技術の実施の形態における一般係数テーブル１４４の構成例を示す図である。この一般係数テーブル１４４は、上述の７つの立体感強調処理の各々について一般係数Ｇ１乃至Ｇ７をシーン毎に保持する。シーンとしては、上述の風景、構造物や街路等、ポートレートの３つが例示されている。
【００７４】
図１９は、本技術の実施の形態における画像解析部１４０の第２の構成例による処理手順を示す流れ図である。
【００７５】
まず、シーン認識処理部１４３によって入力画像から推定されるシーンが認識される（ステップＳ９４３）。そして、この認識されたシーンに従って、一般係数テーブル１４４が索引され、立体感強調処理の一般係数Ｇ１乃至Ｇ７が出力される（ステップＳ９４４）。
【００７６】
また、特徴量係数生成部１４５によって入力画像から画像の特徴量係数Ｆ１乃至Ｆ７が生成される（ステップＳ９４５）。
【００７７】
そして、一般係数テーブル１４４から出力された一般係数Ｇ１乃至Ｇ７と、特徴量係数生成部１４５によって生成された特徴量係数Ｆ１乃至Ｆ７とから、統合係数ｗ１乃至ｗ７が結合係数生成部１４６によって生成される（ステップＳ９４６）。
【００７８】
［画像解析部の第３の構成例］
図２０は、本技術の実施の形態における画像解析部１４０の第３の構成例を示す図である。この画像解析部１４０の第３の構成例は、特徴量係数生成部１４７と、シーン認識処理部１４８と、結合係数生成部１４９とを備えている。
【００７９】
特徴量係数生成部１４７は、入力画像から画像の特徴量係数Ｆ１乃至Ｆ７を生成するものである。この特徴量係数Ｆ１乃至Ｆ７は、画像の特徴量に基づく係数であり、具体的には、画像の画素値と、画像の特徴量と、奥行き情報の奥行きとから得られる。この特徴量係数生成部１４７における処理内容は、上述の特徴量係数生成部１４５と同様である。
【００８０】
シーン認識処理部１４８は、特徴量係数生成部１４７によって生成された特徴量係数Ｆ１乃至Ｆ７に基づいて特定のシーンを推定するものである。例えば、空気遠近感の重みが閾値以上のときは、風景の画像であると推定する。また、パースペクティブの重みが閾値以上のときは、構造物の画像であると推定する。また、空気遠近感とパースペクティブの重みが閾値以下のときは、ポートレートの画像であると推定する。
【００８１】
結合係数生成部１４９は、シーン認識処理部１４８によって推定されたシーンに従って、特徴量係数Ｆ１乃至Ｆ７を調整して、統合係数ｗ１乃至ｗ７を生成するものである。例えば、風景の画像であると推定された場合には、相対的大きさ、パースペクティブ、陰影の立体感強調処理の統合係数ｗ１、ｗ２およびｗ６を抑制し、他の統合係数を強くする。また、構造物の画像であると推定された場合には、空気遠近感の立体感強調処理の統合係数ｗ４を抑制し、他の統合係数を強くする。また、ポートレートの画像であると推定された場合には、相対的な大きさや動きの立体感強調処理の統合係数ｗ１およびｗ３を抑制し、他の統合係数を強くする。
【００８２】
図２１は、本技術の実施の形態における画像解析部１４０の第３の構成例による処理手順を示す流れ図である。
【００８３】
まず、特徴量係数生成部１４７によって入力画像から画像の特徴量係数Ｆ１乃至Ｆ７が生成される（ステップＳ９４７）。そして、生成された特徴量係数Ｆ１乃至Ｆ７に基づいて、シーン認識処理部１４８において画像のシーンが推定される（ステップＳ９４８）。その後、推定されたシーンに従って、結合係数生成部１４９において特徴量係数Ｆ１乃至Ｆ７が調整されて、統合係数ｗ１乃至ｗ７が生成される（ステップＳ９４９）。
【００８４】
［画像解析部の第４の構成例］
図２２は、本技術の実施の形態における画像解析部１４０の第４の構成例を示す図である。この画像解析部１４０の第４の構成例は、特徴量係数生成部２４０と、５つのシーン判定処理部２４１乃至２４５とを備える。
【００８５】
特徴量係数生成部２４０は、入力画像から画像の特徴量係数Ｆ１乃至Ｆ７を生成するものである。この特徴量係数Ｆ１乃至Ｆ７は、画像の特徴量に基づく係数であり、具体的には、画像の画素値と、画像の特徴量と、奥行き情報の奥行きとから得られる。この特徴量係数生成部２４０における処理内容は、上述の特徴量係数生成部１４５と同様である。
【００８６】
シーン判定処理部２４１乃至２４５は、特徴量係数生成部２４０によって生成された特徴量係数Ｆ１乃至Ｆ７に基づいて、想定するシーンに該当するか否かを判定して、該当する場合には特徴量係数を調整した上で統合係数ｗ１乃至ｗ７として出力するものである。以下の説明では特徴量係数Ｆ１乃至Ｆ７を参照してこれらを調整することにより統合係数ｗ１乃至ｗ７を出力しているが、特徴量係数生成部２４０によって生成された特徴量係数Ｆ１乃至Ｆ７を統合係数とみなして参照し、これらを調整するものと解釈してもよい。
【００８７】
第１シーン判定処理部２４１は、特徴量係数Ｆ１およびＦ２を参照して、想定するシーンであるか否かを判定するものである。ここでは、奥行きのある背景に人間が写っているシーンを想定し、特徴量係数Ｆ１が閾値Ｔｈ１より大きく、かつ、特徴量係数Ｆ２が閾値Ｔｈ２より大きいという条件をみたすか否かを判定する。この条件を満たす場合、特徴量係数Ｆ１およびＦ２を高める。これにより、奥行き感のある画像について立体感を強調することができる。
【００８８】
第２シーン判定処理部２４２は、特徴量係数Ｆ５およびＦ７を参照して、想定するシーンであるか否かを判定するものである。ここでは、テクスチャ勾配がはっきりしているシーンを想定し、特徴量係数Ｆ５が閾値Ｔｈ５より大きく、かつ、特徴量係数Ｆ７が閾値Ｔｈ７より大きいという条件をみたすか否かを判定する。この条件を満たす場合、特徴量係数Ｆ５およびＦ７を高める。これにより、テクスチャ勾配がはっきりしている画像について立体感を強調することができる。例えば、芝生の手前にフォーカスが合っている画像や、柄物の洋服を着ている人物の画像、レンガの建物などがこれに該当する可能性がある。
【００８９】
第３シーン判定処理部２４３は、特徴量係数Ｆ４およびＦ６を参照して、想定するシーンであるか否かを判定するものである。空気遠近感に基づく立体感強調処理と陰影を施すことによる立体感強調処理とは相反することが多いため、特徴量係数Ｆ４およびＦ６を比較して、特徴量係数が小さい方の立体感強調処理の効果を抑制するものである。例えば、特徴量係数Ｆ６が小さい場合には、風景画像と考えられるため、陰影を強調しないよう特徴量係数Ｆ６をさらに小さくする。また、特徴量係数Ｆ４が小さい場合には、室内やポートレートなどと考えられるため、空気遠近感に基づく立体感強調処理を強調しないよう特徴量係数Ｆ４をさらに小さくする。この第３シーン判定処理部２４３による判定の結果、特徴量係数Ｆ６が小さい場合には第４シーン判定処理部２４４による処理を実行し、特徴量係数Ｆ４が小さい場合には第５シーン判定処理部２４５による処理を実行する。
【００９０】
第４シーン判定処理部２４４は、特徴量係数Ｆ１またはＦ２およびＦ４を参照して、想定するシーンであるか否かを判定するものである。ここでは、風景画像を想定して、特徴量係数Ｆ１またはＦ２およびＦ４を調整する。第１シーン判定処理部２４１において特徴量係数Ｆ１およびＦ２を高めた場合には両者の平均値を、そうでない場合には特徴量係数Ｆ１またはＦ２のうち大きい方を基準とし、特徴量係数Ｆ４と比較する。特徴量係数Ｆ４の方が大きい場合には、オブジェクトが背景側にあると考えられるため、特徴量係数Ｆ１およびＦ２を抑制する。一方、特徴量係数Ｆ４の方が小さい場合には、前景オブジェクトが近くにあると考えられるため、特徴量係数Ｆ４を抑制する。
【００９１】
第５シーン判定処理部２４５は、特徴量係数Ｆ５またはＦ７およびＦ６を参照して、想定するシーンであるか否かを判定するものである。ここでは、屋内画像を想定して、特徴量係数Ｆ５またはＦ７およびＦ６を調整する。第２シーン判定処理部２４２において特徴量係数Ｆ５およびＦ７を高めた場合には両者の平均値を、そうでない場合には特徴量係数Ｆ５またはＦ７のうち大きい方を基準とし、特徴量係数Ｆ６と比較する。特徴量係数Ｆ６の方が大きい場合には、広角画像であると考えられるため、陰影をはっきりさせるために特徴量係数Ｆ５およびＦ７を抑制する。一方、特徴量係数Ｆ６の方が小さい場合には、マクロ画像であると考えられるため、エッジをきかせるために特徴量係数Ｆ６を抑制する。
【００９２】
このようにして調整された特徴量係数Ｆ１乃至Ｆ７は、統合係数ｗ１乃至ｗ７として立体感強調処理部１５０および統合処理部１６０に供給される。なお、特徴量係数Ｆ３については、この第４の構成例では特に調整が施されることなく、そのまま統合係数ｗ３となって供給される。
【００９３】
図２３は、本技術の実施の形態における画像解析部１４０の第４の構成例による処理手順を示す流れ図である。まず、特徴量係数生成部２４０によって入力画像から画像の特徴量係数Ｆ１乃至Ｆ７が生成される（ステップＳ８０１）。
【００９４】
そして、第１シーン判定処理部２４１によって、特徴量係数Ｆ１およびＦ２がともに所定の閾値よりも大きいか否かが判定される（ステップＳ８１１）。すなわち、特徴量係数Ｆ１が閾値Ｔｈ１より大きく、かつ、特徴量係数Ｆ２が閾値Ｔｈ２より大きければ（ステップＳ８１１：Ｙｅｓ）、特徴量係数Ｆ１およびＦ２が強調される（ステップＳ８１２）。
【００９５】
また、第２シーン判定処理部２４２によって、特徴量係数Ｆ５およびＦ７がともに所定の閾値よりも大きいか否かが判定される（ステップＳ８２１）。すなわち、特徴量係数Ｆ５が閾値Ｔｈ５より大きく、かつ、特徴量係数Ｆ７が閾値Ｔｈ７より大きければ（ステップＳ８２１：Ｙｅｓ）、特徴量係数Ｆ５およびＦ７が強調される（ステップＳ８２２）。
【００９６】
次に、第３シーン判定処理部２４３によって、特徴量係数Ｆ４およびＦ６の何れが大きいかが判定される（ステップＳ８３１）。このとき、特徴量係数Ｆ６の方が大きいと判断された場合には（ステップＳ８３１：Ｙｅｓ）、特徴量係数Ｆ４が抑制される（ステップＳ８３３）。一方、特徴量係数Ｆ４の方が大きいと判断された場合には（ステップＳ８３１：Ｎｏ）、特徴量係数Ｆ６が抑制される（ステップＳ８３２）。
【００９７】
そして、ステップＳ８３２において特徴量係数Ｆ６が抑制された場合には、第４シーン判定処理部２４４によって特徴量係数Ｆ１またはＦ２およびＦ４が参照され、以下の判断が行われる。すなわち、第１シーン判定処理部２４１において特徴量係数Ｆ１およびＦ２を高めた場合には両者の平均値を、そうでない場合には特徴量係数Ｆ１またはＦ２のうち大きい方を基準とし、特徴量係数Ｆ４と比較される（ステップＳ８４１）。そして、特徴量係数Ｆ４の方が大きい場合には（ステップＳ８４１：Ｙｅｓ）、特徴量係数Ｆ１およびＦ２を抑制する（ステップＳ８４２）。一方、特徴量係数Ｆ４の方が小さい場合には（ステップＳ８４１：Ｎｏ）、特徴量係数Ｆ４を抑制する（ステップＳ８４３）。
【００９８】
一方、ステップＳ８３３において特徴量係数Ｆ４が抑制された場合には、第５シーン判定処理部２４５によって特徴量係数Ｆ５またはＦ７およびＦ６が参照され、以下の判断が行われる。すなわち、第２シーン判定処理部２４２において特徴量係数Ｆ５およびＦ７を高めた場合には両者の平均値を、そうでない場合には特徴量係数Ｆ５またはＦ７のうち大きい方を基準とし、特徴量係数Ｆ６と比較される（ステップＳ８５１）。そして、特徴量係数Ｆ６の方が大きい場合には（ステップＳ８５１：Ｙｅｓ）、陰影をはっきりさせるために特徴量係数Ｆ５およびＦ７を抑制する（ステップＳ８５２）。一方、特徴量係数Ｆ６の方が小さい場合には（ステップＳ８５１：Ｎｏ）、エッジをきかせるために特徴量係数Ｆ６を抑制する（ステップＳ８５３）。
【００９９】
このようにして、画像解析部１４０の第４の構成例では、より具体的なシーンを推定して、それに適した立体感強調処理が行われるよう特徴量係数Ｆ１乃至Ｆ７が調整され、それに基づいて統合係数ｗ１乃至ｗ７が生成される。
【０１００】
＜４．統合処理＞
上述の画像解析部１４０において生成された統合係数ｗ１乃至ｗ７に従って、立体感強調処理部１５０および統合処理部１６０において以下のような処理が行われる。
【０１０１】
［第１強調処理部（相対的大きさ）の処理］
上述のように、第１強調処理部１５１ではオブジェクト間の相対的な大きさを制御する立体感強調処理が行われる。第１強調処理部１５１には、入力情報として、入力画像および奥行き情報が入力される。付加情報としては、処理対象の領域の座標が入力される。制御パラメータとしては、画像解析部１４０において生成された統合係数ｗ１が入力される。この統合係数ｗ１には、オブジェクト間の面積比から算出した重みを反映することができる。
【０１０２】
強調処理で得られる拡大または縮小の限界倍率ｚ１に対して統合係数ｗ１を掛けると、最終的な限界倍率ｚ１×ｗ１が得られる。また、図２４に示すように、処理対象の領域の奥行き情報に従って倍率Ｚ１は変化する。また、この図において、倍率の幅は、統合係数ｗ１によって変化する。したがって、統合係数ｗ１と奥行き情報から倍率Ｚ１を求めることができる。
【０１０３】
第１強調処理部１５１は、出力情報として、処理対象の領域の座標と拡大または縮小の倍率Ｚ１を出力する。また、奥行き情報や統合係数ｗ１を出力するようにしてもよい。
【０１０４】
［第２強調処理部（パースペクティブ）の処理］
上述のように、第２強調処理部１５２ではパースペクティブに基づいてオブジェクトの位置を制御する立体感強調処理が行われる。第２強調処理部１５２には、入力情報として、入力画像および奥行き情報が入力される。付加情報としては、消失点の座標（有無）、消失点を構成する直線の数、処理対象の領域の座標が入力される。制御パラメータとしては、画像解析部１４０において生成された統合係数ｗ２が入力される。この統合係数ｗ２には、消失点の座標（有無）や消失点を構成する直線の数から算出した重みを反映することができる。
【０１０５】
強調処理で得られる移動量の限界ｖ２に統合係数ｗ２を掛けると、最終的な限界移動量ｖ２×ｗ２が得られる。また、図２５に示すように、処理対象の領域の奥行き情報に従って移動量Ｖ２は変化する。また、この図において、移動量の幅は、統合係数ｗ２によって変化する。したがって、統合係数ｗ２と奥行き情報から移動量Ｖ２を求めることができる。
【０１０６】
第２強調処理部１５２は、出力情報として、処理対象の領域の座標とパースペクティブ制御のための移動量Ｖ２を出力する。また、奥行き情報や統合係数ｗ２を出力するようにしてもよい。
【０１０７】
［第３強調処理部（オブジェクトの動き）の処理］
上述のように、第３強調処理部１５３ではオブジェクトの動きを制御する立体感強調処理が行われる。第３強調処理部１５３には、入力情報として、入力画像および奥行き情報が入力される。付加情報としては、前景や背景等の領域毎の動きベクトル、処理対象の領域の座標が入力される。制御パラメータとしては、画像解析部１４０において生成された統合係数ｗ３が入力される。この統合係数ｗ３には、前景と背景のベクトルの比から算出した重みを反映することができる。
【０１０８】
強調処理で得られる移動量の限界ｖ３に統合係数ｗ３を掛けると、最終的な限界移動量ｖ３×ｗ３が得られる。また、図２６に示すように、処理対象の領域の奥行き情報に従って移動量Ｖ３は変化する。また、この図において、移動量の幅は、統合係数ｗ３によって変化する。したがって、統合係数ｗ３と奥行き情報から移動量Ｖ３を求めることができる。
【０１０９】
第３強調処理部１５３は、出力情報として、処理対象の領域の座標と動きによる立体感強調のための移動量Ｖ３を出力する。また、奥行き情報や統合係数ｗ３を出力するようにしてもよい。
【０１１０】
［第４強調処理部（空気遠近感）の処理］
上述のように、第４強調処理部１５４では空気遠近感に基づく立体感強調処理が行われる。第４強調処理部１５４には、入力情報として、入力画像および奥行き情報が入力される。付加情報としては、奥行き情報について、垂直方向の隣接画素間で勾配を求め、垂直１ライン毎に平均したものの、水平方向画素数分の平均値が入力される。制御パラメータとしては、画像解析部１４０において生成された統合係数ｗ４が入力される。この統合係数ｗ４には、奥行き情報について、垂直方向の隣接画素間で勾配を求め、垂直１ライン毎に平均したものの、水平方向画素数分の平均値から算出した重みを反映することができる。縦軸垂直方向または横軸奥行き方向でみたとき、勾配が緩やかであるほど奥行き方向のダイナミックレンジが大きくなる。この場合、勾配が緩やかであるほど空気遠近感を強調したいため、重みを大きくする。
【０１１１】
強調処理における画素値制御については、処理結果をｒ４としたとき，これに統合係数ｗ４を掛けて、最終的な強調量ｒ４×ｗ４が得られる。
【０１１２】
第４強調処理部１５４は、出力情報として、空気遠近感の強調処理結果ｒ４を出力する。また、奥行き情報や統合係数ｗ４を出力するようにしてもよい。
【０１１３】
［第５強調処理部（テクスチャ勾配）の処理］
上述のように、第５強調処理部１５５ではテクスチャ勾配を強調する立体感強調処理が行われる。第５強調処理部１５５には、入力情報として、入力画像および奥行き情報が入力される。付加情報としては、テクスチャ検出結果の、細かいテクスチャから粗いテクスチャに向かう勾配が入力される。制御パラメータとしては、画像解析部１４０において生成された統合係数ｗ５が入力される。この統合係数ｗ５には、テクスチャ検出結果の、細かいテクスチャから粗いテクスチャに向かう勾配を反映することができる。この勾配は、閾値で切り分けた２つ以上のテクスチャ領域において、最も細かいものと最も粗いものの重心間の特徴量の勾配として得られる。
【０１１４】
強調処理における画素値制御については、処理結果をｒ５としたとき，これに統合係数ｗ５を掛けて、最終的な強調量ｒ５×ｗ５が得られる。
【０１１５】
第５強調処理部１５５は、出力情報として、テクスチャ勾配の強調処理結果ｒ５を出力する。また、奥行き情報や統合係数ｗ５を出力するようにしてもよい。
【０１１６】
［第６強調処理部（陰影）の処理］
上述のように、第６強調処理部１５６では陰影を施すことによる立体感強調処理が行われる。第６強調処理部１５６には、入力情報として、入力画像および奥行き情報が入力される。付加情報としては、奥行き情報の空間方向の差分絶対値が閾値以上になる場合の数（または対象の面積）が入力される。制御パラメータとしては、画像解析部１４０において生成された統合係数ｗ６が入力される。この統合係数ｗ６には、奥行き情報の空間方向の差分絶対値が閾値以上になる場合の数（または対象の面積）から算出した重みを反映することができる。
【０１１７】
強調処理における画素値制御については、陰影の強調処理結果をｒ６としたとき，これに統合係数ｗ６を掛けて、最終的な強調量ｒ６×ｗ６が得られる。
【０１１８】
第６強調処理部１５６は、出力情報として、陰影の強調処理結果ｒ６を出力する。また、奥行き情報や統合係数ｗ６を出力するようにしてもよい。
【０１１９】
［第７強調処理部（フォーカス）の処理］
上述のように、第７強調処理部１５７ではフォーカスに応じた立体感強調処理が行われる。第７強調処理部１５７には、入力情報として、入力画像および奥行き情報が入力される。付加情報としては、奥行き情報の度数分布をみたときの、前景と背景の山の面積比が入力される。制御パラメータとしては、画像解析部１４０において生成された統合係数ｗ７が入力される。この統合係数ｗ７には、奥行き情報の度数分布をみたときの、前景と背景の山の面積比から算出した重みを反映することができる。
【０１２０】
強調処理における画素値制御については、フォーカスの強調処理結果をｒ７としたとき，これに統合係数ｗ７を掛けて、最終的な強調量ｒ７×ｗ７が得られる。
【０１２１】
第７強調処理部１５７は、出力情報として、フォーカスの強調処理結果ｒ７を出力する。また、奥行き情報や統合係数ｗ７を出力するようにしてもよい。
【０１２２】
［統合処理部１６０の処理］
統合処理部１６０における処理は、面積または位置の制御の統合処理と、画素値の制御の統合処理の２つに大別される。面積または位置の制御の統合処理は、第１強調処理部１５１、第２強調処理部１５２および第３強調処理部１５３の処理結果を統合するものである。画素値の制御の統合処理は、第４強調処理部１５４、第５強調処理部１５５、第６強調処理部１５６および第７強調処理部１５７の処理結果を統合するものである。
【０１２３】
図２７は、本技術の実施の形態における統合処理部１６０の面積または位置の制御の統合処理の処理手順例を示す図である。
【０１２４】
まず、面積または位置の制御に関する３つの統合係数ｗ１乃至３の合計が、総合統合係数Ｗａとして算出される（ステップＳ９６１１）。そして、第１強調処理部１５１における相対的大きさを制御する立体感強調処理の拡大または縮小の倍率Ｚ１をこの総合統合係数Ｗａにより除したものが最終的な拡大または縮小の倍率Ｚとして算出される（ステップＳ９６１２）。また、第２強調処理部１５２におけるパースペクティブに基づいてオブジェクトの位置を制御する立体感強調処理の移動量Ｖ２と、第３強調処理部１５３におけるオブジェクトの動きを制御する立体感強調処理の移動量Ｖ２とが加算される（ステップＳ９６１３）。そして、その加算結果を総合統合係数Ｗａにより除したものが最終的な領域の移動量Ｖとして算出される（ステップＳ９６１３）。
【０１２５】
なお、このようにして最終的に得られた倍率Ｚおよび移動量Ｖに従って面積または位置の制御が画像に対して行われる際、奥行き情報や付加情報についてもこれに対応して矛盾が生じないように調整を行う。
【０１２６】
図２８は、本技術の実施の形態における統合処理部１６０の画素値の制御の統合処理の処理手順例を示す図である。
【０１２７】
まず、画素値の制御に関する４つの統合係数ｗ４乃至７の合計が、総合統合係数Ｗｂとして算出される（ステップＳ９６２１）。そして、第４強調処理部１５４、第５強調処理部１５５、第６強調処理部１５６、第７強調処理部１５７における処理結果ｒ４乃至７と、それぞれに対応する統合係数ｗ４乃至７とが掛け合わせられたものが加算される（ステップＳ９６２２）。そして、その加算結果を総合統合係数Ｗｂにより除したものが最終的な画素値Ｉとして算出される（ステップＳ９６２２）。
【０１２８】
ここで説明した面積または位置の制御の統合処理と画素値の制御の統合処理の両者は、互いに別々の処理であり、実行する順番は何れが先であってもよい。ただし、一方の処理が完了した後で他方の処理を実行するように、カスケード処理を行う必要がある。
【０１２９】
＜５．全体動作＞
以下では、ここまでに説明した本技術の実施の形態における画像表示装置の全体としての動作について説明する。
【０１３０】
図２９は、本技術の実施の形態における画像表示装置の第１の全体処理手順例を示す図である。この例では、立体感強調処理は逐次的に順番に実行されていく。
【０１３１】
入力画像供給部１１０から供給された入力画像について、画像解析部１４０において画像解析処理が行われる（ステップＳ９４０）。そして、制御変数ｉを「１」に設定して（ステップＳ９０１）、Ｎを超えるまで（ステップＳ９０２）の間、制御変数ｉを「１」ずつ加算しながら（ステップＳ９０３）、立体感強調処理部１５０において第ｉ番目の立体感強調処理が実行されていく（ステップＳ９５０）。ここで、Ｎは整数であり、上述の例では「７」を示す。その後、統合処理部１６０において統合処理が行われる（ステップＳ９６０）。
【０１３２】
図３０は、本技術の実施の形態における画像表示装置の第２の全体処理手順例を示す図である。この例では、立体感強調処理は順序によらず並列に実行される。
【０１３３】
入力画像供給部１１０から供給された入力画像について、画像解析部１４０において画像解析処理が行われる（ステップＳ９４０）。そして、Ｎ個の立体感強調処理が並列に実行される（ステップＳ９５１）。その後、統合処理部１６０において統合処理が行われる（ステップＳ９６０）。
【０１３４】
図３１は、本技術の実施の形態における画像表示装置の第３の全体処理手順例を示す図である。この例は、面積または位置の制御の統合処理と画素値の制御の統合処理とが別々に行われる点を明示したものである。
【０１３５】
入力画像供給部１１０から供給された入力画像について、画像解析部１４０において画像解析処理が行われる（ステップＳ９４０）。そして、制御変数ｉを「１」に設定して（ステップＳ９０４）、Ｍを超えるまで（ステップＳ９０５）の間、制御変数ｉを「１」ずつ加算しながら（ステップＳ９０６）、面積または位置の制御に関する第ｉ番目の立体感強調処理が実行されていく（ステップＳ９５２）。ここで、Ｍは整数であり、上述の例では「３」を示す。その後、統合処理部１６０において面積または位置の制御に関する統合処理が行われる（ステップＳ９６１）。
【０１３６】
そして、制御変数ｉを「１」に設定して（ステップＳ９０７）、Ｎを超えるまで（ステップＳ９０８）の間、制御変数ｉを「１」ずつ加算しながら（ステップＳ９０９）、画素値の制御に関する第ｉ番目の立体感強調処理が実行されていく（ステップＳ９５３）。ここで、Ｎは整数であり、上述の例では「４」を示す。その後、統合処理部１６０において画素値の制御に関する統合処理が行われる（ステップＳ９６２）。
【０１３７】
図３２は、本技術の実施の形態における画像表示装置の第４の全体処理手順例を示す図である。この例は、面積または位置の制御の統合処理と画素値の制御の統合処理とが別々に行われる点を明示するとともに、立体感強調処理は順序によらず並列に実行されることを示したものである。
【０１３８】
入力画像供給部１１０から供給された入力画像について、画像解析部１４０において画像解析処理が行われる（ステップＳ９４０）。そして、Ｍ個の面積または位置の制御に関する立体感強調処理が並列に実行される（ステップＳ９５４）。その後、統合処理部１６０において面積または位置の制御に関する統合処理が行われる（ステップＳ９６１）。
【０１３９】
そして、Ｎ個の画素値の制御に関する立体感強調処理が並列に実行される（ステップＳ９５５）。その後、統合処理部１６０において画素値の制御に関する統合処理が行われる（ステップＳ９６２）。
【０１４０】
ここでは、面積または位置の制御の統合処理と画素値の制御の統合処理とをそれぞれ直列に実行する例（図３１）と、並列に実行する例（図３２）とを示したが、一方を直列に、他方を並列に実行するようにしてもよい。また、面積または位置の制御の統合処理と画素値の制御の統合処理とはその順序を組み替えてもよい。これらの処理フローは、ハードウェアやソフトウェアの実装の形態に応じて選択することができる。
【０１４１】
このように、本技術の実施の形態によれば、画像解析部１４０において生成された統合係数に基づいて立体感強調処理を統合するため、画像に適した態様で複数の立体感強調処理を統合することができる。
【０１４２】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１４３】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray（登録商標） Disc）等を用いることができる。
【０１４４】
なお、本技術は以下のような構成もとることができる。
（１）入力画像に対して複数の立体感強調処理を実行する立体感強調処理部と、
前記入力画像を解析して前記複数の立体感強調処理を統合する際の統合係数を生成する画像解析部と、
前記統合係数に従って前記複数の立体感強調処理の結果を統合する統合処理部と
を具備する画像処理装置。
（２）前記画像解析部は、前記入力画像のシーンを認識して当該認識されたシーンに基づいて前記統合係数を生成する前記（１）に記載の画像処理装置。
（３）前記画像解析部は、前記入力画像に含まれる特徴量を生成する特徴量生成部を備え、前記認識されたシーンおよび前記特徴量に基づいて前記統合係数を生成する前記（２）に記載の画像処理装置。
（４）前記画像解析部は、相対的大きさを制御する立体感強調処理およびパースペクティブに基づいて位置制御を行う立体感強調処理の統合係数が所定の閾値より高い場合には、前記相対的大きさを制御する立体感強調処理および前記パースペクティブに基づいて位置制御を行う立体感強調処理の統合係数をさらに高める前記（１）から（３）のいずれかに記載の画像処理装置。
（５）前記画像解析部は、テクスチャ勾配を強調する立体感強調処理およびフォーカスに応じた立体感強調処理の統合係数が所定の閾値より高い場合には、前記テクスチャ勾配を強調する立体感強調処理および前記フォーカスに応じた立体感強調処理の統合係数をさらに高める前記（１）から（４）のいずれかに記載の画像処理装置。
（６）前記画像解析部は、空気遠近感に基づく立体感強調処理と陰影を施すことによる立体感強調処理とのうち統合係数が低い方の統合係数を抑制する前記（１）から（５）のいずれかに記載の画像処理装置。
（７）前記画像解析部は、陰影を施すことによる立体感強調処理とテクスチャ勾配を強調する立体感強調処理またはフォーカスに応じた立体感強調処理とのうち統合係数が低い方の統合係数を抑制する前記（１）から（６）のいずれかに記載の画像処理装置。
（８）前記画像解析部は、空気遠近感に基づく立体感強調処理と相対的大きさを制御する立体感強調処理またはパースペクティブに基づいて位置制御を行う立体感強調処理とのうち統合係数が低い方の統合係数を抑制する前記（１）から（７）のいずれかに記載の画像処理装置。
（９）前記統合処理部は、前記複数の立体感強調処理のうち、位置に関する立体感強調処理の統合と画素値に関する立体感強調処理の統合とを分けて順番に行う前記（１）から（８）のいずれかに記載の画像処理装置。
（１０）入力画像に対して複数の立体感強調処理を実行する立体感強調処理部と、
前記入力画像を解析して前記複数の立体感強調処理を統合する際の統合係数を生成する画像解析部と、
前記統合係数に従って前記複数の立体感強調処理の結果を統合する統合処理部と、
前記入力画像に対して前記複数の立体感強調処理の結果が統合された画像を表示する表示部と
を具備する画像表示装置。
（１１）入力画像に対して複数の立体感強調処理を実行する立体感強調処理手順と、
前記入力画像を解析して前記複数の立体感強調処理を統合する際の統合係数を生成する画像解析手順と、
前記統合係数に従って前記複数の立体感強調処理の結果を統合する統合処理手順と
を具備する画像処理方法。
（１２）入力画像に対して複数の立体感強調処理を実行する立体感強調処理手順と、
前記入力画像を解析して前記複数の立体感強調処理を統合する際の統合係数を生成する画像解析手順と、
前記統合係数に従って前記複数の立体感強調処理の結果を統合する統合処理手順と
をコンピュータに実行させるプログラム。
【符号の説明】
【０１４５】
１１０  入力画像供給部
１２０  奥行き情報取得部
１３０  付加情報取得部
１４０  画像解析部
１４１、１４３、１４８  シーン認識処理部
１４２  結合係数テーブル
１４４  一般係数テーブル
１４５、１４７  特徴量係数生成部
１４６、１４９  結合係数生成部
１５０  立体感強調処理部
１５１〜１５７  強調処理部
１６０  統合処理部
１７０  表示部
２４０  特徴量係数生成部
２４１〜２４５  シーン判定処理部
【図１】
2014041860.tif 000003
【図２】
2014041860.tif 000004
【図３】
2014041860.tif 000005
【図４】
2014041860.tif 000006
【図５】
2014041860.tif 000007
【図６】
2014041860.tif 000008
【図７】
2014041860.tif 000009
【図８】
2014041860.tif 000010
【図９】
2014041860.tif 000011
【図１０】
2014041860.tif 000012
【図１１】
2014041860.tif 000013
【図１２】
2014041860.tif 000014
【図１３】
2014041860.tif 000015
【図１４】
2014041860.tif 000016
【図１５】
2014041860.tif 000017
【図１６】
2014041860.tif 000018
【図１７】
2014041860.tif 000019
【図１８】
2014041860.tif 000020
【図１９】
2014041860.tif 000021
【図２０】
2014041860.tif 000022
【図２１】
2014041860.tif 000023
【図２２】
2014041860.tif 000024
【図２３】
2014041860.tif 000025
【図２４】
2014041860.tif 000026
【図２５】
2014041860.tif 000027
【図２６】
2014041860.tif 000028
【図２７】
2014041860.tif 000029
【図２８】
2014041860.tif 000030
【図２９】
2014041860.tif 000031
【図３０】
2014041860.tif 000032
【図３１】
2014041860.tif 000033
【図３２】
2014041860.tif 000034
【国際調査報告】
2014041860.tif 000035
2014041860.tif 000036
2014041860.tif 000037
2014041860.tif 000038