(57)【要約】【課題】奥行き感を損ねることを軽減した画質処理することができる画像処理装置を提供する。【解決手段】画像処理装置は、特徴量検出部１０と、奥行き情報取得部２０と、決定部３０と、処理部４０と、を備える。特徴量検出部１０は、入力画像の各画素の特徴量を検出する。奥行き情報取得部２０は、入力画像の各画素の奥行き方向の位置を表す奥行き量を取得する。決定部３０は、特徴量が最も大きい画素の奥行き量との奥行き量の差に基づき、入力画像の各画素のボヤケ度合いを決定する。処理部４０は、ボヤケ度合いに基づき、入力画像の画素毎に異なる画質処理を行う。【選択図】図１
2014191430.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の各画素の特徴量を検出する特徴量検出部と、
前記入力画像の各画素の奥行き方向の位置を表す奥行き量を取得する奥行き情報取得部と、
前記特徴量が最も大きい画素の前記奥行き量との奥行き量の差に基づき、前記入力画像の各画素のボヤケ度合いを決定する決定部と、
前記ボヤケ度合いに基づき、前記入力画像の画素毎に異なる画質処理を行う処理部と、
を備える画像処理装置。
【請求項２】
前記決定部は、
前記入力画像の各画素の前記奥行き量に対する前記特徴量の分布を生成する特徴量分布生成部と、
前記特徴量の分布に基づき、前記特徴量が最も大きい画素のボヤケ度合いを最も低く、前記特徴量が最も大きい画素の前記奥行き量との奥行き量の差が大きくなる画素ほど、ボヤケ度合いを高く決定するボヤケ度合い決定部と、
を備えることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記奥行き情報取得部は、
前記入力画像の各画素間の奥行き量の差に基づき、前記入力画像の前景と背景の境界に位置する奥行き境界画素を特定し、
前記決定部は、
前記奥行き境界画素で囲まれた領域内にある画素を特定し、
前記奥行き境界画素のボヤケ度合いを、前記奥行き境界画素で囲まれた領域内にある画素のボヤケ度合いよりも高くまたは低くする、
ことを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記入力画像の画質処理を行う対象領域を特定する領域特定部を備え、
前記決定部は、前記対象領域における前記入力画像の各画素のボヤケ度合いを決定する、
ことを特徴とする請求項１記載の画像処理装置。
【請求項５】
奥行き情報補正部を更に備え、
前記奥行き情報取得部は、
前記入力画像の各画素間の奥行き量の差に基づき前記入力画像の前景と背景の境界に位置する奥行き境界画素を検出し、
前記奥行き情報補正部は、
前記奥行き境界画素を含めた前記奥行き境界画素の周辺画素の奥行き量を、前記奥行き境界画素を含めた前記奥行き境界画素の周辺画素の奥行き量のうち最小の奥行き量で置き換える、
ことを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記決定部は、
前記特徴量が最も大きい画素の前記奥行き量を、前記入力画像の１フレーム毎にリセットする、
ことを特徴とする請求項１記載の画像処理装置。
【請求項７】
前記決定部は、
前記特徴量が最も大きい画素の前記奥行き量を、前記入力画像の複数フレーム間、更新しながら維持する、
ことを特徴とする請求項１記載の画像処理装置。
【請求項８】
前記入力画像のシーンチェンジを検出する画像切替検出部を更に備え、
前記決定部は、
前記入力画像のシーンチェンジが検出されると、前記特徴量が最も大きい画素の前記奥行き量をリセットする、
ことを特徴とする請求項１記載の画像処理装置。
【請求項９】
入力画像の各画素の特徴量を検出する特徴量検出ステップと、
前記入力画像の各画素の奥行き方向の位置を表す奥行き量を取得する奥行き情報取得ステップと、
前記特徴量が最も大きい画素の前記奥行き量との奥行き量の差に基づき、前記入力画像の各画素のボヤケ度合いを決定する決定ステップと、
前記ボヤケ度合いに基づき、前記入力画像の画素毎に異なる画質処理を行う処理ステップと、
を備える画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置及び画像処理方法に関するものである。
【背景技術】
【０００２】
特許文献１は、入力画像の画素毎に奥行値を検出し、奥行値に基づき構図を特定する。そして、構図の情報に基づいて、入力画像を高画質化処理する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−７２９８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、入力画像の画素の中から特徴量が最も大きい画素の奥行き量との奥行き量の差に基づき入力画像の各画素のボヤケ度合いを決定し、決定したボヤケ度合いに基づき入力画像の画素毎に異なる画質処理を行うので、奥行き感を損ねることを軽減した画質処理することができる画像処理装置および画像処理方法を提供する。
【課題を解決するための手段】
【０００５】
本開示の画像処理装置は、入力画像の各画素の特徴量を検出する特徴量検出部と、前記入力画像の各画素の奥行き方向の位置を表す奥行き量を取得する奥行き情報取得部と、前記特徴量が最も大きい画素の前記奥行き量との奥行き量の差に基づき、前記入力画像の各画素のボヤケ度合いを決定する決定部と、前記ボヤケ度合いに基づき、前記入力画像の画素毎に異なる画質処理を行う処理部と、を備える。
【０００６】
また、本開示の画像処理方法は、入力画像の各画素の特徴量を検出する特徴量検出ステップと、前記入力画像の各画素の奥行き方向の位置を表す奥行き量を取得する奥行き情報取得ステップと、前記特徴量が最も大きい画素の前記奥行き量との奥行き量の差に基づき、前記入力画像の各画素のボヤケ度合いを決定する決定ステップと、前記ボヤケ度合いに基づき、前記入力画像の画素毎に異なる画質処理を行う処理ステップと、を備える。
【０００７】
本開示の画像処理装置及び画像処理方法によれば、入力画像の画素の中から特徴量が最も大きい画素の奥行き量との奥行き量の差に基づき入力画像の各画素のボヤケ度合いを決定し、決定したボヤケ度合いに基づき入力画像の画素毎に異なる画質処理を行うので、奥行き感を損ねることを軽減した画質処理することができる。
【発明の効果】
【０００８】
本開示の画像処理装置及び画像処理方法によれば、入力画像の画素の中から特徴量が最も大きい画素の奥行き量との奥行き量の差に基づき入力画像の各画素のボヤケ度合いを決定し、決定したボヤケ度合いに基づき入力画像の画素毎に異なる画質処理を行うので、奥行き感を損ねることを軽減した画質処理することができる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態１における画像処理装置の構成を示すブロック図。
【図２】実施の形態１における画像処理装置の画像処理を説明するフローチャート。
【図３】実施の形態１における特徴量検出部の特徴量検出処理の説明図。
【図４】実施の形態１における決定部のボヤケ度合い決定処理の説明図。
【図５】実施の形態１における決定部のボヤケ度合い決定処理の説明図。
【図６】実施の形態１における決定部のボヤケ度合い決定処理の説明図。
【図７】実施の形態１における処理部の画質処理の説明図。
【図８】実施の形態１における奥行き情報取得部の奥行き境界画素特定処理の説明図。
【図９】実施の形態２における画像処理装置の構成を示すブロック図。
【図１０】実施の形態２における奥行き情報補正部の奥行き情報補正処理の説明図。
【図１１】その他の実施の形態における画像処理装置の構成を示すブロック図。
【図１２】その他の実施の形態における領域特定部の領域特定処理の説明図。
【図１３】その他の実施の形態における画像処理装置の構成を示すブロック図。
【発明を実施するための形態】
【００１０】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１１】
なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
（実施の形態１）
［１−１．構成］
図１は、実施の形態１における画像処理装置の構成を示すブロック図である。
【００１２】
図１において、画像処理装置１は、特徴量検出部１０、奥行き情報取得部２０、決定部３０および処理部４０を備える。
【００１３】
特徴量検出部１０は、入力画像の各画素の特徴量を検出し、決定部３０に出力する。
【００１４】
奥行き情報取得部２０は、入力画像の各画素の奥行き方向の位置を表す奥行き量を取得し、決定部３０に出力する。
【００１５】
なお、奥行き情報取得部２０は、入力画像に基づき各画素の奥行き量を算出しても良いし、予め各画素の奥行き量が与えられる場合は、そのまま与えられた奥行き量を用いても良い。
【００１６】
決定部３０は、特徴量検出部１０で検出された入力画像の各画素の特徴量と奥行き情報取得部２０で取得された入力画像の各画素の奥行き量を受ける。決定部３０は、入力画像の画素の中から特徴量が最も大きい画素を特定する。決定部３０は、特徴量が最も大きい画素の奥行き量と入力画像のその他の画素の奥行き量の差を求め、その差に基づき、入力画像の各画素のボヤケ度合いを決定し、処理部４０に出力する。つまり、決定部３０は、特徴量が最も大きい画素の奥行き量との奥行き量の差に基づき、入力画像の各画素のボヤケ度合いを決定し、処理部４０に出力する。
【００１７】
処理部４０は、決定部３０で決定された入力画像の各画素のボヤケ度合いに基づき、入力画像の画素毎に異なる画質処理を行う。
【００１８】
［１−２．動作］
以上のように構成された画像処理装置１について、その動作を以下に説明する。
【００１９】
図２は、実施の形態１における画像処理装置の画像処理を説明するフローチャートである。
【００２０】
［特徴量検出処理］
特徴量検出部１０は、入力画像の各画素の特徴量を検出し、決定部３０に出力する（ステップＳ２１）。
【００２１】
図３は、実施の形態１における特徴量検出部の特徴量検出処理の説明図である。
【００２２】
図３の（ａ）は、入力画像の各画素の特徴量を検出するためのＳｏｂｅｌフィルタ係数（垂直、水平）および特徴量検出部１０の構成を示すブロック図である。図３の（ｂ）は、入力画像の各画素の特徴量を検出するためのＬａｐｌａｃｉａｎフィルタ係数および特徴量検出部１０の別の構成を示すブロック図である。
【００２３】
特徴量検出部１０は、入力画像の各画素に対して、例えば、図３に示すフィルタ処理を施すことにより、入力画像の各画素の特徴量を検出する。入力画像の各画素の特徴量の値として、例えば、入力画像の輝度成分における一次微分値（図３（ａ））や、二次微分値（図３（ｂ））が上げられる。以下、各々の場合の入力画像の各画素の特徴量検出処理について説明する。
【００２４】
図３（ａ）において、一次微分フィルタ（垂直）１１および一次微分フィルタ（水平）１２は、入力画像の着目画素および周辺８画素に対し、図３（ａ）に示すＳｏｂｅｌフィルタをかけることにより、水平方向の微分値ｄｘ、垂直方向の微分値ｄｙを算出する。一次微分値算出部１３は、一次微分フィルタ（垂直）１１で算出した微分値ｄｘ、一次微分フィルタ（水平）１２で算出した微分値ｄｙから、二乗の平方根で出力する着目画素の特徴量を求める。また、一次微分値算出部１３は、簡易的に、微分値ｄｘ、ｄｙの絶対値の和から、出力する着目画素の特徴量を求めても良い。
【００２５】
次に、図３（ｂ）において、二次微分フィルタ１４は、入力画像の着目画素および周辺８画素に対し、図３（ｂ）に示すＬａｐｌａｃｉａｎフィルタをかけることにより、着目画素の二次微分値を算出する。その後、絶対値算出部１５は、二次微分値の絶対値を着目画素の特徴量として算出する。
【００２６】
［奥行き情報取得処理］
奥行き情報取得部２０は、入力画像の各画素の奥行き方向の位置を表す奥行き量を取得し、決定部３０に出力する（ステップＳ２２）。
【００２７】
奥行き情報取得部２０は、入力画像の各画素について、その奥行き量を取得する。奥行量を取得する処理は、例えば、入力画像が複数視点の画像を持つ三次元画像の場合、入力画像の左目用フレームと右目用フレームのブロックマッチングによって入力画像の各画素の奥行き量を算出する。入力画像が二次元画像の場合、入力画像の構図解析や輝度情報などから擬似的に入力画像の各画素の奥行き量を算出する。
【００２８】
なお、奥行き情報取得部２０による奥行き情報取得処理は、必ずしも特徴量検出部１０による特徴量検出処理の後に行う必要はなく、特徴量検出部１０による特徴量検出処理よりも前または同時に行っても良い。
【００２９】
なお、奥行き情報取得部２０は、上述のように入力画像に基づき各画素の奥行き量を算出しても良いし、予め各画素の奥行き量が与えられる場合は、そのまま与えられた奥行き量を用いても良い。
【００３０】
なお、本実施の形態において、入力画像の各画素の奥行き量については、視聴者からの距離が遠いほど値が大きくなるものとして以降の説明を行う。
【００３１】
［ボヤケ度合い決定処理］
決定部３０は、特徴量検出部１０で検出された入力画像の各画素の特徴量と奥行き情報取得部２０で取得された入力画像の各画素の奥行き量を受ける。決定部３０は、入力画像の画素の中から特徴量が最も大きい画素を特定する。決定部３０は、特徴量が最も大きい画素の奥行き量と入力画像のその他の画素の奥行き量の差を求め、その差に基づき、入力画像の各画素のボヤケ度合いを決定し、処理部４０に出力する。つまり、決定部３０は、特徴量が最も大きい画素の奥行き量との奥行き量の差に基づき、入力画像の各画素のボヤケ度合いを決定し、処理部４０に出力する（ステップＳ２３）。
【００３２】
図４から図６は、実施の形態１における決定部のボヤケ度合い決定処理の説明図である。
【００３３】
図４において、決定部３０は、特徴量分布算出部３１、特徴量分布正規化部３２およびボヤケ度合い算出部３３を備える。
【００３４】
特徴量分布算出部３１は、特徴量検出部１０で検出された入力画像の各画素の特徴量と奥行き情報取得部２０で取得された入力画像の各画素の奥行き量を受け、入力画像の各画素の奥行き量に対する特徴量の分布を生成し、特徴量分布正規化部３２に出力する。
【００３５】
以下、図５を用いて、特徴量分布算出部３１による入力画像の各画素の奥行き量に対する特徴量の分布の算出処理について説明する。
【００３６】
図５（ａ）は、入力画像の各画素（ここでは全２５画素）について、その奥行き量によって５段階（０〜５０、５１〜１００、１０１〜１５０、１５１〜２００、２０１〜２５５）に分類した例である。
【００３７】
例えば、奥行き量として０〜５０の値を有する５画素が、それぞれ特徴量として、１０、５、７、９、４を有していることを示している。
【００３８】
特徴量分布算出部３１は、図５（ａ）に示すように、入力画像の全２５画素を、各画素が有する奥行き量によって５段階に分類する。
【００３９】
図５（ｂ）は、奥行き量によって５段階に分類された画素の特徴量から、各奥行き量の段階で代表となる特徴量を１つ設定した例である。
【００４０】
各奥行き量の段階における特徴量の代表値の設定方法については、例えば、以下に示すような方法を用いることができる。
【００４１】
各奥行き量の段階における特徴量の代表値の設定方法の１つは、各奥行き量の段階に属する画素の特徴量の平均値を算出する方法である。例えば、奥行き量として０〜５０の値を有する５画素の特徴量（１０、５、６、９、４）の平均値として、特徴量の代表値７を算出する。
【００４２】
各奥行き量の段階における特徴量の代表値の設定方法の別の方法は、上述の各奥行き量の段階に属する画素の特徴量の平均値を算出する方法にコアリングを併用したものである。これは、一定値未満の特徴量を持つ画素が存在しないものとして、各奥行き量の段階に属する画素の特徴量の平均値を算出する方法である。例えば、一定値を１として、奥行き量として５１〜１００の値を有する５画素の特徴量のうち、特徴量０の画素は存在しないものとみなし、奥行き量として５１〜１００の値を有する４画素の特徴量（１３、１４、７、９）の平均値として、特徴量の代表値１０．７５を算出する。
【００４３】
各奥行き量の段階における特徴量の代表値の設定方法の別の方法は、各奥行き量の段階に属する画素の特徴量の最大値を算出する方法である。例えば、奥行き量として１０１〜１５０の値を有する５画素の特徴量（２１、１８、２０、０、１４）の最大値として、特徴量の代表値２１を算出する。この際、ノイズの影響を排するため、各奥行き量の段階に属する画素の特徴量の上位数％の画素を除外して、残った画素の特徴量の最大値を代表値としても良い。
【００４４】
特徴量分布算出部３１は、図５（ｂ）に示すように、各奥行き量の段階に属する画素の特徴量の代表値を算出する。
【００４５】
図５（ｃ）は、入力画像の各画素の奥行き量と特徴量の関係をグラフ化した例である。ここで、図５（ｃ）に示す×印は各奥行き量の段階に属する画素の代表値を示したものであり、この×印を基に、入力画像の各画素の奥行き量と特徴量の関係をグラフ化する。このとき、入力画像の各画素の奥行き量と特徴量の関係を示すグラフは×印を全て通るように設定しても良いし、最小二乗法などを用いて二次関数に近似しても良い。
【００４６】
特徴量分布算出部３１は、図５（ｃ）に示すように、各奥行き量の段階に属する画素の特徴量の代表値を算出した後、入力画像の各画素の奥行き量と特徴量の関係をグラフ化する。
【００４７】
特徴量分布正規化部３２は、特徴量分布算出部３１から入力画像の各画素の奥行き量に対する特徴量の分布を受け、入力画像の画素の中から特徴量が最も大きい画素の特徴量が上限となるように特徴量の分布を正規化し、ボヤケ度合い算出部３３に出力する。
【００４８】
ボヤケ度合い算出部３３は、特徴量分布正規化部３２から正規化された入力画像の各画素の特徴量の分布を受け、各画素のボヤケ度合いを決定する。詳細には、ボヤケ度合い算出部３３は、正規化された入力画像の各画素の特徴量の分布に基づき、特徴量が最も大きい画素のボヤケ度合いを最も低く、特徴量が最も大きい画素の奥行き量との奥行き量の差が大きくなる画素ほど、ボヤケ度合いを高く決定する。
【００４９】
以下、図６を用いて、特徴量分布正規化部３２による入力画像の各画素の奥行き量に対する特徴量の分布の正規化処理およびボヤケ度合い算出部３３による正規化された入力画像の各画素の奥行き量に対する特徴量の分布に基づく入力画像の各画素のボヤケ度合い算出処理について説明する。
【００５０】
図６（ａ）は、入力画像の各画素の奥行き量に対する特徴量の分布を正規化した例である。図６（ｂ）は、正規化された入力画像の各画素の奥行き量に対する特徴量の分布に基づく入力画像の各画素のボヤケ度合い算出した例である。
【００５１】
特徴量分布正規化部３２は、入力画像の画素の中から特徴量が最も大きいる画素の特徴量が上限となるように特徴量の分布グラフ全体を正規化する。例えば、特徴量分布正規化部３２は、入力画像の画素の特徴量の値域が０〜２５５、入力画像の画素の最大特徴量が１５０だった場合、入力画像の各画素の奥行き量に対する特徴量の分布グラフの特徴量の値に対し、２５５／１５０を乗じて、入力画像の各画素の奥行き量に対する特徴量の分布グラフの特徴量が０〜２５５の範囲の値をとるように正規化を行う。
【００５２】
次に、ボヤケ度合い算出部３３は、入力画像の各画素の奥行き量に対応する特徴量を算出し、入力画像の各画素の特徴量のとりうる最大値から入力画像の各画素の特徴量を引いた値をボヤケ度合いとして算出する。例えば、ボヤケ度合い算出部３３は、入力画像の画素の特徴量の値域が０〜２５５、入力画像のある画素の奥行き量が５０、その奥行き量に対応する特徴量が８０だったとすると、その画素のボヤケ度合いは２５５−８０＝１７５となる。
【００５３】
［画質処理］
処理部４０は、決定部３０で決定された入力画像の各画素のボヤケ度合いに基づき、入力画像の画素毎に異なる画質処理を行う（ステップＳ２４）。
【００５４】
図７は、実施の形態１における処理部の画質処理の説明図である。
【００５５】
図７は、（１）エッジ強調処理（ゲイン、強調帯域）、（２）平滑化処理（ゲイン、平滑化帯域）、（３）コントラスト処理（ゲイン）の各処理において、ボヤケ度合いに応じて処理の程度を変更することを示している。
【００５６】
処理部４０は、（１）エッジ強調処理において、ゲイン（処理量）と強調帯域の２つをボヤケ度合いに応じて変更する。処理部４０は、エッジ強調処理におけるゲイン（処理量）については、ボヤケ度合いが大きい（ピントが合っていない）画素に強調処理を施してしまうと、ボヤケが軽減されてしまい奥行き感を損なわれてしまうため、ボヤケ度合いが大きい画素ほどゲイン（処理量）を小さくするよう処理する。また、処理部４０は、エッジ強調処理における強調周波数帯域については、ボヤケ度合いが小さい（ピントが合っている）画素では細かい絵柄（高域周波数成分）が存在するが、ボヤケ度合いが高い（ピントが合っていない）画素では本来細かい絵柄は存在しないため、ボヤケ度合いが小さいところほど高周波領域にエッジ強調処理を行う。以上により、処理部４０は、入力画像の奥行き感を損ねることなく適切に画質処理（エッジ強調処理）を行うことができる。
【００５７】
また、処理部４０は、（２）平滑化処理（ノイズ除去処理を含む）において、ゲイン（処理量）と平滑化帯域の２つをボヤケ度合いに応じて変更する。処理部４０は、平滑化処理におけるゲイン（処理量）については、ボヤケ度合いが小さい（ピントが合っている）画素に強く平滑化処理を施してしまうと場合、画像がボヤケてしまいフォーカス感が失われるため、ボヤケ度合いが小さい画素ほどゲイン（処理量）を小さくするよう処理する。また、処理部４０は、平滑化処理における平滑化周波数帯域については、ボヤケ度合いが小さい（ピントが合っている）画素に低域周波数帯域まで平滑化を行うとフォーカス感が失われてしまうため、ボヤケ度合いが小さい画素ほど高域周波数に平滑化処理を行う。以上により、処理部４０は、入力画像の奥行き感を損ねることなく適切に画質処理（平滑化処理）を行うことができる。
【００５８】
また、処理部４０は、（３）コントラスト処理（ゲイン）については、ボヤケ度合いが小さい（ピントが合っている）画素ほどコントラスト処理を強く掛ける。以上により、処理部４０は、ボヤケ度合いが小さい注目する画素（＝ピントの合っている画素）を際立たせ、奥行き感を強調することができる。
【００５９】
［その他の処理］
［奥行き境界画素特定処理］
奥行き情報取得部２０は、入力画像の各画素の奥行き方向の位置を表す奥行き量を取得し、決定部３０に出力することに加え、入力画像の各画素間の奥行き量の差に基づき、入力画像の前景と背景の境界に位置する奥行き境界画素を特定し、決定部３０に出力しても良い。
【００６０】
図８は、実施の形態１における奥行き情報取得部の奥行き境界画素特定処理の説明図である。
【００６１】
図８（ａ）は、入力画像として、奥行き量２０を有する前景と、奥行き量６０を有する背景がある場合を示している。図８(ｂ)は、図８（ａ）の破線で囲んだ領域に位置する画素と各画素が有する奥行き量を示している。
【００６２】
奥行き情報取得部２０は、入力画像の着目画素と周辺８画素との差分が一定以上になる画素を特定し、入力画像の前景と背景の境界に位置する奥行き境界画素として、決定部３０に出力する。図８（ｂ）に示す画素においては、奥行き量３０を有する４つの画素が奥行き境界画素として特定される。
【００６３】
決定部３０は、特徴量検出部１０で検出された入力画像の各画素の特徴量と奥行き情報取得部２０で取得された入力画像の各画素の奥行き量に加え、奥行き情報取得部２０から奥行き境界画素を受ける。決定部３０は、入力画像の画素の中から特徴量が最も大きい画素を特定する。決定部３０は、特徴量が最も大きい画素の奥行き量と入力画像のその他の画素の奥行き量の差を求め、その差に基づき、入力画像の各画素のボヤケ度合いを決定し、処理部４０に出力する。ここで、決定部３０は、奥行き情報取得部２０で特定された奥行き境界画素で囲まれた領域内にある画素を特定し、奥行き境界画素のボヤケ度合いを、奥行き境界画素で囲まれた領域内にある画素のボヤケ度合いよりも高くまたは低くする。
【００６４】
処理部４０は、決定部３０で決定された入力画像の各画素のボヤケ度合いに基づき、入力画像の画素毎に異なる画質処理を行う。
【００６５】
決定部３０において、奥行き情報取得部２０で特定された奥行き境界画素で囲まれた領域内にある画素を特定し、奥行き境界画素のボヤケ度合いを、奥行き境界画素で囲まれた領域内にある画素のボヤケ度合いよりも高くまたは低くし、処理部４０において、決定部３０で決定された入力画像の各画素のボヤケ度合いに基づき、入力画像の画素毎に異なる画質処理を行うことで、物体間の分離間を制御して奥行き感に与える影響を調節することができる。例えば、処理部４０は、奥行き境界画素のみにエッジ強調ゲイン（処理量）を大きくすると、奥行きの異なる物体同士がより分離されて見えるため、奥行き感を損ねることを軽減できる。一方、処理部４０は、奥行き境界画素のみにエッジ強調ゲイン（処理量）を大きくしすぎると、必要以上に物体同士が分離されて別々に取られた絵を合成したかのような違和感（書き割り感）が生じることがあるため、エッジ強調ゲインを小さくし、書き割り感を軽減することができる。
【００６６】
［１−３．効果等］
本開示の画像処理装置及び画像処理方法によれば、入力画像の画素の中から特徴量が最も大きい画素の奥行き量との奥行き量の差に基づき入力画像の各画素のボヤケ度合いを決定し、決定したボヤケ度合いに基づき入力画像の画素毎に異なる画質処理を行うので、奥行き感を損ねることを軽減した画質処理することができる。また、入力画像の前景と背景の境界に位置する奥行き境界画素と奥行き境界画素で囲まれた領域内にある画素を特定し、奥行き境界画素のボヤケ度合いを、奥行き境界画素で囲まれた領域内にある画素のボヤケ度合いよりも高くまたは低くするので、物体間の分離間を制御して奥行き感に与える影響を調節することが出来る。
【００６７】
実施の形態１において、特徴量検出部１０が特徴量検出部の一例に対応し、奥行き情報取得部２０が奥行き情報取得部の一例に対応し、決定部３０が決定部の一例に対応し、処理部４０が処理部の一例に対応する。また、特徴量分布算出部３１が特徴量分布算出部の一例に対応し、ボヤケ度合い算出部３３がボヤケ度合い算出部の一例に対応する。
（実施の形態２）
［２−１．構成］
図９は、実施の形態２における画像処理装置の構成を示すブロック図である。
【００６８】
図１の画像処理装置１と異なる点は、奥行き情報補正部５０をさらに備える点である。
【００６９】
奥行き情報補正部５０は、奥行き情報取得部２０で取得された入力画像の各画素の奥行き量と奥行き境界画素を受け、奥行き境界画素を含めた奥行き境界画素の周辺画素の奥行き量を、奥行き境界画素を含めた奥行き境界画素の周辺画素の奥行き量のうち最小の奥行き量で置き換え、決定部３０に出力する。
【００７０】
［２−２．動作］
図１０は、実施の形態２における奥行き情報補正部の奥行き情報補正処理の説明図である。
【００７１】
図１０（ａ１）は、入力画像として、奥行き量２０を有する前景と、奥行き量６０を有する背景がある場合を示している。図１０(ａ２)は、図１０（ａ１）の破線で囲んだ領域に位置する画素と各画素が有する奥行き量を示している。
【００７２】
図１０（ｂ１）は、図１０（ａ１）に示す奥行き量２０を有する前景の範囲を拡大した様子を示している。図１０（ｂ２）は、図１０（ｂ１）の破線で囲んだ領域に位置する画素と各画素が有する補正された奥行き量を示している。
【００７３】
奥行き情報補正部５０は、奥行き情報取得部２０で取得された入力画像の各画素の奥行き量と奥行き境界画素を受け、奥行き境界画素１画素およびその周辺８画素を含めた９画素のうち最小の奥行き量を検出し、奥行き境界画素１画素およびその周辺８画素を含めた９画素の奥行き量を検出した最小の奥行き値に補正し、決定部３０に出力する。
【００７４】
［２−３．効果等］
これは、境界部の特徴量は、手前側の物体の奥行き値に応じて変化するためである。決定部３０において、境界画素を手前側の物体として算出することで、正確にボヤケ度合いを求めることができる。
【００７５】
実施の形態２において、奥行き情報補正部５０が奥行き補正部の一例に対応する。
（その他の実施の形態）
図１１は、その他の実施の形態における画像処理装置の構成を示すブロック図である。
【００７６】
図１の画像処理装置１と異なる点は、領域特定部６０をさらに備える点である。
【００７７】
領域特定部６０は、入力画像の画質処理を行う対象領域を特定し、決定部３０に出力する。決定部３０は、領域特定部６０から入力画像の画質処理を行う対象領域を受け、対象領域において、前述の入力画像の各画素のボヤケ度合いを決定し、処理部４０に出力する。
【００７８】
図１２は、その他の実施の形態における領域特定部の領域特定処理の説明図である。
【００７９】
図１２は、入力画像の右上および下に、字幕など撮影画像以外の情報がある場合の例である。
【００８０】
一般的に、入力画像が字幕と撮影画像から構成される場合、字幕は撮像画像の撮影後に画像処理によって撮像画像に重畳されるため、そのボヤケ度合いは撮影画像に比べて小さい。そのため、処理部４０は、撮像画像領域に位置する画素のほとんどをボヤケ度が大きい画素として画質処理を行うことになる。
【００８１】
そのため、領域特定部６０は、入力画像の画質処理を行う対象領域を特定し、決定部３０に出力する。決定部３０は、領域特定部６０から入力画像の画質処理を行う対象領域を受け、対象領域において、前述の入力画像の各画素のボヤケ度合いを決定し、処理部４０に出力する。そして処理部４０は、決定部３０で決定された入力画像の各画素のボヤケ度合いに基づき、入力画像の各画素に異なる画質処理を行うことにより、奥行き感を損ねることを軽減した画質処理をすることができる。
【００８２】
なお、字幕等の入力画像の画質処理を行う対象領域外の領域を検出する方法は、公知の種々の方法を適用することができる。
【００８３】
その他の実施の形態において、領域特定部６０が領域特定部の一例に対応する。
【００８４】
図１３は、その他の実施の形態における画像処理装置の構成を示すブロック図である。
【００８５】
図１の画像処理装置１と異なる点は、画像切替検出部７０をさらに備える点である。
【００８６】
画像切替検出部７０は、入力画像の切り替わりを検出し、検出結果を決定部３０に出力する。ここで言う入力画像の切り替わりとは、ＤＶＤのようなＳＤ映像から、ＢＤのようなＨＤ映像への切り替わり、シーンチェンジ等を意味する。
【００８７】
決定部３０は、入力画像の１フレームの中で、特徴量が最も大きい画素の奥行き量と該１フレームのその他の画素の奥行き量の差を求め、その差に基づき、該１フレームの各画素のボヤケ度合いを決定し、処理部４０に出力しても良い。
【００８８】
また、決定部３０は、入力画像の複数フレームの中で、特徴量が最も大きい画素の奥行き量と該複数フレームのその他の画素の奥行き量の差を求め、その差に基づき、該複数フレームの各画素のボヤケ度合いを決定しても良い。後者の場合、決定部３０は、入力画像の切り替わりに基づき、入力画像の複数フレームの中の特徴量が最も大きい画素の特徴量をリセットしても良い。前者の場合、入力画像の全てのフレームでボヤケ度合いが小さい画素があるとは限らない。仮にある１フレームで全ての画素でボヤケ度合いが高い場合、該１フレームの全ての画素でボヤケ度合いを小さく決定してしまう可能性がある。したがって、入力画像の複数フレームの中の特徴量が最も大きい画素の特徴量を記憶しておき、その特徴量を基準に各フレームのボヤケ度合いを決定しても良い。
【００８９】
その他の実施の形態において、画像切替検出部７０が画像切替検出部の一例に対応する。
【００９０】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【００９１】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記実装を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【００９２】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００９３】
本開示は、奥行き感を損ねることを軽減した画質処理することができる画像処理技術として有用である。
【符号の説明】
【００９４】
１、２、３、４  画像処理装置
１０    特徴量検出部
１１    一次微分フィルタ（垂直）
１２    一次微分フィルタ（水平）
１３    一次微分値算出部
１４    二次微分フィルタ
１５    絶対値算出部
２０    奥行き情報取得部
３０    決定部
３１    特徴量分布算出部
３２    特徴量分布正規化部
３３    ボヤケ度合い算出部
４０    処理部
５０    奥行き情報補正部
６０    領域特定部
７０    画像切替検出部
【図９】
2014191430.tif 000003
【図１１】
2014191430.tif 000004
【図１３】
2014191430.tif 000005
【図１】
2014191430.tif 000006
【図２】
2014191430.tif 000007
【図３】
2014191430.tif 000008
【図４】
2014191430.tif 000009
【図５】
2014191430.tif 000010
【図６】
2014191430.tif 000011
【図７】
2014191430.tif 000012
【図８】
2014191430.tif 000013
【図１０】
2014191430.tif 000014
【図１２】
2014191430.tif 000015