(57)【要約】【課題】画像内の所定の領域の位置からの距離に適した強度で、画像に対して処理を行うことができるようにする。【解決手段】顔検出部は、画像内の顔領域を検出する。強度決定部は、顔検出部により検出された顔領域の位置と画像の各画素の位置との距離に基づいて、各画素の処理の強度を決定する。ＮＲ処理部は、強度決定部により決定された強度で、画像に対して画素単位でノイズリダクション処理を行う。本開示は、例えば、画像処理装置等に適用することができる。【選択図】図１
2015069361.tif 000002
【特許請求の範囲】
【請求項１】
画像内の領域を検出する検出部と、
前記検出部により検出された前記領域の位置と前記画像の処理単位の位置との距離に基づいて、前記処理単位の処理の強度を決定する強度決定部と、
前記強度決定部により決定された前記強度で、前記画像に対して前記処理単位で前記処理を行う処理部と
を備える画像処理装置。
【請求項２】
前記強度決定部は、前記検出部により複数の前記領域が検出される場合、前記領域ごとに前記強度を決定し、その強度のうちの最も強い強度を最終的な強度に決定する
ように構成された
請求項１に記載の画像処理装置。
【請求項３】
前記強度決定部は、前記距離と前記領域のサイズに基づいて前記強度を決定する
ように構成された
請求項１に記載の画像処理装置。
【請求項４】
前記検出部による前記領域の検出の履歴に基づいて、前記領域の信頼度を決定する信頼度決定部
をさらに備え、
前記強度決定部は、前記距離と前記信頼度決定部により決定された前記信頼度とに基づいて前記強度を決定する
ように構成された
請求項１に記載の画像処理装置。
【請求項５】
前記信頼度決定部は、前記検出部により前記領域が検出された場合、前記信頼度を所定値だけ増加させ、前記検出部により前記領域が検出されなくなった場合、前記信頼度を所定値だけ減少させる
ように構成された
請求項４に記載の画像処理装置。
【請求項６】
前記処理は、ノイズリダクション処理である
ように構成された
請求項１に記載の画像処理装置。
【請求項７】
前記処理部は、
前記画像に対して前記ノイズリダクション処理を行うノイズリダクション処理部と、
前記ノイズリダクション処理部による前記ノイズリダクション処理後の画像と、前記ノイズリダクション処理前の画像とを、前記強度に基づいて前記処理単位で合成する合成部と
を備える
請求項６に記載の画像処理装置。
【請求項８】
前記領域は、顔領域である
ように構成された
請求項１に記載の画像処理装置。
【請求項９】
画像処理装置が、
画像内の領域を検出する検出ステップと、
前記検出ステップの処理により検出された前記領域の位置と前記画像の処理単位の位置との距離に基づいて、前記処理単位の処理の強度を決定する強度決定ステップと、
前記強度決定ステップの処理により決定された前記強度で、前記画像に対して前記処理単位で前記処理を行う処理ステップと
を含む画像処理方法。
【請求項１０】
コンピュータを、
画像内の領域を検出する検出部と、
前記検出部により検出された前記領域の位置と前記画像の処理単位の位置との距離に基づいて、前記処理単位の処理の強度を決定する強度決定部と、
前記強度決定部により決定された前記強度で、前記画像に対して前記処理単位で前記処理を行う処理部と
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、およびプログラムに関し、特に、画像内の所定の領域の位置からの距離に適した強度で、画像に対して処理を行うことができるようにした画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
画像を高画質化する処理としては、例えばノイズリダクション処理がある。ノイズリダクション処理については、フィルタ形状を最適化する方法やエッジとノイズを分離する方法などが多く考案されている。また、画像内の顔領域の大きさに基づく周波数帯域にノイズリダクション処理を施すことにより、背景の解像度劣化を抑制しつつ、しわやしみを除去する技術も考案されている（例えば、特許文献１参照）。
【０００３】
一方、周波数成分や色相によらず、人間にとって画質に敏感な領域が存在する。例えば、一般的に、人間は、洋服の画質には鈍感であるが、顔の画質には敏感である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許４６６６１７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従って、画像内の所定の領域の位置からの距離に適した強度で、画像に対してノイズリダクション等の処理を行うことが求められている。
【０００６】
本開示は、このような状況に鑑みてなされたものであり、画像内の所定の領域の位置からの距離に適した強度で、画像に対して処理を行うことができるようにするものである。
【課題を解決するための手段】
【０００７】
本開示の一側面の画像処理装置は、画像内の領域を検出する検出部と、前記検出部により検出された前記領域の位置と前記画像の処理単位の位置との距離に基づいて、前記処理単位の処理の強度を決定する強度決定部と、前記強度決定部により決定された前記強度で、前記画像に対して前記処理単位で前記処理を行う処理部とを備える画像処理装置である。
【０００８】
本開示の一側面の画像処理方法およびプログラムは、本開示の一側面の画像処理装置に対応する。
【０００９】
本開示の一側面においては、画像内の領域が検出され、検出された前記領域の位置と前記画像の処理単位の位置との距離に基づいて、前記処理単位の処理の強度が決定され、決定された前記強度で、前記画像に対して前記処理単位で前記処理が行われる。
【発明の効果】
【００１０】
本開示の一側面によれば、画像に対して処理を行うことができる。また、本開示の一側面によれば、画像内の所定の領域の位置からの距離に適した強度で、画像に対して処理を行うことができる。
【００１１】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１２】
【図１】本開示を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】顔情報を説明する図である。
【図３】信頼度の決定方法を説明する図である。
【図４】信頼度の決定方法を説明する図である。
【図５】信頼度の決定方法を説明する図である。
【図６】信頼度の決定方法を説明する図である。
【図７】信頼度の決定方法を説明する図である。
【図８】信頼度の時間変化の例を示す図である。
【図９】強度決定部の構成例を示すブロック図である。
【図１０】サイズ変調部による信頼度の変更を説明する図である。
【図１１】位置変調部による信頼度の変更を説明する図である。
【図１２】変更前の信頼度a(i)に応じた変更後の信頼度fdw(i,n)の変化を示す図である。
【図１３】図２の画像の各画素の強度の例を表す図である。
【図１４】ＮＲ処理部の構成例を示すブロック図である。
【図１５】画像処理装置の画像処理を説明するフローチャートである。
【図１６】コンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００１３】
＜第１実施の形態＞
（画像処理装置の一実施の形態の構成例）
図１は、本開示を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【００１４】
図１の画像処理装置１０は、光学系１１、固体撮像素子１２、前処理部１３、ＹＣ変換部１４、リサイズ処理部１５、ＮＲ処理部１６、符号化/復号部１７、ストレージ１８、表示部１９、および顔検出部２０を有する。また、画像処理装置１０は、信頼度決定部２１、データベース２２、強度決定部２３、メモリ２４、およびバス２５を有する。
【００１５】
なお、前処理部１３、ＹＣ変換部１４、リサイズ処理部１５、ＮＲ処理部１６、符号化/復号部１７、表示部１９、およびメモリ２４は、バス２５を介して互いに接続されている。画像処理装置１０は、画像を撮像し、その画像に対してノイズリダクション処理を行う。
【００１６】
具体的には、画像処理装置１０の光学系１１は、レンズ群などからなり、被写体からの入射光を取り込んで固体撮像素子１２の撮像面上に結像させる。
【００１７】
固体撮像素子１２は、CMOS（Complementary Metal-Oxide Semiconductor）イメージセンサやCCD(Charge Coupled Device)イメージセンサ等からなる。固体撮像素子１２は、光学系１１によって撮像面上に結像された入射光の光量に応じた電荷を画素ごとに蓄積することにより撮像を行う。固体撮像素子１２は、撮像の結果各画素に蓄積された電荷のアナログ信号を画素信号として前処理部１３に供給する。
【００１８】
前処理部１３は、固体撮像素子１２から供給される画素信号に対して、A/D変換処理、デモザイク処理等の前処理を行い、画像のRGB信号を生成する。前処理部１３は、画像のRGB信号をＹＣ変換部１４に供給する。
【００１９】
ＹＣ変換部１４は、前処理部１３から供給される画像のRGB信号をYCbCr信号に変換し、リサイズ処理部１５に供給する。
【００２０】
リサイズ処理部１５は、ＹＣ変換部から供給される画像（のYCbCr信号）のサイズを所定のサイズに変更し、ＮＲ処理部１６と顔検出部２０に供給する。
【００２１】
ＮＲ処理部１６は、強度決定部２３から供給される強度で、リサイズ処理部１５から供給される画像に対して画素単位でノイズリダクション処理を行う。ＮＲ処理部１６は、ノイズリダクション処理後の画像を符号化/復号部１７に供給するとともに、バス２５を介して表示部１９に供給する。
【００２２】
符号化/復号部１７は、ＮＲ処理部１６から供給される画像を符号化し、その結果得られる符号化データをストレージ１８に供給する。また、符号化/復号部１７は、ストレージ１８から読み出された符号化データを復号し、画像を生成する。符号化/復号部１７は、生成された画像を表示部１９に供給する。
【００２３】
ストレージ１８は、符号化/復号部１７から供給される符号化データを記憶する。また、ストレージ１８は、記憶している符号化データを読み出し、符号化/復号部１７に供給する。
【００２４】
表示部１９は、ＮＲ処理部１６からバス２５を介して供給される画像や、符号化/復号部１７から供給される画像を表示する。
【００２５】
顔検出部２０は、リサイズ処理部１５から供給される画像内の顔領域を検出する。具体的には、例えば、顔検出部２０には、人物や動物などの名前と、その人物や動物などの顔の画像とが予め登録されている。顔検出部２０は、リサイズ処理部１５からの画像と登録されている顔の画像とのマッチングを行うことにより、その顔を含む正方形状の領域を顔領域として検出する。顔検出部２０は、検出された顔領域の中心の画像上の位置および顔領域のサイズ、並びに、顔領域に含まれる顔に対応する名前を、顔情報として信頼度決定部２１に供給する。
【００２６】
信頼度決定部２１は、顔検出部２０から供給される顔情報を、保持している信頼度テーブルに登録する。信頼度決定部２１は、顔検出部２０から供給される顔情報に基づいて、データベース２２に登録されている、顔領域に対応する名前とカウント値を対応付けたカウントテーブルを更新する。また、信頼度決定部２１は、データベース２２に登録されているカウントテーブルを読み出す。信頼度決定部２１は、カウントテーブル内の名前の顔領域ごとに、対応するカウント値を正規化し、顔領域の信頼度を決定する。なお、本実施の形態では、信頼度は０以上１以下の値である。
【００２７】
信頼度決定部２１は、信頼度テーブルに登録されている顔情報に対応付けて、その顔情報に対応する信頼度を登録する。信頼度決定部２１は、信頼度テーブルに登録されている顔情報と信頼度を、強度決定部２３に供給する。
【００２８】
強度決定部２３は、ノイズリダクション処理の処理単位である画素ごとに、信頼度決定部２１から供給される信頼度と顔情報に基づいて、ノイズリダクション処理の強度を決定する。強度決定部２３は、決定された強度をＮＲ処理部１６に供給する。
【００２９】
メモリ２４は、必要に応じて、前処理部１３、ＹＣ変換部１４、リサイズ処理部１５、ＮＲ処理部１６、符号化/復号部１７、および表示部１９の処理の途中結果や最終結果などを保持する。
【００３０】
（顔情報の説明）
図２は、顔情報を説明する図である。
【００３１】
図２の例では、画像４０内に３つの顔領域４１乃至４３が存在する。この場合、顔領域４１の顔情報として、顔領域の中心の画像上の位置（fx_0,fy_0）、顔領域のサイズとしての顔領域の１辺の長さfsize(0)、および、顔領域４１に含まれる顔に対応する名前「Ａさん」が生成される。
【００３２】
また、顔領域４２の顔情報として、顔領域の中心の画像上の位置（fx_1,fy_1）、顔領域の１辺の長さfsize(1)、および、顔領域４２に含まれる顔に対応する名前「Ｂさん」が生成される。
【００３３】
さらに、顔領域４３の顔情報として、顔領域の中心の画像上の位置（fx_2,fy_2）、顔領域の１辺の長さfsize(2)、および、顔領域４３に含まれる顔に対応する名前「Ｃさん」が生成される。
【００３４】
（信頼度の決定方法の説明）
図３乃至図７は、信頼度の決定方法を説明する図である。
【００３５】
まず、顔検出部２０により顔領域４１が初めて検出された場合、図３の左側に示すように、顔領域４１の顔情報が生成される。そして、図３の右側に示すように、信頼度決定部２１は、顔領域４１の顔情報を信頼度テーブルに登録する。
【００３６】
また、図３の中央に示すように、信頼度決定部２１は、顔領域４１の顔情報に含まれる名前「Ａさん」をカウントテーブルに登録し、名前「Ａさん」に対応付けてカウント値として初期値「０」を登録する。そして、信頼度決定部２１は、名前「Ａさん」とカウント値「０」が対応付けられたカウントテーブルに基づいて、カウント値「０」を正規化した値「０」を顔領域４１の信頼度に決定する。信頼度決定部２１は、図３の右側に示すように、その信頼度「０」を、名前「Ａさん」に対応付けて信頼度テーブルに登録する。
【００３７】
次に、顔検出部２０により顔領域４１が再度検出され、さらに、顔領域４２および顔領域４３が初めて検出された場合、図４の左側に示すように、顔領域４１乃至４３の顔情報が生成される。そして、図４の右側に示すように、信頼度決定部２１は、信頼度テーブルに登録されている顔領域４１の顔情報を更新し、顔領域４２および４３の顔情報を信頼度テーブルに登録する。
【００３８】
また、図４の中央に示すように、信頼度決定部２１は、顔領域４２および顔領域４３の顔情報に含まれる名前「Ｂさん」および名前「Ｃさん」をカウントテーブルに登録し、それぞれに対応付けてカウント値として初期値「０」を登録する。また、信頼度決定部２１は、カウントテーブルに登録されている、再度検出された顔領域４１の名前「Ａさん」に対応するカウント値を50だけインクリメントし、カウント値を50にする。
【００３９】
そして、信頼度決定部２１は、名前「Ａさん」とカウント値「50」が対応付けられたカウントテーブルに基づいて、カウント値「50」を正規化した値「0.25」を顔領域４１の信頼度に決定する。信頼度決定部２１は、図４の右側に示すように、その信頼度「0.25」を、名前「Ａさん」に対応付けて信頼度テーブルに登録する。
【００４０】
また、信頼度決定部２１は、名前「Ｂさん」および名前「Ｃさん」とカウント値「０」が対応付けられたカウントテーブルに基づいて、カウント値「０」を正規化した値「０」を顔領域４２および顔領域４３の信頼度に決定する。信頼度決定部２１は、図４の右側に示すように、その信頼度「０」を、名前「Ｂさん」および名前「Ｃさん」に対応付けて信頼度テーブルに登録する。
【００４１】
次に、顔検出部２０により顔領域４１乃至４３が再度検出された場合、図５の左側に示すように、顔領域４１乃至４３の顔情報が生成される。そして、図５の右側に示すように、信頼度決定部２１は、信頼度テーブルに登録されている顔領域４１乃至４３を更新する。
【００４２】
また、図５の中央に示すように、信頼度決定部２１は、カウントテーブルに登録されている、再度検出された顔領域４１の名前「Ａさん」に対応するカウント値を50だけインクリメントし、カウント値を100にする。また、信頼度決定部２１は、カウントテーブルに登録されている、再度検出された顔領域４２の名前「Ｂさん」および顔領域４３の名前「Ｃさん」に対応するカウント値を50だけインクリメントし、カウント値を50にする。
【００４３】
そして、信頼度決定部２１は、名前「Ａさん」とカウント値「100」が対応付けられたカウントテーブルに基づいて、カウント値「100」を正規化した値「0.5」を顔領域４１の信頼度に決定する。信頼度決定部２１は、図５の右側に示すように、その信頼度「0.5」を、名前「Ａさん」に対応付けて信頼度テーブルに登録する。
【００４４】
また、信頼度決定部２１は、名前「Ｂさん」および名前「Ｃさん」とカウント値「50」が対応付けられたカウントテーブルに基づいて、カウント値「50」を正規化した値「0.25」を顔領域４２および顔領域４３の信頼度に決定する。信頼度決定部２１は、図５の右側に示すように、その信頼度「0.25」を、名前「Ｂさん」および名前「Ｃさん」に対応付けて信頼度テーブルに登録する。
【００４５】
次に、顔検出部２０により顔領域４１が検出されず、顔領域４２および４３が再度検出された場合、図６の左側に示すように、顔領域４２および４３の顔情報が生成される。そして、図６の右側に示すように、信頼度決定部２１は、信頼度テーブルに登録されている顔領域４２および４３の顔情報を更新する。
【００４６】
また、図６の中央に示すように、信頼度決定部２１は、カウントテーブルに登録されている、検出されなくなった顔領域４１の名前「Ａさん」に対応するカウント値を50だけデクリメントし、カウント値を50にする。また、信頼度決定部２１は、カウントテーブルに登録されている、再度検出された顔領域４２の名前「Ｂさん」および顔領域４３の名前「Ｃさん」に対応するカウント値を50だけインクリメントし、カウント値を100にする。
【００４７】
そして、信頼度決定部２１は、名前「Ａさん」とカウント値「50」が対応付けられたカウントテーブルに基づいて、カウント値「50」を正規化した値「0.25」を顔領域４１の信頼度に決定する。信頼度決定部２１は、図６の右側に示すように、その信頼度「0.25」を、名前「Ａさん」に対応付けて信頼度テーブルに登録する。
【００４８】
また、信頼度決定部２１は、名前「Ｂさん」および名前「Ｃさん」とカウント値「100」が対応付けられたカウントテーブルに基づいて、カウント値「100」を正規化した値「0.5」を顔領域４２および顔領域４３の信頼度に決定する。信頼度決定部２１は、図６の右側に示すように、その信頼度「0.5」を、名前「Ｂさん」および名前「Ｃさん」に対応付けて信頼度テーブルに登録する。
【００４９】
次に、顔検出部２０により顔領域４１が再度検出されず、顔領域４２および４３が再度検出された場合、図７の左側に示すように、顔領域４２および４３の顔情報が生成される。そして、図７の右側に示すように、信頼度決定部２１は、信頼度テーブルに登録されている顔領域４２および４３の顔情報を更新する。
【００５０】
また、図７の中央に示すように、信頼度決定部２１は、カウントテーブルに登録されている、再度検出されなかった顔領域４１の名前「Ａさん」に対応するカウント値を50だけデクリメントし、カウント値を0にする。そして、信頼度決定部２１は、カウント値が0になった名前「Ａさん」とカウント値をカウントテーブルから削除するとともに、名前「Ａさん」と、対応する顔情報および信頼度とを信頼度テーブルから削除する。
【００５１】
信頼度決定部２１はまた、カウントテーブルに登録されている、再度検出された顔領域４２の名前「Ｂさん」および顔領域４３の名前「Ｃさん」に対応するカウント値を50だけインクリメントし、カウント値を150にする。
【００５２】
そして、信頼度決定部２１は、名前「Ｂさん」および名前「Ｃさん」とカウント値「150」が対応付けられたカウントテーブルに基づいて、カウント値「150」を正規化した値「0.75」を顔領域４２および顔領域４３の信頼度に決定する。信頼度決定部２１は、図７の右側に示すように、その信頼度「0.75」を、名前「Ｂさん」および名前「Ｃさん」に対応付けて信頼度テーブルに登録する。
【００５３】
以上のように、信頼度決定部２１は、顔検出部２０から顔情報が供給されるたびに、その顔情報に対応するカウントテーブルのカウント値をインクリメントする。また、信頼度決定部２１は、顔検出部２０により前に検出された顔領域の顔情報が供給されないたびに、その顔情報に対応するカウントテーブルのカウント値をデクリメントする。そして、信頼度決定部２１は、０より大きいカウント値を正規化して信頼度を決定する。即ち、信頼度決定部２１は、顔領域の検出の履歴に基づいて信頼度を決定する。従って、顔領域が検出されなくなっても、所定の期間、信頼度が決定される。
【００５４】
なお、図３乃至図７の例では、カウントテーブルに登録可能な名前の数は８個となっているが、カウントテーブルに登録可能な名前の数は、勿論、８個に限定されない。
【００５５】
（信頼度の時間変化の例）
図８は、信頼度の時間変化の例を示す図である。
【００５６】
なお、図８において、横軸は時刻を表している。
【００５７】
図８に示すように、先頭から３フレーム目の画像において顔領域が検出されると、顔検出部２０から顔情報が出力される。これにより、信頼度決定部２１から顔情報が出力されるとともに、信頼度として０が出力される。
【００５８】
同様に、先頭から４フレーム目以降の画像においても顔領域が検出されると、顔検出部２０から顔情報が出力される。これにより、信頼度決定部２１から顔情報が出力されるとともに、フレーム単位で所定値(本実施の形態では0.25)ずつインクリメントされる信頼度が出力される。この所定値は、信頼度の最大値をINC_COUNTとし、信頼度が最小値から最大値になるまでのフレーム数をCOUNT_MAXとしたとき、INC_COUNT/COUNT_MAXで表される。
【００５９】
先頭から７フレーム目の画像において顔領域が検出され、信頼度が最大値である１になると、それ以降のフレームの画像において顔領域が検出されても、信頼度はインクリメントされず１のままとなる。
【００６０】
そして、先頭から１０フレーム目の画像において顔領域が検出されなくなり、顔検出部２０から顔情報が出力されなくなると、信頼度は所定値(本実施の形態では0.25)だけデクリメントされるが、信頼度決定部２１から顔情報と信頼度が出力される。この所定値は、信頼度の最大値をDEC_COUNTとし、信頼度が最大値から最小値になるまでのフレーム数をCOUNT_MAXとしたとき、DEC_COUNT/COUNT_MAXで表される。
【００６１】
先頭から１１フレーム目以降も同様に顔領域が検出されず、顔検出部２０から顔情報が出力されないと、信頼度は、フレーム単位で所定値(本実施の形態では0.25)ずつデクリメントされ、その信頼度と顔情報が信頼度決定部２１から出力される。
【００６２】
そして、先頭から１３フレーム目の画像において顔領域が検出されず、信頼度が最小値である０になると、再び顔領域が検出されるまで、信頼度はデクリメントされず０のままとなり、信頼度と顔情報は信頼度決定部２１から出力されない。
【００６３】
以上のように、先頭から１０フレーム目の画像において顔領域の検出が終了するが、先頭から１２フレーム目まで、信頼度が０以外の値に決定され、信頼度と顔情報が信頼度決定部２１から出力される。
【００６４】
（強度決定部の構成例）
図９は、図１の強度決定部２３の構成例を示すブロック図である。
【００６５】
図９の強度決定部２３は、サイズ変調部６１、位置変調部６２、および算出部６３により構成される。
【００６６】
強度決定部２３のサイズ変調部６１は、顔領域ごとに、図１の信頼度決定部２１から供給される顔情報に含まれる顔領域のサイズに基づいて、信頼度決定部２１から供給される信頼度を変更する。サイズ変調部６１は、各顔領域の変更後の信頼度を算出部６３に供給する。
【００６７】
位置変調部６２は、顔領域ごとに、信頼度決定部２１から供給される顔情報に含まれる顔領域の中心の画像上の位置に基づいて、その位置と各画素の位置との距離を算出する。位置変調部６２は、顔領域および画素ごとに、算出された距離に基づいて、信頼度決定部２１から供給される信頼度を変更する。位置変調部６２は、顔領域および画素ごとの変更後の信頼度を算出部６３に供給する。
【００６８】
算出部６３は、顔領域ごとに、サイズ変調部６１から供給される信頼度と、位置変調部６２から供給される各画素の信頼度とを乗算する。算出部６３は、画素ごとに、各顔領域の乗算値のうちの最も大きい乗算値を強度として決定し、図１のＮＲ処理部１６に供給する。
【００６９】
(サイズ変調部による信頼度の変更の説明)
図１０は、図９のサイズ変調部６１による信頼度の変更を説明する図である。
【００７０】
図１０において、横軸は、i番目の顔領域のサイズとしての顔領域の１辺の長さfsize(i)を表し、縦軸は、i番目の顔領域の変更後の信頼度fsw(i)を表す。
【００７１】
図１０に示すように、変更後の信頼度fsw(i)は、長さfsize(i)とi番目の顔領域の変更前の信頼度ａ(i)に基づいて、以下の式（１）で表される。
【００７２】
【数１】
2015069361.tif 000003
【００７３】
なお、式（１）において、ｂ１,ｐ１,ｗ１は、それぞれ、予め決められたパラメータである。
【００７４】
式（１）によれば、基本的に、長さfsize(i)が大きいほど大きくなるように、信頼度a(i)が信頼度fsw(i)に変更される。
【００７５】
（位置変調部による信頼度の変更の説明)
図１１は、図９の位置変調部６２による信頼度の変更を説明する図である。
【００７６】
図１１において、横軸は、i番目の顔領域の中心の画像上の位置（fx_i,fy_i）とn番目の画素の中心の画像上の位置（x_n,y_n）との距離fdist(i,n)を表し、縦軸は、i番目の顔領域のn番目の画素に対する変更後の信頼度fdw(i,n)を表す。
【００７７】
図１１に示すように、変更後の信頼度fdw(i,n)は、距離fdist(i,n)とi番目の顔領域の変更前の信頼度ａ(i)に基づいて、以下の式（２）で表される。
【００７８】
【数２】
2015069361.tif 000004
【００７９】
なお、式（２）において、ｂ２,ｐ２,ｗ２は、それぞれ、予め決められたパラメータである。
【００８０】
式（２）によれば、基本的に、距離fdist(i,n)が近いほど大きくなるように、信頼度a(i)が信頼度fdw(i,n)に変更される。
【００８１】
図１２は、変更前の信頼度a(i)に応じた変更後の信頼度fdw(i,n)の変化を示す図である。
【００８２】
なお、図１２において、横軸は距離fdist(i,n)を表し、縦軸は変更後の信頼度fdw(i,n)を表す。
【００８３】
図１２Ａに示すように、変更前の信頼度a(i)が０である場合、変更後の信頼度fdw(i,n)は、距離fdist(i,n)によらず値ｂ２である。また、図１２Ｂに示すように、変更前の信頼度a(i)が０より大きく１より小さい場合、変更後の信頼度fdw(i,n)は、基本的に距離fdist(i,n)が近いほど大きくなり、変更後の信頼度fdw(i,n)の最大値は、変更前の信頼度a(i)が大きいほど大きい。
【００８４】
図１２Ｃに示すように、変更前の信頼度a(i)が１である場合、変更後の信頼度fdw(i,n)は、基本的に距離fdist(i,n)が近いほど大きくなり、変更後の信頼度fdw(i,n)の最大値は最も大きい。
【００８５】
（強度の例）
図１３は、図２の画像４０の各画素の強度の例を表す図である。
【００８６】
なお、図１３において、濃度が濃いほど強度が低いことを表し、濃度が薄いほど強度が高いことを表している。
【００８７】
算出部６３は、まず、以下の式（３）に示すように、信頼度fsw(i)と信頼度fdw(i,n)とを顔領域ごとに乗算し、各画素の顔領域ごとの信頼度Ｓ(i,n)を求める。
【００８８】
【数３】
2015069361.tif 000005
【００８９】
そして、算出部６３は、画素ごとに、各顔領域の信頼度Ｓ(i,n)のうちの最も大きい信頼度Ｓ(i,n)を強度ＳＴ(i)として決定する。
【００９０】
これにより、図２に示した顔領域４１乃至４３を含む画像４０の各画素の強度は、図１３に示すようになる。即ち、顔領域４１乃至４３の中心の位置(fx_0,fy_0),(fx_1,fy_1),(fx_2,fy_2)から離れるにしたがって強度が低くなる。また、顔領域４１、顔領域４３、顔領域４２の順に小さくなるので、位置(fx_0,fy_0),(fx_2,fy_2),(fx_1,fy_1)の順に強度が小さくなる。
【００９１】
なお、信頼度決定部２１から１つの顔領域も出力されない場合、強度決定部２３は、信頼度ａ(i)を０として強度を決定する。これにより、全画素の強度はｂ１×ｂ２となる。
【００９２】
（ＮＲ処理部の構成例）
図１４は、図１のＮＲ処理部１６の構成例を示すブロック図である。
【００９３】
図１４のＮＲ処理部１６は、εフィルタ８１と合成部８２により構成される。
【００９４】
ＮＲ処理部１６のεフィルタ８１は、ノイズリダクション処理部として機能し、図１のリサイズ処理部１５から供給される画像に対して、ノイズリダクション処理としてεフィルタ処理を行う。具体的には、εフィルタ８１は、例えば、画像内の各画素を注目画素とする。そして、εフィルタ８１は、注目画素を中心としたブロックに含まれる注目画素の周辺の全ての画素（以下、周辺画素という）について、注目画素の画素値との差分を算出する。εフィルタ８１は、差分の絶対値が予め設定された値であるε値よりも小さい周辺画素の画素値を平均して得られた値をεフィルタ処理後の注目画素の画素値とする。ＮＲ処理部１６は、εフィルタ処理後の画像を合成部８２に供給する。
【００９５】
合成部８２は、ＮＲ処理部１６から供給されるノイズリダクション処理後の画像とリサイズ処理部１５から供給されるノイズリダクション処理前の画像とを、強度決定部２３から供給される強度に基づいて画素単位で合成する。具体的には、合成部８２は、以下の式（４）により、画素ごとに、リサイズ処理部１５から供給される画像の画素値INとＮＲ処理部１６から供給される画像の画素値LOWを、強度ST(ｎ)に基づいて合成する。
【００９６】
【数４】
2015069361.tif 000006
【００９７】
合成部８２は、合成の結果得られる各画素の画素値OUTからなる画像を図１の符号化/復号部１７に供給するとともに、バス２５を介して表示部１９に供給する。
【００９８】
なお、本実施の形態では、ノイズリダクション処理としてεフィルタ処理が行われるが、LPF（Low Pass Filter）処理、メディアンフィルタ処理、ラプラシアンフィルタ処理等が行われるようにしてもよい。
【００９９】
（画像処理装置の処理の説明）
図１５は、図１の画像処理装置１０の画像処理を説明するフローチャートである。
【０１００】
図１５のステップＳ１１において、画像処理装置１０の固体撮像素子１２は、光学系１１を介して撮像面上に結像された被写体からの入射光の光量に応じた電荷を画素ごとに蓄積することにより、撮像を行う。固体撮像素子１２は、撮像の結果各画素に蓄積された電荷のアナログ信号を画素信号として前処理部１３に供給する。
【０１０１】
ステップＳ１２において、前処理部１３は、固体撮像素子１２から供給される画素信号に対して、A/D変換処理、デモザイク処理等の前処理を行い、画像のRGB信号を生成する。前処理部１３は、画像のRGB信号をＹＣ変換部１４に供給する。
【０１０２】
ステップＳ１３において、ＹＣ変換部１４は、前処理部１３から供給される画像のRGB信号をYCbCr信号に変換し、リサイズ処理部１５に供給する。
【０１０３】
ステップＳ１４において、リサイズ処理部１５は、ＹＣ変換部から供給される画像（のYCbCr信号）のサイズを所定のサイズに変更し、ＮＲ処理部１６と顔検出部２０に供給する。
【０１０４】
ステップＳ１５において、顔検出部２０は、リサイズ処理部１５から供給される画像内の顔領域を検出する。顔検出部２０は、検出された顔領域の中心の画像上の位置および顔領域のサイズ、並びに、顔領域に含まれる顔に対応する名前を、顔情報として信頼度決定部２１に供給する。
【０１０５】
ステップＳ１６において、信頼度決定部２１は、信頼度テーブルに顔検出部２０から供給される顔情報を登録する。
【０１０６】
ステップＳ１７において、信頼度決定部２１は、顔検出部２０から供給される顔情報に基づいて、データベース２２に登録されている、顔領域に対応する名前とカウント値を対応付けたカウントテーブルを更新する。
【０１０７】
ステップＳ１８において、信頼度決定部２１は、データベース２２に登録されているカウントテーブルに基づいて、カウントテーブル内の名前の顔領域ごとに、対応するカウント値に基づいて信頼度ａ(i)を決定する。信頼度決定部２１は、信頼度テーブルに登録されている顔情報に対応付けて、その顔情報に対応する信頼度ａ(i)を登録する。信頼度決定部２１は、信頼度テーブルに登録されている顔情報と信頼度ａ(i)を、強度決定部２３に供給する。
【０１０８】
ステップＳ１９において、強度決定部２３のサイズ変調部６１（図９）は、顔領域ごとに、信頼度決定部２１から供給される顔情報に含まれる顔領域の１辺の長さfsize(i)に基づいて、信頼度決定部２１から供給される信頼度ａ(i)を変更する。サイズ変調部６１は、各顔領域の変更後の信頼度fsw(i)を算出部６３に供給する。
【０１０９】
ステップＳ２０において、位置変調部６２は、顔領域ごとに、顔領域の中心の画像上の位置（fx_i,fy_i）と各画素の位置（x_n,y_n）の距離fdist(i,n)に基づいて、信頼度決定部２１から供給される信頼度ａ(i)を変更する。位置変調部６２は、顔領域および画素ごとの変更後の信頼度fdw(i,n)を算出部６３に供給する。
【０１１０】
ステップＳ２１において、算出部６３は、顔領域ごとに、信頼度fsw(i)と各画素の信頼度fdw(i,n)とを乗算して信頼度Ｓ(i,n)を生成し、画素ごとに、各顔領域の信頼度Ｓ(i,n)のうちの最も大きい信頼度Ｓ(i,n)を強度ST(i)として決定する。算出部６３は、強度ST(i)をＮＲ処理部１６に供給する。
【０１１１】
ステップＳ２２において、ＮＲ処理部１６のεフィルタ８１（図１４）は、リサイズ処理部１５から供給される画像に対して、ノイズリダクション処理としてεフィルタ処理を行う。ＮＲ処理部１６は、εフィルタ処理後の画像を合成部８２に供給する。
【０１１２】
ステップＳ２３において、合成部８２は、強度決定部２３から供給される強度ST(i)に基づいて、ＮＲ処理部１６から供給されるノイズリダクション後の画像と、リサイズ処理部１５から供給されるノイズリダクション前の画像とを合成する。合成部８２は、合成の結果得られる画像を符号化/復号部１７に供給するとともに、バス２５を介して表示部１９に供給する。
【０１１３】
ステップＳ２４において、表示部１９は、合成部８２から供給される画像を表示する。ステップＳ２５において、符号化/復号部１７は、合成部８２から供給される画像を符号化し、その結果得られる符号化データをストレージ１８に供給する。
【０１１４】
ステップＳ２６において、ストレージ１８は、符号化/復号部１７から供給される符号化データを記憶し、処理を終了する。
【０１１５】
以上のように、画像処理装置１０は、顔領域の位置と各画素の位置との距離に基づいてノイズリダクション処理の強度を決定するので、顔領域の位置からの距離に適した強度で画像に対してノイズリダクション処理を行うことができる。その結果、一般的に人間が画質に敏感になる顔領域およびその周辺領域のノイズをより削減することができる。また、人間が画質に鈍感になる顔領域から離れた領域のノイズリダクション処理による画質劣化を抑制することができる。
【０１１６】
また、画像処理装置１０は、顔領域が検出された場合、信頼度ａ(i)を所定値ずつインクリメントし、顔領域が検出されなくなった場合、信頼度ａ(i)を所定値ずつデクリメントする。従って、信頼度ａ(i)に対応する強度ST（n）が急激に変化することを防止することができる。その結果、ノイズリダクション処理後の画像のノイズ感の急激な変化を抑制し、画質を向上させることができる。
【０１１７】
さらに、画像処理装置１０は、顔領域のサイズに基づいてノイズリダクション処理の強度を決定するので、顔領域のサイズに適した強度で画像に対してノイズリダクション処理を行うことができる。その結果、一般的に人間が画質に敏感になる大きいサイズの顔領域のノイズをより削減することができる。また、人間が画質に鈍感になる小さいサイズの顔領域のノイズリダクション処理による画質劣化を抑制することができる。
【０１１８】
＜第２実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１１９】
図１６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１２０】
コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１２１】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、撮像部２０６、入力部２０７、出力部２０８、記憶部２０９、通信部２１０、及びドライブ２１１が接続されている。
【０１２２】
撮像部２０６は、光学系、固体撮像素子等により構成される。撮像部２０６は、画像を撮像する。入力部２０７は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０８は、ディスプレイ、スピーカなどよりなる。記憶部２０９は、ハードディスクや不揮発性のメモリなどよりなる。通信部２１０は、ネットワークインタフェースなどよりなる。ドライブ２１１は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１２を駆動する。
【０１２３】
以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０９に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１２４】
コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１２に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１２５】
コンピュータ２００では、プログラムは、リムーバブルメディア２１２をドライブ２１１に装着することにより、入出力インタフェース２０５を介して、記憶部２０９にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２１０で受信し、記憶部２０９にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０９に、あらかじめインストールしておくことができる。
【０１２６】
なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１２７】
本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０１２８】
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１２９】
例えば、画像処理装置１０は、顔領域以外の領域(例えば、犬、猫、一般物体(車など)の領域など)を検出するようにしてもよい。画像処理装置１０は、ノイズリダクション処理以外の画像処理(例えば、エッジエンハンスメント処理、コントラスト強調処理、色再現処理など)の強度を決定するようにしてもよい。
【０１３０】
また、顔領域として、正方形状以外の形状の領域を検出するようにしてもよい。ノイズリダクション処理の処理単位は、画素単位ではなく、複数の画素からなるブロック単位であってもよい。
【０１３１】
さらに、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１３２】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１３３】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１３４】
本開示は、以下のような構成もとることができる。
【０１３５】
（１）
画像内の領域を検出する検出部と、
前記検出部により検出された前記領域の位置と前記画像の処理単位の位置との距離に基づいて、前記処理単位の処理の強度を決定する強度決定部と、
前記強度決定部により決定された前記強度で、前記画像に対して前記処理単位で前記処理を行う処理部と
を備える画像処理装置。
（２）
前記強度決定部は、前記検出部により複数の前記領域が検出される場合、前記領域ごとに前記強度を決定し、その強度のうちの最も強い強度を最終的な強度に決定する
ように構成された
前記（１）に記載の画像処理装置。
（３）
前記強度決定部は、前記距離と前記領域のサイズに基づいて前記強度を決定する
ように構成された
前記（１）または（２）に記載の画像処理装置。
（４）
前記検出部による前記領域の検出の履歴に基づいて、前記領域の信頼度を決定する信頼度決定部
をさらに備え、
前記強度決定部は、前記距離と前記信頼度決定部により決定された前記信頼度とに基づいて前記強度を決定する
ように構成された
前記（１）乃至（３）のいずれかに記載の画像処理装置。
（５）
前記信頼度決定部は、前記検出部により前記領域が検出された場合、前記信頼度を所定値だけ増加させ、前記検出部により前記領域が検出されなくなった場合、前記信頼度を所定値だけ減少させる
ように構成された
前記（４）に記載の画像処理装置。
（６）
前記処理は、ノイズリダクション処理である
ように構成された
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記処理部は、
前記画像に対して前記ノイズリダクション処理を行うノイズリダクション処理部と、
前記ノイズリダクション処理部による前記ノイズリダクション処理後の画像と、前記ノイズリダクション処理前の画像とを、前記強度に基づいて前記処理単位で合成する合成部と
を備える
前記（６）に記載の画像処理装置。
（８）
前記領域は、顔領域である
ように構成された
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
画像処理装置が、
画像内の領域を検出する検出ステップと、
前記検出ステップの処理により検出された前記領域の位置と前記画像の処理単位の位置との距離に基づいて、前記処理単位の処理の強度を決定する強度決定ステップと、
前記強度決定ステップの処理により決定された前記強度で、前記画像に対して前記処理単位で前記処理を行う処理ステップと
を含む画像処理方法。
（１０）
コンピュータを、
画像内の領域を検出する検出部と、
前記検出部により検出された前記領域の位置と前記画像の処理単位の位置との距離に基づいて、前記処理単位の処理の強度を決定する強度決定部と、
前記強度決定部により決定された前記強度で、前記画像に対して前記処理単位で前記処理を行う処理部と
して機能させるためのプログラム。
【符号の説明】
【０１３６】
１０  画像処理装置，  １６  ＮＲ処理部，  ２０  顔検出部，  ２１  信頼度決定部，  ２３  強度決定部，  ８１  εフィルタ，  ８２  合成部
【図１】
2015069361.tif 000007
【図２】
2015069361.tif 000008
【図３】
2015069361.tif 000009
【図４】
2015069361.tif 000010
【図５】
2015069361.tif 000011
【図６】
2015069361.tif 000012
【図７】
2015069361.tif 000013
【図８】
2015069361.tif 000014
【図９】
2015069361.tif 000015
【図１０】
2015069361.tif 000016
【図１１】
2015069361.tif 000017
【図１２】
2015069361.tif 000018
【図１３】
2015069361.tif 000019
【図１４】
2015069361.tif 000020
【図１５】
2015069361.tif 000021
【図１６】
2015069361.tif 000022