(57)【要約】【課題】感度が異なる複数の画素のそれぞれによって生成された画素信号から成る画像を適切に合成する。【解決手段】本開示の一側面である画像処理装置は、感度が異なる複数の画素のそれぞれの出力から成る複数の撮像画像それぞれに対して所定のフィルタ処理を行う複数のフィルタ部と、前記複数のフィルタ処理結果のうちの少なくとも一つを用いて合成率を算出する合成率算出部と、前記複数の撮像画像それぞれに対してシェーディング補正処理を行う複数のシェーディング補正部と、前記複数のフィルタ処理結果それぞれに対し、前記シェーディング補正処理のゲインを乗算した結果に基づいて動被写体検出を行う動被写体検出部と、前記動被写体検出の結果に基づき、算出された前記合成率を制御する合成率制御部と、制御済みの前記合成率に従って、前記複数のシェーディング処理結果を合成する合成部とを備える。本開示は、ＷＤ画像を生成する場合に適用できる。【選択図】図１
2017224971.tif 000002
【特許請求の範囲】
【請求項１】
感度が異なる複数の画素のそれぞれの出力から成る複数の撮像画像それぞれに対して所定のフィルタ処理を行う複数のフィルタ部と、
前記複数のフィルタ部によるフィルタ処理結果のうちの少なくとも一つを用いて合成率を算出する合成率算出部と、
前記複数の撮像画像それぞれに対してシェーディング補正処理を行う複数のシェーディング補正部と、
前記複数のフィルタ部によるフィルタ処理結果それぞれに対し、対応する前記撮像画像に対して前記シェーディング補正処理を行ったときのゲインを乗算した結果に基づいて動被写体検出を行う動被写体検出部と、
前記動被写体検出の結果に基づき、算出された前記合成率を制御する合成率制御部と、
制御済みの前記合成率に従って、前記複数のシェーディング補正部によるシェーディング処理結果を合成する合成部と
を備える画像処理装置。
【請求項２】
前記複数の撮像画像は、大画素の出力から成る大画素画像と、前記大画素に比較して受光面積が狭い小画素の出力から成る小画素画像である
請求項１に記載の画像処理装置。
【請求項３】
前記大画素画像と前記小画素画像は、露光時間が異なる
請求項２に記載の画像処理装置。
【請求項４】
前記動被写体検出部は、前記複数のフィルタ部によるフィルタ処理結果それぞれに対し、対応する前記撮像画像に対して前記シェーディング補正処理を行ったときのゲインを乗算した結果の差分と所定の閾値との比較結果に基づいて動被写体検出を行う
請求項２に記載の画像処理装置。
【請求項５】
前記シェーディング補正部は、前記フィルタ部に対して入力される前の前記撮像画像に対してシェーディング補正処理を行う
請求項２に記載の画像処理装置。
【請求項６】
前記シェーディング補正部は、前記フィルタ部を通過した前記撮像画像に対してシェーディング補正処理を行う
請求項２に記載の画像処理装置。
【請求項７】
前記シェーディング補正部は、前記フィルタ部によって前記フィルタ処理が行われた前記撮像画像に対してシェーディング補正処理を行う
請求項２に記載の画像処理装置。
【請求項８】
前記合成率制御部は、前記動被写体が検出されていない領域に対して、算出された前記合成率を適用し、前記動被写体が検出された領域に対して、前記複数のシェーディング補正部によるシェーディング処理結果のいずれかを優先的に用いるように前記合成率を制御する
請求項２に記載の画像処理装置。
【請求項９】
画像処理装置による、
感度が異なる複数の画素のそれぞれの出力から成る複数の撮像画像それぞれに対して所定のフィルタ処理を行うフィルタ処理ステップと、
前記フィルタ処理ステップによる複数のフィルタ処理結果のうちの少なくとも一つを用いて合成率を算出する合成率算出ステップと、
前記複数の撮像画像それぞれに対してシェーディング補正処理を行うシェーディング補正ステップと、
前記フィルタ処理ステップによる複数のフィルタ処理結果それぞれに対し、対応する前記撮像画像に対して前記シェーディング補正処理を行ったときのゲインを乗算した結果に基づいて動被写体検出を行う動被写体検出ステップと、
前記動被写体検出の結果に基づき、算出された前記合成率を制御する合成率制御ステップと、
制御済みの前記合成率に従って、前記複数のシェーディング補正部によるシェーディング処理結果を合成する合成ステップと
を含む画像処理方法。
【請求項１０】
コンピュータを、
感度が異なる複数の画素のそれぞれの出力から成る複数の撮像画像それぞれに対して所定のフィルタ処理を行う複数のフィルタ部と、
前記複数のフィルタ部によるフィルタ処理結果のうちの少なくとも一つを用いて合成率を算出する合成率算出部と、
前記複数の撮像画像それぞれに対してシェーディング補正処理を行う複数のシェーディング補正部と、
前記複数のフィルタ部によるフィルタ処理結果それぞれに対し、対応する前記撮像画像に対して前記シェーディング補正処理を行ったときのゲインを乗算した結果に基づいて動被写体検出を行う動被写体検出部と、
前記動被写体検出の結果に基づき、算出された前記合成率を制御する合成率制御部と、
制御済みの前記合成率に従って、前記複数のシェーディング補正部によるシェーディング処理結果を合成する合成部と
して機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、およびプログラムに関し、特に、感度が異なる複数の画素のそれぞれの出力から成る画像を合成することにより、ダイナミックレンジを広げた画像を生成する場合に用いて好適な画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、ダイナミックレンジを広げた画像（以下、ＷＤ画像と称する）を生成する方法として、CMOSイメージセンサなどの画素アレイ上に感度の異なる第１の画素と第２の画素を設け、それぞれの出力から成る第１の画像と第２の画像を合成する方法が知られている。具体的には、第１の画像と第２の画像の少なくとも一つの信号レベルに基づいて合成率を算出し、第１の画像と第２の画像の差分に基づいて動体を検出し、動体が検出された領域の合成率を調整することにより、動被写体のアーチファクトによる画質劣化や、画像を合成した境界のノイズなどを抑止するようにされている。
【０００３】
ここで、感度が異なる画素を設ける方法としては、例えば、露光時間が長い画素と短い画素を設けたり、受光面積が広い画素と狭い画素を設けたりする方法がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２２２１５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した受光面積が広い画素（以下、大画素と称する）と狭い画素（以下、小画素と称する）それぞれの出力から成る大画素画像と小画素画像を合成する場合、大画素画像と小画素画像とではシェーディング（以下、SHDとも称する）の形状が異なることが問題となる。ここで、シェーディングとは、画像上に輝度ムラが生じる現象を指すものとする。
【０００６】
すなわち、ＷＤの画像を生成する従来手法では、シェーディングの補正を考慮することなく動体検出を行っていたので、シェーディング形状に違いがある大画素画像と小画素画像との差分から動体検出を行った場合、その精度が劣化してしまうことになる。これにより、合成されるＷＤの画像には、動被写体のアーチファクトによる画質劣化が生じたり、大画素画像と小画素画像を合成した境界にノイズが生じたりし得る。
【０００７】
本開示はこのような状況に鑑みてなされたものであり、感度が異なる複数の画素のそれぞれによって生成された画素信号から成る画像を適切に合成できるようにするものである。
【課題を解決するための手段】
【０００８】
本開示の一側面である画像処理装置は、感度が異なる複数の画素のそれぞれの出力から成る複数の撮像画像それぞれに対して所定のフィルタ処理を行う複数のフィルタ部と、前記複数のフィルタ部によるフィルタ処理結果のうちの少なくとも一つを用いて合成率を算出する合成率算出部と、前記複数の撮像画像それぞれに対してシェーディング補正処理を行う複数のシェーディング補正部と、前記複数のフィルタ部によるフィルタ処理結果それぞれに対し、対応する前記撮像画像に対して前記シェーディング補正処理を行ったときのゲインを乗算した結果に基づいて動被写体検出を行う動被写体検出部と、前記動被写体検出の結果に基づき、算出された前記合成率を制御する合成率制御部と、制御済みの前記合成率に従って、前記複数のシェーディング補正部によるシェーディング処理結果を合成する合成部とを備える。
【０００９】
前記複数の撮像画像は、大画素の出力から成る大画素画像と、前記大画素に比較して受光面積が狭い小画素の出力から成る小画素画像とすることができる。
【００１０】
前記大画素画像と前記小画素画像は、露光時間が異なるようにすることができる。
【００１１】
前記動被写体検出部は、前記複数のフィルタ部によるフィルタ処理結果それぞれに対し、対応する前記撮像画像に対して前記シェーディング補正処理を行ったときのゲインを乗算した結果の差分と所定の閾値との比較結果に基づいて動被写体検出を行うことができる。
【００１２】
前記シェーディング補正部は、前記フィルタ部に対して入力される前の前記撮像画像に対してシェーディング補正処理を行うことができる。
【００１３】
前記シェーディング補正部は、前記フィルタ部を通過した前記撮像画像に対してシェーディング補正処理を行うことができる。
【００１４】
前記シェーディング補正部は、前記フィルタ部によって前記フィルタ処理が行われた前記撮像画像に対してシェーディング補正処理を行うことができる。
【００１５】
前記合成率制御部は、前記動被写体が検出されていない領域に対して、算出された前記合成率を適用し、前記動被写体が検出された領域に対して、前記複数のシェーディング補正部によるシェーディング処理結果のいずれかを優先的に用いるように前記合成率を制御することができる。
【００１６】
本開示の一側面である画像処理方法は、画像処理装置による、感度が異なる複数の画素のそれぞれの出力から成る複数の撮像画像それぞれに対して所定のフィルタ処理を行うフィルタ処理ステップと、前記フィルタ処理ステップによる複数のフィルタ処理結果のうちの少なくとも一つを用いて合成率を算出する合成率算出ステップと、前記複数の撮像画像それぞれに対してシェーディング補正処理を行うシェーディング補正ステップと、前記フィルタ処理ステップによる複数のフィルタ処理結果それぞれに対し、対応する前記撮像画像に対して前記シェーディング補正処理を行ったときのゲインを乗算した結果に基づいて動被写体検出を行う動被写体検出ステップと、前記動被写体検出の結果に基づき、算出された前記合成率を制御する合成率制御ステップと、制御済みの前記合成率に従って、前記複数のシェーディング補正部によるシェーディング処理結果を合成する合成ステップとを含む。
【００１７】
本開示の一側面であるプログラムは、コンピュータを、感度が異なる複数の画素のそれぞれの出力から成る複数の撮像画像それぞれに対して所定のフィルタ処理を行う複数のフィルタ部と、前記複数のフィルタ部によるフィルタ処理結果のうちの少なくとも一つを用いて合成率を算出する合成率算出部と、前記複数の撮像画像それぞれに対してシェーディング補正処理を行う複数のシェーディング補正部と、前記複数のフィルタ部によるフィルタ処理結果それぞれに対し、対応する前記撮像画像に対して前記シェーディング補正処理を行ったときのゲインを乗算した結果に基づいて動被写体検出を行う動被写体検出部と、前記動被写体検出の結果に基づき、算出された前記合成率を制御する合成率制御部と、制御済みの前記合成率に従って、前記複数のシェーディング補正部によるシェーディング処理結果を合成する合成部として機能させる。
【００１８】
本開示の一側面においては、感度が異なる複数の画素のそれぞれの出力から成る複数の撮像画像それぞれに対して所定のフィルタ処理が行われ、複数のフィルタ処理結果のうちの少なくとも一つを用いて合成率が算出される。また、複数の撮像画像それぞれに対してシェーディング補正処理が行われ、複数のフィルタ処理結果それぞれに対し、対応する撮像画像に対してシェーディング補正処理を行ったときのゲインを乗算した結果に基づいて動被写体検出が行われ、動被写体検出の結果に基づき、算出された合成率が制御されて、複数のシェーディング処理結果が合成される。
【発明の効果】
【００１９】
本開示の一側面によれば、感度が異なる複数の画素のそれぞれによって生成された画素信号から成る画像を適切に合成することができる。
【図面の簡単な説明】
【００２０】
【図１】本開示を適用した画像処理装置の第1の構成例を示すブロック図である。
【図２】ＷＤ画像生成処理を説明するフローチャートである。
【図３】本開示を適用した画像処理装置の第2の構成例を示すブロック図である。
【図４】本開示を適用した画像処理装置の第3の構成例を示すブロック図である。
【図５】本開示を適用した画像処理装置の第4の構成例を示すブロック図である。
【図６】本開示を適用した画像処理装置の第5の構成例を示すブロック図である。
【図７】汎用のコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
【００２２】
＜本開示の第１の実施の形態である画像処理装置の構成例＞
図１は、本開示の第１の実施の形態である画像処理装置の構成例（第１の構成例）を示している。
【００２３】
この画像処理装置１０は、CMOSイメージセンサなどの画素アレイ上に配置された感度の異なる第１の画素と第２の画素それぞれの出力から成る第１の画像と第２の画像を入力とし、それらを合成してＷＤ画像を合成するものである。
【００２４】
図１の場合、第１の画像は、大画素の出力から成る大画素画像（のRAWデータ）、第２の画像は、大画素と露光時間が統一されている小画素の出力から成る小画素画像（のRAWデータ）とされている。
【００２５】
画像処理装置１０は、フィルタ部１１および１２、SHD補正部１３および１４、乗算部１５および１６、動被写体検出部１７、合成率算出部１８、合成率制御部１９、並びに合成部２０を有する。
【００２６】
フィルタ部１１は、大画素画像を入力とし、大画素画像を成す各画素（大画素）を順次、注目画素とし、注目画素をSHD補正部１３に出力する。また、フィルタ部１１は、注目画素を基準として所定のフィルタ処理（例えば、ガウシアンフィルタ処理）を行い、その結果得られる注目画素に対応するフィルタ出力ｆ１を乗算部１５および合成率算出部１８に出力する。
【００２７】
同様に、フィルタ部１２は、小画素画像を入力とし、小画素画像を成す各画素（小画素）を順次、注目画素とし、注目画素をSHD補正部１４に出力する。また、フィルタ部１２は、注目画素を基準として所定のフィルタ処理（例えば、ガウシアンフィルタ処理）を行い、その結果得られる注目画素に対応するフィルタ出力ｆ２を乗算部１６に出力する。
【００２８】
SHD補正部１３は、フィルタ部１１から入力される大画素画像の注目画素に対し、大画素画像における位置に応じたゲインを乗算するシェーディング補正処理を行い、補正処理済みの注目画素を合成部２０に出力する。これと同時にSHD補正部１３は、シェーディング補正処理におけるゲインを乗算部１５に通知する。
【００２９】
同様に、SHD補正部１４は、フィルタ部１２から入力される小画素画像の注目画素に対し、小画素画像における位置に応じたゲインを乗算するシェーディング補正処理を行い、補正処理済みの注目画素を合成部２０に出力する。これと同時にSHD補正部１４は、シェーディング補正処理におけるゲインを乗算部１６に通知する。
【００３０】
乗算部１５は、フィルタ出力ｆ１（大画素画像の注目画素に対するフィルタリング結果）に対し、SHD補正部１３から通知されるゲインを乗算し、その乗算結果を動被写体検出部１７に出力する。したがって、乗算部１５の出力は、実質的に、フィルタ出力ｆ１に対してSHD補正処理が行われたものとなる。
【００３１】
同様に、乗算部１６は、フィルタ出力ｆ２（小画素画像の注目画素に対するフィルタリング結果）に対し、SHD補正部１４から通知されるゲインを乗算し、その乗算結果を動被写体検出部１７に出力する。したがって、乗算部１６の出力は、実質的に、フィルタ出力ｆ２に対してSHD補正処理が行われたものとなる。
【００３２】
動被写体検出部１７は、乗算部１５の乗算結果と、乗算部１６の乗算結果との差分を算出し、算出した差分が所定の第１の閾値以上である領域を動被写体領域として検出し、検出結果を合成率制御部１９に出力する。
【００３３】
合成率算出部１８は、フィルタ出力ｆ１（大画素画像の注目画素に対するフィルタリング結果）に基づき、大画素画像と小画素画像とをαブレンディングする際の合成率を画素毎に算出して合成率制御部１９に通知する。このとき、フィルタ出力ｆ１が所定の閾値以上である場合、大画素の値は飽和している可能性が有るので、大画素を合成せず、小画素のみを採用するように合成率を決定する。
【００３４】
合成率制御部１９は、動被写体検出部１７の検出結果に基づき、動被写体領域については合成率算出部１８から通知された合成率を適用せず、大画素画像を優先的に採用するようにし、それ以外の領域については合成率算出部１８から通知された合成率を適用するように、合成率を制御して合成部２０に通知する。なお、動被写体領域については合成率算出部１８から通知された合成率を適用せず、小画素画像を優先的に採用するようにしてもよい。
【００３５】
合成部２０は、合成率制御部１９からの通知に応じ、SHD補正部１３の出力（SHD補正済みの大画素画像の注目画素）とSHD補正部１４の出力（SHD補正済みの小画素画像の注目画素）とを、注目画素に対応する合成率でαブレンディングによって合成することにより、ＷＤ画像を生成する。
【００３６】
＜画像処理装置１０の動作＞
次に、図２は、画像処理装置１０によるＷＤ画像生成処理を説明するフローチャートである。
【００３７】
ステップＳ１において、フィルタ部１１は、入力された大画素画像を成す各画素（大画素）を順次、注目画素とし、注目画素をSHD補正部１３に出力する。また、フィルタ部１１は、注目画素を基準として所定のフィルタ処理を行い、その結果得られる注目画素に対応するフィルタ出力ｆ１を乗算部１５および合成率算出部１８に出力する。
【００３８】
同様に、フィルタ部１２は、入力された小画素画像を成す各画素（小画素）を順次、注目画素とし、注目画素をSHD補正部１４に出力する。また、フィルタ部１２は、注目画素を基準として所定のフィルタ処理を行い、その結果得られる注目画素に対応するフィルタ出力ｆ２を乗算部１６に出力する。
【００３９】
ステップＳ２において、合成率算出部１８は、フィルタ出力ｆ１（大画素画像の注目画素に対するフィルタリング結果）に基づき、大画素画像と小画素画像とをαブレンディングする際の合成率を算出して合成率制御部１９に通知する。
【００４０】
ステップＳ３において、SHD補正部１３は、フィルタ部１１から入力された大画素画像の注目画素に対し、シェーディング補正処理を行い、補正処理済みの注目画素を合成部２０に出力するとともに、シェーディング補正処理におけるゲインを乗算部１５に通知する。乗算部１５は、フィルタ出力ｆ１に対し、SHD補正部１３から通知されたゲインを乗算し、その乗算結果を動被写体検出部１７に出力する。同様に、SHD補正部１４は、フィルタ部１２から入力された小画素画像の注目画素に対し、シェーディング補正処理を行い、補正処理済みの注目画素を合成部２０に出力するとともに、シェーディング補正処理におけるゲインを乗算部１６に通知する。乗算部１６は、フィルタ出力ｆ２に対し、SHD補正部１４から通知されたゲインを乗算し、その乗算結果を動被写体検出部１７に出力する。
【００４１】
ステップＳ４において、動被写体検出部１７は、乗算部１５の乗算結果と、乗算部１６の乗算結果との差分を算出し、算出した差分が所定の閾値以上である領域を動被写体領域として検出し、検出結果を合成率制御部１９に出力する。
【００４２】
ステップＳ５において、合成率制御部１９は、動被写体検出部１７の検出結果に基づき合成率を制御する。具体的には、動被写体領域については合成率算出部１８から通知された合成率を適用せず、大画素画像を優先的に採用するようにし、それ以外の領域については合成率算出部１８から通知された合成率を適用するように、合成率を制御して合成部２０に通知する。
【００４３】
ステップＳ６において、合成部２０は、合成率制御部１９からの通知に応じ、SHD補正部１３の出力（SHD補正済みの大画素画像の注目画素）とSHD補正部１４の出力（SHD補正済みの小画素画像の注目画素）とを、注目画素に対応する合成率でαブレンディングによって合成することによりＷＤ画像を生成する。以上で、ＷＤ画像生成処理は終了される。
【００４４】
以上に説明したＷＤ画像生成処理によれば、シェーディング補正処理済の画像に基づいて動被写体検出が行われるので、その精度の劣化を抑止できる。したがって、動被写体領域に基づく合成率の制御も適切に行うことができ、大画素画像と小画素画像とを適切に合成することができる。
【００４５】
＜本開示の第２の実施の形態である画像処理装置の構成例＞
図３は、本開示の第２の実施の形態である画像処理装置の構成例（第２の構成例）を示している。
【００４６】
この画像処理装置３０は、図１に示された画像処理装置１０に対して、フィルタ部１２からのフィルタ出力ｆ２を合成率算出部１８に供給する配線３１を追加したものである。画像処理装置３０のその他の構成要素については、画像処理装置１０の構成要素と共通であり、同一の符号を付しているので、その説明は適宜省略する。
【００４７】
ただし、画像処理装置３０における合成率算出部１８は、フィルタ出力ｆ１とｆ２の少なくとも一方に基づき、大画素画像と小画素画像とをαブレンディングする際の合成率を画素毎に算出して合成率制御部１９に通知する。このとき、フィルタ出力ｆ１が所定の第１の閾値以上である場合、大画素の値は飽和している可能性が有るので、大画素を合成せず、小画素のみを採用するように合成率を決定する。また、フィルタ出力ｆ２が所定の第２の閾値以上である場合、大画素の値は飽和している可能性が有るので、小画素を合成せず、小画素のみを採用するように合成率を決定する。
【００４８】
画像処理装置３０による合成率算出部１８以外の動作については、上述した画像処理装置１０によるＷＤ画像生成処理と同様なので、その説明は省略する。
【００４９】
＜本開示の第３の実施の形態である画像処理装置の構成例＞
図４は、本開示の第３の実施の形態である画像処理装置の構成例（第３の構成例）を示している。
【００５０】
この画像処理装置４０は、図３に示された画像処理装置３０のSHD補正部１３および１４を、それぞれ。フィルタ部１１の前段に移動したものである。画像処理装置４０の構成要素については、画像処理装置３０の構成要素と共通であり、同一の符号を付しているので、その説明は適宜省略する。
【００５１】
ただし、画像処理装置４０における合成率算出部１８は、SHD補正済みのフィルタ出力ｆ１とｆ２の少なくとも一方に基づき、大画素画像と小画素画像とをαブレンディングする際の合成率を画素毎に算出して合成率制御部１９に通知することになる。よって、フィルタ出力ｆ１と比較する第１の閾値にも、SHD補正部１３によるSHD補正処理のゲインを乗算して補正する必要がある。同様に、フィルタ出力ｆ２と比較する第２の閾値にも、SHD補正部１４によるSHD補正処理のゲインを乗算して補正する必要がある。
【００５２】
画像処理装置４０による合成率算出部１８以外の動作については、上述した画像処理装置１０によるＷＤ画像生成処理と同様なので、その説明は省略する。
【００５３】
画像処理装置４０によれば、画像処理装置３０と同等の出力（ＷＤ画像）を得ることができる。
【００５４】
＜本開示の第４の実施の形態である画像処理装置の構成例＞
図５は、本開示の第４の実施の形態である画像処理装置の構成例（第４の構成例）を示している。
【００５５】
この画像処理装置５０は、図１に示された画像処理装置１０のフィルタ部１１および１２を、フィルタ部５１および５２に置換したものである。
【００５６】
フィルタ部５１は、大画素画像を入力とし、大画素画像を成す各画素（大画素）を順次、注目画素とし、注目画素を基準として所定のフィルタ処理（例えば、ガウシアンフィルタ処理）を行い、その結果得られる注目画素に対応するフィルタ出力ｆ１１を乗算部１５および合成率算出部１８に出力する。また、フィルタ部５１は、注目画素を基準として所定のフィルタ処理（例えば、ＮＲ（ノイズリダクション）フィルタ処理）を行い、その結果得られる注目画素に対応するフィルタ出力ｆ１２をSHD補正部１３に出力する。
【００５７】
同様に、フィルタ部５２は、小画素画像を入力とし、小画素画像を成す各画素（小画素）を順次、注目画素とし、注目画素を基準として所定のフィルタ処理（例えば、ガウシアンフィルタ処理）を行い、その結果得られる注目画素に対応するフィルタ出力ｆ２１を乗算部１６に出力する。また、フィルタ部５２は、注目画素を基準として所定のフィルタ処理（例えば、ＮＲフィルタ処理）を行い、その結果得られる注目画素に対応するフィルタ出力ｆ２２をSHD補正部１４に出力する。
【００５８】
画像処理装置５０のその他の構成要素については、画像処理装置１０の構成要素と共通であり、同一の符号を付しているので、その説明は適宜省略する。
【００５９】
画像処理装置５０によれば、画像処理装置１０の出力に比較して全体的なノイズが抑制された出力（ＷＤ画像）を得ることができる。
【００６０】
＜本開示の第４の実施の形態である画像処理装置の構成例＞
図６は、本開示の第５の実施の形態である画像処理装置の構成例（第５の構成例）を示している。
【００６１】
この画像処理装置６０は、図５に示された画像処理装置５０に対し、所定のフィルタ処理を行うフィルタ部６１乃至６７を追加したものである。
【００６２】
すなわち、フィルタ部６１は、例えば補間フィルタ処理を行うものであり、SHD補正部１３と乗算部１５の間に配置されている。同様に、フィルタ部６２は、例えば補間フィルタ処理を行うものであり、SHD補正部１４と乗算部１６の間に配置されている。
【００６３】
フィルタ部６３は、例えばＮＲフィルタ処理を行うものであり、SHD補正部１３と合成部２０の間に配置されている。同様に、フィルタ部６４は、例えばＮＲフィルタ処理を行うものであり、SHD補正部１４と合成部２０の間に配置されている。
【００６４】
フィルタ部６５は、例えばFIR(Finite Impulse Response)フィルタ処理を行うものであり、動被写体検出部１７と合成率制御部１９の間に配置されている。フィルタ部６６は、例えばFIRフィルタ処理を行うものであり、合成率算出部１８と合成率制御部１９の間に配置されている。フィルタ部６７は、例えばFIRフィルタ処理を行うものであり、合成率制御部１９と合成部２０の間に配置されている。
【００６５】
画像処理装置６０のその他の構成要素については、画像処理装置５０の構成要素と共通であり、同一の符号を付しているので、その説明は適宜省略する。
【００６６】
＜変形例＞
上述した画像処理装置１０乃至６０では、露光時間が統一されている大画素画像と小画素画像を入力としたが、大画素画像と小画素画像を撮像する際の露光時間の一方を長く、他方を短くしてもよい。ただし、短い方の露光時間は、長い方の露光時間内に含まれているようにする。これにより、生成されるＷＤ画像のダイナミックレンジをより広げることができる。
【００６７】
また、大画素画像と小画素画像を入力とする代わりに、比較的高感度の画素の出力から成る高感度画像と、比較的低感度の画素の出力から成る低感度画像を入力としてもよい。
【００６８】
さらに、本開示は、感度が異なる３種類以上の画素それぞれの出力から成る３枚以上の画像を入力とし、それらを合成してＷＤ画像を合成する場合にも適用が可能である。
【００６９】
なお、上述した画像処理装置１０乃至６０による一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【００７０】
図７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【００７１】
このコンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【００７２】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、およびドライブ１１０が接続されている。
【００７３】
入力部１０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１１１を駆動する。
【００７４】
以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【００７５】
コンピュータ１００（CPU１０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【００７６】
コンピュータ１００では、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【００７７】
なお、コンピュータ１００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
【００７８】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【００７９】
本開示は以下のような構成も取ることができる。
（１）
感度が異なる複数の画素のそれぞれの出力から成る複数の撮像画像それぞれに対して所定のフィルタ処理を行う複数のフィルタ部と、
前記複数のフィルタ部によるフィルタ処理結果のうちの少なくとも一つを用いて合成率を算出する合成率算出部と、
前記複数の撮像画像それぞれに対してシェーディング補正処理を行う複数のシェーディング補正部と、
前記複数のフィルタ部によるフィルタ処理結果それぞれに対し、対応する前記撮像画像に対して前記シェーディング補正処理を行ったときのゲインを乗算した結果に基づいて動被写体検出を行う動被写体検出部と、
前記動被写体検出の結果に基づき、算出された前記合成率を制御する合成率制御部と、
制御済みの前記合成率に従って、前記複数のシェーディング補正部によるシェーディング処理結果を合成する合成部と
を備える画像処理装置。
（２）
前記複数の撮像画像は、大画素の出力から成る大画素画像と、前記大画素に比較して受光面積が狭い小画素の出力から成る小画素画像である
前記（１）に記載の画像処理装置。
（３）
前記大画素画像と前記小画素画像は、露光時間が異なる
前記（２）に記載の画像処理装置。
（４）
前記動被写体検出部は、前記複数のフィルタ部によるフィルタ処理結果それぞれに対し、対応する前記撮像画像に対して前記シェーディング補正処理を行ったときのゲインを乗算した結果の差分と所定の閾値との比較結果に基づいて動被写体検出を行う
前記（１）から（３）のいずれかに記載の画像処理装置。
（５）
前記シェーディング補正部は、前記フィルタ部に対して入力される前の前記撮像画像に対してシェーディング補正処理を行う
前記（１）から（４）のいずれかに記載の画像処理装置。
（６）
前記シェーディング補正部は、前記フィルタ部を通過した前記撮像画像に対してシェーディング補正処理を行う
前記（１）から（４）のいずれかに記載の画像処理装置。
（７）
前記シェーディング補正部は、前記フィルタ部によって前記フィルタ処理が行われた前記撮像画像に対してシェーディング補正処理を行う
前記（１）から（４）のいずれかに記載の画像処理装置。
（８）
前記合成率制御部は、前記動被写体が検出されていない領域に対して、算出された前記合成率を適用し、前記動被写体が検出された領域に対して、前記複数のシェーディング補正部によるシェーディング処理結果のいずれかを優先的に用いるように前記合成率を制御する
前記（１）から（７）のいずれかに記載の画像処理装置。
（９）
画像処理装置による、
感度が異なる複数の画素のそれぞれの出力から成る複数の撮像画像それぞれに対して所定のフィルタ処理を行うフィルタ処理ステップと、
前記フィルタ処理ステップによる複数のフィルタ処理結果のうちの少なくとも一つを用いて合成率を算出する合成率算出ステップと、
前記複数の撮像画像それぞれに対してシェーディング補正処理を行うシェーディング補正ステップと、
前記フィルタ処理ステップによる複数のフィルタ処理結果それぞれに対し、対応する前記撮像画像に対して前記シェーディング補正処理を行ったときのゲインを乗算した結果に基づいて動被写体検出を行う動被写体検出ステップと、
前記動被写体検出の結果に基づき、算出された前記合成率を制御する合成率制御ステップと、
制御済みの前記合成率に従って、前記複数のシェーディング補正部によるシェーディング処理結果を合成する合成ステップと
を含む画像処理方法。
（１０）
コンピュータを、
感度が異なる複数の画素のそれぞれの出力から成る複数の撮像画像それぞれに対して所定のフィルタ処理を行う複数のフィルタ部と、
前記複数のフィルタ部によるフィルタ処理結果のうちの少なくとも一つを用いて合成率を算出する合成率算出部と、
前記複数の撮像画像それぞれに対してシェーディング補正処理を行う複数のシェーディング補正部と、
前記複数のフィルタ部によるフィルタ処理結果それぞれに対し、対応する前記撮像画像に対して前記シェーディング補正処理を行ったときのゲインを乗算した結果に基づいて動被写体検出を行う動被写体検出部と、
前記動被写体検出の結果に基づき、算出された前記合成率を制御する合成率制御部と、
制御済みの前記合成率に従って、前記複数のシェーディング補正部によるシェーディング処理結果を合成する合成部と
して機能させるプログラム。
【符号の説明】
【００８０】
１０  画像処理装置，  １１  フィルタ部，  １２  フィルタ部，  １３  SHD補正部，１４  SHD補正部，  １５  乗算部，  １６  乗算部，  １７  動被写体検出部，  １８  合成率算出部，  １９  合成率制御部，  ２０  合成部，  ３０  画像処理装置，  ４０  画像処理装置，  ５０  画像処理装置，  ５１  フィルタ部，  ５２  フィルタ部，  ６０，画像処理装置，  ６１  フィルタ部，  ６２  フィルタ部，  ６３  フィルタ部，  ６４  フィルタ部，  ６５  フィルタ部，  ６６  フィルタ部，  ６７  フィルタ部，  １００  コンピュータ，  １０１  CPU
【図１】
2017224971.tif 000003
【図２】
2017224971.tif 000004
【図３】
2017224971.tif 000005
【図４】
2017224971.tif 000006
【図５】
2017224971.tif 000007
【図６】
2017224971.tif 000008
【図７】
2017224971.tif 000009