(57)【要約】【課題】動画の暗所のSNRを十分に向上させることができるようにするものである。【解決手段】イメージセンサは、撮像信号の読み出し間隔が、垂直同期期間の第１の倍数、または、垂直同期期間の第１の倍数より大きい第２の倍数である複数の画素を有する。フレームメモリは、読み出し間隔が垂直同期期間の第２の倍数である画素である長蓄画素の撮像信号を保持する。本開示は、例えば、イメージセンサとフレームメモリを備える動画を生成する画像処理装置等に適用することができる。【選択図】図１
2016021689.tif 000002
【特許請求の範囲】
【請求項１】
撮像信号の読み出し間隔が、垂直同期期間の第１の倍数、または、前記垂直同期期間の前記第１の倍数より大きい第２の倍数である複数の画素と、
前記読み出し間隔が前記垂直同期期間の前記第２の倍数である前記画素である長蓄画素の前記撮像信号を保持する保持部と
を備える画像処理装置。
【請求項２】
前記複数の画素のうちの所定の前記画素は、常に前記読み出し間隔が前記垂直同期期間の前記第１の倍数である前記画素である短蓄画素であり、前記所定の画素以外の画素は、常に前記長蓄画素である
ように構成された
請求項１に記載の画像処理装置。
【請求項３】
前記画素の前記読み出し間隔は時刻に応じて変化する
ように構成された
請求項１に記載の画像処理装置。
【請求項４】
前記複数の画素は、前記画素の前記読み出し間隔の時刻に応じた変化のパターンに応じて複数のグループに分類される
ように構成された
請求項３に記載の画像処理装置。
【請求項５】
全ての前記グループに分類された前記画素の前記読み出し間隔の変化タイミングは同一である
ように構成された
請求項４に記載の画像処理装置。
【請求項６】
全ての前記グループに分類された前記画素の前記読み出し間隔は、前記垂直同期期間の前記第１の倍数と前記垂直同期期間の前記第２の倍数の一方から他方へ交互に変化する
ように構成された
請求項４に記載の画像処理装置。
【請求項７】
前記複数の画素のうちの前記長蓄画素の前記撮像信号と、前記読み出し間隔が前記垂直同期期間の前記第１の倍数である前記画素である短蓄画素の前記撮像信号とを合成し、両読み出し間隔撮像信号を生成する画像生成部と、
前記複数の画素のうちの前記短蓄画素の前記撮像信号を補間し、前記複数の画素の撮像信号である短読み出し間隔撮像信号を生成する画素補間部と、
前記画像生成部により生成された前記両読み出し間隔撮像信号と、前記画素補間部により生成された前記短読み出し間隔撮像信号とを合成する合成部と
をさらに備える
請求項１に記載の画像処理装置。
【請求項８】
前記長蓄画素の前記撮像信号と前記短蓄画素の前記撮像信号とに基づいて、前記合成部による合成の比率を計算する合成比率計算部
をさらに備える
請求項７に記載の画像処理装置。
【請求項９】
前記合成比率計算部は、前記画像生成部により合成される前記長蓄画素の前記撮像信号、前記保持部により保持された、その撮像信号の直前の同一の長蓄画素の前記撮像信号、および前記短蓄画素の前記撮像信号に基づいて、前記合成の比率を計算する
ように構成された
請求項８に記載の画像処理装置。
【請求項１０】
前記保持部は、前記合成比率計算部により計算された前記合成の比率を保持し、
前記合成部は、前記保持部により保持された前記合成の比率で、前記両読み出し間隔撮像信号と前記短読み出し間隔撮像信号とを合成する
ように構成された
請求項９に記載の画像処理装置。
【請求項１１】
前記画像生成部は、前記保持部により保持された前記長蓄画素の前記撮像信号と、前記短蓄画素の前記撮像信号とを合成する
ように構成された
請求項７に記載の画像処理装置。
【請求項１２】
前記保持部により保持された前記長蓄画素の前記撮像信号の動き補償を行う動き補償部
をさらに備え、
前記画像生成部は、前記動き補償部による前記動き補償後の前記撮像信号と、前記短蓄画素の前記撮像信号とを合成する
ように構成された
請求項１１に記載の画像処理装置。
【請求項１３】
前記長蓄画素の前記撮像信号と前記短蓄画素の前記撮像信号の動きぼけを補正する動きぼけ補正部
をさらに備え、
前記画像生成部は、前記動きぼけ補正部により前記動きぼけが補正された前記長蓄画素の前記撮像信号と、前記短蓄画素の前記撮像信号とを合成する
ように構成された
請求項７に記載の画像処理装置。
【請求項１４】
前記長蓄画素の前記撮像信号と前記短蓄画素の前記撮像信号に対して、それぞれ、異なる強度でノイズ低減を行うノイズ低減部
をさらに備え、
前記画像生成部は、前記ノイズ低減部による前記ノイズ低減後の前記長蓄画素の前記撮像信号と前記短蓄画素の前記撮像信号とを合成する
ように構成された
請求項７に記載の画像処理装置。
【請求項１５】
前記画像生成部により生成された前記両読み出し間隔撮像信号に対して、第１の強度でノイズ低減を行う両読み出し間隔ノイズ低減部と、
前記画素補間部により生成された前記短読み出し間隔撮像信号に対して、前記第１の強度とは異なる第２の強度でノイズ低減を行う短読み出し間隔ノイズ低減部と
をさらに備え、
前記合成部は、前記両読み出し間隔ノイズ低減部による前記ノイズ低減後の前記両読み出し間隔撮像信号と、前記短読み出し間隔ノイズ低減部による前記ノイズ低減後の前記短読み出し間隔撮像信号とを合成する
ように構成された
請求項７に記載の画像処理装置。
【請求項１６】
複数の画素を有する画像処理装置が、
垂直同期期間の第１の倍数、または、前記垂直同期期間の前記第１の倍数より大きい第２の倍数である読み出し間隔で、前記画素から撮像信号を読み出す読み出しステップと、
前記読み出しステップの処理により、前記垂直同期期間の前記第２の倍数である前記読み出し間隔で読み出された前記撮像信号を保持する保持ステップと
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置および画像処理方法に関し、特に、動画の暗所のSNR(signal-noise ratio)を十分に向上させることができるようにした画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、露光長の異なる画素が混在するイメージセンサが考案されている(例えば、特許文献１参照)。露光長の異なる画素が混在するイメージセンサでは、動画撮影時、全画素を垂直同期期間ごとに読み出し、出力する。従って、露光長の長い画素であっても、露光長を垂直同期期間より長くすることはできず、動画の暗所のSNRは悪い。
【０００３】
SNRを改善する方法としては、撮影画像に対して画面内でフィルタ処理を施す2DNR処理を行う方法がある。しかしながら、強ノイズ下でノイズを低減しつつ、被写体のテクスチャを維持することは困難である。
【０００４】
また、SNRを改善する方法としては、過去フレームの撮影画像を用いてノイズを低減する3DNR処理を行う方法もある。この方法は、静被写体領域において過去フレームの画像と現在フレームの画像を加重平均することでランダム性のノイズを低減する方法である。従って、この方法が動被写体領域に対して用いられると、撮影画像において尾引き等の画質劣化が生じる。よって、撮影画像に対して動被写体判定を行い、動被写体領域では加重平均が行われないようにするといった複雑な処理が必要となる。
【０００５】
しかしながら、暗所の強ノイズ下では、動被写体とノイズを正確に判定することが困難であり、静被写体領域が動被写体領域と判定され、ノイズが十分に低減されないことがある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−１３５６２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従って、動画の暗所のSNRを十分に向上させることが望まれている。
【０００８】
本開示は、このような状況に鑑みてなされたものであり、動画の暗所のSNRを十分に向上させることができるようにするものである。
【課題を解決するための手段】
【０００９】
本開示の一側面の画像処理装置は、撮像信号の読み出し間隔が、垂直同期期間の第１の倍数、または、前記垂直同期期間の前記第１の倍数より大きい第２の倍数である複数の画素と、前記読み出し間隔が前記垂直同期期間の前記第２の倍数である前記画素である長蓄画素の前記撮像信号を保持する保持部とを備える画像処理装置である。
【００１０】
本開示の一側面の画像処理方法は、本開示の一側面の画像処理装置に対応する。
【００１１】
本開示の一側面においては、垂直同期期間の第１の倍数、または、前記垂直同期期間の前記第１の倍数より大きい第２の倍数である読み出し間隔で、画素から撮像信号が読み出され、前記垂直同期期間の前記第２の倍数である前記読み出し間隔で読み出された前記撮像信号が保持される。
【発明の効果】
【００１２】
本開示の一側面によれば、撮像することができる。また、本開示の一側面によれば、動画の暗所のSNRを十分に向上させることができる。
【００１３】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１４】
【図１】本開示を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。
【図２】図１のイメージセンサの構成例を示す図である。
【図３】図２の画素の配列の例を示す図である。
【図４】各グループの画素の読み出し間隔の例を示す図である。
【図５】図１の画像生成部の第１の構成例を示すブロック図である。
【図６】図１の画像生成部の第２の構成例を示すブロック図である。
【図７】図１の画像生成部の第３の構成例を示すブロック図である。
【図８】図１の合成比率計算部の第１の構成例を示すブロック図である。
【図９】図８の閾値処理部により設定される両読み出し間隔撮像信号の比率の例を示す図である。
【図１０】図１の合成比率計算部の第２の構成例を示すブロック図である。
【図１１】図１の画像処理装置の画像処理を説明するフローチャートである。
【図１２】本開示を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。
【図１３】本開示を適用した画像処理装置の第３実施の形態の構成例を示すブロック図である。
【図１４】本開示を適用した画像処理装置の第４実施の形態の構成例を示すブロック図である。
【図１５】本開示を適用した画像処理装置の第５実施の形態の構成例を示すブロック図である。
【図１６】本開示を適用した画像処理装置の第６実施の形態の構成例を示すブロック図である。
【図１７】過去の長蓄画素の撮像信号の第１の例を説明する図である。
【図１８】過去の長蓄画素の撮像信号の第２の例を説明する図である。
【図１９】図１６の合成比率計算部の構成例を示すブロック図である。
【図２０】本開示を適用した画像処理装置の第７実施の形態の構成例を示すブロック図である。
【図２１】図２０の合成比率計算部において計算される長蓄合成比率を説明する図である。
【図２２】図２０の画像処理装置の画像処理を説明するフローチャートである。
【図２３】本開示を適用した画像処理装置の第８実施の形態のイメージセンサの構成例を示すブロック図である。
【図２４】図２３の画素の配列の例を示す図である。
【図２５】第８実施の形態における画像生成部の構成例を示すブロック図である。
【図２６】本開示を適用した画像処理装置の第９実施の形態の構成例を示すブロック図である。
【図２７】図２６の各グループの画素の読み出し間隔の例を示す図である。
【図２８】本開示を適用した画像処理装置の第１０実施の形態の構成例を示すブロック図である。
【図２９】本開示を適用した画像処理装置の第１１実施の形態の構成例を示すブロック図である。
【図３０】半導体基板の構成を示す図である。
【発明を実施するための形態】
【００１５】
以下、本開示の前提および本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：画像処理装置（図１乃至図１１）
２．第２実施の形態：画像処理装置（図１２）
３．第３実施の形態：画像処理装置（図１３）
４．第４実施の形態：画像処理装置（図１４）
５．第５実施の形態：画像処理装置（図１５）
６．第６実施の形態：画像処理装置（図１６乃至図１９）
７．第７実施の形態：画像処理装置（図２０乃至図２２）
８．第８実施の形態：画像処理装置（図２３乃至図２５）
９．第９実施の形態：画像処理装置（図２６および図２７）
１０．第１０実施の形態：画像処理装置（図２８）
１１．第１１実施の形態：画像処理装置（図２９）
１２．半導体基板（図３０）
【００１６】
＜第１実施の形態＞
（画像処理装置の第１実施の形態の構成例）
図１は、本開示を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。
【００１７】
図１の画像処理装置１０は、イメージセンサ１１、フレームメモリ１２、画像生成部１３、画素補間部１４、合成比率計算部１５、および合成部１６により構成される。画像処理装置１０は、露光長の異なる画素で撮像された撮像信号に基づいて動画を生成する。
【００１８】
具体的には、画像処理装置１０のイメージセンサ１１は、複数の画素を有し、各画素は、その画素の撮像信号の読み出し間隔の時刻に応じた変化のパターンに応じて２つのグループに分類される。各画素の撮像信号の読み出し間隔は、垂直同期期間の１倍（以下では、短読み出し間隔という）、または、垂直同期期間の２以上の倍数（以下では、長読み出し間隔という）である。また、第１のグループまたは第２のグループの一方に分類される画素の読み出し間隔が短読み出し間隔である場合、他方に分類される画素の読み出し間隔は長読み出し間隔である。
【００１９】
イメージセンサ１１は、第１または第２のグループの一方に分類された画素の撮像信号を、長読み出し間隔で読み出し、フレームメモリ１２、画像生成部１３、および合成比率計算部１５に供給する。また、イメージセンサ１１は、他方に分類された画素の撮像信号を、短読み出し間隔で読み出し、画像生成部１３、画素補間部１４、および合成比率計算部１５に供給する。
【００２０】
フレームメモリ１２は、保持部として機能し、イメージセンサ１１から供給される長読み出し間隔で読み出された撮像信号を、グループごとに１画面（フレーム）分だけ保持する。
【００２１】
画像生成部１３は、垂直同期期間ごとに、イメージセンサ１１から供給される短読み出し間隔で読み出された撮像信号と、長読み出し間隔で読み出された撮像信号とを合成して、全画素の撮像信号を生成する。この生成に用いられる長読み出し間隔で読み出された撮像信号は、イメージセンサ１１から供給されるか、または、イメージセンサ１１から供給されない場合、フレームメモリ１２から読み出される。即ち、長読み出し間隔以外のタイミングでは、直前に長読み出し間隔で同一の長蓄画素から読み出された撮像信号が、全画素の撮像信号の生成に用いられる。画像生成部１３は、生成された全画素の撮像信号を、両読み出し間隔撮像信号として合成部１６に供給する。
【００２２】
画素補間部１４は、イメージセンサ１１から供給される短読み出し間隔で読み出された撮像信号を補間して全画素の撮像信号を生成し、短読み出し間隔撮像信号として合成部１６に供給する。
【００２３】
合成比率計算部１５は、垂直同期期間ごとに、イメージセンサ１１から供給される短読み出し間隔で読み出された撮像信号と、長読み出し間隔で読み出された撮像信号とに基づいて、両読み出し間隔撮像信号と短読み出し間隔撮像信号の合成比率を計算する。この計算に用いられる長読み出し間隔で読み出された撮像信号は、イメージセンサ１１から供給されるか、または、イメージセンサ１１から供給されない場合、フレームメモリ１２から読み出される。合成比率計算部１５は、計算された合成比率を合成部１６に供給する。
【００２４】
なお、合成比率計算部１５は、長読み出し間隔で合成比率を計算するようにしてもよい。この場合、合成比率計算部１５は、フレームメモリ１２から撮像信号を読み出さず、イメージセンサ１１から供給される短読み出し間隔で読み出された撮像信号と長読み出し間隔で読み出された撮像信号に基づいて、合成比率を計算する。
【００２５】
合成部１６は、合成比率計算部１５から供給される合成比率に基づいて、画像生成部１３から供給される両読み出し間隔撮像信号と画素補間部１４から供給される短読み出し間隔撮像信号とを合成する。合成部１６は、合成の結果得られる撮像信号を動画の撮像信号として出力する。
【００２６】
（イメージセンサの構成例）
図２は、図１のイメージセンサ１１の構成例を示す図である。
【００２７】
図２のイメージセンサ１１は、複数の画素３２により構成される画素アレイ部３１、垂直走査回路３３、水平リセット線３４、選択線３５、垂直信号線３６、および水平走査回路３７により構成される。
【００２８】
画素アレイ部３１には、第１または第２のグループに分類される複数の画素３２が２次元アレイ状（行列状）に配置されている。ここでは、画素３２は、２行ごとに同一のグループに分類されている。
【００２９】
２次元アレイ状に配置されている複数の画素３２は、水平リセット線３４および選択線３５により、行単位で垂直走査回路３３と接続されている。また、２次元アレイ状に配置されている複数の画素３２は、垂直信号線３６により、列単位で水平走査回路３７と接続されている。
【００３０】
垂直走査回路３３は、画素アレイ部３１の画素３２の各行を順次選択し、選択された行の選択線３５に撮像信号を読み出させる読み出し信号を供給する。各行の画素３２は、この読み出し信号に応じて、内部に蓄積された電荷に応じた撮像信号を、垂直信号線３６に出力する。
【００３１】
また、垂直走査回路３３は、各行の画素３２の水平リセット線３４に、その行の画素３２のグループに対応する短読み出し間隔または長読み出し間隔だけ、読み出し信号を供給するより前に、リセット信号を供給する。リセット信号は、画素３２の内部に蓄積された電荷をリセットさせる信号である。各行の画素３２は、リセット信号に応じて、内部に蓄積された電荷をリセットし、電荷の蓄積(露光)を開始する。
【００３２】
水平走査回路３７は、１行分の画素３２から短読み出し間隔で読み出され、垂直信号線３６を介して供給される撮像信号を、順次、図１の画像生成部１３、画素補間部１４、および合成比率計算部１５に供給する。また、水平走査回路３７は、1行分の画素３２から長読み出し間隔で読み出され、垂直信号線３６を介して供給される撮像信号を、順次、図１のフレームメモリ１２、画像生成部１３、および合成比率計算部１５に供給する。
【００３３】
（画素配列の例）
図３は、図２の画素アレイ部３１に配置される画素３２の配列の例を示す図である。
【００３４】
なお、図３において、正方形は画素を表し、その正方形の内部に付されたR,G,Bは、それぞれ、画素の有するカラーフィルタが赤色、緑色、青色であることを表す。また、画素を表す正方形の内部に付された１，２は、それぞれ、その画素のグループが第１のグループ、第２のグループであることを表す。さらに、図３では、画素アレイ部３１に配置される画素３２のうちの８×８個の画素３２のみ図示している。これらのことは、後述する図２４においても同様である。
【００３５】
図３の例では、画素３２の配列がベイヤ配列となっている。また、図３に示すように、画素アレイ部３１の画素３２のグループは、２行ごとに異なっている。具体的には、上から１行目および２行目の画素３２のグループは、第２のグループであり、３行目および４行目の画素３２のグループは、第１のグループである。また、５行目および６行目の画素３２のグループは、第２のグループであり、７行目および８行目の画素３２のグループは、第１のグループである。従って、図３の例では、各色に対して、第１のグループに分類される画素３２と第２のグループに分類される画素３２が存在する。
【００３６】
（各グループの読み出し間隔の例）
図４は、各グループの画素３２の読み出し間隔の例を示す図である。
【００３７】
図４において、横軸は時刻を表す。また、図４において、図中の矩形は、撮像信号の読み出し間隔を表し、矩形の縦方向の線は、撮像信号が読み出される時刻を表す。これらのことは、後述する図１７、図１８、図２１、および図２７においても同様である。
【００３８】
図４Ａ乃至図４Ｃに示すように、第１のグループの画素３２は、常に読み出し間隔が短読み出し間隔である短蓄画素であり、第２のグループの画素３２は、常に読み出し間隔が長読み出し間隔である長蓄画素であるようにすることができる。
【００３９】
この場合、長読み出し間隔は、図４Ａに示すように、垂直同期期間（Ｖ）の２倍であってもよいし、図４Ｂに示すように、垂直同期期間（Ｖ）の３倍であってもよいし、図４Ｃに示すように、垂直同期期間（Ｖ）の４倍であってもよい。
【００４０】
また、図４Ｄおよび図４Ｅに示すように、第１のグループの画素３２の読み出し間隔と第２のグループの画素３２の読み出し間隔は、時刻に応じて変化するようにすることもできる。この場合、図４Ｄに示すように、第１のグループおよび第２のグループの画素３２の読み出し間隔の変化タイミングは同一にすることができる。即ち、図４Ｄに示すように、第１のグループの画素３２の読み出し間隔は、２回の短読み出し間隔と１回の長読み出し間隔が順に並ぶパターンを繰り返し、第２のグループの画素３２の読み出し間隔は、１回の長読み出し間隔と２回の長読み出し間隔が順に並ぶパターンを繰り返すようにすることができる。
【００４１】
また、図４Ｅに示すように、第１および第２のグループの画素３２の読み出し間隔は、短読み出し間隔と長読み出し間隔の一方から他方へ交互に変化するようにすることもできる。即ち、図４Ｅに示すように、第１のグループの画素３２の読み出し間隔は、短読み出し間隔と長読み出し間隔が順に並ぶパターンを繰り返し、第２のグループの画素３２の読み出し間隔は、長読み出し間隔と短読み出し間隔が順に並ぶパターンを繰り返すようにすることができる。
【００４２】
以上のようにして第１および第２のグループの読み出し間隔が設定されるので、垂直同期期間ごとに、第１および第２のグループの少なくとも１つのグループの画素３２の撮像信号が読み出される。
【００４３】
（画像生成部の第１の構成例）
図５は、図１の画像生成部１３の第１の構成例を示すブロック図である。
【００４４】
図５の画像生成部１３は、ゲイン乗算部５１により構成される。画像生成部１３には、垂直同期期間ごとに、図１のイメージセンサ１１またはフレームメモリ１２から長蓄画素の撮像信号が供給される。画像生成部１３は、垂直同期期間ごとに、その長蓄画素の撮像信号を、長蓄画素の両読み出し間隔撮像信号として合成部１６に供給する。
【００４５】
また、画像生成部１３には、垂直同期期間ごとに、イメージセンサ１１から短蓄画素の撮像信号が供給され、ゲイン乗算部５１に入力される。ゲイン乗算部５１は、入力された短蓄画素の撮像信号に対して、長蓄画素と短蓄画素の露光時間の比に対応するゲインを乗算する。ゲイン乗算部５１は、ゲインが乗算された短蓄画素の撮像信号を、短蓄画素の両読み出し間隔撮像信号として図１の合成部１６に供給する。
【００４６】
（画像生成部の第２の構成例）
図６は、図１の画像生成部１３の第２の構成例を示すブロック図である。
【００４７】
図６に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００４８】
図６の画像生成部１３の構成は、エッジ判定部７１、平滑化部７２、および合成部７３が新たに設けられる点が図５の構成と異なる。図６の画像生成部１３は、短蓄画素の撮像信号の平坦化領域を平滑化することにより、短蓄画素の両読み出し間隔撮像信号のSNRを改善する。
【００４９】
具体的には、画像生成部１３のエッジ判定部７１は、垂直同期期間ごとに、図１のイメージセンサ１１またはフレームメモリ１２から供給される長蓄画素の撮像信号と、イメージセンサ１１から供給される短蓄画素の撮像信号とに基づいて、画面内のエッジ領域を検出する。エッジ判定部７１は、そのエッジ領域を表すエッジ領域情報を合成部７３に供給する。
【００５０】
平滑化部７２は、ゲイン乗算部５１によりゲインが乗算された短蓄画素の撮像信号を平滑化し、合成部７３に供給する。
【００５１】
合成部７３は、エッジ判定部７１から供給されるエッジ領域情報に基づいて、ゲイン乗算部５１によりゲインが乗算された短蓄画素の撮像信号から、エッジ領域の短蓄画素の撮像信号を抽出する。また、合成部７３は、エッジ領域情報に基づいて、平滑化部７２から供給される平滑化後の短蓄画素の撮像信号から、エッジ領域以外の領域の短蓄画素の撮像信号を抽出する。合成部７３は、抽出されたエッジ領域の短蓄画素の撮像信号と、エッジ領域以外の領域の短蓄画素の撮像信号とを合成する。合成部７３は、合成の結果得られる短蓄画素の撮像信号を、短蓄画素の両読み出し間隔撮像信号として図１の合成部１６に供給する。
【００５２】
（画像生成部の第３の構成例）
図７は、図１の画像生成部１３の第３の構成例を示すブロック図である。
【００５３】
図７に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００５４】
図７の画像生成部１３の構成は、補間部９１、補間部９２、および合成部９３が新たに設けられる点が図５の構成と異なる。図７の画像生成部１３は、補間により全画素の短読み出し間隔の撮像信号と長読み出し間隔の撮像信号を生成し、それらをSNRが最大となる比率で合成することにより、両読み出し間隔撮像信号のSNRを改善する。
【００５５】
具体的には、画像生成部１３の補間部９１は、図１のイメージセンサ１１から供給される長蓄画素の撮像信号に対して補間処理を行い、全画素の長読み出し間隔の撮像信号を生成する。補間部９１は、生成された全画素の長読み出し間隔の撮像信号を合成部９３に供給する。
【００５６】
補間部９２は、ゲイン乗算部５１によりゲインが乗算された短蓄画素の撮像信号に対して補間処理を行い、全画素の短読み出し間隔の撮像信号を生成する。補間部９２は、生成された全画素の短読み出し間隔の撮像信号を合成部９３に供給する。
【００５７】
合成部９３は、補間部９１から供給される全画素の長読み出し間隔の撮像信号と、補間部９２から供給される全画素の短読み出し間隔の撮像信号を、SNRが最大となる比率で合成する。短読み出し間隔の撮像信号の標準偏差をσSとし、長読み出し間隔の撮像信号の標準偏差をσLとしたとき、SNRが最大となる長読み出し間隔の撮像信号の比率はσS/（σS＋σL）であり、短読み出し間隔の撮像信号の比率はσL/（σS＋σL）である。合成部９３は、合成の結果得られる全画素の撮像信号を、両読み出し間隔撮像信号として図１の合成部１６に供給する。
【００５８】
（合成比率計算部の第１の構成例）
図８は、図１の合成比率計算部１５の第１の構成例を示すブロック図である。
【００５９】
図８の合成比率計算部１５は、プレフィルタ１０１、プレフィルタ１０２、差分絶対値演算部１０３、ノイズ推定部１０４、および閾値処理部１０５により構成される。
【００６０】
合成比率計算部１５のプレフィルタ１０１は、垂直同期期間ごとに、図１のイメージセンサ１１またはフレームメモリ１２から供給される長蓄画素の撮像信号に対してフィルタ処理を行う。このフィルタ処理は、撮像信号の各画素の位置を基準位置に変更するとともに、撮像信号のノイズを抑制する処理である。プレフィルタ１０１は、フィルタ処理後の長蓄画素の撮像信号を差分絶対値演算部１０３とノイズ推定部１０４に供給する。
【００６１】
プレフィルタ１０２は、垂直同期期間ごとに、イメージセンサ１１から供給される短蓄画素の撮像信号に対して、プレフィルタ１０１と同様のフィルタ処理を行う。プレフィルタ１０２は、フィルタ処理後の短蓄画素の撮像信号を差分絶対値演算部１０３に供給する。
【００６２】
差分絶対値演算部１０３は、プレフィルタ１０１から供給される長蓄画素の撮像信号と、プレフィルタ１０２から供給される短蓄画素の撮像信号の差分絶対値を、基準位置ごとに演算する。差分絶対値演算部１０３は、各基準位置の差分絶対値を閾値処理部１０５に供給する。
【００６３】
ノイズ推定部１０４は、プレフィルタ１０１から供給される長蓄画素の撮像信号に基づいて、長蓄画素の撮像信号の標準偏差σをノイズ量として推定し、閾値処理部１０５に供給する。
【００６４】
閾値処理部１０５は、ノイズ推定部１０４からノイズ量として供給される標準偏差σに基づいて、動被写体領域の判定に用いる閾値を決定する。例えば、閾値処理部１０５は、標準偏差σを第１の閾値に決定する。閾値処理部１０５は、差分絶対値演算部１０３から供給される各基準位置の差分絶対値と第１の閾値とを用いて、動被写体領域の判定を行う。
【００６５】
具体的には、閾値処理部１０５は、各基準位置の差分絶対値が第１の閾値より大きいかどうかを判定する。そして、閾値処理部１０５は、差分絶対値が第１の閾値より大きい場合、その差分絶対値に対応する基準位置が動被写体領域であると判定し、差分絶対値が第１の閾値より小さい場合、その差分絶対値に対応する基準位置が動被写体領域ではないと判定する。
【００６６】
即ち、閾値処理部１０５は、差分絶対値が第１の閾値より大きい場合、その差分絶対値がノイズによるものではなく、動きによるものであると判定する。一方、閾値処理部１０５は、差分絶対値が第１の閾値より大きくはない場合、その差分絶対値がノイズによるものであると判定する。
【００６７】
以上のように、閾値処理部１０５は、プレフィルタ１０１およびプレフィルタ１０２のフィルタ処理によってノイズが抑制された撮像信号を用いて動被写体領域を判定するため、判定精度が良い。
【００６８】
閾値処理部１０５は、動被写体領域の判定により動被写体領域であると判定された基準位置に対応する画素の合成比率を、短読み出し間隔撮像信号の比率が大きくなるように設定する。また、閾値処理部１０５は、動被写体領域の判定により動被写体領域ではないと判定された基準位置に対応する画素の合成比率を、両読み出し間隔撮像信号の比率が大きくなるように設定する。閾値処理部１０５は、設定された各画素の合成比率を図１の合成部１６に供給する。
【００６９】
これにより、動きのない領域の動画の撮像信号では、ノイズの少ない長蓄画素の撮像信号の影響が大きくなり、動きのある領域の動画の撮像信号では、動きぼけの少ない短蓄画素の撮像信号の影響が大きくなる。その結果、画像処理装置１０は、ノイズや動きぼけの少ない高画質の動画の撮像信号を出力することができる。
【００７０】
（合成比率の説明）
図９は、図８の閾値処理部１０５により設定される合成比率のうちの両読み出し間隔撮像信号の比率の例を示す図である。
【００７１】
図９において、横軸は、図８の差分絶対値演算部１０３により演算される差分絶対値を表し、縦軸は、両読み出し間隔撮像信号の比率を表す。
【００７２】
図９に示すように、基準位置の差分絶対値が第１の閾値以下であり、その基準位置が動被写体領域ではないと判定される場合、閾値処理部１０５は、その基準位置に対応する画素の両読み出し間隔撮像信号の比率を、例えば最大値である１に設定する。このとき、短読み出し間隔撮像信号の比率は、０（＝１−０）に設定される。
【００７３】
一方、基準位置の差分絶対値が第１の閾値より大きく、その基準位置が動被写体領域であると判定される場合、閾値処理部１０５は、例えば、標準偏差σの３倍の値を第２の閾値に設定する。
【００７４】
そして、閾値処理部１０５は、基準位置の差分絶対値が第１の閾値より大きく第２の閾値以下である場合、所定の関数にしたがって、その基準位置に対応する画素の両読み出し間隔撮像信号の比率を設定する。所定の関数とは、差分絶対値が第１の閾値である場合に１となり、第２の閾値である場合に０となる、差分絶対値に比例する関数である。このとき、短読み出し間隔撮像信号の比率は、１から両読み出し間隔撮像信号の比率を減算した値に設定される。
【００７５】
また、閾値処理部１０５は、基準位置の差分絶対値が第２の閾値より大きい場合、その基準位置に対応する画素の両読み出し間隔撮像信号の比率を、最小値である０に設定する。このとき、短読み出し間隔撮像信号の比率は１に設定される。
【００７６】
（合成比率計算部の第２の構成例）
図１０は、図１の合成比率計算部１５の第２の構成例を示すブロック図である。
【００７７】
図１０に示す構成のうち、図８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００７８】
図１０の合成比率計算部１５の構成は、統計量計算部１１１が新たに設けられる点、および、閾値処理部１０５の代わりに閾値処理部１１２が設けられる点が図８の構成と異なる。図１０の合成比率計算部１５は、動被写体領域ではない領域であっても、画面内の被写体のテクスチャが込み入っている場合、短読み出し間隔撮像信号の比率を０より大きい値に設定する。
【００７９】
合成比率計算部１５の統計量計算部１１１は、プレフィルタ１０１から出力されるフィルタ処理後の長蓄画素の撮像信号の分散値などの統計量を計算し、閾値処理部１１２に供給する。
【００８０】
閾値処理部１１２は、図８の閾値処理部１０５と同様に、ノイズ推定部１０４からノイズ量として供給される標準偏差σに基づいて、動被写体領域の判定に用いる第１の閾値を決定する。閾値処理部１１２は、閾値処理部１０５と同様に、差分絶対値演算部１０３から供給される各基準位置の差分絶対値と第１の閾値とを用いて、動被写体領域の判定を行う。
【００８１】
閾値処理部１１２は、閾値処理部１０５と同様に、動被写体領域の判定により動被写体領域であると判定された基準位置に対応する画素の合成比率を、短読み出し間隔撮像信号の比率が大きくなるように第２の閾値を用いて設定する。
【００８２】
また、閾値処理部１１２は、統計量計算部１１１から供給される分散値に基づいて、画面内の被写体のテクスチャが込み入っているかどうかを判定する。閾値処理部１１２は、画面内の被写体のテクスチャが込み入っていると判定された場合、動被写体領域の判定により動被写体領域ではないと判定された基準位置に対応する画素の両読み出し間隔撮像信号の比率を、最大値より小さい値（例えば0.5）に設定する。このとき、短読み出し間隔撮像信号の比率は、0.5（=1-0.5）に設定される。
【００８３】
一方、画面内の被写体のテクスチャが込み入っていないと判定された場合、閾値処理部１１２は、動被写体領域の判定により動被写体領域ではないと判定された基準位置に対応する画素の短読み出し間隔撮像信号の比率を、最大値である１に設定する。このとき、短読み出し間隔撮像信号の比率は、０に設定される。
【００８４】
以上により、被写体のテクスチャが込み入っている画面の動きのない領域の動画の撮像信号は、長蓄画素の撮像信号と短蓄画素の撮像信号の両方の影響を受ける。その結果、画像処理装置１０は、動画の撮像信号の画質を向上させることができる。
【００８５】
（画像処理装置の処理の説明）
図１１は、図１の画像処理装置１０の画像処理を説明するフローチャートである。この画像処理は、例えば、垂直同期期間ごとに行われる。
【００８６】
図１１のステップＳ１１において、画像処理装置１０のイメージセンサ１１は、短蓄画素の撮像信号を読み出し、画像生成部１３、画素補間部１４、および合成比率計算部１５に供給する。そして、イメージセンサ１１は、短蓄画素として撮像信号が読み出された画素３２に蓄積された電荷をリセットし、画素３２に再び露光を開始させる。
【００８７】
ステップＳ１２において、イメージセンサ１１は、長蓄画素の撮像信号を読み出すかどうかを判定する。例えば、イメージセンサ１１は、長読み出し間隔が垂直同期期間の２の倍数である場合、連続する２回の垂直同期期間のうちの最初の垂直同期期間時には、長蓄画素の撮像信号を読み出さないと判定し、最後の垂直同期期間時には、長蓄画素の撮像信号を読み出すと判定する。
【００８８】
ステップＳ１２で長蓄画素の撮像信号を読み出すと判定された場合、ステップＳ１３において、イメージセンサ１１は、長蓄画素の撮像信号を読み出し、フレームメモリ１２、画像生成部１３、および合成比率計算部１５に供給する。そして、イメージセンサ１１は、長蓄画素として撮像信号が読み出された画素３２に蓄積された電荷をリセットし、画素３２に再び露光を開始させる。
【００８９】
ステップＳ１４において、フレームメモリ１２は、イメージセンサ１１から供給される長蓄画素の撮像信号を保持し、処理をステップＳ１６に進める。
【００９０】
一方、ステップＳ１２で長蓄画素の撮像信号を読み出さないと判定された場合、ステップＳ１５において、画像生成部１３と合成比率計算部１５は、フレームメモリ１２に保持されている長蓄画素の撮像信号を読み出し、処理をステップＳ１６に進める。
【００９１】
ステップＳ１６において、画像生成部１３は、イメージセンサ１１から供給される短蓄画素の撮像信号と、イメージセンサ１１またはフレームメモリ１２から供給される長蓄画素の撮像信号とを用いて、両読み出し間隔撮像信号を生成し、合成部１６に供給する。
【００９２】
ステップＳ１７において、画素補間部１４は、イメージセンサ１１から供給される短蓄画素の撮像信号を補間して短読み出し間隔撮像信号を生成し、合成部１６に供給する。
【００９３】
ステップＳ１８において、合成比率計算部１５は、イメージセンサ１１から供給される短蓄画素の撮像信号と、イメージセンサ１１またはフレームメモリ１２から供給される長蓄画素の撮像信号とに基づいて、両読み出し間隔撮像信号と短読み出し間隔撮像信号の合成比率を計算する。合成比率計算部１５は、計算された合成比率を合成部１６に供給する。
【００９４】
ステップＳ１９において、合成部１６は、合成比率計算部１５から供給される合成比率に基づいて、画像生成部１３から供給される両読み出し間隔撮像信号と画素補間部１４から供給される短読み出し間隔撮像信号とを合成する。ステップＳ２０において、合成部１６は、合成の結果得られる撮像信号を動画の撮像信号として出力し、処理を終了する。
【００９５】
以上のように、画像処理装置１０は、短蓄画素と長蓄画素を有するイメージセンサ１１と、長蓄画素の撮像信号を保持するフレームメモリ１２を備える。従って、画像処理装置１０は、垂直同期期間の２以上の倍数の露光長で動画撮影を行うことができる。よって、動画の撮像信号の暗所のSNRを向上させることができる。また、画像処理装置１０のイメージセンサ１１は、短蓄画素を有するので、動画の撮像信号を垂直同期期間ごとに更新することができる。
【００９６】
＜第２実施の形態＞
（画像処理装置の第２実施の形態の構成例）
図１２は、本開示を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。
【００９７】
図１２に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【００９８】
図１２の画像処理装置１３０の構成は、新たに動き補償部１３１が設けられる点が、図１の画像処理装置１０の構成と異なる。画像処理装置１３０は、フレームメモリ１２から読み出された長蓄画素の撮像信号の空間位相ずれを補償する動き補償を行う。
【００９９】
具体的には、画像処理装置１３０の動き補償部１３１には、フレームメモリ１２から読み出された長蓄画素の撮像信号が供給される。動き補償部１３１は、図示せぬジャイロセンサなどにより計測された露光時刻のイメージセンサ１１の動きを表す信号に基づいて、長蓄画素の撮像信号の動き補償を行う。
【０１００】
より詳細には、動き補償部１３１は、長蓄画素の撮像信号におけるぶれ量を推定する。動き補償部１３１は、推定されたぶれ量を補正するように、フレームメモリ１２から供給される長蓄画素の撮像信号に対して、並進、回転、アフィン変換、射影変換などの変換を行う。これにより、フレームメモリ１２から供給される長蓄画素の撮像信号の空間位相は、その撮像信号が読み出されるときの実際の空間位相に変更される。動き補償部１３１は、動き補償後の長蓄画素の撮像信号を画像生成部１３と合成比率計算部１５に供給する。
【０１０１】
画像処理装置１３０の画像処理は、ステップＳ１５とステップＳ１６の間で、動き補償部１３１による動き補償が行われる点を除いて、図１１の画像処理と同様であるので、説明は省略する。
【０１０２】
なお、動き補償部１３１は、ジャイロセンサなどにより計測されたイメージセンサ１１の動きを表す信号ではなく、過去の複数フレームの長蓄画素の撮像信号に基づいて検出された動きベクトルを用いて空間位相ずれを補償するようにしてもよい。
【０１０３】
＜第３実施の形態＞
（画像処理装置の第３実施の形態の構成例）
図１３は、本開示を適用した画像処理装置の第３実施の形態の構成例を示すブロック図である。
【０１０４】
図１３に示す構成のうち、図１２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１０５】
図１３の画像処理装置１５０の構成は、動きぼけ補正部１５１が新たに設けられる点が、図１２の画像処理装置１３０の構成と異なる。画像処理装置１５０は、短蓄画素と長蓄画素の撮像信号のイメージセンサ１１の動きによる動きぼけを補正する。
【０１０６】
具体的には、画像処理装置１５０の動きぼけ補正部１５１は、図示せぬジャイロセンサなどにより計測された露光時刻のイメージセンサ１１の動きを表す信号に基づいて、動きぼけPSF（Point spread function）を推定する。動きぼけ補正部１５１は、動きぼけPSFを用いて、イメージセンサ１１から供給される長蓄画素の撮像信号および短蓄画素の撮像信号、並びに、動き補償部１３から供給される長蓄画素の撮像信号に対して動きぼけ補正を行う。動きぼけ補正の方法としては、動きぼけカーネルの逆変換を重畳する方法、ぼけ方向に応じたHPF(High Pass Filter)をかける方法などがある。
【０１０７】
動きぼけ補正部１５１は、動きぼけ補正後の長蓄画素の撮像信号を画像生成部１３と合成比率計算部１５に供給する。また、動きぼけ補正部１５１は、動きぼけ補正後の短蓄画素の撮像信号を画像生成部１３、画素補間部１４、および合成比率計算部１５に供給する。
【０１０８】
画像処理装置１５０の画像処理は、ステップＳ１４およびステップＳ１５と、ステップＳ１６の間で、動きぼけ補正部１５１による動きぼけの補正が行われる点を除いて、図１２の画像処理装置１３０の画像処理と同様であるので、説明は省略する。
【０１０９】
＜第４実施の形態＞
（画像処理装置の第４実施の形態の構成例）
図１４は、本開示を適用した画像処理装置の第４実施の形態の構成例を示すブロック図である。
【０１１０】
図１４に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１１１】
図１４の画像処理装置１７０の構成は、ノイズ低減部１７１が新たに設けられる点が、図１の画像処理装置１０の構成と異なる。画像処理装置１７０は、長蓄画素と短蓄画素の撮像信号に対して、それぞれ異なる強度でノイズ低減を行う。
【０１１２】
具体的には、画像処理装置１７０のノイズ低減部１７１は、イメージセンサ１１またはフレームメモリ１２から供給される長蓄画素と短蓄画素の撮像信号のそれぞれに対して、LPF（Low Pass Filter）または非線形平滑化手法を用いて、異なる強度でノイズ低減を行う。長蓄画素と短蓄画素の撮像信号に対するノイズ低減の強度の差異は、長蓄画素と短蓄画素における露光長の差異、ゲイン乗算部５１で乗算されるゲインの差異等に基づいて決定される。これにより、長蓄画素と短蓄画素における露光長の差異およびゲイン乗算部５１で乗算されるゲインの差異により生じるノイズ強度の差異を補償することができる。
【０１１３】
ノイズ低減部１７１は、ノイズ低減後の長蓄画素の撮像信号をフレームメモリ１２に供給して保持させるとともに、画像生成部１３と合成比率計算部１５に供給する。また、ノイズ低減部１７１は、ノイズ低減後の短蓄画素の撮像信号を画像生成部１３、画素補間部１４、および合成比率計算部１５に供給する。
【０１１４】
画像処理装置１７０の画像処理は、以下の点を除いて、図１１の画像処理と同様である。即ち、画像処理装置１７０の画像処理は、ステップＳ１１とＳ１２の間でノイズ低減部１７１により短蓄画素の撮像信号に対してノイズ低減が行われる点が、図１１の画像処理と異なっている。また、画像処理装置１７０の画像処理は、ステップＳ１３とＳ１４の間およびステップＳ１５とＳ１６の間で、ノイズ低減部１７１により長蓄画素の撮像信号のノイズ低減が行われる点が、図１１の画像処理と異なっている。
【０１１５】
なお、ノイズ低減部１７１は、長蓄画素と短蓄画素の両方の撮像信号に対して同一の強度でノイズ低減を行うようにしてもよい。
【０１１６】
＜第５実施の形態＞
（画像処理装置の第５実施の形態の構成例）
図１５は、本開示を適用した画像処理装置の第５実施の形態の構成例を示すブロック図である。
【０１１７】
図１５に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１１８】
図１５の画像処理装置１９０の構成は、ノイズ低減部１９１とノイズ低減部１９２が新たに設けられる点が、図１の画像処理装置１０の構成と異なる。画像処理装置１９０は、両読み出し間隔撮像信号と短読み出し間隔撮像信号に対してノイズ低減を行う。
【０１１９】
具体的には、画像処理装置１９０のノイズ低減部１９１は、合成比率計算部１５により計算された合成比率、長蓄画素と短蓄画素における露光長の差異、ゲイン乗算部５１で乗算されるゲインの差異等に基づいて、ノイズ低減の強度を決定する。
【０１２０】
即ち、両読み出し間隔撮像信号と短蓄撮像信号が合成される場合、両方の周波数特性を一致させた方が、合成結果の画質が向上する場合がある。従って、ノイズ低減部１９１は、例えば、両読み出し間隔撮像信号の合成比率が０または１である場合、即ち合成が行われない場合、ノイズ低減の強度を強くし、両読み出し間隔撮像信号の合成比率が０より大きく１未満である場合、ノイズ低減の強度を弱くする。
【０１２１】
ノイズ低減部１９１（両読み出し間隔ノイズ低減部）は、画像生成部１３により生成された両読み出し間隔撮像信号に対して、LPFまたは非線形平滑化手法を用いて、決定された強度でノイズ低減を行う。ノイズ低減部１９１は、ノイズ低減後の両読み出し間隔撮像信号を合成部１６に供給する。
【０１２２】
ノイズ低減部１９２は、合成比率計算部１５により計算された合成比率、長蓄画素と短蓄画素における露光長の差異、ゲイン乗算部５１で乗算されるゲインの差異等に基づいて、ノイズ低減部１９１と同様にノイズ低減の強度を決定する。ノイズ低減部１９２（短読み出し間隔ノイズ低減部）は、画素補間部１４により生成された短読み出し間隔撮像信号に対して、LPFまたは非線形平滑化手法を用いて、決定された強度でノイズ低減を行う。ノイズ低減部１９２は、ノイズ低減後の短読み出し間隔撮像信号を合成部１６に供給する。
【０１２３】
以上のように、ノイズ低減部１９１とノイズ低減部１９２は、合成比率、長蓄画素と短蓄画素における露光長の差異、ゲイン乗算部５１で乗算されるゲインの差異等に基づいてノイズ低減の強度を決定する。従って、ノイズ低減部１９１とノイズ低減部１９２は、合成比率、長蓄画素と短蓄画素における露光長の差異、ゲイン乗算部５１で乗算されるゲインの差異により生じるノイズ強度の差異を補償することができる。
【０１２４】
画像処理装置１９０の画像処理は、ステップＳ１７とＳ１８の間で、ノイズ低減部１９１とノイズ低減部１９２によるノイズ低減が行われる点を除いて、図１１の画像処理と同様であるので、説明は省略する。
【０１２５】
なお、ノイズ低減部１９１とノイズ低減部１９２は、合成比率によらず、複数のノイズ強度でノイズ低減を行い、合成部１６が、合成比率に対応するノイズ強度のノイズ低減が行われた撮像信号を選択して合成するようにしてもよい。
【０１２６】
また、画像処理装置１９０は、ノイズ低減部１７１を備えるようにしてもよい。また、ノイズ低減部１９１とノイズ低減部１９２は、同一の強度でノイズ低減を行うようにしてもよい。
【０１２７】
＜第６実施の形態＞
（画像処理装置の第６実施の形態の構成例）
図１６は、本開示を適用した画像処理装置の第６実施の形態の構成例を示すブロック図である。
【０１２８】
図１６に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１２９】
図１６の画像処理装置２１０の構成は、フレームメモリ１２、合成比率計算部１５の代わりに、フレームメモリ２１１、合成比率計算部２１２が設けられる点が、図１の画像処理装置１０の構成と異なる。画像処理装置２１０は、合成対象の両読み出し間隔撮像信号と短読み出し間隔撮像信号の生成に用いられる長蓄画素および短蓄画素の撮像信号だけでなく、その撮像信号より前の時刻の撮像信号も用いて、合成比率を計算する。
【０１３０】
具体的には、画像処理装置２１０のフレームメモリ２１１は、イメージセンサ１１から供給される長蓄画素の撮像信号を、グループごとに２画面分だけ保持する。
【０１３１】
合成比率計算部２１２は、垂直同期期間ごとに、フレームメモリ１２に保持されている、合成対象の両読み出し間隔撮像信号の生成に用いられる長蓄画素の撮像信号の直前の、同一の長蓄画素の撮像信号（以下、過去の長蓄画素の撮像信号という）を読み出す。
【０１３２】
また、イメージセンサ１１から長蓄画素の撮像信号が供給されない場合、合成比率計算部２１２は、フレームメモリ１２から、合成対象の両読み出し間隔撮像信号の生成に用いられる、直前に長読み出し間隔で同一の長蓄画素から読み出された撮像信号を読み出す。
【０１３３】
合成比率計算部２１２は、垂直同期期間ごとに、過去の長蓄画素の撮像信号、イメージセンサ１１またはフレームメモリ１２から供給される長蓄画素の撮像信号、および、イメージセンサ１１から供給される短蓄画素の撮像信号に基づいて、両読み出し間隔撮像信号と短読み出し間隔撮像信号の合成比率を計算する。合成比率計算部２１２は、計算された合成比率を合成部１６に供給する。
【０１３４】
（過去の長蓄画素の撮像信号の第１の例の説明）
図１７は、過去の長蓄画素の撮像信号の第１の例を説明する図である。
【０１３５】
図１７の例では、第１および第２のグループの画素３２の読み出し間隔が図４Ａの読み出し間隔である。
【０１３６】
この場合、図１７に示すように、第１のグループの画素３２から、垂直同期期間ごとに、短蓄画素の撮像信号が読み出される。また、第２のグループの画素３２から、垂直同期期間の２の倍数である長読み出し間隔ごとに、長蓄画素の撮像信号が読み出される。
【０１３７】
従って、例えば、第１のグループの画素３２から短蓄画素の撮像信号Ｓ４が読み出される時刻ｔ４では、過去の長蓄画素の撮像信号は、そのときに読み出される長蓄画素の撮像信号Ｌ４の直前の同一の長蓄画素の撮像信号Ｌ２となる。このとき、両読み出し間隔撮像信号は、短蓄画素の撮像信号Ｓ４と長蓄画素の撮像信号Ｌ４を用いて生成される。
【０１３８】
（過去の長蓄画素の撮像信号の第２の例の説明）
図１８は、過去の長蓄画素の撮像信号の第２の例を説明する図である。
【０１３９】
図１８の例では、第１および第２のグループの画素３２の読み出し間隔が図４Ｄの読み出し間隔である。
【０１４０】
この場合、図１８に示すように、第１のグループおよび第２のグループの一方の画素３２が２回連続して短蓄画素になる間、他方の画素３２が１回長蓄画素になり、第１および第２のグループの一方と他方は交互に入れ替わる。
【０１４１】
従って、例えば、第２のグループの画素３２から短蓄画素の撮像信号Ｓ４が読み出される時刻ｔ４では、過去の長蓄画素の撮像信号は、そのときに第２のグループの画素３２から読み出される長蓄画素の撮像信号Ｌ４の直前の同一の長蓄画素の撮像信号Ｌ０となる。このとき、両読み出し間隔撮像信号は、短蓄画素の撮像信号Ｓ４と長蓄画素の撮像信号Ｌ４を用いて生成される。
【０１４２】
（合成比率計算部の構成例）
図１９は、図１６の合成比率計算部２１２の構成例を示すブロック図である。
【０１４３】
図１９の合成比率計算部２１２は、LPF（Low Pass Filter）２３１および２３２、差分絶対値演算部２３３、LPF２３４および２３５、差分絶対値演算部２３６、ノイズ推定部２３７、閾値処理部２３８および２３９、並びに選択部２４０により構成される。
【０１４４】
合成比率計算部２１２のLPF２３１は、図１６のフレームメモリ２１１から読み出された過去の長蓄画素の撮像信号に対してノイズ低減を行い、差分絶対値演算部２３３に供給する。
【０１４５】
LPF２３２は、イメージセンサ１１またはフレームメモリ２１１から供給される、合成対象の両読み出し間隔撮像信号の生成に用いられる長蓄画素の撮像信号に対してノイズ低減を行い、差分絶対値演算部２３３に供給する。
【０１４６】
差分絶対値演算部２３３は、長蓄画素ごとに、LPF２３１から供給される長蓄画素の撮像信号と、LPF２３２から供給される過去の長蓄画素の撮像信号の差分絶対値を演算し、閾値処理部２３８に供給する。
【０１４７】
LPF２３４は、イメージセンサ１１またはフレームメモリ２１１から供給される、合成対象の両読み出し間隔撮像信号の生成に用いられる長蓄画素の撮像信号に対して、LPF２３１やLPF２３２に比べて強い強度でノイズ低減を行うとともに、各長蓄画素の位置を基準位置に変更する。LPF２３４は、その結果得られる、LPF２３２から出力される長蓄画素の撮像信号の帯域よりも低域の長蓄画素の撮像信号を、差分絶対値演算部２３６とノイズ推定部２３７に供給する。
【０１４８】
LPF２３５は、イメージセンサ１１から供給される短蓄画素の撮像信号に対して、LPF２３１やLPF２３２に比べて強い強度でノイズ低減を行うとともに、各短蓄画素の位置を基準位置に変更する。LPF２３５は、その結果得られる、LPF２３２から出力される長蓄画素の撮像信号の帯域よりも低域の短蓄画素の撮像信号を、差分絶対値演算部２３６に供給する。
【０１４９】
差分絶対値演算部２３６は、基準位置ごとにLPF２３４から供給される長蓄画素の撮像信号と、LPF２３５から供給される短蓄画素の撮像信号の差分絶対値を演算し、閾値処理部２３９に供給する。
【０１５０】
ノイズ推定部２３７は、LPF２３４から供給される長蓄画素の撮像信号に基づいて、長蓄画素の撮像信号の標準偏差σをノイズ量として推定し、閾値処理部２３８と閾値処理部２３９に供給する。
【０１５１】
閾値処理部２３８は、ノイズ推定部２３７からノイズ量として供給される標準偏差σに基づいて、例えば、標準偏差σを、動被写体領域の判定に用いる第１の閾値に決定する。閾値処理部２３８は、差分絶対値演算部２３３から供給される各長蓄画素の差分絶対値と第１の閾値とを用いて、動被写体領域の判定を行う。
【０１５２】
具体的には、閾値処理部２３８は、各長蓄画素の差分絶対値が第１の閾値より大きいかどうかを判定する。そして、閾値処理部２３８は、差分絶対値が第１の閾値より大きい場合、その差分絶対値に対応する長蓄画素が動被写体領域であると判定し、差分絶対値が第１の閾値より小さい場合、その差分絶対値に対応する長蓄画素が動被写体領域ではないと判定する。
【０１５３】
閾値処理部２３８は、動被写体領域の判定により動被写体領域であると判定された長蓄画素に対応する画素の合成比率を、短読み出し間隔撮像信号の比率が大きくなるように設定する。また、閾値処理部２３８は、動被写体領域の判定により動被写体領域ではないと判定された長蓄画素に対応する画素の合成比率を、両読み出し間隔撮像信号の比率が大きくなるように設定する。閾値処理部２３８は、設定された各画素の合成比率を選択部２４０に供給する。
【０１５４】
閾値処理部２３９は、閾値処理部２３８と同様に、ノイズ推定部２３７からノイズ量として供給される標準偏差σに基づいて、動被写体領域の判定に用いる第１の閾値を決定する。閾値処理部２３９は、差分絶対値演算部２３６から供給される各基準位置の差分絶対値と第１の閾値とを用いて、閾値処理部２３８と同様に、動被写体領域の判定を行う。
【０１５５】
閾値処理部２３８は、動被写体領域の判定により動被写体領域であると判定された基準位置に対応する画素の合成比率を、短読み出し間隔撮像信号の比率が大きくなるように設定する。また、閾値処理部２３９は、動被写体領域の判定により動被写体領域ではないと判定された基準位置に対応する画素の合成比率を、両読み出し間隔撮像信号の比率が大きくなるように設定する。閾値処理部２３９は、設定された各画素の合成比率を選択部２４０に供給する。
【０１５６】
選択部２４０は、閾値処理部２３８から供給される合成比率と、閾値処理部２３９から供給される合成比率のうちの時間変化が小さい方の合成比率を選択する。これにより、合成比率を安定させることができる。選択部２４０は、選択された合成比率を図１６の合成部１６に供給する。
【０１５７】
以上のように、合成比率計算部２１２は、同一の長蓄画素の撮像信号どうしに基づいて動被写体領域を判定する。従って、長蓄画素と短蓄画素の位置ずれを補償することにより、動被写体領域の判定精度が低下することを防止することができる。
【０１５８】
即ち、長蓄画素と短蓄画素の画素アレイ部３１上の位置は異なっている。従って、長蓄画素の撮像信号と短蓄画素の撮像信号の差分絶対値を求める際、各画素の位置が基準位置に変更されるが、これにより、静被写体領域であってもエッジ付近の領域では差分絶対値が大きくなり、動被写体領域と判定されることがある。これに対して、合成比率計算部２１２は、同一の長蓄画素の撮像信号どうしの差分絶対値を求めるため、撮像信号の画素位置を変更する必要がなく、高精度で動被写体判定を行うことができる。
【０１５９】
また、短蓄画素の撮像信号に比べて長蓄画素の撮像信号のノイズ量は少ないため、長蓄画素の撮像信号のみに基づいて動被写体領域を判定することにより、判定精度を高めることができる。
【０１６０】
図１６の画像処理装置２１０の画像処理は、ステップＳ１７とＳ１８の間で、過去の長蓄画素の撮像信号が読み出される点、および、ステップＳ１８で過去の長蓄画素の撮像信号も合成比率の計算に用いる点を除いて、図１１の画像処理と同様である。従って、説明は省略する。
【０１６１】
＜第７実施の形態＞
（画像処理装置の第７実施の形態の構成例）
図２０は、本開示を適用した画像処理装置の第７実施の形態の構成例を示すブロック図である。
【０１６２】
図２０に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１６３】
図２０の画像処理装置２６０の構成は、フレームメモリ１２、合成比率計算部１５の代わりに、フレームメモリ２６１、合成比率計算部２６２が設けられる点が、図１の画像処理装置１０の構成と異なる。画像処理装置２６０は、長蓄画素の撮像信号どうしに基づいて決定された合成比率（以下、長蓄合成比率という）をフレームメモリ２６１に保持し、長蓄画素の撮像信号がイメージセンサ１１から読み出されないときの合成比率の選択に用いる。
【０１６４】
具体的には、画像処理装置２６０のフレームメモリ２６１は、イメージセンサ１１から供給される長蓄画素の撮像信号を、グループごとに２画面分だけ保持する。また、フレームメモリ２６１は、合成比率計算部２６２から供給される長蓄合成比率をグループごとに１画面分だけ保持する。
【０１６５】
合成比率計算部２６２は、長読み出し間隔ごとに、イメージセンサ１１から長蓄画素の撮像信号が供給されたとき、フレームメモリ１２に保持されている過去の長蓄画素の撮像信号を読み出す。そして、合成比率計算部２６２は、フレームメモリ１２から読み出された過去の長蓄画素の撮像信号と、イメージセンサ１１から供給される長蓄画素の撮像信号とに基づいて、長蓄合成比率を計算する。合成比率計算部２６２は、計算された長蓄合成比率をフレームメモリ２６１に供給し、保持させる。
【０１６６】
一方、合成比率計算部２６２は、長読み出し間隔ごとに、イメージセンサ１１から長蓄画素の撮像信号が供給されないとき、フレームメモリ１２に保持されている、その長蓄画素のグループの長蓄合成比率を読み出す。
【０１６７】
また、合成比率計算部２６２は、垂直同期期間ごとに、イメージセンサ１１から供給される長蓄画素の撮像信号と短蓄画素の撮像信号に基づいて、合成比率（以下、両画素合成比率という）を計算する。合成比率計算部２６２は、垂直同期期間ごとに、計算された長蓄合成比率または読み出された長蓄合成比率と、両画素合成比率のうちの、時間変化が小さい方を選択する。合成比率計算部２６２は、選択された合成比率を合成部１６に供給する。
【０１６８】
以上のように、画像処理装置２６０は、イメージセンサ１１から長蓄画素の撮像信号が読み出されない場合、長蓄合成比率を計算せず、その長蓄画素のグループの前回計算された長蓄合成比率をフレームメモリ２６１から読み出して用いる。
【０１６９】
即ち、イメージセンサ１１から長蓄画素の撮像信号が読み出されない場合、長蓄合成比率の計算に用いられる長蓄画素の撮像信号は、その長蓄画素のグループの長蓄合成比率の前回の計算に用いられた長蓄画素の撮像信号である。従って、画像処理装置２６０は、前回計算された長蓄合成比率を用いて、合成比率の選択を行う。これにより、画像処理装置２６０は、同一の長蓄画素の撮像信号に基づいて長蓄合成比率を再度計算せずに済むため、計算コストを削減することができる。また、イメージセンサ１１から長蓄画素の撮像信号が読み出されない場合、長蓄合成比率の計算のために過去の長蓄画素の撮像信号をフレームメモリ２６１から読み出す必要がないので、フレームメモリ２６１の帯域を抑制することができる。
【０１７０】
（長蓄合成比率の説明）
図２１は、図２０の合成比率計算部２６２において計算される長蓄合成比率を説明する図である。
【０１７１】
図２１の例では、第１および第２のグループの画素３２の読み出し間隔が図４Ａの読み出し間隔である。
【０１７２】
この場合、図２１に示すように、例えば、第１のグループの画素３２から短蓄画素の撮像信号Ｓ２が読み出される時刻ｔ２では、第２のグループの画素３２から長蓄画素の撮像信号Ｌ２が読み出される。従って、合成比率計算部２６２は、長蓄画素の撮像信号Ｌ２と、その撮像信号Ｌ２の過去の長蓄画素の撮像信号である撮像信号Ｌ０とに基づいて、長蓄合成比率を生成する。この長蓄合成比率は、フレームメモリ２６１に供給され、保持される。
【０１７３】
一方、第１のグループの画素３２から短蓄画素の撮像信号Ｓ３が読み出される時刻ｔ３では、第２のグループの画素３２から長蓄画素の撮像信号は読み出されない。従って、時刻ｔ３における長蓄合成比率は、直前に第２のグループの画素３２から読み出された長蓄画素の撮像信号Ｌ２と、その撮像信号Ｌ２の過去の長蓄画素の撮像信号である撮像信号Ｌ０とに基づいて決定されるものである。即ち、時刻ｔ３における長蓄合成比率は、時刻ｔ２における長蓄合成比率と同一である。
【０１７４】
よって、合成比率計算部２６２は、時刻ｔ３では長蓄合成比率を計算せず、フレームメモリ２６１に保持されている時刻ｔ２の長蓄合成比率を読み出して、時刻ｔ３の長蓄合成比率とする。
【０１７５】
（画像処理装置の処理の説明）
図２２は、図２０の画像処理装置２６０の画像処理を説明するフローチャートである。この画像処理は、例えば、垂直同期期間ごとに行われる。
【０１７６】
図２２のステップＳ４１乃至Ｓ４６の処理は、図１１のステップＳ１１乃至Ｓ１４，Ｓ１６、およびＳ１７の処理と同様であるので、説明は省略する。
【０１７７】
ステップＳ４７において、画像処理装置２６０の合成比率計算部２６２は、フレームメモリ２６１から過去の長蓄画素の撮像信号を読み出す。
【０１７８】
ステップＳ４８において、合成比率計算部２６２は、イメージセンサ１１から供給される短蓄画素の撮像信号および長蓄画素の撮像信号、並びに、フレームメモリ２６１から読み出された過去の長蓄画素の撮像信号に基づいて、両画素合成比率と長蓄合成比率を計算する。合成比率計算部２６２は、計算された長蓄合成比率をフレームメモリ２６１に供給し、保持させる。そして、処理はステップＳ５４に供給する。
【０１７９】
一方、ステップＳ４２で長蓄画素の撮像信号を読み出さないと判定された場合、処理はステップＳ４９に進む。ステップＳ４９乃至Ｓ５１の処理は、図１１のステップＳ１５乃至Ｓ１７の処理と同様であるので、説明は省略する。
【０１８０】
ステップＳ５２において、合成比率計算部２６２は、フレームメモリ２６１から長蓄画素の撮像信号を読み出し、その長蓄画素の撮像信号と、イメージセンサ１１から供給される短蓄画素の撮像信号とに基づいて、両画素合成比率を計算する。
【０１８１】
ステップＳ５３において、合成比率計算部２６２は、ステップＳ５２でフレームメモリ２６１から読み出された撮像信号に対応するグループの前回計算された長蓄合成比率を、フレームメモリ２６１から読み出す。そして、処理はステップＳ５４に供給する。
【０１８２】
ステップＳ５４において、合成比率計算部２６２は、両画素合成比率と長蓄合成比率のうちの時間変化の小さい方を選択し、合成部１６に供給する。
【０１８３】
ステップＳ５５およびＳ５６は、図１１のステップＳ１９およびＳ２０の処理と同様であるので、説明は省略する。
【０１８４】
＜第８実施の形態＞
（画像処理装置の第８実施の形態の構成例）
画像処理装置の第８実施の形態は、イメージセンサの構成を除いて、図１の画像処理装置１０の構成と同様である。従って、以下では、イメージセンサについてのみ説明する。
【０１８５】
図２３は、本開示を適用した画像処理装置の第８実施の形態のイメージセンサの構成例を示すブロック図である。
【０１８６】
図２３に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１８７】
図２３のイメージセンサ２８０の構成は、水平リセット線３４の代わりに水平リセット線２８１および２８２が設けられる点が、図２のイメージセンサ１１の構成と異なる。イメージセンサ２８０では、同一の行で画素３２のグループが異なっている。
【０１８８】
具体的には、イメージセンサ２８０の水平リセット線２８１および２８２は、画素３２の行単位で設けられる。各行の隣接する画素３２どうしの一方には、その行の水平リセット線２８１が接続され、他方には、水平リセット線２８２が接続される。また、各列の隣接する画素３２どうしの一方には、その画素３２の行の水平リセット線２８１が接続され、他方には、その画素３２の行の水平リセット線２８２が接続される。
【０１８９】
各行の水平リセット線２８１および２８２には、それぞれ、異なるタイミングで垂直走査回路３３からリセット信号が供給される。具体的には、各行の水平リセット線２８１と水平リセット線２８２の一方には、その行の選択線３５に読み出し信号が供給されるより短読み出し間隔だけ前にリセット信号が供給される。また、他方には、その行の選択線３５に読み出し信号が供給されるより長読み出し間隔だけ前にリセット信号が供給される。
【０１９０】
（画素配列の例）
図２４は、図２３の画素アレイ部３１に配置される画素３２の配列の例を示す図である。
【０１９１】
図２４に示すように、図２３の画素３２のグループは、同一の行で異なっている。例えば、図２４Ａに示すように、画素３２の配列がベイヤ配列である場合、水平方向と垂直方向に並ぶ、赤色の画素３２どうしおよび青色の画素３２どうしのグループが異なり、各行の緑色の画素３２のグループが同一であるようにされる。
【０１９２】
また、図２４Ｂに示すように、画素３２の配列が、４×４画素ごとに同一の色の画素３２となる配列である場合、または、図２４Ｃに示すように、４×４画素のうちの左下の画素３２の色が赤色または青色であり、残りの３つの画素３２の色が緑色である配列である場合、水平方向および垂直方向に隣接する画素３２どうしのグループが異なるようにされる。
【０１９３】
なお、第８実施の形態の画像処理装置は、イメージセンサ１１をイメージセンサ２８０に代えたものであるが、画素３２の配列が図２４Ｃに示したように緑色の画素の密度が高い配列であり、各グループの読み出し間隔が図４Ａ乃至図４Ｃに示したように時間によらず一定である場合、画像生成部１３の構成を代えることもできる。
【０１９４】
（画像生成部の構成例）
図２５は、このような場合の画像生成部１３の構成例を示すブロック図である。
【０１９５】
図２５に示す構成のうち、図６の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０１９６】
図２５の画像生成部１３は、ゲイン乗算部５１、平滑化部７２、補間部３０１、および相関部３０２により構成される。画像生成部１３は、チャネル間相関を利用して、長蓄画素の撮像信号と短蓄画素の撮像信号から、短蓄画素の両読み出し間隔撮像信号を生成する。
【０１９７】
具体的には、画像生成部１３は、図２３のイメージセンサ２８０から供給される長蓄画素の撮像信号を、長蓄画素の両読み出し間隔撮像信号として出力する。
【０１９８】
画像生成部１３の補間部３０１は、通過帯の広いLPFを用いて、イメージセンサ２８０から供給される長蓄画素である緑色の画素の撮像信号に対してフィルタ処理を行い、高周波の撮像信号G_Hを生成する。
【０１９９】
補間部３０１はまた、通過帯の狭いLPFを用いて、イメージセンサ２８０から供給される長蓄画素である緑色の画素の撮像信号に対してフィルタ処理を行い、低周波の撮像信号G_Lを生成する。補間部３０１は、高周波の撮像信号G_Hと低周波の撮像信号G_Lを相関部３０２に供給する。
【０２００】
相関部３０２は、平滑化部７２により平滑化された低周波の短蓄画素の撮像信号のうちの赤色の画素の撮像信号R_Lと、補間部３０１から供給される撮像信号G_Hおよび撮像信号G_Lとを用いて、以下の式（１）により、高周波の赤色の画素の撮像信号R_Hを得る。相関部３０２は、撮像信号R_Hと撮像信号R_Lを合成し、その結果得られる撮像信号を、赤色の短蓄画素の両読み出し間隔撮像信号として出力する。
【０２０１】
【数１】
2016021689.tif 000003
【０２０２】
また、相関部３０２は、平滑化部７２により平滑化された低周波の短蓄画素の撮像信号のうちの青色の画素の撮像信号B_Lと、撮像信号G_Hおよび撮像信号G_Lとを用いて、撮像信号R_Hと同様に、高周波の青色の画素の撮像信号B_Hを得る。相関部３０２は、撮像信号B_Hと撮像信号B_Lを合成し、その結果得られる撮像信号を、青色の短蓄画素の両読み出し間隔撮像信号として出力する。
【０２０３】
さらに、相関部３０２は、平滑化部７２により平滑化された緑色の短蓄画素の撮像信号を、緑色の短蓄画素の両読み出し間隔撮像信号として出力する。
【０２０４】
第８実施の形態の画像処理装置の画像処理は、図１１の画像処理装置と同様であるので、説明は省略する。
【０２０５】
なお、第８実施の形態の画像処理装置では、第１実施の形態におけるイメージセンサ１１がイメージセンサ２８０に代えられたが、第２乃至第７実施の形態におけるイメージセンサ１１がイメージセンサ２８０に代えられるようにしてもよい。
【０２０６】
＜第９実施の形態＞
（画像処理装置の第９実施の形態の構成例）
図２６は、本開示を適用した画像処理装置の第９実施の形態の構成例を示すブロック図である。
【０２０７】
図２６に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２０８】
図２６の画像処理装置３２０の構成は、イメージセンサ１１がイメージセンサ３２１に代わる点、画像生成部１３が画像生成部３２２に代わる点、およびフレームメモリ１２が設けられない点が、図１の画像処理装置１０の構成と異なる。画像処理装置３２０では、画素３２が３つ以上のグループに分けられており、垂直同期期間ごとに、短蓄画素と長蓄画素の両方の撮像信号が読み出される。
【０２０９】
具体的には、画像処理装置３２０のイメージセンサ３２１は、複数の画素３２を有し、各画素３２は、その画素３２の撮像信号の読み出し間隔の時刻に応じた変化のパターンに応じて３つ以上のグループに分類される。
【０２１０】
なお、各グループのパターンは、垂直同期期間ごとに、少なくとも１つのグループの長蓄画素の撮像信号の読み出しタイミングが発生するように決定されている。従って、垂直同期期間ごとに、イメージセンサ３２１から、少なくとも１つのグループの短蓄画素の撮像信号と、他の少なくとも１つのグループの長蓄画素の撮像信号とが読み出される。よって、長蓄画素の撮像信号をフレームメモリ１２に保持させる必要がない。
【０２１１】
イメージセンサ３２１は、少なくとも１つのグループに分類された長蓄画素の撮像信号を、長読み出し間隔で読み出し、画像生成部３２２と合成比率計算部１５に供給する。また、イメージセンサ３２１は、他の少なくとも１つのグループに分類された短蓄画素の撮像信号を、短読み出し間隔で読み出し、画像生成部３２２、画素補間部１４、および合成比率計算部１５に供給する。
【０２１２】
画像生成部３２２の構成は、長蓄画素の撮像信号がイメージセンサ３２１からのみ供給される点を除いて、図７の画像生成部１３の構成と同様である。画像生成部３２２は、垂直同期期間ごとに、イメージセンサ３２１から供給される短蓄画素の撮像信号と長蓄画素の撮像信号を用いて、全画素の撮像信号を生成する。画像生成部３２２は、生成された全画素の撮像信号を、両読み出し間隔撮像信号として合成部１６に供給する。
【０２１３】
（各グループの読み出し間隔の例）
図２７は、図２６の各グループの画素３２の読み出し間隔の例を示す図である。
【０２１４】
図２７Ａの例では、画素３２は、第１乃至第３のグループに分類される。各グループの画素３２は、短蓄画素と長蓄画素に交互になり、長読み出し間隔は、垂直同期期間の２倍である。また、第１乃至第３のグループのうちの１つのグループの画素３２において、長読み出し間隔の前半の垂直同期期間であるとき、もう１つのグループの画素３２においては長読み出し間隔の後半の垂直同期期間であり、残りの１つのグループの画素３２においては短読み出し間隔である。従って、垂直同期期間ごとに、第１乃至第３のグループの長蓄画素の撮像信号が順に読み出される。
【０２１５】
図２７Ｂの例では、画素３２は、第１乃至第４のグループに分類される。各グループの画素３２は、２回短蓄画素になった後、長蓄画素になることを繰り返し、長読み出し間隔は、垂直同期期間の２倍である。また、第１乃至第４のグループのうちの１つのグループの画素３２において、長読み出し間隔の前半の垂直同期期間であるとき、もう１つのグループの画素３２においては長読み出し間隔の後半の垂直同期期間であり、残りの２つのグループの画素３２においては短読み出し間隔である。従って、垂直同期期間ごとに、第１乃至第４のグループの長蓄画素の撮像信号が順に読み出される。
【０２１６】
図２６の画像処理画像処理装置３２０の画像処理は、ステップＳ１２，Ｓ１４、およびＳ１５の処理が行われず、ステップＳ１６で両読み出し間隔撮像信号の生成にイメージセンサ３２１から読み出された長蓄画素の撮像信号が用いられる点を除いて、図１１の画像処理と同様であるので、説明は省略する。
【０２１７】
＜第１０実施の形態＞
（画像処理装置の第１０実施の形態の構成例）
図２８は、本開示を適用した画像処理装置の第１０実施の形態の構成例を示すブロック図である。
【０２１８】
図２８に示す構成のうち、図２６の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２１９】
図２８の画像処理装置３４０の構成は、ノイズ低減部３４１が新たに設けられる点が、図２６の画像処理装置３２０の構成と異なる。画像処理装置３４０は、図１４の画像処理装置１７０と同様に、長蓄画素と短蓄画素の撮像信号に対して、それぞれ異なる強度でノイズ低減を行う。
【０２２０】
具体的には、画像処理装置３４０のノイズ低減部３４１の構成は、長蓄画素の撮像信号がイメージセンサ３２１から供給される点を除いて、図１４のノイズ低減部１７１の構成と同様である。ノイズ低減部３４１によるノイズ低減後の長蓄画素の撮像信号は、画像生成部３２２と合成比率計算部１５に供給される。また、ノイズ低減部３４１によるノイズ低減後の短蓄画素の撮像信号は、画像生成部３２２、合成比率計算部１５、および画素補間部１４に供給される。
【０２２１】
画像処理装置３４０の画像処理は、以下の点を除いて、図２６の画像処理装置３２０の画像処理と同様である。即ち、画像処理装置３４０の画像処理は、ステップＳ１１とＳ１３の間でノイズ低減部３４１により短蓄画素の撮像信号に対してノイズ低減が行われる点が、画像処理装置３２０の画像処理と異なっている。また、画像処理装置３４０の画像処理は、ステップＳ１３とＳ１６の間で、ノイズ低減部３４１により長蓄画素の撮像信号のノイズ低減が行われる点が、画像処理装置３２０の画像処理と異なっている。
【０２２２】
なお、ノイズ低減部３４１は、長蓄画素と短蓄画素の両方の撮像信号に対して同一の強度でノイズ低減を行うようにしてもよい。
【０２２３】
＜第１１実施の形態＞
（画像処理装置の第１１実施の形態の構成例）
図２９は、本開示を適用した画像処理装置の第１１実施の形態の構成例を示すブロック図である。
【０２２４】
図２９に示す構成のうち、図１５や図２６の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【０２２５】
図２９の画像処理装置３６０の構成は、ノイズ低減部１９１とノイズ低減部１９２が設けられる点が、図２６の画像処理装置３２０の構成と異なる。画像処理装置３６０は、図１５の画像処理装置１９０と同様に、両読み出し間隔撮像信号と短読み出し間隔撮像信号に対してノイズ低減を行う。
【０２２６】
画像処理装置３６０の画像処理は、ステップＳ１７とステップＳ１８の間で、ノイズ低減部１９１とノイズ低減部１９２によるノイズ低減が行われる点を除いて、図２６の画像処理画像処理装置３２０の画像処理と同様であるので、説明は省略する。
【０２２７】
なお、画像処理装置３６０は、ノイズ低減部３４１を備えるようにしてもよい。また、第９乃至第１１実施の形態では、フレームメモリ１２が設けられなかったが、フレームメモリ１２が設けられるようにしてもよい。この場合、画像生成部３２２は、フレームメモリ１２を介してイメージセンサ３２１から長蓄画素の撮像信号が供給される。
【０２２８】
＜画像処理装置の形態＞
図３０は、上述した画像処理装置を半導体基板（チップ）に形成した場合の半導体基板の構成を示す図である。
【０２２９】
図３０Ａおよび図３０Ｂに示すように、第１乃至第１１実施の形態の画像処理装置のイメージセンサ１１（３２１）以外の構成は、例えば、回路３８１により実現される。この回路３８１は、例えば、図３０Ａに示すように、イメージセンサ１１（３２１）と同一の半導体基板３８２に形成される。または、図３０Ｂに示すように、積層される半導体基板３８３と半導体基板３８４のうちの、イメージセンサ１１（３２１）が形成されない半導体基板３８４に形成される。
【０２３０】
また、図３０Ｃに示すように、第１乃至第１１実施の形態の画像処理装置のイメージセンサ１１（３２１）以外の構成は、例えば、イメージセンサ１１（３２１）が形成される半導体基板３８３の後段のDSP(Digital Signal Processing)３８６により実現することもできる。
【０２３１】
また、図３０Ｄおよび図３０Ｅに示すように、第１乃至第１１実施の形態の画像処理装置のイメージセンサ１１（３２１）以外の構成は、例えば、回路３８８とDSP３８９により実現することもできる。この場合、図３０Ｄに示すように、回路３８８は、イメージセンサ１１（３２１）と同一の半導体基板３８７に形成され、DSP３８９は、半導体基板３８７の後段に設けられる。または、図３０Ｅに示すように、回路３８８は、積層される半導体基板３８３と半導体基板３９０のうちの、イメージセンサ１１（３２１）が形成されない半導体基板３９０に形成され、DSP３８９は、積層される半導体基板３８７と半導体基板３９０の後段に設けられる。
【０２３２】
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０２３３】
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０２３４】
例えば、画素３２の露光長の種類は３以上であってもよい。この場合、第９実施の形態においても、各画素３２の読み出し間隔を常に一定にするようにしてもよい。
【０２３５】
なお、本開示は、以下のような構成もとることができる。
【０２３６】
（１）
撮像信号の読み出し間隔が、垂直同期期間の第１の倍数、または、前記垂直同期期間の前記第１の倍数より大きい第２の倍数である複数の画素と、
前記読み出し間隔が前記垂直同期期間の前記第２の倍数である前記画素である長蓄画素の前記撮像信号を保持する保持部と
を備える画像処理装置。
（２）
前記複数の画素のうちの所定の前記画素は、常に前記読み出し間隔が前記垂直同期期間の前記第１の倍数である前記画素である短蓄画素であり、前記所定の画素以外の画素は、常に前記長蓄画素である
ように構成された
前記（１）に記載の画像処理装置。
（３）
前記画素の前記読み出し間隔は時刻に応じて変化する
ように構成された
前記（１）に記載の画像処理装置。
（４）
前記複数の画素は、前記画素の前記読み出し間隔の時刻に応じた変化のパターンに応じて複数のグループに分類される
ように構成された
前記（３）に記載の画像処理装置。
（５）
全ての前記グループに分類された前記画素の前記読み出し間隔の変化タイミングは同一である
ように構成された
前記（４）に記載の画像処理装置。
（６）
全ての前記グループに分類された前記画素の前記読み出し間隔は、前記垂直同期期間の前記第１の倍数と前記垂直同期期間の前記第２の倍数の一方から他方へ交互に変化する
ように構成された
前記（４）に記載の画像処理装置。
（７）
前記複数の画素のうちの前記長蓄画素の前記撮像信号と、前記読み出し間隔が前記垂直同期期間の前記第１の倍数である前記画素である短蓄画素の前記撮像信号とを合成し、両読み出し間隔撮像信号を生成する画像生成部と、
前記複数の画素のうちの前記短蓄画素の前記撮像信号を補間し、前記複数の画素の撮像信号である短読み出し間隔撮像信号を生成する画素補間部と、
前記画像生成部により生成された前記両読み出し間隔撮像信号と、前記画素補間部により生成された前記短読み出し間隔撮像信号とを合成する合成部と
をさらに備える
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記長蓄画素の前記撮像信号と前記短蓄画素の前記撮像信号とに基づいて、前記合成部による合成の比率を計算する合成比率計算部
をさらに備える
前記（７）に記載の画像処理装置。
（９）
前記合成比率計算部は、前記画像生成部により合成される前記長蓄画素の前記撮像信号、前記保持部により保持された、その撮像信号の直前の同一の長蓄画素の前記撮像信号、および前記短蓄画素の前記撮像信号に基づいて、前記合成の比率を計算する
ように構成された
前記（８）に記載の画像処理装置。
（１０）
前記保持部は、前記合成比率計算部により計算された前記合成の比率を保持し、
前記合成部は、前記保持部により保持された前記合成の比率で、前記両読み出し間隔撮像信号と前記短読み出し間隔撮像信号とを合成する
ように構成された
前記（９）に記載の画像処理装置。
（１１）
前記画像生成部は、前記保持部により保持された前記長蓄画素の前記撮像信号と、前記短蓄画素の前記撮像信号とを合成する
ように構成された
前記（７）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
前記保持部により保持された前記長蓄画素の前記撮像信号の動き補償を行う動き補償部
をさらに備え、
前記画像生成部は、前記動き補償部による前記動き補償後の前記撮像信号と、前記短蓄画素の前記撮像信号とを合成する
ように構成された
前記（１１）に記載の画像処理装置。
（１３）
前記長蓄画素の前記撮像信号と前記短蓄画素の前記撮像信号の動きぼけを補正する動きぼけ補正部
をさらに備え、
前記画像生成部は、前記動きぼけ補正部により前記動きぼけが補正された前記長蓄画素の前記撮像信号と、前記短蓄画素の前記撮像信号とを合成する
ように構成された
前記（７）乃至（１２）のいずれかに記載の画像処理装置。
（１４）
前記長蓄画素の前記撮像信号と前記短蓄画素の前記撮像信号に対して、それぞれ、異なる強度でノイズ低減を行うノイズ低減部
をさらに備え、
前記画像生成部は、前記ノイズ低減部による前記ノイズ低減後の前記長蓄画素の前記撮像信号と前記短蓄画素の前記撮像信号とを合成する
ように構成された
前記（７）乃至（１３）のいずれかに記載の画像処理装置。
（１５）
前記画像生成部により生成された前記両読み出し間隔撮像信号に対して、第１の強度でノイズ低減を行う両読み出し間隔ノイズ低減部と、
前記画素補間部により生成された前記短読み出し間隔撮像信号に対して、前記第１の強度とは異なる第２の強度でノイズ低減を行う短読み出し間隔ノイズ低減部と
をさらに備え、
前記合成部は、前記両読み出し間隔ノイズ低減部による前記ノイズ低減後の前記両読み出し間隔撮像信号と、前記短読み出し間隔ノイズ低減部による前記ノイズ低減後の前記短読み出し間隔撮像信号とを合成する
ように構成された
前記（７）乃至（１４）のいずれかに記載の画像処理装置。
（１６）
複数の画素を有する画像処理装置が、
垂直同期期間の第１の倍数、または、前記垂直同期期間の前記第１の倍数より大きい第２の倍数である読み出し間隔で、前記画素から撮像信号を読み出す読み出しステップと、
前記読み出しステップの処理により、前記垂直同期期間の前記第２の倍数である前記読み出し間隔で読み出された前記撮像信号を保持する保持ステップと
を含む画像処理方法。
【符号の説明】
【０２３７】
１０  画像処理装置，  １２  フレームメモリ，  １３  画像生成部，  １４  画素補間部，  １５  合成比率計算部，  １６  合成部，  ３２  画素，  １３０  画像処理装置，  １３１  動き補償部，  １５０  画像処理装置，  １５１  動きぼけ補正部，  １７０  画像処理装置，  １７１  ノイズ低減部，  １９０  画像処理装置，  １９１，１９２  ノイズ低減部
【図１】
2016021689.tif 000004
【図２】
2016021689.tif 000005
【図３】
2016021689.tif 000006
【図４】
2016021689.tif 000007
【図５】
2016021689.tif 000008
【図６】
2016021689.tif 000009
【図７】
2016021689.tif 000010
【図８】
2016021689.tif 000011
【図９】
2016021689.tif 000012
【図１０】
2016021689.tif 000013
【図１１】
2016021689.tif 000014
【図１２】
2016021689.tif 000015
【図１３】
2016021689.tif 000016
【図１４】
2016021689.tif 000017
【図１５】
2016021689.tif 000018
【図１６】
2016021689.tif 000019
【図１７】
2016021689.tif 000020
【図１８】
2016021689.tif 000021
【図１９】
2016021689.tif 000022
【図２０】
2016021689.tif 000023
【図２１】
2016021689.tif 000024
【図２２】
2016021689.tif 000025
【図２３】
2016021689.tif 000026
【図２４】
2016021689.tif 000027
【図２５】
2016021689.tif 000028
【図２６】
2016021689.tif 000029
【図２７】
2016021689.tif 000030
【図２８】
2016021689.tif 000031
【図２９】
2016021689.tif 000032
【図３０】
2016021689.tif 000033