(57)【要約】      （修正有）【課題】複数の画像信号が混合されて生成された画像信号のノイズを正確に推定する。【解決手段】入力部４０１と推定部４２０とを具備する画像処理装置において、入力部４０１は、撮像素子により生成されて露光時間が異なる複数の画像信号が所定の混合比率に基づいて混合された混合画像信号が入力される。推定部４２０は、混合画像信号のノイズである混合画像信号ノイズを混合比率と撮像素子のノイズ特性を表すノイズ特性係数と複数の画像信号における露光時間の比率とに基づいて推定する。【選択図】図６
2017139691.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子により生成されて露光時間が異なる複数の画像信号が所定の混合比率に基づいて混合された混合画像信号が入力される入力部と、
前記混合画像信号のノイズである混合画像信号ノイズを前記混合比率と前記撮像素子のノイズ特性を表すノイズ特性係数と前記複数の画像信号における前記露光時間の比率とに基づいて推定する推定部と
を具備する画像処理装置。
【請求項２】
前記推定部は、前記ノイズ特性係数により表された前記複数の画像信号におけるそれぞれのノイズ特性に前記露光時間の比率をそれぞれ乗じることによりレベルが調整された複数のノイズ特性と前記混合比率とに基づいて前記混合画像信号ノイズを推定する請求項１記載の画像処理装置。
【請求項３】
前記混合画像信号ノイズが推定された前記混合画像信号である注目画像信号と同一のフレームに含まれる複数の混合画像信号のうち前記注目画像信号との差分が前記推定された混合画像信号ノイズより小さい混合画像信号を選択する選択部と、
前記注目画像信号および前記選択された混合画像信号の平均を生成することにより前記注目画像信号のノイズを除去するノイズ除去部と
をさらに具備する請求項１記載の画像処理装置。
【請求項４】
前記混合画像信号ノイズが推定された前記混合画像信号である注目画像信号と異なるフレームにおいて前記注目画像信号と同じ位置に配置された混合画像信号である第２の注目画像信号との差分を生成する差分生成部と、
前記生成された混合画像信号ノイズと前記生成された差分とに基づいて前記注目画像信号と前記第２の注目画像信号との混合を行うことにより前記注目画像信号のノイズを除去する第２のノイズ除去部と
をさらに具備する請求項１記載の画像処理装置。
【請求項５】
前記第２のノイズ除去部は、前記生成された差分が前記生成された混合画像信号ノイズより小さい場合に前記混合を行う請求項４記載の画像処理装置。
【請求項６】
撮像素子により生成されて露光時間が異なる複数の画像信号が所定の混合比率に基づいて混合された混合画像信号が入力される入力手順と、
前記混合画像信号のノイズである混合画像信号ノイズを前記混合比率と前記撮像素子のノイズ特性を表すノイズ特性係数と前記複数の画像信号における前記露光時間の比率とに基づいて推定する推定手順と
を具備する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置および画像処理方法に関する。詳しくは、露光時間が異なる複数の画像信号が混合された画像信号を処理する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、同一の被写体に対して露光時間が異なる画像を生成し、これらを１つの画像に合成する撮像装置が使用されている。このように合成された画像は、ＨＤＲ（High Dynamic Range）画像と称される。このＨＤＲ画像を生成する撮像装置により、逆光状態の人物の撮影を行う場合のように、広いダイナミックレンジを有する被写体の撮像において、いわゆる白飛びや黒つぶれ等の不具合のない画像の生成を行うことができる。このような撮像装置においては、長い露光時間の画像信号と短い露光時間の画像信号との合成によりＨＤＲ画像が生成されるとともに、このＨＤＲ画像のノイズが推定される。そして、この推定されたノイズに基づいて、ＨＤＲ画像の画質の改善を図るための処理が行われる。例えば、合成前の画像信号の平方根に所定の定数を乗算した値がこれらの画像信号のノイズとして推定される。そして、このようにして推定された複数のノイズの推定値をＨＤＲ合成における合成率に基づいて合成した値を、ＨＤＲ画像のノイズと推定するシステムが提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−０３３１０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の従来技術では、異なる露光時間の複数の画像信号が合成されたＨＤＲ画像のノイズが推定され、ＨＤＲ画像の画質改善の処理に使用される。しかしながら、露光時間の長さによってノイズの特性が変化してしまうため、ＨＤＲ画像のノイズを正確に推定することができず、十分な画質の改善ができないという問題がある。
【０００５】
本技術はこのような状況に鑑みて生み出されたものであり、複数の画像信号を混合することにより生成された画像信号のノイズを正確に推定することを目的とする。
【課題を解決するための手段】
【０００６】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、撮像素子により生成されて露光時間が異なる複数の画像信号が所定の混合比率に基づいて混合された混合画像信号が入力される入力部と、上記混合画像信号のノイズである混合画像信号ノイズを上記混合比率と上記撮像素子のノイズ特性を表すノイズ特性係数と上記複数の画像信号における上記露光時間の比率とに基づいて推定する推定部とを具備する画像処理装置および画像処理方法である。これにより、混合比率とノイズ特性係数と露光時間の比率とに基づいて混合画像信号ノイズを推定するという作用をもたらす。
【０００７】
また、この第１の側面において、上記推定部は、上記ノイズ特性係数により表された上記複数の画像信号におけるそれぞれのノイズ特性に上記露光時間の比率をそれぞれ乗じることによりレベルが調整された複数のノイズ特性と上記混合比率とに基づいて上記混合画像信号ノイズを推定してもよい。これにより、露光時間の比率によりレベルが調整された複数の画像信号のノイズ特性と混合比率とに基づいて混合画像信号ノイズが推定されるという作用をもたらす。
【０００８】
また、この第１の側面において、上記混合画像信号ノイズが推定された上記混合画像信号である注目画像信号と同一のフレームに含まれる複数の混合画像信号のうち上記注目画像信号との差分が上記推定された混合画像信号ノイズより小さい混合画像信号を選択する選択部と、上記注目画像信号および上記選択された混合画像信号の平均を生成することにより上記注目画像信号のノイズを除去するノイズ除去部とをさらに具備してもよい。これにより、推定された混合画像信号ノイズに基づいて混合画像信号のノイズ除去処理が行われるという作用をもたらす。
【０００９】
また、この第１の側面において、上記混合画像信号ノイズが推定された上記混合画像信号である注目画像信号と異なるフレームにおいて上記注目画像信号と同じ位置に配置された混合画像信号である第２の注目画像信号との差分を生成する差分生成部と、上記生成された混合画像信号ノイズと上記生成された差分とに基づいて上記注目画像信号と上記第２の注目画像信号との混合を行うことにより上記注目画像信号のノイズを除去する第２のノイズ除去部とをさらに具備してもよい。これにより、推定された混合画像信号ノイズに基づいて混合画像信号のノイズ除去処理が行われるという作用をもたらす。
【００１０】
また、この第１の側面において、上記第２のノイズ除去部は、上記生成された差分が上記生成された混合画像信号ノイズより小さい場合に上記混合を行ってもよい。これにより、注目画像信号および第２の注目画像信号の差分が混合画像信号ノイズより小さい場合に混合が行われるという作用をもたらす。
【発明の効果】
【００１１】
本技術によれば、複数の画像信号を混合することにより生成された画像信号のノイズを正確に推定するという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１２】
【図１】本技術の実施の形態における撮像装置１０の構成例を示す図である。
【図２】本技術の第１の実施の形態における画像信号の生成の一例を示す図である。
【図３】本技術の実施の形態における画像信号の混合処理の一例を示す図である。
【図４】本技術の実施の形態における画像信号と混合比率との関係の一例を示す図である。
【図５】本技術の実施の形態における混合画像信号のノイズ特性を示す図である。
【図６】本技術の第１の実施の形態における画像処理部４００の構成例を示す図である。
【図７】本技術の第１の実施の形態における混合画像信号ノイズの推定における変数の切替えの一例を示す図である。
【図８】本技術の実施の形態における混合画像信号ノイズ算出処理の処理手順の一例を示す図である。
【図９】本技術の第１の実施の形態における２次元ノイズリダクション部４３０の構成例を示す図である。
【図１０】本技術の第１の実施の形態における注目画像信号および参照画像信号を示す図である。
【図１１】本技術の第１の実施の形態における２次元ノイズリダクション処理の処理手順の一例を示す図である。
【図１２】本技術の第２の実施の形態における画像処理部４００の構成例を示す図である。
【図１３】本技術の第２の実施の形態における３次元ノイズリダクション部４６０の構成例を示す図である。
【図１４】本技術の第２の実施の形態における３次元ノイズリダクション処理の処理手順の一例を示す図である。
【図１５】本技術の実施の形態の変形例における撮像素子２００の構成例を示す図である。
【発明を実施するための形態】
【００１３】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（推定したノイズを２次元ノイズリダクション処理に利用する場合の例）
２．第２の実施の形態（推定したノイズを３次元ノイズリダクション処理に利用する場合の例）
３．変形例
【００１４】
＜１．第１の実施の形態＞
［撮像装置の構成］
図１は、本技術の実施の形態における撮像装置１０の構成例を示す図である。同図における撮像装置１０は、レンズ１００と、撮像素子２００と、画像信号混合部３００と、画像処理部４００と、制御部５００とを備える。
【００１５】
レンズ１００は、撮像素子２００に対して光学的に被写体を結像するものである。
【００１６】
撮像素子２００は、レンズ１００によって結像された光学画像を画像信号に変換し、出力するものである。この撮像素子２００は、光学画像が結像される面である受光面に画像信号を生成する画素が２次元に配置されて構成されている。この画素には、赤色光に対応する画像信号を出力する画素（Ｒ画素）、緑色光に対応する画像信号を出力する画素（Ｇ画素）および青色光に対応する画像信号を出力する画素（Ｂ画素）が含まれる。これらの画素により１画面分の画像信号が生成され、撮像素子２００から出力される。ここで、１画面分の画像信号をフレームと称する。また、撮像素子２００は、露光時間が異なる複数の画像信号を生成し、画像信号混合部３００に対して出力することができる。ここで、撮像素子２００は、露光時間が異なる３つの画像信号を生成することを想定する。撮像素子２００における画像信号の生成の詳細については後述する。
【００１７】
画像信号混合部３００は、撮像素子２００により生成された露光時間が異なる複数の画像信号を混合した混合画像信号を生成するものである。この混合画像信号によりＨＤＲ画像を生成することができる。画像信号混合部３００における混合画像信号の生成の詳細については後述する。
【００１８】
画像処理部４００は、画像信号混合部３００により生成された混合画像信号に対して処理を行うものである。この処理として、画像処理部４００は、後述する混合画像信号のノイズ除去処理を行う。画像処理部４００により処理された画像信号は、撮像装置１０の外部に出力される。画像処理部４００の構成の詳細については後述する。
【００１９】
制御部５００は、撮像装置１０の全体を制御するものである。
【００２０】
［画像信号の生成］
図２は、本技術の第１の実施の形態における画像信号の生成の一例を示す図である。本技術の実施の形態においては、１フレームの画像信号の生成において露光および露光後の画像データの転送を３回行って３画面分の画像信号を生成する。また、同図より明らかなようにこれら３つの画像信号の生成において、露光時間を変更している。これらは、制御部５００により制御される。最も長い露光時間において生成された画像信号を長期露光画像信号と称する。この長期露光画像信号の次に長い露光時間において生成された画像信号を短期露光画像信号１と称する。最も短い露光時間において生成された画像信号を短期露光画像信号２と称する。これらの画像信号が画像信号混合部３００により混合され、１画面分の画像信号すなわちフレームが生成される。
【００２１】
［画像信号の混合］
図３は、本技術の実施の形態における画像信号の混合処理の一例を示す図である。同図は、画像信号混合部３００における混合処理を表したものであり、長期露光画像信号、短期露光画像信号１および短期露光画像信号２に対する混合の処理と混合画像信号の信号レベルとの関係を表したものである。混合画像信号の信号レベルが低い領域においては、画像信号の混合は行われず、長期露光画像信号のみが出力される。当該領域を処理領域１と称する。
【００２２】
混合画像信号の信号レベルが閾値（ＴＨ１）を超えると、長期露光画像信号と短期露光画像信号１との混合が開始される。混合の際、長期露光画像信号と短期露光画像信号１との露光時間の比率である露光比率Ｓ１に基づいて短期露光画像信号１の信号レベルの調整が行われる。この混合は、次式に基づいて行うことができる。
ｘ＝（１−α）×Ｐ＿ｌｏｎｇ＋α×Ｓ１×Ｐ＿ｓｈｏｒｔ１
ここで、ｘは、混合画像信号を表す。また、Ｐ＿ｌｏｎｇは、長期露光画像信号を表す。また、Ｐ＿ｓｈｏｒｔ１は、短期露光画像信号１を表す。また、αは、混合比率を表す。また、露光比率Ｓ１は、次式に基づいて生成することができる。
Ｓ１＝長期露光画像信号の露光時間／短期露光画像信号１の露光時間
混合画像信号の信号レベルが閾値（ＴＨ２）を超えると、この画像信号の混合処理が終了し、短期露光画像信号１のみが出力される。当該領域を処理領域２と称する。
【００２３】
混合画像信号の信号レベルが閾値（ＴＨ３）を超えると、短期露光画像信号１と短期露光画像信号２との混合が開始される。混合の際、長期露光画像信号と短期露光画像信号２との露光時間の比率である露光比率Ｓ２に基づいて短期露光画像信号２の信号レベルの調整が行われる。この混合は、次式に基づいて行うことができる。
ｘ＝（１−β）×Ｓ１×Ｐ＿ｓｈｏｒｔ１＋β×Ｓ２×Ｐ＿ｓｈｏｒｔ２
ここで、Ｐ＿ｓｈｏｒｔ２は、短期露光画像信号２を表す。また、βは、混合比率を表す。また、露光比率Ｓ２は、次式に基づいて生成することができる。
Ｓ２＝長期露光画像信号の露光時間／短期露光画像信号２の露光時間
混合画像信号の信号レベルが閾値（ＴＨ４）を超えると、この画像信号の混合処理が終了し、短期露光画像信号２のみが出力される。当該領域を処理領域３と称する。このように、長期露光画像信号、短期露光画像信号１および短期露光画像信号２の混合が行われる。
【００２４】
［画像信号と混合比率の関係］
図４は、本技術の実施の形態における画像信号と混合比率との関係の一例を示す図である。同図におけるａは、長期露光画像信号と混合比率αとの関係を表したものである。長期露光画像信号の信号レベルが０乃至ＴＨ１のとき、混合比率αは０である。長期露光画像信号の信号レベルがＴＨ１を超えると、混合比率αは限度値であるＬＩＭＩＴ＿Ｌまで直線的に増加する。この限度値ＬＩＭＩＴ＿Ｌとして、値「１」を適用することができる。また、同図におけるａのＳＬＯＰＥ＿Ｌは、この時のグラフの傾きを表す。混合比率αが限度値ＬＩＭＩＴ＿Ｌに達したときの長期露光画像信号の信号レベルは、ＴＨ２＿１により表される。このＴＨ２＿１は、図３において説明したＴＨ２に対応する値である。
【００２５】
同図におけるｂは、短期露光画像信号１と混合比率βとの関係を表したものである。短期露光画像信号１の信号レベルが０乃至ＴＨ３＿１のとき、混合比率βは０である。短期露光画像信号の信号レベルがＴＨ３＿１を超えると、混合比率βは限度値であるＬＩＭＩＴ＿Ｓまで直線的に増加する。同図におけるｂのＳＬＯＰＥ＿Ｓは、この時のグラフの傾きを表す。ここで、ＴＨ３＿１は、図３において説明したＴＨ３を露光比率Ｓ１により除した値に該当する。混合比率βが限度値ＬＩＭＩＴ＿Ｓに達したときの短期露光画像信号１の信号レベルは、ＴＨ４＿１により表される。このＴＨ４＿１は、図３において説明したＴＨ４に対応する値である。
【００２６】
［混合画像信号とノイズの関係］
図５は、本技術の実施の形態における混合画像信号のノイズ特性を示す図である。同図は混合画像信号と混合画像信号のノイズである混合画像信号ノイズとの関係を表したものである。すなわち、混合画像信号のノイズ特性とは混合画像信号と混合画像信号ノイズとの関係を示すものである。同図において、点線により表されたグラフは、長期露光画像信号、短期露光画像信号１および短期露光画像信号２のノイズ特性を表す。グラフ６０１乃至６０３は、それぞれ長期露光画像信号、短期露光画像信号１および短期露光画像信号２のノイズ特性に対応する。また、同図において実線により表されたグラフ６０４は、混合画像信号のノイズ特性を表す。
【００２７】
図３において説明した処理領域２および処理領域３における画像信号の混合処理を行う領域における混合画像信号のノイズ特性は、混合される２つのノイズ特性に基づいて推定することができる。すなわち、混合画像信号の信号レベルがＴＨ１乃至ＴＨ２の領域においては、長期露光画像信号および短期露光画像信号１に基づいて混合画像信号のノイズを推定することができる。また、混合画像信号の信号レベルがＴＨ３乃至ＴＨ４の領域においては、短期露光画像信号１および短期露光画像信号２に基づいて混合画像信号のノイズを推定することができる。これら混合画像信号の推定の詳細については後述する。
【００２８】
［画像処理部の構成］
図６は、本技術の第１の実施の形態における画像処理部４００の構成例を示す図である。この画像処理部４００は、フレームメモリ４１０と、入力部４０１と、推定部４２０と、２次元ノイズリダクション部４３０とを備える。なお、画像処理部４００は、特許請求の範囲に記載の画像処理装置の一例である。
【００２９】
フレームメモリ４１０は、１画面分の混合画像信号すなわちフレームを記憶するメモリである。このフレームメモリ４１０は、注目画像信号および参照画像信号を出力する。ここで、注目画像信号とは、後述するノイズ除去処理の対象となる混合画像信号である。また、参照画像信号とは、フレームにおける注目画像信号の周囲に配置された混合画像信号である。注目画像信号および参照画像信号の詳細については後述する。
【００３０】
入力部４０１は、フレームメモリ４１０から出力された混合画像信号である注目画像信号が入力されるものである。この入力部４０１は、信号線により構成することができる。
【００３１】
推定部４２０は、混合画像信号のノイズである混合画像信号ノイズを推定するものである。この推定部４２０は、入力部４０１に入力された注目画像信号の混合画像信号ノイズの推定を行い、推定した混合画像信号ノイズを出力する。この推定は、混合画像信号の混合比率と撮像素子２００のノイズ特性を表すノイズ特性係数と露光比率とに基づいて行われる。推定された混合画像信号ノイズは、信号線４０２を介して２次元ノイズリダクション部４３０に対して出力される。混合画像信号ノイズの推定の詳細については後述する。
【００３２】
２次元ノイズリダクション部４３０は、混合画像信号のノイズを除去するものである。この２次元ノイズリダクション部４３０は、同一のフレームに属する混合画像信号の高周波成分を減衰させることによりノイズの除去を行う。２次元ノイズリダクション部４３０の構成の詳細については後述する。
【００３３】
［混合画像信号ノイズの推定］
撮像素子２００のノイズ特性は、例えば、次式により表すことができる。
【数１】
2017139691.tif 000003
ここで、σ（ｘ）は、撮像素子２００のノイズ特性を表す。また、ｘは、撮像素子２００から出力された画像信号を表す。また、ａおよびｂは、ノイズ特性係数を表す。式１の平方根記号内の第１項は、画像信号ｘに比例するノイズ成分を表している。これには、例えば、ショットノイズが該当する。また、第２項は、画像信号ｘのレベルに影響を受けないノイズ成分を表している。これには、例えば、画素の暗電流によるノイズが該当する。上述の式１のノイズ特性は、長期露光画像信号のノイズ特性に該当する。
【００３４】
一方、短期露光画像信号１のノイズ特性は、図３において説明した露光比率Ｓ１を使用して、次式により表すことができる。
【数２】
2017139691.tif 000004
このように、長期露光画像信号のノイズ特性に露光比率を乗じることにより、レベルの調整を行うことができる。これにより、短期露光画像信号１のノイズ特性を正確に得ることができる。また、短期露光画像信号２のノイズ特性は、露光比率Ｓ２を使用して、次式により表すことができる。
【数３】
2017139691.tif 000005
【００３５】
混合画像信号ノイズを推定するため、式１乃至３の画像信号ｘを混合画像信号Ｘに変更するとともに両辺を２乗すると、長期露光画像信号のノイズ特性は次式により表すことができる。
σ２（Ｘ）＝ａ×Ｘ＋ｂ
短期露光画像信号１においては、Ｘ＝Ｓ１×ｘの関係が成り立つ。このため、短期露光画像信号１のノイズ特性は、次式により表すことができる。
σ２（Ｘ）＝Ｓ１×ａ×Ｘ＋Ｓ１２×ｂ    ・・・式４
同様に、短期露光画像信号２のノイズ特性は、次式により表すことができる。
σ２（Ｘ）＝Ｓ２×ａ×Ｘ＋Ｓ２２×ｂ    ・・・式５
【００３６】
これらの式により、複数の画像信号が混合される領域（図５において説明した処理領域２および３）におけるノイズ特性を推定する。短期露光画像信号１および２を混合した場合のノイズ特性は、次式により表すことができる。
σ２（α×Ｘ+β×Ｘ）＝σ２（α×Ｘ）＋σ２（β×Ｘ）
＝α２×σ２（Ｘ）＋β２×σ２（Ｘ）    ・・・式６
式６に式４および５を代入して整理すると、次式を得ることができる。
【数４】
2017139691.tif 000006
上述のように、この式７は、短期露光画像信号１および２を混合した場合のノイズ特性を表したものである。ここで、混合比率αおよびβならびに露光比率Ｓ１およびＳ２の値を切り替えることにより、処理領域１乃至３における全ての処理を行った後の混合画像信号のノイズ特性の推定に式７を使用することが可能になる。
【００３７】
この変数の切替えの様子を、図７を参照して説明する。
【００３８】
図７は、本技術の第１の実施の形態における混合画像信号ノイズの推定における変数の切替えの一例を示す図である。同図におけるａは、処理領域毎の変数（α、β、Ｓ１およびＳ２）の切替えの様子を表したものである。また、同図におけるｂは、同図におけるａのβ１およびβ２の算出方法を表したものである。式７に同図の変数の切替えを適用することにより、処理領域１乃至３における処理後のノイズ特性を１つの式（式７）により表すことができる。
【００３９】
［混合画像信号ノイズの推定処理］
図８は、本技術の実施の形態における混合画像信号ノイズ算出処理の処理手順の一例を示す図である。まず、フレームメモリ４１０から入力部４０１に混合画像信号が入力される（ステップＳ９０１）。次に、推定部４２０が混合処理領域の判断を行う（ステップＳ９０２）。具体的には、推定部４２０は、画像信号混合部３００において行われた処理が処理領域１乃至３の何れであるかを判断する。次に、推定部４２０は、混合比率（αおよびβ）および露光比率（Ｓ１およびＳ２）を算出する（ステップＳ９０３）。これは、図７に基づいて行うことができる。最後に、推定部４２０は、混合画像信号ノイズの推定を行う（ステップＳ９０４）。これは、式７に基づいて混合画像信号ノイズを算出することにより行うことができる。なお、式７における平方根の計算には、スプライン演算を用いて行うことができる。
【００４０】
以上説明したように、推定部４２０は、混合比率（αおよびβ）、ノイズ特性係数（ａおよびｂ）および露光比率（Ｓ１およびＳ２）に基づいて混合画像信号ノイズの推定を行う。また、推定部４２０は、露光比率（Ｓ１およびＳ２）を乗じることによりレベルが調整された複数の画像信号のノイズ特性と混合比率（αおよびβ）とに基づいて混合画像信号ノイズを推定する。このため、正確な混合画像信号ノイズの推定を行うことができる。
【００４１】
［２次元ノイズリダクション部の構成］
図９は、本技術の第１の実施の形態における２次元ノイズリダクション部４３０の構成例を示す図である。この２次元ノイズリダクション部４３０は、選択部４３２と、ノイズ除去部４３３とを備える。
【００４２】
選択部４３２は、フレームメモリ４１０から出力された参照画像信号を選択し、ノイズ除去部４３３に対して出力するものである。この選択部４３２は、フレームメモリ４１０から出力された注目画像信号と推定部４２０から出力された混合画像信号ノイズとに基づいて選択を行う。この選択は、参照画像信号のうち注目画像信号との差分が混合画像信号ノイズより小さい参照画像信号を選択することにより行うことができる。ここで、参照画像信号のうち注目画像信号との差分が混合画像信号ノイズより大きい参照画像信号は、テクスチャに該当すると考えられる。このため、後述するノイズ除去部４３３における平均の生成の対象から除外する。
【００４３】
ノイズ除去部４３３は、選択部４３２から出力された参照画像信号とフレームメモリ４１０から出力された注目画像との平均を生成するものである。このノイズ除去部４３３は、生成した平均を新たな混合画像信号として出力する。これにより、注目画像信号および選択部４３２により選択された参照画像信号のノイズの高周波成分が相殺されて、元の注目画像信号に含まれていたノイズを削除することができる。
【００４４】
［注目画像信号および参照画像信号の関係］
図１０は、本技術の第１の実施の形態における注目画像信号および参照画像信号を示す図である。同図は、フレームにおける注目画像信号および参照画像信号の関係を表したものである。同図の丸印は、２次元に配置された画像信号を表す。このうち実線の丸印が注目画像信号６２２を表し、破線の丸印が参照画像信号６２３を表す。このように、参照画像信号６２３は、注目画像信号６２２の周囲に配置された画像信号である。また、例えば、参照画像信号は、注目画像信号６２２から２画素の範囲に配置された画像信号に限定することができる。
【００４５】
［２次元ノイズリダクション処理］
図１１は、本技術の第１の実施の形態における２次元ノイズリダクション処理の処理手順の一例を示す図である。まず、選択部４３２は、注目画像信号を選択する（ステップＳ９３１）。選択された注目画像信号は、フレームメモリ４１０から出力される。次に、２次元ノイズリダクション部４３０は、変数の初期化を行う（ステップＳ９３２）。これは、変数ｄａｔに注目画像信号の値であるＰ＿ｃｅｎｔを入力するとともに、変数ｂに値「１」を入力することにより行うことができる。次に、注目画像信号のノイズであるＰ＿ｎｏｉｚｅを算出する（ステップＳ９３３）。これは、図８において説明した混合画像信号ノイズ算出処理により行うことができる。次に、選択部４３２は、注目画像信号を選択し、参照画像信号との差分（ｄ）を算出する（ステップＳ９３４）。図１０において説明したように、選択部４３２は、注目画像信号６２２の周囲に配置された参照画像信号６２３のうちの１つを選択し、フレームメモリ４１０から出力させる。ここで、選択された参照画像信号の値をＰ＿ｒｅｆにより表す。また、差分ｄは、演算「｜Ｐ＿ｒｅｆ−Ｐ＿ｃｎｔ｜」により算出することができる。
【００４６】
次に、選択部４３２は、差分（ｄ）が混合画像信号ノイズ（Ｐ＿ｎｏｉｚｅ）より小さいか否かを判断する（ステップＳ９３５）。差分が混合画像信号ノイズより小さい場合には（ステップＳ９３５：Ｙｅｓ）、ノイズ除去部４３３が変数ｄａｔに参照画像信号の値Ｐ＿ｒｅｆを加算するとともに変数ｂに値「１」を加算して変数を更新する（ステップＳ９３６）。その後、ステップＳ９３７の処理に移行する。一方、差分が混合画像信号より小さくない場合には（ステップＳ９３５：Ｎｏ）、ステップＳ９３６の処理をスキップしてステップＳ９３７の処理に移行する。ステップＳ９３７において、選択部４３２は、次の参照画像信号が存在するか否かを判断する（ステップＳ９３７）。次の参照画像信号が存在する場合には（ステップＳ９３７：Ｙｅｓ）、ステップＳ９３４からの処理を再度実行する。注目画像信号の周囲に配置された全ての画像信号について処理が終了した場合には（ステップＳ９３７：Ｎｏ）、ノイズ除去部４３３がノイズの除去を行う（ステップＳ９３８）。これは、ｄａｔ／ｂの演算を行うことにより平均を生成し、この平均を新たな混合画像信号（Ｐ＿ｃｅｎｔ'）とすることにより行うことができる。
【００４７】
次に、選択部４３２は、次の注目画像信号が存在するか否かを判断する（ステップＳ９３９）。次の注目画像信号が存在する場合には（ステップＳ９３９：Ｙｅｓ）、ステップＳ９３１からの処理を再度実行する。フレームにおける全ての混合画像信号についてノイズ除去処理が終了した場合には（ステップＳ９３９：Ｎｏ）、２次元ノイズリダクション部４３０は、２次元ノイズリダクション処理を終了する。
【００４８】
このように、本技術の第１の実施の形態では、混合比率、ノイズ特性係数および露光比率に基づいて混合画像信号ノイズの推定を行う。これにより、露光時間が異なる複数の画像信号が混合された信号のノイズを正確に推定することができる。
【００４９】
＜２．第２の実施の形態＞
上述の実施の形態では、推定した混合画像信号ノイズを２次元ノイズリダクション処理に利用していた。これに対し本技術の第２の実施の形態では、３次元ノイズリダクション処理に利用する画像処理装置を想定する。
【００５０】
［画像処理部の構成］
図１２は、本技術の第２の実施の形態における画像処理部４００の構成例を示す図である。この画像処理部４００は、図６において説明した画像処理部４００と比較して、フレームメモリ４１０を備える必要はない。また、２次元ノイズリダクション部４３０の代わりに３次元ノイズリダクション部４６０を備える点で、図６において説明した画像処理部４００と異なる。
【００５１】
３次元ノイズリダクション部４６０は、混合画像信号のノイズを除去するものである。この３次元ノイズリダクション部４６０は、連続する複数のフレームに属する画像信号を用いてノイズの除去を行う。
【００５２】
［３次元ノイズリダクション部の構成］
図１３は、本技術の第２の実施の形態における３次元ノイズリダクション部４６０の構成例を示す図である。この３次元ノイズリダクション部４６０は、フレームメモリ４６１と、差分生成部４６２と、ノイズ除去部４６３とを備える。
【００５３】
フレームメモリ４６１は、フレームメモリ４１０と同様に、フレームを記憶するメモリである。このフレームメモリ４６１は、後述するノイズ除去部４６３から出力された混合画像信号を記憶する点で、フレームメモリ４１０と異なる。
【００５４】
差分生成部４６２は、注目画像信号および第２の注目画像信号の差分を生成するものである。ここで、注目画像信号とは異なるフレームにおいて注目画像信号と同じ位置に配置された混合画像信号を第２の注目画像信号と称する。差分生成部４６２は、画像信号混合部３００から出力された注目画像信号とフレームメモリ４６１から出力された第２の注目画像信号との差分を生成し、ノイズ除去部４６３に対して出力する。
【００５５】
ノイズ除去部４６３は、混合画像信号ノイズと差分とに基づいて注目画像信号および第２の注目画像信号の混合を行うものである。この混合を行うことにより、注目画像信号のノイズ成分が相殺され、ノイズ除去を行うことができる。ノイズが除去された注目画像信号は、フレームメモリ４６１に記憶される。これにより、連続する複数のフレームの画像信号が蓄積されて平準化が行われる。このため、３次元ノイズリダクション処理は、前述の２次元ノイズリダクション処理と比較して、高いノイズ除去能力を有することとなる。また、この混合は、差分生成部４６２により生成された差分が混合画像信号ノイズより小さい場合に行うことができる。差分が混合画像信号ノイズより大きい場合には、画像の動きにより注目画像信号および第２の注目画像信号に差分が生じているものと判断することができる。動きのある画像部分をノイズ除去処理の対象から除外することにより、ノイズ除去処理に伴う画像の劣化を防ぐことができる。
【００５６】
なお、ノイズ除去部４６３は、注目画像信号および第２の注目画像信号の混合を行う際に混合比率に基づいて行うことも可能である。そして、推定された混合画像信号ノイズの近傍において混合比率を変化させて混合を行う。これにより、混合画像信号ノイズの近傍において滑らかに画像の切替えを行うことが可能になる。なお、ノイズ除去部４６３は、特許請求の範囲に記載の第２のノイズ除去部の一例である。
【００５７】
［３次元ノイズリダクション処理］
図１４は、本技術の第２の実施の形態における３次元ノイズリダクション処理の処理手順の一例を示す図である。まず、ノイズ除去部４６３が、注目画像信号および第２の注目画像信号を選択する（ステップＳ９５１）。次に、推定部４２０により、注目画像信号のノイズ（Ｐ＿ｎｏｉｚｅ）が算出される（ステップＳ９５２）。これは、図８において説明した混合画像信号ノイズ算出処理により行うことができる。次に、差分生成部４６２が注目画像信号および第２の注目画像信号の差分（ｄ２）を算出する（ステップＳ９５３）。次に、ノイズ除去部４６３は、差分（ｄ２）が混合画像信号ノイズ（Ｐ＿ｎｏｉｚｅ）より小さいか否かを判断する（ステップＳ９５４）。差分が混合画像信号ノイズより小さい場合には（ステップＳ９５４：Ｙｅｓ）、ノイズ除去部４６３は、注目画像信号および第２の注目画像信号を混合する（ステップＳ９５５）。次に、ノイズ除去部４６３は、混合後の画像信号をフレームメモリ４６１に保持し（ステップＳ９５６）、ステップＳ９５８の処理に移行する。
【００５８】
一方、差分が混合画像信号ノイズより小さくない場合には（ステップＳ９５４：Ｎｏ）、ノイズ除去部４６３は、注目画像信号をフレームメモリ４６１に保持する（ステップＳ９５７）。その後、ステップＳ９５８の処理に移行する。ステップＳ９５８において、ノイズ除去部４６３は、次の注目画像信号が存在するか否かを判断する（ステップＳ９５８）。次の注目画像信号が存在する場合には（ステップＳ９５８：Ｙｅｓ）、ステップＳ９５１からの処理を再度実行する。フレームにおける全ての混合画像信号についてノイズ除去処理が終了した場合には（ステップＳ９５８：Ｎｏ）、３次元ノイズリダクション部４６０は、３次元ノイズリダクション処理を終了する。
【００５９】
これ以外の撮像装置１０の構成は、本技術の第１の実施の形態において説明した撮像装置１０と同様であるため、説明を省略する。
【００６０】
このように、本技術の第２の実施の形態では、注目画像信号および第２の注目画像信号の差分と推定された混合画像信号ノイズとを比較することにより、動きのある画像部分を正確に検出する。これにより、３次元ノイズリダクション処理における画像の劣化を防止することができる。
【００６１】
＜変形例＞
上述の実施の形態では、３回の露光を行うことにより、長期露光画像信号、短期露光画像信号１および短期露光画像信号２を生成していた。これに対し、撮像素子２００の画素に対して異なる露光時間を設定することにより、長期露光画像信号、短期露光画像信号１および短期露光画像信号２を生成してもよい。これにより、画像信号の生成に要する時間を短縮することができる。
【００６２】
［撮像素子の構成］
図１５は、本技術の実施の形態の変形例における撮像素子２００の構成例を示す図である。同図は、撮像素子２００における画素２０１の配置を表したものである。画素２０１に付された文字は、図１において説明した画素２０１の種類を表している。これらの画素のうち、第１および第２行に配置された画素２０１（画素行２１０）、第３および第４行に配置された画素２０１（画素行２２０）ならびに第５および第６行に配置された画素２０１（画素行２３０）には、それぞれ異なる露光時間が設定される。また、このような露光時間の設定は、撮像素子２００の全ての行に対して順に繰返し実行される。これにより、露光時間が異なる画像信号を１度の露光により生成することができる。例えば、画素行２１０、画素行２２０および画素行２３０をそれぞれ長期露光画像信号、短期露光画像信号１および短期露光画像信号２に対応させて、画像信号の生成を行うことができる。
【００６３】
これ以外の撮像装置１０の構成は、本技術の第１の実施の形態において説明した撮像装置１０と同様であるため、説明を省略する。
【００６４】
このように、本技術の実施の形態の変形例によれば、画素行毎に異なる露光時間を設定することにより、画素信号の生成に要する時間を短縮することができる。
【００６５】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【００６６】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
【００６７】
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
【００６８】
なお、本技術は以下のような構成もとることができる。
（１）撮像素子により生成されて露光時間が異なる複数の画像信号が所定の混合比率に基づいて混合された混合画像信号が入力される入力部と、
前記混合画像信号のノイズである混合画像信号ノイズを前記混合比率と前記撮像素子のノイズ特性を表すノイズ特性係数と前記複数の画像信号における前記露光時間の比率とに基づいて推定する推定部と
を具備する画像処理装置。
（２）前記推定部は、前記ノイズ特性係数により表された前記複数の画像信号におけるそれぞれのノイズ特性に前記露光時間の比率をそれぞれ乗じることによりレベルが調整された複数のノイズ特性と前記混合比率とに基づいて前記混合画像信号ノイズを推定する前記（１）に記載の画像処理装置。
（３）前記混合画像信号ノイズが推定された前記混合画像信号である注目画像信号と同一のフレームに含まれる複数の混合画像信号のうち前記注目画像信号との差分が前記推定された混合画像信号ノイズより小さい混合画像信号を選択する選択部と、
前記注目画像信号および前記選択された混合画像信号の平均を生成することにより前記注目画像信号のノイズを除去するノイズ除去部と
をさらに具備する前記（１）または（２）に記載の画像処理装置。
（４）前記混合画像信号ノイズが推定された前記混合画像信号である注目画像信号と異なるフレームにおいて前記注目画像信号と同じ位置に配置された混合画像信号である第２の注目画像信号との差分を生成する差分生成部と、
前記生成された混合画像信号ノイズと前記生成された差分とに基づいて前記注目画像信号と前記第２の注目画像信号との混合を行うことにより前記注目画像信号のノイズを除去する第２のノイズ除去部と
をさらに具備する前記（１）または（２）に記載の画像処理装置。
（５）前記第２のノイズ除去部は、前記生成された差分が前記生成された混合画像信号ノイズより小さい場合に前記混合を行う前記（４）に記載の画像処理装置。
（６）撮像素子により生成されて露光時間が異なる複数の画像信号が所定の混合比率に基づいて混合された混合画像信号が入力される入力手順と、
前記混合画像信号のノイズである混合画像信号ノイズを前記混合比率と前記撮像素子のノイズ特性を表すノイズ特性係数と前記複数の画像信号における前記露光時間の比率とに基づいて推定する推定手順と
を具備する画像処理方法。
【符号の説明】
【００６９】
１０  撮像装置
１００  レンズ
２００  撮像素子
２０１  画素
２１０、２２０、２３０  画素行
３００  画像信号混合部
４００  画像処理部
４０１  入力部
４１０、４６１  フレームメモリ
４２０  推定部
４３０  ２次元ノイズリダクション部
４３２  選択部
４３３、４６３  ノイズ除去部
４６０  ３次元ノイズリダクション部
４６２  差分生成部
５００  制御部
６２２  注目画像信号
６２３  参照画像信号
【図１】
2017139691.tif 000007
【図２】
2017139691.tif 000008
【図３】
2017139691.tif 000009
【図４】
2017139691.tif 000010
【図５】
2017139691.tif 000011
【図６】
2017139691.tif 000012
【図７】
2017139691.tif 000013
【図８】
2017139691.tif 000014
【図９】
2017139691.tif 000015
【図１０】
2017139691.tif 000016
【図１１】
2017139691.tif 000017
【図１２】
2017139691.tif 000018
【図１３】
2017139691.tif 000019
【図１４】
2017139691.tif 000020
【図１５】
2017139691.tif 000021