(57)【特許請求の範囲】
【請求項１】
センサにおける信号増幅度に基づいて閾値を制御する閾値制御部と、
前記センサによって検出された短露光画像および長露光画像の何れかを前記長露光画像または前記短露光画像の画素値と前記閾値との関係に基づいて画素ごとに選択することにより使用画像選択情報を生成する使用画像選択部と、
前記使用画像選択情報に従って前記短露光画像および前記長露光画像を合成して得られた第１の合成画像をラインごとにラインメモリに出力する合成部と、
前記ラインメモリから取り出された前記第１の合成画像に対して所定の処理を行って第２の合成画像を得る処理部と、
前記センサにおける信号増幅度に基づいて、前記第１の合成画像と前記第２の合成画像との混合比率を算出し、前記混合比率により前記第１の合成画像と前記第２の合成画像とを混合する混合部と、
を備える、画像処理装置。
【請求項２】
前記閾値制御部は、前記信号増幅度の第１の所定区間において前記信号増幅度の増加に伴って前記閾値を増加させる、
請求項１に記載の画像処理装置。
【請求項３】
前記混合部は、前記信号増幅度の第２の所定区間において前記信号増幅度の増加に伴って前記第２の合成画像の混合比率を減少させる、
請求項１に記載の画像処理装置。
【請求項４】
センサにおける信号増幅度に基づいて閾値を制御するステップと、
前記センサによって検出された短露光画像および長露光画像の何れかを前記長露光画像または前記短露光画像の画素値と前記閾値との関係に基づいて画素ごとに選択することにより使用画像選択情報を生成するステップと、
前記使用画像選択情報に従って前記短露光画像および前記長露光画像を合成して得られた第１の合成画像をラインごとにラインメモリに出力するステップと、
前記ラインメモリから取り出された前記第１の合成画像に対して所定の処理を行って第２の合成画像を得るステップと、
前記センサにおける信号増幅度に基づいて、前記第１の合成画像と前記第２の合成画像との混合比率を算出し、前記混合比率により前記第１の合成画像と前記第２の合成画像とを混合するステップと、
を含む、画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、短時間露光の画像（以下、単に「短露光画像」とも言う。）と長時間露光の画像（以下、単に「長露光画像」とも言う。）を連続して撮影して合成することで、センサが撮影可能なダイナミックレンジを超えたダイナミックレンジを捉えた画像を得るＷＤＲ（ワイドダイナミックレンジ）もしくはＨＤＲ（ハイダイナミックレンジ）という撮影機能が増えてきている。かかる撮影機能は、逆光の構図など明暗比が非常に大きいシーンでは特に大きな効果がある。
【０００３】
ＷＤＲ信号を得る手法としては、露光時間を変えながら複数枚の画像を連続して撮影して合成する手法が採用されるのが一般的である。このとき、得られるダイナミックレンジは、１６ビットから２０ビット、あるいは、それ以上に達する場合もある。ＷＤＲ信号は、ディスプレイやプリンタの表示能力に合わせて８ビットから１２ビット程度にレンジ圧縮されて出力される。
【０００４】
このようなＷＤＲ合成処理は、日中のような光量が多い状況では良好な結果をもたらすが、暗い状況では短露光画像の露光量が不十分になり、合成画像中の短露光画像使用領域を中心にノイズが目立つ結果となる。特に、センサにおいて信号が増幅される場合には、短露光画像のノイズが非常に顕著となり、ＷＤＲ合成処理の効果よりもノイズ妨害の方が問題となる。このような場合にはＷＤＲ合成処理をオフにする、すなわち短露光画像を使用しない方がよい。また、短露光画像にノイズ低減処理を適用する案も考えられるが、暗いシーンでセンサの増幅が入る場合の短露光画像はＳＮ比が非常に低く、二次元ノイズリダクションではノイズを十分に低減できない。
【０００５】
状況に応じてＷＤＲ合成処理をオフにする手法として、以下に示すような技術が公開されている。例えば、事前撮影を行い、被写体が動きを含んでいるか否かを判定し、被写体が動きを含んでいる場合は、ＷＤＲ合成処理をオフする技術が公開されている（例えば、特許文献１参照）。また、複数毎撮影した画像を重ねることによってノイズを低減する技術をベースにして、センサの感度によって各露光画像の事前撮影枚数を決定する技術が開示されている（例えば、特許文献２参照）。これにより短露光画像のノイズが低減された良好なＷＤＲ合成処理の結果を得ることができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０００−５０１５１号公報
【特許文献２】特開２０１２−２３９０７７公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載された技術においては、被写体が動きを含んでいるか否かを判定しており、ノイズ量を判定しているわけではないため、この技術はＷＤＲ合成処理の結果に含まれるノイズを低減する技術とは異なる。また、特許文献１に記載された技術は、事前撮影を前提としているから静止画用の技術であり、仮に動画に適用してもフレームレートが大幅に低下してしまう。特許文献２に記載された技術も、事前撮影を前提としているから静止画用の技術であり、仮に動画に適用してもフレームレートが大幅に低下してしまう。
【０００８】
その他、ＷＤＲ合成処理を状況に応じてオフにする先行技術が存在するが、ＷＤＲ合成処理のオンおよびオフの処理結果を時間的にゆるやかに切り替えるような技術は公開されていない。ＷＤＲ合成処理の結果を動画として得るシステムにおいて、ＷＤＲ合成処理のオフとオフを急に切り替えれば、ＷＤＲ合成処理によって得られるＷＤＲ合成処理の結果にも急激な変化が発生する。ＷＤＲ合成処理が必要な状況と不要な状況とがゆるやかに切り替わるのであれば、ＷＤＲ合成処理の結果もゆるやかに変化することが望ましい。
【０００９】
そこで、本発明は、ＷＤＲ合成画像に含まれるノイズをゆるやかに低減することが可能な技術を提供する。また、被写体の照明環境の変化に伴ってＷＤＲ合成処理のオンおよびオフを時間的にゆるやかに切り替えることが可能な技術を提供する。
【課題を解決するための手段】
【００１０】
本発明のある実施形態によれば、センサにおける信号増幅度に基づいて閾値を制御する閾値制御部と、前記センサによって検出された短露光画像および長露光画像の何れかを前記長露光画像または前記短露光画像の画素値と前記閾値との関係に基づいて画素ごとに選択することにより使用画像選択情報を生成する使用画像選択部と、前記使用画像選択情報に従って前記短露光画像および前記長露光画像を合成して合成画像を得る合成部と、を備える、画像処理装置が提供される。
【００１１】
かかる構成によれば、センサにおける信号増幅度に基づいて閾値が制御され得る。例えば、センサにおける信号増幅度が大きくなるにつれてＷＤＲ合成画像に含まれるノイズが目立つようになる。そのため、閾値制御部がセンサにおける信号増幅度に基づいて閾値を変化させることによって、ＷＤＲ合成画像に含まれるノイズをゆるやかに低減することが可能となる。また、被写体の照明環境の変化に伴ってＷＤＲ合成処理のオンおよびオフを時間的にゆるやかに切り替えることが可能となる。
【００１２】
前記閾値制御部は、前記信号増幅度の第１の所定区間において前記信号増幅度の増加に伴って前記閾値を増加させてもよい。かかる構成によれば、第１の所定区間においてセンサにおける信号増幅度が高くなるほど長露光画像の選択比率が高まっていく。そのため、第１の所定区間においてＷＤＲ合成画像に含まれるノイズをゆるやかに低減することが可能となる。
【００１３】
前記合成部は、前記使用画像選択情報に従って前記短露光画像および前記長露光画像を合成して得られた第１の合成画像をラインごとにラインメモリに出力し、前記画像処理装置は、前記ラインメモリから取り出された前記第１の合成画像に対して所定の処理を行って第２の合成画像を得る処理部と、前記センサにおける信号増幅度に基づいて、前記第１の合成画像と前記第２の合成画像との混合比率を算出し、前記混合比率により前記第１の合成画像と前記第２の合成画像とを混合する混合部と、を備えてもよい。
【００１４】
かかる構成によれば、ＷＤＲオフ時に長露光画像と同じ画像が出力されるため、より自然なＷＤＲ合成結果が得られるという効果を奏する。加えて、ＷＤＲ合成部によって生成されたＷＤＲ合成画像に対して２次元階調圧縮処理などといった所定の処理が行われる場合であっても、ラインメモリの増加を抑えることが可能となる。
【００１５】
前記混合部は、前記信号増幅度の第２の所定区間において前記信号増幅度の増加に伴って前記第２の合成画像の混合比率を減少させてもよい。かかる構成によれば、第２の所定区間においてセンサにおける信号増幅度が高くなるほど長露光画像の選択比率が高まっていく。そのため、第２の所定区間においてＷＤＲ合成画像に含まれるノイズをゆるやかに低減することが可能となる。
【００１６】
本発明のある実施形態によれば、センサにおける信号増幅度に基づいて閾値を制御するステップと、前記センサによって検出された短露光画像および長露光画像の何れかを前記長露光画像または前記短露光画像の画素値と前記閾値との関係に基づいて画素ごとに選択することにより使用画像選択情報を生成するステップと、前記使用画像選択情報に従って前記短露光画像および前記長露光画像を合成して合成画像を得るステップと、を含む、画像処理方法が提供される。
【００１７】
かかる方法によれば、センサにおける信号増幅度に基づいて閾値が制御され得る。例えば、センサにおける信号増幅度が大きくなるにつれてＷＤＲ合成画像に含まれるノイズが目立つようになる。そのため、閾値制御部がセンサにおける信号増幅度に基づいて閾値を変化させることによって、ＷＤＲ合成画像に含まれるノイズをゆるやかに低減することが可能となる。また、被写体の照明環境の変化に伴ってＷＤＲ合成処理のオンおよびオフを時間的にゆるやかに切り替えることが可能となる。
【発明の効果】
【００１８】
以上説明したように、本発明によれば、ＷＤＲ合成画像に含まれるノイズをゆるやかに低減することが可能な技術である。また、本発明によれば、ＷＤＲ合成処理のオンおよびオフを時間的にゆるやかに切り替えることが可能である。
【図面の簡単な説明】
【００１９】
【図１】一般的なＷＤＲ合成技術を説明するための図である。
【図２】一般的なＷＤＲ合成技術を説明するための図である。
【図３】本発明の第１の実施形態に係る画像処理装置の機能構成を示す図である。
【図４】飽和検出閾値の制御について説明するための図である。
【図５】本発明の第１の実施形態の変形例に係る画像処理装置の機能構成について説明する。
【図６】ＷＤＲ合成結果比率の算出について説明するための図である。
【図７】本発明の第２の実施形態に係る画像処理装置の機能構成を示す図である。
【図８】飽和検出閾値およびＷＤＲ合成結果比率の制御について説明するための図である。
【発明を実施するための形態】
【００２０】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。
【００２１】
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【００２２】
（一般的なＷＤＲ合成技術）
まず、一般的なＷＤＲ合成技術について説明する。図１および図２は、一般的なＷＤＲ合成技術を説明するための図である。図１を参照すると日中に撮影された画像（短露光画像Ｉｍｇ−ａ、長露光画像Ｉｍｇ−ｂおよび合成画像Ｉｍｇ−ｃ）が示されている。また、図２を参照すると、夜間に撮影された画像（短露光画像Ｉｍｇ−ｄ、長露光画像Ｉｍｇ−ｅおよび合成画像Ｉｍｇ−ｆ）が示されている。
【００２３】
図１に示したように、日中に室内から晴天の屋外を撮影するシーンでは、室内には長露光画像Ｉｍｇ−ｂが使用され、室外には短露光画像Ｉｍｇ−ａが使用されて合成されることによって、室内および室外ともに視認性の高い合成画像Ｉｍｇ−ｃを得ることができる。
【００２４】
ところが、夕方の時間帯になると、室外および室内ともに暗くなって、被写体の明るさが低下するのに伴い、センサは電子的に信号を増幅して出力することによって明るさを保とうとする。ＷＤＲ合成を行うブロックから見れば、昼間の入力信号と、夕方の増幅された入力信号は、明るさが同じか似ていて区別することができない。しかし、夕方の入力信号はセンサで増幅されているためにノイズを多く含み、特に短露光画像を使用する領域ではノイズが目立つ。
【００２５】
さらに、図２に示すように、夜間の時間帯になると、屋外も屋内もさらに暗くなり、センサも信号を大幅に増幅して出力するようになる。特に短露光画像は、露光量が少ない上に増幅されるから非常にノイジーな画像として撮影される。しかし、夜間の長露光画像Ｉｍｇ−ｅを見れば、屋外に存在する電光看板や月は飽和状態であり、ＷＤＲが動作していれば電光看板や月を含む領域には短露光画像が使用されることになる。その結果、電光看板や月を含む領域では非常にノイズが目立つ合成結果になってしまう。
【００２６】
このような状況では、ＷＤＲ合成処理の効果よりもノイズによる妨害の方が深刻に捉えられることがある。短露光画像の品質があまりにも低い場合には、ＷＤＲ合成処理をやめて、長露光画像のみを使用した方がよい。
【００２７】
そこで、本明細書においては、ＷＤＲ処理結果を動画として得るＷＤＲシステムを前提として、センサにおける信号増幅度を参照し、センサにおける信号増幅度が所定の区間の場合（例えば、センサにおける信号増幅度が高い場合）、長露光画像の選択比率を高める。かかる構成によれば、ノイズの少ないＷＤＲ処理結果が得られ、かつ、ＷＤＲ処理結果を時間的にゆるやかに切り替えられる。
【００２８】
（第１の実施形態）
まず、本発明の第１の実施形態に係る画像処理装置１Ａの機能構成について説明する。図３は、本発明の第１の実施形態に係る画像処理装置１Ａの機能構成を示す図である。図３に示すように、画像処理装置１Ａは、センサ１０、フレームメモリ２０、閾値制御部３０、使用画像選択部４０、動き検出部５０、ＷＤＲ合成部６０、ラインメモリ７０および２次元階調圧縮部８０を備える。以下、画像処理装置１Ａが備える各機能ブロックの機能について順次詳細に説明する。
【００２９】
画像処理装置１Ａは、センサ１０の露光設定を変えて２枚の画像を連続撮影するが、ここでは短露光撮影を先に行い、その次に長露光撮影を行うものとする。しかし、長露光撮影を先に行い、その次に短露光撮影を行ってもよい。このようにして撮影された短露光画像および長露光画像は、ペアとしてフレームメモリ２０に書き込まれる。長露光画像および短露光画像の撮影と撮影された長露光画像および短露光画像のフレームメモリ２０への書き込みは、連続的に行われる。
【００３０】
なお、図３に示した例では、画像処理装置１Ａは、長露光画像および短露光画像を出力するための共通の系統を１つ有し、センサ１０が長露光画像と短露光画像とを時分割で出力することとしたが、長露光画像と短露光画像とが同時に出力されてもよい。かかる場合、画像処理装置１Ａは、センサ１０から長露光画像を出力するための系統と短露光画像を出力するための系統との２つの系統を有すればよい。それぞれのシャッタータイムは、例えば、撮影対象のダイナミックレンジやセンサ仕様などによって決まる。
【００３１】
なお、本発明の実施形態においては、短露光画像および長露光画像という用語を使用するが、これらの用語は、撮影された２つの画像それぞれの絶対的な露光時間を限定するものではない。したがって、露光時間の異なる２つの画像が撮影された場合に、当該２つの画像のうち、相対的に露光時間が短い画像が短露光画像に相当し、相対的に露光時間が長い画像が長露光画像に相当する。
【００３２】
センサ１０は、外部からの光を撮像素子の受光平面に結像させ、結像された光を電荷量に光電変換し、当該電荷量を電気信号に変換するイメージセンサにより構成される。イメージセンサの種類は特に限定されず、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）であってもよいし、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）であってもよい。
【００３３】
例えば、センサ１０は、所定の倍率（例えば、数倍から数十倍）の露光比をとって短露光画像および長露光画像を検出（撮影）する。センサ１０は、被写体が暗くなってくると画像信号を電子的に増幅して出力し、その増幅ゲインの情報（以下、「信号増幅度」とも言う。）が閾値制御部３０に送られる。閾値制御部３０によって信号増幅度が受け取られると、閾値制御部３０は、センサ１０における信号増幅度に基づいて閾値（以下、「飽和検出閾値」とも言う。）を制御する。飽和検出閾値の制御のより詳細な手法は後述する。
【００３４】
使用画像選択部４０は、フレームメモリ２０から読み出した短露光画像と長露光画像とを参照し、長露光画像および短露光画像それぞれの飽和状態や動きなどを検出して、短露光画像と長露光画像とのいずれかを使用画像として選択するための使用画像選択情報を生成する。短露光画像と長露光画像とのいずれかを選択するアルゴリズムとしては様々なアルゴリズムが想定される。
【００３５】
例えば、使用画像選択部４０は、短露光画像および長露光画像の何れかを長露光画像または短露光画像の画素値と閾値制御部３０によって制御された飽和検出閾値との関係に基づいて画素ごとに選択することにより使用画像選択情報を生成する。例えば、使用画像選択部４０は、長露光画像において飽和検出閾値を上回る画素値を有する画素の使用画像として短露光画像を選択してもよい。あるいは、例えば、使用画像選択部４０は、短露光画像において飽和検出閾値を下回る画素値を有する画素の使用画像として長露光画像を選択してもよい。
【００３６】
動き検出部５０は、動きを検出して動き検出情報を生成する。動きの検出手法は限定されないが、短露光画像および長露光画像から動きを検出する場合には、何れかの画像に対して露光比に応じたゲインを乗じて正規化した上で差分を算出するのがよい。また、動き検出情報の生成手法は特に限定されない。例えば、動き検出部５０は、短露光画像と長露光画像とに基づいて検出した動きと所定の動き量との関係に基づいて動き検出情報を生成すればよい。
【００３７】
具体的には、動き検出部５０は、短露光画像と長露光画像とにおいて、対応する領域の画素値または勾配の差分を検出し、差分が所定の動き量より大きい領域を動き領域として検出してよい。一方、動き検出部５０は、差分が所定の動き量より小さい領域を非動き領域として検出してよい。差分が所定の動き量と同一の領域はいずれの領域として検出されてもよい。動き検出部５０は、このような検出結果を動き検出情報として生成してよい。
【００３８】
ＷＤＲ合成部６０は、使用画像選択部４０によって生成された使用画像選択情報に基づいて、短露光画像と長露光画像とを合成することによりＷＤＲ合成画像を生成する。具体的には、ＷＤＲ合成部６０は、使用画像選択情報を参照して、短露光画像使用領域には短露光画像を使用し、長露光画像使用領域には長露光画像を使用して合成画像を生成する。合成に際しては、いずれかの画像に対して露光比に応じたゲインを乗じて正規化した上で合成されるのがよい。
【００３９】
このとき、ＷＤＲ合成部６０は、使用画像選択部４０によって生成された使用画像選択情報に従って短露光画像および長露光画像を合成してよいが、このような処理だけでは、大きな動きがある領域では輪郭が二重になるなどといったアーティファクトが発生し得る。そのため、ＷＤＲ合成部６０は、動きに基づいて輪郭が二重になる現象を低減する処理を行ってもよい。かかる処理を含む、短露光画像と長露光画像とのいずれかを選択するアルゴリズムは特に限定されない。なお、センサ１０の分解能を１２ビットとしたとき、ＷＤＲ合成画像の各画素は１６ビット程度に拡張されてよい。ＷＤＲ合成部６０は、ＷＤＲ合成画像をラインごとにラインメモリ７０に出力する。
【００４０】
２次元階調圧縮部８０は、ラインメモリ７０から取り出されたＷＤＲ合成画像の階調圧縮およびダイナミックレンジ調整を二次元的に行う。例えば、階調圧縮の特性として、画面全体で同一の特性を用いるのではなく、水平および垂直方向に大きさを持つ二次元の領域ごとに異なる特性を使用する。これは局所的なコントラストを上げることによってオブジェクトの視認性を向上させる効果を奏する。また、ダイナミックレンジ調整についても同様で、ビット拡張された信号を出力のビット数に合わせる際に、画面全体を均一に除算するのではなく、一定の領域ごとに異なる演算を適用する。これも局所的なコントラストを向上する効果を奏する。
【００４１】
階調圧縮およびダイナミックレンジ調整は一体となって行われてもよいし、別々に行われてもよい。このような二次元的な処理をハードウェアで実行する場合、当該処理ブロックの前段にラインメモリ７０が必要となる。二次元処理の単位領域の垂直方向のサイズが大きいほど、また水平画素数が大きいほど、このラインメモリの規模は大きくなりハードウェアの負担が大きくなる。
【００４２】
なお、本実施形態においては、２次元階調圧縮部８０によってＷＤＲ合成画像の階調圧縮およびダイナミックレンジ調整が二次元的に行われる例を説明するが、階調圧縮およびダイナミックレンジ調整の代わりに他の処理（例えば、階調処理など）が行われてもよい。例えば、階調処理は、ＷＤＲ合成画像のコントラストを変換する処理であってよい。すなわち、画像処理装置１Ａは、２次元階調圧縮部８０の代わりに、ＷＤＲ合成画像に対して何らかの処理を行う処理部を有していてもよい。
【００４３】
２次元階調圧縮部８０の後段は、例えば、ベイヤーデータからＲＧＢプレーンを生成するデモザイク部、輪郭強調部、カラーマネージメントなどを含む画像処理エンジンに接続される。そのため、２次元階調圧縮部８０からの出力信号のデータ量は、例えば、画像処理エンジンへの入力データのサイズに適合するように（例えば、１２ｂｉｔ程度に）調整されるのが好ましい。単純にデータサイズを低下させるだけでは暗い画像に変換されてしまうため、人間の視覚特性に近づくように高輝度側が強く圧縮されるとよい。
【００４４】
飽和検出閾値の制御について、図４を用いて具体的に説明する。被写体が明るいときには、センサ１０は何ら信号増幅を行わない。そこで、閾値制御部３０は、センサ１０から入力される信号増幅がない旨の情報に基づいて、使用画像選択部４０によって使用される飽和検出閾値として所定の値（例えば、１２ｂｉｔ信号に対して「３０００」など）を設定する。これによって、使用画像選択部４０において短露光画像および長露光画像が適切に選択され、ＷＤＲ合成処理の効果が得られるようにする。
【００４５】
一方、被写体が暗くなってくると、センサ１０が信号増幅を行うようになる。そこで、閾値制御部３０は、センサ１０の信号増幅度が所定区間（以下、「第１の所定区間」とも言う。）の範囲内に収まる場合には、センサ１０における信号増幅度の増加に伴って、飽和検出閾値を増加させ、短露光画像が選択されにくい状況にしていく。そして、閾値制御部３０は、センサ１０における信号増幅度が最大値に達すると、飽和検出閾値を最大値に設定して短露光画像が選択されないようにして、特に短露光画像で顕著になるノイズの影響を排除する。例として、被写体の明るさが徐々に低下する状況では、センサ１０における信号増幅度は徐々に上昇して、それに伴って長露光画像の選択比率が徐々に高まるので、ＷＤＲ合成処理の効果を時間的にゆるやかに変更することができる。
【００４６】
なお、図４に示した例では、画像処理装置１Ａが閾値制御部３０を備えている。例えば、閾値制御部３０はファームウェアによって構成されており、センサ１０による信号増幅度がセンサ１０から当該ファームウェアに上げられ、使用画像選択部４０によって使用される飽和検出閾値が当該ファームウェアによって制御されてよい。あるいは、閾値制御部３０および使用画像選択部４０が共に、ハードウェアによって構成されてもよいし、ソフトウェアの実行によって実現されてもよい。
【００４７】
また、上記においては、センサ１０による信号増幅度が最大値になったときに、飽和検出閾値も最大値に設定される例を説明した。しかし、本発明の実施形態の狙いは、ＷＤＲ合成結果のノイズが目立たないようにすることにある。したがって、ＷＤＲ合成画像に含まれるノイズが目立たない場合などにおいては、飽和検出閾値としては最大値よりも低い値が設定されてもよい。
【００４８】
また、センサ１０における信号増幅の開始タイミングと飽和検出閾値を増加させ始めるタイミングとは同時でなくてもよい。既に述べたように、本発明の実施形態の狙いは、ＷＤＲ合成結果のノイズが目立たないようにすることである。したがって、センサ１０における信号増幅が開始されても、ＷＤＲ合成画像に含まれるノイズが目立たない場合などにおいては、飽和検出閾値を変更しなくてもよい。
【００４９】
以上に説明したように、本発明の第１の実施形態によれば、露光状態が悪化し、短露光画像に含まれるノイズ量が非常に増加する場合に、ＷＤＲ合成時の長露光画像の選択比率を高めることによってノイズの影響を低減したＷＤＲ合成画像を得ることができる。また、被写体の照明環境や露光状態に応じてＷＤＲ合成処理の効果を時間的にゆるやかに切り替えることが可能である。
【００５０】
（第１の実施形態の変形例）
続いて、本発明の第１の実施形態の変形例について説明する。本発明の第１の実施形態においては、長露光画像の選択比率を高めても、ＷＤＲ合成処理後にＷＤＲ合成画像に対して階調圧縮処理がかかるため、長露光画像そのものとは多少異なる画像が出力される。しかし、ＷＤＲオフ時には、長露光画像と同じ画像が出力されたほうが、より自然なＷＤＲ合成結果が得られる。そこで、第１の実施形態の変形例においては、ＷＤＲオフ時に長露光画像と同じ画像が出力される例を説明する。
【００５１】
まず、図５を参照しながら、本発明の第１の実施形態の変形例に係る画像処理装置１Ａ＃の機能構成について説明する。図５に示すように、画像処理装置１Ａ＃は、本発明の第１の実施形態に係る画像処理装置１Ａと比較して、ラインメモリ７０に相当する第１のラインメモリ７１が存在し、混合部９０および第２のラインメモリ７２が追加されている。混合部９０には、センサ１０における信号増幅度、ＷＤＲ合成結果および長露光画像が入力される。
【００５２】
第２のラインメモリ７２は、混合部９０において使用される長露光画像に対して、２次元階調圧縮部８０から出力される２次元階調圧縮処理結果との間で垂直遅延量を合わせるために設けられる。混合部９０は、センサ１０における信号増幅度に基づいて、２次元階調圧縮部８０から出力された２次元階調圧縮処理結果と第２のラインメモリ７２から取り出された長露光画像との混合比率を算出し、算出した混合比率により２次元階調圧縮処理結果と長露光画像とを混合する。
【００５３】
ＷＤＲ合成結果の混合比率（以下、「ＷＤＲ合成結果比率」とも言う。）の算出について図６を用いて具体的に説明する。被写体が明るいときには、センサ１０は何ら信号増幅を行わない。そこで、混合部９０は、センサ１０から入力される信号増幅がない旨の情報に基づいて、ＷＤＲ合成部６０によって生成されたＷＤＲ合成結果を１００％使用するようにＷＤＲ合成結果比率を算出し、ＷＤＲ合成部６０によって生成されたＷＤＲ合成結果をＷＤＲの最終結果として出力する。
【００５４】
一方、被写体が暗くなってくると、センサ１０が信号増幅を行うようになる。そこで、混合部９０は、センサ１０の信号増幅度が所定区間（以下、「第２の所定区間」とも言う。）の範囲内に収まる場合には、センサ１０における信号増幅度の増加に伴って、ＷＤＲ合成結果比率を減少させて、長露光画像の混合比率を高めるように制御する。そして、混合部９０は、センサ１０における信号増幅度が最大値に達すると、長露光画像の混合比率を１００％とする。かかる構成により、ＷＤＲオフ時に長露光画像と同じ画像を混合部９０から出力させることが可能となる。
【００５５】
以上、本発明の第１の実施形態の変形例に係る画像処理装置１Ａ＃の機能構成について説明したが、第２のラインメモリ７２は、ＷＤＲのオン・オフを時間的にゆるやかに変化させる目的のためだけに追加されるメモリとして見なされ、ハードウェア規模の増加に対して厳しく見られてしまいやすい。ハードウェア規模の観点から第２のラインメモリ７２を確保することができなければ、ＷＤＲオンとオフをゆるやかに変化させる機能を諦める状況になる。そこで、本発明の第２の実施形態においては、第２のラインメモリ７２を不要とする実施形態について説明する。
【００５６】
（第２の実施形態）
図７は、本発明の第２の実施形態に係る画像処理装置１Ｂの機能構成を示す図である。図７に示すように、本発明の第２の実施形態に係る画像処理装置１Ｂは、画像処理装置１Ａ＃と比較して、第２のラインメモリ７２を有しない構成となっている。混合部９０は、２次元階調圧縮部８０と同じ垂直遅延量の信号をラインメモリ７０から取り出す。例えば、２次元階調圧縮部８０における処理ディレイ量の分、フリップフロップなどでラインメモリ７０からの信号をディレイさせて、これを長露光画像に代わる信号として混合部９０に入力する。
【００５７】
しかし、通常はＷＤＲ合成画像と長露光画像とは異なる。そこで、本発明の第２の実施形態では、ＷＤＲ合成画像を長露光画像に近づけるような制御を併用するというのがポイントである。具体的には、閾値制御部３０が飽和検出閾値を最大値に設定することによって、使用画像選択部４０によって短露光画像が使用されないようにする。動きに適応した合成処理はオフにする。これによって、短露光画像が使用されなくなると、ＷＤＲ合成画像は長露光画像相当の画像と見なすことができる。
【００５８】
このようにして得られた長露光画像相当の画像と２次元階調圧縮処理結果とを混合部９０において混合すれば、本発明の第１の実施形態の変形例に係る画像処理装置１Ａ＃が奏する効果と同様の効果（すなわち、ＷＤＲオフ時に長露光画像と同じ画像を混合部９０から出力させることが可能となるという効果）を奏する。加えて、図５に示した、２次元階調圧縮部８０との間で長露光画像の垂直遅延量を合わせるための第２のラインメモリ７２が不要となる。
【００５９】
飽和検出閾値および２次元階調圧縮処理結果比率の制御について、図８を用いて具体的に説明する。被写体が明るいときには、センサ１０は何ら信号増幅を行わない。そこで、閾値制御部３０は、センサ１０から入力される信号増幅がない旨の情報に基づいて、使用画像選択部４０によって使用される飽和検出閾値として所定の値（例えば、１２ｂｉｔ信号に対して「３０００」など）を設定する。
【００６０】
さらに、混合部９０は、センサ１０から入力される信号増幅がない旨の情報に基づいて、２次元階調圧縮部８０によって生成された２次元階調圧縮処理結果を１００％使用するように２次元階調圧縮処理結果比率を算出し、２次元階調圧縮部８０によって生成された２次元階調圧縮処理結果をＷＤＲの最終結果として出力する。
【００６１】
一方、被写体が暗くなってくると、センサ１０が信号増幅を行うようになる。そこで、閾値制御部３０は、センサ１０の信号増幅度が第１の所定区間の範囲内に収まる場合には、センサ１０における信号増幅度の増加に伴って、飽和検出閾値を増加させ、短露光画像が選択されにくい状況にしていく。さらに、混合部９０は、センサ１０の信号増幅度が第２の所定区間の範囲内に収まる場合には、センサ１０における信号増幅度の増加に伴って、２次元階調圧縮処理結果比率を減少させて、長露光画像相当の画像の混合比率を高めるように制御する。そして、混合部９０は、センサ１０における信号増幅度が最大値に達すると、長露光画像相当の画像の混合比率を１００％とする。
【００６２】
以上に説明したように、本発明の第２の実施形態によれば、本発明の第１の実施形態の変形例と同様に、ＷＤＲオフ時に長露光画像と同じ画像が出力されるため、より自然なＷＤＲ合成結果が得られるという効果を奏する。加えて、本発明の第２の実施形態によれば、ＷＤＲ合成部６０によって生成されたＷＤＲ合成画像に対して２次元階調圧縮処理などといった所定の処理が行われる場合であっても、ラインメモリの増加を抑えることが可能となる。
【００６３】
（まとめ）
本発明の実施形態においては、センサにおいて信号が増幅されるような露光状態が劣悪な状況では、短露光画像を使用するＷＤＲ処理をオフにするという考え方に基づき、センサにおける信号増幅度に基づいて長露光画像の比率を制御する。例えば、センサにおける信号増幅度が所定区間においては（例えば、センサにおける信号増幅度が高いときは）、長露光画像の比率を高める。これによってＷＤＲ処理画像中に含まれるノイズをゆるやかに低減できる。また、被写体の照明環境の変化に伴ってＷＤＲ処理のオンとオフを時間的にゆるやかに切り替えることができる。
【００６４】
ＷＤＲ（ワイドダイナミックレンジ）技術は重要視されている。従来技術では、暗いシーンにおいて短露光画像が合成されるとノイズが非常に目立つことが大きな問題となっていた。また、そのような状況でＷＤＲ処理をオフにしようとすれば、処理画像に急な変化を発生させてしまうことになり、可能な限りそのような変化を抑えたいという要請があった。
【００６５】
本発明の実施形態は、被写体の照明環境と関連性の高い、センサにおける信号増幅度を参照して長露光画像の使用比率を高めることによって、従来問題になっていたノイズを効果的に低減することができる。また、ＷＤＲ処理のオンとオフを時間的にゆるやかに変化させることも可能である。ＷＤＲ処理結果と長露光画像の混合比率を変化させる構成では、より自然なＷＤＲ処理画像が得られる。また、２次元の階調処理と組み合わせる場合にも、少ない使用メモリで実現する構成を提示した。
【００６６】
従来の問題を効果的に解決するだけでなく、フレームレートの低下といった性能低下がなく実現できる点、構成が簡単で小さい回路規模で実現可能である点も優れた点として挙げられる。
【００６７】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００６８】
１（１Ａ、１Ｂ）  画像処理装置
１０    センサ
２０    フレームメモリ
３０    閾値制御部
４０    使用画像選択部
５０    検出部
６０    ＷＤＲ合成部
７０    ラインメモリ
７１    第１のラインメモリ
７２    第２のラインメモリ
８０    ２次元階調圧縮部
９０    混合部
【図１】
0006543787.tif 000002
【図２】
0006543787.tif 000003
【図３】
0006543787.tif 000004
【図４】
0006543787.tif 000005
【図５】
0006543787.tif 000006
【図６】
0006543787.tif 000007
【図７】
0006543787.tif 000008
【図８】
0006543787.tif 000009