【手続補正書】
【提出日】平成26年10月24日(2014.10.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像部で撮像された画像を表す画像信号を処理する画像処理装置であって、
前記画像信号の輝度ヒストグラムを計測する露光制御用ヒストグラム計測部と、
前記撮像部に対する複数の露光条件の候補と輝度ヒストグラムとの間の対応関係が予め記憶されている露光条件テーブルと、
前記撮像部により第１の露光量で撮像された高露光画像を表す高露光画像信号と前記撮像部により前記第１の露光量よりも低い第２の露光量で撮像された低露光画像を表す低露光画像信号とを合成して、前記高露光画像信号及び前記低露光画像信号の階調数よりも高い階調数の合成画像信号を生成する画像合成部と、
入力階調レベルと出力階調レベルとの対応関係を定める階調変換特性を有し、該階調変換特性に基づいて、入力された前記合成画像信号の階調数を圧縮する階調圧縮部と、
前記合成画像信号で表される合成画像の明るさを特徴付ける制御パラメータを算出するパラメータ算出部と、
前記撮像部の露光条件を制御する撮像制御部と
を備え、
前記撮像制御部は、前記露光条件テーブルを参照して前記複数の露光条件の候補の中から前記露光制御用ヒストグラム計測部で計測された当該輝度ヒストグラムに対応する露光条件を選択するとともに、当該選択された露光条件を前記撮像部に設定し、
前記階調圧縮部は、前記制御パラメータに基づいて、前記撮像部の露光条件の切り替えによる前記合成画像の明るさの変化を補償するように前記階調変換特性を変化させる
ことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、前記階調圧縮部は、前記撮像部の露光条件の切り替えに応じて前記合成画像の明るさが低減したときは、前記階調変換特性の出力階調レベルを増大させ、前記撮像部の露光条件の切り替えに応じて前記合成画像の明るさが増大したときは、前記階調変換特性の出力階調レベルを低下させることを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、前記パラメータ算出部は、前記合成画像信号の平均輝度値を前記制御パラメータとして算出することを特徴とする画像処理装置。
【請求項４】
請求項１から３のうちのいずれか１項に記載の画像処理装置であって、
前記合成画像信号の輝度ヒストグラムを計測する階調変換用ヒストグラム計測部をさらに備え、
前記階調圧縮部は、前記階調変換用ヒストグラム計測部で計測された当該輝度ヒストグラムに基づいて前記合成画像の実効ダイナミックレンジを検出し、前記実効ダイナミックレンジに対応する出力階調レベル範囲が拡大するように前記階調変換特性を変化させる
ことを特徴とする画像処理装置。
【請求項５】
請求項１から３のうちのいずれか１項に記載の画像処理装置であって、
前記露光制御用ヒストグラム計測部は、前記低露光画像の第１の輝度ヒストグラムと前記高露光画像の第２の輝度ヒストグラムとを計測し、
前記階調圧縮部は、前記第１及び第２の輝度ヒストグラムに基づいて前記合成画像の実効ダイナミックレンジを検出し、前記実効ダイナミックレンジに対応する出力階調レベル範囲が拡大するように前記階調変換特性を変化させる
ことを特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置であって、前記階調圧縮部は、前記第１の輝度ヒストグラムに基づいて前記低露光画像の実効ダイナミックレンジを検出するとともに前記第２の輝度ヒストグラムに基づいて前記高露光画像の実効ダイナミックレンジを検出し、前記低露光画像の実効ダイナミックレンジに対応する階調レベル範囲の上限値と前記高露光画像の実効ダイナミックレンジに対応する階調レベル範囲の上限値との平均値を前記合成画像の実効ダイナミックレンジの上限値とすることを特徴とする画像処理装置。
【請求項７】
請求項１から６のうちのいずれか１項に記載の画像処理装置であって、
前記画像合成部は、
前記低露光画像信号及び前記高露光画像信号の輝度成分にそれぞれ重み係数を乗算して第１及び第２の重み付き輝度成分を生成する重み係数乗算部と、
前記第１及び第２の重み付き輝度成分を加算する加算部と、
前記加算部の出力信号に応じて前記低露光画像信号及び前記高露光画像信号にそれぞれ割り当てるべき第１及び第２の合成比率を決定する合成比率算出部と、
前記低露光画像信号及び前記高露光画像信号に前記第１及び第２の合成比率をそれぞれ乗算して第１及び第２の乗算信号を生成する合成比率乗算部と、
前記第１及び第２の乗算信号を加算して前記合成画像信号を生成する合成処理部と
を含むことを特徴とする画像処理装置。
【請求項８】
請求項１から７のうちのいずれか１項に記載の画像処理装置であって、前記画像信号の輝度ヒストグラムは、１フレーム画像単位で算出されることを特徴とする画像処理装置。
【請求項９】
請求項１から７のうちのいずれか１項に記載の画像処理装置であって、
前記露光制御用ヒストグラム計測部は、前記画像信号で表される入力画像の１フレーム分を複数の領域画像に分割し、前記複数の領域画像それぞれの複数の輝度ヒストグラムを前記画像信号の輝度ヒストグラムとして計測し、
前記撮像制御部は、前記露光制御用ヒストグラム計測部で計測された当該複数の輝度ヒストグラムの特徴を表すパラメータを前記領域画像毎に算出し、前記パラメータに基づいて、前記複数の露光条件の候補の中から一の露光条件を選択するための指標値を算出する
ことを特徴とする画像処理装置。
【請求項１０】
請求項１から９のうちのいずれか１項に記載の画像処理装置であって、
前記撮像制御部は、前記高露光画像と前記低露光画像とを前記撮像部に交互に撮像させ、
前記画像合成部は、前記高露光画像と前記低露光画像との組が撮像される度に前記合成画像信号を生成し、
前記階調圧縮部は、前記制御パラメータの現在値を前記制御パラメータの前回値から一定範囲内に制限する
ことを特徴とする画像処理装置。
【請求項１１】
請求項１から１０のうちのいずれか１項に記載の画像処理装置であって、
前記撮像部は、
レンズと絞り機構とを有する撮像光学系と、
前記撮像光学系により結像された光学像を光電変換する固体撮像素子と、
前記固体撮像素子の出力を増幅する増幅器と
を含み、
前記撮像制御部は、前記固体撮像素子の露光時間と前記増幅器のゲインと前記絞り機構の絞り値とのうち少なくとも１つを制御することで前記露光条件を制御する
ことを特徴とする画像処理装置。
【請求項１２】
撮像部と、
前記撮像部で撮像された画像を表す画像信号の輝度ヒストグラムを計測する露光制御用ヒストグラム計測部と、
前記撮像部に対する複数の露光条件の候補と輝度ヒストグラムの複数の頻度分布との間の対応関係が記憶されている露光条件テーブルと、
前記撮像部により第１の露光量で撮像された高露光画像を表す高露光画像信号と前記撮像部により前記第１の露光量よりも低い第２の露光量で撮像された低露光画像を表す低露光画像信号とを合成して、前記高露光画像信号及び前記低露光画像信号の階調数よりも高い階調数の合成画像信号を生成する画像合成部と、
入力階調レベルと出力階調レベルとの対応関係を定める階調変換特性を有し、該階調変換特性に基づいて、入力された前記合成画像信号の階調数を圧縮する階調圧縮部と、
前記合成画像信号で表される合成画像の明るさを特徴付ける制御パラメータを算出するパラメータ算出部と、
前記撮像部の露光条件を制御する撮像制御部と
を備え、
前記撮像制御部は、前記露光条件テーブルを参照して前記複数の露光条件の候補の中から前記露光制御用ヒストグラム計測部で計測された当該輝度ヒストグラムに対応する露光条件を選択するとともに、当該選択された露光条件を前記撮像部に設定し、
前記階調圧縮部は、前記制御パラメータに基づいて、前記撮像部の露光条件の切り替えによる前記合成画像の明るさの変化を補償するように前記階調変換特性を変化させる
ことを特徴とする撮像装置。
【請求項１３】
請求項１２に記載の撮像装置であって、前記階調圧縮部は、前記撮像部の露光条件の切り替えに応じて前記合成画像の明るさが低減したときは、前記階調変換特性の出力階調レベルを増大させ、前記撮像部の露光条件の切り替えに応じて前記合成画像の明るさが増大したときは、前記階調変換特性の出力階調レベルを低下させることを特徴とする撮像装置。
【請求項１４】
撮像部で撮像された画像を表す画像信号を処理する画像処理方法であって、
前記画像信号の輝度ヒストグラムを計測するステップと、
前記撮像部により第１の露光量で撮像された高露光画像を表す高露光画像信号と前記撮像部により前記第１の露光量よりも低い第２の露光量で撮像された低露光画像を表す低露光画像信号とを合成して、前記高露光画像信号及び前記低露光画像信号の階調数よりも高い階調数の合成画像信号を生成するステップと、
前記合成画像信号を入力とし、入力階調レベルと出力階調レベルとの対応関係を定める階調変換特性に基づいて前記合成画像信号の階調数を圧縮するステップと、
前記合成画像信号で表される合成画像の明るさを特徴付ける制御パラメータを算出するステップと、
前記撮像部に対する複数の露光条件の候補と輝度ヒストグラムの複数の頻度分布との間の対応関係が記憶されている露光条件テーブルを参照して、前記複数の露光条件の候補の中から前記計測された前記画像信号の前記輝度ヒストグラムに対応する露光条件を選択するステップと、
当該選択された露光条件を前記撮像部に設定するステップと、
前記制御パラメータに基づいて、前記撮像部の露光条件の切り替えによる前記合成画像の明るさの変化を補償するように前記階調変換特性を変化させるステップと
を備えることを特徴とする画像処理方法。
【請求項１５】
請求項１４に記載の画像処理方法であって、
前記階調変換特性を変化させる当該ステップは、
前記撮像部の露光条件の切り替えに応じて前記合成画像の明るさが低減したときは、前記階調変換特性の出力階調レベルを増大させるステップと、
前記撮像部の露光条件の切り替えに応じて前記合成画像の明るさが増大したときは、前記階調変換特性の出力階調レベルを低下させるステップと
を含むことを特徴とする画像処理方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明の第３の態様による画像処理方法は、撮像部で撮像された画像を表す画像信号を処理する画像処理方法であって、前記画像信号の輝度ヒストグラムを計測するステップと、前記撮像部により第１の露光量で撮像された高露光画像を表す高露光画像信号と前記撮像部により前記第１の露光量よりも低い第２の露光量で撮像された低露光画像を表す低露光画像信号とを合成して、前記高露光画像信号及び前記低露光画像信号の階調数よりも高い階調数の合成画像信号を生成するステップと、前記合成画像信号を入力とし、入力階調レベルと出力階調レベルとの対応関係を定める階調変換特性に基づいて前記合成画像信号の階調数を圧縮するステップと、前記合成画像信号で表される合成画像の明るさを特徴付ける制御パラメータを算出するステップと、前記撮像部に対する複数の露光条件の候補と輝度ヒストグラムの複数の頻度分布との間の対応関係が記憶されている露光条件テーブルを参照して、前記複数の露光条件の候補の中から前記計測された前記画像信号の前記輝度ヒストグラムに対応する露光条件を選択するステップと、当該選択された露光条件を前記撮像部に設定するステップと、前記制御パラメータに基づいて、前記撮像部の露光条件の切り替えによる前記合成画像の明るさの変化を補償するように前記階調変換特性を変化させるステップとを備えることを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
信号処理部２１は、撮像部１０から入力されたディジタル画像信号Ｒｄに、色同時化処理、ノイズ低減処理、輪郭補正処理、白バランス調整処理、信号振幅調整処理、色補正処理及び色空間変換などを施して輝度成分と色差成分とからなるカラー画像信号を生成する。このカラー画像信号は、バス２８に出力される。なお、ＲＡＷ形式のディジタル画像では、１つの画素は、固体撮像素子１３の色フィルタ配列のうちの１つの色フィルタに対応する１色成分しか持たない。色同時化処理は、カラー画像を構成するために各画素に不足している色成分を補間する処理である。たとえば色フィルタ配列が原色系のベイヤ配列の場合には、ＲＡＷ形式のディジタル画像の各画素は、赤、緑及び青のうちの一色の成分しか持たないので、各画素に不足している２色の色成分が周辺画素の色成分から補間される。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
低露光画像の撮像の際には、撮像制御部２４は、直近に撮像された低露光画像の輝度ヒストグラムを用いて撮像部１０の露光条件を設定する。一方、高露光画像の撮像の際には、撮像制御部２４は、直近に撮像された高露光画像の輝度ヒストグラムを用いて撮像部１０の露光条件を設定する。たとえば、動画撮像モードでは、図３の低露光画像Ｆｓ（３）の撮像のための露光条件は、２フレーム前に撮像された低露光画像Ｆｓ（２）の輝度ヒストグラムの計測データに基づいて行われる。また、図３の高露光画像Ｆｔ（３）の撮像のための露光条件は、２フレーム前に撮像された高露光画像Ｆｔ（２）の輝度ヒストグラムの計測データに基づいて行われる。
【手続補正５】
【補正対象書類名】図面
【補正対象項目名】図１
【補正方法】変更
【補正の内容】
【図１】
2013138301.tif 000001
【手続補正６】
【補正対象書類名】図面
【補正対象項目名】図１３
【補正方法】変更
【補正の内容】
【図１３】
2013138301.tif 000002
【手続補正７】
【補正対象書類名】図面
【補正対象項目名】図１８
【補正方法】変更
【補正の内容】
【図１８】
2013138301.tif 000003