(57)【要約】      （修正有）【課題】物体認識を適切に行うことができる画像を生成する画像処理装置を提供する。【解決手段】画像処理装置が備える画像処理部２００は、対象画素の周囲に存在する複数の画素からなる周辺画像を取得する周辺画像取得部２３１と、周辺画像における低周波成分を生成する低周波成分抽出部２３２と、を備える。画像処理部２００は、対象画素のレベルを、低周波成分抽出部２３２で生成された周辺画像における低周波成分に基づいて補正する。【選択図】図２
2020071809.tif 000002
【特許請求の範囲】
【請求項１】
画像を構成する対象画素のレベルを、前記対象画素の周辺画像における低周波成分に基づいて補正する画像処理部を具備する画像処理装置。
【請求項２】
前記画像処理部は、前記対象画素のレベルが第１閾値を基準として小さい場合には前記対象画素のレベルを補正せず、前記対象画素のレベルが前記第１閾値よりも大きい値である第２閾値を基準として大きい場合には前記対象画素のレベルを補正する請求項１に記載の画像処理装置。
【請求項３】
前記画像処理部は、前記対象画素のレベルが前記第１閾値と前記第２閾値とを基準とする所定範囲に含まれる場合には、前記対象画素の周辺画像における高周波成分に基づいて前記対象画素のレベルを補正するか否かを決定する請求項２に記載の画像処理装置。
【請求項４】
前記画像処理部は、前記高周波成分が第３閾値を基準として小さい場合には前記対象画素のレベルを補正し、前記高周波成分が前記第３閾値よりも大きい値である第４閾値を基準として大きい場合には前記対象画素のレベルを補正しない請求項３に記載の画像処理装置。
【請求項５】
前記画像処理部は、前記高周波成分が前記第３閾値と前記第４閾値とを基準とする所定範囲に含まれる場合には、前記対象画素のレベルを補正したものと、前記対象画素のレベルを補正していないものとをブレンドするブレンド処理を行う請求項４に記載の画像処理装置。
【請求項６】
前記画像処理部は、前記低周波成分に基づいて前記対象画素のレベルを補正するためのゲインを生成する請求項１に記載の画像処理装置。
【請求項７】
前記画像は、異なる条件により生成された第１画像と前記第１画像よりも暗い画像である第２画像との合成により生成された合成画像であり、
前記画像処理部は、前記合成画像を構成する前記対象画素のレベルを、前記第１画像における当該対象画素に対応する第１画素の周辺画像における低周波成分に基づいて補正する
請求項１に記載の画像処理装置。
【請求項８】
前記画像処理部は、前記合成画像を構成する前記対象画素に対応する前記第２画像における前記第２画素のレベルが第１閾値を基準として小さい場合には当該対象画素のレベルを補正せず、前記第２画素のレベルが前記第１閾値よりも大きい値である第２閾値を基準として大きい場合には当該対象画素のレベルを補正する請求項７に記載の画像処理装置。
【請求項９】
前記画像処理部は、前記第２画素のレベルが前記第１閾値と前記第２閾値とを基準とする所定範囲に含まれる場合には、前記第２画素の周辺画像における高周波成分に基づいて前記合成画像を構成する前記対象画素のレベルを補正するか否かを決定する請求項８に記載の画像処理装置。
【請求項１０】
前記画像処理部は、前記高周波成分が第３閾値を基準として小さい場合には前記合成画像を構成する前記対象画素のレベルを補正し、前記高周波成分が前記第３閾値よりも大きい値である第４閾値を基準として大きい場合には当該対象画素のレベルを補正しない請求項９に記載の画像処理装置。
【請求項１１】
前記画像処理部は、前記高周波成分が前記第３閾値と前記第４閾値とを基準とする所定範囲に含まれる場合には、前記合成画像を構成する前記対象画素のレベルを補正したものと、当該対象画素のレベルを補正していないものとをブレンドするブレンド処理を行う請求項１０に記載の画像処理装置。
【請求項１２】
前記画像処理部は、前記第１画素の周辺画像における低周波成分に基づいて前記合成画像を構成する前記対象画素のレベルを補正するためのゲインを生成する請求項７に記載の画像処理装置。
【請求項１３】
画像を構成する対象画素のレベルを、前記対象画素の周辺画像における低周波成分に基づいて補正する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置および画像処理方法に関する。詳しくは、撮像により生成された画像データを処理する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、人物、動物、乗り物等の被写体を撮像して画像データを生成するデジタルスチルカメラ、デジタルビデオカメラ（例えば、カメラ一体型レコーダ）、監視カメラ等の撮像装置が普及している。また、生成された画像データについて各種の画像処理を施すことにより適切な画像を生成する撮像装置が普及している。
【０００３】
例えば、撮像装置により生成される画像に明暗の差が大きいシーン（例えば、逆光シーン）が含まれる場合には、生成された画像における明るい部分が飽和して白飛びが生じたり、生成された画像における暗い部分で黒潰れが生じたりすることがある。そこで、明暗の差が大きいシーン（例えば、逆光シーン）についても適切に階調補正を行うことができる撮像装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０６−３０３３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述の従来技術では、明暗の差が大きいシーン（例えば、逆光シーン）について適切に階調補正を行い、階調表現が豊かな画像が得ることができる。
【０００６】
ここで、撮像装置により生成された画像を用いて物体認識を行うことを想定する。例えば、画像における変化部分（例えば、エッジ）の特徴を用いた物体認識を行う場合には、白飛びや黒潰れのない画像を用いることが重要となるが、物体にあたる光の情報は不要となる。しかし、上述の従来技術では、階調補正をしても、物体にあたる光の情報が残されることになるため、画像における変化部分の特徴を用いた物体認識を行う場合には、認識率が低下するおそれがある。
【０００７】
本開示は、上述した問題点に鑑みてなされたものであり、物体認識を適切に行うことができる画像を生成することを目的としている。
【課題を解決するための手段】
【０００８】
本開示の第１の態様は、画像を構成する対象画素のレベルを、前記対象画素の周辺画像における低周波成分に基づいて補正する画像処理部を具備する画像処理装置およびその画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。
【０００９】
また、この第１の態様において、前記画像処理部は、前記対象画素のレベルが第１閾値を基準として小さい場合には前記対象画素のレベルを補正せず、前記対象画素のレベルが前記第１閾値よりも大きい値である第２閾値を基準として大きい場合には前記対象画素のレベルを補正してもよい。
【００１０】
また、この第１の態様において、前記画像処理部は、前記対象画素のレベルが前記第１閾値と前記第２閾値とを基準とする所定範囲に含まれる場合には、前記対象画素の周辺画像における高周波成分に基づいて前記対象画素のレベルを補正するか否かを決定してもよい。
【００１１】
また、この第１の態様において、前記画像処理部は、前記高周波成分が第３閾値を基準として小さい場合には前記対象画素のレベルを補正し、前記高周波成分が前記第３閾値よりも大きい値である第４閾値を基準として大きい場合には前記対象画素のレベルを補正しないようにしてもよい。
【００１２】
また、この第１の態様において、前記画像処理部は、前記高周波成分が前記第３閾値と前記第４閾値とを基準とする所定範囲に含まれる場合には、前記対象画素のレベルを補正したものと、前記対象画素のレベルを補正していないものとをブレンドするブレンド処理を行うようにしてもよい。
【００１３】
また、この第１の態様において、前記画像処理部は、前記低周波成分に基づいて前記対象画素のレベルを補正するためのゲインを生成してもよい。
【００１４】
また、この第１の態様において、前記画像は、異なる条件により生成された第１画像と前記第１画像よりも暗い画像である第２画像との合成により生成された合成画像であり、前記画像処理部は、前記合成画像を構成する前記対象画素のレベルを、前記第１画像における当該対象画素に対応する第１画素の周辺画像における低周波成分に基づいて補正してもよい。
【００１５】
また、この第１の態様において、前記画像処理部は、前記合成画像を構成する前記対象画素に対応する前記第２画像における前記第２画素のレベルが第１閾値を基準として小さい場合には当該対象画素のレベルを補正せず、前記第２画素のレベルが前記第１閾値よりも大きい値である第２閾値を基準として大きい場合には当該対象画素のレベルを補正してもよい。
【００１６】
また、この第１の態様において、前記画像処理部は、前記第２画素のレベルが前記第１閾値と前記第２閾値とを基準とする所定範囲に含まれる場合には、前記第２画素の周辺画像における高周波成分に基づいて前記合成画像を構成する前記対象画素のレベルを補正するか否かを決定してもよい。
【００１７】
また、この第１の態様において、前記画像処理部は、前記高周波成分が第３閾値を基準として小さい場合には前記合成画像を構成する前記対象画素のレベルを補正し、前記高周波成分が前記第３閾値よりも大きい値である第４閾値を基準として大きい場合には当該対象画素のレベルを補正しないようにしてもよい。
【００１８】
また、この第１の態様において、前記画像処理部は、前記高周波成分が前記第３閾値と前記第４閾値とを基準とする所定範囲に含まれる場合には、前記合成画像を構成する前記対象画素のレベルを補正したものと、当該対象画素のレベルを補正していないものとをブレンドするブレンド処理を行うようにしてもよい。
【００１９】
また、この第１の態様において、前記画像処理部は、前記第１画素の周辺画像における低周波成分に基づいて前記合成画像を構成する前記対象画素のレベルを補正するためのゲインを生成してもよい。
【００２０】
このような態様を採ることにより、画像を構成する対象画素のレベルを、対象画素の周辺画像における低周波成分に基づいて補正するという作用をもたらす。
【図面の簡単な説明】
【００２１】
【図１】本開示の第１の実施の形態に係る撮像装置１００の構成例を示す図である。
【図２】本開示の第１の実施の形態に係る画像処理部２００の構成例を示す図である。
【図３】本開示の第１の実施の形態に係る画像処理部２００による補正処理に用いられる各画像と対象画素と周辺画像との関係例を示す図である。
【図４】本開示の第１の実施の形態に係るマスク処理部２５２による補正処理の決定に用いられるレベルの閾値ＴＨ１およびＴＨ２と、対象画素のレベルＬ１との関係を示す図である。
【図５】本開示の第１の実施の形態に係るマスク処理部２５２による補正処理の決定に用いられるレベルの閾値ＴＨ３およびＴＨ４と、周辺画像から抽出される高周波成分ＨＦ１との関係を示す図である。
【図６】本開示の第１の実施の形態に係るマスク処理部２５２による補正処理の決定の流れを模式的に示す図である。
【図７】本開示の第１の実施の形態に係る撮像装置１００による補正処理の処理手順の一例を示すフローチャートである。
【図８】本開示の第１の実施の形態に係る撮像装置１００による補正処理の処理手順の一例を示すフローチャートである。
【図９】本開示の第１の実施の形態に係る撮像装置１００により生成される画像の一例を簡略化して示す図である。
【図１０】本開示の第２の実施の形態に係る撮像装置６００の構成例を示す図である。
【図１１】本開示の第３の実施の形態に係る撮像装置７００の構成例を示す図である。
【図１２】本開示の第４の実施の形態に係る撮像装置８００の構成例を示す図である。
【発明を実施するための形態】
【００２２】
次に、図面を参照して、本開示を実施するための形態（以下、実施の形態と称する）を説明する。以下の図面において、同一または類似の部分には同一または類似の符号を付している。また、以下の順序で実施の形態の説明を行う。
１．第１の実施の形態
２．第２の実施の形態
３．第３の実施の形態
４．第４の実施の形態
【００２３】
＜１．第１の実施の形態＞
［撮像装置の構成］
図１は、本開示の第１の実施の形態に係る撮像装置１００の構成例を示す図である。
【００２４】
撮像装置１００は、センサ１１０と、露出制御部１２０と、ＨＤＲ（high dynamic range）合成部１３０と、制御部１４０と、操作受付部１５０と、画像処理部２００とを備える。撮像装置１００は、例えば、画像における変化部分（例えば、エッジ）の特徴を用いた物体認識を行う場合に用いられる動画や静止画を生成する機器により実現される。なお、撮像装置１００は、特許請求の範囲に記載の画像処理装置の一例である。
【００２５】
センサ１１０は、制御部１４０の制御に基づいて、レンズを介して入射された被写体の光を電気信号（画像データ）に変換する撮像素子（イメージセンサ）である。また、センサ１１０は、その電気信号（画像データ）を信号線１１１を介して露出制御部１２０に出力する。なお、センサ１１０として、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサを用いることができる。
【００２６】
露出制御部１２０は、制御部１４０の制御に基づいて、シャッター制御、ゲイン制御およびフラッシュ制御等の各種の露出制御を行うものである。また、露出制御部１２０は、各種の設定内容に基づいて、センサ１１０から出力された電気信号（画像データ）を用いて、設定条件が異なる複数の画像（短時間蓄積画像および長時間蓄積画像）の画像データを生成する。そして、露出制御部１２０は、生成された長時間蓄積画像の画像データを信号線１２１を介してＨＤＲ合成部１３０に出力し、生成された短時間蓄積画像の画像データを信号線１２２を介してＨＤＲ合成部１３０に出力する。
【００２７】
ＨＤＲ合成部１３０は、制御部１４０の制御に基づいて、露出制御部１２０から出力された画像データ（短時間蓄積画像および長時間蓄積画像）についてＨＤＲ合成処理を行うことによりＨＤＲ合成画像を生成するものである。例えば、合成部１３０は、長時間蓄積画像における対象画素のレベルが基準値を超えていた場合には、対象画素と同じ座標の短時間蓄積画像に基づく補正処理を行う。
【００２８】
また、ＨＤＲ合成部１３０は、所定の圧縮技術を用いてＨＤＲ合成画像を圧縮することができる。例えば、ＨＤＲ合成部１３０は、合成画像を８ｂｉｔ階調に圧縮することができる。このように、ＨＤＲ合成部１３０は、視覚的に物体を認識するため、明るさが異なる複数の画像を合成し、トーンリダクションを用いた階調圧縮により高ダイナミックレンジの画像を低階調のフォーマットに出力することができる。なお、圧縮の目標値を変更することで出力レンジを変更することも可能である。
【００２９】
また、ＨＤＲ合成部１３０は、生成されたＨＤＲ合成画像（例えば、８ｂｉｔ階調に圧縮された画像）を信号線１３１を介して画像処理部２００に出力する。また、ＨＤＲ合成部１３０は、露出制御部１２０から出力された画像（短時間蓄積画像および長時間蓄積画像）についてＨＤＲ合成処理を行う前の画像データを画像処理部２００に出力する。すなわち、ＨＤＲ合成部１３０は、長時間蓄積画像の画像データを信号線１３２を介して画像処理部２００に出力し、短時間蓄積画像の画像データを信号線１３３を介して画像処理部２００に出力する。
【００３０】
制御部１４０は、メモリ（図示せず）に格納されている制御プログラムに基づいて撮像装置１００の各部を制御するものである。また、制御部１４０は、操作受付部１５０により受け付けられた操作入力に基づいて、各部を制御する。制御部１４０は、例えば、ＣＰＵ（Central Processing Unit）により実現される。
【００３１】
操作受付部１５０は、ユーザにより行われた操作入力を受け付ける操作受付部であり、受け付けられた操作入力に応じた操作情報を制御部１４０に出力する。操作受付部１４０は、例えば、各種の操作部材（例えば、ボタン、スイッチおよびタッチパネル）や外部の操作部材（例えば、マウスおよびキーボード）により実現される。
【００３２】
画像処理部２００は、ＨＤＲ合成部１３０から出力された画像データについて各種の画像処理を施すものであり、画像処理が施された画像データを信号線２５４を介して出力する。なお、画像処理部２００により画像処理が施された画像データは、例えば、物体認識に用いられる。また、画像処理部２００により画像処理が施された画像データを記憶媒体に記憶しておき、物体認識に用いるようにしてもよい。なお、画像処理部２００の構成については、図２を参照して詳細に説明する。また、物体認識は、例えば、画像における変化部分（例えば、エッジ）の特徴を用いた物体認識（特に、生体認識）である。画像における変化部分の特徴を用いた物体認識は、例えば、ＣＮＮ（Convolutional Neural Network）、ＨＯＧ（Histogram of Oriented Gradient）およびＳＩＦＴ（Scale-Invariant Feature Transform）である。
【００３３】
［画像処理部の構成］
図２は、本開示の第１の実施の形態に係る画像処理部２００の構成例を示す図である。
【００３４】
画像処理部２００は、レベル判定部２１０と、エッジ・テクスチャ判定部２２０と、照明成分抽出部２３０と、補正値設定部２４０と、補正処理部２５０とを備える。
【００３５】
レベル判定部２１０は、ＨＤＲ合成部１３０（図１に示す）から信号線１３３を介して出力された画像データ（短時間蓄積画像データ）を構成する各画素のレベルを判定するものである。そして、レベル判定部２１０は、その判定したレベルを信号線２１１を介してマスク処理部２５２に出力する。なお、画素のレベルとして、輝度値（濃度値および階調値）、画素値（センサ出力そのもののレベル）等を用いることができる。ただし、画素値は、センサのカラーフィルタの構造で値が変化するため、カラーフィルタの構造によらずに性能を保てる輝度値を用いることが好ましい。そこで、第１の実施の形態では、画素のレベルとして、輝度値を用いる例を示す。
【００３６】
エッジ・テクスチャ判定部２２０は、周辺画像取得部２２１と、高周波成分抽出部２２２とを備える。
【００３７】
周辺画像取得部２２１は、ＨＤＲ合成部１３０（図１に示す）から信号線１３３を介して出力された画像データ（短時間蓄積画像データ）を構成する各画素のうちの対象画素の周囲に存在する所定範囲の画像を取得するものである。そして、周辺画像取得部２２１は、その取得された画像（周辺画像）の画像データを高周波成分抽出部２２２に出力する。なお、対象画素と周辺画像については、図３を参照して詳細に説明する。
【００３８】
高周波成分抽出部２２２は、周辺画像取得部２２１から出力された周辺画像の画像データについて高周波成分を抽出するものである。そして、高周波成分抽出部２２２は、その抽出された高周波成分（高周波成分値）を信号線２２３を介してマスク処理部２５２に出力する。
【００３９】
照明成分抽出部２３０は、周辺画像取得部２３１と、低周波成分抽出部２３２とを備える。
【００４０】
周辺画像取得部２３１は、ＨＤＲ合成部１３０（図１に示す）から信号線１３２を介して出力された画像データ（長時間蓄積画像データ）を構成する各画素のうちの対象画素の周囲に存在する所定範囲の画像を取得するものである。そして、周辺画像取得部２３１は、その取得された画像（周辺画像）の画像データを低周波成分抽出部２３２に出力する。なお、対象画素と周辺画像については、図３を参照して詳細に説明する。
【００４１】
低周波成分抽出部２３２は、周辺画像取得部２３１から出力された周辺画像の画像データについて低周波成分を抽出するものである。そして、低周波成分抽出部２３２は、その抽出された低周波成分（低周波成分値）を信号線２３３を介してコントロールゲイン生成部２５１に出力する。
【００４２】
補正値設定部２４０は、コントロールゲイン生成部２５１がコントロールゲインを生成する際に用いられるパラメータ（設定値）を保持するものであり、保持されているパラメータ（設定値）をコントロールゲイン生成部２５１に供給する。なお、補正値設定部２４０に保持されるパラメータ（設定値）は、操作受付部１５０（図１に示す）を用いたユーザ操作に基づいて変更することが可能である。
【００４３】
なお、設定値として、例えば、圧縮の目標値を用いることができる。例えば、画像処理部２００により画像を単純に８ｂｉｔ階調に圧縮する場合には、設定値として、１２８（＝２５６／２）を設定することができる。また、設定値として、物体認識に用いられる学習画像の平均輝度値を使用するようにしてもよい。なお、これらの設定値は、一例であり、ユーザ設定により適宜変更することができる。
【００４４】
補正処理部２５０は、コントロールゲイン生成部２５１と、マスク処理部２５２と、乗算器２５３とを備える。
【００４５】
コントロールゲイン生成部２５１は、補正値設定部２４０から供給される値（設定値）と、低周波成分抽出部２３２から出力される値（低周波成分値）とに基づいて、入力画像（信号線１３１）における対象画素に乗算するゲインを生成するものである。また、コントロールゲイン生成部２５１は、その生成されたゲインをマスク処理部２５２に出力する。
【００４６】
マスク処理部２５２は、レベル判定部２１０から出力される値（輝度値）と、高周波成分抽出部２２２から出力される値（高周波成分値）とに基づいて、入力画像（信号線１３１）における対象画素の補正処理を行うか否かを決定するものである。具体的には、マスク処理部２５２は、レベル判定部２１０から出力される値（輝度値）と、高周波成分抽出部２２２から出力される値（高周波成分値）とに基づいて、入力画像（信号線１３１）における対象画素にゲインを乗算するか否かを決定する。また、マスク処理部２５２は、入力画像（ＨＤＲ合成画像）における対象画素にゲインを乗算すると判断した場合には、コントロールゲイン生成部２５１から出力されるゲインを乗算器２５３に出力する。
【００４７】
乗算器２５３は、ＨＤＲ合成部１３０（図１に示す）から信号線１３１を介して出力された画像データ（ＨＤＲ合成画像）に対して、マスク処理部２５２から出力されたゲインを乗算するものであり、乗算結果を信号線２５４に出力する。
【００４８】
［各画像と対象画素と周辺画像との関係例］
図３は、本開示の第１の実施の形態に係る画像処理部２００による補正処理に用いられる各画像と対象画素と周辺画像との関係例を示す図である。図３では、ＨＤＲ合成部１３０（図１に示す）から出力される各画像データに対応するＨＤＲ合成画像３００と、長時間蓄積画像３１０と、短時間蓄積画像３２０とを矩形で模式的に示す。なお、長時間蓄積画像３１０は、特許請求の範囲に記載の第１画像の一例である。また、短時間蓄積画像３２０は、特許請求の範囲に記載の第２画像の一例である。
【００４９】
また、図３では、補正処理部２５０における補正処理の対象となる画素を対象画素３０１とし、長時間蓄積画像３１０および短時間蓄積画像３２０における画素３０１の位置に対応する画素を対象画素３１１および３２１として示す。
【００５０】
また、図３では、補正処理部２５０により補正処理の際に用いられる周辺画像を周辺画像３１２および３２２として太線の矩形で示す。ここで、周辺画像３１２は、対象画素３１１を中心として対象画素３１１の周囲に存在する画像（対象画素３１２から所定範囲内に存在する画像）である。また、周辺画像３２２は、対象画素３２１を中心として対象画素３２１の周囲に存在する画像（対象画素３２２から所定範囲内に存在する画像）である。
【００５１】
例えば、ＨＤＲ合成画像３００、長時間蓄積画像３１０および短時間蓄積画像３２０のそれぞれが６４０画素×４８０画素である場合には、周辺画像３１２の範囲を２５画素×２５画素とし、周辺画像３２２の範囲を５画素×５画素とすることができる。なお、これらの周辺画像３１２および３２２の範囲は、一例であり、他の範囲を用いるようにしてもよい。例えば、取得したい画像の空間周波数情報に合わせて、周辺画像３１２および３２２の範囲を決定するようにしてもよい。例えば、必要となるカットオフ周波数に基づいて、周辺画像３１２および３２２の範囲を決定することができる。
【００５２】
例えば、カットオフ周波数は、次の式１により求めることができる。なお、カットオフ周波数は、フィルタ回路において、通過帯域と阻止帯域との境界となる周波数である。
カットオフ周波数＝｛０．４４３／√（Ｎ２−１）｝×ナイキスト周波数  …式１
ただし、Ｎは、画像範囲に含まれる画素数である。また、ナイキスト周波数＝１／（画素ピッチ×２）である。なお、画素ピッチは、撮像素子を構成する画素間の中心線の間隔を意味する。
【００５３】
上述した式１に基づいて、必要となるカットオフ周波数となるＮを求めることにより、周辺画像３１２および３２２の範囲を決定することができる。
【００５４】
また、補正処理部２５０は、ＨＤＲ合成画像３００を構成する全ての画素について補正処理の要否を判断する。具体的には、補正処理部２５０は、ＨＤＲ合成画像３００において、矢印３０２に示すように、左上隅の位置から右下隅の位置まで対象画素３０１を１画素ずつ進めていく。すなわち、対象画素３０１は、ＨＤＲ合成画像３００において、左上隅の位置から水平方向に１画素ずつ進み、右端の位置に到達した場合には、左端の位置に戻るとともに垂直方向に１画素進む。以下同様に、右下隅の位置に到達するまで、対象画素３０１は、水平方向に１画素ずつ進み、右端の位置に到達した場合には、左端の位置に戻るとともに垂直方向に１画素進む。
【００５５】
図３Ｂに示すように、長時間蓄積画像３１０における周辺画像３１２から低周波成分が抽出される。例えば、低周波成分抽出部２３２（図２に示す）は、周辺画像取得部２３１（図２に示す）により取得された周辺画像（２５画素×２５画素）を構成する各画素の輝度値の平均値を算出する。そして、低周波成分抽出部２３２は、その平均値を低周波成分としてコントロールゲイン生成部２５１（図２に示す）に出力する。なお、低周波成分抽出部２３２として、所定のフィルタ回路（例えば、低周波成分を抜き出すフィルタ回路（例えば、ローパスフィルタ））を用いるようにしてもよい。
【００５６】
また、コントロールゲイン生成部２５１は、低周波成分抽出部２３２により抽出された低周波成分に基づいてゲインを生成する。具体的には、コントロールゲイン生成部２５１は、補正値設定部２４０に設定されている値（設定値）と、周辺画像３１２から抽出された低周波成分とに基づいて、所定の演算（設定値／低周波成分値）を行う。なお、この演算（設定値／低周波成分値）は、一例であり、補正値設定部２４０に設定されている値（設定値）と、周辺画像３１２から抽出された低周波成分とを用いて他の演算によりゲインを生成するようにしてもよい。
【００５７】
図３Ｃに示すように、短時間蓄積画像３２０における対象画素３２１の輝度値のレベルが判定される。例えば、レベル判定部２１０（図２に示す）は、短時間蓄積画像３２０における対象画素３２１の輝度値を取得し、マスク処理部２５２（図２に示す）に出力する。
【００５８】
また、図３Ｃに示すように、短時間蓄積画像３２０における周辺画像３２２から高周波成分が抽出される。例えば、高周波成分抽出部２２２（図２に示す）は、周辺画像取得部２２１（図２に示す）により取得された周辺画像（５画素×５画素）を構成する各画素の輝度値の平均値を算出し、この平均値を対象画素３２１の輝度値から減算した値を算出する。そして、高周波成分抽出部２２２は、その算出された値（対象画素３２１の輝度値から平均値を減算した値）を高周波成分としてマスク処理部２５２（図２に示す）に出力する。なお、高周波成分抽出部２２２として、所定のフィルタ回路（例えば、高周波成分を抜き出すフィルタ回路（例えば、ハイパスフィルタ））を用いるようにしてもよい。
【００５９】
また、マスク処理部２５２は、レベル判定部２１０により取得された対象画素３２１の輝度値と、高周波成分抽出部２２２により抽出された高周波成分とに基づいて、補正処理を行うか否かを決定する。なお、この決定処理については、図４乃至図６を参照して詳細に説明する。
【００６０】
［対象画素の補正処理の決定例］
図４は、本開示の第１の実施の形態に係るマスク処理部２５２による補正処理の決定に用いられるレベルの閾値ＴＨ１およびＴＨ２と、対象画素のレベルＬ１との関係を示す図である。
【００６１】
図４Ａには、短時間蓄積画像３２０（図３Ｃに示す）における対象画素３２１の輝度値と、閾値ＴＨ１およびＴＨ２との関係を示す。なお、図４Ａに示す横軸は、対象画素の輝度値のレベルを示す軸であり、左側から右側に進むに従ってレベルが高くなる。
【００６２】
閾値ＴＨ１およびＴＨ２は、補正処理のオン／オフを決定する際に用いられる閾値（基準レベル）であり、ＴＨ１＜ＴＨ２である。
【００６３】
閾値ＴＨ１は、例えば、上述した設定値と同様に、圧縮の目標値を用いることができる。また、閾値ＴＨ１として、物体認識に用いられる学習画像の平均輝度値を使用するようにしてもよい。なお、ここで示す閾値ＴＨ１は、一例であり、ユーザ設定により適宜変更するようにしてもよい。
【００６４】
閾値ＴＨ２は、例えば、ＨＤＲ合成処理において、短時間蓄積画像（暗い画像）および長時間蓄積画像（明るい画像）の合成を開始するレベルとすることができる。ここで、ＨＤＲ合成処理において、短時間蓄積画像および長時間蓄積画像の合成を開始するレベルは、例えば、長時間蓄積画像（明るい画像）のレベルが飽和する値の９０％〜９５％程度の値とすることができる。また、例えば、ＨＤＲ合成処理において、短時間蓄積画像および長時間蓄積画像の合成を開始するレベルは、長時間蓄積画像（明るい画像）を生成することが可能なセンサのレベルが飽和する値の９０％〜９５％程度の値とすることができる。
【００６５】
図４Ｂには、短時間蓄積画像３２０（図３Ｃに示す）における対象画素３２１の輝度値Ｌ１と、短時間蓄積画像３２０における周辺画像３２２から抽出される高周波成分と、補正処理のオン／オフとの関係を示す。
【００６６】
図４Ａに示すように、短時間蓄積画像３２０における対象画素３２１の輝度値Ｌ１が閾値ＴＨ１以下である場合には、物体の成分が多いと想定される範囲に対象画素３２１が含まれる可能性が高い。そこで、短時間蓄積画像３２０における対象画素３２１の輝度値Ｌ１が閾値ＴＨ１以下である場合には、図４Ｂに示すように、補正処理をオフするようにする。すなわち、入力画像（ＨＤＲ合成画像）における対象画素に乗算するゲインを１とする。
【００６７】
また、図４Ａに示すように、短時間蓄積画像３２０（図３Ｃに示す）における対象画素３２１の輝度値Ｌ１が閾値ＴＨ２よりも大きい場合には、照明の成分が多いと想定される範囲に対象画素３２１が含まれる可能性が高い。そこで、短時間蓄積画像３２０における対象画素３２１の輝度値Ｌ１が閾値ＴＨ２よりも大きい場合には、図４Ｂに示すように、補正処理をオンして、照明成分を排除するようにする。すなわち、入力画像（ＨＤＲ合成画像）における対象画素に乗算するゲインを「設定値／低周波成分値」とする。
【００６８】
ここで、補正値設定部２４０に保持される値（設定値）と、閾値ＴＨ１とを同一の値とする場合を想定する。なお、短時間蓄積画像３２０は暗い画像であり、長時間蓄積画像は明るい画像である。このため、短時間蓄積画像３２０の対象画素３２１の輝度値Ｌ１が閾値ＴＨ１よりも大きい場合には、長時間蓄積画像３１０の周辺画像３１２から抽出された低周波成分（各画素の輝度値の平均値）は、閾値ＴＨ１よりも大きい値となることが想定される。このため、算出されるゲイン（設定値／低周波成分値）は、１未満の値となる。
【００６９】
また、図４Ａに示すように、短時間蓄積画像３２０（図３Ｃに示す）における対象画素３２１の輝度値Ｌ１が閾値ＴＨ１よりも大きく、閾値ＴＨ２以下である場合には、物体の成分が多いか、照明の成分が多いかを判断することが困難な範囲に対象画素３２１が含まれる可能性が高い。そこで、短時間蓄積画像３２０における対象画素３２１の輝度値Ｌ１が閾値ＴＨ１よりも大きく、閾値ＴＨ２以下である場合には、図４Ｂに示すように、短時間蓄積画像３２０における周辺画像３２２から抽出される高周波成分に基づいて、補正処理のオン／オフを判断するようにする。この補正処理の決定例については、図５を参照して詳細に説明する。
【００７０】
図５は、本開示の第１の実施の形態に係るマスク処理部２５２による補正処理の決定に用いられるレベルの閾値ＴＨ３およびＴＨ４と、周辺画像から抽出される高周波成分ＨＦ１との関係を示す図である。
【００７１】
図５Ａには、短時間蓄積画像３２０における周辺画像３２２から抽出される高周波成分ＨＦ１と、閾値ＴＨ３およびＴＨ４との関係を示す。なお、図５Ａに示す横軸は、短時間蓄積画像における周辺画像から抽出される高周波成分のレベルを示す軸であり、左側から右側に進むに従ってレベルが高くなる。
【００７２】
閾値ＴＨ３およびＴＨ４は、補正処理のオン／オフを決定する際に用いられる閾値（基準レベル）であり、ＴＨ３＜ＴＨ４である。
【００７３】
閾値ＴＨ３およびＴＨ４は、例えば、画像における画面全体のシーンに応じて微調整することにより設定することができる。例えば、物体認識処理（例えば、ＣＮＮ、ＨＯＧおよびＳＩＦＴ）における反応（例えば、物体の認識率）等を見ながら調整することができる。例えば、画像における画面全体のシーンの空間周波数が高い場合（例えば、高周波領域が多い画像の場合）には、閾値ＴＨ３およびＴＨ４の双方を高く設定することができる。一方、画像における画面全体のシーンの空間周波数が低い場合（例えば、低周波領域が多い画像の場合）には、閾値ＴＨ３およびＴＨ４の双方を低く設定することができる。また、画像における画面全体のシーンの空間周波数が様々存在するような場合には、閾値ＴＨ３およびＴＨ４の間隔を広げる設定をすることができる。
【００７４】
図５Ｂには、短時間蓄積画像３２０における周辺画像３２２から抽出される高周波成分ＨＦ１と、閾値ＴＨ３およびＴＨ４と、補正処理のオン／オフとの関係を示す。
【００７５】
図５Ａに示すように、短時間蓄積画像３２０（図３Ｃに示す）における周辺画像３２２から抽出される高周波成分ＨＦ１が閾値ＴＨ３以下である場合には、物体の成分（例えば、エッジ成分）が少ないと想定される範囲に対象画素３２１が含まれる可能性が高い。そこで、短時間蓄積画像３２０における周辺画像３２２から抽出される高周波成分ＨＦ１が閾値ＴＨ３以下である場合には、図５Ｂに示すように、補正処理をオンして、照明成分を排除するようにする。すなわち、入力画像（ＨＤＲ合成画像）における対象画素に乗算するゲインを「設定値／低周波成分値」とする。
【００７６】
また、図５Ａに示すように、短時間蓄積画像３２０（図３Ｃに示す）における周辺画像３２２から抽出される高周波成分ＨＦ１が閾値ＴＨ４よりも大きい場合には、物体の成分（例えば、エッジ成分）が多いと想定される範囲に対象画素３２１が含まれる可能性が高い。そこで、短時間蓄積画像３２０における周辺画像３２２から抽出される高周波成分ＨＦ１が閾値ＴＨ４よりも大きい場合には、図５Ｂに示すように、補正処理をオフするようにする。すなわち、入力画像（ＨＤＲ合成画像）における対象画素に乗算するゲインを１とする。
【００７７】
また、図５Ａに示すように、周辺画像３２２から抽出される高周波成分ＨＦ１が閾値ＴＨ３よりも大きく、閾値ＴＨ４以下である場合には、物体の成分が多いか、照明の成分が多いかを判断することが困難な範囲に対象画素３２１が含まれる可能性が高い。そこで、周辺画像３２２から抽出される高周波成分ＨＦ１が閾値ＴＨ３よりも大きく、閾値ＴＨ４以下である場合には、図５Ｂに示すように、画像のブレンド処理を行うようにする。
【００７８】
画像のブレンド処理は、補正処理を施した画像（補正処理オン画像）と、補正処理を施していない画像（補正処理オフ画像）とを、所定の割合でブレンドする処理である。具体的には、次の式２に基づいて、補正処理オン画像と補正処理オフ画像とをブレンドするブレンド率ＢＲ１が算出される。
ＢＲ１＝（ＨＦ１−ＴＨ３）／（ＴＨ４−ＴＨ３）  …式２
ただし、ＴＨ３≦ＨＦ１＜ＴＨ４である。
このブレンド処理は、補正処理部２５０において行うことができる。具体的には、コントロールゲイン生成部２５１において、上述のブレンド率ＢＲ１に基づくゲインが算出され、この算出されたゲインが乗算器２５３に入力されて画像データと乗算される。これにより、ブレンド処理を行うことができる。
【００７９】
図６は、本開示の第１の実施の形態に係るマスク処理部２５２による補正処理の決定の流れを模式的に示す図である。
【００８０】
最初に、図３Ｃで示したように、レベル判定部２１０が短時間蓄積画像３２０における対象画素３２１の輝度値のレベルを判定し、高周波成分抽出部２２２が短時間蓄積画像３２０における周辺画像３２２から高周波成分を抽出する。
【００８１】
次に、マスク処理部２５２は、対象画素３２１の輝度値Ｌ１が閾値ＴＨ１以下であるか否かを判断する。そして、対象画素３２１の輝度値Ｌ１が閾値ＴＨ１以下である場合には、マスク処理部２５２は、補正処理のオフを決定する。この場合には、入力画像（ＨＤＲ合成画像）における対象画素に乗算するゲインが１とされる。
【００８２】
また、対象画素３２１の輝度値Ｌ１が閾値ＴＨ１よりも大きい場合には、マスク処理部２５２は、対象画素３２１の輝度値Ｌ１が閾値ＴＨ２よりも大きいか否かを判断する。そして、対象画素３２１の輝度値Ｌ１が閾値ＴＨ２よりも大きい場合には、マスク処理部２５２は、補正処理のオンを決定する。この場合には、乗算器２５３は、入力画像（ＨＤＲ合成画像）における対象画素に、コントロールゲイン生成部２５１により生成されたゲイン（設定値／低周波成分値）を乗算する。
【００８３】
また、対象画素３２１の輝度値Ｌ１が閾値ＴＨ１よりも大きく、閾値ＴＨ２以下である場合には、マスク処理部２５２は、高周波成分ＨＦ１が閾値ＴＨ３以下であるか否かを判断する。そして、高周波成分が閾値ＴＨ３以下である場合には、マスク処理部２５２は、補正処理のオンを決定する。この場合には、乗算器２５３は、入力画像（ＨＤＲ合成画像）における対象画素に、コントロールゲイン生成部２５１により生成されたゲイン（設定値／低周波成分値）を乗算する。
【００８４】
また、高周波成分が閾値ＴＨ３よりも大きい場合には、マスク処理部２５２は、高周波成分が閾値ＴＨ４よりも大きいか否かを判断する。そして、高周波成分が閾値ＴＨ４よりも大きい場合には、マスク処理部２５２は、補正処理のオフを決定する。この場合には、入力画像（ＨＤＲ合成画像）における対象画素に乗算するゲインが１とされる。
【００８５】
また、高周波成分が閾値ＴＨ３よりも大きく、閾値ＴＨ４以下である場合には、マスク処理部２５２は、画像のブレンド処理を行うことを決定する。このブレンド処理は、上述した式２を用いて算出されるブレンド率ＢＲ１に基づいて行われる。
【００８６】
このように、画像処理部２００は、画像における照明成分（例えば、輝度値Ｌ１が閾値ＴＨ１よりも大きい画素）を抽出し、その照明成分の画素のレベルを補正することができる。すなわち、画像処理部２００は、画像における輝度値が高い成分を優先的に補正することができる。
【００８７】
また、画像処理部２００は、画像における高照度の成分（長時間蓄積画像３１０の周辺画像３１２における低周波成分）を抽出し、上述した照明成分の画素のレベルの補正に用いることができる。例えば、画像処理部２００は、画像における高照度の成分（長時間蓄積画像３１０の周辺画像３１２における低周波成分）に基づいてゲインを生成し、このゲインを用いて、上述した照明成分の画素のレベルを補正することができる。
【００８８】
また、画像処理部２００は、画像における低照度の成分（短時間蓄積画像３２０の周辺画像３２２における高周波成分）を抽出し、上述した照明成分の画素のレベルの補正に用いることができる。また、例えば、画像処理部２００は、画像における低照度の成分（短時間蓄積画像３２０の周辺画像３２２における高周波成分）に基づいて、画像における物体と想定される場所を判定することができる。そして、画像処理部２００は、この判定結果に基づいて、上述した照明成分の画素のレベルを補正するか否かを決定することができる。これにより、画像におけるエッジ部の補正を抑制することができる。
【００８９】
［撮像装置の動作例］
図７および図８は、本開示の第１の実施の形態に係る撮像装置１００による補正処理の処理手順の一例を示すフローチャートである。なお、この動作例では、図２に示す各構成と図３に示す各画像とを参照して説明する。
【００９０】
最初に、低周波成分抽出部２３２は、周辺画像取得部２３１により取得された周辺画像３１２（長時間蓄積画像３１０）から低周波成分値を抽出する（ステップＳ５０１）。
【００９１】
次に、コントロールゲイン生成部２５１は、補正値設定部２４０に設定されている値（設定値）と、その抽出された低周波成分とに基づいて、ゲインを生成する（ステップＳ５０２）。
【００９２】
次に、高周波成分抽出部２２２は、周辺画像取得部２２１により取得された周辺画像３２２（短時間蓄積画像３２０）から高周波成分を抽出する（ステップＳ５０３）。
【００９３】
次に、レベル判定部２１０は、短時間蓄積画像３２０における対象画素３２１の輝度値を取得してレベルを判定する（ステップＳ５０４）。
【００９４】
次に、マスク処理部２５２は、短時間蓄積画像３２０における対象画素３２１の輝度値Ｌ１が閾値ＴＨ１以下であるか否かを判断する（ステップＳ５０５）。そして、短時間蓄積画像３２０における対象画素３２１の輝度値Ｌ１が閾値ＴＨ１以下である場合には（ステップＳ５０５）、マスク処理部２５２は、補正処理のオフを決定する（ステップＳ５１０）。この場合には、入力画像（ＨＤＲ合成画像３００）における対象画素３０１に乗算するゲインが１とされる（ステップＳ５１０）。
【００９５】
また、短時間蓄積画像３２０における対象画素３２１の輝度値Ｌ１が閾値ＴＨ１よりも大きい場合には（ステップＳ５０５）、マスク処理部２５２は、短時間蓄積画像３２０における対象画素３２１の輝度値Ｌ１が閾値ＴＨ２よりも大きいか否かを判断する（ステップＳ５０６）。そして、短時間蓄積画像３２０における対象画素３２１の輝度値Ｌ１が閾値ＴＨ２よりも大きい場合には（ステップＳ５０６）、マスク処理部２５２は、補正処理のオンを決定する（ステップＳ５１１）。この場合には、乗算器２５３は、入力画像（ＨＤＲ合成画像３００）における対象画素３０１に、コントロールゲイン生成部２５１により生成されたゲイン（設定値／低周波成分値）を乗算する（ステップＳ５１１）。
【００９６】
また、短時間蓄積画像３２０における対象画素３２１の輝度値Ｌ１が閾値ＴＨ２以下である場合には（ステップＳ５０６）、マスク処理部２５２は、高周波成分ＨＦ１が閾値ＴＨ３以下であるか否かを判断する（ステップＳ５０７）。そして、高周波成分ＨＦ１が閾値ＴＨ３以下である場合には（ステップＳ５０７）、マスク処理部２５２は、補正処理のオンを決定する（ステップＳ５１１）。この場合には、乗算器２５３は、入力画像（ＨＤＲ合成画像３００）における対象画素３０１に、コントロールゲイン生成部２５１により生成されたゲイン（設定値／低周波成分値）を乗算する（ステップＳ５１１）。
【００９７】
また、高周波成分ＨＦ１が閾値ＴＨ３よりも大きい場合には（ステップＳ５０７）、マスク処理部２５２は、高周波成分ＨＦ１が閾値ＴＨ４よりも大きいか否かを判断する（ステップＳ５０８）。そして、高周波成分ＨＦ１が閾値ＴＨ４よりも大きい場合には（ステップＳ５０８）、補正処理のオフを決定する（ステップＳ５１０）。この場合には、入力画像（ＨＤＲ合成画像３００）における対象画素３０１に乗算するゲインが１とされる（ステップＳ５１０）。
【００９８】
また、高周波成分ＨＦ１が閾値ＴＨ４以下である場合には（ステップＳ５０８）、マスク処理部２５２は、画像のブレンド処理を行うことを決定する（ステップＳ５０９）。このブレンド処理は、上述した式２を用いて算出されるブレンド率ＢＲ１に基づいて行われる。
【００９９】
このように、画像処理部２００は、ＨＤＲ合成画像３００（図３Ａに示す）を構成する対象画素３０１のレベルを、対象画素３０１の周辺画像における低周波成分に基づいて補正することができる。具体的には、画像処理部２００は、対象画素３０１のレベルを、対象画素３０１の周辺画像（長時間蓄積画像３１０（図３Ｂに示す）における対象画素３０１に対応する対象画素３１１の周辺画像３１２）における低周波成分に基づいて補正することができる。
【０１００】
この場合に、画像処理部２００は、対象画素３０１の周辺画像における低周波成分に基づいて、対象画素３０１のレベルを補正するためのゲインを生成する。具体的には、画像処理部２００は、対象画素３０１の周辺画像として、長時間蓄積画像３１０（図３Ｂに示す）における対象画素３０１に対応する対象画素３１１の周辺画像３１２を用いて、対象画素３０１のレベルを補正するためのゲインを生成する。
【０１０１】
また、画像処理部２００は、対象画素のレベルが第１閾値（閾値ＴＨ１）を基準として小さい場合には対象画素のレベルを補正せず、対象画素のレベルが第２閾値（閾値ＴＨ２）を基準として大きい場合には対象画素のレベルを補正することができる。具体的には、画像処理部２００は、ＨＤＲ合成画像３００の対象画素３０１に対応する短時間蓄積画像３２０（図３Ｃに示す）における対象画素３２１のレベルが第１閾値（閾値ＴＨ１）を基準として小さい場合には、対象画素３０１のレベルを補正しない。一方、画像処理部２００は、ＨＤＲ合成画像３００の対象画素３０１に対応する短時間蓄積画像３２０における対象画素３２１のレベルが第２閾値（閾値ＴＨ２）を基準として大きい場合には、対象画素３０１のレベルを補正する。
【０１０２】
また、画像処理部２００は、対象画素のレベルが第１閾値（閾値ＴＨ１）と第２閾値（閾値ＴＨ２）とを基準とする所定範囲に含まれる場合には、対象画素の周辺画像における高周波成分に基づいて対象画素のレベルを補正するか否かを決定することができる。ここで、第１閾値（閾値ＴＨ１）と第２閾値（閾値ＴＨ２）とを基準とする所定範囲は、例えば、図４Ａに示す閾値ＴＨ１から閾値ＴＨ２までの範囲である。そして、画像処理部２００は、対象画素３２１のレベルがその範囲に含まれる場合には、対象画素３２１の周辺画像３２２における高周波成分に基づいて対象画素３０１のレベルを補正するか否かを決定する。
【０１０３】
この場合に、画像処理部２００は、対象画素の周辺画像における高周波成分が第３閾値（閾値ＴＨ３）を基準として小さい場合には、対象画素のレベルを補正することができる。一方、画像処理部２００は、その高周波成分が第４閾値（閾値ＴＨ４）を基準として大きい場合には、対象画素のレベルを補正しないようにすることができる。具体的には、画像処理部２００は、対象画素３２１の周辺画像３２２における高周波成分が第３閾値（閾値ＴＨ３）を基準として小さい場合には、対象画素３０１のレベルを補正する。一方、画像処理部２００は、その高周波成分が第４閾値（閾値ＴＨ４）を基準として大きい場合には、対象画素３０１のレベルを補正しない。
【０１０４】
また、画像処理部２００は、対象画素の周辺画像における高周波成分が第３閾値（閾値ＴＨ３）と第４閾値（閾値ＴＨ４）とを基準とする所定範囲に含まれる場合には、ブレンド処理を行う。このブレンド処理は、対象画素３０１（図３Ａに示す）のレベルを補正したものと、対象画素３０１のレベルを補正していないものとをブレンドする処理である。ここで、第３閾値（閾値ＴＨ３）と第４閾値（閾値ＴＨ４）とを基準とする所定範囲は、例えば、図５Ａに示す閾値ＴＨ３から閾値ＴＨ４までの範囲である。そして、画像処理部２００は、短時間蓄積画像３２０における対象画素３２１（図３Ｃに示す）の周辺画像３２２における高周波成分が、その範囲に含まれる場合には、ブレンド処理を行う。
【０１０５】
なお、図７および図８では、各処理手順を時系列で示したが、これらの各処理手順の順序は、図７および図８に示す例に限定されない。例えば、ステップＳ５０１、Ｓ５０３およびＳ５０４の各処理手順を同時（または略同時）に行うようにしてもよい。また、補正処理のオフを決定された場合には、ゲインの生成が不要である。このため、補正処理のオフが決定された場合には、ゲインの生成に係る各処理（ステップＳ５０１およびＳ５０２）を省略するようにしてもよい。
【０１０６】
［物体認識処理の対象となる画像例］
図９は、本開示の第１の実施の形態に係る撮像装置１００により生成される画像の一例を簡略化して示す図である。図９Ａおよび図９Ｂに示す画像１０および２０は、道路を走るバス１１および２１を被写体として撮像された画像である。
【０１０７】
図９Ａに示す画像１０は、窓ガラスに光が反射していないバス１１の状態を撮像した画像であるのに対し、図９Ｂに示す画像２０は、窓ガラスに強い光が当たりその光が反射しているバス２１の状態を撮像した画像であるものとする。なお、図９Ｂでは、説明を容易にするため、窓ガラスに反射している光を図形２２で模式的に示す。
【０１０８】
ここで、図９を参照して、撮像装置１００により生成された画像を用いて物体認識を行うことを想定する。ここでは、画像における変化部分（例えば、エッジ）の特徴を用いた物体認識（特に、生体認識）を行う場合を想定する。画像における変化部分の特徴を用いた物体認識は、例えば、上述したＣＮＮ、ＨＯＧおよびＳＩＦＴである。
【０１０９】
例えば、被写体の状況によっては、撮像装置１００により生成された画像に含まれる物体にあたる光の角度や量によって、白飛びや黒潰れが発生する可能性がある。例えば、図９Ａおよび図９Ｂに示すように、バス１１および２１の斜め正面から撮像した画像１０および２０について、画像における変化部分の特徴を用いた物体認識を行う場合には、バスが走る道路や周囲の環境によって、バスにあたる光の角度や量が変化する。例えば、深夜の暗い環境に存在するバスを撮像した場合には、バスの車内以外が真っ暗になり、異なったカテゴリの物体と認識するおそれがある。また、図９Ｂに示すように、窓ガラスに強い光が当たりその光が反射しているバス２１を撮像した場合には、窓ガラスから反射している光が邪魔をしてバス２１の特徴量を消してしまい、異なったカテゴリの物体と認識されるおそれがある。
【０１１０】
そこで、画像における変化部分の特徴を用いた物体認識を行う場合には、白飛びや黒潰れのない画像を用いることが重要となる。そこで、例えば、異なる露光時間の撮像処理により生成される長時間露光画像および短時間露光画像をＨＤＲ合成して生成されるＨＤＲ合成画像（トーンリダクションを用いた階調圧縮により低階調のフォーマットに変換された画像）を用いることが考えられる。このＨＤＲ合成画像は、例えば、明暗の差が大きいシーン（例えば、逆光シーン）について、そのシーンを適切に再現することができる。しかし、そのようなシーンを適切に再現するため、ＨＤＲ合成画像では、物体にあたる光の情報が残される（すなわち、光の影響が残る）ことになる。また、トーンリダクションを用いた階調圧縮により画像における特徴量が変化するおそれがある。このため、画像における変化部分の特徴を用いた物体認識を行う場合には、トーンリダクションによって変化する特徴量や、物体認識を阻害する光の情報（光の影響）により、認識率が低下するおそれがある。
【０１１１】
ここで、画像における変化部分の特徴を用いた物体認識を行う場合には、光の情報が不要である。そこで、本開示では、画像における変化部分の特徴を用いた物体認識の認識率の低下を防止するため、不要な光の情報を排除するようにする。具体的には、画像における変化部分の特徴を用いた物体認識の対象となる画像について、光の影響がある領域を抽出し、その領域において物体の特徴を残しつつ、光の影響がある成分（例えば、照明成分）をフラットな光の成分に置き換えるようにする。これにより、光の情報が不要である物体認識（画像における変化部分の特徴を用いた物体認識）を行う場合における認識率を高めることができる。
【０１１２】
このように、本開示では、高ダイナックレンジ化により、物体に様々な光が当たり物体認識に影響が大きく出る状況下でも、物体認識の認識率の劣化を防止することができ、低階調のフォーマットへの画像の変換が可能となる。
【０１１３】
＜２．第２の実施の形態＞
第１の実施の形態では、センサ１１０から出力された画像データについて、露出制御部１２０が短時間蓄積画像および長時間蓄積画像の各画像データを生成し、ＨＤＲ合成部１３０がＨＤＲ合成画像の画像データを生成する例を示した。これに対し、本開示の第２の実施の形態では、センサ６１０から出力された画像データについて、明暗分離部６２０が短時間蓄積画像および長時間蓄積画像のそれぞれに相当する各画像データを生成する例を示す。
【０１１４】
［撮像装置の構成］
図１０は、本開示の第２の実施の形態に係る撮像装置６００の構成例を示す図である。
【０１１５】
撮像装置６００は、センサ６１０と、明暗分離部６２０と、制御部１４０と、操作受付部１５０と、画像処理部２００とを備える。撮像装置６００は、図１に示す撮像装置１００において、露出制御部１２０、ＨＤＲ合成部１３０の代わりに、明暗分離部６２０を有する点が、撮像装置１００とは異なる。なお、これらの点以外は、図１に示す撮像装置１００と同様であるため、撮像装置１００と共通する部分については、同一の符号を付してこれらの説明を省略する。
【０１１６】
センサ６１０は、制御部１４０の制御に基づいて、レンズを介して入射された被写体の光を電気信号に変換する撮像素子であり、その電気信号（画像データ）を信号線６１１を介して画像処理部２００および明暗分離部６２０に出力する。
【０１１７】
明暗分離部６２０は、制御部１４０の制御に基づいて、センサ６１０から出力された電気信号（画像データ）を用いて、設定条件が異なる複数の画像（暗い画像および明るい画像）の画像データを生成するものである。そして、明暗分離部６２０は、生成された明るい画像の画像データを信号線６２１を介して画像処理部２００に出力し、生成された暗い画像の画像データを信号線６２２を介して画像処理部２００に出力する。なお、暗い画像は、第１の実施の形態で示した短時間蓄積画像に相当し、明るい画像は、第１の実施の形態で示した長時間蓄積画像に相当する。
【０１１８】
例えば、明暗分離部６２０は、センサ６１０から出力された画像（画像データ）について、所定の階調でクリップした画像を明るい画像として生成する。また、明暗分離部６２０は、センサ６１０から出力された画像（画像データ）について、所定の値で割った画像を暗い画像として生成する。
【０１１９】
画像処理部２００は、センサ６１０から信号線６１１を介して出力された画像データについて、明暗分離部６２０から出力された複数の画像（暗い画像および明るい画像）の画像データを用いて画像処理を施すものである。この画像処理については、第１の実施の形態で示した処理と同様であるため、ここでの説明を省略する。
【０１２０】
＜３．第３の実施の形態＞
第１および２の実施の形態では、１つのセンサから出力された画像データを用いる例を示した。これに対し、本開示の第３の実施の形態では、複数のセンサから出力された画像データを用いる例を示す。
【０１２１】
［撮像装置の構成］
図１１は、本開示の第３の実施の形態に係る撮像装置７００の構成例を示す図である。
【０１２２】
撮像装置７００は、センサ７１０および７２０と、合成部７３０と、制御部１４０と、操作受付部１５０と、画像処理部２００とを備える。撮像装置７００は、図１に示す撮像装置１００において、露出制御部１２０、ＨＤＲ合成部１３０の代わりに、合成部７２０を有し、複数のセンサ７１０および７２０を有する点が、撮像装置１００とは異なる。なお、これらの点以外は、図１に示す撮像装置１００と同様であるため、撮像装置１００と共通する部分については、同一の符号を付してこれらの説明を省略する。
【０１２３】
センサ７１０および７２０は、制御部１４０の制御に基づいて、露出条件の異なる複数の画像（短時間蓄積画像および長時間蓄積画像）の画像データを生成するものである。例えば、センサ７１０は、長時間蓄積画像の画像データを生成し、その画像データ（長時間蓄積画像）を信号線７１１に出力する。また、センサ７２０は、短時間蓄積画像の画像データを生成し、その画像データ（短時間蓄積画像）を信号線７２１に出力する。
【０１２４】
合成部７３０は、制御部１４０の制御に基づいて、センサ７１０および７２０から出力された画像データ（短時間蓄積画像および長時間蓄積画像）についてＨＤＲ合成処理を行うことによりＨＤＲ合成画像を生成するものである。例えば、合成部７３０は、長時間蓄積画像における対象画素のレベルが基準値を超えていた場合には、対象画素と同じ座標の短時間蓄積画像に基づく補正処理を行う。そして、合成部７３０は、生成されたＨＤＲ合成画像を信号線７３１を介して画像処理部２００に出力する。また、合成部７３０は、センサ７１０および７２０から出力された画像（短時間蓄積画像および長時間蓄積画像）についてＨＤＲ合成処理を行う前の画像データを画像処理部２００に出力する。すなわち、合成部７３０は、長時間蓄積画像の画像データを信号線７３２を介して画像処理部２００に出力し、短時間蓄積画像の画像データを信号線７３３を介して画像処理部２００に出力する。
【０１２５】
画像処理部２００は、合成部７３０から信号線７３１を介して出力された画像データについて、合成部７３０から出力された他の複数の画像（短時間蓄積画像および長時間蓄積画像）の画像データを用いて画像処理を施すものである。この画像処理については、第１の実施の形態で示した処理と同様であるため、ここでの説明を省略する。
【０１２６】
＜４．第４の実施の形態＞
第１乃至３の実施の形態では、明るい画像（長時間蓄積画像）および暗い画像（短時間蓄積画像）の画像データを用いて画像処理を施す例を示した。これに対し、本開示の第４の実施の形態では、可視光データおよび非可視光データを用いる例を示す。
【０１２７】
［撮像装置の構成］
図１２は、本開示の第４の実施の形態に係る撮像装置８００の構成例を示す図である。
【０１２８】
撮像装置８００は、センサ８１０および８２０と、合成部８３０と、制御部１４０と、操作受付部１５０と、画像処理部２００とを備える。撮像装置８００は、短時間蓄積画像および長時間蓄積画像の各画像データを出力するセンサ７１０および７２０の代わりに、可視光データおよび非可視光データを出力するセンサ８１０および８２０を有する点が、撮像装置７００とは異なる。なお、これらの点以外は、図１１に示す撮像装置７００と同様であるため、撮像装置７００と共通する部分については、同一の符号を付してこれらの説明を省略する。
【０１２９】
センサ８１０および８２０は、制御部１４０の制御に基づいて、可視光データおよび非可視光データを生成するものである。例えば、センサ８１０は、可視光データを生成し、その可視光データを信号線８１１に出力する。また、センサ８２０は、非可視光データを生成し、その非可視光データを信号線８２１に出力する。なお、非可視光データには、例えば、赤外光や紫外光による画像データが該当する。
【０１３０】
合成部８３０は、制御部１４０の制御に基づいて、センサ８１０および８２０から出力された画像データ（可視光データおよび非可視光データ）について、所定の合成処理を行うことにより合成画像を生成するものである。そして、合成部８３０は、生成された合成画像を信号線８３１を介して画像処理部２００に出力する。また、合成部８３０は、センサ８１０および８２０から出力された画像（可視光データおよび非可視光データ）について合成処理を行う前の画像データを画像処理部２００に出力する。すなわち、合成部８３０は、可視光データを信号線８３２を介して画像処理部２００に出力し、非可視光データを信号線８３３を介して画像処理部２００に出力する。
【０１３１】
画像処理部２００は、合成部８３０から信号線８３１を介して出力された画像データについて、合成部８３０から出力された可視光データおよび非可視光データを用いて画像処理を施すものである。例えば、非可視光データに基づいてエッジレベルを取得することが可能である。このため、可視光では見えない物体情報を、非可視光データに基づいて取得可能なエッジ（Ｅｄｇｅ）レベルを用いて得られることができる。そこで、画像処理部２００は、明るさ（対象画素のレベル）および低周波成分を可視光データに基づいて取得し、エッジ（Ｅｄｇｅ）レベルを非可視光データに基づいて取得する。そして、画像処理部２００は、明るさ（対象画素のレベル）と、エッジ（Ｅｄｇｅ）レベルとに基づいて、補正処理のオンオフを判断することができる。
【０１３２】
なお、本開示で示した撮像装置は、デジタルスチルカメラ、デジタルビデオカメラ（例えば、カメラ一体型レコーダ）および監視装置等に適用することができる。
【０１３３】
最後に、上述した各実施の形態の説明は本開示の一例であり、本開示は上述の実施の形態に限定されることはない。このため、上述した各実施の形態以外であっても、本開示に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【０１３４】
また、上述の実施の形態における図面は、模式的なものであり、各部の寸法の比率等は現実のものとは必ずしも一致しない。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれることは勿論である。
【０１３５】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（CompactDisc）、ＤＶＤ（DigitalVersatileDisc）およびメモリカード等を用いることができる。
【０１３６】
なお、本技術は以下のような構成もとることができる。
（１）画像を構成する対象画素のレベルを、前記対象画素の周辺画像における低周波成分に基づいて補正する画像処理部を具備する画像処理装置。
（２）前記画像処理部は、前記対象画素のレベルが第１閾値を基準として小さい場合には前記対象画素のレベルを補正せず、前記対象画素のレベルが前記第１閾値よりも大きい値である第２閾値を基準として大きい場合には前記対象画素のレベルを補正する前記（１）に記載の画像処理装置。
（３）前記画像処理部は、前記対象画素のレベルが前記第１閾値と前記第２閾値とを基準とする所定範囲に含まれる場合には、前記対象画素の周辺画像における高周波成分に基づいて前記対象画素のレベルを補正するか否かを決定する前記（２）に記載の画像処理装置。
（４）前記画像処理部は、前記高周波成分が第３閾値を基準として小さい場合には前記対象画素のレベルを補正し、前記高周波成分が前記第３閾値よりも大きい値である第４閾値を基準として大きい場合には前記対象画素のレベルを補正しない前記（３）に記載の画像処理装置。
（５）前記画像処理部は、前記高周波成分が前記第３閾値と前記第４閾値とを基準とする所定範囲に含まれる場合には、前記対象画素のレベルを補正したものと、前記対象画素のレベルを補正していないものとをブレンドするブレンド処理を行う前記（４）に記載の画像処理装置。
（６）記低周波成分に基づいて前記対象画素のレベルを補正するためのゲインを生成する前記（１）から（５）のいずれかに記載の画像処理装置。
（７）前記画像は、異なる条件により生成された第１画像と前記第１画像よりも暗い画像である第２画像との合成により生成された合成画像であり、
前記画像処理部は、前記合成画像を構成する前記対象画素のレベルを、前記第１画像における当該対象画素に対応する第１画素の周辺画像における低周波成分に基づいて補正する前記（１）に記載の画像処理装置。
（８）前記画像処理部は、前記合成画像を構成する前記対象画素に対応する前記第２画像における前記第２画素のレベルが第１閾値を基準として小さい場合には当該対象画素のレベルを補正せず、前記第２画素のレベルが前記第１閾値よりも大きい値である第２閾値を基準として大きい場合には当該対象画素のレベルを補正する前記（７）に記載の画像処理装置。
（９）前記画像処理部は、前記第２画素のレベルが前記第１閾値と前記第２閾値とを基準とする所定範囲に含まれる場合には、前記第２画素の周辺画像における高周波成分に基づいて前記合成画像を構成する前記対象画素のレベルを補正するか否かを決定する前記（８）に記載の画像処理装置。
（１０）前記画像処理部は、前記高周波成分が第３閾値を基準として小さい場合には前記合成画像を構成する前記対象画素のレベルを補正し、前記高周波成分が前記第３閾値よりも大きい値である第４閾値を基準として大きい場合には当該対象画素のレベルを補正しない前記（９）に記載の画像処理装置。
（１１）前記画像処理部は、前記高周波成分が前記第３閾値と前記第４閾値とを基準とする所定範囲に含まれる場合には、前記合成画像を構成する前記対象画素のレベルを補正したものと、当該対象画素のレベルを補正していないものとをブレンドするブレンド処理を行う前記（１０）に記載の画像処理装置。
（１２）前記画像処理部は、前記第１画素の周辺画像における低周波成分に基づいて前記合成画像を構成する前記対象画素のレベルを補正するためのゲインを生成する前記（７）から（１１）のいずれかに記載の画像処理装置。
（１３）画像を構成する対象画素のレベルを、前記対象画素の周辺画像における低周波成分に基づいて補正する画像処理方法。
【符号の説明】
【０１３７】
１００、６００、７００、８００  撮像装置
１１０、６１０、７１０、７２０、８１０、８２０  センサ
１２０  露出制御部
１３０  ＨＤＲ合成部
１４０  制御部
１５０  操作受付部
２００  画像処理部
２１０  レベル判定部
２２０  エッジ・テクスチャ判定部
２２１、２３１  周辺画像取得部
２２２  高周波成分抽出部
２３０  照明成分抽出部
２３２  低周波成分抽出部
２４０  補正値設定部
２５０  補正処理部
２５１  コントロールゲイン生成部
２５２  マスク処理部
２５３  乗算器
６２０  明暗分離部
７３０、８３０  合成部
【図１】
2020071809.tif 000003
【図２】
2020071809.tif 000004
【図３】
2020071809.tif 000005
【図４】
2020071809.tif 000006
【図５】
2020071809.tif 000007
【図６】
2020071809.tif 000008
【図７】
2020071809.tif 000009
【図８】
2020071809.tif 000010
【図９】
2020071809.tif 000011
【図１０】
2020071809.tif 000012
【図１１】
2020071809.tif 000013
【図１２】
2020071809.tif 000014