(57)【要約】【課題】複数の画像を合成する装置において、合成画像の画質を向上させる。【解決手段】画像処理装置は、検出部、合成比率生成部、および、合成部を具備する。検出部は、時系列順に撮像された複数の画像のいずれかである検出対象画像の露光期間内における光源の点滅の有無を検出して検出結果を出力する。合成比率生成部は、検出結果に基づいて光源の点滅がある場合には検出対象画像の割合が検出対象画像に該当しない他の画像よりも低い合成比率を生成する。合成部は、合成比率により複数の画像を合成する。【選択図】図３
2019004203.tif 000002
【特許請求の範囲】
【請求項１】
時系列順に撮像された複数の画像のいずれかである検出対象画像の露光期間内における光源の点滅の有無を検出して検出結果を出力する検出部と、
前記検出結果に基づいて前記光源の点滅がある場合には前記検出対象画像の割合が前記検出対象画像に該当しない他の画像よりも低い合成比率を生成する合成比率生成部と、
前記合成比率により前記複数の画像を合成する合成部と
を具備する画像処理装置。
【請求項２】
前記複数の画像の間の明るさの変化の有無を判定して判定結果を出力する判定部をさらに具備し、
前記合成比率生成部は、前記判定結果と前記検出結果とに基づいて前記合成比率を生成する請求項１記載の画像処理装置。
【請求項３】
前記合成比率生成部は、
所定の合成比率を算出する合成比率算出部と、
前記判定結果に基づいて前記算出された合成比率を変調する合成比率変調部と、
前記検出結果に基づいて前記光源の点滅のある場合には前記検出対象画像の割合を前記他の画像よりも低くする補正を前記変調が行われた合成比率に対して行う合成比率補正部と
を備え、
前記合成部は、前記補正が行われた前記合成比率により前記複数の画像を合成する
請求項２記載の画像処理装置。
【請求項４】
前記複数の画像のそれぞれにおいて、所定周波数より低い低周波数成分を通過させるローパスフィルタをさらに具備し、
前記判定部は、前記低周波数成分に基づいて前記変化の有無を判定する
請求項３記載の画像処理装置。
【請求項５】
前記合成比率補正部は、減算器により前記合成比率を補正する
請求項３記載の画像処理装置。
【請求項６】
前記合成比率補正部は、乗算器により前記合成比率を補正する
請求項３記載の画像処理装置。
【請求項７】
前記複数の画像のそれぞれは、露光開始のタイミングが互いに異なる所定数のラインを含み、
前記検出部は、前記ラインに沿ったエッジの有無を前記光源の点滅の有無として検出する請求項１記載の画像処理装置。
【請求項８】
前記検出部は、所定周波数より高い高周波数成分を通過させるハイパスフィルタを用いて前記エッジの有無を検出する請求項７記載の画像処理装置。
【請求項９】
前記複数の画像は、第１画像、第２画像および第３画像を含み、
前記検出部は、
前記第２画像の露光期間内における前記光源の点滅の有無を検出して検出結果を前段検出結果として出力する前段検出部と、
前記第３画像の露光期間内における前記光源の点滅の有無を検出して検出結果を後段検出結果として出力する後段検出部と
を備え、
前記合成比率生成部は、
前記前段検出結果に基づいて前記光源の点滅がある場合には前記第２画像の割合が前記第１画像よりも低い合成比率を前記前段合成比率として生成する前段合成比率生成部と、
前記後段検出結果に基づいて前記光源の点滅がある場合には前記第３画像の割合が前記第１画像および前記第２画像を合成した前段合成画像よりも低い合成比率を前記後段合成比率として生成する後段合成比率生成部と
を備え、
前記合成部は、
前段合成比率により前記第１画像および前記第２画像を合成して前記前段合成画像を出力する前段合成部と、
後段合成比率により前記前段合成画像および前記第３画像を合成する後段合成部と
を備える請求項１記載の画像処理装置。
【請求項１０】
前記第１画像と前記第２画像との間の明るさの変化の有無を判定して判定結果を前段判定結果として出力する前段判定部と、
前記前段合成画像と前記第３画像との間の明るさの変化の有無を判定して判定結果を後段判定結果として出力する後段判定部と
をさらに具備し、
前記前段合成比率生成部は、前記前段判定結果と前記前段検出結果とに基づいて前記前段合成比率を生成し、
前記後段合成比率生成部は、前記後段判定結果と前記後段検出結果とに基づいて前記後段合成比率を生成する請求項９記載の画像処理装置。
【請求項１１】
前記複数の画像のそれぞれの露光時間は、互いに異なる
請求項１記載の画像処理装置。
【請求項１２】
時系列順に撮像された複数の画像を順に撮像する撮像部と
前記複数の画像のいずれかである検出対象画像の露光期間内における光源の点滅の有無を検出して検出結果を出力する検出部と、
前記検出結果に基づいて前記複数の画像のうち前記光源の点滅のある画像の割合が前記光源の点滅の無い画像よりも低い合成比率を生成する合成比率生成部と、
前記合成比率により前記複数の画像を合成する合成部と
を具備する撮像装置。
【請求項１３】
時系列順に撮像された複数の画像のいずれかである検出対象画像の露光期間内における光源の点滅の有無を検出して検出結果を出力する検出手順と、
前記検出結果に基づいて前記光源の点滅がある場合には前記検出対象画像の割合が前記検出対象画像に該当しない他の画像よりも低い合成比率を生成する合成比率生成手順と、
前記合成比率により前記複数の画像を合成する合成手順と
を具備する画像処理方法。
【請求項１４】
時系列順に撮像された複数の画像のいずれかである検出対象画像の露光期間内における光源の点滅の有無を検出して検出結果を出力する検出手順と、
前記検出結果に基づいて前記光源の点滅がある場合には前記検出対象画像の割合が前記検出対象画像に該当しない他の画像よりも低い合成比率を生成する合成比率生成手順と、
前記合成比率により前記複数の画像を合成する合成手順と
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置、撮像装置、および、画像処理方法、ならびに、当該画像処理方法をコンピュータに実行させるためのプログラムに関する。詳しくは、複数の画像を合成する画像処理装置、撮像装置、および、画像処理方法、ならびに、当該画像処理方法をコンピュータに実行させるためのプログラムに関する。
【背景技術】
【０００２】
従来より、撮像装置においては、ノイズの低減やダイナミックレンジの拡大を目的として、複数の画像データ（以下、単に「画像」と称する。）を合成する合成処理が行われている。例えば、露光時間が異なる２枚の画像を合成する撮像装置が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平５−６４０７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の従来技術では、合成によりダイナミックレンジを拡大することができるが、ＬＥＤ（Light Emitting Diode）などの周期的に点滅する光源を撮像する場合に、画質が低下するおそれがある。例えば、ＬＥＤ等の点滅する光源を撮像する際に、合成画像において、実際には存在しない黒い筋状の像が生じることがある。この実際に存在しない像は、障害像またはアーティファクトと呼ばれる。このような障害像が生じる原因としては、ローリングシャッター方式により複数のラインを順に露光する際に、あるラインの露光中に光源が消灯し、その暗いラインを合成したことなどが考えられる。このように、点滅する光源を撮像した際に、合成画像の画質が低下してしまうという問題がある。
【０００５】
本技術はこのような状況に鑑みて生み出されたものであり、複数の画像を合成する装置において、合成画像の画質を向上させることを目的とする。
【課題を解決するための手段】
【０００６】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、時系列順に撮像された複数の画像のいずれかである検出対象画像の露光期間内における光源の点滅の有無を検出して検出結果を出力する検出部と、上記検出結果に基づいて上記光源の点滅がある場合には上記検出対象画像の割合が上記検出対象画像に該当しない他の画像よりも低い合成比率を生成する合成比率生成部と、上記合成比率により上記複数の画像を合成する合成部と
を具備する画像処理装置、および、画像処理方法、ならびに、当該画像処理方法をコンピュータに実行させるためのプログラムである。これにより、光源の点滅がある場合には検出対象画像の割合が検出対象画像に該当しない他の画像よりも低い合成比率により複数の画像が合成されるという作用をもたらす。
【０００７】
また、この第１の側面において、上記複数の画像の間の明るさの変化の有無を判定して判定結果を出力する判定部をさらに具備し、上記合成比率生成部は、上記判定結果と上記検出結果とに基づいて上記合成比率を生成してもよい。これにより、明るさの変化の有無の判定結果と検出結果とに基づいて生成された合成比率により複数の画像が合成されるという作用をもたらす。
【０００８】
また、この第１の側面において、上記合成比率生成部は、所定の合成比率を算出する合成比率算出部と、上記判定結果に基づいて上記算出された合成比率を変調する合成比率変調部と、上記検出結果に基づいて上記光源の点滅のある場合には上記検出対象画像の割合を上記他の画像よりも低くする補正を上記変調された合成比率に対して行う合成比率補正部とを備え、上記合成部は、上記補正が行われた上記合成比率により上記複数の画像を合成してもよい。これにより、補正および変調が行われた合成比率により複数の画像が合成されるという作用をもたらす。
【０００９】
また、この第１の側面において、上記複数の画像のそれぞれにおいて、所定周波数より低い低周波数成分を通過させるローパスフィルタをさらに具備し、上記判定部は、上記低周波数成分に基づいて上記変化の有無を判定してもよい。これにより、低周波数成分に基づいて明るさの変化の有無が判定されるという作用をもたらす。
【００１０】
また、この第１の側面において、上記合成比率補正部は、減算器により上記合成比率を補正してもよい。これにより、減算器により補正された合成比率によって複数の画像が合成されるという作用をもたらす。
【００１１】
また、この第１の側面において、上記合成比率補正部は、乗算器により上記合成比率を補正してもよい。これにより、乗算器により補正された合成比率によって複数の画像が合成されるという作用をもたらす。
【００１２】
また、この第１の側面において、上記複数の画像のそれぞれは、露光開始のタイミングが互いに異なる所定数のラインを含み、上記検出部は、上記ラインに沿ったエッジの有無を上記光源の点滅の有無として検出してもよい。これにより、ラインに沿ったエッジの有無が光源の点滅の有無として検出されるという作用をもたらす。
【００１３】
また、この第１の側面において、上記検出部は、所定周波数より高い高周波数成分を通過させるハイパスフィルタを用いて上記エッジの有無を検出してもよい。これにより、高周波数成分に基づいてエッジの有無が検出されるという作用をもたらす。
【００１４】
また、この第１の側面において、上記複数の画像は、第１画像、第２画像および第３画像を含み、上記検出部は、上記第２画像の露光期間内における上記光源の点滅の有無を検出して検出結果を前段検出結果として出力する前段検出部と、上記第３画像の露光期間内における上記光源の点滅の有無を検出して検出結果を後段検出結果として出力する後段検出部とを備え、上記合成比率生成部は、上記前段検出結果に基づいて上記光源の点滅がある場合には上記第２画像の割合が上記第１画像よりも低い合成比率を上記前段合成比率として生成する前段合成比率生成部と、上記後段検出結果に基づいて上記光源の点滅がある場合には上記第３画像の割合が上記第１画像および上記第２画像を合成した前段合成画像よりも低い合成比率を上記後段合成比率として生成する後段合成比率生成部とを備え、上記合成部は、前段合成比率により上記第１画像および上記第２画像を合成して上記前段合成画像を出力する前段合成部と、後段合成比率により上記前段合成画像および上記第３画像を合成する後段合成部とを備えてもよい。これにより、第１画像および第２画像が合成され、前段合成画像および第３画像が合成されるという作用をもたらす。
【００１５】
また、この第１の側面において、上記第１画像と上記第２画像との間の明るさの変化の有無を判定して判定結果を前段判定結果として出力する前段判定部と、上記前段合成画像と上記第３画像との間の明るさの変化の有無を判定して判定結果を後段判定結果として出力する後段判定部とをさらに具備し、上記前段合成比率生成部は、上記前段判定結果と上記前段検出結果とに基づいて上記前段合成比率を生成し、上記後段合成比率生成部は、上記後段判定結果と上記後段検出結果とに基づいて上記後段合成比率を生成してもよい。これにより、前段判定結果および前段検出結果に基づいて生成された前段合成比率により第１画像および第２画像が合成され、後段判定結果および後段検出結果に基づいて生成された後段合成比率により前段合成画像および第３画像が合成されるという作用をもたらす。
【００１６】
また、この第１の側面において、上記複数の画像のそれぞれの露光時間は、互いに異なってもよい。これにより、露光時間が互いに異なる複数の画像が合成されるという作用をもたらす。
【００１７】
また、本技術の第２の側面は、時系列順に撮像された複数の画像を順に撮像する撮像部と上記複数の画像のいずれかである検出対象画像の露光期間内における光源の点滅の有無を検出して検出結果を出力する検出部と、上記検出結果に基づいて上記複数の画像のうち上記光源の点滅のある画像の割合が上記光源の点滅の無い画像よりも低い合成比率を生成する合成比率生成部と、上記合成比率により上記複数の画像を合成する合成部とを具備する撮像装置である。複数の画像が順に撮像され、光源の点滅がある場合には検出対象画像の割合が検出対象画像に該当しない他の画像よりも低い合成比率により、それらの複数の画像が合成されるという作用をもたらす。
【発明の効果】
【００１８】
本技術によれば、複数の画像を合成する画像処理装置において、合成画像の画質を向上させることができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１９】
【図１】本技術の第１の実施の形態における撮像装置の一構成例を示すブロック図である。
【図２】本技術の第１の実施の形態における固体撮像素子の一構成例を示すブロック図である。
【図３】本技術の第１の実施の形態における画像処理部の一構成例を示すブロック図である。
【図４】本技術の第１の実施の形態における明るさと合成比率との関係の一例を示すグラフである。
【図５】本技術の第１の実施の形態における変化判定部の一構成例を示すブロック図である。
【図６】本技術の第１の実施の形態における差分信号と判定結果との関係の一例を示すグラフである。
【図７】本技術の第１の実施の形態におけるエッジ検出部の一構成例を示すブロック図である。
【図８】本技術の第１の実施の形態におけるエッジ指数と信号レベルとの関係の一例を示すグラフである。
【図９】本技術の第１の実施の形態における撮像装置の露光タイミングの一例を示すタイミングチャートである。
【図１０】本技術の第１の実施の形態における短時間露光中に光源が点滅する際の撮像装置の露光タイミングの一例を示すタイミングチャートである。
【図１１】本技術の第１の実施の形態における短時間露光中に光源が点滅する際のライン毎の輝度レベルの一例を示すグラフである。
【図１２】本技術の第１の実施の形態における長時間露光中に光源が点滅する際の撮像装置の露光タイミングの一例を示すタイミングチャートである。
【図１３】本技術の第１の実施の形態における撮像装置の動作の一例を示すフローチャートである。
【図１４】本技術の第１の実施の形態における合成比率演算処理の一例を示すフローチャートである。
【図１５】明るさの変化の判定を行わない比較例におけるＨＤＲ合成画像の一例を示す図である。
【図１６】エッジ検出を行わない比較例におけるＨＤＲ合成画像の一例を示す図である。
【図１７】本技術の第１の実施の形態におけるＨＤＲ合成画像の一例を示す図である。
【図１８】本技術の第１の実施の形態の第１の変形例における画像処理部の一構成例を示すブロック図である。
【図１９】本技術の第１の実施の形態の第１の変形例におけるエッジ指数と信号レベルとの関係の一例を示すグラフである。
【図２０】本技術の第１の実施の形態の第２の変形例における画像処理部の一構成例を示すブロック図である。
【図２１】本技術の第１の実施の形態の第２の変形例におけるエッジ検出部の一構成例を示すブロック図である。
【図２２】本技術の第１の実施の形態の第２の変形例における短時間露光高周波数成分のラインごとの輝度レベルの一例を示すグラフである。
【図２３】本技術の第２の実施の形態における固体撮像素子の一構成例を示すブロック図である。
【図２４】本技術の第２の実施の形態における画像処理部の一構成例を示すブロック図である。
【図２５】本技術の第２の実施の形態における前段合成比率演算部の一構成例を示すブロック図である。
【図２６】本技術の第２の実施の形態における後段合成比率演算部の一構成例を示すブロック図である。
【図２７】車両制御システムの概略的な構成例を示すブロック図である。
【図２８】撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【００２０】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（露光期間内の光源の点滅の有無を検出して２枚の画像を合成する例）
２．第２の実施の形態（露光期間内の光源の点滅の有無を検出して３枚の画像を合成する例）
３．移動体への応用例
【００２１】
＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、第１の実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、光学部１１０、固体撮像素子２００、ＤＳＰ（Digital Signal Processing）回路１２０、表示部１３０、操作部１４０、バス１５０、電源部１６０、記録部１７０およびフレームメモリ１８０を備える。
【００２２】
光学部１１０は、被写体からの入射光を集光して固体撮像素子２００に導くものである。光学部１１０は、例えば、複数のレンズ、絞り、および、シャッターなどにより構成される。
【００２３】
固体撮像素子２００は、入射光を光電変換して画像（画像データ）を撮像するものである。この固体撮像素子２００は、撮像した画像に対して様々な画像処理を行う。この画像処理には、複数の画像を合成する合成処理が含まれる。合成処理として、例えば、露光時間が互いに異なる複数の画像を合成するＨＤＲ（High-Dynamic-Range rendering）合成処理が実行される。固体撮像素子２００は、ＨＤＲ合成処理後の画像をＨＤＲ合成画像として信号線２０９を介してＤＳＰ回路１２０に出力する。
【００２４】
ＤＳＰ回路１２０は、固体撮像素子２００からのＨＤＲ合成画像に対して所定のデジタル信号処理を実行するものである。例えば、デモザイク処理、ホワイトバランス処理やフィルタ処理などを含む様々なデジタル信号処理が実行される。これらの処理において、ＤＳＰ回路１２０は、必要に応じてＨＤＲ合成画像をフレームメモリ１８０に保持させる。そして、ＤＳＰ回路１２０は、処理したＨＤＲ合成画像を表示部１３０や記録部１７０に出力する。
【００２５】
表示部１３０は、ＨＤＲ合成画像や操作画面などを表示するものである。操作部１４０は、ユーザの操作に従って操作信号を生成するものである。
【００２６】
バス１５０は、固体撮像素子２００、ＤＳＰ回路１２０、表示部１３０、操作部１４０、電源部１６０、記録部１７０およびフレームメモリ１８０が互いにデータをやり取りするための共通の経路である。
【００２７】
電源部１６０は、撮像装置１００内の回路に電源を供給するものである。記録部１７０は、ＨＤＲ合成画像を記録するものである。フレームメモリ１８０は、ＨＤＲ合成画像（フレーム）を保持するものである。
【００２８】
なお、光学部１１０、固体撮像素子２００、ＤＳＰ回路１２０、表示部１３０、操作部１４０、バス１５０、電源部１６０、記録部１７０およびフレームメモリ１８０を同一の装置に設けているが、これらを複数の装置に分散して設けてもよい。例えば、光学部１１０や固体撮像素子２００を撮像装置に配置し、ＤＳＰ回路１２０などを情報処理装置に配置してもよい。
【００２９】
［固体撮像素子の構成例］
図２は、本技術の第１の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。この固体撮像素子２００は、撮像部２０５、バッファ２５０および画像処理部３００を備える。
【００３０】
撮像部２０５は、複数の画像を順に撮像するものである。この撮像部２０５は、走査回路２１０、画素アレイ部２２０、タイミング制御部２３０およびカラム信号処理部２４０を備える。
【００３１】
画素アレイ部２２０には、複数の画素が二次元格子状に配列される。以下、所定方向に配列された画素の集合を「行」または「ライン」と称し、行に垂直な方向に配列された画素の集合を「列」と称する。
【００３２】
走査回路２１０は、行（ライン）を順に選択して露光時間に亘って露光させるものである。選択された行内の画素のそれぞれは、露光時間に応じた画素信号をカラム信号処理部２４０に出力する。このように、ラインを順に露光させる露光制御は、ローリングシャッター方式と呼ばれる。
【００３３】
タイミング制御部２３０は、所定周波数（例えば、６０ヘルツ）の垂直同期信号ＶＳＹＮＣに同期して、走査回路２１０およびカラム信号処理部２４０の動作タイミングを制御するものである。垂直同期信号ＶＳＹＮＣは、例えば、固体撮像素子２００の外部からバス１５０を介して入力される。
【００３４】
カラム信号処理部２４０は、選択された行からの画素信号のそれぞれに対して、ＡＤ（Analog to Digital）変換処理やＣＤＳ(Correlated Double Sampling)処理など所定の信号処理を実行するものである。このカラム信号処理部２４０は、信号処理後の画素信号からなるラインデータを生成し、バッファ２５０および画像処理部３００に供給する。このラインデータからなる画像は、ＲＡＷ画像とも呼ばれる。
【００３５】
バッファ２５０は、所定数のラインデータを保持して遅延させるものである。このバッファ２５０は、遅延したラインデータのそれぞれを画像処理部３００に供給する。
【００３６】
画像処理部３００は、ラインデータからなる画像に対して合成処理（ＨＤＲ合成処理など）を含む所定の画像処理を行うものである。このＨＤＲ合成処理において、画像処理部３００は、遅延前のラインデータからなる現在のＲＡＷ画像と、遅延後のラインデータからなる過去のＲＡＷ画像とを合成する。ＨＤＲ合成処理では、これらの２枚の画像の露光時間は互いに異なる。以下、露光時間の長い方のＲＡＷ画像を「長時間露光画像」と称し、露光時間の短い方のＲＡＷ画像を「短時間露光画像」と称する。画像処理部３００は、ＨＤＲ合成処理後のＨＤＲ合成画像をＤＳＰ回路１２０へ出力する。
【００３７】
なお、画像処理部３００を固体撮像素子２００内に設けているが、画像処理部３００の処理の少なくとも一部を固体撮像素子２００の外部（ＤＳＰ回路１２０など）で実行する構成であってもよい。
【００３８】
［画像処理部の構成例］
図３は、本技術の第１の実施の形態における画像処理部３００の一構成例を示すブロック図である。この画像処理部３００は、ローパスフィルタ３１１および３１２と、変化判定部３２０と、エッジ検出部３３０と、合成比率生成部３４０と、合成部３８０とを備える。
【００３９】
ローパスフィルタ３１１は、短時間露光画像のうち、所定周波数未満の低周波数成分を通過させるものである。このローパスフィルタ３１１は、その低周波数成分を短時間露光低周波数成分として変化判定部３２０およびエッジ検出部３３０に供給する。
【００４０】
ローパスフィルタ３１２は、長時間露光画像のうち、所定周波数未満の低周波数成分を通過させるものである。このローパスフィルタ３１２は、その低周波数成分を長時間露光低周波数成分として変化判定部３２０および合成比率生成部３４０に供給する。ローパスフィルタ３１１および３１２として、例えば、平均化フィルタやガウシアンフィルタが用いられる。
【００４１】
変化判定部３２０は、長時間露光低周波数成分および短時間露光低周波数成分に基づいて、長時間露光画像と短時間露光画像との間の明るさの変化の有無を画素ごとに判定するものである。画素数がＮ（Ｎは、整数）である場合には、長時間露光画像および短時間露光画像からなる組のそれぞれについて、判定がＮ回に亘って行われる。例えば、垂直同期信号ＶＳＹＮＣに近い周波数（例えば、６０ヘルツ）の発光制御信号に同期して周期的に点滅する光源を撮像する場合に、長時間露光画像および短時間露光画像の一方で光源が点灯し、他方で光源が消灯することがある。このときに変化判定部３２０は、明るさの変化があると判定する。
【００４２】
一方、周期的に点滅する光源が無い場合や長時間露光画像および短時間露光画像の両方で光源が点灯または消灯する場合には、変化判定部３２０は、明るさの変化が無いと判定する。明るさの変化の判定結果は、例えば、明るさの変化の度合いを示す「０」乃至「１」の実数により表される。変化判定部３２０は、判定結果を合成比率生成部３４０に供給する。なお、変化判定部３２０は、特許請求の範囲に記載の判定部の一例である。
【００４３】
エッジ検出部３３０は、短時間露光画像においてラインに沿ったエッジの有無の検出により、その画像の露光時間内の光源の点滅の有無を検出するものである。エッジの検出結果は、例えば、エッジの度合いを示す「０」乃至「１」の実数により表される。エッジ検出部３３０は、検出結果を合成比率生成部３４０に供給する。なお、短時間露光画像は、特許請求の範囲に記載の検出対象画像の一例であり、エッジ検出部３３０は、特許請求の範囲に記載の検出部の一例である。
【００４４】
合成比率生成部３４０は、長時間露光低周波数成分と判定結果と検出結果とに基づいて、ＨＤＲ合成処理における合成比率を画素ごとに生成するものである。画素数がＮである場合には、長時間露光画像および短時間露光画像の組のそれぞれについて、合成比率がＮ回に亘って生成される。合成比率は、例えば、「０」乃至「１」の実数により表される。この合成比率生成部３４０は、合成比率算出部３５０、合成比率変調部３６０および合成比率補正部３７０を備える。
【００４５】
合成比率算出部３５０は、ローパスフィルタ３１２からの長時間露光低周波数成分における画素ごとに、その画素の明るさに応じた合成比率を算出するものである。例えば、画素が明るいほど、長時間露光画像の割合の高い合成比率が算出される。合成比率算出部３５０は、算出した合成比率を合成比率変調部３６０に出力する。
【００４６】
ここで、仮にローパスフィルタ３１２通過前の長時間露光画像（ＲＡＷ画像）を合成比率算出部３５０がそのまま用いて合成比率を算出すると、色ごとに異なる画素位置で合成比率の変更が生じて、その影響により合成画像に偽色信号が現れるおそれがある。そこで、撮像装置１００では、ローパスフィルタ３１２によりＲＡＷ画像から生成した低周波数成分を合成比率算出部３５０で用いている。これにより、偽色信号の発生を抑制することができる。また、ローパスフィルタ３１２によりＲＡＷ画像に存在するランダムノイズの影響を軽減することができる。
【００４７】
なお、モノクロの画像データなど、偽色信号が問題とならない場合やランダムノイズが少ない場合には、ローパスフィルタ３１２を設けない構成とすることもできる。ローパスフィルタ３１１についても同様に設けない構成とすることもできる。
【００４８】
合成比率変調部３６０は、明るさの変化の判定結果に基づいて画素ごとに合成比率を変調するものである。この合成比率変調部３６０は、長時間露光画像および短時間露光画像のうち、光源が点灯した画像内の画素の割合を、消灯した画像内の対応する画素よりも高くする変調を行う。これは、消灯した画像の画素の割合を高くすると、ＨＤＲ合成画像において、光源の部分の輝度が不足してしまうためである。変調において、例えば、次の式に示す演算が行われる。合成比率変調部３６０は、変調後の合成比率を合成比率補正部３７０に供給する。
Ｒｍ１＝Ｒ０−Ｂ                                        ・・・式１
上式においてＲｍ１は、変調後の合成比率であり、Ｒ０は、変調前の合成比率である。Ｂは、明るさの変化の判定結果を示す値である。
【００４９】
合成比率補正部３７０は、エッジの検出結果に基づいて画素ごとに合成比率Ｒｍ１を補正するものである。この合成比率補正部３７０は、短時間露光画像においてエッジ（光源の点滅）がある場合には、そのエッジのある画素の割合を長時間露光画像内の対応する画素よりも低くする補正を行う。例えば、合成比率補正部３７０は、補正において減算器３７１により次の式に示す演算を行う。合成比率補正部３７０は、補正後の合成比率を合成部３８０に供給する。
Ｒｍ２＝Ｒｍ１−Ｅ                                        ・・・式２
上式においてＲｍ２は、補正後の合成比率であり、Ｅは、エッジの検出結果を示す値である。これにより、露光中に光源が消灯した暗い画素の合成比率を低下させて、その画素の合成により合成画像に筋状の像が生じることを防止することができる。
【００５０】
合成部３８０は、長時間露光画像と短時間露光画像とを、合成比率生成部３４０からの合成比率Ｒｍ２により合成するものである。この合成部３８０は、例えば、次の式により、合成を行う。
ＰＨＤＲ＝ＰＬ×（１−Ｒｍ２）＋ＰＳ×Ｒｍ２                ・・・式３
上式において、ＰＨＤＲは、ＨＤＲ合成画像内の画素の画素値である。ＰＬは、長時間露光画像内の対応する画素の画素値である。Ｐｓは、短時間露光画像内の対応する画素の画素値である。
【００５１】
なお、合成比率生成部３４０は、「０」乃至「１」の実数を合成比率Ｒｍ２として求めているが、「０」乃至「１００」のパーセント表記の値を合成比率Ｒｍ２として求めてもよい。この場合には式３の右辺を「１００」により除算すればよい。
【００５２】
図４は、本技術の第１の実施の形態における明るさと合成比率との関係の一例を示すグラフである。同図における縦軸は、合成比率Ｒ０であり、横軸は、長時間露光低周波数成分内の画素の明るさである。
【００５３】
例えば、ある画素の明るさが「０」乃至「Ｂ１」である場合には、その画素について「０」の合成比率Ｒ０が算出される。式１乃至式３より、変調および補正がない場合にはＨＤＲ合成において長時間露光画像のみが用いられる。明るさが「Ｂ１」乃至「Ｂ２」である場合には、明るさに比例した「０」乃至「１」の合成比率Ｒ０が算出される。ここで、Ｂ１は実数であり、Ｂ２は、Ｂ１よりも大きな実数である。
【００５４】
また、明るさが「Ｂ２」よりも大きい場合には、「１」の合成比率Ｒ０が算出される。式１乃至式３より、変調および補正がない場合にはＨＤＲ合成において短時間露光画像のみが用いられる。
【００５５】
なお、合成比率生成部３４０は、長時間露光低周波数成分の明るさから合成比率Ｒ０を算出しているが、この構成に限定されない。例えば、合成比率生成部３４０は、短時間露光低周波数成分の明るさから合成比率Ｒ０を算出してもよい。また、合成比率生成部３４０は、固定値を合成比率Ｒ０として用いてもよい。固定値を用いる場合には合成比率生成部３４０において合成比率算出部３５０は不要である。
【００５６】
また、明るさが「Ｂ１」乃至「Ｂ２」の場合に合成比率生成部３４０は、「０」乃至「１」の合成比率Ｒ０を算出しているが、この構成に限定されない。例えば、合成比率生成部３４０は、明るさが所定値より大きい場合に合成比率Ｒ０を「１」とし、その所定値以下の場合に「０」としてもよい。
【００５７】
［変化判定部の構成例］
図５は、本技術の第１の実施の形態における変化判定部３２０の一構成例を示すブロック図である。この変化判定部３２０は、乗算器３２１、減算器３２２、信号レベル比較部３２３、絶対値演算部３２４、乗算器３２５、閾値判定部３２６および乗算器３２７を備える。
【００５８】
乗算器３２１は、短時間露光低周波数成分内の画素ごとに、その画素の信号レベルに露光比ＲＥを乗算するものである。また、露光比ＲＥは、次の式により表される。乗算器３２１は、乗算結果をＬｓとして減算器３２２および信号レベル比較部３２３に出力する。
ＲＥ＝ＴＬ／ＴＳ
上式において、ＴＬは、長時間露光画像の露光時間である。Ｔｓは、短時間露光画像の露光時間である。
【００５９】
減算器３２２は、長時間露光低周波数成分内の画素ごとに、その信号レベルから、対応する乗算結果Ｌｓを減算するものである。この減算器３２２は、減算結果を絶対値演算部３２４に出力する。
【００６０】
絶対値演算部３２４は、減算結果の絶対値を演算して乗算器３２５に供給するものである。乗算器３２５は、減算結果の絶対値に所定の正規化ゲインを乗算するものである。ここで、正規化ゲインは、入力信号に対してかかるゲイン（例えば、オートゲインコントロールにおけるゲイン、キャリブレーションゲイン、レベルバランスゲイン、露光比ゲインなど）を色別に考慮して決定される。乗算器３２５は、乗算後の信号を差分信号として閾値判定部３２６に出力する。
【００６１】
閾値判定部３２６は、差分信号のレベルが、所定の判定閾値を超えるか否かを判定するものである。例えば、閾値判定部３２６は、差分信号から判定閾値を減算し、その結果を判定結果として乗算器３２７に出力する。
【００６２】
信号レベル比較部３２３は、乗算結果Ｌｓと、長時間露光低周波数成分内の対応する画素の信号レベルとを比較するものである。乗算結果Ｌｓの方が小さい場合に信号レベル比較部３２３は、比較結果として「＋１」を乗算器３２７に出力する。一方、乗算結果Ｌｓが、対応する信号レベル以上の場合に信号レベル比較部３２３は、比較結果として「−１」を乗算器３２７に出力する。
【００６３】
乗算器３２７は、閾値判定部３２６の判定結果に、比較結果（「＋１」または「−１」）を乗算して、符号付きの判定結果として合成比率変調部３６０へ出力するものである。
【００６４】
図６は、本技術の第１の実施の形態における差分信号と判定結果との関係の一例を示すグラフである。差分信号が判定閾値Ｄｔｈ１以下の場合には、「０」の判定結果が出力される。また、差分信号が、判定閾値Ｄｔｈ１より高く、上限値Ｄｔｈ２以下の場合には、差分信号に比例した値が判定結果として出力される。ここで、Ｄｔｈ１は所定の実数であり、Ｄｔｈ２は、Ｄｔｈ１より大きい実数である。また、差分信号が上限値Ｄｔｈ２より高い場合には、固定値の判定結果が出力される。
【００６５】
なお、閾値判定部３２６は、差分信号が、判定閾値Ｄｔｈ１より高く、上限値Ｄｔｈ２以下の場合には、差分信号に比例した値を判定結果として出力しているが、この構成に限定されない。例えば、閾値判定部３２６は、差分信号が判定閾値Ｄｔｈ１より高い場合に固定値を判定結果として出力し、差分信号が判定閾値Ｄｔｈ１以下の場合に「０」の判定結果を出力してもよい。
【００６６】
［エッジ検出部の構成例］
図７は、本技術の第１の実施の形態におけるエッジ検出部３３０の一構成例を示すブロック図である。このエッジ検出部３３０は、減算器３３１およびエッジ指数演算部３３２を備える。
【００６７】
減算器３３１は、短時間露光画像内の画素毎に、その画素値から短時間露光低周波成分内の対応する画素の画素値を減算するものである。減算器３３１は、減算結果を短時間露光高周波数成分としてエッジ指数演算部３３２に出力する。
【００６８】
エッジ指数演算部３３２は、短時間露光高周波数成分内の画素ごとに、その画素の信号レベルに応じた値をエッジの度合いを示すエッジ指数として演算するものである。このエッジ指数演算部３３２は、演算したエッジ指数を検出結果として合成比率補正部３７０に供給する。
【００６９】
図８は、本技術の第１の実施の形態におけるエッジ指数と信号レベルとの関係の一例を示すグラフである。同図における縦軸は、エッジ指数を示し、横軸は、短時間露光高周波数成分内のラインの信号レベルを示す。信号レベルが検出閾値Ｈ１以下の場合には「０」のエッジ指数が出力される。また、信号レベルが検出閾値Ｈ１より高く、上限値Ｈ２以下の場合には、信号レベルに比例した「０」乃至「１」の値がエッジ指数として出力される。ここで、Ｈ１は所定の実数であり、Ｈ２は、Ｈ１より大きい実数である。また、差分信号が上限値Ｈ２より高い場合には、「１」のエッジ指数が出力される。
【００７０】
なお、エッジ指数演算部３３２は、信号レベルが検出閾値Ｈ１より高く、上限値Ｈ２以下の場合に「０」乃至「１」の値をエッジ指数として出力しているが、この構成に限定されない。例えば、エッジ指数演算部３３２は、信号レベルが検出閾値Ｈ１より高い場合に「１」をエッジ指数として出力し、信号レベルが検出閾値Ｈ１以下の場合に「０」をエッジ指数として出力してもよい。
【００７１】
図９は、本技術の第１の実施の形態における撮像装置１００の露光タイミングの一例を示すタイミングチャートである。撮像装置１００は、垂直同期信号ＶＳＹＮＣに同期して、長時間露光画像および短時間露光画像を時系列順に撮像する。この撮像中に、所定周波数の発光制御信号に同期して周期的に点滅する光源が撮像範囲内に存在していたものとする。発光制御信号は、例えば、矩形波である。この発光制御信号がハイレベルの期間において光源が点灯し、ローレベルの期間において消灯するものとする。
【００７２】
撮像装置１００は、垂直同期信号ＶＳＹＮＣが立ち下がったタイミングＴ１に長時間露光画像内の最初のラインの露光を開始し、その後のタイミングＴ２に、最後のラインの露光を終了する。
【００７３】
そして、タイミングＴ２の後に垂直同期信号ＶＳＹＮＣが立ち下がったタイミングＴ３に撮像装置１００は、短時間露光画像内の最初のラインの露光を開始し、その後のタイミングＴ４に、最後のラインの露光を終了する。
【００７４】
ここで、タイミングＴ１乃至Ｔ２の長時間露光画像の露光期間に亘って光源が点灯し、タイミングＴ３乃至Ｔ４の短時間露光画像の露光期間に亘って光源が消灯したものとする。
【００７５】
この際には、点灯中に撮像された長時間露光画像が比較的明るくなり、差分信号が判定閾値を超えるため、撮像装置１００は、明るさの変化があると判定する。そして、撮像装置１００は、点灯した際の長時間露光画像の割合を優先的に高くして合成画像を生成する。
【００７６】
また、撮像装置１００は、タイミングＴ５乃至Ｔ６において長時間露光画像を撮像し、タイミングＴ７乃至Ｔ８において短時間露光画像を撮像する。
【００７７】
ここで、タイミングＴ５乃至Ｔ６の長時間露光画像の露光期間に亘って光源が消灯し、タイミングＴ７乃至Ｔ８の短時間露光画像の露光期間に亘って光源が点灯したものとする。
【００７８】
この際には、点灯中に撮像された短時間露光画像が比較的明るくなり、差分信号が判定閾値を超えるため、撮像装置１００は、明るさの変化があると判定する。そして、撮像装置１００は、点灯した際の短時間露光画像の割合を優先的に高くして合成画像を生成する。
【００７９】
ここで、仮に明るさの判定を行わずに合成を行うと、光源が消灯したときの暗い画像も合成されてしまうため、合成画像において、光源の部分の明るさが不足してしまう。そこで、撮像装置１００は、長時間露光画像および短時間露光画像の一方で光源が点灯し、他方で消灯した場合に、点灯した際の明るい画像の割合を高くして合成を行う。これにより、合成画像において、光源の部分の明るさの不足を防止することができる。
【００８０】
図１０は、本技術の第１の実施の形態における短時間露光中に光源が点滅する際の撮像装置１００の露光タイミングの一例を示すタイミングチャートである。垂直同期信号ＶＳＹＮＣが立ち下がったタイミングＴ１１に撮像装置１００は、長時間露光画像の撮像を開始し、その後のタイミングＴ１２に短時間露光画像の撮像を開始する。そして、長時間露光の露光期間に亘って光源が点灯したものとする。
【００８１】
ここで、短時間露光画像の露光開始のタイミングＴ１２から、その露光期間中のタイミングＴ１３までにおいて、光源が点灯し、タイミングＴ１３以降は消灯したものとする。この場合に撮像装置１００は短時間露光画像においてエッジがあることを検出する。
【００８２】
図１１は、本技術の第１の実施の形態における短時間露光中に光源が点滅する際のライン毎の輝度レベルの一例を示すグラフである。同図における縦軸は輝度レベルを示し、横軸はラインを示す。また、太い実線は、長時間露光低周波数成分のラインごとの輝度レベルを示す。細い実線は、短時間露光画像のラインごとの輝度レベルを示す。一点鎖線は、短時間露光低周波数成分のラインごとの輝度レベルを示す。
【００８３】
長時間露光画像においては、輝度レベルの変動があまり無い。一方、図１１における短時間露光低周波数成分内のラインＬ１乃至Ｌ３は、図１０における光源が点滅したタイミングＴ１３の前後に露光されたため、輝度レベルの勾配が大きい。
【００８４】
ラインＬ１までのラインにおいて、長時間露光低周波数成分と、短時間露光低周波数成分に露光比を乗算した結果との差分信号は、判定閾値以下である。このため、撮像装置１００は、明るさの変化が無いと判定する。変化が無いため、撮像装置１００は、「０」より大きく「１」未満の値に合成比率を変調する。すなわち、短時間露光画像が合成画像に反映される。
【００８５】
一方、ラインＬ２以降のラインにおいて差分信号は、判定閾値を超える。このため、撮像装置１００は、明るさの変化があると判定する。変化があるため、撮像装置１００は合成比率を「０」に変調する。すなわち、短時間露光画像は合成画像に反映されない。
【００８６】
ここで、仮に、変調後の合成比率のままで撮像装置１００がＨＤＲ合成を行うと、合成画像においてラインＬ１の部分に、実際には存在しない筋状の像（障害像）が生じるおそれがある。
【００８７】
障害像が生じるのは、ラインＬ１において光源の消灯が始まって明るさが変化しているにも関わらず、判定閾値が適切な数値でなく、差分信号が判定閾値を超えずに変化が無いと誤って判定されたためである。この誤判定により、暗いラインＬ１が合成されて、合成画像において筋状の障害像が生じてしまう。判定閾値が適切な値であれば誤判定は生じないが、撮像環境により適正値が変動するため、判定閾値の調整は困難である。
【００８８】
そこで、この第１の実施の形態における撮像装置１００は、短時間露光画像において、ラインに沿ったエッジの有無を検出する。露光期間中に光源が点滅した際には、ローリングシャッター方式では、ラインに沿ってエッジが生じる。このため、撮像装置１００は、エッジの有無の検出により、露光期間中の光源の点滅の有無を検出することができる。
【００８９】
そして、エッジにおいては前述の誤判定が生じるおそれがあるため、撮像装置１００は、合成比率を「０」に補正する。すなわち、エッジにおいて短時間露光画像は合成画像に反映されない。これにより、暗いラインＬ１が合成されなくなるため、合成画像において筋状のアーティファクトの発生を抑制することができる。
【００９０】
図１２は、本技術の第１の実施の形態における長時間露光中に光源が点滅する際の撮像装置１００の露光タイミングの一例を示すタイミングチャートである。
【００９１】
垂直同期信号ＶＳＹＮＣが立ち下がったタイミングＴ２１に撮像装置１００は、長時間露光画像の撮像を開始し、その後のタイミングＴ２３に短時間露光画像の撮像を開始する。そして、短時間露光の露光期間に亘って光源が点灯したものとする。
【００９２】
ここで、長時間露光画像の露光開始のタイミングＴ２１から、その露光期間中のタイミングＴ２２までにおいて、光源が消灯し、タイミングＴ２２以降は点灯したものとする。
【００９３】
このように、長時間露光中に光源が点滅することも想定されるが、長時間露光中に光源が点滅しても、露光期間が長いためにライン間で明暗がはっきりするケースは少なく、点滅の生じた部分は、エッジで無くグラデーションのような像となる。また、エッジが発生したとしても、長時間露光低周波数成分には露光比を乗算しないため、誤差が生じにくく、明るさの変化の誤判定は発生しにくい。これらの理由により、長時間露光中の光源の点滅については、対策をとる必要性に乏しい。したがって撮像装置１００では、長時間露光低周波数成分においてエッジを検出していない。
【００９４】
なお、長時間露光中の光源の点滅による障害像が問題となる場合は、撮像装置１００が、短時間露光低周波数成分に加えて、長時間露光低周波数成分においてもエッジを検出する構成としてもよい。
【００９５】
［撮像装置の動作例］
図１３は、本技術の第１の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。この動作は、例えば、ＨＤＲ合成画像を撮像するための所定のアプリケーションが実行されたときに開始される。
【００９６】
撮像装置１００は、まず、長時間露光画像を撮像し（ステップＳ９０１）、次に短時間露光画像を撮像する（ステップＳ９０２）。また、撮像装置１００は、合成比率を演算するための合成比率演算処理を実行する（ステップＳ９１０）。そして、撮像装置１００は、演算した合成比率によりＨＤＲ合成を行う（ステップＳ９０３）。ステップＳ９０３の後に撮像装置１００は、動作を終了する。複数のＨＤＲ画像を含む動画を撮像する場合には、ステップＳ９０１乃至Ｓ９０３の処理が繰り返し実行される。
【００９７】
なお、撮像装置１００は、最初に長時間露光画像を撮像し、次に短時間露光画像を撮像しているが、逆に短時間露光画像、長時間露光画像の順で撮像してもよい。
【００９８】
図１４は、本技術の第１の実施の形態における合成比率演算処理の一例を示すフローチャートである。撮像装置１００内の画像処理部３００は、長時間露光画像から長時間露光低周波数成分を抽出し（ステップＳ９１１）、その成分から合成比率Ｒ０を算出する（ステップＳ９１２）。
【００９９】
また、画像処理部３００は、短時間露光画像から短時間露光低周波数成分を抽出する（ステップＳ９１３）。そして、画像処理部３００は、長時間露光低周波数成分と、短時間露光低周波数成分とに基づいて明るさの変化の有無を判定し（ステップＳ９１４）、判定結果に基づいて合成比率Ｒ０を変調する（ステップＳ９１５）。
【０１００】
次いで画像処理部３００は、短時間露光低周波数成分においてラインに沿ったエッジを検出し（ステップＳ９１６）、検出結果に基づいて変調後の合成比率Ｒｍ１を補正する（ステップＳ９１７）。ステップＳ９１７の後に、画像処理部３００は、合成比率演算処理を終了する。
【０１０１】
図１５は、明るさの変化の判定を行わない比較例におけるＨＤＲ合成画像５１０の一例を示す図である。このＨＤＲ合成画像５１０には、ＬＥＤなどを用いる看板５１１を含む。この看板５１１内の点滅部５１２および５１３は、周期的に点滅している。
【０１０２】
このような撮像環境において、撮像装置１００が明るさの変化の判定を行わない場合には、合成対象の２枚の画像の一方のみで点滅部５１２および５１３が消灯した際に、その消灯した画像も合成されてしまうおそれがある。この結果、ＨＤＲ合成画像５１０において点滅部５１２および５１３の明るさが不足し、黒くつぶれてしまう。一方、これらの光源以外の部分は、ＨＤＲ合成により、ダイナミックレンジを拡大することができる。
【０１０３】
図１６は、明るさの変化の判定を行うが、エッジ検出を行わない比較例におけるＨＤＲ合成画像５２０の一例を示す図である。このＨＤＲ合成画像５２０には、ＬＥＤなどを用いる看板５２１を含む。この看板５２１内の点滅部５２２および５２３は、周期的に点滅している。明るさの変化の判定により、合成対象の２枚の画像の一方のみで点滅部５２２および５２３が消灯しても、点灯した方の画像が優先的に合成されるため、点滅部５２２および５２３の明るさの不足を解消することができる。
【０１０４】
しかしながら、エッジの検出を行わない場合には、露光期間中に点滅部５２２および５２３が消灯した際に、ライン方向に沿った筋状のアーティファクト５２４が生じてしまう。これは、撮像装置１００が、消灯したラインにおいて、明るさの変化が無いと誤判定して、その消灯した暗いラインを合成してしまうためである。
【０１０５】
図１７は、本技術の第１の実施の形態におけるＨＤＲ合成画像５３０の一例を示す図である。このＨＤＲ合成画像５３０には、ＬＥＤなどを用いる看板５３１を含む。この看板５３１内の点滅部５３２および５３３は、周期的に点滅している。
【０１０６】
明るさの変化の判定により、合成対象の２枚の画像の一方のみで点滅部５３２および５３３が消灯しても、点灯した方の画像が優先的に合成されるため、点滅部５３２および５３３の明るさの不足を解消することができる。
【０１０７】
さらに、エッジの検出により、短時間露光画像の露光中に点滅部５３２および５３３が点滅しても、長時間露光画像が優先して合成されるため、筋状の障害像（アーティファクト）の発生を抑制することができる。
【０１０８】
このように、本技術の第１の実施の形態によれば、短時間露光画像の露光中における光源の点滅がある場合には、その画像の割合が比較的低い合成比率を画像処理部３００が生成するため、点滅があった画像の合成による障害像の発生を抑制することができる。これにより、ＨＤＲ合成画像の画質を向上させることができる。
【０１０９】
［第１の変形例］
上述の第１の実施の形態では、合成比率補正部３７０は、減算器３７１により合成比率を補正していたが、減算器の代わりに乗算器により補正することもできる。この第１の実施の形態の第１の変形例では、合成比率補正部３７０が、乗算器により合成比率を補正する点において第１の実施の形態と異なる。
【０１１０】
図１８は、本技術の第１の実施の形態の第１の変形例における画像処理部３００の一構成例を示すブロック図である。この第１の実施の形態の第１の変形例の画像処理部３００は、減算器３７１の代わりに乗算器３７２を備える点において第１の実施の形態と異なる。合成比率補正部３７０は、乗算器３７２により式２の代わりに次の式に示す演算を行う。
Ｒｍ２＝Ｒｍ１×Ｅ
上式により、第１の実施の形態のように検出結果Ｅの減算を行うと補正後の合成比率Ｒｍ２が零以下になる場合であっても、零より大きなＲｍ２を得ることができる。例えば、補正前の合成比率Ｒｍ１が０．５で、エッジの検出結果Ｅも０．５の場合に、減算を行うと補正後の合成比率Ｒｍ２が零になるが、乗算では０．２５となり、短時間露光画像を合成画像にある程度、反映させることができる。
【０１１１】
図１９は、本技術の第１の実施の形態の第１の変形例におけるエッジ指数と信号レベルとの関係の一例を示すグラフである。同図における縦軸は、エッジ指数を示し、横軸は、短時間露光画像高周波数成分内のラインの信号レベルを示す。信号レベルが検出閾値Ｈ１以下の場合には「１」のエッジ指数が出力される。また、信号レベルが検出閾値Ｈ１より高く、上限値Ｈ２以下の場合には、信号レベルに反比例した値がエッジ指数として出力される。また、差分信号が上限値Ｈ２より高い場合には、「０」のエッジ指数が出力される。
【０１１２】
このように本技術の第１の実施の形態の第１の変形例では、合成比率補正部３７０は、乗算器３７２により合成比率を補正するため、乗算により、短時間露光画像の割合を低くする補正を行うことができる。
【０１１３】
［第２の変形例］
上述の第１の実施の形態では、エッジ検出部３３０は、ローパスフィルタを通過した短時間露光低周波数成分と、通過前の短時間露光画像との差分演算により短時間露光高周波数成分を生成していた。しかし、エッジ検出部３３０は、ハイパスフィルタにより短時間露光高周波数成分を生成することもできる。この第１の実施の形態の第２の変形例のエッジ検出部は、ハイパスフィルタにより短時間露光高周波数成分を生成する点において第１の実施の形態と異なる。
【０１１４】
図２０は、本技術の第１の実施の形態の第２の変形例における画像処理部３００の一構成例を示すブロック図である。この第１の実施の形態の第２の変形例の画像処理部３００は、エッジ検出部３３０の代わりにエッジ検出部３３５を備える点において第１の実施の形態と異なる。また、ローパスフィルタ３１１は、短時間露光低周波数成分を変化判定部３２０へのみ出力し、エッジ検出部３３５へは出力しない。
【０１１５】
図２１は、本技術の第１の実施の形態の第２の変形例におけるエッジ検出部３３５の一構成例を示すブロック図である。この第１の実施の形態の第２の変形例のエッジ検出部３３５は、ハイパスフィルタ３３６およびエッジ指数演算部３３２を備える。
【０１１６】
ハイパスフィルタ３３６は、短時間露光画像のうち、所定周波数より高い高周波数成分を短時間露光高周波数成分として通過させるものである。このハイパスフィルタ３３６は、短時間露光高周波数成分をエッジ指数演算部３３２に出力する。ハイパスフィルタ３３６として、例えば、ラプラシアンフィルタが用いられる。
【０１１７】
図２２は、本技術の第１の実施の形態の第２の変形例における短時間露光高周波数成分のライン毎の輝度レベルの一例を示すグラフである。同図における縦軸は、輝度レベルを示し、横軸は、短時間露光高周波数成分におけるラインを示す。同図に例示するように、エッジの部分で、短時間露光高周波数成分の輝度レベルの符号が反転する。この場合には、例えば、正負のうち、負の輝度レベルに着目し、後段のエッジ指数演算部３３２は、その絶対値が大きいほど大きなエッジ指数を出力する。
【０１１８】
なお、第１の実施の形態の第２の変形例に、第１の変形例を適用することもできる。この場合にエッジ指数演算部３３２は、負の輝度レベルについて、その絶対値が大きいほど小さなエッジ指数を出力すればよい。
【０１１９】
このように、本技術の第１の実施の形態の第２の変形例では、エッジ検出部３３５は、ハイパスフィルタ３３６により高周波数成分を生成するため、ローパスフィルタ通過前後の信号の差分を求める減算器３３１を用いずにエッジを検出することができる。
【０１２０】
＜２．第２の実施の形態＞
上述の第１の実施の形態では、画像処理部３００は、２枚の画像を合成していたが、合成枚数が２枚では、ＨＤＲ合成画像の画質の向上が困難になるおそれがある。例えば、ダイナミックレンジをさらに拡大するために露光比を大きくすると、白飛びや黒つぶれなどが生じやすくなってしまう。一般に合成枚数を増加させると、階調表現が豊かになり、ノイズも低減して画質が向上する。この第２の実施の形態の画像処理部３００は、合成枚数を増加した点において第１の実施の形態と異なる。
【０１２１】
図２３は、本技術の第２の実施の形態における固体撮像素子２００の一構成例を示すブロック図である。この第２の実施の形態の固体撮像素子２００は、バッファ２６０をさらに備える点において第１の実施の形態と異なる。
【０１２２】
バッファ２６０は、所定数のラインデータを保持して遅延させるものである。このバッファ２６０は、遅延したラインデータのそれぞれを画像処理部３００に供給する。
【０１２３】
また、第２の実施の形態のバッファ２５０は、遅延したラインデータのそれぞれをバッファ２６０および画像処理部３００に供給する。撮像部２０５は、露光期間の異なる３枚の画像を順に撮像する。以下、３枚のうち露光時間の最も長い画像を「長時間露光画像」と称し、露光時間が２番目に長い画像を「中時間露光画像」と称し、露光時間の最も短い画像を「短時間露光画像」と称する。なお、長時間露光画像は、特許請求の範囲に記載の第１画像の一例である。中時間露光画像は、特許請求の範囲に記載の第２画像の一例である。短時間露光画像は、特許請求の範囲に記載の第３画像の一例である。
【０１２４】
図２４は、本技術の第２の実施の形態における画像処理部３００の一構成例を示すブロック図である。この第２の実施の形態の画像処理部３００は、ローパスフィルタ３１１、３１２および３１３と、後段合成比率演算部４１０と、前段合成比率演算部４２０と、前段合成部４３０と、後段合成部４４０とを備える。
【０１２５】
ローパスフィルタ３１１は、短時間露光画像のうち、所定周波数未満の低周波数成分を通過させるものである。このローパスフィルタ３１１は、その低周波数成分を短時間露光低周波数成分として後段合成比率演算部４１０に供給する。
【０１２６】
ローパスフィルタ３１２は、中時間露光画像のうち、所定周波数未満の低周波数成分を通過させるものである。このローパスフィルタ３１２は、その低周波数成分を中時間露光低周波数成分として前段合成比率演算部４２０に供給する。
【０１２７】
ローパスフィルタ３１３は、長時間露光画像のうち、所定周波数未満の低周波数成分を通過させるものである。このローパスフィルタ３１３は、その低周波数成分を長時間露光低周波数成分として前段合成比率演算部４２０に供給する。
【０１２８】
前段合成比率演算部４２０は、中時間露光画像、中時間露光低周波数成分および長時間露光低周波数成分に基づいて前段合成比率Ｒａを演算するものである。この前段合成比率演算部４２０は、演算した前段合成比率Ｒａを前段合成部４３０に供給する。また、前段合成比率演算部４２０は、中時間露光低周波数成分および長時間露光低周波数成分を合成して前段合成画像低周波数成分として後段合成比率演算部４１０に供給する。
【０１２９】
後段合成比率演算部４１０は、短時間露光画像、短時間露光低周波数成分および前段合成画像低周波数成分に基づいて後段合成比率Ｒｂを演算するものである。この後段合成比率演算部４１０は、演算した後段合成比率Ｒｂを後段合成部４４０に供給する。
【０１３０】
前段合成部４３０は、長時間露光画像および中時間露光画像を前段合成比率Ｒａにより合成するものである。この前段合成部４３０は、合成した画像を前段合成画像として後段合成部４４０に供給する。
【０１３１】
後段合成部４４０は、前段合成画像および短時間露光画像を後段合成比率Ｒｂにより合成するものである。この前段合成部４４０は、合成した画像をＨＤＲ合成画像としてＤＳＰ回路１２０へ出力する。
【０１３２】
なお、画像処理部３００は、３枚の画像を合成しているが、合成枚数は３枚に限定されず、４枚以上の画像を合成してもよい。４枚以上を合成する場合には、後段合成比率演算部４１０および後段合成部４４０と同様の構成の回路やプログラムが枚数に応じて追加される。
【０１３３】
図２５は、本技術の第２の実施の形態における前段合成比率演算部４２０の一構成例を示すブロック図である。この前段合成比率演算部４２０は、前段変化判定部４２１、前段エッジ検出部４２２、前段合成比率生成部４２３および前段低周波数成分合成部４２７を備える。前段合成比率生成部４２３は、前段合成比率算出部４２４、前段合成比率変調部４２５および前段合成比率補正部４２６を備える。
【０１３４】
前段変化判定部４２１は、長時間露光低周波数成分と中時間露光低周波数成分に基づいて、長時間露光画像と中時間露光画像との間の明るさの変化の有無をラインごとに判定するものである。この前段変化判定部４２１は、判定結果を前段合成比率変調部４２５に供給する。なお、前段変化判定部４２１は、特許請求の範囲に記載の前段判定部の一例である。
【０１３５】
前段エッジ検出部４２２は、中時間露光画像および中時間露光低周波数成分に基づいて、中時間露光画像においてラインに沿ったエッジの有無を検出するものである。この前段エッジ検出部４２２は、検出結果を前段合成比率補正部４２６に供給する。なお、前段エッジ検出部４２２は、特許請求の範囲に記載の前段検出部の一例である。
【０１３６】
前段合成比率算出部４２４は、長時間露光低周波数成分における画素ごとに、その画素の明るさに応じた合成比率を算出するものである。この前段合成比率算出部４２４は、算出した合成比率を前段合成比率変調部４２５に出力する。
【０１３７】
前段合成比率変調部４２５は、明るさの変化の判定結果に基づいて画素ごとに合成比率を変調するものである。この前段合成比率変調部４２５は、変調後の合成比率を前段合成比率補正部４２６に供給する。
【０１３８】
前段合成比率補正部４２６は、エッジの検出結果に基づいて画素ごとに合成比率を補正するものである。この前段合成比率補正部４２６は、補正後の合成比率を前段合成比率Ｒａとして前段低周波数成分合成部４２７および前段合成部４３０に供給する。
【０１３９】
前段低周波数成分合成部４２７は、前段合成比率Ｒａにより中時間露光低周波数成分および長時間露光低周波数成分を合成して前段合成画像低周波数成分として後段合成比率演算部４１０に供給するものである。
【０１４０】
図２６は、本技術の第２の実施の形態における後段合成比率演算部４１０の一構成例を示すブロック図である。この後段合成比率演算部４１０は、後段変化判定部４１１、後段エッジ検出部４１２および後段合成比率生成部４１３を備える。後段合成比率生成部４１３は、後段合成比率算出部４１４、後段合成比率変調部４１５および後段合成比率補正部４１６を備える。
【０１４１】
後段変化判定部４１１は、短時間露光低周波数成分および前段合成画像低周波数成分に基づいて、短時間露光画像と前段合成画像との間の明るさの変化の有無を画素ごとに判定するものである。この後段変化判定部４１１は、判定結果を後段合成比率変調部４１５に供給する。なお、後段変化判定部４１１は、特許請求の範囲に記載の後段判定部の一例である。
【０１４２】
後段エッジ検出部４１２は、短時間露光画像と短時間露光低周波数成分に基づいて、短時間露光画像においてラインに沿ったエッジの有無を検出するものである。この後段エッジ検出部４１２は、検出結果を後段合成比率補正部４１６に供給する。なお、後段エッジ検出部４１２は、特許請求の範囲に記載の後段検出部の一例である。
【０１４３】
後段合成比率算出部４１４は、前段合成画像低周波数成分における画素ごとに、その画素の明るさに応じた合成比率を算出するものである。この後段合成比率算出部４１４は、算出した合成比率を後段合成比率変調部４１５に出力する。
【０１４４】
後段合成比率変調部４１５は、明るさの変化の判定結果に基づいて画素ごとに合成比率を変調するものである。この後段合成比率変調部４１５は、変調後の合成比率を後段合成比率補正部４１６に供給する。
【０１４５】
後段合成比率補正部４１６は、エッジの検出結果に基づいて画素ごとに合成比率を補正するものである。この後段合成比率補正部４１６は、補正後の合成比率を後段合成比率Ｒｂとして後段合成部４４０に供給する。
【０１４６】
このように、本技術の第２の実施の形態では、露光期間の異なる３枚の画像を合成するため、２枚を合成する場合と比較してＨＤＲ合成画像の画質を向上させることができる。
【０１４７】
＜３．移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【０１４８】
図２７は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【０１４９】
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２７に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークI/F(interface)１２０５３が図示されている。
【０１５０】
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【０１５１】
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０１５２】
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【０１５３】
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【０１５４】
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【０１５５】
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
【０１５６】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０１５７】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【０１５８】
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２７の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【０１５９】
図２８は、撮像部１２０３１の設置位置の例を示す図である。
【０１６０】
図２８では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
【０１６１】
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【０１６２】
なお、図２８には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
【０１６３】
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【０１６４】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、0km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０１６５】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【０１６６】
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
【０１６７】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、撮像部１２０３１に適用され得る。具体的には、図２の固体撮像素子２００は、図２７の撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、より見やすい撮影画像を得ることができるため、ドライバの疲労を軽減することが可能になる。
【０１６８】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１６９】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
【０１７０】
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
【０１７１】
なお、本技術は以下のような構成もとることができる。
（１）時系列順に撮像された複数の画像のいずれかである検出対象画像の露光期間内における光源の点滅の有無を検出して検出結果を出力する検出部と、
前記検出結果に基づいて前記光源の点滅がある場合には前記検出対象画像の割合が前記検出対象画像に該当しない他の画像よりも低い合成比率を生成する合成比率生成部と、
前記合成比率により前記複数の画像を合成する合成部と
を具備する画像処理装置。
（２）前記複数の画像の間の明るさの変化の有無を判定して判定結果を出力する判定部をさらに具備し、
前記合成比率生成部は、前記判定結果と前記検出結果とに基づいて前記合成比率を生成する前記（１）記載の画像処理装置。
（３）前記合成比率生成部は、
所定の合成比率を算出する合成比率算出部と、
前記判定結果に基づいて前記算出された合成比率を変調する合成比率変調部と、
前記検出結果に基づいて前記光源の点滅のある場合には前記検出対象画像の割合を前記他の画像よりも低くする補正を前記変調された合成比率に対して行う合成比率補正部と
を備え、
前記合成部は、前記補正が行われた前記合成比率により前記複数の画像を合成する
前記（２）記載の画像処理装置。
（４）前記複数の画像のそれぞれにおいて、所定周波数より低い低周波数成分を通過させるローパスフィルタをさらに具備し、
前記判定部は、前記低周波数成分に基づいて前記変化の有無を判定する
前記（３）記載の画像処理装置。
（５）前記合成比率補正部は、減算器により前記合成比率を補正する
前記（３）または（４）に記載の画像処理装置。
（６）前記合成比率補正部は、乗算器により前記合成比率を補正する
前記（３）または（４）に記載の画像処理装置。
（７）前記複数の画像のそれぞれは、露光開始のタイミングが互いに異なる所定数のラインを含み、
前記検出部は、前記ラインに沿ったエッジの有無を前記光源の点滅の有無として検出する前記（１）から（６）のいずれかに記載の画像処理装置。
（８）前記検出部は、所定周波数より高い高周波数成分を通過させるハイパスフィルタを用いて前記エッジの有無を検出する前記（７）記載の画像処理装置。
（９）前記複数の画像は、第１画像、第２画像および第３画像を含み、
前記検出部は、
前記第２画像の露光期間内における前記光源の点滅の有無を検出して検出結果を前段検出結果として出力する前段検出部と、
前記第３画像の露光期間内における前記光源の点滅の有無を検出して検出結果を後段検出結果として出力する後段検出部と
を備え、
前記合成比率生成部は、
前記前段検出結果に基づいて前記光源の点滅がある場合には前記第２画像の割合が前記第１画像よりも低い合成比率を前記前段合成比率として生成する前段合成比率生成部と、
前記後段検出結果に基づいて前記光源の点滅がある場合には前記第３画像の割合が前記第１画像および前記第２画像を合成した前段合成画像よりも低い合成比率を前記後段合成比率として生成する後段合成比率生成部と
を備え、
前記合成部は、
前段合成比率により前記第１画像および前記第２画像を合成して前記前段合成画像を出力する前段合成部と、
後段合成比率により前記前段合成画像および前記第３画像を合成する後段合成部と
を備える前記（１）から（８）のいずれかに記載の画像処理装置。
（１０）前記第１画像と前記第２画像との間の明るさの変化の有無を判定して判定結果を前段判定結果として出力する前段判定部と、
前記前段合成画像と前記第３画像との間の明るさの変化の有無を判定して判定結果を後段判定結果として出力する後段判定部と
をさらに具備し、
前記前段合成比率生成部は、前記前段判定結果と前記前段検出結果とに基づいて前記前段合成比率を生成し、
前記後段合成比率生成部は、前記後段判定結果と前記後段検出結果とに基づいて前記後段合成比率を生成する前記（９）記載の画像処理装置。
（１１）前記複数の画像のそれぞれの露光時間は、互いに異なる
前記（１）から（１０）のいずれかに記載の画像処理装置。
（１２）時系列順に撮像された複数の画像を順に撮像する撮像部と
前記複数の画像のいずれかである検出対象画像の露光期間内における光源の点滅の有無を検出して検出結果を出力する検出部と、
前記検出結果に基づいて前記複数の画像のうち前記光源の点滅のある画像の割合が前記光源の点滅の無い画像よりも低い合成比率を生成する合成比率生成部と、
前記合成比率により前記複数の画像を合成する合成部と
を具備する撮像装置。
（１３）時系列順に撮像された複数の画像のいずれかである検出対象画像の露光期間内における光源の点滅の有無を検出して検出結果を出力する検出手順と、
前記検出結果に基づいて前記光源の点滅がある場合には前記検出対象画像の割合が前記検出対象画像に該当しない他の画像よりも低い合成比率を生成する合成比率生成手順と、
前記合成比率により前記複数の画像を合成する合成手順と
を具備する画像処理方法。
（１４）時系列順に撮像された複数の画像のいずれかである検出対象画像の露光期間内における光源の点滅の有無を検出して検出結果を出力する検出手順と、
前記検出結果に基づいて前記光源の点滅がある場合には前記検出対象画像の割合が前記検出対象画像に該当しない他の画像よりも低い合成比率を生成する合成比率生成手順と、
前記合成比率により前記複数の画像を合成する合成手順と
をコンピュータに実行させるためのプログラム。
【符号の説明】
【０１７２】
１００  撮像装置
１１０  光学部
１２０  ＤＳＰ回路
１３０  表示部
１４０  操作部
１５０  バス
１６０  電源部
１７０  記録部
１８０  フレームメモリ
２００  固体撮像素子
２０５  撮像部
２１０  走査回路
２２０  画素アレイ部
２３０  タイミング制御部
２４０  カラム信号処理部
２５０、２６０  バッファ
３００  画像処理部
３１１、３１２、３１３  ローパスフィルタ
３２０  変化判定部
３２１、３２５、３２７、３７２  乗算器
３２２、３３１、３７１  減算器
３２３  信号レベル比較部
３２４  絶対値演算部
３２６  閾値判定部
３３０、３３５  エッジ検出部
３３２  エッジ指数演算部
３３６  ハイパスフィルタ
３４０  合成比率生成部
３５０  合成比率算出部
３６０  合成比率変調部
３７０  合成比率補正部
３８０  合成部
４１０  後段合成比率演算部
４１１  後段変化判定部
４１２  後段エッジ検出部
４１３  後段合成比率生成部
４１４  後段合成比率算出部
４１５  後段合成比率変調部
４１６  後段合成比率補正部
４２０  前段合成比率演算部
４２１  前段変化判定部
４２２  前段エッジ検出部
４２３  前段合成比率生成部
４２４  前段合成比率算出部
４２５  前段合成比率変調部
４２６  前段合成比率補正部
４２７  前段低周波数成分合成部
４３０  前段合成部
４４０  後段合成部
１２０３１  撮像部
【図１】
2019004203.tif 000003
【図２】
2019004203.tif 000004
【図３】
2019004203.tif 000005
【図４】
2019004203.tif 000006
【図５】
2019004203.tif 000007
【図６】
2019004203.tif 000008
【図７】
2019004203.tif 000009
【図８】
2019004203.tif 000010
【図９】
2019004203.tif 000011
【図１０】
2019004203.tif 000012
【図１１】
2019004203.tif 000013
【図１２】
2019004203.tif 000014
【図１３】
2019004203.tif 000015
【図１４】
2019004203.tif 000016
【図１５】
2019004203.tif 000017
【図１６】
2019004203.tif 000018
【図１７】
2019004203.tif 000019
【図１８】
2019004203.tif 000020
【図１９】
2019004203.tif 000021
【図２０】
2019004203.tif 000022
【図２１】
2019004203.tif 000023
【図２２】
2019004203.tif 000024
【図２３】
2019004203.tif 000025
【図２４】
2019004203.tif 000026
【図２５】
2019004203.tif 000027
【図２６】
2019004203.tif 000028
【図２７】
2019004203.tif 000029
【図２８】
2019004203.tif 000030