(57)【要約】  本技術は、点滅する撮影対象を、確実に撮影することができるようにする撮影装置、撮影方法、信号処理装置、信号処理方法、及び、プログラムに関する。所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、撮影部の撮影タイミングが制御される。本技術は、例えば、画像を撮影するカメラユニット等に適用することができる。
2016167137.tif 000002
【特許請求の範囲】
【請求項１】
所定の撮影タイミングで撮影を行う撮影部と、
前記撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する制御部と
を備える撮影装置。
【請求項２】
前記撮影対象の点滅周期をTb[秒]と、前記撮影対象が点滅周期に点灯する点灯デューティ比をDb[%]と、少なくとも１回の撮影の露光時間が前記点灯期間の少なくとも一部に重複するための下限露光時間を、SHT_MIN[秒]と、それぞれ表すとき、
前記制御部は、式SHT_MIN=Tb/N-TbDb/100に従って求められる下限露光時間SHT_MINを超える露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する
請求項１に記載の撮影装置。
【請求項３】
前記制御部は、１又は複数フレームごとに、異なる点滅周期を対象として、前記撮影タイミングを制御する
請求項１に記載の撮影装置。
【請求項４】
第１の撮影対象の点滅周期が、第２の撮影対象の点滅周期の2のべき乗倍の周期であるとき、
前記制御部は、前記第１の撮影対象の点滅周期を対象として、前記撮影タイミングを制御する
請求項１に記載の撮影装置。
【請求項５】
前記N回の撮影により得られるN枚の撮影画像を処理し、１フレームの出力画像を生成する処理部をさらに備える
請求項１に記載の撮影装置。
【請求項６】
前記処理部は、前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値を、前記出力画像の画素値として求める
請求項５に記載の撮影装置。
【請求項７】
前記処理部は、前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値の平均値を、前記出力画像の画素値として求める
請求項５に記載の撮影装置。
【請求項８】
前記処理部は、
前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値が飽和しているとき、前記最大値を、前記出力画像の画素値として求め、
前記N枚の撮影画像の対応画素の画素値のいずれも飽和していないとき、前記N枚の撮影画像の対応画素の画素値の平均値を、前記出力画像の画素値として求める
請求項５に記載の撮影装置。
【請求項９】
前記処理部は、
前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値に対応する値を、前記最大値と、前記N枚の撮影画像の対応画素の画素値の平均値とをブレンドするブレンド率として求め、
前記ブレンド率に従って、前記最大値と前記平均値とをブレンドしたブレンド値を、前記出力画像の画素値として求める
請求項５に記載の撮影装置。
【請求項１０】
前記処理部は、
前記出力画像の画素の動き量に対応する値を、
前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値、又は、前記対応画素の画素値の平均値と、
前記N枚の撮影画像のうちの所定の１枚の撮影画像である生成用画像の対応画素の画素値と
をブレンドするブレンド率として求め、
前記ブレンド率に従って、前記最大値、又は、前記平均値と、前記生成用画像の対応画素の画素値とをブレンドしたブレンド値を、前記出力画像の画素値として求める
請求項５に記載の撮影装置。
【請求項１１】
前記処理部は、
前記出力画像の画素の位置に応じて、
前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値、又は、前記対応画素の画素値の平均値と、
前記N枚の撮影画像のうちの所定の１枚の撮影画像である生成用画像の対応画素の画素値と
をブレンドするブレンド率を求め、
前記ブレンド率に従って、前記最大値、又は、前記平均値と、前記生成用画像の対応画素の画素値とをブレンドしたブレンド値を、前記出力画像の画素値として求める
請求項５に記載の撮影装置。
【請求項１２】
前記撮影装置が、移動体に搭載されているとき、
前記処理部は、
前記移動体の速度、前記移動体のハンドルの切れ角、及び、前記出力画像の画素の位置のうちの1以上に応じて、
前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値、又は、前記対応画素の画素値の平均値と、
前記N枚の撮影画像のうちの所定の１枚の撮影画像である生成用画像の対応画素の画素値と
をブレンドするブレンド率を求め、
前記ブレンド率に従って、前記最大値、又は、前記平均値と、前記生成用画像の対応画素の画素値とをブレンドしたブレンド値を、前記出力画像の画素値として求める
請求項５に記載の撮影装置。
【請求項１３】
前記撮影装置が、移動体に搭載されているとき、
前記処理部は、
前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値と、
前記移動体の速度、前記移動体のハンドルの切れ角、及び、前記出力画像の画素の位置のうちの1以上と
に応じて、前記最大値、前記対応画素の画素値の平均値、及び、前記N枚の撮影画像のうちの所定の１枚の撮影画像である生成用画像の対応画素の画素値をブレンドしたブレンド値を、前記出力画像の画素値として求める
請求項５に記載の撮影装置。
【請求項１４】
前記処理部は、
撮影状況に応じて、
前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値と、
前記対応画素の画素値の平均値と
をブレンドするブレンド率を求め、
前記ブレンド率に従って、前記最大値と前記平均値とをブレンドしたブレンド値を、前記出力画像の画素値として求める
請求項５に記載の撮影装置。
【請求項１５】
前記処理部は、
前記出力画像の画素の位置に応じて、
前記ブレンド値、
又は、前記N枚の撮影画像のうちの所定の１枚の撮影画像である生成用画像の対応画素の画素値
を、前記出力画像の画素値として求める
請求項１４に記載の撮影装置。
【請求項１６】
所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する
ことを含む撮影方法。
【請求項１７】
所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する制御部
として、コンピュータを機能させるためのプログラム。
【請求項１８】
所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する
ことで行われる前記N回の撮影により得られるN枚の撮影画像を処理し、１フレームの出力画像を生成する処理部
を備える信号処理装置。
【請求項１９】
所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する
ことで行われる前記N回の撮影により得られるN枚の撮影画像を処理し、１フレームの出力画像を生成する
ことを含む信号処理方法。
【請求項２０】
所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する
ことで行われる前記N回の撮影により得られるN枚の撮影画像を処理し、１フレームの出力画像を生成する処理部
として、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、撮影装置、撮影方法、信号処理装置、信号処理方法、及び、プログラムに関し、特に、例えば、点滅する撮影対象を確実に撮影することができるようにする撮影装置、撮影方法、信号処理装置、信号処理方法、及び、プログラムに関する。
【背景技術】
【０００２】
近年、信号機や、電子的な道路標識の光源が、白熱電球等からLED(Light Emitting Diode)に置き換わりつつある。【０００３】
LEDは、白熱電球に比較して、明滅の応答速度が高速であるため、例えば、自動車等に搭載される車載カメラ等で、LEDの信号機や道路標識を撮影すると、フリッカが発生し、信号機や道路標識が消灯した状態で撮影される。【０００４】
車載カメラで撮影される撮影画像において、信号機や道路標識が消灯した状態で映ることは、車載カメラが、例えば、ドライブレコーダとして利用されている場合に、事故発生時において、撮影画像の証拠能力に支障をきたす原因になる。【０００５】
また、車載カメラで撮影される撮影画像において、信号機や道路標識が消灯した状態で映ることは、車載カメラで撮影される撮影画像が、例えば、自動車の自動運転に利用されている場合に、自動車の停止等の運転制御に支障をきたす原因になる。【０００６】
そこで、信号機等の、点滅する点滅光源を有する物体を、撮影対象とする場合には、点滅光源が消灯している消灯期間を上回る露光時間で撮影する方法が提案されている（例えば、特許文献１を参照）。【０００７】
また、車載カメラが撮影を行って出力する出力画像のフレームレートを上回るフレームレートで、出力画像のフレームレートの期間に、複数回の撮影を行い、その複数の撮影により得られる複数の撮影画像の中から１枚の撮影画像を、出力画像として、ランダムに選択する方法が提案されている（例えば、特許文献２を参照）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開2007-161189号公報
【特許文献２】特開2009-278496号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
点滅光源が消灯している消灯期間を上回る露光時間で撮影する場合には、晴天時の屋外等の照度の高い撮影状況下において、露光過多になり、点滅光源の視認性が低下することがある。【００１０】
また、出力画像のフレームレートを上回るフレームレートでの複数の撮影により得られる複数の撮影画像の中から１枚の撮影画像を、出力画像として、ランダムに選択する場合には、消灯している点滅光源が映っている撮影画像が、出力画像として選択されることがある。【００１１】
本技術は、このような状況に鑑みてなされたものであり、点滅する撮影対象を確実に撮影することができるようにするものである。
【課題を解決するための手段】
【００１２】
本技術の撮影装置、又は、プログラムは、所定の撮影タイミングで撮影を行う撮影部と、前記撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する制御部とを備える撮影装置、又は、そのような撮影装置が備える制御部として、コンピュータを機能させるためのプログラムである。【００１３】
本技術の撮影方法は、所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御することを含む撮影方法である。【００１４】
以上のような撮影装置、撮影方法、及び、プログラムにおいては、所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングが制御される。【００１５】
本技術の信号処理装置、又は、プログラムは、所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御することで行われる前記N回の撮影により得られるN枚の撮影画像を処理し、１フレームの出力画像を生成する処理部を備える信号処理装置、又は、そのような信号処理装置として、コンピュータを機能させるためのプログラムである。【００１６】
本技術の信号処理方法は、所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御することで行われる前記N回の撮影により得られるN枚の撮影画像を処理し、１フレームの出力画像を生成することを含む信号処理方法である。【００１７】
本技術の信号処理装置、信号処理方法、及び、プログラムは、所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御することで行われる前記N回の撮影により得られるN枚の撮影画像が処理され、１フレームの出力画像が生成される。【００１８】
なお、撮影装置や信号処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。【００１９】
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００２０】
本技術によれば、点滅する撮影対象を確実に撮影することができる。【００２１】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２２】
【図１】本技術を適用した撮影装置としてのカメラユニットの一実施の形態の構成例を示すブロック図である。
【図２】撮影を行おうとする撮影対象が点滅する場合の、その撮影対象の撮影の例を説明する図である。
【図３】信号機が消灯している消灯期間を上回る露光時間での通常モードでの撮影を説明する図である。
【図４】高速モードでの撮影を説明する図である。
【図５】新高速モードでの撮影を説明する図である。
【図６】新高速モードにおいて、カメラユニットの立ち上げ時に行われる立ち上げ処理の例を説明するフローチャートである。
【図７】新高速モードにおいて、出力画像のフレームごとに行われるフレームごとの処理の例を説明するフローチャートである。
【図８】N枚の撮影画像から、１枚の出力画像を生成する生成処理の第１の例を説明するフローチャートである。
【図９】N枚の撮影画像から、１枚の出力画像を生成する生成処理の第２の例を説明するフローチャートである。
【図１０】市販の車載カメラで撮影した出力画像、通常モードで撮影した出力画像、及び、新高速モードで撮影した出力画像の例を模式的に示す図である。
【図１１】市販の車載カメラで撮影した出力画像、通常モードで撮影した出力画像、及び、新高速モードで撮影した出力画像の例を模式的に示す図である。
【図１２】市販の車載カメラで撮影した出力画像、通常モードで撮影した出力画像、及び、新高速モードで撮影した出力画像の例を模式的に示す図である。
【図１３】新高速モードの第１の応用例を説明する図である。
【図１４】新高速モードの第２の応用例を説明する図である。
【図１５】新高速モードの第２の応用例を説明する図である。
【図１６】信号処理部４が行う出力画像を生成する生成処理の、フリッカの対策への応用を説明する図である。
【図１７】偽色が発生した出力画像の例を示す図である。
【図１８】N枚の撮影画像から、１枚の出力画像を生成する生成処理の第３の例を説明するフローチャートである。
【図１９】画素値がなだらかに変化する２枚の撮影画像と、その２枚の撮影画像を用いて生成される出力画像との画素値の例を示す図である。
【図２０】最大値maxと平均値aveとをブレンドするブレンド率a1の例を示す図である。
【図２１】N枚の撮影画像から、１枚の出力画像を生成する生成処理の第４の例を説明するフローチャートである。
【図２２】生成処理で生成された出力画像の例を示す図である。
【図２３】出力画像に生じる動きぶれを説明する図である。
【図２４】出力画像（又は撮影画像）に映る被写体の動き量に対応する値をブレンド率a2として求める場合の、そのブレンド率a2の例を示す図である。
【図２５】出力画像の注目画素の位置に応じて、平均値aveと、生成用画像の対応画素の画素値とをブレンドする場合の、そのブレンドに用いるブレンド率a2の例を示す図である。
【図２６】N枚の撮影画像から、１枚の出力画像を生成する生成処理の第５の例を説明するフローチャートである。
【図２７】生成処理で生成された出力画像の例を示す図である。
【図２８】N枚の撮影画像から、１枚の出力画像を生成する生成処理の第６の例を行う生成装置の構成例を示すブロック図である。
【図２９】市販の車載カメラで撮影した出力画像、通常モードで撮影した出力画像、及び、新高速モードで撮影した出力画像の例を模式的に示す図である。
【図３０】市販の車載カメラで撮影した出力画像、通常モードで撮影した出力画像、及び、新高速モードで撮影した出力画像の例を模式的に示す図である。
【図３１】日中、及び、夜間の撮影で得られた市販カメラ出力画像、通常モード出力画像、平均値aveの出力画像、及び、最大値maxの出力画像の視認性の評価の例を示す図である。
【図３２】N枚の撮影画像から、１枚の出力画像を生成する生成処理の第７の例を説明するフローチャートである。
【図３３】N枚の撮影画像から、１枚の出力画像を生成する生成処理の第８の例を説明する図である。
【図３４】カメラユニットを使用する使用例を示す図である。
【図３５】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００２３】
＜本技術を適用したカメラユニットの一実施の形態＞
【００２４】
図１は、本技術を適用した撮影装置としてのカメラユニットの一実施の形態の構成例を示すブロック図である。
【００２５】
なお、カメラユニットは、静止画、及び、動画のいずれも撮像することができる。
【００２６】
図１において、カメラユニットは、光学系１、イメージセンサ２、メモリ３、信号処理部４、出力部５、及び、タイミング制御部６を有する。
【００２７】
光学系１は、例えば、図示せぬズームレンズや、フォーカスレンズ、絞り等を有し、外部からの光を、イメージセンサ２に入射させて結像させる。
【００２８】
イメージセンサ２は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサであり、光学系１からの入射光を受光し、光電変換を行うことにより、光学系１からの入射光に対応する撮影画像（の画像データ）を撮影する。
【００２９】
すなわち、イメージセンサ２は、タイミング制御部６から指定される撮影タイミングで撮影を行う撮影部として機能し、後述する出力部５が出力する出力画像のフレームレートの期間に、複数であるN回の撮影を行い、そのN回の撮影により得られるN枚の撮影画像を、順次出力する。
【００３０】
メモリ３は、イメージセンサ２が順次出力するN枚の撮影画像を順次記憶し、そのN枚の撮影画像を、同時に、信号処理部４に供給する。
【００３１】
信号処理部４は、メモリ３からのN枚の撮影画像を処理し、１フレーム（枚）の出力画像を生成する。さらに、信号処理部４は、出力画像に対して、例えば、ノイズの除去や、WB（ホワイトバランス）の調整等の処理を行い、出力部５に供給する。
【００３２】
また、信号処理部４は、メモリ３からのN枚の撮影画像の明るさを検出（検波）し、撮影画像の明るさが適正な明るさになる露光時間を、適正露光時間として、タイミング制御部６に供給する。
【００３３】
出力部５は、信号処理部４からの出力画像を出力する。
【００３４】
すなわち、出力部５は、例えば、液晶等で構成されるディスプレイ（図示せず）を有し、信号処理部４からの出力画像を、いわゆるスルー画として表示する。
【００３５】
また、出力部５は、例えば、半導体メモリや、磁気ディスク、光ディスク等の記録媒体を駆動するドライバ（図示せず）を有し、信号処理部４からの出力画像を記録媒体に記録する。
【００３６】
タイミング制御部６は、イメージセンサ２の撮影タイミングを制御する。
【００３７】
すなわち、タイミング制御部６は、イメージセンサ２で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで撮影を行うように、イメージセンサ２の撮影タイミングを制御する。
【００３８】
さらに、タイミング制御部６は、N回の撮影のうちの、少なくとも１回の撮影の露光時間に、撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で撮影を行うように、イメージセンサ２の撮影タイミングを制御する。
【００３９】
なお、タイミング制御部６は、信号処理部４から供給される適正露光時間が、後述する下限露光時間SHT_MINより長い場合には、その信号処理部４から供給される適正露光時間で撮影を行うように、イメージセンサ２の撮影タイミングを制御する。
【００４０】
また、タイミング制御部６は、信号処理部４から供給される適正露光時間が、下限露光時間SHT_MIN以下である場合には、下限露光時間SHT_MINより大きい露光時間の中で、イメージセンサ２が対応することができる最小の露光時間で撮影を行うように、イメージセンサ２の撮影タイミングを制御する。
【００４１】
以上のように構成されるディジタルカメラでは、イメージセンサ２が、タイミング制御部６の制御に従い、N枚の撮影画像を撮影して出力する。
【００４２】
イメージセンサ２が出力するN枚の撮影画像は、メモリ３に供給されて記憶される。信号処理部４は、メモリ３に記憶されたN枚の撮影画像を処理して、１フレームの出力画像を生成する。さらに、信号処理部４は、出力画像に、WBの調整等の必要な信号処理を施し、出力部５に供給する。出力部５では、信号処理部４からの出力画像が出力される。
【００４３】
図１のカメラユニットは、例えば、ディジタルカメラや、自動車等に搭載される車載カメラ、高速道路等に設置される監視カメラ等の撮影機能が搭載される任意の電子機器に適用することができる。
【００４４】
ここで、図１のカメラユニットの撮影モードとしては、例えば、通常モードや、高速モード、新高速モードがある。
【００４５】
通常モードでは、出力画像のフレームレートの期間に、１回の撮影が行われ、その撮影の結果得られる撮影画像が、出力画像として出力される。
【００４６】
高速モードでは、出力画像のフレームレートの期間に、複数回の撮影が行われ、その複数回の撮影の結果得られる複数枚の撮影画像のうちの１枚の撮影画像が、出力画像として、ランダムに選択される。
【００４７】
新高速モードでは、上述のように、イメージセンサ２で撮影を行おうとする撮影対象が点滅する点滅周期を、N等分するタイミングで、少なくとも１回の撮影の露光時間に、撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影が行われる。
【００４８】
＜点滅する撮影対象の撮影の例＞
【００４９】
図２は、撮影を行おうとする撮影対象が点滅する場合の、その撮影対象の撮影の例を説明する図である。
【００５０】
すなわち、図２は、点滅する撮影対象としてのLEDの信号機を、通常モードで撮影することにより得られる出力画像の例を示している。
【００５１】
図２では、青になっている信号機が、撮影対象として撮影されている。
【００５２】
図２において、第１フレーム(Frame1)、及び、第２フレームの出力画像では、青（左端）が点灯している信号機が映っているが、第３フレーム、及び、第４フレームの出力画像では、消灯している状態の信号機が映っている。
【００５３】
以上のように、信号機が消灯した状態で映ることは、カメラユニットが、例えば、ドライブレコーダに利用されている場合に、出力画像の証拠能力に支障をきたす原因になる。
【００５４】
また、信号機が消灯した状態で映ることは、カメラユニットで得られる出力画像が、例えば、自動車の自動運転に利用されている場合に、自動車の停止等の運転制御に支障をきたす原因になる。
【００５５】
＜信号機が消灯している消灯期間を上回る露光時間での、通常モードでの撮影＞
【００５６】
図３は、信号機が消灯している消灯期間を上回る露光時間での、通常モードでの撮影を説明する図である。
【００５７】
図３において、横軸は時間を表し、縦軸は信号機を構成するLEDの発光（量）を表す。
【００５８】
図３では、点滅する撮影対象としての信号機の電源として、例えば、周波数が50Hzの交流電源を全波整流した、周波数が100Hzの電源が用いられている。
【００５９】
そのため、信号機は、100Hzに対応する10ms（ミリ秒）の周期（点滅周期）で点滅する。
【００６０】
図３では、信号機の10msの点滅周期において、信号機が点灯する点灯デューティ(Duty)比が、例えば、60%になっている。
【００６１】
したがって、信号機の10msの点滅周期のうちの、6ms(=100ms×60%/100)の期間が、信号機が点灯する点灯期間であり、残りの4msの期間が、信号機が消灯する消灯期間である。
【００６２】
通常モードにおいて、消灯期間内でのみ撮影が行われると、その撮影により得られる撮影画像、ひいては、出力画像には、図２に示したように、信号機が消灯した状態で映る。
【００６３】
以上のように、通常モードにおいて、信号機が消灯した状態で映ることを防止する方法としては、信号機が消灯している消灯期間を上回る露光時間で撮影する方法がある。
【００６４】
図３では、消灯時間が4msであるので、通常モードにおいて、消灯期間である4msを上回る露光時間で撮影を行うことにより、露光時間の少なくとも一部が、点灯期間に重なるので、必ず、点灯した状態の信号機を撮影することができる。
【００６５】
しかしながら、カメラユニットが、車載カメラ等のように、光学系１のF値を固定して使用される場合には、常時、消灯期間を上回る露光時間で撮影を行うと、晴天時の屋外等の照度の高い撮影状況下において、露光過多になり、点滅光源の視認性が低下することがある。
【００６６】
例えば、あるイメージセンサでは、F値が2.0のレンズを用いた場合に、1msの露光時間で、撮影画像（出力画像）に映る信号機が飽和した状態になる（イメージセンサ２が出力する撮影画像の画素値が、とり得る値の最大レベル（飽和レベル）になる）。
【００６７】
＜高速モードでの撮影＞
【００６８】
図４は、高速モードでの撮影を説明する図である。
【００６９】
図４では、図３と同様に、横軸は時間を表し、縦軸は信号機を構成するLEDの発光を表す。
【００７０】
また、図４では、図３と同様に、点滅する撮影対象としての信号機の電源として、周波数が100Hzの電源が用いられており、点滅周期が、10msになっている。さらに、図４では、図３と同様に、点灯デューティ比が、60%になっており、信号機の10msの点滅周期のうちの、6msの期間が、信号機が点灯する点灯期間に、残りの4msの期間が、信号機が消灯する消灯期間に、それぞれなっている。
【００７１】
図４では、高速モードの撮影として、出力画像のフレームレート（例えば、30Hzや60Hz等）を上回るフレームレートで、出力画像のフレームレートの期間に、複数回としての、例えば、３回の撮影が行われている。
【００７２】
そして、３回の撮影により得られる３枚の撮影画像S0，S1，S2の中から１枚の撮影画像が、出力画像として、ランダムに選択される。
【００７３】
しかしながら、３枚の撮影画像S0ないしS2の中から、１枚の撮影画像を、出力画像として、ランダムに選択する場合には、消灯している信号機が映っている撮影画像が、出力画像として選択されることが、確率的にあり得る。
【００７４】
カメラユニットから出力される出力画像を、高速走行する自動車の自動運転の制御に用いる場合には、出力画像に映る信号機が、必ず点灯していることが要求される。したがって、消灯している信号機が映っている撮影画像が、出力画像として選択されることが、確率的にあり得ることは、望ましくない。
【００７５】
また、高速モードでは、3枚の撮影画像S0ないしS2に映る信号機が、いずれも消灯していることがあり得る。
【００７６】
＜新高速モードでの撮影＞
【００７７】
図５は、新高速モードでの撮影を説明する図である。
【００７８】
図５では、図３と同様に、横軸は時間を表し、縦軸は信号機を構成するLEDの発光を表す。
【００７９】
図５では、全波整流後の電源の周期、ひいては、点滅する撮影対象としての信号機の点滅周期が、Tb[秒]になっている。また、信号機の点灯デューティ比は、Db[%]になっている。
【００８０】
この場合、信号機の点灯期間は、Tb×Db/100で表され、消灯期間は、Tb×(1-Db/100)で表される。
【００８１】
新高速モードでは、図１で説明したように、イメージセンサ２で撮影を行おうとする信号機等の撮影対象が点滅する点滅周期Tbを、N等分するタイミングで、少なくとも１回の撮影の露光時間に、信号機が点灯している点灯期間Tb×Db/100の少なくとも一部が重複する露光時間で、N回の撮影が行われる。
【００８２】
いま、N回の撮影として、例えば、3回の撮影を行うこととすると、新高速モードでは、点滅周期Tbを3等分するタイミングで、3回の撮影が行われる。
【００８３】
ここで、3回の撮影のうちの、少なくとも１回の撮影の露光時間に、信号機が点灯している点灯期間Tb×Db/100の少なくとも一部が重複する露光時間を、Tcと表すとともに、信号機の点滅周期Tbの先頭の時刻を0とする。
【００８４】
この場合、3回の撮影により得られる３枚の撮影画像S0，S1，S2の露光（撮影）開始時刻は、それぞれ、0，Tb/3，2Tb/3で、それぞれ表される。
【００８５】
また、３枚の撮影画像S0，S1，S2の露光（撮影）終了時刻は、それぞれ、0+Tc，Tb/3+Tc，2Tb/3+Tcで、それぞれ表される。
【００８６】
ここで、新高速モードにおいて、少なくとも１回の撮影の露光時間Tcが点灯期間Tb×Db/100の少なくとも一部に重複するための下限露光時間を、SHT_MIN[秒]と表すこととすると、下限露光時間SHT_MINは、式SHT_MIN=Tb/N-TbDb/100で表される。
【００８７】
Nが3である場合、下限露光時間SHT_MINは、式SHT_MIN=Tb/3-TbDb/100で表される。
【００８８】
新高速モードの露光時間Tcとしては、下限露光時間SHT_MINを超える時間が採用される。
【００８９】
なお、式SHT_MIN=Tb/N-TbDb/100で求められるSHT_MINが負の値である場合には、下限露光時間SHT_MINとしては、0が採用される。
【００９０】
下限露光時間SHT_MINが0である場合には、新高速モードの露光時間Tcとしては、カメラユニットが露光時間としてとり得る任意の（正の）値を採用することができる。
【００９１】
例えば、点灯時間Tbが10msであり、点灯デューティ比が60%である場合、式SHT_MIN=Tb/3-TbDb/100=10ms/3-10ms×60%/100は、負の値になるので、下限露光時間SHT_MINは、0になる。
【００９２】
したがって、露光時間Tcは、カメラユニットの限界まで小さくすることができる。
【００９３】
また、例えば、点灯時間Tbが10msであり、点灯デューティ比が20%である場合、式SHT_MIN=Tb/3-TbDb/100=10ms/3-10ms×20%/100は、1.33...になる。
【００９４】
したがって、露光時間Tcとしては、下限露光時間SHT_MINである1.33...を超える時間であって、カメラユニットが対応することができる最小の露光時間以上の時間を設定することができる。
【００９５】
新高速モードで撮影されるN枚の撮影画像、すなわち、撮影対象としての信号機が点滅する点滅周期Tbを、N等分するタイミングで、少なくとも１回の撮影の露光時間Tcに、信号機が点灯している点灯期間Tb×Db/100の少なくとも一部が重複する露光時間Tcで、N回の撮影が行われることにより得られるN枚の撮影画像については、少なくとも1枚の撮影画像の露光時間Tcが、点灯期間Tb×Db/100の少なくとも一部に重複する。
【００９６】
したがって、新高速モードで撮影されるN枚の撮影画像のうちの、少なくとも1枚の撮影画像には、点灯している信号機が、必ず映っている。
【００９７】
その結果、新高速モードによれば、点滅する信号機等の撮影対象を確実に撮影することができる。
【００９８】
さらに、新高速モードでは、下限露光時間SHT_MINを超える時間であれば、任意の時間を、露光時間Tcとして設定することができるので、撮影画像に映る被写体が飽和したり、暗すぎるようにならないような適正な露光で、撮影を行うことができる。
【００９９】
ここで、新高速モードにおいて、N枚の撮影を行う場合、点滅周期Tbの先頭の時刻を0とすると、N枚の撮影により得られるN枚の撮影画像の露光開始時刻と、露光終了時刻とは、下限露光時間SHT_MINを超える露光時間を、Tcとして、以下のように表される。
【０１００】
すなわち、撮影画像の露光開始時刻と、露光終了時刻とのセットを、(露光開始時刻，露光終了時刻)と表すこととすると、
n=1枚目の撮影画像の(露光開始時刻，露光終了時刻)は、(0，0+Tc)、
n=2枚目の撮影画像の(露光開始時刻，露光終了時刻)は、(Tb/N，Tb/N+Tc)、
n=3枚目の撮影画像の(露光開始時刻，露光終了時刻)は、(2Tb/N，2Tb/N+Tc)、
...
n=k枚目の撮影画像の(露光開始時刻，露光終了時刻)は、((k-1)×Tb/N，(k-1)×Tb/N+Tc)、
...
n=N枚目の撮影画像の(露光開始時刻，露光終了時刻)は、((N-1)×Tb/N，(N-1)×Tb/N+Tc)
で表される。
【０１０１】
＜新高速モードの処理＞
【０１０２】
図６は、新高速モードにおいて、カメラユニットの立ち上げ時に行われる立ち上げ処理の例を説明するフローチャートである。
【０１０３】
ステップＳ１１において、タイミング制御部６は、カメラユニットで撮影しようとする撮影対象の点滅周期Tb[秒]と、点灯デューティ比Db[%]とを設定し、処理は、ステップＳ１２に進む。
【０１０４】
ここで、点滅周期Tbや点灯デューティ比Db[%]は、例えば、デフォルトの値や、ユーザの操作に応じた値等を設定することができる。撮影対象が信号機等である場合には、国や地域等に応じて、点滅周期Tb[秒]と、点灯デューティ比Db[%]とを設定することができる。
【０１０５】
ステップＳ１２では、タイミング制御部６は、点灯周期Tbにおいて、N回の等間隔撮影（点滅周期Tbを、N等分するタイミングでのN回の撮影）を行ったときに、少なくとも1回の撮影の露光時間Tcが、撮影対象の点灯期間Tb×Db/100と重複するための下限露光時間SHT_MINを、図５で説明したように求める。
【０１０６】
なお、撮影の回数Nは、例えば、あらかじめ設定しておくことや、ユーザの操作に応じて設定すること等ができる。
【０１０７】
その後、処理は、ステップＳ１２からステップＳ１３に進み、タイミング制御部６は、新高速モードにおいて、撮影対象の点滅周期TbをN等分するタイミングを、N回の等間隔撮影の開始タイミング（露光開始時刻）SHT_STA0，SHT_STA1，...，SHT_STA#N-1として求め、立ち上げ処理を終了する。
【０１０８】
図７は、新高速モードにおいて、出力画像のフレームごとに行われるフレームごとの処理の例を説明するフローチャートである。
【０１０９】
ステップＳ２１において、タイミング制御部６は、図６の立ち上げ処理で求められた下限露光時間SHT_MINを超える時間を、指定露光時間Tcとして設定し、イメージセンサ２に、撮影を行う露光時間として、指定露光時間Tcを指定して、処理は、ステップＳ２２に進む。
【０１１０】
ステップＳ２２では、タイミング制御部６は、図６の立ち上げ処理で求められた開始タイミングSHT_STA0，SHT_STA1，...，SHT_STA#N-1それぞれを露光開始時刻として、指定露光時間Tcだけ露光を行う、N回の等間隔撮影を行うように、イメージセンサ２の撮影タイミングを制御する。
【０１１１】
これにより、ステップＳ２２では、イメージセンサ２において、指定露光時間TcでのN回の等間隔撮影が行われ、その結果得られるN枚の撮影画像が、メモリ３を介して、信号処理部４に供給される。
【０１１２】
イメージセンサ２から、メモリ３を介して、信号処理部４に、N枚の撮影画像が供給されると、処理は、ステップＳ２２からステップＳ２３に進む。
【０１１３】
ステップＳ２３では、信号処理部４は、メモリ３を介して供給されるN枚の撮影画像の明るさを検出（検波）し、処理は、ステップＳ２４に進む。
【０１１４】
ステップＳ２４では、信号処理部４は、ステップＳ２３でのN枚の撮影画像の明るさの検出の結果に基づき、現在の指定露光時間Tcが、適正な露光時間（適正露光時間）であるかどうかを判定する。
【０１１５】
ステップＳ２４において、現在の指定露光時間Tcが、適正露光時間であると判定された場合、すなわち、N枚の撮影画像が、全体として、明るすぎることもなく、暗すぎることもない場合、処理は、ステップＳ２５に進む。
【０１１６】
ステップＳ２５では、信号処理部４は、指定露光時間Tcとして、現在の露光時間を、タイミング制御部６に供給する。タイミング制御部６は、イメージセンサ２に対し、露光時間として、信号処理部４からの指定露光時間Tcを指定する。
【０１１７】
一方、ステップＳ２４において、現在の指定露光時間Tcが、適正露光時間でないと判定された場合、すなわち、N枚の撮影画像が、全体として、明るすぎるか、又は、暗すぎる場合、処理は、ステップＳ２６に進む。
【０１１８】
ステップＳ２６では、信号処理部４は、ステップＳ２３でのN枚の撮影画像の明るさの検出の結果に基づき、適正露光時間を求め、タイミング制御部６に供給する。タイミング制御部６は、信号処理部４からの適正露光時間が、下限露光時間SHT_MINを超える時間であれば、その適正露光時間を、指定露光時間Tcとして、イメージセンサ２に指定する。
【０１１９】
ここで、信号処理部４からの適正露光時間が、下限露光時間SHT_MINを超えない時間である場合には、タイミング制御部６は、下限露光時間SHT_MINより大きい露光時間の中で、イメージセンサ２が対応することができる最小の露光時間を、指定露光時間Tcとして、イメージセンサ２に指定する。
【０１２０】
ステップＳ２５又はＳ２６の処理後は、ステップＳ２２に戻り、ステップＳ２２では、ステップＳ２５又はＳ２６で指定された指定露光時間TcでのN回の等間隔撮影が行われ、以下、同様の処理が繰り返される。
【０１２１】
＜出力画像の生成処理＞
【０１２２】
図８は、N枚の撮影画像から、１枚（フレーム）の出力画像を生成する生成処理の第１の例を説明するフローチャートである。
【０１２３】
信号処理部４は、N回の撮影で得られるN枚の撮影画像を処理し、１枚の出力画像を生成する生成処理を行う。
【０１２４】
図８は、信号処理部４が行う生成処理の第１の例を示している。
【０１２５】
生成処理の第１の例では、ステップＳ４１において、信号処理部４は、（これから生成しようとする）出力画像の、例えば、ラスタスキャン順で、まだ、注目画素に選択していない、順番が最も手前の１つの画素を、注目画素に選択し、処理は、ステップＳ４２に進む。
【０１２６】
ステップＳ４２では、信号処理部４は、N枚の撮影画像それぞれの、注目画素に対応する対応画素（注目画素と同一位置にある画素）の画素値のうちの最大値maxを、注目画素の画素値として求め、処理は、ステップＳ４３に進む。
【０１２７】
ステップＳ４３では、信号処理部４は、出力画像のすべての画素を、注目画素に選択したかどうかを判定する。
【０１２８】
ステップＳ４３において、出力画像のすべての画素を、まだ、注目画素に選択していないと判定された場合、処理は、ステップＳ４１に戻り、以下、同様の処理が繰り返される。
【０１２９】
また、ステップＳ４３において、出力画像のすべての画素を、注目画素に選択したと判定された場合、１枚の出力画像を生成する生成処理は、終了する。
【０１３０】
N枚の撮影画像の対応画素のうちの、画素値が最大値maxの対応画素には、点灯している撮影対象が映っており、上述のように、N枚の撮影画像の対応画素の画素値のうちの最大値maxを、出力画像の画素値として求める場合には、点灯している撮影対象が映っている出力画像を生成することができる。
【０１３１】
なお、図８のように、N枚の撮影画像の対応画素の画素値のうちの最大値maxを、出力画像の画素値として求める場合には、出力画像において、撮影画像にフリッカとして現れる、短周期の輝度の揺れを低減することができる。
【０１３２】
図９は、N枚の撮影画像から、１枚（フレーム）の出力画像を生成する生成処理の第２の例を説明するフローチャートである。
【０１３３】
生成処理の第２の例では、ステップＳ５１において、信号処理部４は、図８のステップＳ４１と同様に、出力画像の１つの画素を、注目画素に選択し、処理は、ステップＳ５２に進む。
【０１３４】
ステップＳ５２では、信号処理部４は、N枚の撮影画像それぞれの、注目画素に対応する対応画素の画素値の平均値aveを、注目画素の画素値として求め、処理は、ステップＳ５３に進む。ここで、N枚の撮影画像の対応画素の画素値の平均値aveとしては、対応画素の画素値の単純平均や、重み付け平均を採用することができる。重み付け平均では、例えば、N枚の撮影画像の対応画素の画素値のうちの最大値maxに、大きな重みを付すことができる。
【０１３５】
ステップＳ５３では、信号処理部４は、出力画像のすべての画素を、注目画素に選択したかどうかを判定する。
【０１３６】
ステップＳ５３において、出力画像のすべての画素を、まだ、注目画素に選択していないと判定された場合、処理は、ステップＳ５１に戻り、以下、同様の処理が繰り返される。
【０１３７】
また、ステップＳ５３において、出力画像のすべての画素を、注目画素に選択したと判定された場合、１枚の出力画像を生成する生成処理は、終了する。
【０１３８】
新高速モードで撮影されるN枚の撮影画像については、少なくとも、そのうちの１枚の撮影画像に、点灯している撮影対象が映っている。したがって、上述のように、N枚の撮影画像の対応画素の画素値の平均値aveを、出力画像の画素値として求める場合には、点灯している撮影対象が映っている出力画像を生成することができる。
【０１３９】
なお、図９のように、N枚の撮影画像の対応画素の画素値の平均値aveを、出力画像の画素値として求める場合には、ランダムノイズを低減した出力画像を得ることができる。
【０１４０】
＜出力画像の例＞
【０１４１】
図１０、図１１、及び、図１２は、市販の車載カメラで撮影した出力画像、通常モードで撮影した出力画像、及び、新高速モードで撮影した出力画像の例を模式的に示す図である。
【０１４２】
すなわち、図１０ないし図１２は、異なるフレームの出力画像を示している。
【０１４３】
また、図１０ないし図１２のＡは、市販の車載カメラで撮影した撮影画像を、そのまま出力画像とした場合の、その出力画像を示している。
【０１４４】
図１０ないし図１２のＢは、通常モードで撮影した撮影画像を、そのまま出力画像とした場合の、その出力画像を示している。
【０１４５】
図１０ないし図１２のＣは、新高速モードで撮影した３枚の撮影画像の対応画素の画素値の平均値aveを、出力画像の画素値とした場合の、その出力画像を示している。
【０１４６】
図１０ないし図１２のＤは、新高速モードで撮影した３枚の撮影画像の対応画素の画素値のうちの最大値maxを、出力画像の画素値とした場合の、その出力画像を示している。
【０１４７】
図１０に示したフレームでは、市販の車載カメラで撮影した出力画像、通常モードで撮影した出力画像、及び、新高速モードで撮影した出力画像のいずれにも、青（左端）が点灯した状態の信号機が映っている。
【０１４８】
しかしながら、図１１及び図１２に示したフレームでは、新高速モードで撮影した出力画像に映る信号機は点灯しているが、市販の車載カメラで撮影した出力画像、及び、通常モードで撮影した出力画像に映る信号機は、いずれも、消灯している。
【０１４９】
なお、本件発明者によれば、日中に信号機を撮影した場合には、（３枚の撮影画像の対応画素の画素値のうちの）最大値maxを画素値とした出力画像の方が、平均値aveを画素値とした出力画像よりも、信号機の視認性が良いことが確認された。
【０１５０】
＜新高速モードの応用例＞
【０１５１】
図１３は、新高速モードの第１の応用例を説明する図である。
【０１５２】
新高速モードでは、タイミング制御部６は、イメージセンサ２の撮影タイミングを制御することにより、出力画像の各フレームにおいて、撮影対象の点滅周期Tbを、１つの周期に固定し、その１つの点滅周期Tbを対象として、N回の等間隔撮影を行わせることができる。
【０１５３】
また、新高速モードでは、タイミング制御部６は、イメージセンサ２の撮影タイミングを制御することにより、出力画像の１又は複数フレームごとに、異なる点滅周期Tbを対象として、N回の等間隔撮影を行わせることができる。
【０１５４】
図１３は、新高速モードにおいて、出力画像の１フレームごとに、異なる点滅周期Tbを対象として、N回の等間隔撮影を行う例を示している。
【０１５５】
図１３では、等間隔撮影の回数Nを３回として、出力画像の第１フレームにおいて、点滅周期Tb=1/100秒を、第２フレームにおいて、点滅周期Tb=1/200秒を、第３フレームにおいて、点滅周期Tb=1/400秒を、それぞれ対象として、等間隔撮影が行われている。
【０１５６】
そして、出力画像の第４フレーム以降では、点滅周期Tbを、1/100秒、1/200秒、及び、1/400秒とする等間隔撮影が順次繰り返し行われる。
【０１５７】
３回の等間隔撮影では、点滅周期Tb=1/100秒の場合には、３枚の撮影画像は、10/3ms（約3.3ms）間隔で撮影される。また、点滅周期Tb=1/200秒の場合には、３枚の撮影画像は、5/3ms（約1.67ms）間隔で撮影され、点滅周期Tb=1/400秒の場合には、３枚の撮影画像は、2.5/3ms（約0.8ms）間隔で撮影される。
【０１５８】
以上のように、出力画像の１フレームごとに、異なる点滅周期Tbを対象として、N回の等間隔撮影を行う場合には、異なる点滅周期Tbで点滅する、異なる撮影対象を、点灯した状態で撮影することができる。
【０１５９】
図１４及び図１５は、新高速モードの第２の応用例を説明する図である。
【０１６０】
図１４は、新高速モードにおいて、点滅周期がTbで点滅する撮影対象を、３回の等間隔撮影で撮影する様子を示している。
【０１６１】
図１４では、点滅周期Tbを３等分するタイミングで、３回の撮影が行われ、３枚の撮影画像S0，S1，S2が得られている。
【０１６２】
３枚の撮影画像S0ないしS2を撮影するタイミング（撮影の開始タイミング）は、点滅周期Tbによって一意に決まる。
【０１６３】
そのため、異なる点滅周期Tbを対象として、N回の等間隔撮影を行う場合には、基本的に、図１３で説明したように、出力画像の１又は複数フレームごとに、異なる点滅周期Tbを対象として、N回の等間隔撮影を行う必要がある。
【０１６４】
但し、異なる点滅周期Tbが、特定の関係にある場合には、出力画像の１フレームにおいて、異なる点滅周期Tbを対象とするN回の等間隔撮影を、同時に行うことができる。
【０１６５】
図１５は、出力画像の１フレームにおいて、特定の関係にある、異なる点滅周期Tbを対象とするN回の等間隔撮影を、同時に行う様子を示している。
【０１６６】
ある撮影対象（第１の撮影対象）の点滅周期Tb_Aが、他の撮影対象（第２の撮影対象）の点滅周期Tb_Bの2のべき乗倍の周期である場合、点滅周期Tb_Aを対象として、N回の等間隔撮影を行うことにより、出力画像の１フレームにおいて、点滅周期Tb_A及びTb_Bの両方を対象とするN回の等間隔撮影を行うことができる。
【０１６７】
すなわち、図１５では、３つの異なる点滅周期Tb1，Tb2，Tb3として、500Hzに対応する周期である2ms、250Hzに対応する周期である4ms、125Hzに対応する周期である8msが、それぞれ図示されている。
【０１６８】
また、図１５では、等間隔撮影の回数Nを３回として、点滅周期Tb1=2ms(500Hz)を対象とする３回の等間隔撮影で得られる３枚の撮影画像が、S0(500)，S1(500)，S2(500)で、それぞれ示されている。
【０１６９】
同様に、図１５では、点滅周期Tb2=4ms(250Hz)を対象とする３回の等間隔撮影で得られる３枚の撮影画像が、S0(250)，S1(250)，S2(250)で、それぞれ示され、点滅周期Tb3=8ms(125Hz)を対象とする３回の等間隔撮影で得られる３枚の撮影画像が、S0(125)，S1(125)，S2(125)で、それぞれ示されている。
【０１７０】
点滅周期Tb3=8msは、点滅周期Tb1=2ms、及び、Tb2=4msいずれに対しても、2のべき乗倍の周期になっている。
【０１７１】
この場合、点滅周期Tb3=8msを対象として、３枚の撮影画像S0(125)，S1(125)，S2(125)のうちのいずれかが撮影されるタイミングは、点滅周期Tb1=2msを対象として、３枚の撮影画像S0(500)，S1(500)，S2(500)のうちのいずれかが撮影されるタイミングと一致する。
【０１７２】
すなわち、図１５に示すように、点滅周期Tb3=8msの１周期は、点滅周期Tb1=2msの４周期に対応し、点滅周期Tb3=8msの１周期目の１枚目の撮影画像S0(125)が撮影されるタイミングは、点滅周期Tb1=2msの１周期目の１枚目の撮影画像S0(500)が撮影されるタイミングに一致する。さらに、点滅周期Tb3=8msの１周期目の２枚目の撮影画像S1(125)が撮影されるタイミングは、点滅周期Tb1=2msの２周期目の２枚目の撮影画像S1(500)が撮影されるタイミングに一致する。また、点滅周期Tb3=8msの１周期目の３枚目の撮影画像S2(125)が撮影されるタイミングは、点滅周期Tb1=2msの３周期目の３枚目の撮影画像S2(500)が撮影されるタイミングに一致する。
【０１７３】
したがって、点滅周期Tb3=8msを対象として、３枚の撮影画像S0(125)，S1(125)，S2(125)を撮影する場合には、その３枚の撮影画像S0(125)，S1(125)，S2(125)は、点滅周期Tb1=2msを対象とする３枚の撮影画像S0(500)，S1(500)，S2(500)として、それぞれ使用することができる。
【０１７４】
同様に、点滅周期Tb3=8msを対象として、３枚の撮影画像S0(125)，S1(125)，S2(125)のうちのいずれかが撮影されるタイミングは、点滅周期Tb2=4msを対象として、３枚の撮影画像S0(250)，S1(250)，S2(250)のうちのいずれかが撮影されるタイミングと一致する。
【０１７５】
すなわち、図１５に示すように、点滅周期Tb3=8msの１周期は、点滅周期Tb2=4msの２周期に対応し、点滅周期Tb3=8msの１周期目の１枚目の撮影画像S0(125)が撮影されるタイミングは、点滅周期Tb2=4msの１周期目の１枚目の撮影画像S0(250)が撮影されるタイミングに一致する。さらに、点滅周期Tb3=8msの１周期目の２枚目の撮影画像S1(125)が撮影されるタイミングは、点滅周期Tb2=4msの１周期目の３枚目の撮影画像S2(250)が撮影されるタイミングに一致する。また、点滅周期Tb3=8msの１周期目の３枚目の撮影画像S2(125)が撮影されるタイミングは、点滅周期Tb2=4msの２周期目の２枚目の撮影画像S1(250)が撮影されるタイミングに一致する。
【０１７６】
したがって、点滅周期Tb3=8msを対象として、３枚の撮影画像S0(125)，S1(125)，S2(125)を撮影する場合には、その３枚の撮影画像S0(125)，S1(125)，S2(125)は、点滅周期Tb2=4msを対象とする３枚の撮影画像S0(250)，S2(250)，S1(250)として、それぞれ使用することができる。
【０１７７】
以上から、ある点滅周期Tbを対象とする等間隔撮影を行う場合には、その点滅周期Tbの2M倍（Mは0以上の整数）の点滅周期2M×Tbであって、カメラモジュールが、N回の等間隔撮影を行うことができる最大の点滅周期2M'×Tbを対象に（M'は0以上の整数）、等間隔撮影を行うことにより、20×Tb，21×Tb，22×Tb，...，2M'×Tbの、M'個の点滅周期を対象とする等間隔撮影を、出力画像の１フレームにおいて同時に行うことができる。
【０１７８】
＜生成処理の、フリッカの対策への応用＞
【０１７９】
図１６は、信号処理部４が行う出力画像を生成する生成処理の、フリッカの対策への応用を説明する図である。
【０１８０】
すなわち、図１６は、点滅する撮影対象の発光量、並びに、その撮影対象を、通常モード及び新高速モードで撮影することにより得られる出力画像の輝度の時間変化を模式的に表している。
【０１８１】
通常モードでは、出力画像の１フレームの期間に、１枚の撮影画像が撮影され、その撮影画像が出力画像として出力される。したがって、通常モードで得られる出力画像の輝度は、点滅する撮影対象の発光量に従って変化する。この輝度の変化が、フリッカとして観察される。
【０１８２】
一方、新高速モードでは、出力画像の１フレームの期間に、N枚の撮影画像が等間隔撮影される。そして、生成処理において、N枚の撮影画像の対応画素の画素値のうちの最大値max、又は、平均値aveが、出力画像の画素値として求められる。
【０１８３】
N枚の撮影画像の対応画素の画素値のうちの最大値max、又は、平均値aveを画素値とする出力画像を、それぞれ、最大値maxの出力画像、又は、平均値aveの出力画像ともいうこととすると、最大値maxの出力画像や、平均値aveの出力画像では、図１５に示すように、通常モードで得られる出力画像よりも、輝度の変化が緩やかになる。
【０１８４】
すなわち、最大値maxの出力画像や、平均値aveの出力画像では、フリッカ（短周期の輝度の揺れ）が低減される。したがって、信号処理部４が行う出力画像の生成処理は、フリッカの低減に利用することができる。
【０１８５】
図１６では、最大値maxの出力画像と、平均値aveの出力画像とを比較した場合、最大値maxの出力画像の方が、フリッカがより低減されることを確認することができる。
【０１８６】
なお、新高速モードでは、撮影対象の点滅周期Tbを測定し、その測定した点滅周期Tbを対象として、N回の等間隔撮影を行うことができる。
【０１８７】
また、カメラユニットでは、新高速モードで撮影を行うフレームと、通常モードで撮影を行うフレームとを、１フレームや複数フレームごとに入れ替えることができる。この場合、出力画像の視認性を向上させることができる。
【０１８８】
さらに、カメラユニットでは、新高速モードと通常モードとの変更をシームレスに行うことができる。新高速モードと通常モードとの変更をシームレスに行う方法としては、例えば、新高速モードにおいて、等間隔撮影を行う回数Nを、徐々に増加又は減少させていく方法がある。
【０１８９】
また、新高速モードは、イメージセンサ２を構成する図示せぬ画素のうちの全部に適用することもできるし、一部の画素にだけ適用することもできる。例えば、イメージセンサ２を構成する画素のうちの中央部の画素については、新高速モードを適用し、周辺部の画素については、通常モードを適用することができる。
【０１９０】
さらに、新高速モードにおいて、撮影対象としては、LEDの信号機や道路標識、その他の、一定の周波数（周期）で点滅する物体を採用することができる。
【０１９１】
＜出力画像の生成処理の他の例＞
【０１９２】
図１７は、偽色が発生した出力画像の例を示す図である。
【０１９３】
出力画像の生成処理において、平均値aveの出力画像、すなわち、N枚の撮影画像の対応画素の画素値の平均値aveを画素値とする出力画像を生成する場合には、その出力画像に、動体（動く物体）が映っているときに、その動体の動きぶれの部分に、偽色が発生することがある。
【０１９４】
すなわち、平均値aveの出力画像の生成に用いられるN枚の撮影画像の対応画素のいずれかが飽和している場合、信号処理部４において、平均値aveの出力画像に、WBの調整のためのWBゲインがかけられると、その平均値aveの出力画像に映る動体の動きぶれの部分に、偽色が発生する。
【０１９５】
例えば、いま、撮影画像の画素値としてのR(Red)，G(Green)，B(Blue)の値を(R, G, B)と、WBゲインを(Gr, Gg, Gb)と、WBゲインがかけられた後の画素値を(R', G', B')と、それぞれ表すこととする。
【０１９６】
WBゲインがかけられた後の画素値(R', G', B')は、次式で表される。
【０１９７】
R'=MIN(MM, R×Gr)
G'=MIN(MM, G×Gg)
B'=MIN(MM, B×Gb)
【０１９８】
ここで、MIN(A, B)は、A及びBのうちの小さい方を表す。
【０１９９】
撮影画像の画素値(R, G, B)が飽和している場合、すなわち、画素値(R, G, B)が、飽和状態の白としての(MM, MM, MM)である場合（MMは、画素値がとり得る最大値）、その画素値(R, G, B)=(MM, MM, MM)に、WBゲイン(Gr, Gg, Gb)をかけて得られる画素値(R', G', B')は、(MM, MM, MM)のままになる。
【０２００】
一方、撮影画像の画素値(R, G, B)が、黒としての(0, 0, 0)である場合、その画素値(R, G, B)=(0, 0, 0)に、WBゲイン(Gr, Gg, Gb)をかけて得られる画素値(R', G', B')は、(0, 0, 0)のままになる。
【０２０１】
したがって、ある撮影画像の対応画素の画素値(R, G, B)が、(MM, MM, MM)であり、他の撮影画像の対応画素の画素値(R, G, B)が、(0, 0, 0)である場合に、出力画像の注目画素の画素値である平均値aveは、(MM/2, MM/2, MM/2)になる。
【０２０２】
さらに、出力画像の注目画素の画素値(MM/2, MM/2, MM/2)に、WBゲイン(Gr, Gg, Gb)をかけて得られる画素値(R', G', B')は、(Gr, Gg, Gb)×MM/2になる。
【０２０３】
したがって、例えば、WBゲイン(Gr, Gg, Gb)に、式Gg＜Gr≒Gb（但し、Gg＜2）で表される関係があるとすると、飽和状態の白としての画素値(R, G, B)=(MM, MM, MM)と、黒としての画素値(R, G, B)=(0, 0, 0)との平均値ave(=(MM/2, MM/2, MM/2))に、WBゲイン(Gr, Gg, Gb)をかけて得られる画素値(R', G', B')=(Gr×MM/2,Gg×MM/2,Gb×MM/2)は、撮影画像に存在しない紫になる。
【０２０４】
すなわち、平均値aveの出力画像に、紫の偽色が発生する。
【０２０５】
図１７は、３枚の撮影画像の対応画素の画素値の平均値aveを画素値とする出力画像の例を示しており、図中、斜線を付してある部分に、紫の偽色が発生している。
【０２０６】
すなわち、３枚の撮影画像には、動体として、右から左方向に移動している白い自動車が映っている。さらに、３枚の撮影画像のうちの１枚目の対応画素の画素値(R, G, B)は、黒としての(0, 0, 0)になっているが、２枚目の対応画素の画素値(R, G, B)は、飽和状態の白としての(MM, MM, MM)になっている。
【０２０７】
以上のような対応画素の画素値を単純に平均し、その結果得られる平均値aveに、WBゲインをかけると、図１７に斜線を付して示すように、偽色が発生する。
【０２０８】
なお、ここでは、画素値が、R，G，Bの３値を有することとしたが、イメージセンサ２が、例えば、ベイヤ配列等のイメージセンサであり、画素値が、R，G，Bのうちのいずれか１色だけのRAWデータである場合も、同様に、偽色が発生する。
【０２０９】
飽和状態の対応画素は、WBゲインをかける前の段階で、WBが崩れており、そのようなWBが崩れている飽和状態の対応画素の画素値と、WBが崩れていない（飽和状態ではない）対応画素の画素値との平均をとると、その平均により得られる平均値aveのWBは変化する。
【０２１０】
このように、平均値aveのWBが変化することが、偽色が発生する原因である。
【０２１１】
以上のような偽色を抑制する方法としては、例えば、生成処理において、対応画素が飽和状態である場合に、その対応画素の画素値を用いた平均値aveに代えて、N枚の撮影画像の対応画素の画素値のうちの最大値maxを、出力画像の（注目画素）の画素値として採用する方法がある。
【０２１２】
図１８は、N枚の撮影画像から、１枚（フレーム）の出力画像を生成する生成処理の第３の例を説明するフローチャートである。
【０２１３】
すなわち、図１８は、対応画素が飽和状態でない場合に、平均値aveを、出力画像の画素値として採用し、対応画素が飽和状態である場合に、最大値maxを、出力画像の画素値として採用する生成処理の例を説明するフローチャートである。
【０２１４】
生成処理の第３の例では、ステップＳ６１において、信号処理部４は、図８のステップＳ４１と同様に、出力画像の１つの画素を、注目画素に選択し、処理は、ステップＳ６２に進む。
【０２１５】
ステップＳ６２では、信号処理部４は、N枚の撮影画像それぞれの、注目画素に対応する対応画素の画素値のうちの最大値maxと平均値aveとを求め、処理は、ステップＳ６３に進む。
【０２１６】
ステップＳ６３では、信号処理部４は、N枚の撮影画像の対応画素の中に、飽和状態になっている飽和画素があるかどうかを判定する。
【０２１７】
ステップＳ６３において、N枚の撮影画像の対応画素の中に、飽和画素がないと判定された場合、すなわち、N枚の撮影画像の対応画素のうちの最大値maxの対応画素が、飽和していない場合、処理は、ステップＳ６４に進む。
【０２１８】
ステップＳ６４では、信号処理部４は、ステップＳ６２で求めた平均値aveを、注目画素の画素値として選択し、処理は、ステップＳ６６に進む。
【０２１９】
また、ステップＳ６３において、N枚の撮影画像の対応画素の中に、飽和画素があると判定された場合、すなわち、N枚の撮影画像の対応画素のうちの最大値maxの対応画素が、飽和している場合、処理は、ステップＳ６５に進む。
【０２２０】
ステップＳ６５では、信号処理部４は、ステップＳ６２で求めた最大値max（飽和画素の画素値）を、注目画素の画素値として選択し、処理は、ステップＳ６６に進む。
【０２２１】
ステップＳ６６では、信号処理部４は、出力画像のすべての画素を、注目画素に選択したかどうかを判定する。
【０２２２】
ステップＳ６６において、出力画像のすべての画素を、まだ、注目画素に選択していないと判定された場合、処理は、ステップＳ６１に戻り、以下、同様の処理が繰り返される。
【０２２３】
また、ステップＳ６６において、出力画像のすべての画素を、注目画素に選択したと判定された場合、１枚の出力画像を生成する生成処理は、終了する。
【０２２４】
以上のように、N枚の撮影画像の対応画素の画素値のうちの最大値maxが飽和しているとき、その最大値maxを、出力画像の注目画素の画素値として求め、N枚の撮影画像の対応画素の画素値のいずれも飽和していないとき、N枚の撮影画像の対応画素の画素値の平均値aveを、出力画像の注目画素の画素値として求めることにより、図１７で説明したような偽色が、出力画像に生じることを抑制することができる。
【０２２５】
ところで、図１８の生成処理の第３の例では、撮影画像の対応画素が飽和画素であるかどうかによって、出力画像の画素値として、撮影画像の対応画素の平均値ave、又は、最大値maxが選択される。
【０２２６】
この場合、出力画像において、画素値が、なだらかに変化している部分に、段差が、突然生じることがある。
【０２２７】
図１９は、画素値がなだらかに変化する２枚の撮影画像と、その２枚の撮影画像を用いて生成される出力画像との画素値の変化の例を示す図である。
【０２２８】
なお、図１９において、横軸は画素の位置（例えば、水平方向の位置）を表し、縦軸は、撮影画像及び出力画像の画素値を表す。
【０２２９】
図１９に示すように、２枚の撮影画像の画素値は、左から右の位置に向かって、ランプ信号のように、なだらかに上昇し、画素値の飽和レベル（飽和状態）に到達している。
【０２３０】
但し、２枚の撮影画像の画素値は、位相がずれている。すなわち、２枚の撮影画像のうちの一方の撮影画像の画素値は、他方の撮影画像の画素値を、水平方向にシフトした画素値になっている。
【０２３１】
この場合、生成処理の第３の例（図１８）では、２枚の撮影画像の対応画素の画素値のうちのいずれかが、飽和レベルに到達するまでは、その２枚の撮影画像の対応画素の画素値の平均値aveが、出力画像の画素値として求められる。
【０２３２】
２枚の撮影画像の画素値は、左から右の位置に向かって、なだらかに上昇しているので、その２枚の撮影画像の画素値の平均値aveも、左から右の位置に向かって、なだらかに上昇する。
【０２３３】
２枚の撮影画像の画素値は、位相がずれた状態で、左から右の位置に向かって、なだらかに上昇するので、その２枚の撮影画像のうちの一方の画素値が、先に、飽和レベルに到達する。
【０２３４】
２枚の撮影画像のうちの一方の画素値が、先に、飽和レベルに到達すると、その飽和レベルの画素値が、出力画像の画素値として求められる。
【０２３５】
したがって、出力画像の水平方向の画素については、左から右に向かって、２枚の撮影画像の画素値の平均値aveが、出力画像の画素値として求められるが、２枚の撮影画像のうちの一方の画素値が飽和レベルになると、その飽和レベルになった画素値の画素の位置からは、飽和レベルが、出力画像の画素値として求められる。
【０２３６】
その結果、飽和レベルになった画素の位置において、出力画像の画素値が、突然、飽和レベルに上昇し、段差が生じる。そして、この段差によって、出力画像の画質が劣化する。
【０２３７】
以上のような画素値の段差が生じることによる出力画像の画質の劣化を防止する方法としては、例えば、生成処理において、所定のブレンド率a1に従って(0=<a1<=1)、最大値maxと平均値aveとをブレンドし、そのブレンドにより得られるブレンド値を、出力画像の画素値として求める方法がある。
【０２３８】
図２０は、最大値maxと平均値aveとをブレンドするブレンド率a1の例を示す図である。
【０２３９】
ブレンド率a1としては、例えば、N枚の撮影画像の対応画素の画素値のうちの最大値maxに対応する値を採用することができる。
【０２４０】
図２０では、最大値maxが、最大値maxの閾値SAT_TH以下である場合には、値SAT_OFS(>=0)が、ブレンド率a1として採用される。
【０２４１】
また、図２０では、最大値maxが、閾値SAT_THより大である場合には、最大値maxに比例する値SAT_SLOPE(>SAT_OFS)が、ブレンド率a1として採用される。
【０２４２】
そして、最大値maxに比例する値SAT_SLOPEが、ブレンド率a1の閾値SAT_LIMIT（但し、SAT_OFS<SAT_LIMIT=<1）以上である場合には、閾値SAT_LIMITが、ブレンド率a1として採用される。
【０２４３】
図２１は、N枚の撮影画像から、１枚（フレーム）の出力画像を生成する生成処理の第４の例を説明するフローチャートである。
【０２４４】
すなわち、図２１は、ブレンド率a1に従って、最大値maxと平均値aveとをブレンドすることにより得られるブレンド値を、出力画像の画素値として求める生成処理の例を説明するフローチャートである。
【０２４５】
生成処理の第４の例では、信号処理部４は、ステップＳ７１及びＳ７２において、図１８のステップＳ６１及びＳ６２とそれぞれ同様の処理を行う。これにより、出力画像の注目画素が選択されるとともに、その注目画素に対応する対応画素の画素値のうちの最大値maxと平均値aveとが求められ、処理は、ステップＳ７２からステップＳ７３に進む。
【０２４６】
ステップＳ７３では、信号処理部４は、図２０で説明したように、最大値maxに応じた値を、ブレンド率a1として求め、処理は、ステップＳ７４に進む。
【０２４７】
ステップＳ７４では、信号処理部４は、例えば、最大値maxと平均値aveとを、式bld1=max×a1+ave×(1-a1)に従ってブレンドし、その結果得られるブレンド値bld1を、注目画素の画素値として求め、処理は、ステップＳ７５に進む。
【０２４８】
ステップＳ７５では、信号処理部４は、出力画像のすべての画素を、注目画素に選択したかどうかを判定する。
【０２４９】
ステップＳ７５において、出力画像のすべての画素を、まだ、注目画素に選択していないと判定された場合、処理は、ステップＳ７１に戻り、以下、同様の処理が繰り返される。
【０２５０】
また、ステップＳ７５において、出力画像のすべての画素を、注目画素に選択したと判定された場合、１枚の出力画像を生成する生成処理は、終了する。
【０２５１】
以上のように、最大値maxに応じた値を、ブレンド率a1として求め、そのブレンド率a1に従って、最大値maxと平均値aveとをブレンドしたブレンド値bld1を、注目画素の画素値として求めることにより、最大値maxが小さい場合には、平均値aveに重みをおいた値が、注目画素の画素値として求められる。また、最大値maxが大きくなるにつれて、最大値maxに重みをおいた値が、注目画素の画素値として求められる。
【０２５２】
その結果、図１７で説明したような、偽色が出力画像に生じることを抑制することができるとともに、図１９で説明したような、画素値の段差が生じることによる出力画像の画質の劣化を防止することができる。
【０２５３】
なお、最大値maxが、飽和レベルである場合に、ブレンド率a1を1とするとともに、最大値maxが、飽和レベル未満である場合に、ブレンド率a1を0とすることにより、図２１の生成処理は、図１８の生成処理と等価になる。
【０２５４】
図２２は、図９の生成処理で生成された出力画像（平均値aveの出力画像）と、図１８又は図２１の生成処理で生成された出力画像との例を示す図である。
【０２５５】
図９の生成処理で生成された出力画像（平均値aveの出力画像）を、色付き対策機能なしの出力画像ともいうとともに、図１８又は図２１の生成処理で生成された出力画像を、色付き対策機能ありの出力画像ともいうこととする。
【０２５６】
色付き対策機能なしの出力画像では、図中、斜線を付して示すように、偽色が発生することがあるが、色付き対策機能ありの出力画像では、偽色の発生を抑制することができる。
【０２５７】
ここで、撮影画像が、画素値として、R，G，Bのうちのいずれか１色だけのRAWデータを有する画像であり、そのような撮影画像において、互いに近接する３つの画素Pr，Pg，Pbが、画素値として、R，G，Bを、それぞれ有することとする。
【０２５８】
いま、例えば、２枚の撮影画像のうちの１枚目の撮影画像の３つの画素Pr，Pg，Pbの画素値(R, G, B)が、(2000, 4000, 2000)で、２枚目の撮影画像の３つの画素Pr，Pg，Pbの画素値(R, G, B)が、(0, 0, 0)であるとする。また、例えば、WBゲイン(Gr, Gg, Gb)が、(2, 1, 2)であるとする。
【０２５９】
なお、飽和レベルは、4000であることとする。１枚目の撮影画像の画素Pgの画素値Gは4000であり、飽和している。
【０２６０】
１枚目の撮影画像の３つの画素Pr，Pg，Pbの画素値(R, G, B)=(2000, 4000, 2000)に、WBゲイン(Gr, Gg, Gb)=(2, 1, 2)をかけた結果(R', G', B')は、(4000, 4000, 4000)で、白（飽和状態）になる。
【０２６１】
２枚目の撮影画像の３つの画素Pr，Pg，Pbの画素値(R, G, B)=(0, 0, 0)に、WBゲイン(Gr, Gg, Gb)=(2, 1, 2)をかけた結果(R', G', B')は、(0, 0, 0)で、黒になる。
【０２６２】
したがって、出力画像の３つの画素Pr，Pg，Pbは、白、又は、黒になることが望ましい。
【０２６３】
しかしながら、撮影画像の対応画素だけに応じて、出力画像の画素値となる、撮影画像の対応画素の平均値ave、又は、最大値maxを選択する場合（図１８）や、ブレンド率a1を求める場合（図２１）には、出力画像に、感度の高い（WBゲインが低い）緑の色付きが生じることがある。
【０２６４】
すなわち、いま、説明を簡単にするため、撮影画像の対応画素だけに応じて、出力画像の画素値となる、撮影画像の対応画素の平均値ave、又は、最大値maxを選択することとする。
【０２６５】
画素Prについては、１枚目の撮影画像の画素値R=2000も、２枚目の撮影画像の画素値R=0も飽和していないので、出力画像の画素値としては、画素値R=2000と画素値R=0との平均値ave=1000が選択される。
【０２６６】
同様に、画素Pbについては、１枚目の撮影画像の画素値B=2000も、２枚目の撮影画像の画素値B=0も飽和していないので、出力画像の画素値としては、画素値B=2000と画素値B=0との平均値ave=1000が選択される。
【０２６７】
一方、画素Pgについては、１枚目の撮影画像の画素値G=4000、及び、２枚目の撮影画像の画素値G=0のうちの、１枚目の撮影画像の画素値G=4000が飽和しているので、出力画像の画素値としては、その飽和している画素値G=4000が選択される。
【０２６８】
したがって、出力画像の３つの画素Pr，Pg，Pbの画素値(R, G, B)は、(1000, 4000, 1000)になる。
【０２６９】
そして、この出力画像の画素値(R, G, B)=(1000, 4000, 1000)に、WBゲイン(Gr, Gg, Gb)=(2, 1, 2)をかけた結果(R', G', B')は、飽和レベル以上の値が飽和レベルである4000にクリップされることにより、(2000, 4000, 2000)で、緑になる。
【０２７０】
以上のような、出力画像に生じる、撮影画像にない緑の色付きは、例えば、撮影画像のある画素Pが、対応画素である場合に、撮影画像にLPF(Low Pass Filter)をかけることにより得られる、LPF後の画素Pの画素値を用いて、生成処理を行うことで抑制することができる。
【０２７１】
すなわち、LPF後の画素Pの画素値には、LPF前の画素Pの画素値の他、その画素Pの周辺の画素の画素値が反映されている。
【０２７２】
かかるLPF後の画素Pの画素値に応じて、図１８において、出力画像の画素値となる、撮影画像の対応画素の平均値ave、又は、最大値maxを選択すること、あるいは、図２１において、ブレンド率a1を求めることにより、出力画像に、撮影画像にない緑の色付きが生じることを抑制することができる。
【０２７３】
なお、画素PにLPFをかけるときに用いる画素値には、その画素Pを含む、画素Pの周辺の画素のR，G，Bの３色の画素値が含まれていることが望ましいが、画素Pと、その画素Pの水平方向に隣接する数個の画素との画素値を用いるだけでも、出力画像に生じる、撮影画像にない緑の色付きを、十分に抑制することができる。
【０２７４】
図２３は、出力画像に生じる動きぶれを説明する図である。
【０２７５】
図２３のＡは、新高速モードで撮影される撮影画像の例を示している。
【０２７６】
撮影画像に映る被写体が動いている場合、すなわち、例えば、カメラユニットが、車載カメラとして、自動車等の移動体に搭載されている場合、撮影画像に映る、動いている被写体には、動きぶれが生じる。
【０２７７】
例えば、自動車が直進している場合には、撮影画像の水平方向の中央部に映る被写体よりも、水平方向の周辺部（端部）に映る被写体の方の動きが速いため、図２３のＡに示すように、撮影画像の水平方向の中央部よりも周辺部において、大きな動きぶれが生じる。
【０２７８】
図２３のＢは、新高速モードで撮影される撮影画像の例を示している。
【０２７９】
例えば、自動車がカーブを走行している場合には、撮影画像の水平方向のカーブの方向にある被写体よりも、カーブの方向の反対方向にある被写体の方の動きが速いため、図２３のＢに示すように、撮影画像の水平方向のカーブの方向の部分よりも、カーブの方向と反対方向の部分において、大きな動きぶれが生じる。
【０２８０】
その他、撮影画像において、動きぶれは、例えば、自動車の速度が速いほど、大きくなる。
【０２８１】
N枚の撮影画像に動きぶれが生じている場合、そのような動きぶれが生じているN枚の撮影画像の画素値の平均値aveを、出力画像の画素値とすると、出力画像には、より程度の大きい動きぶれが生じる。
【０２８２】
また、N枚の撮影画像に動きぶれが生じている場合には、ある撮影画像に映っている被写体は、他の撮影画像において、ずれた位置に映っているため、そのようなN枚の撮影画像の画素値の平均値aveを、出力画像の画素値とすると、出力画像には、やはり、より程度の大きい動きぶれが生じる。
【０２８３】
一方、N枚の撮影画像に動きぶれが生じている場合に、そのN枚の撮影画像を用いて得られる出力画像の中では、N枚の撮影画像のうちの、ある１枚の撮影画像の画素値を、そのまま出力画像の画素値とした出力画像が、動きぶれの程度が最も小さい画像になる。
【０２８４】
そこで、出力画像に生じる動きぶれを抑制するために、出力画像の生成処理では、出力画像（ひいては、撮影画像）に映る被写体の動き量や、注目画素の位置、カメラユニットが搭載されている自動車の速度や、自動車がカーブを走行しているときの、そのカーブの方向や曲がり具合等に応じたブレンド率a2を求め(0=<a2<=1)、そのブレンド率a2に従って、平均値ave又は最大値maxと、N枚の撮影画像のうちの、任意の１枚の撮影画像の画素値とをブレンドすることにより、出力画像を求めることができる。
【０２８５】
なお、自動車がカーブを走行しているときの、そのカーブの方向や曲がり具合（を表す物理量）としては、例えば、自動車のハンドルの切れ角を採用することができる。
【０２８６】
図２４は、出力画像（又は撮影画像）に映る被写体の動き量に対応する値をブレンド率a2として求める場合の、そのブレンド率a2の例を示す図である。
【０２８７】
出力画像に映る被写体の動き量に対応する値をブレンド率a2として求める場合には、信号処理部４は、注目画素の動き量として、例えば、N枚の撮影画像のうちの１枚の撮影画像の対応画素の動きを、ブロックマッチングや特徴点マッチング等によって求める。
【０２８８】
さらに、信号処理部４は、図２４に示すように、注目画素の動き量に応じて、その動き量の大きさ（絶対値）が大であるほど、大きな値のブレンド率a2を求める。
【０２８９】
また、信号処理部４は、N枚の撮影画像の中から、例えば、ユーザの操作等に応じて、１枚の撮影画像を、出力画像の生成に用いる生成用画像として選択する。
【０２９０】
そして、信号処理部４は、N枚の撮影画像の対応画素の画素値の平均値ave（又は最大値max）と、生成用画像の対応画素の画素値sideとを、式bld=side×a2+ave×(1-a2)に従ってブレンドし、その結果得られるブレンド値bldを、出力画像の注目画素の画素値として求める。
【０２９１】
図２５は、出力画像の注目画素の位置（撮影画像の対応画素の位置）に応じて、平均値ave（又は最大値max）と、生成用画像の対応画素の画素値とをブレンドする場合の、そのブレンドに用いるブレンド率a2の例を示す図である。
【０２９２】
出力画像の注目画素の位置に応じてブレンドを行う場合には、信号処理部４は、注目画素の位置に応じて、その注目画素の水平方向の位置が、出力画像の水平方向の中央部から遠いほど、大きな値のブレンド率a2を求める。
【０２９３】
また、信号処理部４は、N枚の撮影画像の中から、ユーザの操作等に応じて、１枚の撮影画像を、出力画像の生成に用いる生成用画像として選択する。
【０２９４】
そして、信号処理部４は、N枚の撮影画像の対応画素の画素値の平均値ave（又は最大値max）と、生成用画像の対応画素の画素値sideとを、式bld=side×a2+ave×(1-a2)に従ってブレンドし、その結果得られるブレンド値bldを、出力画像の注目画素の画素値として求める。
【０２９５】
ブレンド率a2は、上述のように、注目画素の動き量や位置に応じて求める他、カメラユニットが搭載されている自動車の速度や、ハンドルの切れ角等に応じて求めることができる。
【０２９６】
すなわち、ブレンド率a2は、注目画素の動き量、注目画素の位置、カメラユニットが搭載されている自動車の速度、及び、ハンドルの切れ角のうちの１の項目だけに応じて、その１の項目の関数として求めることができる。
【０２９７】
また、ブレンド率a2は、注目画素の動き量、注目画素の位置、カメラユニットが搭載されている自動車の速度、及び、ハンドルの切れ角のうちの２以上の項目に応じて、その２以上の項目の関数として求めることができる。
【０２９８】
図２６は、N枚の撮影画像から、１枚（フレーム）の出力画像を生成する生成処理の第５の例を説明するフローチャートである。
【０２９９】
すなわち、図２６は、注目画素の動き量及び位置に応じたブレンド率a2に従って、平均値ave（又は最大値max）と、生成用画像の画素値とをブレンドすることにより得られるブレンド値を、出力画像の画素値として求める生成処理の例を説明するフローチャートである。
【０３００】
生成処理の第５の例では、信号処理部４は、ステップＳ８１において、N枚の撮影画像のうちの１枚の撮影画像を、生成用画像として選択し、処理は、ステップ８２に進む。
【０３０１】
ここで、ステップＳ８１では、例えば、ユーザの操作に応じて、N枚の撮影画像のうちの１枚の撮影画像を、生成用画像に選択することができる。また、ステップＳ８１では、例えば、N枚の撮影画像のうちの、カメラユニットにあらかじめ設定された枚数目の撮影画像を、生成用画像に選択することができる。
【０３０２】
ステップＳ８２では、信号処理部４は、図８のステップＳ４１と同様に、出力画像の注目画素を選択し、処理は、ステップＳ８３に進む。
【０３０３】
ステップＳ８３では、信号処理部４は、図９のステップＳ５２（又は図８のステップＳ４２）と同様に、注目画素に対応する対応画素の画素値の平均値ave（又は最大値max）を求め、処理は、ステップ８４に進む。
【０３０４】
ステップＳ８４では、信号処理部４は、注目画素の動き量を求め、処理は、ステップＳ８５に進む。
【０３０５】
ステップＳ８５では、信号処理部４は、注目画素の動き量と位置とに応じて、ブレンド率a2を求め（設定し）、処理は、ステップＳ８６に進む。
【０３０６】
ここで、ステップＳ８５では、信号処理部４は、例えば、図２４で説明したように、注目画素の動き量に応じたブレンド率a2'を求めるとともに、図２５で説明したように、注目画素の位置に応じたブレンド率a2''を求め、その動き量に応じたブレンド率a'と、位置に応じたブレンド率a2''との平均値や乗算値等を、注目画素の動き量と位置とに応じたブレンド率a2として求めることができる。
【０３０７】
ステップＳ８６では、信号処理部４は、例えば、平均値ave（又は最大値max）と、生成用画像の対応画素の画素値sideとを、式bld=side×a2+ave×(1-a2)に従ってブレンドし、その結果得られるブレンド値bldを、注目画素の画素値として求め、処理は、ステップＳ８７に進む。
【０３０８】
ステップＳ８７では、信号処理部４は、出力画像のすべての画素を、注目画素に選択したかどうかを判定する。
【０３０９】
ステップＳ８７において、出力画像のすべての画素を、まだ、注目画素に選択していないと判定された場合、処理は、ステップＳ８２に戻り、以下、同様の処理が繰り返される。
【０３１０】
また、ステップＳ８７において、出力画像のすべての画素を、注目画素に選択したと判定された場合、１枚の出力画像を生成する生成処理は、終了する。
【０３１１】
図２７は、図９の生成処理で生成された出力画像（平均値aveの出力画像）と、図２６の生成処理で生成された出力画像との例を示す図である。
【０３１２】
図９の生成処理で生成された出力画像（平均値aveの出力画像）を、動きぶれ対策機能なしの出力画像ともいうとともに、図２６の生成処理で生成された出力画像を、動きぶれ対策機能ありの出力画像ともいうこととする。
【０３１３】
図２７は、動きぶれ対策機能なしの出力画像、及び、動きぶれ対策機能ありの出力画像それぞれの水平方向の周辺部（端部）の画像の例を示している。動きぶれ対策機能なしの出力画像の周辺部では、程度の大きな動きぶれが発生しているが、動きぶれ対策機能ありの出力画像の周辺部では、その動きぶれの程度が抑制されていることを確認することができる。
【０３１４】
ここで、以下では、図２０等で説明したブレンド率a1を、色付き対策用ブレンド率a1ともいい、図２４及び図２５等で説明したブレンド率a2を、動きぶれ対策用ブレンド率a2ともいう。
【０３１５】
図２８は、N枚の撮影画像から、１枚（フレーム）の出力画像を生成する生成処理の第６の例を行う生成装置の構成例を示すブロック図である。
【０３１６】
すなわち、図２８は、色付き対策用ブレンド率a1、及び、動きぶれ対策用ブレンド率a2に従って、平均値ave、最大値max、及び、生成用画像の画素値をブレンドすることにより得られるブレンド値を、出力画像の画素値として求める生成処理を行う生成装置の構成例を示すブロック図である。
【０３１７】
図２８の生成装置は、信号処理部４に内蔵される。
【０３１８】
図２８において、生成装置は、平均値画像生成部５１、最大値画像生成部５２、生成用画像選択部５３、（色付き対策用）ブレンド率設定部５４、（動きぶれ対策用）ブレンド率設定部５５、並びに、ブレンド部５６，５７、及び、５８を有する。
【０３１９】
平均値画像生成部５１、最大値画像生成部５２、及び、生成用画像選択部５３には、N枚の撮影画像としての、例えば、３枚の撮影画像（の画素値）S0，S1，S2が、メモリ３（図１）から供給される。
【０３２０】
平均値画像生成部５１は、そこに供給される３枚の撮影画像の同一位置の画素の画素値S0，S1，S2の平均値ave=(S0+S1+S2)/3を画素値とする平均値画像を求め、ブレンド部５６に供給する。
【０３２１】
最大値画像生成部５２は、そこに供給される３枚の撮影画像の同一位置の画素の画素値S0，S1，S2のうちの最大値max=MAX(S0, S1, S2)を画素値とする最大値画像を求め、ブレンド率設定部５４、及び、ブレンド部５６に供給する。ここで、MAX(S0, S1, S2)は、S0, S1, S2の中の最大値を表す。
【０３２２】
生成用画像選択部５３は、そこに供給される３枚の撮影画像のうちの１枚の撮影画像を、生成用画像として選択し、ブレンド率設定部５５、及び、ブレンド部５７に供給する。
【０３２３】
ブレンド率設定部５４は、最大値画像生成部５２から供給される最大値画像の画素値である最大値maxに応じて、出力画像の各画素の色付き対策用ブレンド率a1を、例えば、図２０で説明したようにして求め、ブレンド部５６及び５８に供給する。
【０３２４】
ブレンド率設定部５５は、生成用画像選択部５３からの生成用画像を用いて、出力画像の各画素の動き量を求める。そして、ブレンド率設定部５５は、例えば、出力画像の各画素の動き量、及び、各画素の位置に応じて、出力画像の各画素の動きぶれ対策用ブレンド率a2を、図２４ないし図２６で説明したようにして求め、ブレンド部５７に供給する。
【０３２５】
なお、ブレンド率設定部５５では、その他、例えば、出力画像の画素の動き量、位置、カメラユニットが搭載されている自動車の速度、及び、ハンドルの切れ角のうちの１の項目だけに応じて、動きぶれ対策用ブレンド率a2を求めることができる。
【０３２６】
また、ブレンド率設定部５５では、例えば、出力画像の画素の動き量、位置、カメラユニットが搭載されている自動車の速度、及び、ハンドルの切れ角のうちの２以上の項目に応じて、動きぶれ対策用ブレンド率a2を求めることができる。
【０３２７】
ブレンド部５６は、平均値画像生成部５１から供給される平均値画像の各画素の画素値である平均値aveと、最大値画像生成部５２から供給される最大値画像の各画素の画素値である最大値maxとを、ブレンド率設定部５４からのブレンド率a1を用いて、式bld1=max×a1+ave×(1-a1)に従ってブレンドする。そして、ブレンド部５６は、ブレンドの結果得られるブレンド値bld1を画素値とする第１ブレンド画像(bld1)を、ブレンド部５７に供給する。
【０３２８】
ブレンド部５６のブレンドにより、図１７で説明した偽色の発生が抑制される。
【０３２９】
ブレンド部５７は、生成用画像選択部５３から供給される生成用画像の各画素の画素値sideと、ブレンド部５６から供給される第１ブレンド画像の各画素の画素値bld1とを、ブレンド率設定部５５からのブレンド率a2を用いて、式bld2=side×a2+bld1×(1-a2)に従ってブレンドする。そして、ブレンド部５７は、ブレンドの結果得られるブレンド値bld2を画素値とする第２ブレンド画像(bld2)を、ブレンド部５８に供給する。
【０３３０】
また、ブレンド部５７は、生成用画像選択部５３から供給される生成用画像の各画素の画素値sideと、ブレンド部５６から供給される第１ブレンド画像の、同一位置の画素の画素値bld1とのうちの最大値max2=MAX(bld1, side)を画素値とするmax2画像を求め、ブレンド部５８に供給する。ここで、MAX(bld1, side)は、bld1, sideの中の最大値を表す。
【０３３１】
ブレンド部５７のブレンドにより、図２３で説明した動きぶれが抑制される。
【０３３２】
ブレンド部５８は、ブレンド部５７から供給される第２ブレンド画像の各画素の画素値bld2と、同じく、ブレンド部５７から供給されるmax2画像の、同一位置の画素の画素値max2とを、ブレンド率設定部５４からのブレンド率a1を用いて、式bld3=max2×a1+bld2×(1-a1)に従ってブレンドする。そして、ブレンド部５８は、ブレンドの結果得られるブレンド値bld3を画素値とする画像を、出力画像として出力する。
【０３３３】
ブレンド部５８のブレンドにより、ブレンド部５７において、第１ブレンド画像の画素値bld1と、生成用画像の画素値sideとをブレンドしたブレンド値bld2を画素値とする画素に、本来存在しない色が生じることを抑制することができる。
【０３３４】
なお、ブレンド部５８では、前段のブレンド部５７でのブレンドに用いられるブレンド率a2が0又は1ではない画素のブレンド率a1だけを有効にすることができる。
【０３３５】
この場合、ブレンド部５８では、ブレンド率a1が有効な画素についてだけ、第２ブレンド画像の画素値bld2とmax2画像の画素値max2とのブレンドを行い、他の画素については、例えば、ブレンド率a1=0として、第２ブレンド画像の画素値bld2を、そのまま出力画像の画素値とすることができる。
【０３３６】
図２９及び図３０は、市販の車載カメラで撮影した出力画像、通常モードで撮影した出力画像、及び、新高速モードで撮影した出力画像の例を模式的に示す図である。
【０３３７】
すなわち、図２９及び図３０は、異なる撮影状況で得られた出力画像を示している。
【０３３８】
図２９は、照度が大の、例えば、日中の撮影で得られた出力画像を示しており、図３０は、照度が小の、例えば、夜間の撮影で得られた出力画像を示している。
【０３３９】
また、図２９及び図３０のＡは、市販の車載カメラで撮影した撮影画像を、そのまま出力画像とした場合の、その出力画像（以下、市販カメラ出力画像ともいう）を示している。
【０３４０】
図２９及び図３０のＢは、通常モードで撮影した撮影画像を、そのまま出力画像とした場合の、その出力画像（以下、通常モード出力画像ともいう）を示している。
【０３４１】
図２９及び図３０のＣは、新高速モードで撮影した３枚の撮影画像の対応画素の画素値の平均値aveを、出力画像の画素値とした場合の、その出力画像（平均値aveの出力画像）を示している。
【０３４２】
図２９及び図３０のＤは、新高速モードで撮影した３枚の撮影画像の対応画素の画素値のうちの最大値maxを、出力画像の画素値とした場合の、その出力画像（最大値maxの出力画像）を示している。
【０３４３】
図２９及び図３０によれば、新高速モードで得られる出力画像において、道路標識が見えるように映っていることを確認することができる。
【０３４４】
図３１は、日中、及び、夜間の撮影で得られた市販カメラ出力画像、通常モード出力画像、平均値aveの出力画像、及び、最大値maxの出力画像の視認性の評価の例を示す図である。
【０３４５】
視認性の評価は、日中(Day)、及び、夜間(Night)のそれぞれの撮影で得られた市販カメラ出力画像、通常モード出力画像、平均値aveの出力画像、及び、最大値maxの出力画像に映る撮影対象としてのLEDの信号機(Signal)、及び、道路標識(Traffic Sign)を対象に行った。
【０３４６】
なお、信号機については、点滅周波数(frequency)は、100Hzであり、点灯デューティ比(duty)は、70%である。また、道路標識については、点滅周波数は、250Hzであり、点灯デューティ比は、50%又は20%である。
【０３４７】
図３１においては、×、△、〇、◎の順で、視認性が良いことを表す。
【０３４８】
図３１によれば、日中や夜間等の撮影状況によって、最大値maxの出力画像の方が、平均値aveの出力画像よりも視認性が良い場合や、逆に、平均値aveの出力画像の方が、最大値maxの出力画像よりも視認性が良い場合があることを確認することができる。
【０３４９】
そこで、出力画像の視認性を向上させるために、出力画像の生成処理では、撮影状況に応じて、平均値aveと最大値maxとをブレンドすることにより、出力画像を求めることができる。
【０３５０】
図３２は、N枚の撮影画像から、１枚（フレーム）の出力画像を生成する生成処理の第７の例を説明するフローチャートである。
【０３５１】
すなわち、図３２は、撮影状況に応じたブレンド率a1'に従って、平均値aveと最大値maxとをブレンドすることにより得られるブレンド値を、出力画像の画素値として求める生成処理の例を説明するフローチャートである。
【０３５２】
生成処理の第７の例では、ステップＳ９１において、信号処理部４は、撮影状況に応じて、ブレンド率a1'を求め（設定し）、処理は、ステップＳ９２に進む。
【０３５３】
ここで、ステップＳ９１では、信号処理部４は、例えば、撮影画像の撮影時の照度が大であるほど、大きな値のブレンド率a1'を設定する(0=<a1'=<1)。
【０３５４】
ステップＳ９２では、信号処理部４は、図８のステップＳ４１と同様に、出力画像の１つの画素を、注目画素に選択し、処理は、ステップＳ９３に進む。
【０３５５】
ステップＳ９３では、信号処理部４は、N枚の撮影画像それぞれの、注目画素に対応する対応画素の画素値のうちの最大値maxと平均値aveとを求め、処理は、ステップＳ９４に進む。
【０３５６】
ステップＳ９４では、信号処理部４は、例えば、最大値maxと平均値aveとを、式bld1'=max×a1'+ave×(1-a1')に従ってブレンドし、その結果得られるブレンド値bld1'を、注目画素の画素値として求め、処理は、ステップＳ９５に進む。
【０３５７】
ステップＳ９５では、信号処理部４は、出力画像のすべての画素を、注目画素に選択したかどうかを判定する。
【０３５８】
ステップＳ９５において、出力画像のすべての画素を、まだ、注目画素に選択していないと判定された場合、処理は、ステップＳ９２に戻り、以下、同様の処理が繰り返される。
【０３５９】
また、ステップＳ９５において、出力画像のすべての画素を、注目画素に選択したと判定された場合、１枚の出力画像を生成する生成処理は、終了する。
【０３６０】
以上のように、撮影状況に応じて、ブレンド率a1'を求め、そのブレンド率a1'に従って、最大値maxと平均値aveとをブレンドすることにより、視認性の良い出力画像を得ることができる。
【０３６１】
図３３は、N枚の撮影画像から、１枚（フレーム）の出力画像を生成する生成処理の第８の例を説明する図である。
【０３６２】
図２３で説明したように、例えば、カメラユニットが、車載カメラとして、自動車等の移動体に搭載されている場合には、平均値aveを、出力画像の画素値とすると、出力画像の水平方向の周辺部には、大きい動きぶれが生じる。
【０３６３】
さらに、図２３で説明したように、N枚の撮影画像に動きぶれが生じている場合に、そのN枚の撮影画像を用いて得られる出力画像の中では、N枚の撮影画像のうちの、ある１枚の撮影画像の画素値を、そのまま出力画像の画素値とした出力画像が、動きぶれの程度が最も小さい画像になる。
【０３６４】
そこで、図３２で説明したように、撮影状況に応じたブレンド率a1'に従って、平均値aveと最大値maxとをブレンドする場合には、図３３に示すように、平均値aveと最大値maxとのブレンドの結果得られるブレンド値bld1'を、出力画像の水平方向の中心部分の画素値として採用するとともに、N枚の撮影画像の中から選択された１枚の撮影画像である生成用画像の画素値sideを、出力画像の水平方向の周辺部の画素値として採用することができる。
【０３６５】
この場合、視認性が良く、動きぶれを抑制した出力画像を得ることができる。
【０３６６】
なお、信号処理部４の生成処理によれば、点滅する撮影対象が映った撮影画像に限らず、任意のN枚の撮影画像を合成する場合において、そのうちの１枚以上の撮影画像の画素値が飽和しているときに、偽色が生じることを防止することができる。
【０３６７】
さらに、信号処理部４の信号処理によれば、自動車等の移動体にカメラユニットが搭載され、カメラユニット自体が移動する場合の他、カメラユニットが、高速道路の監視カメラのように固定されている場合であっても、出力画像（撮影画像）に映る、動く被写体の動きぶれを抑制することができる。
【０３６８】
＜カメラユニットの使用例＞
【０３６９】
図３４は、図１のカメラユニットを使用する使用例を示す図である。
【０３７０】
上述したカメラユニットは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
【０３７１】
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
【０３７２】
＜本技術を適用したコンピュータの説明＞
【０３７３】
図１の信号処理部４やタイミング制御部６の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、マイクロコンピュータ等にインストールされる。
【０３７４】
図３５は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
【０３７５】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
【０３７６】
あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０３７７】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０３７８】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
【０３７９】
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
【０３８０】
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０３８１】
なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０３８２】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０３８３】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０３８４】
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０３８５】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０３８６】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０３８７】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３８８】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０３８９】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０３９０】
なお、本技術は、以下のような構成をとることができる。
【０３９１】
＜１＞
所定の撮影タイミングで撮影を行う撮影部と、
前記撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する制御部と
を備える撮影装置。
＜２＞
前記撮影対象の点滅周期をTb[秒]と、前記撮影対象が点滅周期に点灯する点灯デューティ比をDb[%]と、少なくとも１回の撮影の露光時間が前記点灯期間の少なくとも一部に重複するための下限露光時間を、SHT_MIN[秒]と、それぞれ表すとき、
前記制御部は、式SHT_MIN=Tb/N-TbDb/100に従って求められる下限露光時間SHT_MINを超える露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する
＜１＞に記載の撮影装置。
＜３＞
前記制御部は、１又は複数フレームごとに、異なる点滅周期を対象として、前記撮影タイミングを制御する
＜１＞又は＜２＞に記載の撮影装置。
＜４＞
第１の撮影対象の点滅周期が、第２の撮影対象の点滅周期の2のべき乗倍の周期であるとき、
前記制御部は、前記第１の撮影対象の点滅周期を対象として、前記撮影タイミングを制御する
＜１＞又は＜２＞に記載の撮影装置。
＜５＞
前記N回の撮影により得られるN枚の撮影画像を処理し、１フレームの出力画像を生成する処理部をさらに備える
＜１＞ないし＜４＞のいずれかに記載の撮影装置。
＜６＞
前記処理部は、前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値を、前記出力画像の画素値として求める
＜５＞に記載の撮影装置。
＜７＞
前記処理部は、前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値の平均値を、前記出力画像の画素値として求める
＜５＞に記載の撮影装置。
＜８＞
前記処理部は、
前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値が飽和しているとき、前記最大値を、前記出力画像の画素値として求め、
前記N枚の撮影画像の対応画素の画素値のいずれも飽和していないとき、前記N枚の撮影画像の対応画素の画素値の平均値を、前記出力画像の画素値として求める
＜５＞に記載の撮影装置。
＜９＞
前記処理部は、
前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値に対応する値を、前記最大値と、前記N枚の撮影画像の対応画素の画素値の平均値とをブレンドするブレンド率として求め、
前記ブレンド率に従って、前記最大値と前記平均値とをブレンドしたブレンド値を、前記出力画像の画素値として求める
＜５＞に記載の撮影装置。
＜１０＞
前記処理部は、
前記出力画像の画素の動き量に対応する値を、
前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値、又は、前記対応画素の画素値の平均値と、
前記N枚の撮影画像のうちの所定の１枚の撮影画像である生成用画像の対応画素の画素値と
をブレンドするブレンド率として求め、
前記ブレンド率に従って、前記最大値、又は、前記平均値と、前記生成用画像の対応画素の画素値とをブレンドしたブレンド値を、前記出力画像の画素値として求める
＜５＞に記載の撮影装置。
＜１１＞
前記処理部は、
前記出力画像の画素の位置に応じて、
前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値、又は、前記対応画素の画素値の平均値と、
前記N枚の撮影画像のうちの所定の１枚の撮影画像である生成用画像の対応画素の画素値と
をブレンドするブレンド率を求め、
前記ブレンド率に従って、前記最大値、又は、前記平均値と、前記生成用画像の対応画素の画素値とをブレンドしたブレンド値を、前記出力画像の画素値として求める
＜５＞に記載の撮影装置。
＜１２＞
前記撮影装置が、移動体に搭載されているとき、
前記処理部は、
前記移動体の速度、前記移動体のハンドルの切れ角、及び、前記出力画像の画素の位置のうちの1以上に応じて、
前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値、又は、前記対応画素の画素値の平均値と、
前記N枚の撮影画像のうちの所定の１枚の撮影画像である生成用画像の対応画素の画素値と
をブレンドするブレンド率を求め、
前記ブレンド率に従って、前記最大値、又は、前記平均値と、前記生成用画像の対応画素の画素値とをブレンドしたブレンド値を、前記出力画像の画素値として求める
＜５＞に記載の撮影装置。
＜１３＞
前記撮影装置が、移動体に搭載されているとき、
前記処理部は、
前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値と、
前記移動体の速度、前記移動体のハンドルの切れ角、及び、前記出力画像の画素の位置のうちの1以上と
に応じて、前記最大値、前記対応画素の画素値の平均値、及び、前記N枚の撮影画像のうちの所定の１枚の撮影画像である生成用画像の対応画素の画素値をブレンドしたブレンド値を、前記出力画像の画素値として求める
＜５＞に記載の撮影装置。
＜１４＞
前記処理部は、
撮影状況に応じて、
前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値と、
前記対応画素の画素値の平均値と
をブレンドするブレンド率を求め、
前記ブレンド率に従って、前記最大値と前記平均値とをブレンドしたブレンド値を、前記出力画像の画素値として求める
＜５＞に記載の撮影装置。
＜１５＞
前記処理部は、
前記出力画像の画素の位置に応じて、
前記ブレンド値、
又は、前記N枚の撮影画像のうちの所定の１枚の撮影画像である生成用画像の対応画素の画素値
を、前記出力画像の画素値として求める
＜１４＞に記載の撮影装置。
＜１６＞
所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する
ことを含む撮影方法。
＜１７＞
所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する制御部
として、コンピュータを機能させるためのプログラム。
＜１８＞
所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する
ことで行われる前記N回の撮影により得られるN枚の撮影画像を処理し、１フレームの出力画像を生成する処理部
を備える信号処理装置。
＜１９＞
所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する
ことで行われる前記N回の撮影により得られるN枚の撮影画像を処理し、１フレームの出力画像を生成する
ことを含む信号処理方法。
＜２０＞
所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する
ことで行われる前記N回の撮影により得られるN枚の撮影画像を処理し、１フレームの出力画像を生成する処理部
として、コンピュータを機能させるためのプログラム。
【符号の説明】
【０３９２】
１  光学系，  ２  イメージセンサ，  ３  メモリ，  ４  信号処理部，  ５  出力部，  ６  タイミング制御部，  ５１  平均値画像生成部，  ５２  最大値画像生成部，  ５３  生成用画像選択部，  ５４，５５  ブレンド率設定部，  ５６ないし５８  ブレンド部，  １０１  バス，  １０２  CPU，  １０３  ROM，  １０４  RAM，  １０５  ハードディスク，  １０６  出力部，  １０７  入力部，  １０８  通信部，  １０９  ドライブ，  １１０  入出力インタフェース，  １１１  リムーバブル記録媒体
【図１】
2016167137.tif 000003
【図２】
2016167137.tif 000004
【図３】
2016167137.tif 000005
【図４】
2016167137.tif 000006
【図５】
2016167137.tif 000007
【図６】
2016167137.tif 000008
【図７】
2016167137.tif 000009
【図８】
2016167137.tif 000010
【図９】
2016167137.tif 000011
【図１０】
2016167137.tif 000012
【図１１】
2016167137.tif 000013
【図１２】
2016167137.tif 000014
【図１３】
2016167137.tif 000015
【図１４】
2016167137.tif 000016
【図１５】
2016167137.tif 000017
【図１６】
2016167137.tif 000018
【図１７】
2016167137.tif 000019
【図１８】
2016167137.tif 000020
【図１９】
2016167137.tif 000021
【図２０】
2016167137.tif 000022
【図２１】
2016167137.tif 000023
【図２２】
2016167137.tif 000024
【図２３】
2016167137.tif 000025
【図２４】
2016167137.tif 000026
【図２５】
2016167137.tif 000027
【図２６】
2016167137.tif 000028
【図２７】
2016167137.tif 000029
【図２８】
2016167137.tif 000030
【図２９】
2016167137.tif 000031
【図３０】
2016167137.tif 000032
【図３１】
2016167137.tif 000033
【図３２】
2016167137.tif 000034
【図３３】
2016167137.tif 000035
【図３４】
2016167137.tif 000036
【図３５】
2016167137.tif 000037
【国際調査報告】
2016167137.tif 000038
2016167137.tif 000039