(57)【要約】  本開示は、幅広い周波数帯の光源により生じるフリッカを抑制することができるようにする撮像装置および方法、電子機器、並びに車載用電子機器に関する。本技術においては、動画像の１フレーム期間中に、複数画像が不均一な間隔で連射され、複数画像に対してブレンド処理が行われる。これにより、効率よくフリッカが除去される。また、１フレーム期間における不均一な撮像タイミングは、複数フレームにおいて同じとされる。これにより、低周波フリッカの高周波化を回避することができる。本開示は、例えば、車載カメラに適用することができる。
2016163248.tif 000002
【特許請求の範囲】
【請求項１】
被写体からの光を集光し、画像を生成する撮像部と、
１フレームの期間中において、前記撮像部により生成される画像の撮像間隔を不均一に変える撮像制御部と
を備える撮像装置。
【請求項２】
前記撮像制御部は、１フレームの期間中において３枚以上の画像を撮像させる
請求項１に記載の撮像装置。
【請求項３】
前記撮像制御部は、１フレームの期間中において、生成される画像の撮像間隔を徐々に変える
請求項２に記載の撮像装置。
【請求項４】
前記撮像制御部は、１フレームの期間中において、生成される画像の撮像間隔を徐々に増加させる
請求項３に記載の撮像装置。
【請求項５】
前記撮像制御部は、１フレームの期間中において、生成される画像の撮像間隔を徐々に減少させる
請求項３に記載の撮像装置。
【請求項６】
前記画像の撮像間隔は、50Hz乃至600Hzの周波数帯の明滅間隔に対応する
請求項３に記載の撮像装置。
【請求項７】
前記画像の撮像間隔は、50Hz乃至300Hzの周波数帯の明滅間隔に対応する
請求項３に記載の撮像装置。
【請求項８】
前記画像の撮像間隔は、50Hz乃至120Hzの周波数帯の明滅間隔に対応する
請求項３に記載の撮像装置。
【請求項９】
前記撮像制御部は、フレーム毎に画像の撮像間隔を同じパターンとする
請求項２に記載の撮像装置。
【請求項１０】
前記撮像部により生成された画像を合成する画像合成部を
さらに備える請求項２に記載の撮像装置。
【請求項１１】
前記画像合成部は、所定の重みで、前記撮像部により生成された画像を合成する
請求項１０に記載の撮像装置。
【請求項１２】
前記撮像制御部は、明暗に応じて、フレームレートを変更し、
前記画像合成部は、前記撮像制御部により変更されたフレームレートに応じた重みで、前記撮像部により生成された画像を合成する
請求項１１に記載の撮像装置。
【請求項１３】
前記撮像制御部は、暗さに応じて、フレームレートを落とし、
前記画像合成部は、前記撮像制御部により変更されたフレームレートに応じた重みで、前記撮像部により生成された画像を合成する
請求項１２に記載の撮像装置。
【請求項１４】
撮像装置が、
被写体からの光を集光し、画像を生成し、
１フレームの期間中において、生成される画像の撮像間隔を不均一に変える
撮像方法。
【請求項１５】
被写体からの光を集光し、画像を生成する撮像部と、
１フレームの期間中において、前記撮像部により生成される画像の撮像間隔を不均一に変える撮像制御部とを備える撮像装置
を有する電子機器。
【請求項１６】
被写体からの光を集光し、画像を生成する撮像部と、
１フレームの期間中において、前記撮像部により生成される画像の撮像間隔を不均一に変える撮像制御部とを備える撮像装置
を有する車載用電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置および方法、電子機器、並びに車載用電子機器に関し、特に、幅広い周波数帯の光源により生じるフリッカを抑制することができるようにした撮像装置および方法、電子機器、並びに車載用電子機器に関する。
【背景技術】
【０００２】
信号機などのLED電球を動画で撮影した場合に、例えば晴天の日などシャッタが短くなる状況下で、長時間電球が消えたままの状態が写る現象が起こる。車載カメラにおいては、事故時の証拠としてなりたたなくなる他、近年搭載の進んでいる自動車のインテリジェント化の妨げになっている。【０００３】
LEDは、非常に高い周波数で明滅を繰り返しているが、上記のような現象は、LEDの発光周波数と撮影周波数とが近いために発生してしまう。そこで、出力よりも高いフレームレートでデータ取得を行い、信号機を検出し、その明滅周波数を検出してLEDが点灯しているフレームを選ぶドライブレコーダが提案されている（特許文献１参照）。【０００４】
また、出力よりも高いフレームレートでデータ取得を行い、ランダムにフレームをセレクトすることで、長時間電球が消えるのを防ぐ撮像装置も提案されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８-２１１４４２号公報
【特許文献２】特開２００９-１７２９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述したような提案の技術においては、動物体の動きが不自然になってしまうことがあったり、低周波フリッカが高周波フリッカを生じてしまうことがあった。【０００７】
本開示は、このような状況に鑑みてなされたものであり、幅広い周波数帯の光源により生じるフリッカを抑制することができるものである。
【課題を解決するための手段】
【０００８】
本開示の一側面の撮像装置は、被写体からの光を集光し、画像を生成する撮像部と、１フレームの期間中において、前記撮像部により生成される画像の撮像間隔を不均一に変える撮像制御部とを備える。【０００９】
前記撮像制御部は、１フレームの期間中において３枚以上の画像を撮像させることができる。【００１０】
前記撮像制御部は、１フレームの期間中において、生成される画像の撮像間隔を徐々に変えることができる。【００１１】
前記撮像制御部は、１フレームの期間中において、生成される画像の撮像間隔を徐々に増加させることができる。【００１２】
前記撮像制御部は、１フレームの期間中において、生成される画像の撮像間隔を徐々に減少させることができる。【００１３】
前記画像の撮像間隔は、50Hz乃至600Hzの周波数帯の明滅間隔に対応することができる。【００１４】
前記画像の撮像間隔は、50Hz乃至300Hzの周波数帯の明滅間隔に対応することができる。【００１５】
前記画像の撮像間隔は、50Hz乃至120Hzの周波数帯の明滅間隔に対応することができる。【００１６】
前記撮像制御部は、フレーム毎に画像の撮像間隔を同じパターンとすることができる。【００１７】
前記撮像部により生成された画像を合成する画像合成部をさらに備えることができる。【００１８】
前記画像合成部は、所定の重みで、前記撮像部により生成された画像を合成することができる。【００１９】
前記撮像制御部は、明暗に応じて、フレームレートを変更し、前記画像合成部は、前記撮像制御部により変更されたフレームレートに応じた重みで、前記撮像部により生成された画像を合成することができる。【００２０】
前記撮像制御部は、暗さに応じて、フレームレートを落とし、前記画像合成部は、前記撮像制御部により変更されたフレームレートに応じた重みで、前記撮像部により生成された画像を合成することができる。【００２１】
本開示の一側面の撮像方法は、撮像装置が、被写体からの光を集光し、画像を生成し、１フレームの期間中において、生成される画像の撮像間隔を不均一に変える。【００２２】
本開示の一側面の電子機器は、被写体からの光を集光し、画像を生成する撮像部と、１フレームの期間中において、前記撮像部により生成される画像の撮像間隔を不均一に変える撮像制御部とを備える撮像装置を有する。【００２３】
本開示の一側面の車載用電子機器は、被写体からの光を集光し、画像を生成する撮像部と、１フレームの期間中において、前記撮像部により生成される画像の撮像間隔を不均一に変える撮像制御部とを備える撮像装置を有する。【００２４】
本開示の一側面においては、被写体からの光が集光され、画像が生成される。そして、１フレームの期間中において、生成される画像の撮像間隔が不均一に変えられる。【００２５】
なお、上述の撮像装置は、独立した撮像装置であってもよいし、１つの撮像装置を構成している内部ブロックであってもよい。
【発明の効果】
【００２６】
本開示の一側面によれば、幅広い周波数帯のフリッカを抑制することができる。また、動物体の動きの不自然さを抑制することができる。【００２７】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００２８】
【図１】LED電球が消灯した状態で撮影されてしまう原理を説明する図である。
【図２】他の技術の例を説明する図である。
【図３】本技術の概要を説明する図である。
【図４】本技術を詳しく説明する図である。
【図５】本技術を詳しく説明する図である。
【図６】周囲の明暗に応じて行われる処理について説明する図である。
【図７】本技術を適用する撮像装置の構成例を示すブロック図である。
【図８】撮像装置の撮影処理について説明するフローチャートである。
【図９】本技術の効果について説明する図である。
【図１０】LED光源の周波数を説明する図である。
【図１１】全種類のLED光源を網羅する場合（ユースケース１）の例を示す図である。
【図１２】信号機、標識に対応する場合（ユースケース２）の例を示す図である。
【図１３】信号機に対応する場合（ユースケース３）の例を示す図である。
【図１４】ユースケース１の変形例を示す図である。
【図１５】コンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００２９】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
０．概要
１．第１の実施の形態（撮像装置）
２．第２の実施の形態（ターゲット周波数）
３．第３の実施の形態（コンピュータ）
【００３０】
＜０．概要＞
信号機などのLED電球を動画で撮影した場合に、例えば晴天の日などシャッタが短くなる状況下で、長時間電球が消えたままの状態が写る現象が起こる。LEDは、非常に高い周波数で明滅を繰り返しているが、上記のような現象は、LEDの発光（明滅）周波数と撮影周波数とが近いために発生してしまう。
【００３１】
図１を参照して、LED電球が消灯した状態で撮影されてしまう原理について説明する。なお、以降の説明においては、１フレーム(frm)が60fpsの場合に、フリッカの光源例として、60Hzと600HzでのLED電球の明滅周期を例に説明する。
【００３２】
通常撮影は、撮影タイミングが、例えば、１フレーム(frm)に１回である。通常撮影のように、撮影タイミングが、例えば、１フレーム(frm)に１回であるとすると、図１のＡに示されるように、LED電球の明滅周期の滅のタイミングと撮影タイミングが揃ってしまい、常に消えているタイミングが撮影されてしまう。
【００３３】
そこで、特許文献１においては、高速に撮像して、LEDを検出し、光っているフレームを選択する技術が提案されている。図１のＢにおいては、このLEDを検出する技術の例が示されている。なお、この技術においては、高速に撮像する場合に、Δtに示されるように、ランダムにタイミングをずらすことも提案されている。
【００３４】
例えば、左側の１フレームにおいては、３回ランダムに撮像が行われ、そのうちの３回目のタイミングで撮像された画像のみが明滅周期が60Hzかつ600Hzで光っているので、その画像が選択されて出力される。同様に、右側の１フレームにおいては、４回ランダムに撮像が行われ、そのうちの４回目のタイミングで撮像された画像のみが明滅周期が60Hzかつ600Hzで光っているので、その画像が選択されて出力される。
【００３５】
しかしながら、図１のＢに示されるLEDを検出する技術では、動体の動きが不自然となってしまったり、低周波フリッカが高周波フリッカになってしまっていた。また、図１のＢに示されるLEDを検出する技術では、LED光源検出処理にコストがかかってしまっていたり、高フレームレートの動画撮影のため、高い消費電力が必要であり、熱が発生してしまっていた。
【００３６】
このような場合に対して、製品化においては、通常撮影の動画が長周期フリッカを起こす場合のみ高速連射を行い、そうでない場合、速やかに通常撮影に移行する制御が不可欠であるが、その遷移方法についての提案はなされていない。
【００３７】
また、特許文献２においては、高速に撮像してランダムにセレクトを行う技術が提案されている。図２においては、高速に撮像してランダムにセレクトを行う技術の例が示されている。
【００３８】
例えば、フレーム毎に３回の撮像が行われ、左側のフレームにおいては、左から２番目の撮像画像が選択されて、出力されており、右側のフレームにおいては、左から３番目の撮像画像が選択されて、出力されている。撮像画像が、ランダムに選択されるので、左側のフレームで選択された画像は、明滅周期が60Hzかつ600Hzで光っていないが、右側のフレームで選択された画像は、明滅周期が60Hzかつ600Hzで光っている。このようにすることで、長時間LEDが消えるのを抑制することができる。
【００３９】
しかしながら、図２に示される高速に撮像してランダムにセレクトを行う技術では、図１のＢの場合と同様に、動体の動きが不自然となってしまったり、低周波フリッカが高周波フリッカになってしまっていた。また、図２に示される高速に撮像してランダムにセレクトを行う技術でも、高フレームレートの動画撮影のため、高い消費電力が必要であり、熱が発生してしまっていた。
【００４０】
そこで、本技術においては、図３に示されるように、動画像の１フレーム期間中に、複数（図３の場合、５枚）画像を不均一な間隔で連射させ、複数画像に対してブレンド処理を行うようにした。なお、画像の枚数は、３枚以上とされる。これにより、効率よくフリッカが除去される。
【００４１】
また、図３に示される１フレーム期間における不均一な撮像タイミングは、複数フレームにおいて同じとされる。これにより、低周波フリッカの高周波化を回避することができる。
【００４２】
＜本技術のポイントの説明＞
次に、図４および図５を参照して、本技術のポイントについて詳しく説明する。図４および図５においては、本技術による撮像タイミングである、１フレーム期間中に複数画像が連射される不均一な間隔の撮像タイミングであって、その間隔が複数フレーム間で同じである撮像タイミングが示されている。
【００４３】
図４のＡに示されるように、本技術の場合、光源検出やフリッカの周波数検出は不要であり、また、広い周波数帯に有効である。すなわち、本技術の場合、動画像の１フレーム期間中に、複数画像が不均一な間隔で連射されるので、図４のＡにおいて囲まれた丸の部分に示されるように、1/1200秒の間隔と1/120の間隔の両方が撮像タイミングに含まれるため、両方の周波数のLED光源で生じるフリッカの明滅をサンプルすることができる。
【００４４】
また、図１のＢを参照して上述したLEDを検出する技術または図２を参照して上述した高速に撮像してランダムにセレクトを行う技術においては、出力される各フレームの撮像間隔が均一でないため、例えば、等速直線運動をしている物体を撮影したときに、映像上では、その物体は、等速直線運動にならず、不自然な動きになってしまっていた。
【００４５】
これに対して、本技術の場合、動体の動きが自然である。すなわち、本技術においては、図４のＢの括った連射タイミングに示されるように、１フレーム毎に連射タイミングが固定され、得られたフレームがフレーム毎にほぼ固定のブレンド比率でブレンドされる。
【００４６】
したがって、括った連射タイミングのパターンと、各撮像画像のブレンド比率は、隣接フレーム間でほぼ変わらず、物体の動きが不自然になってしまうことはない。なお、詳しくは後述するが、ブレンド比率については、時定数をもってなめらかに変更される。
【００４７】
また、図２を参照して上述した高速に撮像してランダムにセレクトを行う技術では、高速に撮像したフレームからランダムにフレームを出力するため、フレーム毎にLEDの明滅が変化する（このような現象が高周波フリッカである）ケースが頻発する。
【００４８】
これに対して、本技術においては、図５の矢印に示されるように、出力フレームを生成するのに用いられる各高速撮像画像のフレーム間の間隔が、すべて１フレームと同様であるので、すべての画像が長周期フリッカを起こしてしまう。長周期フリッカを起こしている複数の画像をブレンドしても生じるのは、低周波フリッカのみである。したがって、本技術においては、長周期フリッカの高周波化は抑制される。なお、もともと高周波フリッカが発生している場合は、抑制の対象とならない。
【００４９】
さらに、本技術においては、図６に示されるように、LEDフリッカが発生する明るい状況では、すでに高速撮像と画像ブレンドでLEDフリッカの抑制が行われ、暗くなっていくにつれて、高速撮像のフレームレートが落としていく制御が行われる。また、フレームレートを落とすときには、その切り替わりが映像に現れないように、各高速撮像結果のブレンド比率の制御が行われる。なお、高速撮像画像の比率（重み）は、時定数を持って変化させる制御が行われる。
【００５０】
また、本技術においては、フレームレートが連射ではなく通常の１枚撮影と同じになった後、従来の露光制御が行われる。
【００５１】
図６の例においては、４枚の高速撮像を行いながら、周囲の明るさを変化させた場合の撮像タイミングと、シャッタと、ブレンド比率の制御が示されている。図６の上から１段目乃至３段目に示されるように明るい場合は、４枚の高速撮像が行われるので、左の画像から順に、Wa,Wb,Wc,Wdの重みによりブレンドが行われる。図６の上から４段目、５段目に示されるように周囲が暗くなることで、フレームレートを落とす制御がなされ、左から２枚分の撮像が１枚の撮像となり、３枚の高速撮像となった場合には、左の画像から順に、Wa+Wb,Wc,Wdの重みによりブレンドが行われる。
【００５２】
図６の上から６段目、７段目に示されるようにさらに周囲が暗くなり、フレームレートを落とす制御がなされ、左から３枚分の撮像が１枚の撮像となり、２枚の高速撮像となった場合には、左の画像から順に、Wa+Wb+Wc,Wdの重みによりブレンドが行われる。図６の上から８段目、９段目に示されるようにさらに周囲が暗くなり、フレームレートを落とす制御がなされ、左から４枚分の撮像が１枚の撮像となり、１枚の撮像となった場合には、重みは、Wa+Wb+Wc+Wd(=1)となり、その撮像された１枚の画像が出力される。
【００５３】
以上のように、本技術においては、以上のような周囲の明るさを変化させた場合の撮像タイミングと、シャッタと、ブレンド比率の制御が行われるので、フリッカ対策用の高速撮像から、通常フレームレートへのシームレスな遷移制御を行うことができる。
【００５４】
以下、本技術について具体的に説明していく。
【００５５】
＜１．第１の実施の形態＞
＜撮像装置の構成例＞
図７は、本技術を適用する撮像装置の構成例を示すブロック図である。
【００５６】
撮像装置１１は、撮像制御部２１、撮像部２２、タイミング調整バッファ２３、画像合成部２４、および画像処理部２５を含むように構成されている。
【００５７】
撮像制御部２１は、撮像部２２での画像データの取得を、出力のフレームレート（例えば、30fpsや60fps）よりも高い周期で制御する。説明の便宜上、これ以降、LEDフリッカを発生させているLED光源の明滅周期の1/2の期間をnとする。
【００５８】
撮像制御部２１は、撮像部２２を制御し、出力1フレームの期間中に撮像間隔を不均一に変える。具体的には、撮像制御部２１は、出力1フレームの期間中にnの整数倍に撮像間隔を徐々に広げながら、複数の高速撮像画像を取得する。例えば、後述するが、図９の例の場合、出力１フレームの期間中に、撮像の間隔をn,2n,2n,3nとして連続された画像が撮像されて、3:2:2:1という重みでブレンドされると、2nよりも長い周期のLEDにより生じるフリッカの振幅をあらゆる周波数において1/2減衰させることができる。なお、撮像間隔については、単調増加の他、単調減少、または、減少からの増加、増加からの減少などとしてもよいが、単調増加または単調減少がより効果的である。
【００５９】
また、撮像制御部２１は、高速撮像画像1枚1枚の露光時間を同一出力フレーム用のものについては等しくし、その露光時間を通常の動画撮影時（1フレーム撮影して、1フレーム出力）の場合と同じ長さになるように撮像部２２を制御する。撮像制御部２１は、露光時間が長くなる場合（撮影対象が暗い場合）には、図６を参照して上述したように、撮像部２２による高速撮像画像取得のフレームレートを落とす制御を行い、通常の動画撮影時の制御へとシームレスに遷移させる。
【００６０】
撮像部２２は、絞り、レンズ、シャッタなど、イメージセンサ上に適切な像を集光するための様々な光学系と、光学系を通ってきた光を受け、電気信号に変換するイメージセンサを含むように構成される。なお、イメージセンサは、CMOS（Complementary Metal Oxide Semiconductor）固体撮像装置などにより構成され、撮像制御部２１による制御が可能なこと以外に特に制約（例えば、受光方式、カラーフィルタの種類などの限定）はない。
【００６１】
撮像部２２は、撮像制御部２１により制御され、被写体からの光を、電気信号に変換して、変換した電気信号の画像を、タイミング調整バッファ２３に供給する。
【００６２】
タイミング調整バッファ２３は、出力1フレームの高速撮像画像を複数枚蓄積し、画像合成部２４に対して、出力のフレームレートにそろえて並列に出力する。
【００６３】
画像合成部２４は、並列で入力された複数の高速撮像画像を、所定の比率でブレンド（合成）して、ブレンドした結果の画像を、画像処理部２５に出力する。具体的には、撮像制御部２１が制御する撮像タイミングに合わせて、LEDフリッカが最小になる係数を設定する。また、画像合成部２４は、露光時間が長くなってきた場合の高速撮像画像のフレームレートを落とす制御に応じて、各高速撮像画像の重みを制御する。さらに、画像合成部２４は、画質調整のため、時定数をもって、各高速撮像画像の重みをなめらかに変更する制御を行う。
【００６４】
画像処理部２５は、画像合成部２４からの画像の信号処理を行い、後段に出力する。なお、画像処理部２５は、複数または単一で、撮像部２２以降のどの位置に挿入されてもよい。ただし、タイミング調整バッファ２３の後に画像処理部２５を挿入する場合、高速撮像画像の枚数分の処理ブロックを並列化する必要があるので、画像処理部２５は、タイミング調整バッファ２３の前か、画像合成部２４の後に配置されると、ハードウエアコストの面で有利になる。
【００６５】
＜撮像装置の処理例＞
次に、図８のフローチャートを参照して、撮像装置１１の撮影処理について説明する。
【００６６】
ステップＳ２１において、撮像制御部２１は、撮像部２２を制御し、出力1フレーム期間中において、不均一な撮像間隔で連続撮影を行う。撮像部２２は、撮像制御部２１の制御のもと、被写体からの光を、電気信号に変換して、変換した電気信号の画像を、タイミング調整バッファ２３に供給する。タイミング調整バッファ２３には、撮像部２２から、複数の高速撮像画像が並列で入力される。
【００６７】
撮像制御部２１は、ステップＳ２２において、露光時間が長いか否かを判定する。ステップＳ２２において、露光時間が長くないと判定された場合、処理は、ステップＳ２３に進む。ステップＳ２３において、タイミング調整バッファ２３は、撮像部２２から入力された複数の撮影画像を、出力のフレームレートにそろえて並列に出力する。
【００６８】
画像合成部２４は、ステップＳ２４において、並列で入力された複数の高速撮像画像を、所定の重み（比率）でブレンド（合成）して、ブレンドした結果の画像を、画像処理部２５に出力する。
【００６９】
一方、ステップＳ２２において、露光時間が長いと判定された場合、処理は、ステップＳ２５に進む。ステップＳ２５において、撮像制御部２１は、フレームレートを落とす。
【００７０】
ステップＳ２６において、タイミング調整バッファ２３は、撮像部２２から入力された複数の撮影画像を、撮像制御部２１が落としたフレームレートにそろえて並列に出力する。
【００７１】
画像合成部２４は、ステップＳ２７において、落としたフレームレートに合わせて重みを制御（調整）し、並列で入力された複数の高速撮像画像を、制御した重みでブレンド（合成）して、ブレンドした結果の画像を、画像処理部２５に出力する。
【００７２】
ステップＳ２４またはＳ２７の処理の後、処理は、ステップＳ２８に進む。ステップＳ２８において、画像処理部２５は、画像合成部２４からの画像の信号処理を行い、後段に出力する。
【００７３】
なお、上記説明においては、単一の光学系と撮像部から、タイミングをずらして撮像された画像を入力する場合が示されていたが、例えば光学系と撮像部分が複数あり、それぞれの撮像タイミングをずらしたものを光学系からの入力とする場合でもよい。
【００７４】
光学系は単一でも、撮像部の面内で画素ごとやラインごとのように、特定領域ごとに撮像タイミングをずらしてブレンドを行うようにしても同等の効果を得ることができる。このように面内でタイミングを変える場合、上述した明るさによるフレームレートの制御に撮影が不要と判定されたフレームに対応する画素については、不要と判定されたフレームに対応しない画素と同様の制御を行うことにより、画像の解像度向上に役立てることが可能である。
【００７５】
WD(wide dynamic range)動画撮影時には、長蓄用画像、短畜用画像にそれぞれ高速連射を行い、高速連射中に撮影タイミングをずらすことで、長畜および短畜の一方、または両方から長周期フリッカを除去する制御を行うことができる。
【００７６】
また、高速連射中に画像間の位置合わせを行うことができる。
【００７７】
さらに、画像合成部２４が連射した各画像用の重み係数セットを有し、それぞれの係数セットによるブレンド結果をさらに任意の重みによりブレンドすることで、係数セットをシームレスに切り替えるということも可能である。
【００７８】
以上のように、本技術によれば、タイミングずらし撮影およびブレンドという非常に単純な信号処理により、幅広い周波数帯のフリッカ光源によるフリッカの振幅を抑制することができる。
【００７９】
特に信号機やLED標識などが長周期フリッカを起こしてしまうことに対応して、ちらつきがない状態のまま消えることを防ぐことができる。
【００８０】
動画像に関しても動体の動きがランダムに伸縮されるような動きの不自然さの発生を抑制することができる。
【００８１】
また、本技術によれば、通常の動画撮影モードと連射による長周期フリッカ対策モードとを明るさに応じてシームレスに遷移することができるため、長周期フリッカが生じないシーンでは、通常撮影同等の電力や発熱を実現しつつ、必要な場面のみ対応させることができる。
【００８２】
＜本技術の効果＞
図９は、本技術の効果について説明する図である。
【００８３】
図９の例においては、撮像装置１１より1000fpsの画像が入力された場合の、25fpsの処理結果が作成された実験例が示されている。これは、600fpsの画像から、30fpsの画像のものを出力する例と同じである。図９に示されるように、対策なしの場合、出力1フレームに、先頭のタイミングで画像が撮像されるので、LED光源の滅期間が出力されてしまう。これに対して、本技術の場合、たとえば、出力１フレームの期間中に、撮像の間隔をn,2n,2n,3n（n=2）として連続された画像が撮像されて、3:2:2:1という重みでブレンドされる。
【００８４】
図９の右下のグラフは、横軸が光源の明滅の周波数であり、縦軸が今回の処理によりどう信号の明るさが減衰するかという減衰率(dB)である。図９の左下のグラフは、縦軸が明るさ、横軸が時間であり、グラフの実線に示されるように、LEDフリッカを起こしている信号は、明るくなって、しばらくすると暗くなるのを繰り返す。右下のグラフにおいて丸の部分が-6dB程度の減衰率になっており、-6dBは、1/2倍に相当する。これを、左下のグラフに対応させると、点線に示されるように、明るさの振幅が1/2程度になるので、いままで完全に消えていた信号が半分になるということがわかる。
【００８５】
これにより、長周期フリッカの振幅が減衰することで完全に消えていた信号機のあかりの（光る）部分の輝度が戻り、目で見ても十分に認識できる明るさになる。
【００８６】
以上のように、本技術によれば、動画像の１フレーム期間中に、複数画像を不均一な間隔で連射し、ブレンド処理を行うことで、フリッカを除去することができる。
【００８７】
また、出力１フレームの生成に使用される複数画像の撮像タイミングを不均一な間隔とすることで、均等と比較して、効率よくフリッカを除去することができる。
【００８８】
さらに、出力複数フレームに関する各１フレームの生成に使用する複数画像の撮像タイミングを同じとすることで低周波フリッカの高周波化を回避することができる。
【００８９】
なお、次に、本技術が適用されるターゲット周波数について説明する。
【００９０】
＜２．第２の実施の形態＞
＜ターゲット周波数＞
基本的に光源の明滅周波数は、電源周波数の整数倍になる。日本の場合、電源周波数は、東が50Hz、西60Hzとなっている。また、世界的にみても電源周波数は、50Hz、60Hzのどちらかになっている。
【００９１】
また、車載カメラに映るLED光源は、図１０に示されるように、大きく３種類あり、信号機、標識、車載LEDライトに分類される。信号機は、調査において、100Hz、120Hzが主流であり、標識と車載LEDについては多岐にわたるため、限定が困難である（傾向として500Hz〜100Hz間で60,90の倍数であることが多い）。
【００９２】
図１１は、全種類のLED光源を網羅する場合（ユースケース１）の例を示す図である。全種類のLED光源を網羅する場合、マージンも含めると600Hz乃至50Hzがカバー範囲となるようにする必要がある。
【００９３】
この場合、例えば、最短の撮像間隔nを1/1200secとして撮像間隔をn,2n,2n,3nと変化させながら５枚連射して、各画像の重みを3:2:1:1:1でブレンドさせることで、効果があげられる。
【００９４】
図１２は、信号機、標識に対応する場合（ユースケース２）の例を示す図である。信号機、標識に対応する場合、300Hz乃至50Hzがカバー範囲となるようにする必要がある。
【００９５】
この場合、例えば、最短の撮像間隔nを1/600secとして撮像間隔をn,2n,2nと変化させながら４枚連射して、各画像の重みを3:2:1でブレンドさせることで、効果があげられる。
【００９６】
図１３は、信号機に対応する場合（ユースケース３）の例を示す図である。信号機に対応する場合、120Hz乃至50Hzがカバー範囲となるようにする必要がある。
【００９７】
この場合、例えば、最短の撮像間隔nを1/240secとして撮像間隔をn,2nと変化させながら３枚連射して、各画像の重みを2:1:1でブレンドさせることで、効果があげられる。
【００９８】
なお、図１１乃至図１３の例において、具体例が示されているが、撮像間隔やブレンド比率は、他の値であってもよい。
【００９９】
また、ユースケース１を例に説明すると、図１４のＡに示されるように、撮像間隔は、単調増加だけに限定されず、単調減少としてもよい。また、図１４のＢに示されるように、撮像間隔は、単調減少から、単調増加させてもよい。さらに、図１４のＣに示されるように、撮像間隔は、短い連射の組み合わせであってもよい。
【０１００】
ただし、単調増加、単調減少で、撮像間隔を変化させるものが最も効率的である。また、徐々に増加していくほうが、複数の周波数帯に対応することが可能である。
【０１０１】
なお、以上においては、撮像部のイメージセンサとして、CMOS固体撮像装置を用いた構成について説明してきたが、CCD（Charge Coupled Device）固体撮像装置といった固体撮像装置を用いるようにしてもよい。
【０１０２】
また、本技術は、撮像装置、例えば、監視カメラ、車載カメラなど、その他認識に用いられる可能性のある撮像装置、また、撮像装置以外の電子機器、車載用電子機器すべてに適用することができる。
【０１０３】
＜３．第３の実施の形態＞
＜本技術を適用したコンピュータの説明＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１０４】
図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１０５】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０１０６】
バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
【０１０７】
入力部２０６は、キーボード、マウス、マイクロホンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
【０１０８】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１０９】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１１０】
コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０１１１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１１２】
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１１３】
本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０１１４】
本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１１５】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１１６】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１１７】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１１８】
なお、本技術は以下のような構成も取ることができる。
（１）  被写体からの光を集光し、画像を生成する撮像部と、
１フレームの期間中において、前記撮像部により生成される画像の撮像間隔を不均一に変える撮像制御部と
を備える撮像装置。
（２）  前記撮像制御部は、１フレームの期間中において３枚以上の画像を撮像させる
前記（１）に記載の撮像装置。
（３）  前記撮像制御部は、１フレームの期間中において、生成される画像の撮像間隔を徐々に変える
前記（１）または（２）に記載の撮像装置。
（４）  前記撮像制御部は、１フレームの期間中において、生成される画像の撮像間隔を徐々に増加させる
前記（１）乃至（３）のいずれかに記載の撮像装置。
（５）  前記撮像制御部は、１フレームの期間中において、生成される画像の撮像間隔を徐々に減少させる
前記（１）乃至（４）のいずれかに記載の撮像装置。
（６）  前記画像の撮像間隔は、50Hz乃至600Hzの周波数帯の明滅間隔に対応する
前記（１）乃至（５）のいずれかに記載の撮像装置。
（７）  前記画像の撮像間隔は、50Hz乃至300Hzの周波数帯の明滅間隔に対応する
前記（１）乃至（６）のいずれかに記載の撮像装置。
（８）  前記画像の撮像間隔は、50Hz乃至120Hzの周波数帯の明滅間隔に対応する
前記（１）乃至（７）のいずれかに記載の撮像装置。
（９）  前記撮像制御部は、フレーム毎に画像の撮像間隔を同じパターンとする
前記（１）乃至（８）のいずれかに記載の撮像装置。
（１０）  前記撮像部により生成された画像を合成する画像合成部を
さらに備える前記（１）乃至（９）のいずれかに記載の撮像装置。
（１１）  前記画像合成部は、所定の重みで、前記撮像部により生成された画像を合成する
前記（１０）に記載の撮像装置。
（１２）  前記撮像制御部は、明暗に応じて、フレームレートを変更し、
前記画像合成部は、前記撮像制御部により変更されたフレームレートに応じた重みで、前記撮像部により生成された画像を合成する
前記（１１）に記載の撮像装置。
（１３）  前記撮像制御部は、暗さに応じて、フレームレートを落とし、
前記画像合成部は、前記撮像制御部により変更されたフレームレートに応じた重みで、前記撮像部により生成された画像を合成する
前記（１２）に記載の撮像装置。
（１４）  撮像装置が、
被写体からの光を集光し、画像を生成し、
１フレームの期間中において、生成される画像の撮像間隔を不均一に変える
撮像方法。
（１５）  被写体からの光を集光し、画像を生成する撮像部と、
１フレームの期間中において、前記撮像部により生成される画像の撮像間隔を不均一に変える撮像制御部とを備える撮像装置
を有する電子機器。
（１６）  被写体からの光を集光し、画像を生成する撮像部と、
１フレームの期間中において、前記撮像部により生成される画像の撮像間隔を不均一に変える撮像制御部とを備える撮像装置
を有する車載用電子機器。
【符号の説明】
【０１１９】
１１  撮像装置，  ２１  撮像制御部，  ２２  撮像部，  ２３  タイミング調整バッファ，  ２４  画像合成部，  ２５  画像処理部
【図１】
2016163248.tif 000003
【図２】
2016163248.tif 000004
【図３】
2016163248.tif 000005
【図４】
2016163248.tif 000006
【図５】
2016163248.tif 000007
【図６】
2016163248.tif 000008
【図７】
2016163248.tif 000009
【図８】
2016163248.tif 000010
【図９】
2016163248.tif 000011
【図１０】
2016163248.tif 000012
【図１１】
2016163248.tif 000013
【図１２】
2016163248.tif 000014
【図１３】
2016163248.tif 000015
【図１４】
2016163248.tif 000016
【図１５】
2016163248.tif 000017
【国際調査報告】
2016163248.tif 000018
2016163248.tif 000019
2016163248.tif 000020
2016163248.tif 000021