(57)【要約】      （修正有）【課題】複数の撮像画像に対する補正処理の負荷を低減することを可能にするを提供する。【解決手段】画像処理装置１は、撮像装置（イメージセンサ２）によって撮像された複数の撮像画像のそれぞれに対して、撮像装置の姿勢情報（ジャイロ情報３１）に基づいて第１の補正処理を実行し、複数の第１の補正画像を生成する第１の補正処理部（画面一括補正部１５）と、第１の補正処理部によって生成された複数の第１の補正画像のうち少なくとも２つの第１の補正画像に対して加算処理を実行し、加算画像を生成する加算処理部１６と、加算処理部１６によって生成された加算画像に対して、姿勢情報に基づいて、第１の補正処理よりも処理負荷の高い第２の補正処理を実行し、第２の補正画像を生成する第２の補正処理部（局所補正部１７）とを備える。【選択図】図５
2020107036.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置によって撮像された複数の撮像画像のそれぞれに対して、前記撮像装置の姿勢情報に基づいて第１の補正処理を実行し、複数の第１の補正画像を生成する第１の補正処理部と、
前記第１の補正処理部によって生成された前記複数の第１の補正画像のうち少なくとも２つの第１の補正画像に対して加算処理を実行し、加算画像を生成する加算処理部と、
前記加算処理部によって生成された前記加算画像に対して、前記姿勢情報に基づいて、前記第１の補正処理よりも処理負荷の高い第２の補正処理を実行し、第２の補正画像を生成する第２の補正処理部と
を備える
画像処理装置。
【請求項２】
前記第１の補正処理は、画像全体に対する処理である
請求項１に記載の画像処理装置。
【請求項３】
前記第１の補正処理は、画像の平行移動処理を含む
請求項１に記載の画像処理装置。
【請求項４】
前記第２の補正処理は、画像の局所ごとに対する処理を含む
請求項１に記載の画像処理装置。
【請求項５】
前記第２の補正処理は、画像の歪補正処理および回転補正処理を含む
請求項１に記載の画像処理装置。
【請求項６】
前記第２の補正処理は、画像の拡大縮小補正処理を含む
請求項１に記載の画像処理装置。
【請求項７】
前記複数の撮像画像のそれぞれに対して前記姿勢情報が付加されている
請求項１に記載の画像処理装置。
【請求項８】
前記複数の撮像画像はそれぞれ複数の画素ラインを有し、
前記複数の撮像画像のそれぞれにおいて、前記複数の画素ラインのうち所定の画素ラインに対して前記姿勢情報が対応付けられている
請求項１に記載の画像処理装置。
【請求項９】
前記複数の撮像画像はそれぞれ複数の画素ラインを有し、
前記複数の撮像画像のそれぞれにおいて、前記複数の画素ラインのそれぞれに対してタイムスタンプが付与され、
前記姿勢情報には、前記複数の画素ラインのそれぞれに対応するタイムスタンプが付与されている
請求項１に記載の画像処理装置。
【請求項１０】
前記姿勢情報は、ジャイロセンサによるジャイロ情報および加速度センサによる加速度情報のうち少なくとも１つを含む
請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像画像に対して補正処理を行う画像処理装置に関する。
【背景技術】
【０００２】
撮像画像に対して画像処理によって手ブレ補正を行う電子式手ブレ補正(ＥＩＳ：Electronic Image Stabilization)の技術がある。動画に対する一般的な電子式手ブレ補正では、複数の撮像画像に対するフレーム間のブレは補正可能であるが、フレーム内のブレ（ブラー）の補正は困難である。そこで、例えば通常よりもＮ倍高いフレームレートで連続撮影し、通常よりもＮ倍多い複数の撮像画像のそれぞれに対して手ブレ補正を行った後、Ｎ枚の撮像画像を重ね合わせる加算処理を行うことでブラーを抑制した動画像を取得する技術が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１０５５３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
高いフレームレートによって取得した複数の撮像画像に対する補正処理は処理負荷が高く、画像処理装置におけるプロセッサでの処理が間に合わずに、リアルタイムで処理することが困難である。
【０００５】
複数の撮像画像に対する補正処理の負荷を低減することが可能な画像処理装置を提供することが望ましい。
【課題を解決するための手段】
【０００６】
本開示の一実施の形態に係る画像処理装置は、撮像装置によって撮像された複数の撮像画像のそれぞれに対して、撮像装置の姿勢情報に基づいて第１の補正処理を実行し、複数の第１の補正画像を生成する第１の補正処理部と、第１の補正処理部によって生成された複数の第１の補正画像のうち少なくとも２つの第１の補正画像に対して加算処理を実行し、加算画像を生成する加算処理部と、加算処理部によって生成された加算画像に対して、姿勢情報に基づいて、第１の補正処理よりも処理負荷の高い第２の補正処理を実行し、第２の補正画像を生成する第２の補正処理部とを備える。
【０００７】
本開示の一実施の形態に係る画像処理装置では、第１の補正処理部によって生成された複数の第１の補正画像のうち少なくとも２つの第１の補正画像に対して加算処理を実行して加算画像を生成した後、その加算画像に対して、第１の補正処理よりも処理負荷の高い第２の補正処理が実行される。
【図面の簡単な説明】
【０００８】
【図１】一般的な電子式手ブレ補正の概要を模式的に示す説明図である。
【図２】比較例に係る撮像システムの動作の概要を示す流れ図である。
【図３】比較例に係る画像処理装置における画像の補正処理の概要を模式的に示す説明図である。
【図４】撮像装置における手ブレ発生時の画素座標を模式的に示す説明図である。
【図５】本開示の第１の実施の形態に係る画像処理装置を含む撮像システムの一構成例を概略的に示すブロック図である。
【図６】第１の実施の形態に係る撮像システムの動作の概要を示す流れ図である。
【図７】第１の実施の形態に係る画像処理装置における画像の補正処理の概要を模式的に示す説明図である。
【図８】第１の実施の形態に係る画像処理装置における画像の平行移動処理の概要を模式的に示す説明図である。
【図９】第１の実施の形態に係る画像処理装置における画像の歪補正処理および回転補正処理の概要を模式的に示す説明図である。
【図１０】第２の実施の形態に係る画像処理装置を含む撮像システムの一構成例を概略的に示すブロック図である。
【図１１】第２の実施の形態に係る撮像システムの動作の概要を示す流れ図である。
【図１２】第３の実施の形態に係る画像処理装置を含む撮像システムの第１の構成例を概略的に示すブロック図である。
【図１３】第３の実施の形態に係る画像処理装置を含む撮像システムの第２の構成例を概略的に示すブロック図である。
【図１４】車両制御システムの概略的な構成例を示すブロック図である。
【図１５】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【０００９】
以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
０．比較例（図１〜図４）
１．第１の実施の形態（図５〜図９）
１．１  構成
１．２  動作
１．３  効果
２．第２の実施の形態（図１０〜図１１）
３．第３の実施の形態（図１２〜図１３）
４．移動体への応用例（図１４〜図１５）
５．その他の実施の形態
【００１０】
＜０．比較例＞
（比較例に係る画像処理装置の概要と課題）
図１は、一般的な電子式手ブレ補正の概要を模式的に示している。
【００１１】
一般的な電子式手ブレ補正では、撮像装置において通常のフレームレート（例えば３０ｆｐｓ）で撮影することによって得られた複数の撮像画像２００（図１の（Ａ））のそれぞれに対して、補正処理として、クロッピング、歪補正処理および回転補正処理を含む写像変換処理を実行する。これにより、通常のフレームレートの複数の補正画像２０１を生成する（図１の（Ｂ））。
【００１２】
このような一般的な電子式手ブレ補正では、フレーム間のブレは補正可能であるが、動きが大きいフレームでは、フレーム内のブレ（ブラー）が残ってしまう。特に１フレーム毎の露光時間が長くなる暗所で顕著となり、例えば露光時間が１０ｍｓ位からブラーが目立ち始める。
【００１３】
図２は、一般的な電子式手ブレ補正に対してフレーム内のブレを抑制した、比較例に係る撮像システムの動作の概要を示している。図３は、比較例に係る撮像システムの画像処理装置における画像の補正処理の概要を模式的に示している。
【００１４】
比較例に係る撮像システムは、例えば、撮像装置と、撮像装置のジャイロ情報を出力するジャイロセンサと、撮像装置による撮像画像に対して補正処理を行う画像処理装置と、画像処理装置による補正画像を保存する記憶装置とを備えている。
【００１５】
比較例に係る撮像システムでは、例えば撮像装置の撮影ボタンを押下することにより撮影が開始され（ステップＳ１００）、撮像装置において高速フレームレートでの連続撮影が行われる（ステップＳ１０１）。例えば、画像処理装置において最終的に出力したい所望のフレームレートをａ（ｆｐｓ）とした場合（図３の（Ｃ））、撮像装置では、Ｎ倍高いＮａ（ｆｐｓ）のフレームレートで連続撮影を行う（図３の（Ａ））。例えばＮ＝４、所望のフレームレートが３０ｆｐｓである場合、１２０ｆｐｓの高速フレームレートでの連続撮影が行われる。
【００１６】
次に、ジャイロセンサからのジャイロ情報に基づいて、高速フレームレートでの連続撮影することによって得られた複数の撮像画像２００のそれぞれ（毎フレーム）に対して、補正処理として写像変換が実行される（ステップＳ１０２）。これにより、写像変換された複数の補正画像２０１が生成される（図３の（Ｂ））。
【００１７】
次に、画像処理装置において、写像変換された複数の補正画像２０１における連続した所定数のフレームに対して加算処理が実行される（ステップＳ１０３）。加算処理は、連続した所定数のフレームの加算平均を求めることにより行われる。例えばＮ＝４とした場合、４フレームごとに加算処理が実行される。これにより、所望のフレームレート（例えば３０ｆｐｓ）の補正画像２０２が得られる（図３の（Ｃ））。画像処理装置による補正処理後の画像は、例えば記憶装置に出力され、保存される（ステップＳ１０４）。
【００１８】
このように、所望のフレームレートよりもＮ倍高いフレームレートで連続撮影し、通常よりもＮ倍多い複数の撮像画像のそれぞれに対して手ブレ補正を行った後、Ｎ枚の撮像画像を重ね合わせる加算処理を行うことでブラーを抑制した動画像を取得することが可能となる。しかしながら、この技術は理論的には可能であるが、処理時間がＮに比例して大きくなるので、画像処理装置におけるプロセッサへの負担が大きく現実的ではない。
【００１９】
図４は、撮像装置１００における手ブレ発生時の画素座標（Ｘ，Ｙ）を模式的に示している。撮像装置１００における３軸回転による画素の移動量（ΔＸ，ΔＹ）は、式（１）により表すことができる。上記比較例に係る画像処理装置における写像変換は、例えば式（１）に基づいて行うことができる。この場合、ジャイロ情報は、３軸の回転角である、ヨー（Ｙａｗ）角θｙ、ピッチ（Ｐｉｔｃｈ）角θｐ、およびロール（Ｒｏｌｌ）角θｒの情報を含む。式（１）より、３軸の回転角の情報に基づき、画素の移動量（ΔＸ，ΔＹ）は一意に求まる。
【００２０】
【数１】
2020107036.tif 000003
【００２１】
一般的に、このような写像変換は３次元の幾何計算を画素毎（もしくは所定の画素ブロック毎）に行う必要があり、重い処理であることが多い。
【００２２】
＜１．第１の実施の形態＞
［１．１  構成］
図５は、本開示の第１の実施の形態に係る画像処理装置１を含む撮像システムの一構成例を概略的に示している。
【００２３】
この撮像システムは、画像処理装置１と、イメージセンサ２と、ＩＭＵ（Inertial Measurement Unit、慣性計測装置）３と、表示装置４と、記憶装置５とを備えている。
【００２４】
イメージセンサ２は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサで構成され、高速フレームレート（例えば１２０ｆｐｓ）での連続撮影を実行することが可能となっている。イメージセンサ２において高速フレームレートでの連続撮影することによって得られた複数の撮像画像２０は、画像処理装置１に出力される。イメージセンサ２は、本開示による技術における「撮像装置」の一具体例に相当する。
【００２５】
ＩＭＵ３は、ジャイロセンサと加速度センサとを含んでいる。ＩＭＵ３は、姿勢情報の１つとして、ジャイロセンサによるジャイロ情報３１を出力する。
【００２６】
ジャイロ情報３１は、イメージセンサ２によって得られる複数の撮像画像２０のそれぞれに対して付加され、撮像画像２０と共に画像処理装置１に出力される。複数の撮像画像２０はそれぞれ複数の画素ラインを有している。ジャイロ情報３１は、例えば、複数の撮像画像２０のそれぞれにおいて、複数の画素ラインのうち所定の画素ラインに対して対応付けられている。ジャイロ情報３１は、例えば、画像処理装置１側において、撮像画像２０の各画素ラインに対するジャイロ情報に変換可能となっている。
【００２７】
表示装置４は、画像処理装置１から出力された画像データに基づく画像表示を行う。
【００２８】
記憶装置５は、例えば半導体メモリ等の記憶媒体を有し、画像処理装置１から出力された画像データを記憶する。
【００２９】
画像処理装置１は、例えばＡＰ（Application Processor）により構成されている。画像処理装置１は、前処理部１１と、データ変換部１２と、後処理部１３と、ブレ補正部１４と、エンコーダ１８とを備えている。
【００３０】
前処理部１１は、イメージセンサ２から出力された複数の撮像画像２０に相当するＲＡＷ（Raw image format）画像信号に対して、欠陥画素補正やＮＲ（Noise Reduction）等の処理を行ってデータ変換部１２に出力する。
【００３１】
データ変換部１２は、デモザイク処理によりＲＡＷ画像をＲＧＢ画像に変換し、さらに色空間を変換してＹＵＶ画像に変換して後処理部１３に出力する。
【００３２】
後処理部１３は、データ変換部１２から出力されたＹＵＶ画像に対してＮＲ、色強調、およびエッジ強調等の処理を行う。後処理部１３による処理後の複数の撮像画像２０のデータはブレ補正部１４に出力される。
【００３３】
エンコーダ１８は、ブレ補正部１４による補正処理後の画像データを表示装置４または記憶装置５への画像出力に適したデータ形式の画像データに変換して出力する。
【００３４】
ブレ補正部１４は、画面一括補正部１５と、加算処理部１６と、局所補正部１７とを有している。
【００３５】
画面一括補正部１５は、本開示による技術における「第１の補正処理部」の一具体例に相当する。画面一括補正部１５は、イメージセンサ２によって撮像された複数の撮像画像２０のそれぞれに対して、ジャイロ情報３１に基づいて第１の補正処理を実行し、複数の第１の補正画像を生成する。ここで、第１の補正処理は、画像全体に対する処理であり、例えば画像の平行移動処理を含む。画面一括補正部１５は、第１の補正画像として、例えば平行移動画像２１を生成して出力する。
【００３６】
加算処理部１６は、画面一括補正部１５によって生成された複数の第１の補正画像のうち少なくとも２つの第１の補正画像に対して加算処理を実行し、加算画像２２を生成する。
【００３７】
局所補正部１７は、本開示による技術における「第２の補正処理部」の一具体例に相当する。局所補正部１７は、加算処理部１６によって生成された加算画像２２に対して、ジャイロ情報３１に基づいて、第１の補正処理よりも処理負荷の高い第２の補正処理を実行し、第２の補正画像を生成する。ここで、第２の補正処理は、例えば画像の局所ごとに対する処理を含む。第２の補正処理は、例えば、画像の歪補正処理および回転補正処理を含む。局所補正部１７は、第２の補正画像として、例えば歪補正・回転補正画像２３を生成して出力する。
【００３８】
［１．２  動作］
図６は、第１の実施の形態に係る撮像システムの動作の概要を示している。図７は、画像処理装置１における画像の補正処理の概要を模式的に示している。
【００３９】
第１の実施の形態に係る撮像システムでは、例えば図示しない撮影ボタンを押下することにより撮影が開始され（ステップＳ１０）、イメージセンサ２において高速フレームレートでの連続撮影が行われる（ステップＳ１１）。例えば、画像処理装置１において最終的に出力したい所望のフレームレートをａ（ｆｐｓ）とした場合、イメージセンサ２では、Ｎ倍高いＮａ（ｆｐｓ）のフレームレートで連続撮影を行う。例えばＮ＝４、所望のフレームレートが３０ｆｐｓである場合、１２０ｆｐｓの高速フレームレートでの連続撮影が行われる（図７の（Ａ））。
【００４０】
次に、画面一括補正部１５において、ＩＭＵ３からのジャイロ情報３１に基づいて、高速フレームレートでの連続撮影することによって得られた複数の撮像画像２０のそれぞれ（毎フレーム）に対して、第１の補正処理として平行移動処理が実行される（ステップＳ１２）。これにより、複数の撮像画像２０の中心位置が一致するように平行移動処理された、例えば１２０ｆｐｓの高速フレームレートでの複数の平行移動画像２１が生成される（図７の（Ｂ））。
【００４１】
次に、加算処理部１６において、複数の平行移動画像２１における連続した所定数のフレームに対して加算処理が実行される（ステップＳ１３）。加算処理は、連続した所定数のフレームの加算平均を求めることにより行われる。例えばＮ＝４とした場合、４フレームごとに加算処理が実行される。これにより、所望のフレームレート（例えば３０ｆｐｓ）の加算画像２２が得られる（図７の（Ｃ））。なお、複数の撮像画像２０における隣接フレーム間の差分として支配的なのは平行移動成分なので、複数の平行移動画像２１を重ね合わせた後の加算画像２２は不自然な画像にはならない。
【００４２】
次に、局所補正部１７において、加算処理部１６によって生成された複数の加算画像２２のそれぞれ（毎フレーム）に対して、ジャイロ情報３１に基づいて、第２の補正処理として歪補正処理および回転補正処理が実行される（ステップＳ１４）。これにより、所望のフレームレート（例えば３０ｆｐｓ）の歪補正・回転補正画像２３が得られる（図７の（Ｄ））。このように、処理として最も重い歪補正処理および回転補正処理を、フレームレートの低い（例えば３０ｆｐｓ）、加算処理後の加算画像２２に対して行うことにより、処理負荷を軽減することができる。
【００４３】
歪補正・回転補正画像２３は、ブレ補正部１４による補正処理後の最終画像としてエンコーダ１８に出力される。補正処理後の最終画像は、エンコーダ１８を介して、例えば記憶装置５に出力され、保存される（ステップＳ１５）。
【００４４】
図８は、画像処理装置１の画面一括補正部１５による画像の平行移動処理の概要を模式的に示している。
【００４５】
平行移動処理は、例えば、画面中心（Ｘ，Ｙ）＝（０，０）の移動量ΔＸ，ΔＹに基づいて実行される。画面中心（Ｘ，Ｙ）＝（０，０）の移動量ΔＸ，ΔＹは、Ｌ値、およびジャイロ情報３１に含まれるヨー角θｙ、ピッチ角θｐ（図４参照）を用いて、図８に示したように式（２）で表される。
【００４６】
図９は、画像処理装置１の局所補正部１７による画像の歪補正処理および回転補正処理の概要を模式的に示している。
【００４７】
歪補正処理および回転補正処理は、例えば複数の画素を含む所定の画素ブロック２２Ａ毎に実行される。歪補正処理および回転補正処理による画素ブロック２２Ａ毎の移動量ΔＸ，ΔＹは、図９に示したように式（３）で表すことができる。式（３）で用いられているパラメータは図４に示した通りである。式（３）のように、画素ブロック２２Ａ毎に写像変換計算し、平行移動分の減算を行うことで、画素ブロック２２Ａ毎の移動量ΔＸ，ΔＹが求められる。
【００４８】
以上のように、第１の実施の形態に係る画像処理装置１では、上記比較例に係る画像処理装置における補正処理（図２、図３）に対して、写像変換を、処理の軽い平行移動処理と処理の重い歪補正処理および回転補正処理とに分けて実行する。歪補正処理および回転補正処理のみを、加算処理後の１／Ｎになったフレームレートで実行する。このとき、加算処理前の連続するフレーム間の歪回転情報は似通っているため、加算対象の画像の補正量の平均値を用いて加算後の画像に対して歪回転補正を行っても問題ない。
【００４９】
［１．３  効果］
以上説明したように、第１の実施の形態に係る画像処理装置１によれば、画面一括補正部１５によって生成された複数の平行移動画像２１のうち少なくとも２つの平行移動画像２１に対して加算処理を実行して加算画像２２を生成した後、その加算画像２２に対して、平行移動処理よりも処理負荷の高い局所補正処理（歪補正処理および回転補正処理）を実行するようにしたので、複数の撮像画像２０に対する補正処理の負荷を低減することが可能となる。例えば、所望のフレームレートに対してＮ倍高いフレームレートで連続撮影を行っても、補正処理の全体に要する時間は、上記比較例に係る画像処理装置に比べてＮ倍より短くなるため、プロセッサへの負担を軽減することができる。
【００５０】
第１の実施の形態に係る画像処理装置１によれば、ブラー抑制性能を保ちつつ、補正処理の処理時間を大幅に短縮できるのでリアルタイムでの補正処理が可能となる。
【００５１】
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態の効果についても同様である。
【００５２】
＜２．第２の実施の形態＞
次に、本開示の第２の実施の形態に係る撮像システムについて説明する。なお、以下では、上記第１の実施の形態に係る撮像システムの構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。
【００５３】
図１０は、第２の実施の形態に係る画像処理装置１Ａを含む撮像システムの一構成例を概略的に示している。
【００５４】
この撮像システムでは、ＩＭＵ３は、姿勢情報として、ジャイロセンサによるジャイロ情報３１と、加速度センサによる加速度情報３２とを出力する。
【００５５】
加速度情報３２は、ジャイロ情報３１と同様に、イメージセンサ２によって得られる複数の撮像画像２０のそれぞれに対して付加され、撮像画像２０と共に画像処理装置１に出力される。加速度情報３２は、ジャイロ情報３１と同様に、例えば、複数の撮像画像２０のそれぞれにおいて、複数の画素ラインのうち所定の画素ラインに対して対応付けられている。加速度情報３２は、ジャイロ情報３１と同様に、例えば、画像処理装置１側において、撮像画像２０の各画素ラインに対する加速度情報に変換可能となっている。
【００５６】
第２の実施の形態に係る画像処理装置１Ａは、図５に示した画像処理装置１の構成に対して、ブレ補正部１４Ａにおいて、拡大縮小補正部１９をさらに備えている。
【００５７】
第２の実施の形態に係る画像処理装置１Ａにおいて、局所補正部１７および拡大縮小補正部１９は、本開示による技術における「第２の補正処理部」の一具体例に相当する。画像処理装置１Ａでは、第２の補正処理として、局所補正部１７による歪補正処理および回転補正処理と、拡大縮小補正部１９による拡大縮小補正処理とを実行する。拡大縮小補正部１９は、第２の補正画像として、拡大縮小補正画像２４を生成して出力する。拡大縮小補正部１９による拡大縮小補正処理は、加速度情報３２に基づいて実行される。
【００５８】
図１１は、第２の実施の形態に係る撮像システムの動作の概要を示している。
【００５９】
図１１において、ステップＳ１０〜ステップＳ１４までの処理は、第１の実施の形態に係る撮像システムによる処理（図６）と略同様である。
【００６０】
第２の実施の形態に係る撮像システムでは、ステップＳ１４の処理によって得られた複数の歪補正・回転補正画像２３のそれぞれ（毎フレーム）に対して、加速度情報３２に基づいて、拡大縮小補正処理が実行される（ステップＳ１４Ａ）。これにより、所望のフレームレート（例えば３０ｆｐｓ）の拡大縮小補正画像２４が得られる。
【００６１】
拡大縮小補正画像２４は、ブレ補正部１４Ａによる補正処理後の最終画像としてエンコーダ１８に出力される。補正処理後の最終画像は、エンコーダ１８を介して、例えば記憶装置５に出力され、保存される（ステップＳ１５）。
【００６２】
（変形例）
図１０に示した構成に対して、拡大縮小補正部１９を局所補正部１７の前段に設け、拡大縮小補正処理を局所補正部１７による歪補正処理および回転補正処理よりも先に実行するようにしてもよい。この場合、ブレ補正部１４Ａによる補正処理後の最終画像は、拡大縮小補正処理が実行された後に生成された歪補正・回転補正画像２３となる。
【００６３】
その他の構成、動作および効果は、上記第１の実施の形態に係る撮像システムと略同様であってもよい。
【００６４】
＜３．第３の実施の形態＞
次に、本開示の第３の実施の形態に係る撮像システムについて説明する。なお、以下では、上記第１または第２の実施の形態に係る撮像システムの構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。
【００６５】
（第１の構成例）
図１２は、第３の実施の形態に係る画像処理装置１Ｂを含む撮像システムの第１の構成例を概略的に示している。画像処理装置１Ｂは、ブレ補正部１４Ｂを備えている。
【００６６】
第１の実施の形態に係る撮像システム（図５）では、ＩＭＵ３からのジャイロ情報３１は、イメージセンサ２によって得られる複数の撮像画像２０のそれぞれに対して付加され、撮像画像２０と共に画像処理装置１に出力される。これに対し、図１２に示す撮像システムでは、ＩＭＵ３からのジャイロ情報３１は、イメージセンサ２によって得られる複数の撮像画像２０とは別々に画像処理装置１Ｂに出力される。図１２に示す撮像システムでは、複数の撮像画像２０のそれぞれにおいて、複数の画素ラインのそれぞれに対してタイムスタンプが付与されている。同様にして、ジャイロ情報３１には、複数の画素ラインのそれぞれに対応するタイムスタンプが付与されている。これにより、画像処理装置１Ｂ側では、タイムスタンプに基づいて、撮像画像２０の各画素ラインとジャイロ情報３１との関連付けが可能とされている。
【００６７】
その他の構成、動作および効果は、上記第１の実施の形態に係る撮像システムと略同様であってもよい。
【００６８】
（第２の構成例）
図１３は、第３の実施の形態に係る画像処理装置１Ｃを含む撮像システムの第２の構成例を概略的に示している。画像処理装置１Ｃは、ブレ補正部１４Ｃを備えている。
【００６９】
第２の実施の形態に係る撮像システム（図１０）では、ＩＭＵ３からのジャイロ情報３１と加速度情報３２とが、イメージセンサ２によって得られる複数の撮像画像２０のそれぞれに対して付加され、撮像画像２０と共に画像処理装置１Ａに出力される。これに対し、図１３に示す撮像システムでは、ＩＭＵ３からのジャイロ情報３１と加速度情報３２とが、イメージセンサ２によって得られる複数の撮像画像２０とは別々に画像処理装置１Ｃに出力される。図１３に示す撮像システムでは、複数の撮像画像２０のそれぞれにおいて、複数の画素ラインのそれぞれに対してタイムスタンプが付与されている。同様にして、ジャイロ情報３１と加速度情報３２とには、複数の画素ラインのそれぞれに対応するタイムスタンプが付与されている。これにより、画像処理装置１Ｃ側では、タイムスタンプに基づいて、撮像画像２０の各画素ラインに対してジャイロ情報３１と加速度情報３２とを関連付けることが可能とされている。
【００７０】
その他の構成、動作および効果は、上記第２の実施の形態に係る撮像システムと略同様であってもよい。
【００７１】
＜４．移動体への応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【００７２】
図１４は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【００７３】
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１４に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
【００７４】
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【００７５】
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【００７６】
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【００７７】
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【００７８】
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【００７９】
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
【００８０】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【００８１】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０３０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【００８２】
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１４の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【００８３】
図１５は、撮像部１２０３１の設置位置の例を示す図である。
【００８４】
図１５では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
【００８５】
撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【００８６】
なお、図１５には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
【００８７】
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【００８８】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【００８９】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【００９０】
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
【００９１】
以上説明した車両制御システム１２０００において、本開示の画像処理装置は、例えば、車外情報検出ユニット１２０３０に適用することができる。車外情報検出ユニット１２０３０に本開示に係る技術を適用することにより、撮像部１２０３１で撮像された画像のブレ補正のリアルタイム処理が可能となる。これにより、車外の物体検出処理等の処理速度を向上させることが可能となる。
【００９２】
＜５．その他の実施の形態＞
本開示による技術は、上記各実施の形態の説明に限定されず種々の変形実施が可能である。
【００９３】
例えば、本技術は以下のような構成を取ることもできる。
以下の構成の本技術によれば、複数の撮像画像に対する補正処理の負荷を低減することが可能となる。
【００９４】
（１）
撮像装置によって撮像された複数の撮像画像のそれぞれに対して、前記撮像装置の姿勢情報に基づいて第１の補正処理を実行し、複数の第１の補正画像を生成する第１の補正処理部と、
前記第１の補正処理部によって生成された前記複数の第１の補正画像のうち少なくとも２つの第１の補正画像に対して加算処理を実行し、加算画像を生成する加算処理部と、
前記加算処理部によって生成された前記加算画像に対して、前記姿勢情報に基づいて、前記第１の補正処理よりも処理負荷の高い第２の補正処理を実行し、第２の補正画像を生成する第２の補正処理部と
を備える
画像処理装置。
（２）
前記第１の補正処理は、画像全体に対する処理である
上記（１）に記載の画像処理装置。
（３）
前記第１の補正処理は、画像の平行移動処理を含む
上記（１）または（２）に記載の画像処理装置。
（４）
前記第２の補正処理は、画像の局所ごとに対する処理を含む
上記（１）ないし（３）のいずれか１つに記載の画像処理装置。
（５）
前記第２の補正処理は、画像の歪補正処理および回転補正処理を含む
上記（１）ないし（４）のいずれか１つに記載の画像処理装置。
（６）
前記第２の補正処理は、画像の拡大縮小補正処理を含む
上記（１）ないし（５）のいずれか１つに記載の画像処理装置。
（７）
前記複数の撮像画像のそれぞれに対して前記姿勢情報が付加されている
上記（１）ないし（６）のいずれか１つに記載の画像処理装置。
（８）
前記複数の撮像画像はそれぞれ複数の画素ラインを有し、
前記複数の撮像画像のそれぞれにおいて、前記複数の画素ラインのうち所定の画素ラインに対して前記姿勢情報が対応付けられている
上記（１）ないし（７）のいずれか１つに記載の画像処理装置。
（９）
前記複数の撮像画像はそれぞれ複数の画素ラインを有し、
前記複数の撮像画像のそれぞれにおいて、前記複数の画素ラインのそれぞれに対してタイムスタンプが付与され、
前記姿勢情報には、前記複数の画素ラインのそれぞれに対応するタイムスタンプが付与されている
上記（１）ないし（６）のいずれか１つに記載の画像処理装置。
（１０）
前記姿勢情報は、ジャイロセンサによるジャイロ情報および加速度センサによる加速度情報のうち少なくとも１つを含む
上記（１）ないし（９）のいずれか１つに記載の画像処理装置。
【符号の説明】
【００９５】
１，１Ａ，１Ｂ，１Ｃ…画像処理装置（ＡＰ）、２…イメージセンサ（撮像装置）、３…ＩＭＵ（慣性計測装置、ジャイロセンサ、加速度センサ）、４…表示装置、５…記憶装置、１１…前処理部、１２…データ変換部、１３…後処理部、１４，１４Ａ，１４Ｂ，１４Ｃ…ブレ補正部、１５…画面一括補正部（第１の補正処理部）、１６…加算処理部、１７…局所補正部（第２の補正処理部）、１８…エンコーダ、１９…拡大縮小補正部（第２の補正処理部）、２０…撮像画像、２１…平行移動画像（第１の補正画像）、２２…加算画像、２２Ａ…画素ブロック、２３…歪補正・回転補正画像（第２の補正画像）、２４…拡大縮小補正画像（第２の補正画像）、３１…ジャイロ情報（姿勢情報）、３２…加速度情報（姿勢情報）、１００…撮像装置、２００…撮像画像、２０１…補正画像（写像変換画像）、２０２…補正画像（加算画像）、１２０００…車両制御システム、１２０３０…車外情報検出ユニット、１２０３１…撮像部、１２１０１，１２１０２，１２１０３，１２１０４，１２１０５…撮像部。
【図１】
2020107036.tif 000004
【図２】
2020107036.tif 000005
【図３】
2020107036.tif 000006
【図４】
2020107036.tif 000007
【図５】
2020107036.tif 000008
【図６】
2020107036.tif 000009
【図７】
2020107036.tif 000010
【図８】
2020107036.tif 000011
【図９】
2020107036.tif 000012
【図１０】
2020107036.tif 000013
【図１１】
2020107036.tif 000014
【図１２】
2020107036.tif 000015
【図１３】
2020107036.tif 000016
【図１４】
2020107036.tif 000017
【図１５】
2020107036.tif 000018