(57)【要約】【課題】車載カメラで移動物体を適切に撮像する画像生成装置を提供すること。【解決手段】画像生成装置が、車両の走行状態に関する走行情報を受信する第１受信部と、車両において用いられるイメージセンサの撮像領域のうち多重露光領域を走行情報に基づいて設定し、撮像領域のうちの多重露光領域が多重露光されており、かつ、多重露光領域以外が多重露光されていない画像データを生成する制御部と、を備えている。【選択図】図２
2018056882.tif 000002
【特許請求の範囲】
【請求項１】
車両の走行状態に関する走行情報を受信する第１受信部と、
前記車両において用いられるイメージセンサの撮像領域のうち多重露光領域を前記走行情報に基づいて設定し、前記撮像領域のうちの前記多重露光領域が多重露光されており、かつ、前記多重露光領域以外が多重露光されていない画像データを生成する制御部と、
を備えた画像生成装置。
【請求項２】
前記イメージセンサは、予め定められた複数の区画の何れかに属する複数の画素を有し、
前記制御部は、
前記走行情報に基づいて、前記複数の区画の少なくとも一つを前記多重露光領域として決定する、
請求項１に記載の画像生成装置。
【請求項３】
前記制御部は、前記車両の進行方向を基準として側方からの光を受光する画素を含む区画を、前記多重露光領域として決定する、
請求項２に記載の画像生成装置。
【請求項４】
前記制御部は、前記走行情報から前記車両が直進中と判定した場合、少なくとも直進方向からの光を受光する画素を含む区画を、前記多重露光領域とする区画から除外する
請求項３に記載の画像生成装置。
【請求項５】
前記制御部は、前記走行情報から前記車両が旋回中と判定した場合、前記車両の旋回先の方向からの光を受光する画素を含む区画を、前記多重露光領域とする区画から除外する
請求項３に記載の画像生成装置。
【請求項６】
車両の走行状態に関する走行情報を受信するステップと、
前記車両において用いられるイメージセンサの撮像領域のうち多重露光領域を前記走行情報に基づいて設定し、前記撮像領域のうちの前記多重露光領域が多重露光されており、かつ、前記多重露光領域以外が多重露光されていない画像データを生成するステップと、
を備えた画像生成方法。
【請求項７】
コンピュータに、
車両の走行状態に関する走行情報を受信するステップと、
前記車両において用いられるイメージセンサの撮像領域のうち多重露光領域を前記走行情報に基づいて設定し、前記撮像領域のうちの前記多重露光領域が多重露光されており、かつ、前記多重露光領域以外が多重露光されていない画像データを生成するステップと
を実行させるプログラム。
【請求項８】
コンピュータに、
車両の走行状態に関する走行情報を受信するステップと、
前記車両において用いられるイメージセンサの撮像領域のうち多重露光領域を前記走行情報に基づいて設定し、前記撮像領域のうちの前記多重露光領域が多重露光されており、かつ、前記多重露光領域以外が多重露光されていない画像データを生成するステップと
を実行させるプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像生成装置、画像生成方法、プログラムおよび記録媒体に関する。
【背景技術】
【０００２】
車載カメラによって撮像された画像データから対象物を検出する技術、および、当該画像データを低減する技術が知られている。特許文献１に開示されている画像処理装置は、画像取得部と、領域設定部と、処理部とを有する。画像取得部は、赤外線画像データを取得する。領域設定部は、画像取得部により取得された赤外線画像データに基づく画像領域に対して、画像領域を複数の領域に分割する境界線を設定し、境界線によって分割された複数の領域のうちの少なくとも１つの領域を画素密度変更領域に設定する。処理部は、画素密度変更領域の赤外線画像データの画素密度を低減する処理を行い、画素密度変更領域を含む画像領域の赤外線画像データに基づいて対象物の検出処理を行い、検出処理の結果に基づいて表示用画像データを生成する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−４１４８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
車載カメラは、高速な移動物体を撮像する機会も多い。高速な移動物体は、シャッター速度を高速にすることにより撮像できることが知られているが、高速な連続撮影は、単位時間あたりの画像データ量（またはフレームレート）が大きくなってしまう。
【０００５】
本開示の目的は、車載カメラによる高速な移動物体を適切に撮像する画像生成装置、画像生成方法、プログラムおよび記録媒体を提供することにある。
【課題を解決するための手段】
【０００６】
本開示の一形態は、
車両の走行状態に関する走行情報を受信する第１受信部と、
車両において用いられるイメージセンサの撮像領域のうち多重露光領域を走行情報に基づいて設定し、撮像領域のうちの多重露光領域が多重露光されており、かつ、多重露光領域以外が多重露光されていない画像データを生成する制御部と、
を備えた画像生成装置に向けられる。
【０００７】
上記一形態は、方法、プログラムおよびプログラムを記録した一時的でない有形の記録媒体のいずれかであっても良い。
【発明の効果】
【０００８】
本開示によれば、車載カメラによる高速な移動物体を適切に撮像する画像生成装置、画像生成方法、プログラムおよび記録媒体を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本開示に係る画像生成装置および画像処理装置の構成例を示す図。
【図２】撮像装置に含まれる画像生成装置の機能ブロックを示す図。
【図３】イメージセンサに対して構成される区画を模式的に示す図。
【図４】圧縮レベル情報を示す図。
【図５】走行情報に基づいて決定された各区画の圧縮レベルを示す図。
【図６】走行情報に基づいて決定された画像フォーマット情報を示す図。
【図７】画像処理装置の機能ブロックを示す図。
【図８】物体の検知結果に基づくセンシング方法の変更を示す図。
【図９】側方の撮像装置に対して多重露光領域を設定する例を示す図。
【図１０】サラウンドビューカメラに対して多重露光領域を設定する例を示す図。
【図１１】本開示の画像生成装置および画像処理装置のハードウェア構成の変形例を示す図。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら、実施形態を説明する。
【００１１】
なお、同種の要素を区別して説明する場合には、「区画２００Ｌ」、「区画２００Ｒ」のように参照符号を使用し、同種の要素を区別しないで説明する場合には、「区画２００」のように参照符号のうちの共通番号のみを使用することがある。
【００１２】
また、以下の実施形態において、その構成要素（要素ステップなどを含む）は、特に明示した場合及び原理的に明らかに必須であると考えられる場合などを除き、必ずしも必須のものではない。
【００１３】
＜全体構成＞
図１は、本開示に係る画像生成装置および画像処理装置の構成例を示す図である。
【００１４】
車両１には、本開示の画像生成装置３２を含む撮像装置１０、本開示の画像処理装置１２の一実施形態としてのＥＣＵ１２、走行情報送信装置１４、およびアクティブセンサ１６が、ネットワーク２０を介して接続される。ネットワーク２０は、例えば、主に制御信号の伝送に用いられるＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、および、主にマルチメディアに関する信号の伝送に用いられるＭＯＳＴ（Ｍｅｄｉａ  Ｏｒｉｅｎｔｅｄ  Ｓｙｓｔｅｍｓ  Ｔｒａｎｓｐｏｒｔ）やＩＤＢ−１３９４の組み合わせで構成されうる。なお、車両１は、必ずしも装置１０乃至１６の全てを備える必要はなく、一部の装置のみを備えてもよい。また、１対１接続の場合、ＬＶＤＳ（Ｌｏｗ  ｖｏｌｔａｇｅ  ｄｉｆｆｅｒｅｎｔｉａｌ  ｓｉｇｎａｌｉｎｇ）などのシリアルインターフェースで接続してもよい。
【００１５】
撮像装置１０は、車両１に搭載され、車両１の周囲（典型的には前方）を撮像する装置である。撮像装置１０は、イメージセンサ３０と、本開示の画像生成装置３２の一実施形態としてのＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）３２とを有する。イメージセンサ３０から出力される画素信号は、所定の伝送路３４を介してＤＳＰ３２へ入力される。なお、通常、イメージセンサ３０がアナログの画像信号をＤＳＰ３２へ送信する場合、これらの間には、通常、ＡＤＣ（Ａｎａｌｏｇ  ｔｏ  Ｄｉｇｉｔａｌ  Ｃｏｎｖｅｒｔｅｒ）（図示せず）が配置される。ＤＳＰ３２は、所定の伝送路３６を介してイメージセンサ３０へ制御信号を出力してもよい。撮像装置１０の詳細については後述する（図２参照）。
【００１６】
走行情報送信装置１４は、所定のタイミングにおける車両１の走行シーンに関する情報を含む走行情報を、ネットワーク２０を介して撮像装置１０へ送信する。車両１の走行シーンの例としては、直進中、右旋回中、左旋回中、右折中、左折中、上り坂の頂上の直前に到達、または、下り坂の底の直前に到達、などがある。走行情報送信装置１４の詳細については後述する。
【００１７】
アクティブセンサ１６は、車両１の周辺の情報をセンシングするために、ミリ波またはレーザー光などの波を出射し、周囲の物体で反射されて自身に戻ってきた戻り波に基づき、車両１と物体との間の距離等を測定する。
【００１８】
ＥＣＵ１２は、ネットワーク２０に接続されている各機器を制御する。ＥＣＵ１２は、通信Ｉ／Ｆ（ＩｎｔｅｒＦａｃｅ）５６、マイコン５０、プログラムメモリ５２、およびメインメモリ５４を有してよい。これらの構成要素５０乃至５６は、内部バス５９を介して双方向通信可能であってよい。また、１対１接続の場合、画像データに関する情報は単方向通信でもよい。
【００１９】
通信Ｉ／Ｆ５６は、ネットワーク２０を介するデータの送受信を制御する。
【００２０】
プログラムメモリ５２は、プログラム５８を保持する。プログラムメモリ５２は、ＥＥＰＲＯＭのような不揮発性半導体メモリであってよい。
【００２１】
メインメモリ５４には、プログラム５８の実行に関する各種データが格納される。メインメモリ５４は、ＳＲＡＭまたはＤＲＡＭのような揮発性半導体メモリであってよい。
【００２２】
マイコン５０は、プログラムメモリ５２からプログラム５８を読み出して、メインメモリ５４を用いてプログラム５８を実行することにより、ＥＣＵ１２の有する各種機能を実現する。マイコン５０は、通信Ｉ／Ｆ５６およびネットワーク２０を介して、他の機器１０、１４、１６とデータを送受信できてよい。
【００２３】
＜画像生成装置の機能構成＞
図２は、撮像装置１０に含まれる画像生成装置の機能ブロックを示す図である。
【００２４】
イメージセンサ３０は、光電変換素子を備える複数の画素９０（図３参照）が配列されており、各画素９０への入射光を光電変換して得られた信号を出力する。イメージセンサ３０は、例えば、ＣＭＯＳイメージセンサ、またはＣＣＤイメージセンサである。イメージセンサ３０が出力する信号は、アナログまたはデジタルのいずれであってもよい。また、１画素の単位は、例えば白黒ＢＷでの１画素構成でも、カラーＲＧＢでの１画素構成でもよい。
【００２５】
ＤＳＰ３２は、画像生成装置の一実施形態であり、本開示のＤＳＰ３２は、機能として、第１受信部６２と、制御部６０とを有する。第１受信部６２および制御部６０の機能は、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）などの論理回路として実現されてもよいし、プログラムとして実現されてもよい。
【００２６】
第１受信部６２は、走行情報送信装置１４から走行情報１００を受信する。走行情報１００は、走行情報送信装置１４が適宜送信してもよいし、第１受信部６２によって走行情報送信装置１４から適宜取得されてもよい。
【００２７】
制御部６０は、第１受信部６２が受信した走行情報１００に基づいて、イメージセンサ３０の各画素からの信号の読み出しおよびイメージセンサ３０の露光を制御する。制御部６０からイメージセンサ３０への制御信号は伝送路３４を介して伝送され、イメージセンサ３０から制御部６０への画素の信号は伝送路３６を介して伝送されてよい。例えば、制御部６０は、イメージセンサ３０の撮像領域のうち多重露光領域を走行情報１００に基づいて設定し、撮像領域のうちの多重露光領域が多重露光されており、かつ、多重露光領域以外が多重露光されていない画像データ（「多重露光を含む画像データ」と呼ぶ）を生成する。このとき、制御部６０は、イメージセンサ３０の全画素から信号を読み出した場合の画素数よりも小さい画素数の画像データ（より具体的には、走行情報１００に基づいて設定される第１部分領域以外の解像度が、第１部分領域の解像度よりも低い画像データ）を生成してもよい。生成された画像データは、例えば画像処理装置の一実施形態であるＥＣＵ１２へ出力される。
【００２８】
制御部６０は、イメージセンサ３０に配列されている画素の信号を所定の間隔で飛ばし読みすることによって、出力する画像データの画素数を低減してよい。または、制御部６０は、イメージセンサ３０の全画素から信号を読み出して所定の画像圧縮アルゴリズム（例えばＭＰＥＧ）で圧縮することによって、出力する画像データの画素数を低減してもよい。いずれにおいても、ＤＳＰ３２が出力する画像データの画素数は、イメージセンサ３０の全画素から信号を読み出した場合の画素数よりも小さくなる。
【００２９】
制御部６０は、多重露光領域の画素において高速なシャッター速度で複数回撮像された後（この場合シャッターの開閉毎に画素に電荷が蓄積される）、画素から信号を読み出すことによって、多重露光を含む画像データを生成してよい。または、制御部６０は、高速なシャッター速度で撮像された複数の画像データを重ねることによって、多重露光を含む画像データを生成してもよい。多重露光を含む画像データには、移動物体の移動の軌跡に相当するものが撮像される（図１１参照）。なお、シャッターは、イメージセンサ３０の全ての画素が同時のタイミングで受光するグローバルシャッター（全画素同時露光一括読み出し）であってよい。これにより、歪みのない画像データが生成される。
【００３０】
上述の構成によれば、移動物体を適切に撮像することができる。さらに、撮像装置１０とＥＣＵ１２との間の画像データのデータ伝送量（またはデータ伝送レート）を低減することもできる。なお、ＤＳＰ３２から出力される画素数が低減され、かつ、多重露光で撮影された領域を含む画像データ１２０を、「圧縮多重露光画像データ」と呼んでもよい。
【００３１】
ここで、イメージセンサ３０の各画素は複数の区画の何れかに属しており、制御部６０は、第１受信部６２が受信した走行情報１００に基づいて、複数の区画の少なくとも１つを多重露光領域として決定してよい。以下、図３および図４を参照しながら、イメージセンサ３０と区画２００との関係について説明する。
【００３２】
図３は、イメージセンサ３０に対して構成される区画２００を示す図である。
【００３３】
図３は、フルＨＤに相当する横１９２０×縦１０８０（約２０７万）の画素９０が配列されているイメージセンサ３０において、横および縦の画素数をそれぞれ３等分に分割して９つの区画２００を形成する例である。この場合、各区画２００の圧縮前の画素数は横６４０×縦３６０（約２３万）である。なお、本開示では各区画２００の圧縮前の解像度（単位長あたりの画素数）が同じであるが、各区画の圧縮前の画素数は異なってもよい。例えば、図３における中央の区画の画素数が他の区画の画素数よりも大きくなるように、イメージセンサ３０を分割してもよい。
【００３４】
制御部６０は、車両１の進行方向を基準として側方からの光を受光する画素を含む区画を、多重露光領域として決定してよい。進行方向を基準として側方から受ける光とは、車両１の走行路の周辺から受ける光であってよい。走行路の周辺は、少なくとも、自車両１が走行している車線に隣接する車線（追い越し車線、登坂車線または対向車線等）を含んでよい。追い越し車線や対向車線などには移動物体が撮像されやすいため、多重露光で撮像されることが好ましいからである。図３の例の場合、走行路の周辺は、左、右、左下および右下の区画２００Ｌ、２００Ｒ、２００ＬＤ、２００ＲＤであってよい。
【００３５】
図４は、圧縮レベル情報を示す図である。各区画２００が取り得る圧縮レベルは、図４のように、圧縮レベル情報として定義されてよい。圧縮レベルは、圧縮率であってもよいし、圧縮後の画素数であってもよいし、圧縮後の解像度であってもよい。以下、図４の圧縮レベル情報について説明する。
【００３６】
圧縮レベル「１」に決定された区画の画素数（さらに言えば、解像度）は維持される（非圧縮である）。図３の例では、圧縮後の区画の解像度は、横６４０×縦３６０（約２３万画素。「フルＨＤ」相当）となる。
圧縮レベル「２」に決定された区画の画素数（さらに言えば、解像度）は１／２に低減（圧縮）される。図３の例では、圧縮後の区画の解像度は、横６４０×縦１８０または横３２０×縦３６０（約１１．５万画素。「ＨＤ」に相当）となる。
圧縮レベル「３」に決定された区画の画素数は１／４に低減（圧縮）される。図３の例では、圧縮後の区画の解像度は、横３２０×縦１８０（約５．７万画素。「ＨＤ−」相当）となる。
圧縮レベル「４」に決定された区画の画素数は１／４に低減（圧縮）される。図３の例では、圧縮後の区画の解像度は、横６４０×縦９０（約５．７万画素。「ＳＤ＋」相当）となる。
圧縮レベル「５」に決定された区画の画素数は１／８に低減（圧縮）される。図３の例では、圧縮後の区画の解像度は、横３２０×縦９０（約２．８万画素。「ＳＤ」相当）となる。
【００３７】
＜走行情報に基づいて各区画の圧縮レベルを決定する処理＞
図５は、走行情報１００に基づいて決定された各区画２００の圧縮レベルを示す図である。
【００３８】
制御部６０は、第１受信部６２が受信した走行情報１００に基づいて、車両１の走行シーンが、「直進中」、「右旋回中」、「左旋回中」、「上り坂の頂上直前」または「下り坂の底直前」のいずれであるかを判定する。
【００３９】
制御部６０は、走行情報送信装置１４の例である操舵角センサが送信する操舵角を含む走行情報１００に基づいて、車両１の走行シーンが、「直進中」、「右旋回中」または「左旋回中」のいずれであるかを判定してよい。操舵角とは、車両１のステアリングホイールの角度であってよい。例えば、制御部６０は、操舵角が０度から右回転または左回転に所定の第１の角度の範囲内である場合に「直進中」と、操舵角が右回転に第１の角度より大きく所定の第２の角度以下の範囲内である場合に「右旋回中」と、操舵角が左回転に第１の角度より大きく第２の角度以下の範囲内である場合に「左旋回中」と判定してよい。
【００４０】
制御部６０は、走行情報送信装置１４の例であるジャイロセンサが送信するピッチ軸周りの角速度を含む走行情報１００に基づいて、車両１の走行シーンが、「上り坂の頂上直前」または「下り坂の底直前」のいずれであるか、もしくは、いずれでもないかを判定してよい。例えば、制御部６０は、ピッチ軸周りの角速度が車両１の前方への回転を示している場合に「上り坂の頂上直前」と判定し、ピッチ軸周りの角速度が車両１の後方への回転を示している場合に「下り坂の底直前」と判定してよい。
【００４１】
なお、制御部６０は、他の方法によって走行シーンを判定してもよい。例えば、制御部６０は、走行情報送信装置１４の一形態であるナビゲーション装置が送信する車両の走行地点の先方の勾配角を含む走行情報１００に基づいて、車両１の走行シーンが、「上り坂の頂上直前」または「下り坂の底直前」のいずれであるか、もしくは、いずれでもないかを判定してもよい。
【００４２】
＜直進中と判定した場合＞
この場合、制御部６０は、イメージセンサ３０の少なくとも直進方向からの光を受光する画素を含む区画２００を第１部分領域に設定し、この第１部分領域の区画２００の解像度を維持しつつ、第１部分領域以外の少なくとも１つの区画２００の解像度を第１部分領域のそれよりも低くすると決定する。換言すると、制御部６０は、第１部分領域の区画２００の圧縮率（例えば圧縮レベル。以下同じ）が最小となるように、各区画の圧縮率を決定してよい。なぜなら、直進中は、車両１の前方の物体が短時間かつ高精度で検知されることが好ましいからである。
【００４３】
例えば図５の中央に示すように、制御部６０は、第１部分領域としての中央の区画２００Ｃを圧縮レベル「１」に、第１部分領域以外の左、右および下の区画２００Ｌ、２００Ｒ、２００Ｄを圧縮レベル「２」に、左下および右下の区画２００ＬＤ、２００ＲＤを圧縮レベル「３」に、上の区画２００Ｕを圧縮レベル「４」に、左上および右上の区画２００ＬＵ、２００ＲＵを圧縮レベル「５」に決定してよい。左上および右上の区画２００ＬＵ、２００ＲＵの圧縮レベルを高くしている（つまり画素数を小さくしている）理由は、直進中、当該区画２００ＬＵ、２００ＲＵにはほとんど空やトンネルの天井などが撮像され、当該区画２００ＬＵ、２００ＲＵにおける物体検知の重要性が低いからである。
【００４４】
また、制御部６０は、直進中と判定した場合、少なくとも直進方向からの光を受光する画素を含む区画を、多重露光領域とする区画から除外してよい。例えば、図５の中央に示すように、制御部６０は、中央の区画２００Ｃを多重露光領域とする区画から除外し、走行路の周辺に相当する、左、右、左下および右下の区画２００Ｌ、２００Ｒ、２００ＬＵ、２００ＲＵを多重露光領域とする区画に決定してよい。図５の中央において、左の多重露光領域の区画２００Ｌには、左隣の車線を走行している他の車両３０２の移動の軌跡に相当するもの（３０２Ａ、３０２Ｂ、３０２Ｃ）が撮像されている。また、右の多重露光領域の区画２００Ｒには、対向車線を走行している他の車両３０４の移動の軌跡に相当するもの（３０４Ａ、３０４Ｂ、３０４Ｃ）が撮像されている。これにより、自車両１が直進中に、自車両１の左方および右方から高速で近づく他の車両を検出することができる。また、中央の区画２００Ｃを多重露光領域とせず高解像度としている理由は、前方の他の車両が高速で近づく可能性は小さく、画像の高速追従性を高めるよりも、解像度を高める方が好ましいからである。
【００４５】
＜右旋回中と判定した場合＞
この場合、制御部６０は、車両１の旋回方向（右方）からの光を受光する画素９０を含む少なくとも１つの区画２００を第１部分領域に設定し、この第１部分領域の区画２００の解像度を維持しつつ、第１部分領域以外の少なくとも１つの区画２００の解像度を第１部分領域のそれよりも低くすると決定する。換言すると、制御部６０は、第１部分領域の区画２００の圧縮率が最小となるように、各区画２００の圧縮率を決定してよい。なぜなら、右旋回中は、車両１の右前方の物体が短時間かつ高精度で検知されることが好ましいからである。
【００４６】
例えば図５の右側に示すように、制御部６０は、第１部分領域としての右の区画２００Ｒを圧縮レベル「１」に、第１部分領域以外の中央、右下および左の区画２００Ｃ、２００ＲＤ、２００Ｌを圧縮レベル「２」に、下および左下の区画２００Ｄ、２００ＬＤを圧縮レベル「３」に、右上の区画２００ＲＵを圧縮レベル「４」に、上および左上の区画２００Ｕ、２００ＬＵを圧縮レベル「５」に決定してよい。
【００４７】
また、制御部６０は、旋回中（右方）と判定した場合、車両の旋回先の方向（右前方）からの光を受光する画素を含む区画を、多重露光領域とする区画から除外してよい。例えば、図５の右側に示すように、制御部６０は、右の区画２００Ｒを多重露光領域とする区画から除外し、左および左下の区画２００Ｌ、２００ＬＵを多重露光領域とする区画に決定してよい。これにより、自車両１が右旋回中（または右折中）に、自車両１の左前方から高速で近づく他の車両（対向車線の車両や飛び出してくる車両など）を検出することができる。
【００４８】
＜左旋回中と判定した場合＞
この場合、制御部６０は、車両１の旋回方向（左方）からの光を受光する画素９０を含む少なくとも１つの区画２００を第１部分領域に設定し、この第１部分領域の区画２００の解像度を維持しつつ、第１部分領域以外の少なくとも一つの区画２００の解像度を第１部分領域のそれよりも低くすると決定する。換言すると、制御部６０は、第１部分領域の区画２００の圧縮率が最小となるように、各区画２００の圧縮率を決定してよい。なぜなら、左旋回中は、車両１の左前方の物体が短時間かつ高精度で検知されることが好ましいからである。
【００４９】
例えば図５の左側に示すように、制御部６０は、第１部分領域としての左の区画２００Ｌを圧縮レベル「１」に、第１部分領域以外の中央、左下および右の区画２００Ｃ、２００ＬＤ、２００Ｒを圧縮レベル「２」に、下および右下の区画２００Ｄ、２００ＲＤを圧縮レベル「３」に、左上の区画２００ＬＵを圧縮レベル「４」に、上および右上の区画２００Ｕ、２００ＲＵを圧縮レベル「５」に決定してよい。
【００５０】
また、制御部６０は、旋回中（左方）と判定した場合、複数の画素の内、車両の旋回先の方向（左前方）からの光を受光する画素を含む区画を、多重露光領域とする区画から除外してよい。例えば、図５の左側に示すように、制御部６０は、左の区画２００Ｌを多重露光領域とする区画から除外し、右および右下の区画２００Ｒ、２００ＲＵを多重露光領域とする区画に決定してよい。これにより、自車両１が左旋回中（または左折中）に、自車両１の右前方から高速で近づく他の車両（対向車線の車両や飛び出してくる車両など）を検出することができる。
【００５１】
＜上り坂の頂上直前を走行中と判定した場合＞
この場合、制御部６０は、車両１の進行方向に対し斜め下方からの光を受光する画素９０を含む少なくとも１つの区画２００を第１部分領域に設定し、この第１部分領域の区画２００の解像度を維持しつつ、第１部分領域以外の少なくとも１つの区画２００の解像度を第１部分領域のそれよりも低くすると決定する。換言すると、制御部６０は、第１部分領域の区画２００の圧縮率が最小となるように、各区画２００の圧縮率を決定してよい。なぜなら、上り坂の頂上直前を走行中は、車両１の進行方向に対し斜め下方の物体が短時間かつ高精度で検知されることが好ましいからである。
【００５２】
例えば図５の上側に示すように、制御部６０は、第１部分領域としての下の区画２００Ｄを圧縮レベル「１」に、第１部分領域以外の中央、左下および右下の区画２００Ｃ、２００ＬＤ、２００ＲＤを圧縮レベル「２」に、左および右の区画２００Ｌ、２００Ｒを圧縮レベル「３」に、上の区画２００Ｕを圧縮レベル「４」に、左上および右上の区画２００ＬＵ、２００ＲＵを圧縮レベル「５」に決定してよい。
【００５３】
また、制御部６０は、上り坂の頂上直前と判定した場合、少なくとも直進方向からの光を受光する画素を含む区画を、多重露光領域とする区画から除外してよい。例えば、図５の上側に示すように、制御部６０は、上の区画２００Ｕを多重露光領域とする区画から除外し、左、右、左下および右下の区画２００Ｌ、２００Ｒ、２００ＬＵ、２００ＲＵを多重露光領域とする区画に決定してよい。
【００５４】
＜下り坂の底直前を走行中と判定した場合＞
この場合、制御部６０は、車両１の進行方向に対し斜め上方からの光を受光する画素９０を含む少なくとも１つの区画２００を第１部分領域に設定し、この第１部分領域の区画２００の解像度を維持しつつ、第１部分領域以外の少なくとも一つの区画２００の解像度を第１部分領域のそれよりも低くすると決定する。換言すると、制御部６０は、第１部分領域の区画２００の圧縮率が最小となるように、各区画２００の圧縮率を決定してよい。なぜなら、下り坂の底直前を走行中は、車両１の進行方向に対し斜め上方の物体が短時間かつ高精度で検知されることが好ましいからである。
【００５５】
例えば図５の下側に示すように、制御部６０は、第１部分領域としての上の区画２００Ｕを圧縮レベル「１」に、第１部分領域以外の中央、左上および右上の区画２００Ｃ、２００ＬＵ、２００ＲＵを圧縮レベル「２」に、左および右の区画２００Ｌ、２００Ｒを圧縮レベル「３」に、下の区画２００Ｄを圧縮レベル「４」に、左下および右下の区画２００ＬＤ、２００ＲＤを圧縮レベル「５」に決定してよい。
【００５６】
また、制御部６０は、下り坂の底直前と判定した場合、少なくとも直進方向からの光を受光する画素を含む区画を、多重露光領域とする区画から除外してよい。例えば、図５の下側に示すように、制御部６０は、下の区画２００Ｄを多重露光領域とする区画から除外し、左、右、左下および右下の区画２００Ｌ、２００Ｒ、２００ＬＵ、２００ＲＵを多重露光領域とする区画に決定してよい。
【００５７】
上記の通り、制御部６０は、自身が決定した各区画の圧縮レベルに従って、イメージセンサ３０に配列される各画素の信号を、内蔵のメモリに読み出す。具体的には、第１部分領域としての圧縮レベル「１」の区画２００に属する画素については、読み飛ばしは行われない。第１部分領域以外としての圧縮レベル「２」の区画２００に属する画素については、横方向および縦方向のいずれか一方における２個の画素の１つが読み出される。第１部分領域以外としての圧縮レベル「３」，「４」の区画２００に属する画素については、横方向および縦方向の両方向における２個の画素の１つが読み出される。第１部分領域以外としての圧縮レベル「５」の区画２００に属する画素については、横方向および縦方向のいずれか一方における２個の画素の１つが読み出されると共に、いずれか他方における４画素のうち１つが読み出される。このような手法で読み出された画素の信号が、制御部６０のメモリに読み出されて、圧縮多重露光画像データが生成される。この圧縮多重露光画像データは、制御部６０の制御下で、メモリからネットワーク２０を介して画像処理装置１２に送信される。なお、本実施形態では、内蔵メモリに読み出す構成を示したが、イメージセンサの画素出力を選択するような構成にして、圧縮した出力を直接読み出す構成にしてもよい。
【００５８】
なお、制御部６０は、第１部分領域とする区画を、多重露光領域とする区画から除外してもよい。換言すると、制御部６０は、第１部分領域以外の区画の中から、多重露光領域とする区画を決定してよい。なぜなら、後述の物体検出部７４の構成次第ではあるが、多重露光が、高解像度化による物体検出の精度向上を阻害する可能性があるからである。
【００５９】
制御部６０が多重露光領域の区画の画像データをメモリ上で多重することにより、当該メモリに圧縮多重露光画像データが生成されてもよい。したがって、圧縮多重露光画像データにおいて、多重露光領域以外の区画は１回のシャッターによって撮像された画像に相当し、多重露光領域の区画は２回以上のシャッターによって撮像された複数の画像が重複された画像に相当する。圧縮多重露光画像データは、制御部６０の制御下で、メモリからネットワーク２０を介して画像処理装置１２に送信される。
【００６０】
図６は、走行情報に基づいて決定された画像フォーマット情報を示す図である。
【００６１】
制御部６０は、圧縮多重露光画像データを出力する際に、各区画２００の解像度に関する情報を含む画像フォーマット情報も合わせて出力する。すなわち、画像フォーマット情報は、当該出力を受信する画像処理部が圧縮多重露光画像データを正しく伸長するために必要な情報を含む。これにより、出力された圧縮多重露光画像データを受信するＥＣＵ１２が、解像度の異なる各区画２００の画像データを適切に結合して１つの結合画像データを生成することができる。なお、画像フォーマット情報は、圧縮多重露光画像データの出力信号のブランキング期間（好ましくは垂直ブランキング期間）に、ＤＳＰ３２から送出されてよい。
【００６２】
例えは、画像フォーマット情報は、図６に示すように、イメージセンサ３０から得られる圧縮前の画像データの総解像度と、圧縮後の画像データの総解像度と、縦方向および横方向における区画数と、各区画における横方向解像度および縦方向解像度と、を含んでよい。
【００６３】
圧縮前の総解像度は、圧縮前の画像データの解像度（横の解像度×縦の解像度）を示す。図５の場合、圧縮前の解像度は「横１９２０×縦１０８０」となる。
【００６４】
圧縮後の総解像度は、圧縮後の画像データの解像度（横の解像度×縦の解像度）を示す。図５の場合、圧縮後の画像データの解像度は「横１２８０×縦６３０」となる。
【００６５】
縦方向および横方向における区画数は、区画２００の行列（区画の横の数×区画の縦の数）を示す。図５の場合、区画行列は「３×３」となる。
【００６６】
横方向における解像度は、圧縮後の横の解像度に対する各区画の横の解像度を示す。図５の場合、横方向における解像度は、走行情報の判定結果によって変化し得る。
【００６７】
縦方向における解像度は、圧縮後の縦の解像度に対する各区画の縦の解像度を示す。図５の場合、縦方向における解像度は、走行情報の判定結果によって変化し得る。
【００６８】
＜直進中と判定した場合＞
この場合、例えば図６の中央に示すように、制御部６０は、横方向における各区画の解像度を左から右へ「３２０、６４０、３２０」、縦方向における各区画の解像度を上から下へ「９０、３６０、１８０」としてよい。
【００６９】
＜右旋回中と判定した場合＞
この場合、例えば図６の右側に示すように、制御部６０は、横方向における各区画の解像度を左から右へ「３２０、３２０、６４０」、縦方向における各区画の解像度を上から下へ「９０、３６０、１８０」としてよい。
【００７０】
＜左旋回中と判定した場合＞
この場合、例えば図６の左側に示すように、制御部６０は、横方向における各区画の解像度を左から右へ「６４０、３２０、３２０」、縦方向における各区画の解像度を上から下へ「９０、３６０、１８０」としてよい。
【００７１】
＜上り坂の頂上直前を走行中と判定した場合＞
この場合、例えば図６の上側に示すように、制御部６０は、横方向における各区画の解像度を左から右へ「３２０、６４０、３２０」、縦方向における解像度を上から下へ「９０、１８０、３６０」としてよい。
【００７２】
＜下り坂の底直前を走行中と判定した場合＞
この場合、例えば図６の下側に示すように、制御部６０は、横方向における解像度を左から右へ「３２０、６４０、３２０」、縦方向における各区画の解像度を上から下へ「３６０、１８０、９０」としてよい。
【００７３】
なお、制御部６０は、多重露光領域の区画を識別可能とする所定の情報を、画像フォーマット情報に含めてもよい。
【００７４】
＜その他の走行状態＞
制御部６０は、走行情報送信装置１４の一形態である方向指示器が送信する指示方向を含む走行情報１００に基づいて、車両１の走行状態が「右折中」または「左折中」であるかを判定してもよい。右折中と判定した場合、制御部６０は、上記の右旋回中と判定した場合と同様の処理を行ってよい。左折中と判定した場合、制御部６０は、上記の左旋回中と判定した場合と同様の処理を行ってよい。
【００７５】
＜圧縮レベルの決定条件＞
制御部６０は、自身のメモリに、圧縮多重露光画像データを複数フレーム展開するが、これら複数フレームの圧縮多重露光画像データの総解像度が互いに同じなるように、各区画２００の圧縮率を決定してよい。例えば、制御部６０は、出力される全ての圧縮画像フレームにおいて、図６の例における圧縮後の解像度が同じになるように、各区画の圧縮率（または横方向における解像度および縦方向における解像度）を決定してよい。
【００７６】
図５の全ての走行状態において、制御部６０は、走行シーンが変化しても、９個の区画２００のうち、１つの区画２００を圧縮レベル「１」に、３つの区画２００を圧縮レベル「２」に、２つの区画２００を圧縮レベル「３」に、１つの区画２００を圧縮レベル「４」に、２つの区画２００を圧縮レベル「５」に決定している。すなわち、制御部６０は、出力される圧縮画像フレームの総解像度が、いずれの時点においても横１２８０×縦６３０（約８１万画素）となるように、各画像の圧縮レベルを決定している。これにより、制御部６０から出力される圧縮画像フレームに係るデータ伝送レートが一定となる。よって、圧縮画像フレームを受信して処理する画像処理装置（ＥＣＵ１２）側の処理負荷を軽減したり、構成を簡易にしたりすることができる。
【００７７】
＜画像処理装置の機能構成＞
図７は、画像処理装置の機能ブロックを示す図である。
【００７８】
画像処理装置の例であるＥＣＵ１２は、機能として、第２受信部７０と、画像処理部７２と、物体検出部７４と、センサ制御部７６とを有してよい。
【００７９】
＜第２受信部＞
第２受信部７０は、撮像装置１０のＤＳＰ３２に備わるメモリの圧縮多重露光画像データ１２０および画像フォーマット情報１４０を、ネットワーク２０を介して受信する。なお、第２受信部７０は、画像圧縮データ１２０および画像フォーマット情報１４０を、メモリを介さず、ＤＳＰ３２から直接受信してもよい。また、ＥＣＵ１２とＤＳＰ３２とが一体に構成されている場合、画像処理部７２は第２受信部７０を有さなくてもよい。
【００８０】
＜画像処理部＞
画像処理部７２は、第２受信部７０が受信した画像フォーマット情報１４０に基づいて、第２受信部７０が受信した圧縮多重露光画像データ１２０各区画２００の解像度を変換する。
【００８１】
例えば、画像処理部７２は、解像度が横３２０×縦１８０に圧縮されている区画２００について、解像度の横および縦をそれぞれ２倍に大きくし、非圧縮の区画２００の解像度と同じ横６４０×縦３６０の画像データを生成する。画像処理部７２は、他の圧縮されている区画２００についても同様の処理によって横６４０×縦３６０の解像度の画像データを生成する。そして、画像処理部７２は、これら生成した画像データを結合することにより、元のフルＨＤに相当する横１９２０×縦１０８０の解像度の結合画像データを生成する。なお、解像度を大きくする処理を「伸長処理」と呼んでもよい。
【００８２】
画像処理部７２は、圧縮多重露光画像データの解像度を大きくする（つまり画素数を増やす）際に、いわゆる超解像技術を用いて画素を補完してもよい。
【００８３】
＜物体検出部＞
物体検出部７４は、画像処理部７２によって生成された結合多重露光画像データから、例えばエッジ抽出処理などによって、所定の物体を検出する。所定の物体とは、他の車両、歩行者または標識など、車両１の走行に関連する物体であってよい。物体検出部７４は、多重露光領域の区画の画像データからは、多重露光で移動物体を撮像したときの画像パターン（例えば移動物体の軌跡パターン）に基づいて物体を検出してよい。
【００８４】
画像処理部７２によって生成された結合画像データは、ＤＳＰ３２の制御部６０の処理によって、走行情報１００に基づいて比較的重要と判定された区画２００については画質の劣化が無いか（非圧縮）小さく（低圧縮に）なっている。したがって、物体検出部７４は、より短時間で高精度に物体を検出し得る。例えば、単純に圧縮された画像データの場合、物体の検出に複数の結合画像フレーム（つまり長時間）を要するところ、本開示に係る画像データは、比較的重要性の高い区画２００の画質が高いので、１つの画像フレームから物体を検出できる可能性が高くなる。
【００８５】
さらに、画像処理部７２によって生成された結合画像データは、ＤＳＰ３２の制御部６０の処理によって、走行情報１００に基づいて移動物体が撮像されやすい区画２００が多重露光の画像になっている。したがって、物体検出部７４は、移動物体をより短時間で検出し得る。例えば、単純に撮像された画像データの場合、移動物体の検出に複数の結合画像フレーム（つまり長時間）を要するところ、本開示に係る画像データは、比較的移動物体が撮像されやすい区画２００は多重露光の画像になっているので、１つの画像フレームから（つまり短時間で）移動物体を検出できる可能性が高い。
【００８６】
＜センサ制御部＞
図８は、物体の検知結果に基づくセンシング方法の変更を示す図である。
【００８７】
センサ制御部７６は、物体検出部７４による物体の検出結果に応じて、アクティブセンサ１６のセンシング方法を変更する。例えば、センサ制御部７６は、アクティブセンサ１６を制御するためのセンサ制御コマンド２１０を当該アクティブセンサ１６に送信し、アクティブセンサ１６センシング方法を変更する。上述のとおり、本開示に係る物体検出部７４は、より短時間で高精度に物体を検出し得るので、センサ制御部７６もまた、より短時間で高精度に適切なセンサ制御コマンド２１０を送信し得る。
【００８８】
図８は、アクティブセンサ１６が、ミリ波３００（レーザー光でもよい）を照射して自車両１と物体との間の距離を測定する距離測定センサの場合の例である。図８の例の結合画像データは、中心の区画２０１Ｃが高解像度の画像であり、左の区画２０１Ｌが多重露光の画像である。物体検出部７６は、結合多重露光画像データから、中心の区画２０１Ｃ（つまり自車両１の前方）と、左の区画２０１Ｌ（つまり自車両１の左方）との両方に他の車両３０２、３０６を検出する。
【００８９】
センサ制御部７６には、高解像度の区画２０１Ｃと多重露光領域の区画２０１Ｌとの何れを重視するかが設定されてよい。図８の例において、高解像度の区画２０１Ｃを重視する設定の場合、センサ制御部７６は、アクティブセンサ１６に対して、ミリ波３００の照射方向を前方向に変更する旨のセンサ制御コマンド２１０を送信してよい。これにより、ＥＣＵ１２は、より短時間で、自車両１と移動車両３０６との間の距離を測定することができる。多重露光領域の区画２０１Ｌを重視する設定の場合、センサ制御部７６は、アクティブセンサ１６に対して、ミリ波３００の照射方向を左方向に変更する旨のセンサ制御コマンド２１０を送信してよい。これにより、ＥＣＵ１２は、より短時間で自車両１と移動車両３０２との間の距離を測定することができる。
【００９０】
＜側方の撮像装置に対する適用例＞
図９は、側方の撮像装置に対して多重露光領域を設定する例を示す図である。
【００９１】
車両１の前側方または後側方を撮像するように設置された撮像装置１０のイメージセンサ３０に対して、制御部６０は、自車両１から比較的遠い領域（例えば自車両１から所定の距離以上の領域）を撮像する区画４０１を、多重露光領域とする区画から除外してよい。
【００９２】
例えば、図９は、車両１の左側に設置された撮像装置１０が後方を撮像した左側画像４００Ｌと、車両１の右側に設置された撮像装置１０が後方を撮像した右側画像４００Ｒとを示す。この場合、制御部６０は、左側画像４００Ｌに対して、自車両１から比較的遠い右の区画４０１Ｒを多重露光領域とする区画から除外し、自車両１から比較的近い左および左下の区画４０１Ｌ、４０１ＬＵを多重露光領域としてよい。同様に、制御部６０は、右側画像４００Ｒに対して、自車両１から比較的遠い左の区画４０２Ｌを多重露光領域とする区画から除外し、自車両１から比較的近い右および右下の区画４０２Ｒ、４０２ＲＵを多重露光領域としてよい。
【００９３】
＜サラウンドビューの撮像装置に対する適用例＞
図１０は、サラウンドビューカメラに対して多重露光領域を設定する例を示す図である。
【００９４】
車両１のサラウンドビュー画像を生成可能なように車両１に設置された複数の撮像装置１０のイメージセンサ３０に対して、制御部６０は、サラウンドビュー画像が生成されたときに自車両１の周辺が撮像される区画の中から、多重露光領域とする区画を決定してよい。
【００９５】
例えば、図１０は、車両１の左側に設置された撮像装置１０が左下方を撮像した左下画像５００Ｌと、車両１の右側に設置された撮像装置１０が右下方を撮像した右下画像５００Ｒと、車両１の前側に設置された撮像装置１０が前下方を撮像した前下画像５００Ｕと、車両１の後側に設置された撮像装置１０が後下方を撮像した後下画像５００Ｄとを示す。さらに、図１０は、それらの画像に基づいて生成されたサラウンドビュー画像５２０を示す。この場合、制御部６０は、左下画像５００Ｌの、左、左下、左上、右、右下および右上の区画５０１Ｌ、５０１ＬＤ、５０１ＬＵ、５０１Ｒ、５０１ＲＤ、５０１ＲＵを、多重露光領域とする区画に決定してよい。また、制御部６０は、右下画像５００Ｒについても同様に、区画５０２Ｌ、５０２ＬＤ、５０２ＬＵ、５０２Ｒ、５０２ＲＤ、５０２ＲＵを、多重露光領域とする区画を決定してよい。また、制御部６０は、前下画像５００Ｕの、左、左下、右および右下の区画５０３Ｌ、５０３ＬＤ、５０３Ｒ、５０３ＲＤを、多重露光領域とする区画に決定してよい。また、制御部６０は、後下画像５００Ｄの、左上および右上の区画５０４ＬＵ、５０４ＲＵを、多重露光領域とする区画に決定してよい。
【００９６】
アクティブセンサ１６の一例としてＴＯＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）センサが挙げられる。ＴＯＦセンサは、照射波の送信タイミングと、当該照射波が物体で反射された波である反射波の受信タイミングとの時間差（または位相差）に基づいて、当該物体までの距離を測定するセンサである。したがって、ＴＯＦセンサを用いて、図１０の例における車両１と他の車両３０２との間の距離を測定してもよい。なお、ＴＯＦセンサの受光を直接イメージセンサ３０で受光して距離を計測する構成にしてもよい。また、本開示の画像生成装置３２（カメラシステム）は、ステレオカメラへの適用が可能である。
【００９７】
＜付記＞
図１１は、本開示の画像生成装置および画像処理装置のハードウェア構成の変形例を示す図である。
【００９８】
図１１の例に示すように、画像生成装置（ＤＳＰ）３２は、撮像装置１０の外部に配置されてもよい。また、画像生成装置（ＤＳＰ）３２と画像処理装置（ＥＣＵ）１２とは１つの装置（チップ）であってもよい。また、上述の実施形態は、画像生成装置（ＤＳＰ）３２と画像処理装置（ＥＣＵ）１２とを含む画像処理システム１１によって実現されてもよい。また、画像生成装置３２の制御部６０および画像処理装置１２の各構成はそれぞれコンピュータプログラムで実現されても良い。コンピュータプログラムは、ＤＶＤ等のような配布媒体に格納されて提供されても良いし、ネットワークを介してダウンロード可能にネットワーク上のサーバ装置に格納されても良い。
【００９９】
＜注釈＞
その他、上記実施形態および各変形例は、何れも本発明の実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【産業上の利用可能性】
【０１００】
本発明に係る画像生成装置、画像生成方法、プログラムおよび記録媒体は、高速な移動物体を適切に撮像可能であり、撮像装置または車載機器等への利用に好適である。
【符号の説明】
【０１０１】
１  車両
１０  撮像装置
１２  画像処理装置
１４  走行情報送信装置
１６  アクティブセンサ
３０  イメージセンサ
３２  画像生成装置
６０  制御部
６２  第１受信部
７０  第２受信部
７２  画像処理部
７４  物体検出部
７６  センサ制御部
１００  走行情報
１２０  圧縮多重露光画像データ
１４０  画像フォーマット情報
２００  区画
【図１】
2018056882.tif 000003
【図２】
2018056882.tif 000004
【図３】
2018056882.tif 000005
【図４】
2018056882.tif 000006
【図５】
2018056882.tif 000007
【図６】
2018056882.tif 000008
【図７】
2018056882.tif 000009
【図８】
2018056882.tif 000010
【図９】
2018056882.tif 000011
【図１０】
2018056882.tif 000012
【図１１】
2018056882.tif 000013