(57)【要約】      （修正有）【課題】車載カメラで撮像された画像データを適切に圧縮する画像生成装置と画像生成装置が圧縮した画像データを処理する画像処理装置を提供する。【解決手段】画像生成装置が、車両の走行状態に関する走行情報１００を受信する第１受信部６２と、前記車両において用いられるイメージセンサ３０の撮像領域のうち第１部分領域を走行情報に基づいて設定し、撮像領域のうち第１部分領域以外の領域の解像度が、第１部分領域の解像度よりも低い画像データを生成する制御部６０と、を備えている。【選択図】図２
2018056838.tif 000002
【特許請求の範囲】
【請求項１】
車両の走行状態に関する走行情報を受信する第１受信部と、
前記車両において用いられるイメージセンサの撮像領域のうち第１部分領域を前記走行情報に基づいて設定し、前記撮像領域のうち前記第１部分領域以外の領域の解像度が、前記第１部分領域の解像度よりも低い画像データを生成する制御部と、
を備えた画像生成装置。
【請求項２】
前記イメージセンサは、予め定められた複数の区画の何れかに属する複数の画素を有し、
前記制御部は、前記走行情報に基づいて、前記第１部分領域以外の少なくとも一部の解像度が前記第１部分領域の解像度よりも小さくなるように各区画の解像度を決定し、前記第１部分領域以外の少なくとも１つの区画の解像度が、前記第１部分領域の区画の解像度よりも低い画像データを生成する、
請求項１に記載の画像生成装置。
【請求項３】
前記制御部は、前記走行情報から前記車両が直進中と判定した場合、前記複数の画素の内、少なくとも直進方向からの光を受光する画素を含む区画を前記第１部分領域に設定する
請求項２に記載の画像生成装置。
【請求項４】
前記制御部は、前記走行情報から前記車両が旋回中と判定した場合、前記複数の画素の内、前記車両の旋回方向からの光を受光する画素を含む区画を前記第１部分領域に設定する
請求項２に記載の画像生成装置。
【請求項５】
前記制御部は、前記走行情報から前記車両が上り坂の頂上および下り坂の底のいずれか一方の直前に到達したと判定した場合、前記複数の画素の内、前記車両の斜め下方および斜め上方の一方からの光を受光する画素を含む区画を前記第１部分領域に設定する
請求項２に記載の画像生成装置。
【請求項６】
前記制御部は、画像データを複数フレーム展開し、前記複数フレームの画像データの総解像度は互いに同じである、
請求項１に記載の画像生成装置。
【請求項７】
前記制御部は、前記画像データの画像フォーマット情報をさらに生成し、
前記画像フォーマット情報は、前記イメージセンサからの画像の解像度、前記画像データの解像度、前記複数の区画の総数、および、前記複数の区画それぞれの解像度を少なくとも含む、
請求項２に記載の画像生成装置。
【請求項８】
前記請求項７に記載の前記画像フォーマット情報に基づいて、前記画像データの解像度を変換する画像処理部をさらに備える、
画像処理システム。
【請求項９】
前記画像フォーマット情報は、前記画像データの垂直ブランキング期間に前記画像生成装置から伝送路に送出される
請求項８に記載の画像処理システム。
【請求項１０】
前記画像データにおいて、少なくとも２つの区画は、互いに異なる第１解像度と第２解像度とを有し、
前記画像処理部は、前記画像データにおける所定の特徴部分を強調する画像処理を行った後に、前記画像データの各区画を、前記第１解像度および第２解像度の中間値を有する中間解像度に変換する、
請求項９に記載の画像処理システム。
【請求項１１】
前記画像処理部は、前記複数の区画の解像度に応じてディープラーニング層を構成しており、前記車両の走行情報に基づき、少なくとも、前記複数の区画のそれぞれの解像度の変化を学習して、前記ディープラーニング層を最適化しつつ、前記画像フォーマット情報に基づき、前記画像データの解像度を変換する
請求項８に記載の画像処理システム。
【請求項１２】
前記画像処理部は、所定波を出射後に自身に戻ってきた戻り波に基づき、周囲の物体を検出するアクティブセンサと通信可能に接続され、
前記画像処理部は、自身が解像度を変換した画像データから所定の物体を検出すると、検出結果に基づき、前記アクティブセンサを制御する、
請求項８に記載の画像処理システム。
【請求項１３】
車両の走行状態に関する走行情報を受信するステップと、
前記車両において用いられるイメージセンサの撮像領域のうち第１部分領域を前記走行情報に基づいて設定し、前記撮像領域のうち前記第１部分領域以外の領域の解像度が、前記第１部分領域の解像度よりも低い画像データを生成するステップと、
を備えた画像生成方法。
【請求項１４】
コンピュータに、
車両の走行状態に関する走行情報を受信するステップと、
前記車両において用いられるイメージセンサの撮像領域のうち第１部分領域を前記走行情報に基づいて設定し、前記撮像領域のうち前記第１部分領域以外の領域の解像度が、前記第１部分領域の解像度よりも低い画像データを生成するステップと、
を実行させるプログラム。
【請求項１５】
コンピュータに、
車両の走行状態に関する走行情報を受信するステップと、
前記車両において用いられるイメージセンサの撮像領域のうち第１部分領域を前記走行情報に基づいて設定し、前記撮像領域のうち前記第１部分領域以外の領域の解像度が、前記第１部分領域の解像度よりも低い画像データを生成するステップと、
を実行させるプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像生成装置、画像生成方法、プログラムおよび記録媒体、並びに、画像処理システムに関する。
【背景技術】
【０００２】
車載カメラによって撮像された画像データから対象物を検出する技術、および、当該画像データを低減する技術が知られている。特許文献１に開示されている画像処理装置は、画像取得部と、領域設定部と、処理部とを有する。画像取得部は、赤外線画像データを取得する。領域設定部は、画像取得部により取得された赤外線画像データに基づく画像領域に対して、画像領域を複数の領域に分割する境界線を設定し、境界線によって分割された複数の領域のうちの少なくとも１つの領域を画素密度変更領域に設定する。処理部は、画素密度変更領域の赤外線画像データの画素密度を低減する処理を行い、画素密度変更領域を含む画像領域の赤外線画像データに基づいて対象物の検出処理を行い、検出処理の結果に基づいて表示用画像データを生成する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−４１４８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１には、複数の画像領域のうちの少なくとも１つの領域の画素密度変更領域に設定することが開示されている。しかし、車載カメラによって撮像される画像データは車両の走行に応じて時々刻々と変化するため、画素密度変更領域に設定された領域の画素密度を低減することが不適切になってしまうことも多い。
【０００５】
本開示の目的は、車載カメラで撮像された画像データを適切に圧縮する画像生成装置を提供することにある。また、本開示の他の目的は、前述の画像生成装置が圧縮した画像データを処理する画像処理装置を提供することにある。
【課題を解決するための手段】
【０００６】
本開示の一形態は、
車両の走行状態に関する走行情報を受信する第１受信部と、
車両において用いられるイメージセンサの撮像領域のうち第１部分領域を走行情報に基づいて設定し、撮像領域のうち第１部分領域以外の領域の解像度が、第１部分領域の解像度よりも低い画像データを生成する制御部と、
を備えた画像生成装置に向けられる。
【０００７】
上記一形態は、方法、プログラムおよびプログラムを記録した一時的でない有形の記録媒体のいずれかであっても良い。
【０００８】
また、本開示の他の形態は、
上記画像生成装置に係る画像フォーマット情報に基づいて、画像データの解像度を変換する画像処理部をさらに備える、
画像処理システムに向けられる。
【発明の効果】
【０００９】
本開示によれば、車載カメラで撮像された画像データを適切に圧縮する画像生成装置を提供することができる。また、前述の画像生成装置が圧縮した画像データを処理する画像処理システムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本開示の画像生成装置および画像処理装置のハードウェア構成と、その周辺構成を示す図。
【図２】撮像装置に含まれる画像生成装置の機能ブロックを示す図。
【図３】イメージセンサに対して構成される区画を模式的に示す図。
【図４】圧縮レベル情報を示す図。
【図５】走行情報に基づいて決定された各区画の圧縮レベルを示す図。
【図６】走行情報に基づいて決定された画像フォーマット情報を示す図。
【図７】画像処理装置の機能ブロックを示す図。
【図８】解像度を変換する処理の変形例を説明する図。
【図９】ディープラーニング層の構成例を示す図。
【図１０】物体の検知結果に基づくセンシング方法の変更を示す図。
【図１１】イメージセンサに対して構成される区画の変形例を示す図。
【図１２】本開示の画像生成装置および画像処理装置のハードウェア構成の変形例を示す図。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら、実施形態を説明する。
【００１２】
なお、同種の要素を区別して説明する場合には、「区画２００Ｌ」、「区画２００Ｒ」のように参照符号を使用し、同種の要素を区別しないで説明する場合には、「区画２００」のように参照符号のうちの共通番号のみを使用することがある。
【００１３】
また、以下の実施形態において、その構成要素（要素ステップなどを含む）は、特に明示した場合及び原理的に明らかに必須であると考えられる場合などを除き、必ずしも必須のものではない。
【００１４】
＜全体構成＞
図１は、本開示の画像生成装置および画像処理装置のハードウェア構成と、その周辺構成を示す図である。
【００１５】
車両１には、本開示の画像生成装置３２を含む撮像装置１０、本開示の画像処理装置１２の一実施形態としてのＥＣＵ１２、走行情報送信装置１４、およびアクティブセンサ１６が、ネットワーク２０を介して接続される。ネットワーク２０は、例えば、主に制御信号の伝送に用いられるＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、および、主にマルチメディアに関する信号の伝送に用いられるＭＯＳＴ（Ｍｅｄｉａ  Ｏｒｉｅｎｔｅｄ  Ｓｙｓｔｅｍｓ  Ｔｒａｎｓｐｏｒｔ）やＩＤＢ−１３９４の組み合わせで構成されうる。なお、車両１は、必ずしも装置１０乃至１６の全てを備える必要はなく、一部の装置のみを備えてもよい。また、１対１接続の場合、ＬＶＤＳ（Ｌｏｗ  ｖｏｌｔａｇｅ  ｄｉｆｆｅｒｅｎｔｉａｌ  ｓｉｇｎａｌｉｎｇ）などのシリアルインターフェースで接続してもよい。
【００１６】
撮像装置１０は、車両１に搭載され、車両１の周囲（典型的には前方）を撮像する装置である。撮像装置１０は、イメージセンサ３０と、本開示の画像生成装置３２の一実施形態としてのＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）３２とを有する。イメージセンサ３０から出力される画素信号は、所定の伝送路３４を介してＤＳＰ３２へ入力される。なお、通常、イメージセンサ３０がアナログの画像信号をＤＳＰ３２へ送信する場合、これらの間には、通常、ＡＤＣ（Ａｎａｌｏｇ  ｔｏ  Ｄｉｇｉｔａｌ  Ｃｏｎｖｅｒｔｅｒ）（図示せず）が配置される。ＤＳＰ３２は、所定の伝送路３６を介してイメージセンサ３０へ制御信号を出力してもよい。撮像装置１０の詳細については後述する（図２参照）。
【００１７】
走行情報送信装置１４は、所定のタイミングにおける車両１の走行シーンに関する情報を含む走行情報を、ネットワーク２０を介して撮像装置１０へ送信する。車両１の走行シーンの例としては、直進中、右旋回中、左旋回中、右折中、左折中、上り坂の頂上の直前に到達、または、下り坂の底の直前に到達、などがある。走行情報送信装置１４の詳細については後述する。
【００１８】
アクティブセンサ１６は、車両１の周辺の情報をセンシングするために、ミリ波またはレーザー光などの波を出射し、周囲の物体で反射されて自身に戻ってきた戻り波に基づき、車両１と物体との間の距離等を測定する。
【００１９】
ＥＣＵ１２は、ネットワーク２０に接続されている各機器を制御する。ＥＣＵ１２は、通信Ｉ／Ｆ（ＩｎｔｅｒＦａｃｅ）５６、マイコン５０、プログラムメモリ５２、およびメインメモリ５４を有してよい。これらの構成要素５０乃至５６は、内部バス５９を介して双方向通信可能であってよい。また、１対１接続の場合、画像データに関する情報は単方向通信でもよい。
【００２０】
通信Ｉ／Ｆ５６は、ネットワーク２０を介するデータの送受信を制御する。
【００２１】
プログラムメモリ５２は、プログラム５８を保持する。プログラムメモリ５２は、ＥＥＰＲＯＭのような不揮発性半導体メモリであってよい。
【００２２】
メインメモリ５４には、プログラム５８の実行に関する各種データが格納される。メインメモリ５４は、ＳＲＡＭまたはＤＲＡＭのような揮発性半導体メモリであってよい。
【００２３】
マイコン５０は、プログラムメモリ５２からプログラム５８を読み出して、メインメモリ５４を用いてプログラム５８を実行することにより、ＥＣＵ１２の有する各種機能を実現する。マイコン５０は、通信Ｉ／Ｆ５６およびネットワーク２０を介して、他の機器１０、１４、１６とデータを送受信できてよい。
【００２４】
＜画像生成装置の機能構成＞
図２は、撮像装置１０に含まれる画像生成装置の機能ブロックを示す図である。
【００２５】
イメージセンサ３０は、光電変換素子を備える複数の画素９０（図３参照）が配列されており、各画素９０への入射光を光電変換して得られた信号を順次出力する。イメージセンサ３０は、例えば、ＣＭＯＳイメージセンサ、またはＣＣＤイメージセンサである。イメージセンサ３０が出力する信号は、アナログまたはデジタルのいずれであってもよい。また、１画素の単位は、例えば白黒ＢＷでの１画素構成でも、カラーＲＧＢでの１画素構成でもよい。
【００２６】
ＤＳＰ３２は、画像生成装置の一実施形態であり、本開示のＤＳＰ３２は、機能として、第１受信部６２と、制御部６０とを有する。第１受信部６２および制御部６０の機能は、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）などの論理回路として実現されてもよいし、プログラムとして実現されてもよい。
【００２７】
第１受信部６２は、走行情報送信装置１４から走行情報１００を受信する。走行情報１００は、走行情報送信装置１４が適宜送信してもよいし、第１受信部６２によって走行情報送信装置１４から適宜取得されてもよい。
【００２８】
制御部６０は、第１受信部６２が受信した走行情報１００に基づいてイメージセンサ３０の各画素からの信号の読み出しを制御する。制御部６０からイメージセンサ３０への制御信号は伝送路３４を介して伝送され、イメージセンサ３０から制御部６０への画素の信号は伝送路３６を介して伝送されてよい。例えば、制御部６０は、イメージセンサ３０の全画素から信号を読み出した場合の画素数よりも小さい画素数の画像データ（より具体的には、走行情報１００に基づいて設定される第１部分領域以外の領域の解像度が、第１部分領域の解像度よりも低い画像データ）を生成し、例えば画像処理装置の一実施形態であるＥＣＵ１２へ出力する。
【００２９】
制御部６０は、イメージセンサ３０に配列されている画素の信号を所定の間隔で飛ばし読みすることによって、出力する画像データの画素数を低減してよい。または、制御部６０は、イメージセンサ３０の全画素から信号を読み出して所定の画像圧縮アルゴリズム（例えばＭＰＥＧ）で圧縮することによって、出力する画像データの画素数を低減してもよい。いずれにおいても、ＤＳＰ３２が出力する画像データの画素数は、イメージセンサ３０の全画素から信号を読み出した場合の画素数よりも小さくなる。これにより、撮像装置１０と出力先であるＥＣＵ１２との間の画像データのデータ伝送量（またはデータ伝送レート）を低減することができる。なお、ＤＳＰ３２から出力される画素数が低減された画像データを、「圧縮画像データ」と呼んでもよい。
【００３０】
ここで、イメージセンサ３０の各画素は複数の区画の何れかに属しており、制御部６０は、第１受信部６２が受信した走行情報１００に基づいて各区画２００（図３参照）の解像度を決定してよい。例えば、制御部６０は、走行情報１００に基づいて、第１部分領域以外の少なくとも一部の解像度が第１部分領域の解像度よりも小さくなるように各区画２００の解像度を決定し、第１部分領域以外の少なくとも１つの区画の解像度が、第１部分領域の区画の解像度よりも低い画像データを生成する。以下、図３および図４を参照しながら説明する。
【００３１】
図３は、イメージセンサ３０に対して構成される区画２００を示す図である。
【００３２】
図３は、フルＨＤに相当する横１９２０×縦１０８０（約２０７万）の画素９０が配列されているイメージセンサ３０において、横および縦の画素数をそれぞれ３等分に分割して９つの区画２００を形成する例である。この場合、各区画２００の圧縮前の画素数は横６４０×縦３６０（約２３万）である。なお、本開示では各区画２００の圧縮前の解像度（単位長あたりの画素数）が同じであるが、各区画の圧縮前の画素数は異なってもよい。例えば、図３における中央の区画の画素数が他の区画の画素数よりも大きくなるように、イメージセンサ３０を分割してもよい。
【００３３】
図４は、圧縮レベル情報を示す図である。各区画２００が取り得る圧縮レベルは、図４のように、圧縮レベル情報として定義されてよい。圧縮レベルは、圧縮率であってもよいし、圧縮後の画素数であってもよいし、圧縮後の解像度であってもよい。以下、図４の圧縮レベル情報について説明する。
【００３４】
圧縮レベル「１」に決定された区画の画素数（さらに言えば、解像度）は維持される（非圧縮である）。図３の例では、圧縮後の区画の解像度は、横６４０×縦３６０（約２３万画素。「フルＨＤ」相当）となる。
圧縮レベル「２」に決定された区画の画素数（さらに言えば、解像度）は１／２に低減（圧縮）される。図３の例では、圧縮後の区画の解像度は、横６４０×縦１８０または横３２０×縦３６０（約１１．５万画素。「ＨＤ」に相当）となる。
圧縮レベル「３」に決定された区画の画素数は１／４に低減（圧縮）される。図３の例では、圧縮後の区画の解像度は、横３２０×縦１８０（約５．７万画素。「ＨＤ−」相当）となる。
圧縮レベル「４」に決定された区画の画素数は１／４に低減（圧縮）される。図３の例では、圧縮後の区画の解像度は、横６４０×縦９０（約５．７万画素。「ＳＤ＋」相当）となる。
圧縮レベル「５」に決定された区画の画素数は１／８に低減（圧縮）される。図３の例では、圧縮後の区画の解像度は、横３２０×縦９０（約２．８万画素。「ＳＤ」相当）となる。
【００３５】
＜走行情報に基づいて各区画の圧縮レベルを決定する処理＞
図５は、走行情報１００に基づいて決定された各区画２００の圧縮レベルを示す図である。
【００３６】
制御部６０は、第１受信部６２が受信した走行情報１００に基づいて、車両１の走行シーンが、「直進中」、「右旋回中」、「左旋回中」、「上り坂の頂上直前」または「下り坂の底直前」のいずれであるかを判定する。
【００３７】
制御部６０は、走行情報送信装置１４の例である操舵角センサが送信する操舵角を含む走行情報１００に基づいて、車両１の走行シーンが、「直進中」、「右旋回中」または「左旋回中」のいずれであるかを判定してよい。操舵角とは、車両１のステアリングホイールの角度であってよい。例えば、制御部６０は、操舵角が０度から右回転または左回転に所定の第１の角度の範囲内である場合に「直進中」と、操舵角が右回転に第１の角度より大きく所定の第２の角度以下の範囲内である場合に「右旋回中」と、操舵角が左回転に第１の角度より大きく第２の角度以下の範囲内である場合に「左旋回中」と判定してよい。
【００３８】
制御部６０は、走行情報送信装置１４の例であるジャイロセンサが送信するピッチ軸周りの角速度を含む走行情報１００に基づいて、車両１の走行シーンが、「上り坂の頂上直前」または「下り坂の底直前」のいずれであるか、もしくは、いずれでもないかを判定してよい。例えば、制御部６０は、ピッチ軸周りの角速度が車両１の前方への回転を示している場合に「上り坂の頂上直前」と判定し、ピッチ軸周りの角速度が車両１の後方への回転を示している場合に「下り坂の底直前」と判定してよい。
【００３９】
なお、制御部６０は、他の方法によって走行シーンを判定してもよい。例えば、制御部６０は、走行情報送信装置１４の一形態であるナビゲーション装置が送信する車両の走行地点の先方の勾配角を含む走行情報１００に基づいて、車両１の走行シーンが、「上り坂の頂上直前」または「下り坂の底直前」のいずれであるか、もしくは、いずれでもないかを判定してもよい。
【００４０】
＜直進中と判定した場合＞
この場合、制御部６０は、イメージセンサ３０の少なくとも直進方向からの光を受光する画素を含む区画２００を第１部分領域に設定し、この第１部分領域の区画２００の解像度を維持しつつ、第１部分領域以外の少なくとも１つの区画２００の解像度を第１部分領域のそれよりも低くすると決定する。換言すると、制御部６０は、第１部分領域の区画２００の圧縮率（例えば圧縮レベル。以下同じ）が最小となるように、各区画の圧縮率を決定してよい。なぜなら、直進中は、車両１の前方の物体が短時間かつ高精度で検知されることが好ましいからである。
【００４１】
例えば図５に示すように、制御部６０は、第１部分領域としての中央の区画２００Ｃを圧縮レベル「１」に、第１部分領域以外の左、右および下の区画２００Ｌ、２００Ｒ、２００Ｄを圧縮レベル「２」に、左下および右下の区画２００ＬＤ、２００ＲＤを圧縮レベル「３」に、上の区画２００Ｕを圧縮レベル「４」に、左上および右上の区画２００ＬＵ、２００ＲＵを圧縮レベル「５」に決定してよい。左上および右上の区画２００ＬＵ、２００ＲＵの圧縮レベルを高くしている（つまり画素数を小さくしている）理由は、直進中、当該区画２００ＬＵ、２００ＲＵにはほとんど空やトンネルの天井などが撮像され、当該区画２００ＬＵ、２００ＲＵにおける物体検知の重要性が低いからである。
【００４２】
＜右旋回中と判定した場合＞
この場合、制御部６０は、車両１の旋回方向（右方）からの光を受光する画素９０を含む少なくとも１つの区画２００を第１部分領域に設定し、この第１部分領域の区画２００の解像度を維持しつつ、第１部分領域以外の少なくとも１つの区画２００の解像度を第１部分領域のそれよりも低くすると決定する。換言すると、制御部６０は、第１部分領域の区画２００の圧縮率が最小となるように、各区画２００の圧縮率を決定してよい。なぜなら、右旋回中は、車両１の右前方の物体が短時間かつ高精度で検知されることが好ましいからである。
【００４３】
例えば図５に示すように、制御部６０は、第１部分領域としての右の区画２００Ｒを圧縮レベル「１」に、第１部分領域以外の中央、右下および左の区画２００Ｃ、２００ＲＤ、２００Ｌを圧縮レベル「２」に、下および左下の区画２００Ｄ、２００ＬＤを圧縮レベル「３」に、右上の区画２００ＲＵを圧縮レベル「４」に、上および左上の区画２００Ｕ、２００ＬＵを圧縮レベル「５」に決定してよい。
【００４４】
＜左旋回中と判定した場合＞
この場合、制御部６０は、車両１の旋回方向（左方）からの光を受光する画素９０を含む少なくとも１つの区画２００を第１部分領域に設定し、この第１部分領域の区画２００の解像度を維持しつつ、第１部分領域以外の少なくとも一つの区画２００の解像度を第１部分領域のそれよりも低くすると決定する。換言すると、制御部６０は、第１部分領域の区画２００の圧縮率が最小となるように、各区画２００の圧縮率を決定してよい。なぜなら、左旋回中は、車両１の左前方の物体が短時間かつ高精度で検知されることが好ましいからである。
【００４５】
例えば図５に示すように、制御部６０は、第１部分領域としての左の区画２００Ｌを圧縮レベル「１」に、第１部分領域以外の中央、左下および右の区画２００Ｃ、２００ＬＤ、２００Ｒを圧縮レベル「２」に、下および右下の区画２００Ｄ、２００ＲＤを圧縮レベル「３」に、左上の区画２００ＬＵを圧縮レベル「４」に、上および右上の区画２００Ｕ、２００ＲＵを圧縮レベル「５」に決定してよい。
【００４６】
＜上り坂の頂上直前を走行中と判定した場合＞
この場合、制御部６０は、車両１の進行方向に対し斜め下方からの光を受光する画素９０を含む少なくとも１つの区画２００を第１部分領域に設定し、この第１部分領域の区画２００の解像度を維持しつつ、第１部分領域以外の少なくとも１つの区画２００の解像度を第１部分領域のそれよりも低くすると決定する。換言すると、制御部６０は、第１部分領域の区画２００の圧縮率が最小となるように、各区画２００の圧縮率を決定してよい。なぜなら、上り坂の頂上直前を走行中は、車両１の進行方向に対し斜め下方の物体が短時間かつ高精度で検知されることが好ましいからである。
【００４７】
例えば図５に示すように、制御部６０は、第１部分領域としての下の区画２００Ｄを圧縮レベル「１」に、第１部分領域以外の中央、左下および右下の区画２００Ｃ、２００ＬＤ、２００ＲＤを圧縮レベル「２」に、左および右の区画２００Ｌ、２００Ｒを圧縮レベル「３」に、上の区画２００Ｕを圧縮レベル「４」に、左上および右上の区画２００ＬＵ、２００ＲＵを圧縮レベル「５」に決定してよい。
【００４８】
＜下り坂の底直前を走行中と判定した場合＞
この場合、制御部６０は、車両１の進行方向に対し斜め上方からの光を受光する画素９０を含む少なくとも１つの区画２００を第１部分領域に設定し、この第１部分領域の区画２００の解像度を維持しつつ、第１部分領域以外の少なくとも一つの区画２００の解像度を第１部分領域のそれよりも低くすると決定する。換言すると、制御部６０は、第１部分領域の区画２００の圧縮率が最小となるように、各区画２００の圧縮率を決定してよい。なぜなら、下り坂の底直前を走行中は、車両１の進行方向に対し斜め上方の物体が短時間かつ高精度で検知されることが好ましいからである。
【００４９】
例えば図５に示すように、制御部６０は、第１部分領域としての上の区画２００Ｕを圧縮レベル「１」に、第１部分領域以外の中央、左上および右上の区画２００Ｃ、２００ＬＵ、２００ＲＵを圧縮レベル「２」に、左および右の区画２００Ｌ、２００Ｒを圧縮レベル「３」に、下の区画２００Ｄを圧縮レベル「４」に、左下および右下の区画２００ＬＤ、２００ＲＤを圧縮レベル「５」に決定してよい。
【００５０】
上記の通り、制御部６０は、自身が決定した各区画の圧縮レベルに従って、イメージセンサ３０に配列される各画素の信号を、内蔵のメモリに読み出す。具体的には、第１部分領域としての圧縮レベル「１」の区画２００に属する画素については、読み飛ばしは行われない。第１部分領域以外としての圧縮レベル「２」の区画２００に属する画素については、横方向および縦方向のいずれか一方における２個の画素の１つが読み出される。第１部分領域以外としての圧縮レベル「３」，「４」の区画２００に属する画素については、横方向および縦方向の両方向における２個の画素の１つが読み出される。第１部分領域以外としての圧縮レベル「５」の区画２００に属する画素については、横方向および縦方向のいずれか一方における２個の画素の１つが読み出されると共に、いずれか他方における４画素のうち１つが読み出される。このような手法で読み出された画素の信号が、制御部６０のメモリに読み出されて、圧縮画像データが生成される。この圧縮画像データは、制御部６０の制御下で、メモリからネットワーク２０を介して画像処理装置１２に送信される。なお、本実施形態では、内蔵メモリに読み出す構成を示したが、イメージセンサの画素出力を選択するような構成にして、圧縮した出力を直接読み出す構成にしてもよい。
【００５１】
図６は、走行情報に基づいて決定された画像フォーマット情報を示す図である。
【００５２】
制御部６０は、圧縮画像データを出力する際に、各区画２００の解像度に関する情報を含む画像フォーマット情報も合わせて出力する。すなわち、画像フォーマット情報は、当該出力を受信する画像処理部が圧縮画像データを正しく伸長するために必要な情報を含む。これにより、出力された圧縮画像データを受信するＥＣＵ１２が、解像度の異なる各区画２００の画像データを適切に結合して１つの結合画像データを生成することができる。なお、画像フォーマット情報は、圧縮画像データの出力信号のブランキング期間（好ましくは垂直ブランキング期間）に、ＤＳＰ３２から送出されてよい。
【００５３】
例えは、画像フォーマット情報は、図６に示すように、イメージセンサ３０から得られる圧縮前の画像データの総解像度と、圧縮後の画像データの総解像度と、縦方向および横方向における区画数と、各区画における横方向解像度および縦方向解像度と、を含んでよい。
【００５４】
圧縮前の総解像度は、圧縮前の画像データの解像度（横の解像度×縦の解像度）を示す。図５の場合、圧縮前の解像度は「横１９２０×縦１０８０」となる。
【００５５】
圧縮後の総解像度は、圧縮後の画像データの解像度（横の解像度×縦の解像度）を示す。図５の場合、圧縮後の画像データの解像度は「横１２８０×縦６３０」となる。
【００５６】
縦方向および横方向における区画数は、区画２００の行列（区画の横の数×区画の縦の数）を示す。図５の場合、区画行列は「３×３」となる。
【００５７】
横方向における解像度は、圧縮後の横の解像度に対する各区画の横の解像度を示す。図５の場合、横方向における解像度は、走行情報の判定結果によって変化し得る。
【００５８】
縦方向における解像度は、圧縮後の縦の解像度に対する各区画の縦の解像度を示す。図５の場合、縦方向における解像度は、走行情報の判定結果によって変化し得る。
【００５９】
＜直進中と判定した場合＞
この場合、例えば図６に示すように、制御部６０は、横方向における各区画の解像度を左から右へ「３２０、６４０、３２０」、縦方向における各区画の解像度を上から下へ「９０、３６０、１８０」としてよい。
【００６０】
＜右旋回中と判定した場合＞
この場合、例えば図６に示すように、制御部６０は、横方向における各区画の解像度を左から右へ「３２０、３２０、６４０」、縦方向における各区画の解像度を上から下へ「９０、３６０、１８０」としてよい。
【００６１】
＜左旋回中と判定した場合＞
この場合、例えば図６に示すように、制御部６０は、横方向における各区画の解像度を左から右へ」６４０、３２０、３２０」、縦方向における各区画の解像度を上から下へ「９０、３６０、１８０」としてよい。
【００６２】
＜上り坂の頂上直前を走行中と判定した場合＞
この場合、例えば図６に示すように、制御部６０は、横方向における各区画の解像度を左から右へ「３２０、６４０、３２０」、縦方向における解像度を上から下へ「９０、１８０、３６０」としてよい。
【００６３】
＜下り坂の底直前を走行中と判定した場合＞
この場合、例えば図６に示すように、制御部６０は、横方向における解像度を左から右へ「３２０、６４０、３２０」、縦方向における各区画の解像度を上から下へ「３６０、１８０、９０」としてよい。
【００６４】
＜その他の走行状態＞
制御部６０は、走行情報送信装置１４の一形態である方向指示器が送信する指示方向を含む走行情報１００に基づいて、車両１の走行状態が「右折中」または「左折中」であるかを判定してもよい。右折中と判定した場合、制御部６０は、上記の右旋回中と判定した場合と同様の処理を行ってよい。左折中と判定した場合、制御部６０は、上記の左旋回中と判定した場合と同様の処理を行ってよい。
【００６５】
＜圧縮レベルの決定条件＞
制御部６０は、自身のメモリに、圧縮画像データを複数フレーム展開するが、これら複数フレームの圧縮画像データの総解像度が互いに同じなるように、各区画２００の圧縮率を決定してよい。例えば、制御部６０は、出力される全ての圧縮画像フレームにおいて、図６の例における圧縮後の解像度が同じになるように、各区画の圧縮率（または横方向における解像度および縦方向における解像度）を決定してよい。
【００６６】
図５の例では、制御部６０は、走行シーンが変化しても、９個の区画２００のうち、１つの区画２００を圧縮レベル「１」に、３つの区画２００を圧縮レベル「２」に、２つの区画２００を圧縮レベル「３」に、１つの区画２００を圧縮レベル「４」に、２つの区画２００を圧縮レベル「５」に決定している。すなわち、制御部６０は、出力される圧縮画像フレームの総解像度が、いずれの時点においても横１２８０×縦６３０（約８１万画素）となるように、各画像の圧縮レベルを決定している。これにより、制御部６０から出力される圧縮画像フレームに係るデータ伝送レートが一定となる。よって、圧縮画像フレームを受信して処理する画像処理装置（ＥＣＵ１２）側の処理負荷を軽減したり、構成を簡易にしたりすることができる。
【００６７】
＜画像処理装置の機能構成＞
図７は、画像処理装置の機能ブロックを示す図である。
【００６８】
画像処理装置の例であるＥＣＵ１２は、機能として、第２受信部７０と、画像処理部７２と、物体検出部７４と、センサ制御部７６とを有してよい。
【００６９】
＜第２受信部＞
第２受信部７０は、撮像装置１０のＤＳＰ３２に備わるメモリの圧縮画像データ１２０および画像フォーマット情報１４０を、ネットワーク２０を介して受信する。なお、第２受信部７０は、画像圧縮データ１２０および画像フォーマット情報１４０を、メモリを介さず、ＤＳＰ３２から直接受信してもよい。また、ＥＣＵ１２とＤＳＰ３２とが一体に構成されている場合、画像処理部７２は第２受信部７０を有さなくてもよい。
【００７０】
＜画像処理部＞
画像処理部７２は、第２受信部７０が受信した画像フォーマット情報１４０に基づいて、第２受信部７０が受信した圧縮画像データ１２０各区画２００の解像度を変換して、伸長画像データを生成する。
【００７１】
例えば、画像処理部７２は、解像度が横３２０×縦１８０に圧縮されている区画２００について、解像度の横および縦をそれぞれ２倍に大きくし、非圧縮の区画２００の解像度と同じ横６４０×縦３６０の画像データを生成する。画像処理部７２は、他の圧縮されている区画２００についても同様の処理によって横６４０×縦３６０の解像度の画像データを生成する。そして、画像処理部７２は、これら生成した画像データを結合することにより、元のフルＨＤに相当する横１９２０×縦１０８０の解像度の結合画像データを生成する。なお、解像度を大きくする処理を「伸長処理」と呼んでもよい。
【００７２】
画像処理部７２は、圧縮画像データの解像度を大きくする（つまり画素数を増やす）際に、いわゆる超解像技術を用いて画素を補完してもよい。
【００７３】
＜画像処理部の第１変形例＞
図８は、解像度を変換する処理の変形例を説明する図である。
【００７４】
上述の伸長処理では、全区画の解像度を非圧縮の区画の解像度に整合させていた。しかし、これに限らず、全区画の解像度を、最高の第１解像度と最低の第２解像度と間の所定の解像度（「中間解像度」という）に統一して伸長処理を行っても良い。
【００７５】
この場合、中間解像度よりも大きい解像度の区画は、中間解像度に低下される。しかし、単純に解像度を低下させると、解像度が大きいときには検知可能であった物体（典型的には小さく撮像されている物体）が、解像度の低下によって消失または不明瞭になり、後述の物体検出部７４において物体が検出不可能になってしまう可能性がある。そこで、画像処理部７２は、解像度を低下させる前の区画２００の画像データに対して所定の特徴部分（例えば所定の物体の特徴を有する部分）を誇張するような画像処理を施す。例えば、画像処理部７２は、図８に示すように、所定の特徴部分の画素３２０Ａの周囲の画素を強調する。その後、画像処理部７２は、区画２００の解像度を低下させる。これにより、解像度の低下によって後述の物体検出部７４において物体が検出不可能となる可能性を低減することができる。なお、画像処理部７２は、中間解像度よりも低い解像度の区画２００については、上述と同様、いわゆる超解像技術を用いて中間解像度になるまで画素数を増やしてよい。
【００７６】
＜画像処理部の第２変形例＞
図９は、ディープラーニング層の構成例を示す図である。
【００７７】
上述のとおり、圧縮画像データは、後述の物体検出部７４における物体の検出精度が高くなるように伸長される（画素数が増やされる）ことが好ましい。そのために、画像処理部７２は、図９に示すように、複数の区画２００の解像度に応じてディープラーニング層５００を構成しており、車両１の走行情報に基づき、少なくとも、複数の区画２００それぞれの解像度の変化や、物体検出の結果を学習して、ディープラーニング層５００を最適化することが好ましい。具体的には下記の通りである。
【００７８】
区画２００の位置（本開示における中央の区画２００Ｃ、左の区画２００Ｌなど）、走行情報１００、および、当該位置の区画２００において撮像された画素数の異なる画像データを入力データ５０２とし、ディープラーニング層５００を用いて伸長された画像データを出力データ５０４とする。そして、この伸長された画像データに対する物体検出の成功および失敗に基づいて、当該ディープラーニング層５００をトレーニングする。
【００７９】
画像処理部７２は、このようにトレーニングされたディープラーニング層５００を用いて各区画２００の画像データを伸長することにより、区画２００ごとに物体の検出精度の高い伸長後の画像データを生成することができる。
【００８０】
＜物体検出部＞
物体検出部７４は、画像処理部７２によって生成された画像データから、所定の物体を検出する。所定の物体とは、他の車両、歩行者または標識など、車両１の走行に関連する物体であってよい。
【００８１】
画像処理部７２によって生成された結合画像データは、ＤＳＰ３２の制御部６０の処理によって、走行情報１００に基づいて比較的重要と判定された区画２００については画質の劣化が無いか（非圧縮）小さく（低圧縮に）なっている。したがって、物体検出部７４は、より短時間で高精度に物体を検出し得る。例えば、単純に圧縮された画像データの場合、物体の検出に複数の結合画像フレーム（つまり長時間）を要するところ、本開示に係る画像データは、比較的重要性の高い区画２００の画質が高いので、１つの画像フレームから物体を検出できる可能性が高くなる。
【００８２】
＜センサ制御部＞
図１０は、物体の検知結果に基づくセンシング方法の変更を示す図である。
【００８３】
センサ制御部７６は、物体検出部７４による物体の検出結果に応じて、アクティブセンサ１６のセンシング方法を変更する。例えば、センサ制御部７６は、アクティブセンサ１６を制御するためのセンサ制御コマンド２１０を当該アクティブセンサ１６に送信し、アクティブセンサ１６センシング方法を変更する。上述のとおり、本開示に係る物体検出部７４は、より短時間で高精度に物体を検出し得るので、センサ制御部７６もまた、より短時間で高精度に適切なセンサ制御コマンド２１０を送信し得る。
【００８４】
図１０は、アクティブセンサ１６が、ミリ波３００（レーザー光でもよい）を照射して車両１と物体との間の距離を測定する距離測定センサの場合の例である。図１０の例において、物体検出部７４が画像データからイメージセンサ３０の中心点よりも左方の位置に他の車両３０２を検出したとする。この場合、センサ制御部７６は、アクティブセンサ１６に対して、ミリ波３００の照射方向を、左方向に変更する旨のセンサ制御コマンド２１０を送信してよい。これにより、ＥＣＵ１２は、より短時間で高精度に車両１と他の車両３０２との間の距離を測定することができる。
【００８５】
アクティブセンサ１６の一例としてＴＯＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）センサが挙げられる。ＴＯＦセンサは、照射波の送信タイミングと、当該照射波が物体で反射された波である反射波の受信タイミングとの時間差（または位相差）に基づいて、当該物体までの距離を測定するセンサである。したがって、ＴＯＦセンサを用いて、図１０の例における車両１と他の車両３０２との間の距離を測定してもよい。なお、ＴＯＦセンサの受光を直接イメージセンサ３０で受光して距離を計測する構成にしてもよい。
【００８６】
なお、画像処理部７２が、物体検出部７４およびセンサ制御部７６の機能を含む構成であってもよい。
【００８７】
＜イメージセンサに対する区画の変形例＞
図１１は、イメージセンサ３０に対して構成される区画の変形例を示す。
【００８８】
イメージセンサ３０に対して構成される区画２００の数は、図３のような９個に限られない。例えば、図１１に示すように、横３８４０×縦２１６０（約８２０万）の画素が配列されているイメージセンサにおいて、横および縦の画素数をそれぞれ５等分に分割して２５個の区画を形成してもよい。この場合における圧縮レベル情報は、以下のように定義されてよい。
【００８９】
圧縮レベル「１」に決定された区画の画素数は維持される（非圧縮である）。図１１の例では、圧縮後の区画の解像度は、横７６８×縦４３２（「４Ｋ」相当）となる。
圧縮レベル「２」に決定された区画の画素数は１／２に低減（圧縮）される。図１１の例では、圧縮後の区画の解像度は、横３８４×縦４３２または横７６８×縦２１６（「ＦＨＤ＋」相当）となる。
圧縮レベル「３」に決定された区画の画素数は１／４に低減（圧縮）される。図１１の例では、圧縮後の区画の解像度は、横３８４×縦２１６（「フルＨＤ」相当）となる。
圧縮レベル「４」に決定された区画の画素数は１／４に低減（圧縮）される。図１１の例では、圧縮後の区画の解像度は、横７６８×縦１０８または横１９２×縦４３２（「ＨＤ＋」相当）となる。
圧縮レベル「５」に決定された区画の画素数は１／４に低減（圧縮）される。図１１の例では、圧縮後の区画の解像度は、横３８４×縦１０８または横１９２×縦２１６（「ＨＤ」相当）となる。
圧縮レベル「６」に決定された区画の画素数は１／８に低減（圧縮）される。図１１の例では、圧縮後の区画の解像度は、横１９２×縦１０８（「ＨＤ−」相当）となる。
【００９０】
また、図１１の例において、制御部６０は、走行シーンが「直進中」と判定した場合、各区画の圧縮レベルを、図１１の各区画内に記載した数値のように決定してもよい。このとき、制御部６０は、上述の場合と同様、出力される圧縮画像フレームの解像度が、いずれの出力においても横１９２０×縦１０８０（約２０７万画素）となるように、各区画の圧縮レベルを決定してよい。
【００９１】
＜付記＞
図１２は、本開示の画像生成装置および画像処理装置のハードウェア構成の変形例を示す図である。
【００９２】
図１２の例に示すように、画像生成装置（ＤＳＰ）３２は、撮像装置３０の外部に配置されてもよい。また、画像生成装置（ＤＳＰ）３２と画像処理装置（ＥＣＵ）１２とは１つの装置（チップ）であってもよい。また、上述の実施形態は、画像生成装置（ＤＳＰ）３２と画像処理装置（ＥＣＵ）１２とを含む画像処理システム１１によって実現されてもよい。また、画像生成装置３２の制御部６０および画像処理装置１２の各構成はそれぞれコンピュータプログラムで実現されても良い。コンピュータプログラムは、ＤＶＤ等のような配布媒体に格納されて提供されても良いし、ネットワークを介してダウンロード可能にネットワーク上のサーバ装置に格納されても良い。
【００９３】
＜注釈＞
その他、上記実施形態および各変形例は、何れも本発明の実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【産業上の利用可能性】
【００９４】
本発明に係る画像生成装置、画像生成方法、プログラムおよび記録媒体、並びに、画像処理システムは、撮像された画像データを適切に圧縮可能であり、撮像装置または車載機器等に好適である。
【符号の説明】
【００９５】
１  車両
１０  撮像装置
１２  画像処理装置
１４  走行情報送信装置
１６  アクティブセンサ
３０  イメージセンサ
３２  画像生成装置
６０  制御部
６２  第１受信部
７０  第２受信部
７２  画像処理部
７４  物体検出部
７６  センサ制御部
１００  走行情報
１２０  圧縮画像データ
１４０  画像フォーマット情報
２００  区画
【図１】
2018056838.tif 000003
【図２】
2018056838.tif 000004
【図３】
2018056838.tif 000005
【図４】
2018056838.tif 000006
【図５】
2018056838.tif 000007
【図６】
2018056838.tif 000008
【図７】
2018056838.tif 000009
【図８】
2018056838.tif 000010
【図９】
2018056838.tif 000011
【図１０】
2018056838.tif 000012
【図１１】
2018056838.tif 000013
【図１２】
2018056838.tif 000014