(57)【要約】【課題】車両周辺の表示画像において、動く物体に対する表示情報の追従性を向上させることを課題とする。【解決手段】実施形態の表示制御装置において、画像取得部は、車両の周辺を撮像する撮像部から出力された時系列に複数の撮像画像データを取得する。物体検出部は、前記複数の撮像画像データの各々について物体を検出する。移動算出部は、前記物体の移動方向と移動速度を算出する。表示情報決定部は、前記移動方向と前記移動速度に基づいて、前記複数の撮像画像データの後に前記撮像部から出力される第２の撮像画像データの表示領域における前記物体に対応する表示情報の位置を決定する。表示制御部は、表示部に、前記第２の撮像画像データを表示するとともに、その表示領域上に、前記決定した位置に基づいて前記表示情報を重畳表示する。【選択図】図１０
2018036444.tif 000002
【特許請求の範囲】
【請求項１】
車両の周辺を撮像する撮像部から出力された時系列に複数の撮像画像データを取得する画像取得部と、
前記複数の撮像画像データの各々について物体を検出する物体検出部と、
前記物体の移動方向と移動速度を算出する移動算出部と、
前記移動方向と前記移動速度に基づいて、前記複数の撮像画像データの後に前記撮像部から出力される第２の撮像画像データの表示領域に表される前記物体に対応する表示情報の位置を決定する表示情報決定部と、
表示部に、前記第２の撮像画像データを表示するとともに、その表示領域上に、前記決定した位置に基づいて前記表示情報を重畳表示する表示制御部と、
を備える表示制御装置。
【請求項２】
前記移動算出部は、前記複数の撮像画像データに基づいて、表示領域における前記物体の動きから、当該表示領域内における前記物体の移動方向と移動速度を算出する、請求項１に記載の表示制御装置。
【請求項３】
前記移動算出部は、前記複数の撮像画像データに基づいて、前記車両と前記物体との相対的な位置関係を表すための３次元座標空間における前記物体の動きから、前記物体の移動方向と移動速度を算出する、請求項１に記載の表示制御装置。
【請求項４】
前記表示情報決定部は、前記移動方向と、前記移動速度と、前記複数の撮像画像データから前記表示情報の位置を決定するのに要する処理時間と、に基づいて、前記表示情報の位置を決定する、請求項１から請求項３のいずれか一項に記載の表示制御装置。
【請求項５】
前記表示情報は、前記物体を囲う枠であり、
前記表示情報決定部は、前記移動方向と前記移動速度に基づいて、前記第２の撮像画像データの表示領域における前記物体に対応する前記枠の位置および大きさを決定し、
前記表示制御部は、前記表示部に、前記第２の撮像画像データを表示するとともに、その表示領域上に、前記決定した位置および大きさに基づいて前記枠を重畳表示する、請求項１から請求項４のいずれか一項に記載の表示制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、表示制御装置に関する。
【背景技術】
【０００２】
従来から、車両の表示装置に車両周辺の撮像画像を表示させる技術がある。運転者は、その表示画像を見ることで、車両周辺の状況（例えば、物体（他車両等）の有無等）を知ることができる。また、そのような表示画像に対して、映っている物体に対応する表示情報（例えば、物体を囲む枠）を重畳表示する技術もある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５２１８９１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、前記した技術において、撮像画像を取得する時間間隔（例えば、３３ｍｓ）に比べて、撮像画像から物体を検出して表示情報の位置を決定するまでの処理時間は長い（例えば前記時間間隔の５倍〜１０倍程度）。そのため、自車と物体の少なくとも一方が移動して、表示画像上で物体が動く場合、物体の動きに対して、表示情報の動きが遅れてしまうという問題がある。
【０００５】
そこで、本発明の課題の一つは、車両周辺の表示画像において、動く物体に対する表示情報の追従性を向上させることである。
【課題を解決するための手段】
【０００６】
実施形態の表示制御装置は、車両の周辺を撮像する撮像部から出力された時系列に複数の撮像画像データを取得する画像取得部と、前記複数の撮像画像データの各々について物体を検出する物体検出部と、前記物体の移動方向と移動速度を算出する移動算出部と、前記移動方向と前記移動速度に基づいて、前記複数の撮像画像データの後に前記撮像部から出力される第２の撮像画像データの表示領域に表される前記物体に対応する表示情報の位置を決定する表示情報決定部と、表示部に、前記第２の撮像画像データを表示するとともに、その表示領域上に、前記決定した位置に基づいて前記表示情報を重畳表示する表示制御部と、を備える。この構成により、例えば、複数の撮像画像データから算出した動く物体の移動方向と移動速度を用いて、物体に対応する表示情報の位置を決定することで、車両周辺の表示画像において、動く物体に対する表示情報の追従性を向上させることができる。
【０００７】
また、前記移動算出部は、前記複数の撮像画像データに基づいて、表示領域における前記物体の動きから、当該表示領域内における前記物体の移動方向と移動速度を算出するようにしてもよい。この構成により、例えば、表示領域における物体の動きから物体の移動方向と移動速度を算出することで、処理が軽く済む。
【０００８】
また、前記移動算出部は、前記複数の撮像画像データに基づいて、前記車両と前記物体との相対的な位置関係を表すための３次元座標空間における前記物体の動きから、前記物体の移動方向と移動速度を算出するようにしてもよい。この構成により、３次元座標空間における物体の動きから物体の移動方向と移動速度を算出することで、物体の移動方向と移動速度をより高精度に算出できる。
【０００９】
また、前記表示情報決定部は、前記移動方向と、前記移動速度と、前記複数の撮像画像データから前記表示情報の位置を決定するのに要する処理時間と、に基づいて、前記表示情報の位置を決定するようにしてもよい。この構成により、例えば、表示情報の位置を決定するのに要する処理時間を用いて表示情報の位置を決定することで、表示情報の位置を処理時間に合わせて決定することができる。
【００１０】
また、前記表示情報は、前記物体を囲う枠であり、前記表示情報決定部は、前記移動方向と前記移動速度に基づいて、前記第２の撮像画像データの表示領域における前記物体に対応する前記枠の位置および大きさを決定し、前記表示制御部は、前記表示部に、前記第２の撮像画像データを表示するとともに、その表示領域上に、前記決定した位置および大きさに基づいて前記枠を重畳表示するようにしてもよい。この構成により、例えば、表示情報として物体を囲う枠を用いるとともに、物体の移動方向と移動速度に基づいて、枠の位置および大きさを決定することで、枠を適切な位置および大きさで表示することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施形態の車両の車室の一部が透視された状態の一例を示す斜視図である。
【図２】図２は、実施形態の車両の一例を示す平面図（俯瞰図）である。
【図３】図３は、実施形態の車両のダッシュボードの一例を車両の後方から見た図である。
【図４】図４は、実施形態の車両制御システムの構成の一例を示すブロック図である。
【図５】図５は、実施形態のＥＣＵの一例を示す機能構成ブロック図である。
【図６】図６は、実施形態において、時系列に複数の撮像画像データから、物体の移動方向と移動速度に基づいて、物体に対応する枠の位置を決定する処理の原理の概要の説明図である。
【図７】図７は、比較例（従来技術）において、動く物体と、その物体に対応する枠とを表示した画面例を示す図である。
【図８】図８は、実施形態において、動く物体と、その物体に対応する枠とを表示した画面例を示す図である。
【図９】図９は、実施形態における画像表示処理の一例を示すフローチャートである。
【図１０】図１０は、実施形態における枠重畳表示処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態の一例を開示する。以下に示す実施形態の構成、ならびに当該構成によってもたらされる作用、結果、及び効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうちの少なくとも一つを得ることが可能である。
【００１３】
本実施形態の車両１（自車両）は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車や燃料電池自動車等であってもよいし、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
【００１４】
図１は、実施形態の車両１の車室の一部が透視された状態の一例を示す斜視図である。図２は、実施形態の車両１の一例を示す平面図（俯瞰図）である。図１に例示されるように、車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４や、加速操作部５、制動操作部６、変速操作部７等が設けられている。
【００１５】
操舵部４は、例えば、ダッシュボード２４から突出したステアリングホイールである。加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルである。制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルである。変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４や、加速操作部５、制動操作部６、変速操作部７等は、これらに限定されない。
【００１６】
また、車室２ａ内には、表示出力部としての表示装置８や、音声出力部としての音声出力装置９が設けられている。表示装置８は、例えば、ＬＣＤ（Liquid  Crystal  Display）や、ＯＥＬＤ（Organic  Electro-Luminescence  Display）等である。音声出力装置９は、例えば、スピーカである。また、表示装置８は、例えば、タッチパネル等、透明な操作入力部１０で覆われている。
【００１７】
乗員は、操作入力部１０を介して表示装置８の表示画面に表示される画像を視認することができる。また、乗員は、表示装置８の表示画面に表示される画像に対応した位置において手指等で操作入力部１０を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。これら表示装置８や、音声出力装置９、操作入力部１０等は、例えば、ダッシュボード２４の車幅方向すなわち左右方向の中央部に位置されたモニタ装置１１に設けられている。
【００１８】
モニタ装置１１は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の不図示の操作入力部を有することができる。また、モニタ装置１１とは異なる車室２ａ内の他の位置に不図示の音声出力装置を設けることができ、モニタ装置１１の音声出力装置９と他の音声出力装置の両方から、音声を出力することができる。なお、モニタ装置１１は、例えば、ナビゲーションシステムやオーディオシステムと兼用される。また、車室２ａ内には、表示装置８とは別の表示装置１２が設けられている。
【００１９】
図３は、実施形態の車両１のダッシュボード２４の一例を車両１の後方から見た図である。図３に例示されるように、表示装置１２は、例えば、ダッシュボード２４の計器盤部２５に設けられ、計器盤部２５の略中央で、速度表示部２５ａと回転数表示部２５ｂとの間に配置されている。表示装置１２の画面の大きさは、表示装置８の画面８ａの大きさよりも小さい。この表示装置１２には、主として車両１の駐車支援に関する情報を示す画像が表示される。表示装置１２で表示される情報量は、表示装置８で表示される情報量より少なくてもよい。表示装置１２は、例えば、ＬＣＤや、ＯＥＬＤ等である。なお、表示装置８に、表示装置１２で表示される情報が表示されてもよい。
【００２０】
また、図１及び図２に例示されるように、車両１は、例えば、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。これら四つの車輪３は、いずれも転舵可能に構成される。
【００２１】
図４は、実施形態の車両制御システム１００の構成の一例を示すブロック図である。図４に示すように、車両１は、車両制御システム１００を備える。車両制御システム１００は、表示制御装置を含む。
【００２２】
図４に例示されるように、車両１は、少なくとも二つの車輪３を操舵する操舵システム１３を有している。操舵システム１３は、アクチュエータ１３ａと、トルクセンサ１３ｂとを有する。
【００２３】
操舵システム１３は、ＥＣＵ（Electronic  Control  Unit）１４等によって電気的に制御されて、アクチュエータ１３ａを動作させる。操舵システム１３は、例えば、電動パワーステアリングシステムや、ＳＢＷ（Steer  By  Wire）システム等である。操舵システム１３は、アクチュエータ１３ａによって操舵部４にトルク、すなわちアシストトルクを付加して操舵力を補ったり、アクチュエータ１３ａによって車輪３を転舵したりする。この場合、アクチュエータ１３ａは、例えば二つの車輪３を転舵する。また、トルクセンサ１３ｂは、例えば、運転者が操舵部４に与えるトルクを検出する。
【００２４】
また、図２に例示されるように、車体２には、複数の撮像部１５として、例えば四つの撮像部１５ａ〜１５ｄが設けられている。撮像部１５は、例えば、ＣＣＤ（Charge  Coupled  Device）やＣＩＳ（CMOS  Image  Sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで動画データを出力することができる。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には例えば１４０°〜１９０°の範囲を撮影することができる。撮像部１５は、車両１が移動可能な路面や車両１が駐車可能な領域を含む車体２の周囲の外部の環境を逐次撮影し、撮影画像データとして出力する。
【００２５】
撮像部１５ａは、例えば、車体２の後側の端部２ｅに位置され、リヤトランクのドア２ｈの下方の壁部に設けられている。撮像部１５ｂは、例えば、車体２の右側の端部２ｆに位置され、右側のドアミラー２ｇに設けられている。撮像部１５ｃは、例えば、車体２の前側、すなわち車両前後方向の前方側の端部２ｃに位置され、フロントバンパー等に設けられている。撮像部１５ｄは、例えば、車体２の左側、すなわち車幅方向の左側の端部２ｄに位置され、左側の突出部としてのドアミラー２ｇに設けられている。
【００２６】
ＥＣＵ１４は、撮像部１５で得られた撮像画像データ等に基づいて演算処理や画像処理を実行する（詳細は後記）。
【００２７】
また、図４に例示されるように、車両制御システム１００では、ＥＣＵ１４、モニタ装置１１、操舵システム１３等の他、ブレーキシステム１８、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等が、電気通信回線としての車内ネットワーク２３を介して電気的に接続されている。
【００２８】
車内ネットワーク２３は、例えば、ＣＡＮ（Controller  Area  Network）として構成されている。ＥＣＵ１４は、車内ネットワーク２３を通じて制御信号を送ることで、操舵システム１３、ブレーキシステム１８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１３ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２等の検出結果や、操作入力部１０等の操作信号等を、受け取ることができる。
【００２９】
ＥＣＵ１４は、例えば、ＣＰＵ１４ａ（Central  Processing  Unit）、ＲＯＭ１４ｂ（Read  Only  Memory）、ＲＡＭ１４ｃ（Random  Access  Memory）、表示制御部１４ｄ、音声制御部１４ｅ、ＳＳＤ１４ｆ（Solid  State  Drive、フラッシュメモリ）等を有している。
【００３０】
ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムに従って演算処理を実行することができる。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１５で得られた撮像画像データを用いた画像処理や、表示装置８で表示される画像データの合成等を実行する。また、音声制御部１４ｅは、ＥＣＵ１４での演算処理のうち、主として、音声出力装置９で出力される音声データの処理を実行する。また、ＳＳＤ１４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもデータを記憶することができる。なお、ＣＰＵ１４ａや、ＲＯＭ１４ｂ、ＲＡＭ１４ｃ等は、同一パッケージ内に集積される。また、ＥＣＵ１４は、ＣＰＵ１４ａに替えて、ＤＳＰ（Digital  Signal  Processor）等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、ＳＳＤ１４ｆに替えてＨＤＤ（Hard  Disk  Drive）、ＥＥＰＲＯＭ（Electrically  Erasable  Programmable  Read  Only  Memory）等の他の記憶装置が設けられてもよいし、ＳＳＤ１４ｆ、ＨＤＤ、ＥＥＰＲＯＭ等は、ＥＣＵ１４とは別に設けられてもよい。また、操作部１４ｇは、例えば、押しボタンやスイッチ等で構成され、運転者等によって駐車支援等に関する操作がなされると、操作信号を出力する。
【００３１】
ブレーキシステム１８は、例えば、ブレーキのロックを抑制するＡＢＳ（Anti‐lock  Brake  System）や、コーナリング時の車両１の横滑りを抑制する横滑り防止装置（ＥＳＣ:Electronic  Stability  Control）、ブレーキ力を増強させる（ブレーキアシストを実行する）電動ブレーキシステム、ＢＢＷ（Brake  By  Wire）等である。
【００３２】
ブレーキシステム１８は、アクチュエータ１８ａを介して、車輪３（車両１）に制動力を与える。また、ブレーキシステム１８は、左右の車輪３の回転差などからブレーキのロックや、車輪３の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。ブレーキセンサ１８ｂは、例えば、制動操作部６の可動部の位置を検出するセンサである。ブレーキセンサ１８ｂは、制動操作部６の可動部としてのブレーキペダルの位置を検出することができる。ブレーキセンサ１８ｂは、変位センサを含む。
【００３３】
舵角センサ１９は、例えば、ステアリングホイール等の操舵部４の操舵量を検出するセンサである。舵角センサ１９は、例えば、ホール素子などを用いて構成される。ＥＣＵ１４は、運転者による操舵部４の操舵量や、自動操舵時の各車輪３の操舵量等を、舵角センサ１９から取得して各種制御を実行する。なお、舵角センサ１９は、操舵部４に含まれる回転部分の回転角度を検出する。舵角センサ１９は、角度センサの一例である。
【００３４】
アクセルセンサ２０は、例えば、加速操作部５の可動部の位置を検出するセンサである。アクセルセンサ２０は、可動部としてのアクセルペダルの位置を検出することができる。アクセルセンサ２０は、変位センサを含む。
【００３５】
シフトセンサ２１は、例えば、変速操作部７の可動部の位置を検出するセンサである。シフトセンサ２１は、変速操作部７の可動部としての、レバーや、アーム、ボタン等の位置を検出することができる。シフトセンサ２１は、変位センサを含んでもよいし、スイッチとして構成されてもよい。
【００３６】
車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ２２は、例えば、ホール素子などを用いて構成される。ＥＣＵ１４は、車輪速センサ２２から取得したセンサ値に基づいて車両１の移動量などを演算し、各種制御を実行する。なお、車輪速センサ２２は、ブレーキシステム１８に設けられている場合もある。その場合、ＥＣＵ１４は、車輪速センサ２２の検出結果を、ブレーキシステム１８を介して取得する。
【００３７】
なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定（変更）することができる。
【００３８】
本実施形態では、ＥＣＵ１４は、ハードウェアとソフトウェア（制御プログラム）が協働することにより、表示制御装置としての機能の少なくとも一部を実現する。
【００３９】
図５は、実施形態のＥＣＵ１４の一例を示す機能構成ブロック図である。ＥＣＵ１４は、図５に示すように、画像取得部１４１、画像補正部１４２、物体検出部１４３、移動算出部１４４、処理時間算出部１４５、枠決定部１４６、および、記憶部１４７として機能する。記憶部１４７は、ＥＣＵ１４での演算で用いられるデータや、ＥＣＵ１４での演算で算出されたデータを記憶する。なお、以下では、表示画像中の物体に対応する表示情報として、物体を囲む枠を例にとって説明する。
【００４０】
画像取得部１４１は、車両１の周辺を撮像する撮像部１５から出力された時系列に複数の撮像画像データを所定の時間間隔（例えば、３３ｍｓ）で取得する。画像補正部１４２は、画像取得部１４１が取得した撮像画像データについて、視認性向上等のために輝度等の補正を行う。
【００４１】
物体検出部１４３は、画像取得部１４１が取得した時系列に複数の撮像画像データの各々について、特徴量マッチング等の技術に基づいて、物体を検出する。
【００４２】
移動算出部１４４は、物体検出部１４３が検出した物体の移動方向と移動速度を算出する。例えば、移動算出部１４４は、上述した時系列に複数の撮像画像データに基づいて、表示領域における物体の動きから、当該表示領域内における物体の移動方向と移動速度を算出することができる。以下、移動算出部１４４によるこのような処理を「２次元処理」という。
【００４３】
ほかに、例えば、移動算出部１４４は、時系列に複数の撮像画像データに基づいて、車両１と物体との相対的な位置関係を表すための仮想的な３次元座標空間を形成する。そして、移動算出部１４４は、当該３次元座標空間における車両１を基準とした物体の相対的な動きから、物体の移動方向と移動速度を算出してもよい。詳細な例としては、撮像画像データは２次元情報なので、その撮像画像データ中の路面情報を、水平面を定義する条件として用いることで、車両１と物体との相対的な位置関係を３次元座標空間上で表し、物体の移動方向と移動速度を算出することができる。また、例えば、ステレオ画像処理によって、物体の３次元点群を算出する等により、３次元座標空間における物体の動きから物体の移動方向と移動速度を算出してもよい。ここで、ステレオ画像処理とは、同じ被写体が映っていて撮影角度が異なる２つ以上の画像を用いて、三角測量の原理に基づいてその被写体の３次元座標を決定する画像処理技術である。以下、移動算出部１４４によるこれらのような処理を「３次元処理」という。
【００４４】
処理時間算出部１４５は、時系列に複数の撮像画像データから枠の位置を決定するのに要する処理時間を算出する。なお、このような処理時間を算出せず、固定時間（例えば、２００ｍｓ等）を使用してもよい。
【００４５】
枠決定部１４６（表示情報決定部の一例）は、移動算出部１４４が算出した移動方向と移動速度に基づいて、上述した時系列に複数の撮像画像データの後に撮像部１５から出力される第２の撮像画像データの表示領域における物体に対応する枠の位置、大きさを決定する。
【００４６】
また、処理時間算出部１４５が前記処理時間を算出する場合、枠決定部１４６は、移動算出部１４４が算出した移動方向と移動速度と、前記処理時間と、に基づいて、枠の位置、大きさを決定する。
【００４７】
ここで、移動算出部１４４と枠決定部１４６の処理の原理の概要について、図６を参照して説明する。図６は、実施形態において、時系列に複数の撮像画像データから、物体の移動方向と移動速度に基づいて、物体に対応する枠の位置を決定する処理の原理の概要の説明図である。ここでは、移動算出部１４４による「２次元処理」と「３次元処理」のうち、「２次元処理」について説明するが、「３次元処理」についても同様である。
【００４８】
例えば、撮像画像データ６０１と撮像画像データ６０２は、画像取得部１４１によって取得された時系列に複数の撮像画像データを模式的に表したものである。撮像画像データ６０２は、撮像画像データ６０１よりも後（直後）に取得されたものである。移動算出部１４４は、撮像画像データ６０１と撮像画像データ６０２に基づいて、他車両Ｃ１（物体の一例）の移動方向と移動速度を算出する。ここで、移動方向とは、撮像画像データの表示領域上での物体の移動の方向を意味する。また、移動速度とは、撮像画像データの表示領域上での物体の移動の速度を意味する。つまり、撮像画像データ６０１と撮像画像データ６０２の撮像時刻の差と、その間での他車両Ｃ１の移動方向と移動速度、つまり、撮像画像データ６０２に示すベクトルＡ１とに基づいて、他車両Ｃ１の移動方向と移動速度を算出することができる。なお、撮像画像データ６０２における符号Ｃ１Ｐは、撮像画像データ６０１における他車両Ｃ１の位置を示す。
【００４９】
そして、枠決定部１４６は、移動算出部１４４が算出した移動方向と移動速度に基づいて、上述した時系列に複数の撮像画像データ（撮像画像データ６０１、６０２）の後に撮像部１５から出力される第２の撮像画像データ（撮像画像データ６０３）の表示領域に表される物体に対応する枠の位置を決定する。例えば、撮像画像データ６０１と撮像画像データ６０３の撮像時刻の差が、撮像画像データ６０１と撮像画像データ６０２の撮像時刻の差のＮ倍（Ｎは例えば５〜１０程度の数）であるものとする。その場合、実際に撮像画像データ６０３を取得する前に、撮像画像データ６０３における他車両Ｃ１の位置は、符号Ｃ１Ｐで示す位置から、ベクトルＡ１をＮ倍したベクトルＡ２を足した位置と予測できる。したがって、その位置を、他車両Ｃ１に対応する枠の位置として決定することができる。なお、枠の大きさについては、撮像画像データ６０１、６０２における他車両Ｃ１の大きさや、自車から他車両Ｃ１までの距離の変化、他車両Ｃ１の向きの変化等も考慮して、決定することができる。
【００５０】
なお、移動算出部１４４と枠決定部１４６の処理の原理は、これに限定されない。例えば、他車両Ｃ１が旋回移動している場合、まず、移動算出部１４４は、画像取得部１４１から取得した時系列に３枚以上の撮像画像データから、他車両Ｃ１が旋回移動していることを算出する。そして、枠決定部１４６は、他車両Ｃ１がそのまま旋回移動を続けるものとして、上述した第２の撮像画像データの表示領域に表される物体に対応する枠の位置を決定するようにしてもよい。
【００５１】
図４に戻って、表示制御部１４ｄは、表示装置８（表示部）に、上述した第２の撮像画像データを表示するとともに、その表示領域上に、枠決定部１４６が決定した位置、大きさに基づいて枠を重畳表示する。従来は、撮像画像で物体を検知してから枠を重畳する処理を行っていたが、処理時間の分、物体と枠がずれていた。これに対して、本実施形態では、物体を検知してからその物体の移動方向と移動速度を算出し、その移動方向と移動速度を考慮して物体に枠を重畳するので、物体と枠がずれるのを抑止することができる。
【００５２】
次に、図９、図１０を参照して実施形態の処理を説明する前に、実施形態の処理の理解を容易にするために、図７、図８を用いて、比較例（従来技術）における画面例と実施形態における画面例について説明する。図７は、比較例（従来技術）において、動く物体と、その物体に対応する枠とを表示した画面例を示す図である。
【００５３】
図７において、表示装置８に表示される画面７０１は図６における撮像画像データ６０１に対応し、画面７０２は図６における撮像画像データ６０３に対応する。ここで、比較例では、画面７０１に対応する図６の撮像画像データ６０１に基づいて枠の位置を決定するが、その枠を実際に表示する画面７０２では、他車両Ｃ１が移動しているので、他車両Ｃ１に対して枠Ｆ１がずれた位置に表示されてしまう。
【００５４】
一方、図８は、実施形態において、動く物体と、その物体に対応する枠とを表示した画面例を示す図である。表示装置８に表示される画面７０１は図６における撮像画像データ６０１に対応し、画面８０１は図６における撮像画像データ６０３に対応する。ここで、枠決定部１４６は、画面７０１に対応する図６の撮像画像データ６０１と、その直後の図６の撮像画像データ６０２に基づいて枠の位置を決定する。つまり、枠決定部１４６が他車両Ｃ１の移動方向と移動速度を用いて枠の位置を決定することで、その枠を実際に表示する画面８０１において、他車両Ｃ１に対して枠Ｆ２が正しい位置に表示される。
【００５５】
次に、図９、図１０を参照して実施形態の処理を説明する。図９は、実施形態における画像表示処理の一例を示すフローチャートである。図１０は、実施形態における枠重畳表示処理の一例を示すフローチャートである。なお、図９の処理と図１０の処理は並行して実行されるが、例えば、図９の一連の処理（処理一周）に要する時間と比較して、図１０の一連の処理（処理一周）に要する時間は例えばその５〜１０倍程度である。
【００５６】
図９に示すように、画像表示処理では、まず、ステップＳ１１において、画像取得部１４１は、車両１の周辺を撮像する撮像部１５から撮像画像データを取得する。次に、ステップＳ１２において、画像補正部１４２は、画像取得部１４１が取得した撮像画像データについて、視認性向上等のために輝度等の補正を行う。次に、ステップＳ１３において、表示制御部１４ｄは、画像補正部１４２が補正した画像データを表示装置８に表示する。ステップＳ１３の後、ステップＳ１１に戻る。
【００５７】
次に、図１０に示すように、枠重畳表示処理では、まず、ステップＳ２１において、画像取得部１４１は、撮像部１５から時系列に複数の撮像画像データ（例えば図６の撮像画像データ６０１、６０２）を取得する。次に、ステップＳ２２において、物体検出部１４３は、前記複数の撮像画像データの各々について、物体を検出する。
【００５８】
次に、ステップＳ２３において、移動算出部１４４は、物体検出部１４３が検出した物体の移動方向と移動速度を算出する。
【００５９】
次に、ステップＳ２４において、処理時間算出部１４５は、複数の撮像画像データから枠の位置を決定するのに要する処理時間を算出する。なお、このような処理時間を算出せず、以下の処理で固定時間（例えば、２００ｍｓ等）を使用してもよい。
【００６０】
次に、ステップＳ２５において、枠決定部１４６は、移動算出部１４４が算出した移動方向と移動速度と、処理時間算出部１４５が算出した処理時間（または固定時間）に基づいて、上述した時系列に複数の撮像画像データの後に撮像部１５から出力される第２の撮像画像データの表示領域に表される物体に対応する枠の位置、大きさを決定する。
【００６１】
次に、ステップＳ２６において、表示制御部１４ｄは、表示装置８に表示する第２の撮像画像データの表示領域上に、枠決定部１４６が決定した位置、大きさに基づいて枠を重畳表示する（図８の画面８０１）。ステップＳ２６の後、ステップＳ２１に戻る。
【００６２】
このように、本実施形態の表示制御装置によれば、複数の撮像画像データから算出した動く物体の移動方向と移動速度を用いて、物体に対応する枠の位置、大きさを決定することで、車両周辺の表示画像において、動く物体に対する枠の追従性を向上させることができる。つまり、枠の位置を決定する処理を行っている間に物体が移動する距離を予測することで、物体に対して枠を正確な位置に表示することができる。
【００６３】
特に、表示画面上に複数の物体が映っている場合、物体に対して枠の位置が正確でないと、運転者が、物体と枠の対応を誤認識したり、あるいは、物体までの距離を誤認識したりしてしまう可能性がある。しかし、本実施形態の表示制御装置によれば、物体に対して枠を正確な位置に表示することができるので、それらの誤認識を回避することができる。
【００６４】
また、移動算出部１４４が表示領域における物体の動きから当該表示領域内における物体の移動方向と移動速度を算出するようにすれば、処理が軽く済む。
【００６５】
また、移動算出部１４４が３次元座標空間における物体の動きから物体の移動方向と移動速度を算出するようにすれば、物体の移動方向と移動速度をより高精度に算出できる。
【００６６】
また、処理時間算出部１４５が枠の位置を決定するのに要する処理時間を算出し、枠決定部１４６がその処理時間も用いて枠の位置、大きさを決定するようにすれば、枠の位置、大きさをその処理時間に合わせて決定することができる。
【００６７】
本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００６８】
例えば、表示画像中の物体に対応する表示情報として、物体を囲む枠を例にとって説明したが、これに限定されず、例えば、物体に対応する代表点や、物体を指し示す矢印等であってもよい。そのような代表点や矢印の場合、大きさは決定せずに、位置だけを決定するようにしてもよい。
【符号の説明】
【００６９】
１…車両、１００…車両制御システム、１４１…画像取得部、１４２…画像補正部、１４３…物体検出部、１４４…移動算出部、１４５…処理時間算出部、１４６…枠決定部、１４７…記憶部。
【図１】
2018036444.tif 000003
【図２】
2018036444.tif 000004
【図３】
2018036444.tif 000005
【図４】
2018036444.tif 000006
【図５】
2018036444.tif 000007
【図６】
2018036444.tif 000008
【図７】
2018036444.tif 000009
【図８】
2018036444.tif 000010
【図９】
2018036444.tif 000011
【図１０】
2018036444.tif 000012