(57)【特許請求の範囲】
【請求項１】
車両の周囲における各撮像領域をそれぞれ撮像するように前記車両に搭載された複数の撮像装置（１０）の撮像画像から予め定められた対象物を認識する画像認識部（２１）と、
前記画像認識部により複数の前記撮像画像からそれぞれ異なる前記対象物を個別に認識した場合に、前記車両の運転者にとって最も注意すべき対象物を最注意対象物として特定する最注意特定部（２７）と、
前記複数の撮像装置のうち、前記最注意特定部により特定された最注意対象物を含む画像を撮像した撮像装置を認識撮像装置とし、前記認識撮像装置に応じた仮想視点から見た視点変換画像に、前記複数の撮像装置の撮像画像を変換する視点変換部（２２）と、
前記視点変換部により変換された視点変換画像を運転支援画像として、前記車両に搭載された表示装置（３０）に前記運転支援画像を出力する画像出力部（２６）と、
を備える車載表示制御装置であって、
前記視点変換部は、前記認識撮像装置が二つである場合、前記撮像装置の組合せパターンと前記仮想視点とが一対一に対応づけられた付加対応テーブルを用いて前記仮想視点を設定する、
ことを特徴とする車載表示制御装置。
【請求項２】
請求項１に記載の車載表示制御装置であって、
前記最注意特定部は、前記複数の撮像装置のうち、前記車両の進行方向に応じた撮像装置が撮像した画像に含まれている対象物を、前記最注意対象物として特定する、
ことを特徴とする車載表示制御装置。
【請求項３】
請求項１又は請求項２に記載の車載表示制御装置であって、
前記最注意特定部は、前記車両との距離が最も小さい対象物を、前記最注意対象物として特定する、
ことを特徴とする車載表示制御装置。
【請求項４】
請求項１から請求項３までの何れか１項に記載の車載表示制御装置であって、
前記最注意特定部は、前記車両への接近速度が最も大きい対象物を、前記最注意対象物として特定する、
ことを特徴とする車載表示制御装置。
【請求項５】
請求項１から請求項４までの何れか１項に記載の車載表示制御装置であって、
前記最注意特定部は、前記車両との距離を前記車両への接近速度で除算した値が最も小さい対象物を、前記最注意対象物として特定する、
ことを特徴とする車載表示制御装置。
【請求項６】
車両の周囲における各撮像領域をそれぞれ撮像するように前記車両に搭載された複数の撮像装置（１０）の撮像画像から予め定められた対象物を認識する画像認識工程（２１）と、
前記画像認識工程により複数の前記撮像画像からそれぞれ異なる前記対象物を個別に認識した場合に、前記車両の運転者にとって最も注意すべき対象物を最注意対象物として特定する最注意特定工程（２７）と、
前記複数の撮像装置のうち、前記最注意特定工程により特定された最注意対象物を含む画像を撮像した撮像装置を認識撮像装置とし、前記認識撮像装置に応じた仮想視点から見た視点変換画像に、前記複数の撮像装置の撮像画像を変換する視点変換工程（２２）と、
前記視点変換工程により変換された視点変換画像を運転支援画像として、前記車両に搭載された表示装置（３０）に前記運転支援画像を出力する画像出力工程（２６）と、
を備える車載表示制御方法であって、
前記視点変換工程は、前記認識撮像装置が二つである場合、前記撮像装置の組合せパターンと前記仮想視点とが一対一に対応づけられた付加対応テーブルを用いて前記仮想視点を設定する、
ことを特徴とする車載表示制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両運転者に運転支援画像を提示するための表示制御技術に関する。
【背景技術】
【０００２】
従来、自車両の後方から自車両に接近する車両の位置を検出して、自車両に対するその接近車両の位置に応じた仮想視点を設定し、こうして設定した仮想視点から見た合成画像を複数のカメラで撮像した撮像画像から生成して、その合成画像を運転支援画像として車載ディスプレイに出力する表示制御技術が知られている（特許文献１参照）。
【０００３】
このような表示制御技術においては、特許文献１に記載のように、接近車両が自車両に近づくにつれて仮想視点の高さを上昇させたり、仮想視点の位置を接近車両の運転者の位置に設定したりすることが提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５６８１５６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、この種の表示制御技術では、自車両の後方以外の周囲において接近車両を認識した場合や、自車両の周囲において接近車両以外の対象物（例えば、歩行者や静止車両など）を認識した場合にも、その認識した対象物に応じた仮想視点を設定することが望ましいと考えられる。
【０００６】
しかしながら、従来の表示制御技術では、複数のカメラの撮像画像からそれぞれ異なる対象物を個別に認識した場合に、どのように仮想視点を設定することが望ましいか、という観点が欠如しているため、必ずしも自車両の周囲の状況に応じた適切な運転支援画像を運転者に提示しているわけではない、という問題があった。
【０００７】
本発明は、こうした問題にかんがみてなされたものであり、複数のカメラの撮像画像からそれぞれ異なる対象物を個別に認識した場合であっても、自車両の周囲の状況に応じた適切な運転支援画像を運転者に提示可能な表示制御技術を提供することを目的としている。
【課題を解決するための手段】
【０００８】
本発明の一局面である車載表示制御装置は、画像認識部と、最注意特定部と、視点変換部と、画像出力部と、を備える。画像認識部は、車両の周囲における各撮像領域をそれぞれ撮像するように該車両に搭載された複数の撮像装置の撮像画像から予め定められた対象物を認識する。
【０００９】
最注意特定部は、画像認識部により複数の上記撮像画像からそれぞれ異なる対象物を個別に認識した場合に、車両の運転者にとって最も注意すべき対象物を最注意対象物として特定する。
【００１０】
視点変換部は、複数の撮像装置のうち、注意特定部により特定された最注意対象物を含む画像を撮像した撮像装置を認識撮像装置とし、該認識撮像装置に応じた仮想視点から見た視点変換画像に、上記複数の撮像装置の撮像画像を変換する。こうして視点変換部により変換された視点変換画像は運転支援画像として、車両に搭載された表示装置に出力される。
【００１１】
このような構成によれば、複数の撮像装置の撮像画像からそれぞれ異なる対象物を個別に認識した場合であっても、自車両の周囲の状況に応じて、運転者にとって最も注意すべき対象物（即ち、最注意対象物）を向くように仮想視点が設定されるため、こうした仮想視点から見た視点変換画像に上記複数の撮像装置の撮像画像を変換することにより、適切な運転支援画像を運転者に提示することができる。
【００１２】
また、本発明の一局面である車載表示制御方法によれば、上記同様の理由により、本発明の一局面である車載表示制御装置において既に述べた効果と同様の効果を得ることができる。
【図面の簡単な説明】
【００１３】
【図１】車載表示制御装置１の構成を例示するブロック図である。
【図２】自車両に搭載された複数のカメラ１０の各撮像領域を例示する説明図である。
【図３】表示制御ユニット２０の機能的構成を例示するブロック図である。
【図４】図４（Ａ）は基本対応テーブルを例示する説明図、図４（Ｂ）は付加対応テーブルを例示する説明図である。
【図５】図５（Ａ）は自車両に対する前後方向の仮想視点を例示する説明図であり、図５（Ｂ）は自車両に対する左右方向の仮想視点を例示する説明図である。
【図６】図６（Ａ）は合成画像を例示するイメージ図であり、図６（Ｂ）は強調画像を付加した運転支援画像を例示するイメージ図である。
【図７】仮想視点設定処理のフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明の例示的な実施形態について図面を参照しながら説明する。また、下記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、これは本発明の理解を容易にする目的で使用しており、本発明の技術的範囲を限定する意図ではない。
【００１５】
［１．第１実施形態］
［１−１．全体構成］
図１に示す車載表示制御装置１は、複数のカメラ１０及びレーダセンサ１５と、表示制御ユニット２０と、ディスプレイ３０と、を備える。また、図示を省略しているが、車載表示制御装置１は、車内ローカルエリアネットワーク（以下「車内ＬＡＮ」という）に接続されており、車内ＬＡＮに接続された他の電子制御ユニット（以下「ＥＣＵ」という）との間で、各種センサの検出情報等の車両情報を共有するように構成されている。以下の説明では、これらの構成要素が搭載された車両を自車両という。
【００１６】
なお、車内ＬＡＮは、自車両の内部に配設されているローカルエリアネットワークであり、例えば、周知のＣＡＮやＦｌｅｘＲａｙ、ＬＩＮ、ＭＯＳＴ、ＡＶＣ−ＬＡＮ等の通信プロトコルを利用して各種の車両情報を伝送するものである。本実施形態においては、例えば、自車両の運転方向を示す情報（例えば、シフトレバー位置、ステアリング操作方向及び操作量、アクセル踏込量、自車速、加速度、ヨーレート、等）が車両情報として、他のＥＣＵから車載表示制御装置１に送信される。
【００１７】
各カメラ１０は、自車両の周囲を撮像するように自車両に搭載された複数の撮像装置として、自車両の前後左右における各位置にそれぞれ設置されている。本実施形態において、各カメラ１０は、自車両におけるそれぞれの設置位置及び撮像領域に応じて、前方カメラ２と、後方カメラ４と、右側方カメラ６と、左側方カメラ８と、に大別される。図２に示すように、前方カメラ２は、自車両の前部（例えば前部中央部）に搭載され、自車両の前方領域Ａ１を撮像する。なお、後方カメラ４は、自車両の後部（例えば後部中央部）に搭載され、自車両の後方領域Ａ２を撮像する。右側方カメラ６は、自車両の右側部（例えば右サイドミラー部）に搭載され、自車両の右側方領域Ａ３を撮像する。左側方カメラ８は、自車両の左側部（例えば左サイドミラー部）に搭載され、自車両の左側方領域Ａ４を撮像する。
【００１８】
また、各カメラ１０は、各撮像領域の一部が他の少なくとも１つのカメラ１０の撮像領域の一部と重複する領域（以下「重複領域」という）を有するように自車両に設置されている。例えば、図２に示すように、前方カメラ２の撮像領域である前方領域Ａ１は、右側方カメラ６の撮像領域である右側方領域Ａ３と一部が重複する右前重複領域ＯＡ１と、左側方カメラ８の撮像領域である左側方領域Ａ４と一部が重複する左前重複領域ＯＡ２と、を有している。また、後方カメラ４の撮像領域である後方領域Ａ２は、右側方カメラ６の撮像領域である右側方領域Ａ３と一部が重複する右後重複領域ＯＡ３と、左側方カメラ８の撮像領域である左側方領域Ａ４と一部が重複する左後重複領域ＯＡ４と、を有している。つまり、これらの重複領域は、二つのカメラ１０の何れでも撮像可能な領域ということになる。
【００１９】
以下の説明では、図２に示すように、前方領域Ａ１のうち、右前重複領域ＯＡ１及び左前重複領域ＯＡ２以外の領域を前方単領域ＳＡ１といい、後方領域Ａ２のうち、右後重複領域ＯＡ３及び左後重複領域ＯＡ４以外の領域を後方単領域ＳＡ２という。また、右側方領域Ａ３のうち、右前重複領域ＯＡ１及び右後重複領域ＯＡ３以外の領域を右側方単領域ＳＡ３、左側方領域Ａ４のうち、左前重複領域ＯＡ２及び左後重複領域ＯＡ４以外の領域を左側方単領域ＳＡ４という。つまり、前方カメラ２だけが撮像可能な前方領域Ａ１を前方単領域ＳＡ１、後方カメラ４だけが撮像可能な後方領域Ａ２を後方単領域ＳＡ２、右側方カメラ６だけが撮像可能な右側方領域Ａ３を右側方単領域ＳＡ３、左側方カメラ８だけが撮像可能な左側方領域Ａ４を左側方単領域ＳＡ４ということになる。
【００２０】
各レーダセンサ１５は、各カメラ１０に対応して自車両の前後左右における各位置にそれぞれ設置されており、ミリ波やレーザ光、超音波等のレーダ波を送信し、レーダ波が物体に反射された反射波を受信することにより、物体の方位、距離、相対速度を主として検出するものである。例えばミリ波レーダは、三角波で周波数変調した送信波をアンテナから出力し、自車両前方の物体から反射した反射波をアンテナで受信してミキシングすることでビート信号を取得するように構成されている。ビート信号は、物体までの距離および相対速度に応じて生じる干渉により波形が変化するので、こうした波形から自車両に対する物体の相対距離と相対速度が演算される。また、送信波の照射方向に物体が存在すれば反射波が受信されるので、自車両前方に存在する物体の方向を検出することができる。
【００２１】
ディスプレイ３０は、自車両に搭載される表示装置として、車室内等に設置されるものである。例えば、ディスプレイ３０は、液晶ディスプレイ、ヘッドアップディスプレイ、又はこれらの組合せ等によって構成され、自車両の運転者が視認しやすい位置に設置される。
【００２２】
［１−２．表示制御ユニット２０の構成］
図１に示す表示制御ユニット２０は、ＣＰＵ１２と、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ（以下「メモリ」という）１４と、を有する周知のマイクロコンピュータ及び車内ＬＡＮ用の通信コントローラを中心に構成され、メモリ１４に格納されているプログラムに基づいてＣＰＵ１２により各種処理が実行されるものである。つまり、このプログラムが実行されることで、プログラムに対応する方法が実行されることになる。なお、表示制御ユニット２０において、例えばマイクロコンピュータの数は１つでも複数でもよく、これら１ないし複数のマイクロコンピュータの各設置場所は自車両内部の何れでもよい。
【００２３】
また、表示制御ユニット２０は、ＣＰＵ１２の各種処理の実行により実現される機能的構成として、図３に示すように、画像認識部２１と、視点変換部２２と、画像合成部２３と、画像設定部２４と、画像強調部２５と、画像出力部２６と、最注意特定部２７と、を備える。なお、表示制御ユニット２０が実行するこれら機能の一部または全部を、一つあるいは複数の論理回路若しくはＩＣ等の電子回路によりハードウェア的に構成してもよい。
【００２４】
画像認識部２１は、複数のカメラ１０の各撮像画像の中から予め定められた対象物を認識する機能を有している。対象物とは、例えば歩行者や他車両等、運転支援の観点から自車両の運転者にその存在を知らせることが望ましいと考えられるものである。この対象物の認識には、各カメラ１０の撮像画像に基づく対象物の位置検出と、その検出した対象物の位置に対応する方位及び距離を基に各レーダセンサ１５の検出結果から当該対象物の相対速度を抽出する処理が含まれる。
【００２５】
また、画像認識部２１においては、認識された対象物を画像中に含む撮像画像を他の撮像画像と識別するための識別情報や、認識された対象物に関する画像中の位置を示す画像位置情報等がメモリ１４に記憶される。なお、画像位置情報には、画像認識部２１により認識された対象物を含む撮像領域として、単領域ＳＡ１〜ＳＡ４及び重複領域ＯＡ１〜ＯＡ４の中の何れか一つを特定する情報も含まれている。
【００２６】
視点変換部２２は、画像認識部２１により認識された対象物を画像中に含む撮像画像を撮像した１ないし複数のカメラ１０のうち、１又は後述する１組のカメラ１０を認識撮像装置（以下「認識カメラ」という）として特定し、この認識カメラに予め対応づけられている仮想視点から見た視点変換画像に対象となる撮像画像を変換する機能を有している。なお、こうした機能のうち、認識カメラを特定して仮想視点を設定する機能を実現するための処理（以下「仮想視点設定処理」という）の詳細については後述する。また、本実施形態において、視点変換部２２は、全てのカメラ１０の撮像画像を対象として視点変換画像に変換し、変換した各視点変換画像を画像合成部２３に供給する。
【００２７】
視点変換画像は、カメラ１０の視点から見た撮像画像を、仮想カメラの視点から見ているかのように座標変換した画像であるといえる。例えば、カメラ座標系の光軸を基準とすると、撮像画像上のあらゆる点の座標位置を光軸からの角度と距離とによって求め、これらの座標位置を仮想カメラの光軸に基づいて回転及び並進させることにより、画像を視点変換することができる。つまり、仮想カメラの光軸として、仮想視点の位置及び向きを設定すれば、所望の視点変換画像を得ることが可能となる。なお、画像の視点変換技術は当業者にとって周知のため、その詳細な説明については省略する。
【００２８】
また、仮想視点の位置及び向きの設定では、メモリ１４に予め記憶されている対応テーブルが用いられる。この対応テーブルは、基本対応テーブルと付加対応テーブルとに大別される。基本対応テーブルは、図４（Ａ）に例示するように、各カメラ１０と仮想視点とが一対一に対応づけられたテーブルである。つまり、基本対応テーブルは、認識カメラとして特定したカメラ１０が一つであれば、仮想視点を一意に設定することが可能となるテーブルである。
【００２９】
一方、付加対応テーブルは、図４（Ｂ）に例示するように、各カメラ１０の組合せと仮想視点とが一対一に対応づけられたテーブルである。例えば、これらの各カメラ１０の組合せは、前方カメラ２と右側方カメラ６との組合せ、前方カメラ２と左側方カメラ８との組合せ、後方カメラ４と右側方カメラ６との組合せ、後方カメラ４と左側方カメラ８との組合せ、の４つのパターンからなる。つまり、付加対応テーブルは、認識カメラとして特定したカメラ１０がこれら何れかの組合せであれば、仮想視点を一意に設定することが可能となるテーブルである。なお、上記４つのパターンの各組合せは、前述の「１組のカメラ１０」、及び重複領域の説明で用いた「二つのカメラ１０」に相当している。
【００３０】
また具体的には、基本対応テーブルを用いた仮想視点の設定では、認識カメラとして特定したカメラ１０が前方カメラ２だけである場合、自車両の後側斜め上方の位置から自車両を含む前側斜め下方を所定角度で向く仮想視点Ｅ１が設定される（図５（Ａ）参照）。また認識カメラとして特定したカメラ１０が後方カメラ４だけである場合は、自車両の前側斜め上方の位置から自車両を含む後側斜め下方を所定角度で向く仮想視点Ｅ２が設定される（図５（Ａ）参照）。
【００３１】
同様に認識カメラとして特定したカメラ１０が右側方カメラ６だけである場合は、自車両の左側方斜め上側の位置から自車両を含む右側方斜め下方を所定角度で向く仮想視点Ｅ３が設定され、認識カメラとして特定したカメラ１０が左側方カメラ８だけである場合は、自車両の右側方斜め上方の位置から自車両を含む左側方斜め下方を所定角度で向く仮想視点Ｅ４が設定される（図５（Ｂ）参照）。
【００３２】
付加対応テーブルを用いた仮想視点の設定についても、この基本対応テーブルを用いた仮想視点の設定に準じて行われる。つまり、これらの対応テーブルを用いた仮想視点の設定では、認識カメラの位置の反対側斜め上方の位置から認識カメラ側斜め下方を所定角度で向く仮想視点Ｅ５〜Ｅ８が設定されることになる。
【００３３】
なお、仮想視点の向きついては、少なくとも自車両の車高方向（即ち垂直方向）とならない角度範囲（例えば０〜８０°の範囲）のうち何れかの所定角度に予め設定されている。この理由は、仮想視点の向きを垂直方向（即ち９０°）とした鳥瞰画像を視点変換画像として生成すると、鳥瞰画像の中央から離れるに従って画像中の物体が高さ方向に延びて変換されてしまう傾向が最も顕著になるためである。また、仮想視点の向きを自車両の水平方向（即ち０°）とすることも、合成画像中の自車両による死角領域が最も増大してしまう。このため、本実施形態において、仮想視点の向きに関する設定角度は、自車両の垂直方向及び水平方向とならない角度範囲（例えば１０〜８０°の範囲）のうち何れかとされている。
【００３４】
最注意特定部２７は、画像認識部２１により複数のカメラ１０の撮像画像からそれぞれ異なる対象物を個別に認識した場合に、自車両の運転者にとって最も注意すべき対象物を最注意対象物として特定する機能を有している。ここで複数のカメラ１０の撮像画像からそれぞれ異なる対象物を個別に認識した場合とは、複数の対象物が自車両の周囲に存在しているケースにおいて、１つのカメラ１０の撮像画像からは少なくとも１つの対象物を認識したが全ての対象物を認識できない場合であって、その認識できない少なくとも１つ対象物について別のカメラ１０の撮像画像から認識した場合をいう。なお、こうした最注意特定部２７の機能を実現するための処理（以下「最注意特定処理」という）の詳細については後述する。この最注意特定処理は、本実施形態においては、後述するように仮想視点設定処理の中で実施される。
【００３５】
画像合成部２３は、視点変換部２２から供給された各視点変換画像を一部重ねて繋ぎ合わせた合成画像を生成する機能を有している。具体的に本実施形態では、合成画像における繋ぎ目部分を含む領域として、前方カメラ２の視点変換画像と右側方カメラ６の視点変換画像とが一部重なる重複画像領域、前方カメラ２の視点変換画像と左側方カメラ８の視点変換画像とが一部重なる重複画像領域、後方カメラ４の視点変換画像と右側方カメラ６の視点変換画像とが一部重なる重複画像領域、後方カメラ４の視点変換画像と左側方カメラ８の視点変換画像とが一部重なる重複画像領域、がそれぞれ形成されることになる。なお、これらの各重複画像領域は、各カメラ１０の撮像領域における各重複領域ＯＡ１〜ＯＡ４（図２参照）にそれぞれ対応する領域であるといえる。
【００３６】
また、画像合成部２３は、こうした合成画像を生成する際に、重複画像領域における各視点変換画像部分を予め設定されたブレンド率で合成する機能を有している。この理由は、合成画像において繋ぎ目部分を含む重複画像領域の各視点変換画像部分を合成することにより、合成画像において繋ぎ目部分を目立たなくし、これにより繋ぎ目部分の不自然さを緩和させるためである。なお、本実施形態では、各カメラ１０の全ての視点変換画像を一部重ねて繋ぎ合わせた合成画像が形成されるため、繋ぎ目部分の不自然さを緩和させたアラウンドビュー画像が生成されることになる。アラウンドビュー画像とは、図６（Ａ）に示すように、自車両を含むとともに自車両の全周囲を表示可能とする画像のことをいう。
【００３７】
画像設定部２４は、画像認識部２１による対象物の認識結果に基づき、重複画像領域における各視点変換画像部分（以下「重複画像領域部分」ともいう）のブレンド率を設定する機能を有している。画像設定部２４により設定されたブレンド率は、画像合成部２３による重複画像領域部分の合成に用いられる。
【００３８】
画像強調部２５は、視点変換部２２により変換された視点変換画像に含まれている対象物の画像部分（以下「対象物画像部分」という）を強調させる機能を有している。具体的に本実施形態では、画像合成部２３により生成された合成画像の対象物画像部分を強調させる処理を実施する。この処理は、メモリ１４に記憶されている画像位置情報に基づいて、対象物の画像位置を特定することにより実現される。対象物画像部分の強調方法については、対象物を囲う画像等、対象物を強調させるための強調画像（図６（Ｂ）参照）を合成画像に付加しても良いし、対象物画像部分の輝度を周囲の画像部分よりも高くする等、対象物画像部分及び合成画像のうち少なくとも一方のコントラストを変更しても良い。
【００３９】
画像出力部２６は、画像設定部２４により設定されたブレンド率で画像合成部２３により重複画像領域部分が合成された合成画像を運転支援画像として、ディスプレイ３０に出力する機能を有している。具体的に本実施形態では、画像強調部２５により対象物画像部分が強調されたアラウンドビュー画像を運転支援画像として、ディスプレイ３０に運転支援画像が出力される。運転支援画像とは、他車両や歩行者等の対象物の存在を運転者に知らせるための警告を行う等、自車両の運転支援を目的とする表示画像のことをいう。
【００４０】
［１−３．仮想視点設定処理］
次に、視点変換部２２の一部機能を実現させるためにＣＰＵ１２が行う仮想視点設定処理について、図７のフローチャートを用いて説明する。なお、本処理は、例えば車載表示制御装置１のスイッチ（非図示）がオン状態である間、表示制御ユニット２０内において機能毎に予め設定されたタイミングで繰り返し起動される。
【００４１】
本処理が起動すると、視点変換部２２では、まず、Ｓ１１０において、全てのカメラ１０の撮像画像を入力するとともに、これらの中で画像認識部２１により認識された対象物を画像中に含む撮像画像が存在するか否かを判定する。この判定は、例えばメモリ１４に記憶される識別情報の有無に基づいて行うことができる。そして、対象物を画像中に含む撮像画像が存在すると判定した場合には、画像認識部２１により複数のカメラ１０の撮像画像からそれぞれ異なる対象物を個別に認識したか否かを判定する。この判定は、例えばメモリ１４に記憶される画像位置情報に基づいて行うことができる。ここで、複数のカメラ１０の撮像画像からそれぞれ異なる対象物を個別に認識しなかったと判定した場合、つまり１つのカメラ１０の撮像画像から全ての対象物を認識した場合には、Ｓ１２０に移行し、複数のカメラ１０の撮像画像からそれぞれ異なる対象物を個別に認識したと判定した場合、つまり１つのカメラ１０の撮像画像からは少なくとも１つの対象物を認識したが全ての対象物を認識できない場合であって、その認識できない少なくとも１つの対象物について別のカメラ１０の撮像画像から認識した場合には、Ｓ１３０に移行する。
【００４２】
Ｓ１２０では、視点変換部２２は、後述する最注意特定処理を経ずにメモリ１４に予め記憶されている対応テーブルを用いて認識カメラに対応する仮想視点を設定する処理（以下「通常仮想視点設定処理」という）を実施し、本処理を終了する。この通常仮想視点設定処理では、例えばＳ１１０で対象物を認識した画像を撮像したカメラ１０が１つの場合には、そのカメラ１０を認識カメラとして、基本対応テーブル（図４（Ａ））を用いて、その認識カメラに対応する仮想視点を設定する。また例えばＳ１１０で対象物を認識した画像を撮像したカメラ１０が１組の場合には、そのカメラ１０の組合せを認識カメラとして、付加対応テーブル（図４（Ｂ））を用いて、その認識カメラに対応する仮想視点を設定する。なお例えばＳ１１０で対象物を認識した画像を撮像したカメラ１０が１組の場合であって、各カメラ１０の撮像画像から認識した対象物の数が異なる場合には、より多くの対象物を認識した画像を撮像したカメラ１０を認識カメラとしてもよいし、Ｓ１３０に移行してもよい。
【００４３】
また、Ｓ１１０において対象物を画像中に含む撮像画像が存在しないと判定した場合にも通常仮想視点設定処理を実施することができる。この場合、例えばシフトレバー位置に基づき、例えばシフトレバー位置がドライブ（Ｄ）位置であれば、前方カメラ２を認識カメラとし、例えばシフトレバー位置がリバース（Ｒ）位置であれば、後方カメラ４を認識カメラとして、それぞれ認識カメラに対応する仮想視点を設定することができる。
【００４４】
Ｓ１３０では、視点変換部２２は、最注意特定部２７に最注意特定処理を開始させる。この最注意特定処理が開始されると、最注意特定部２７は、まず、Ｓ１４０において、複数のカメラ１０のうち、自車両の進行方向に応じた１又は１組のカメラ１０が撮像した画像に対象物が含まれているか否かを判定する。この判定は、例えば他のＥＣＵから受信した車両情報のうち、ステアリング操作方向及び操作量やヨーレート等に基づいて自車両の進行方向を特定することにより行うことができる。ここで、自車両の進行方向に応じた１又は１組のカメラ１０が撮像した画像に対象物が含まれていると判定した場合には、Ｓ１５０に移行し、自車両の進行方向に応じた１又は１組のカメラ１０が撮像した画像に対象物が含まれていないと判定した場合には、Ｓ１６０に移行する。
【００４５】
Ｓ１５０では、最注意特定部２７は、画像認識部２１により認識された複数の対象物のうち、Ｓ１４０で画像に含まれていると判定した１ないし複数の対象物を最注意対象物として特定し、Ｓ１７０に移行する。
【００４６】
一方、Ｓ１６０では、最注意特定部２７は、画像認識部２１により認識された複数の対象物のうち、自車両との距離及び自車両への接近速度に基づく所定の距離速度条件が成立する１つの対象物を最注意対象物として設定し、Ｓ１７０に移行する。例えば、距離速度条件は、自車両との距離が最も小さいことを成立要件とする条件であってもよい。つまり、自車両との距離が最小である対象物を最注意対象物とすることができる。また例えば、距離速度条件は、自車両への接近速度が最も大きいことを成立要件とする条件であってもよい。つまり、自車両への接近速度が最大である対象物を最注意対象物とすることができる。また例えば、距離速度条件は、自車両との距離を自車両への接近速度で除算した値が最も小さいことを成立要件とする条件であってもよい。つまり、自車両の位置へ到達するまでに必要な時間が最小である対象物を最注意対象物とすることができる。なお、各対象物について、自車両との距離及び自車両への接近速度は、画像認識部２１の認識結果とレーダセンサ１５の検出結果とに基づく情報から得ることができる。
【００４７】
Ｓ１７０では、視点変換部２２は、最注意特定部２７によりＳ１５０又はＳ１６０で設定された最注意対象物を含む画像を撮像した１又は１組のカメラ１０を認識カメラとして、予め記憶されている対応テーブル（つまり、基本対応テーブル又は付加対応テーブル）を用いて認識カメラに対応する仮想視点を設定し、本処理を終了する。具体的には、例えば自車両の進行方向に応じた１又は複数の対象物を撮像した１又は１組のカメラ１０、又は所定の距離速度条件が成立する１つの対象物を撮像した１つのカメラ１０を認識カメラとして設定し、この認識カメラの方向に仮想視点を設定する。
【００４８】
［１−４．効果］
以上詳述した第１実施形態によれば、以下の効果が得られる。
（１ａ）第１実施形態の構成によれば、複数のカメラ１０の撮像画像からそれぞれ異なる対象物を個別に認識した場合であっても、自車両の周囲の状況に応じて、運転者にとって最も注意すべき対象物（即ち、最注意対象物）を向くように仮想視点が設定されるため、こうした仮想視点から見た視点変換画像に複数のカメラ１０の撮像画像を変換することにより、適切な運転支援画像を運転者に提示することができる。
【００４９】
（２ａ）また、仮想視点設定処理では、最注意特定部２７が、複数のカメラ１０のうち、自車両の進行方向に応じたカメラ１０が撮像した画像に含まれている対象物を最注意対象物として特定することにより、例えば自車両の進行を妨げる可能性が最も高いと推測される対象物を向くように仮想視点を好適に設定することができる。
【００５０】
（３ａ）また、仮想視点設定処置では、最注意特定部２７が、自車両との距離が最も小さい対象物を最注意対象物として特定することにより、例えば自車両の死角に位置する可能性が最も高いと推測される対象物を向くように仮想視点を好適に設定することができる。
【００５１】
（４ａ）また、仮想視点設定処理では、最注意特定部２７が、自車両への接近速度が最も大きい対象物を最注意対象物として特定することにより、例えば運転者にとって今後注意を要すべき可能性が最も高いと推測される対象物を向くように仮想視点を好適に設定することができる。
【００５２】
（５ａ）また、仮想視点設定処理では、自車両との距離を自車両への接近速度で除算した値が最も小さい対象物を最注意対象物として特定することにより、例えば自車両と衝突する可能性が最も高いと推測される対象物を向くように仮想視点を好適に設定することができる。
【００５３】
［２．他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されることなく、種々の形態を採り得る。
【００５４】
（２Ａ）上記実施形態では、各カメラ１０が、それぞれの撮像領域に関して前述した重複領域を有するように自車両に設置されているが、これに限定されるものではなく、こうした重複領域を有さないように自車両に設置されてもよい。これに伴い、上記実施形態では、対応テーブルとして、基本対応テーブルと付加対応テーブルとを有しているが、これに限定されるものではなく、例えば基本対応テーブルだけを有するようにしてもよい。
【００５５】
（２Ｂ）上記実施形態では、視点変換部２２が、対応テーブルを用いて認識カメラに応じた仮想視点を設定しているが、これに限定されるものではなく、例えば対応テーブルを用いることなく、認識カメラに応じた仮想視点として、最注意対象物の位置に応じた仮想視点を動的に設定するようにしてもよい。
【００５６】
（２Ｃ）上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
【００５７】
（２Ｄ）上述した車載表示制御装置１の他、当該車載表示制御装置１を構成要素とするシステム、当該車載表示制御装置１としてコンピュータを機能させるための１ないし複数のプログラム、このプログラムの少なくとも一部を記録した１ないし複数の記録媒体（具体的には、半導体メモリ等の非遷移的実体的記録媒体）、車載表示制御方法など、種々の形態で本発明を実現することもできる。
【符号の説明】
【００５８】
１…車載表示制御装置、２…前方カメラ、４…後方カメラ、６…右側方カメラ、８…左側方カメラ、１０…カメラ、１２…ＣＰＵ、１４…メモリ、１５…レーダセンサ、２０…表示制御ユニット、２１…画像認識部、２２…視点変換部、２３…画像合成部、２４…画像設定部、２５…画像強調部、２６…画像出力部、２７…最注意特定部、３０…ディスプレイ、Ｅ１〜Ｅ８…仮想視点。
【図１】
0006406175.tif 000002
【図２】
0006406175.tif 000003
【図３】
0006406175.tif 000004
【図４】
0006406175.tif 000005
【図５】
0006406175.tif 000006
【図６】
0006406175.tif 000007
【図７】
0006406175.tif 000008