(57)【要約】  俯瞰画像、補助画像、および補助画像の方向を、高い視認性で同時表示することができる車両周囲監視装置。この車両周囲監視装置（１００）は、車両の上方から車両の周囲を見た画像である俯瞰画像と、車両から車両の周囲を見た画像である補助画像とを、１つの画面に表示させる表示制御部（１４０）と、補助画像に対応する画像領域を囲む枠線を、俯瞰画像に重畳して表示させる枠線重畳部（１４３）とを有する。また、車両周囲監視装置（１００）は、車両に取り付けられ、車両の周囲を撮影する第１〜第４のカメラ（１１０−１〜１１０−４）を更に有し、表示制御部（１４０）は、第１〜第４のカメラ（１１０−１〜１１０−４）の撮像画像を用いて、俯瞰画像を合成する。
2009141846.tif 000002
【特許請求の範囲】
【請求項１】
車両の上方から前記車両の周囲を見た画像である俯瞰画像と、前記車両から前記車両の周囲を見た画像である補助画像とを、１つの画面に表示させる表示制御手段と、
前記補助画像に対応する画像領域を囲む枠線を、前記俯瞰画像に重畳して表示させる枠線重畳手段と、
を有する車両周囲監視装置。
【請求項２】
前記車両に取り付けられ、前記車両の周囲を撮影する複数のカメラ、を更に有し、
前記表示制御手段は、
前記複数のカメラの撮像画像を用いて、前記俯瞰画像を合成する、
請求項１記載の車両周囲監視装置。
【請求項３】
前記補助画像の水平画角は、前記俯瞰画像の水平画角よりも狭い、
請求項１記載の車両周囲監視装置。
【請求項４】
前記表示制御手段は、
前記俯瞰画像の異なる画像領域に対応する複数の補助画像を切り替えて表示させる、
請求項２記載の車両周囲監視装置。
【請求項５】
前記複数のカメラの撮像画像から、前記俯瞰画像と前記補助画像とを１つの画面に表示する画像である複合画像を合成するためのマッピングテーブルと、前記マッピングテーブルに基づいて合成される複合画像に前記枠線を重畳するための表示領域データと、の組を、前記複数の補助画像に対応して複数組記憶するデータ記憶手段と、
前記データ記憶手段に記憶された前記マッピングテーブルと前記表示領域データとの複数の組を切り替えて選択する表示切替手段と、を更に有し、
前記表示制御手段は、
前記表示切替手段によって選択された組のマッピングテーブルを用いて、前記複合画像を合成し、
前記枠線重畳手段は、
前記表示切替手段によって選択された組の表示領域データを用いて、前記複合画像に前記枠線の画像を重畳する、
請求項４記載の車両周囲監視装置。
【請求項６】
前記補助画像は、前記車両の前方の画像、前記車両の後方の画像、および前記車両の側方の画像の少なくとも１つを含む、
請求項１記載の車両周囲監視装置。
【請求項７】
前記表示制御手段は、
前記車両の動作状態に応じて、前記複数の補助画像を切り替えて表示させる、
請求項４記載の車両周囲監視装置。
【請求項８】
車両の動作状態を判断するステップと、
前記車両の動作状態に応じて、前記車両から周囲を異なる方向で見た画像である複数の補助画像の中から、いずれか１つを選択するステップと、
選択した前記補助画像と、前記車両の上方から前記車両の周囲を見た画像である俯瞰画像と、を１つの画面に同時に表示し、かつ、前記補助画像に対応する画像領域を囲む枠線を前記俯瞰画像に重畳して表示するステップと、
を有する車両周囲監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両運転の際の安全確認の補助などに利用される車両周囲監視装置および車両周囲監視方法に係り、特に、車両周囲の撮像画像を表示する車両周囲監視装置および車両周囲監視方法に関する。
【背景技術】
【０００２】
乗用車などの車両を運転する際、運転者にとって、車両の後方および側方の障害物の有無は確認しにくい。そこで、近年、車両の後方および側方（以下適宜「後方」と総称する）をカメラで撮像し、撮像画像をモニタに表示することで、運転者の周囲監視や運転を補助する車両周囲監視装置の普及が進んでいる。このような車両周囲監視装置を用いることにより、例えば、駐車場に前向きに停車している車両を、後退させつつ駐車場から出す際に、後方の状況をモニタ上で容易に確認することができ、運転者はより安全に運転を行うことができる。【０００３】
このような車両周囲監視装置を発展させたものとして、複数のカメラを使って様々な運転シーンを網羅的に支援することを試みる装置が提案されている（例えば特許文献１参照）。特許文献１記載の車両周囲監視装置は、それぞれ異なる方向を向いた複数のカメラを用いて車両周囲を撮像し、複数の撮像画像を合成して、車両の上方の仮想視点から車両の周囲を見下ろした画像（以下「俯瞰画像」という）を生成する。そして、生成した俯瞰画像と、車両から周囲を見た画像（以下「補助画像」という）とを組み合わせた、複合画像（以下単に「複合画像」という）を表示する。【０００４】
補助画像は、例えば、車両が後退しているときにはリア方向の画像となり、同乗者が乗り降りするときには左右方向の画像となる。運転者は、このようなビューが表示されることにより、俯瞰画像にて複数の方向に気を配りながら、補助画像にて特定の範囲の様子を詳細に確認することができる。【０００５】
使い勝手の向上の観点から、運転者に対して、どの方向の画像が補助画像に映し出されているのかを、よりわかりやすく、つまり高い視認性をもって伝えられることが望ましい。そこで、補助画像がどの方向の画像を映し出しているのかを示す情報を複合画像に表示する技術が、従来存在している。【０００６】
図１は、従来の車両周囲監視装置による複合画像の画面構成を示す図である。従来のビュー１０は、俯瞰画像２０および補助画像３０に加えて、これらとは別の領域に、補助画像がどの方向の画像を映し出しているのかを示すアイコン４０を表示する。このようなビュー１０によれば、運転者は、補助画像３０として映し出されている画像の方向（以下単に「補助画像の方向」という）を、アイコン４０を見ることで、正確に認識することができる。
【特許文献１】国際公開第００／６４１７５号パンフレット
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、図１に示す従来の複合画像は、限られた画面に俯瞰画像および補助画像の視認性を損なわずにアイコンを表示する必要があるため、アイコンを小さくせざるを得ないという問題がある。アイコンが小さいと、運転者が補助画像の方向を認識し難く、安全確認に支障をきたすおそれがある。したがって、俯瞰画像、補助画像、および補助画像の方向の全てが、高い視認性で表示されることが望ましい。【０００８】
本発明の目的は、俯瞰画像、補助画像、および補助画像の方向を、高い視認性で同時表示することができる車両周囲監視装置および車両周囲監視方法を提供することである。
【課題を解決するための手段】
【０００９】
本発明の車両周囲監視装置は、車両の上方から前記車両の周囲を見た画像である俯瞰画像と、前記車両から前記車両の周囲を見た画像である補助画像とを、１つの画面に表示させる表示制御手段と、前記補助画像に対応する画像領域を囲む枠線を、前記俯瞰画像に重畳して表示させる枠線重畳手段とを有する構成を採る。【００１０】
このように構成された車両周囲監視装置は、補助画像に対応する画像領域を囲む枠線を俯瞰画像に重ねて表示することができる。これにより、画面領域を新たに消費することなく、かつ俯瞰画像の視認性に支障をきたすことなく、補助画像の方向を表示することができる。すなわち、俯瞰画像、補助画像、および補助画像の方向を、高い視認性で同時表示することができる。【００１１】
本発明の車両周囲監視装置は、前記車両に取り付けられ、前記車両の周囲を撮影する複数のカメラを更に有し、前記表示制御手段が、前記複数のカメラの撮像画像を用いて、前記俯瞰画像を合成する構成を有する。【００１２】
このように構成された車両周囲監視装置は、車両に取り付けた複数のカメラの撮像画像から、俯瞰画像を合成することができるので、車両の移動に追従して俯瞰画像を表示することができる。【００１３】
本発明の車両周囲監視装置は、前記補助画像の水平画角が、前記俯瞰画像の水平画角よりも狭い構成を有する。【００１４】
このように構成された車両周囲監視装置は、より大きい水平画角の画像を有する俯瞰画像と、これよりも小さい水平画角の補助画像とを、１つの画面に表示するので、運転者に対し、車両周囲の広い範囲と狭い範囲との両方の様子を、表示画像で確認させることができる。すなわち、運転状況において特に注意すべき領域等、より詳細に見せたい領域を、広い範囲の領域と併せて運転者に提示することができる。【００１５】
本発明の車両周囲監視装置は、前記表示制御手段が、前記俯瞰画像の異なる画像領域に対応する複数の補助画像を切り替えて表示させる構成を有する。【００１６】
このように構成された車両周囲監視装置は、俯瞰画像の異なる画像領域に対応する複数の補助画像を切り替えて表示することができる。これにより、複数種類の補助画像を表示することができるとともに、個々の補助画像を比較的大きいサイズで表示することができ、かつ、必要な補助画像に絞って表示することができる。【００１７】
本発明の車両周囲監視装置は、前記複数のカメラの撮像画像から、前記俯瞰画像と前記補助画像とを１つの画面に表示する画像である複合画像を合成するためのマッピングテーブルと、前記マッピングテーブルに基づいて合成される複合画像に前記枠線を重畳するための表示領域データと、の組を、前記複数の補助画像に対応して複数組記憶するデータ記憶手段と、前記データ記憶手段に記憶された前記マッピングテーブルと前記表示領域データとの複数の組を切り替えて選択する表示切替手段とを更に有し、前記表示制御手段は、前記表示切替手段によって選択された組のマッピングテーブルを用いて、前記複合画像を合成し、前記枠線重畳手段は、前記表示切替手段によって選択された組の表示領域データを用いて、前記複合画像に前記枠線の画像を重畳する構成を有する。【００１８】
このように構成された車両周囲監視装置は、マッピングテーブルおよび表示領域データの組を切り替えることによって枠線が重畳された複合画像を表示することができるので、枠線が重畳された複数種類の複合画像を簡単に切り替えて表示することができる。【００１９】
本発明の車両周囲監視装置は、前記補助画像が、前記車両の前方の画像、前記車両の後方の画像、および前記車両の側方の画像の少なくとも１つを含む構成を有する。【００２０】
このように構成された車両周囲監視装置は、車両の前方の画像、後方の画像、または側方の画像を、補助画像として表示することができるので、車両運転の際の安全確認を行い易い範囲を、１つの補助画像として表示することができる。【００２１】
本発明の車両周囲監視装置は、前記表示制御手段が、前記車両の動作状態に応じて、前記複数の補助画像を切り替えて表示する構成を有する。【００２２】
このように構成された車両周囲監視装置は、車両の動作状態に応じて、補助画像を切り替えることができる。これにより、車両が前進するときには車両の前方を表示し、車両が後退するときには車両の後方を表示し、車両が停止している場合には車両の側方を表示するというように、運転者が特に安全確認を行うべき範囲の画像を、自動で選択して表示することができる。【００２３】
本発明の車両周囲監視方法は、車両の動作状態を判断するステップと、前記車両の動作状態に応じて、前記車両から周囲を異なる方向で見た画像である複数の補助画像の中から、いずれか１つを選択するステップと、選択した前記補助画像と、前記車両の上方から前記車両の周囲を見た画像である俯瞰画像と、を１つの画面に同時に表示し、かつ、前記補助画像に対応する画像領域を囲む枠線を前記俯瞰画像に重畳して表示するステップとを有する方法である。【００２４】
このような車両周囲監視方法によれば、車両の動作状態に応じて、補助画像を切り替えることができるとともに、補助画像に対応する画像領域を囲む枠線を俯瞰画像に重ねて表示することができる。これにより、画面領域を新たに消費することなく、かつ俯瞰画像の視認性に支障をきたすことなく、俯瞰画像と、車両の動作状態に応じた種類の補助画像と、その補助画像の方向とを表示することができる。
【発明の効果】
【００２５】
本発明によれば、補助画像に対応する画像領域を囲む枠線を、俯瞰画像に重ねて表示し、補助画像の方向を画像領域の強調により示すことができる。これにより、画面領域を新たに消費することなく、かつ俯瞰画像の視認性に支障をきたすことなく、補助画像の方向を表示することができる。すなわち、俯瞰画像、補助画像、および補助画像の方向を、高い視認性で同時表示することができる。
【図面の簡単な説明】
【００２６】
【図１】従来の車両周囲監視装置による複合画像を示す平面図
【図２】本発明の一実施の形態に係る車両周囲監視装置の構成図
【図３】本実施の形態におけるカメラおよびモニタの取り付け位置の一例を示す斜視図
【図４】本実施の形態における複合画像の例を示す平面図
【図５】本実施の形態における車両のギアがリバースに設定されているときの各画像の一例を示す平面図
【図６】本実施の形態に係る車両周囲監視装置の動作の一例を示すフローチャート
【図７】本実施の形態におけるフレーム処理の一例を示すフローチャート
【図８】本実施の形態に係る車両周囲監視装置と他の車両周囲監視装置との比較実験の評価対象を示す図
【図９】本実施の形態についての比較実験の被験者のデータを示す図
【図１０】本実施の形態についての比較実験の結果を示す円グラフ
【発明を実施するための最良の形態】
【００２７】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。【００２８】
図２は、本発明の一実施の形態に係る車両周囲監視装置のシステム構成図である。本実施の形態に係る車両周囲監視装置は、車両の上方から車両の周囲を見た画像である俯瞰画像と、車両から車両の周囲を見た画像である補助画像とを１つの画面に配置した複合画像を表示する装置に、本発明を適用した例として説明する。【００２９】
図２において、車両周囲監視装置１００は、大別して、第１〜第４のカメラ１１０−１〜１１０−４、データ記憶部１２０、表示切替部１３０、表示制御部１４０、およびモニタ１５０から構成されている。【００３０】
第１〜第４のカメラ１１０−１〜１１０−４は、同一の構成を有しているため、カメラ１１０としてまとめて説明を行う。カメラ１１０は、撮像部１１１と、フレームメモリ１１２を有するフレーム切替部１１３とから構成されている。ここで、撮像部１１１は、ＣＣＤ（charge coupled device）やＣＭＯＳ（complementary metal oxide）などの撮像素子と、撮像素子の撮像面に光学像を結像させる光学系とを有し（いずれも図示せず）、撮像素子で撮像した画像をフレームメモリ１１２に出力するように構成されている。フレームメモリ１１２は、撮像部１１１で撮像した画像を一時的に格納するメモリである。フレーム切替部１１３は、撮像部１１１で撮影した画像の入力先を各フレームメモリ１１２に切り替えることができ、また、表示制御部１４０に出力する画像の参照先であるフレームメモリ１１２を切り替えることができるように構成されている。なお、撮像素子としてＣＭＯＳを採用する場合には、撮像素子にフレームメモリ１１２の機能を持たせるようにしてもよい。【００３１】
図３は、図１の車両周囲監視装置の第１〜第４のカメラ１１０−１〜１１０−４およびモニタ１５０の取り付け位置の一例を示す斜視図である。【００３２】
図３に示すように、第１のカメラ１１０−１は、車両２００前部のバンパーを含む車両２００の前方を撮像するために、車両２００の正面中央に取り付けられている。第２のカメラ１１０−２は、車両２００の後部のバンパーを含む車両２００の後方を撮像するために、車両２００の後部中央に取り付けられている。第３のカメラ１１０−３は、車両２００の左側方を撮像するために、車両２００の左サイドミラーに取り付けられている。第４のカメラ１１０−４は、車両２００右側方を撮像するために、車両２００の右サイドミラーに取り付けられている。また、モニタ１５０は、車両２００のダッシュボードの運転者から見える位置に取り付けられている。【００３３】
第１〜第４のカメラ１１０−１〜１１０−４の撮像範囲１１０ａ−１〜１１０ａ−４は、いずれも、車両２００の周囲の地面を含む。また、第１〜第４のカメラ１１０−１〜１１０−４の撮像範囲１１０ａ−１〜１１０ａ−４のうち、隣り合う撮像範囲１１０ａは、少なくとも地面において、接するか、重なり合っている。これにより、第１〜第４のカメラ１１０−１〜１１０−４は、全体で、車両２００周囲の地面を３６０度撮像することができる。また、第１〜第４のカメラ１１０−１〜１１０−４の撮像画像を表示することにより、運転者に対し、地面の障害物の有無を画像で示すことができる。【００３４】
俯瞰画像および補助画像は、後述するが、第１〜第４のカメラ１１０−１〜１１０−４の撮像画像に基づいて合成される。したがって、車両周囲監視装置１００は、車両２００の移動に追従して、車両２００周囲の様子をほぼリアルタイムで表示する俯瞰画像および補助画像を、運転者に提示することができる。【００３５】
図２のデータ記憶部１２０は、第１〜第３のマッピングテーブル１２１−１〜１２１−３と、これに対応する第１〜第３のカメラ表示領域データ１２２−１〜１２２−３が予め記憶されて構成されている。【００３６】
マッピングテーブル１２１は、複合画像の画素ごとのマッピングデータの集合である。マッピングデータは、複合画像の各画素が、フレームメモリ１１２に格納された画像のどの画素に対応するかを示すデータである。すなわち、マッピングテーブル１２１は、第１〜第４のカメラ１１０−１〜１１０−４の撮像画像から複合画像を合成するためのテーブルである。カメラ表示領域データ１２２は、マッピングテーブル１２１に基づいて生成される複合画像のうち、補助画像に対応する画像領域を示すデータである。本実施の形態では、カメラ表示領域データ１２２は、俯瞰画像のうち補助画像に対応する画像領域を囲む枠線を、俯瞰画像に重ねて表示するための画像データであるものとする。【００３７】
表示切替部１３０は、車両２００の運転状況に応じて、データ記憶部１２０に格納された第１〜第３のマッピングテーブル１２１−１〜１２１−３を切り替えて選択するとともに、選択したマッピングテーブル１２１に対応するカメラ表示領域データ１２２を選択するように構成されている。【００３８】
表示制御部１４０は、第１〜第４のカメラ１１０−１〜１１０−４の各フレームメモリ１１２に格納された画像から、表示切替部１３０により選択されたマッピングテーブル１２１およびカメラ表示領域データ１２２を用いて、複合画像を生成するように構成されている。表示制御部１４０は、マッピングテーブル参照部１４１、画像合成部１４２、枠線重畳部１４３、映像信号生成部１４４、およびタイミング生成部１４５から構成されている。【００３９】
マッピングテーブル参照部１４１は、表示切替部１３０により選択されたマッピングテーブル１２１を一時的に格納し、このマッピングテーブル１２１を参照して、複合画像の各画素のマッピングデータを画像合成部１４２に出力するように構成されている。【００４０】
画像合成部１４２は、マッピングテーブル参照部１４１から出力されるマッピングデータに従って、第１〜第４のカメラ１１０−１〜１１０−４のフレームメモリ１１２に格納された画像を読み取り、読み取った画像のマッピングを行うように構成されている。すなわち、画像合成部１４２から出力される画像データは、表示切替部１３０により選択されたマッピングテーブル１２１に基づく複合画像の画像データとなる。【００４１】
枠線重畳部１４３は、画像合成部１４２から出力される画像データと、表示切替部１３０により選択されたカメラ表示領域データ１２２とを合成し、補助画像に対応する画像領域を囲む枠線の画像を複合画像に重畳した画像（以下「枠線重畳画像」という）を生成するように構成されている。【００４２】
映像信号生成部１４４は、枠線重畳部１４３で生成されたフレームごとの枠線重畳画像から、動画系列を表示するための映像信号を生成するように構成されている。【００４３】
タイミング生成部１４５は、第１〜第４のカメラ１１０−１〜１１０−４のフレーム切替部１１３が接続状態を切り替えるタイミングと、マッピングテーブル参照部１４１がマッピングデータを出力するタイミングと、映像信号生成部１４４の動作タイミングとを制御するタイミング信号を生成するように構成されている。【００４４】
モニタ１５０は、任意のディスプレイから構成されており、表示制御部１４０で生成された映像信号に基づいて、枠線重畳画像を表示することができるように構成されている。【００４５】
なお、車両周囲監視装置１００は、図示しないが、ＣＰＵ（central processing unit）や、制御プログラムを格納したＲＯＭ（read only memory）などの記憶媒体、ＲＡＭ（random access memory）などの作業用メモリなどを有する。例えば、ＣＰＵが制御プログラムを実行することで、上記した各部の機能は実現される。【００４６】
次に、第１〜第３のマッピングテーブル１２１−１〜１２１−３および第１〜第３のカメラ表示領域データ１２２−１〜１２２−３の内容について説明する。【００４７】
第１〜第３のマッピングテーブル１２１−１〜１２１−３は、第１〜第４のカメラ１１０−１〜１１０−４の撮像画像から複合画像を合成するためのマッピングテーブルである。本実施の形態の複合画像は、車両２００上方に固定された仮想視点による俯瞰画像と、補助画像とを、左右に並べて配置したものである。このような表示形態を採ることにより、運転者に対し、車両２００の周囲の広い範囲と狭い範囲との両方の様子を、表示画像で確認させることができる。また、俯瞰画像は車両２００の周囲３６０度の画像を表示するので、運転者に対し、全ての方向の様子を表示画像で確認させることができる。【００４８】
第１のマッピングテーブル１２１−１は、車両２００前方の画像を補助画像として表示するためのマッピングテーブルである。また、第２のマッピングテーブル１２１−２は、車両２００後方の画像を補助画像として表示するためのマッピングテーブルである。また、第３のマッピングテーブル１２１−３は、車両２００左方向の画像および右方向の画像を並べた側方画像を補助画像として表示するためのマッピングテーブルである。【００４９】
図４Ａ〜図４Ｃは、第１〜第３のマッピングテーブル１２１−１〜１２１−３から生成される複合画像の例を示す平面図である。【００５０】
図４Ａに示すように、第１のマッピングテーブル１２１−１が用いられる場合には、複合画像３００として、俯瞰画像３１０と、車両２００前方の画像を表示する補助画像３２０とが表示される。補助画像３２０の画像は、俯瞰画像３１０のうち、車両２００前方の画像領域２００ｆに対応している。画像領域２００ｆは、例えば、第１のカメラ１１０−１の撮像範囲１１０ａ−１に対応している。【００５１】
図４Ｂに示すように、第２のマッピングテーブル１２１−２が用いられる場合には、複合画像３００として、俯瞰画像３１０と、車両２００後方の画像を表示する補助画像３２０とが表示される。補助画像３２０の画像は、俯瞰画像３１０のうち、車両２００後方の画像領域２００ｂに対応している。画像領域２００ｂは、例えば、第２のカメラ１１０−２の撮像範囲１１０ａ−２に対応している。【００５２】
図４Ｃに示すように、第３のマッピングテーブル１２１−３が用いられる場合には、複合画像３００として、俯瞰画像３１０と、車両２００左側方の画像および車両２００右側方の画像を表示する補助画像３２０とが表示される。補助画像３２０の画像は、俯瞰画像３１０のうち、車両２００左側方の画像領域２００ｌおよび右側方の画像領域２００ｒに対応している。画像領域２００ｌは、例えば、第３のカメラ１１０−１の撮像範囲１１０ａ−３に対応している。画像領域２００ｒは、例えば、第４のカメラ１１０−４の撮像範囲１１０ａ−４に対応している。【００５３】
表示切替部１３０は、車両２００がリバース以外のギア設定で走行している間は、第１のマッピングテーブル１２１−１を選択し、車両２００がリバースのギア設定で走行している間は、第２のマッピングテーブル１２１−２を選択する。これにより、走行時に車両２００の進行方向の画像が補助画像３２０に表示され、運転者は、より安全な走行を行うことができる。また、表示切替部１３０は、車両２００が走行していない間やサイドドアが開かれている間は、第３のマッピングテーブル１２１−３を選択する。これにより、乗降時に車両２００のサイドドア周囲の画像が補助画像３２０に表示され、運転者は、安全な乗降を図ることができる。すなわち、運転者が特に安全確認を行うべき範囲の画像を、自動で選択して表示することができる。また、不要な補助画像３２０は表示されないので、個々の補助画像３２０を比較的大きいサイズで表示することができる。【００５４】
また、ここで、車両のギアがリバースに設定されているときの、カメラ表示領域データおよび枠線重畳画像の例について説明する。【００５５】
図５Ａ〜図５Ｃは、車両２００のギアがリバースに設定されているときの、複合画像の一例と、カメラ表示領域データによる枠線の画像の一例と、これらの画像から生成される枠線重畳画像の一例とを示す平面図である。【００５６】
図５Ａに示すように、複合画像３００の俯瞰画像３１０の中央には、車両２００を上方からみたときの画像３３０が配置される。車両２００のギアがリバースに設定されているときには、上述したように第２のマッピングテーブル１２１−２が選択されるため、図５Ａに示すように、複合画像３００の画像データは、補助画像３２０として車両２００後方の画像を表示するデータとなる。この画像は、上述したように、俯瞰画像３１０のうち、車両２００後方の画像領域に対応する。したがって、第２のカメラ表示領域データ１２２−２は、図５Ｂに示すように、俯瞰画像３１０のうち車両２００後方の画像領域を囲む枠線３４０を表示する画像データ３５０となっている。【００５７】
枠線重畳部１４３で、図５Ａに示す複合画像３００の画像データに、図５Ｂに示すカメラ表示領域データ１２２−２が重畳されることにより、図５Ｃに示すような枠線重畳画像３６０が生成される。枠線重畳画像３６０は、俯瞰画像３１０のうち、補助画像３２０に対応する車両２００後方の画像領域が、枠線３４０により囲まれた状態となる。また、車両２００の画像３３０と枠線３４０とにより、補助画像３２０に対応する画像領域は、閉じられた領域となっている。【００５８】
同様に、第１のカメラ表示領域データ１２２−１は、第１のマッピングテーブル１２１−１に基づいて生成される俯瞰画像のうち、車両２００前方の画像領域を囲む枠線を表示する画像データとなっている。また、第３のカメラ表示領域データ１２２−３は、第３のマッピングテーブル１２１−３に基づいて生成される俯瞰画像のうち、車両２００左右側方の画像領域を囲む２つの枠線を表示する画像データとなっている。マッピングテーブル１２１と表示領域データ１２２との組を切り替えることにより、枠線が重畳された複数種類の複合画像３００を簡単に切り替えて表示することができる。【００５９】
第１〜第３のカメラ表示領域データ１２２−１〜１２２−３は、様々な手法により生成することができる。【００６０】
例えば、第１〜第３のカメラ表示領域データ１２２−１〜１２２−３は、オペレータが、第１〜第３のマッピングテーブル１２１−１〜１２１−３に基づいて生成される３つの複合画像を目視で確認しながら、枠線３４０の位置を手動で設定することにより、生成される。【００６１】
また、例えば、第１〜第３のカメラ表示領域データ１２２−１〜１２２−３は、各マッピングテーブル１２１から、所定の面（例えば地面）について補助画像が映し出す範囲を演算し、演算された範囲を基準に、枠線を自動設定することによって、生成される。【００６２】
また、例えば、第１〜第３のカメラ表示領域データ１２２−１〜１２２−３は、補助画像の画像範囲がカメラ１１０ごとの撮像範囲に対応している場合には、補助画像に対応するカメラ１１０の撮像画像がマッピングされたときのマッピング先の領域を基準に、枠線を自動設定することによって、生成される。【００６３】
枠線の位置、色、線種、大きさ、および太さなどの形態は、補助画像の方向および俯瞰画像の画像を運転者が容易に認識することができる形態であればよい。また、枠線は、領域や障害物接近などの各種条件に応じて、色、太さ、点滅状態を変化するようにしてもよい。また、枠線が囲む範囲は、必ずしも、補助画像で映し出され、かつ俯瞰画像で表示可能な範囲に完全に一致させる必要は無く、補助画像の方向を正しく認識することが可能な範囲とすればよい。【００６４】
次に、このように構成された車両周囲監視装置１００の動作について説明する。【００６５】
図６は、車両周囲監視装置１００の動作の一例を示すフローチャートである。ここでは、車両２００がパーキングギアに設定されている状態で、車両周囲監視装置１００の動作が開始されるものとする。【００６６】
まず、ステップＳ１０００で、表示切替部１３０は、初期状態として、第３のマッピングテーブル１２１−３を選択し、マッピングテーブル参照部１４１に設定する。また、このとき、表示切替部１３０は、第３のカメラ表示領域データ１２２−３を選択し、枠線重畳部１４３に設定する。【００６７】
そして、ステップＳ２０００で、表示切替部１３０は、車両２００のギアがフォワードギアに切り替えられたか否かを判断する。表示切替部１３０は、ギアがフォワードギアに切り替えられた場合には（Ｓ２０００：ＹＥＳ）、ステップＳ３０００に進み、ギアがフォワードギアに切り替えられていない場合には（Ｓ２０００：ＮＯ）、ステップＳ４０００に進む。【００６８】
ステップＳ３０００で、表示切替部１３０は、第１のマッピングテーブル１２１−１を選択し、マッピングテーブル参照部１４１に設定する。また、このとき、表示切替部１３０は、第１のカメラ表示領域データ１２２−１を選択し、枠線重畳部１４３に設定する。【００６９】
そして、ステップＳ５０００で、車両周囲監視装置１００は、カメラ１１０、マッピングテーブル参照部１４１、画像合成部１４２、枠線重畳部１４３、および映像信号生成部１４４によるフレーム処理を実行する。フレーム処理については後述する。【００７０】
そして、ステップＳ６０００で、車両周囲監視装置１００は、処理を継続するか否かを判断し、継続する場合には（Ｓ６０００：ＹＥＳ）、ステップＳ２０００に戻り、継続しない場合には（Ｓ６０００：ＮＯ）、一連の処理を終了する。【００７１】
また、ステップＳ４０００で、表示切替部１３０は、車両２００のギアがリバースギアに切り替えられたか否かを判断する。表示切替部１３０は、ギアがリバースギアに切り替えられた場合には（Ｓ４０００：ＹＥＳ）、ステップＳ７０００に進み、ギアがリバースギアに切り替えられていない場合には（Ｓ４０００：ＮＯ）、ステップＳ８０００に進む。【００７２】
ステップＳ７０００で、表示切替部１３０は、第２のマッピングテーブル１２１−２を選択し、マッピングテーブル参照部１４１に設定し、ステップＳ５０００のフレーム処理に進む。また、このとき、表示切替部１３０は、第２のカメラ表示領域データ１２２−２を選択し、枠線重畳部１４３に設定する。【００７３】
また、ステップＳ８０００で、表示切替部１３０は、車両２００のギアがパーキングギアに切り替えられたか否かを判断する。表示切替部１３０は、ギアがパーキングギアに切り替えられた場合には（Ｓ８０００：ＹＥＳ）、ステップＳ９０００に進み、ギアがパーキングギアに切り替えられていない場合には（Ｓ８０００：ＮＯ）、ステップＳ５０００のフレーム処理に進む。【００７４】
なお、ギアの切り替えが行われていない間は、ステップＳ５０００のフレーム処理が繰り返されることになる。【００７５】
このような動作により、車両２００のギアがパーキング、フォワードギア、およびリバースギアの間で切り替えられる度に、使用されるマッピングテーブル１２１およびカメラ表示領域データ１２２は切り替わり、その結果、補助画像の方向および俯瞰画像の枠の位置が切り替わる。そして、フレーム単位で複合画像に枠線を重畳して映像信号を生成する、以下に説明するフレーム処理が繰り返される。【００７６】
図７は、フレーム処理の一例を示すフローチャートである。【００７７】
まず、ステップＳ５１００で、第１〜第４のカメラ１１０−１〜１１０−４は、カメラ画像が書き込まれるフレームメモリ１１２と、画像合成部１４２によって参照されるフレームメモリ１１２とを切り替える。【００７８】
具体的には、各カメラ１１０のフレーム切替部１１３は、撮像部１１１からの画像の入力が完了したフレームメモリ１１２が、表示制御部１４０による画像の参照先となるように、各フレームメモリ１１２と撮像部１１１との接続状態、および各フレームメモリ１１２と表示制御部１４０との接続状態を切り替える。これらの接続状態の切り替えタイミングは、表示制御部１４０から出力されるタイミング信号によって制御される。画像合成部１４２から参照されるカメラ画像の画素の位置は、撮像部１１１の書き込みの順序とは関係無く飛び飛びになる。したがって、各カメラ１１０において、このようにフレーム切替部１１３が複数のフレームメモリ１１２を切り替えることにより、書き込みと参照が干渉しないようにすることができる。【００７９】
そして、ステップＳ５２００で、タイミング生成部１４５は、合成出力のタイミングに合わせて、マッピングテーブル参照部１４１が現在マッピングデータを出力すべき画素を設定する。タイミング生成部１４５は、ステップＳ５２００で複合画像のフレームの各画素を１つずつ順に選択し、設定する。【００８０】
そして、ステップＳ５３００で、マッピングテーブル参照部１４１は、ステップＳ５２００で設定された画素に対応する要素を、現在格納しているマッピングテーブルから読み出し、マッピングデータとして画像合成部１４２に出力する。【００８１】
そして、ステップＳ５４００で、画像合成部１４２は、入力されたマッピングデータに従って、各カメラ１１０のフレームメモリ１１２に記録されたカメラ画像の、対応する画素の値を合成することにより、複合画像の画像データを生成し、枠線重畳部１４３に出力する。例えば、画素の値の最も簡単な決定方法は、フレームメモリ１１２の対応する画素データの値をそのまま画素の値とすることである。【００８２】
そして、ステップＳ５５００で、枠線重畳部１４３は、入力された複合画像の画像データと、カメラ表示領域データ１２２とから、複合画像に補助画像の方向を示す枠線を重畳した枠線重畳画像の画像データを生成し、映像信号生成部１４４に出力する。【００８３】
枠線重畳部１４３は、カメラ表示領域データ１２２が、枠線の部分に色彩を付し他の部分を透明とした画像の画像データである場合には、その画像を複合画像に重ね合わせる画像処理により、枠線重畳画像の画像データを生成する。また、枠線重畳部１４３は、カメラ表示領域データ１２２が、枠線の部分の画素を示すデータである場合には、複合画像のうち該当する箇所の画素値を変換することにより、枠線重畳画像の画像データを生成する。【００８４】
枠線重畳部１４３には、上述の通り、常に、画像合成部１４２が使用しているマッピングテーブル１２１に対応するカメラ表示領域データ１２２が設定された状態となっている。したがって、枠線重畳部１４３では、常に、補助画像に対応する画像領域を囲む枠線が、俯瞰画像に重畳されることになる。【００８５】
そして、ステップＳ５６００で、映像信号生成部１４４は、入力された枠線重畳画像の画像データを映像信号に変換し、映像信号をモニタ１５０に出力する。【００８６】
そして、ステップＳ５７００で、タイミング生成部１４５は、フレームの最終画素に対する処理が完了したか否かを判断する。タイミング生成部１４５は、最終画素に対する処理がまだ終了していない場合は（Ｓ５７００：ＮＯ）、ステップＳ５８００に進む。【００８７】
ステップＳ５８００で、タイミング生成部１４５は、次の画素の処理へ移行し、ステップＳ５２００に戻る。【００８８】
そして、車両周囲監視装置１００は、ステップＳ５２００〜Ｓ５７００の処理を繰り返した結果、合成画像のフレームの最終画素に対する処理が完了すると（Ｓ５７００：ＹＥＳ）、図６の処理に戻る。そして、車両周囲監視装置１００は、適宜次のフレームに対するフレーム処理を開始する。【００８９】
このようなフレーム処理により、車両周囲監視装置１００は、補助画像に対応する画像領域を囲む枠線を俯瞰画像に重畳した枠線重畳画像を、モニタ１５０に表示させる。【００９０】
なお、ここでは、フレーム単位で合成処理を行う場合について説明したが、フィールド単位で合成処理を行う場合にも、同様の処理で枠線重畳画像を表示することができる。【００９１】
以上説明した動作により、車両周囲監視装置１００は、車両２００の動作状態に応じた補助画像を示すとともに、その補助画像の方向を、俯瞰画像に重畳した枠線によって示すことができる。これにより、俯瞰画像と、車両２００の動作状態に応じた種類の補助画像と、補助画像の方向を、高い視認性で同時表示することができる。【００９２】
上述のように、車両周囲監視装置１００では、補助画像の方向は、俯瞰画像のうち補助画像に対応する画像領域を目立たせることで示され、この画像領域は、画像領域を囲む枠線を俯瞰画像に重畳することによって示される。俯瞰画像に重畳された枠線は、車両２００周辺の、車両２００に対して閉じた１つまたは複数の領域を、明瞭に示す。すなわち、車両周囲監視装置１００は、枠線により画像領域を囲むという複合画像の表示形態を採ることにより、補助画像の方向を、対応する画像領域という比較的大きなサイズの視覚情報によって示すことができる。しかも、枠線であるため、その領域の画像の視認性には、ほとんど影響を及ぼすことが無い。【００９３】
以下、本実施の形態による複合画像の表示形態と、従来の形態を含む他の複合画像の表示形態との、視認性についての比較実験結果について説明する。【００９４】
視認性についての比較実験は、本実施の形態に係る複合画像と、他の表示形態を採る複合画像と、従来の表示形態を採る複合画像とを、複数の被験者に見せ、各被験者が補助画像に対応する画像領域を最も把握し易いと評価した表示形態にポイントを付け、ポイントの集計結果を比較することにより行った。【００９５】
図８は、上記比較実験の評価対象を示す図である。【００９６】
図８に示すように、本実験では、本実施の形態に係る複合画像、つまり俯瞰画像に枠線を重畳する表示形態を、第１案とした。また、俯瞰画像および補助画像とは別の領域に、文字情報を用いて補助画像の方向を示すアイコンを表示する形態を、第２案とした。また、従来の表示形態、つまり、俯瞰画像および補助画像とは別の領域に、補助画像の方向を図で示すアイコンを表示する形態を、第３案とした。また、それぞれの案において、車両の後退シーンおよび前進シーンの複合画像の静止画を用意した。【００９７】
第１案は、補助画像の方向を示す画像を俯瞰画像に重ねて配置しているものの、枠線で領域を囲むという形態を採っているため、俯瞰画像の視認性はほとんど低下しない。また、第２案および第３案とも、補助画像の方向を示すアイコンは、俯瞰画像および補助画像の表示範囲の縮小による視認性の低下を最小限に抑えるべく、十分小さい大きさで表示されている。したがって、第１案〜第３案のいずれも、俯瞰画像および補助画像の視認性はほぼ同レベルとなっている。【００９８】
図９は、上記比較実験の被験者のデータを示す図である。【００９９】
図９に示すように、被験者は、２０代〜６０代の男女２４人である。いずれの被験者も、月１回以上、軽度に普通乗用車を運転している者である。本実験では、各被験者に対し、図８に示す３案の画像を見せ、補助画像の方向について見間違えを起こさないかどうかという観点で、被験者の主観による３案の順位付けを回答させた。【０１００】
図１０は、上記比較実験の結果を、どの案の複合画像に対して何人の被験者が最も見易いと評価したかを示す円グラフである。【０１０１】
図１０に示すように、第１案（本実施の形態）の複合画像を最も見易いと評価した被験者の数は、１７人と最も多く、第２案の５人、第３案の２人と続いた。第２案および第３案の俯瞰画像および補助画像の表示サイズは、アイコンの表示領域のために、第１案よりも小さくせざるを得ない。したがって、第２案および第３案の俯瞰画像および補助画像の視認性は、第１案の俯瞰画像および補助画像の視認性よりも劣る。したがって、本実験結果は、補助画像の方向の視認性の比較結果を示すものであるといえる。この実験結果より、本実施の形態に係る複合画像は、第２案および第３案に係る複合画像に比べて、俯瞰画像、補助画像、および補助画像の方向を、より高い視認性で同時表示することができることが明らかであり、特に、従来の車両周囲監視装置に係る複合画像に対して優位性を有することは明らかである。【０１０２】
以上説明したように、本実施の形態によれば、補助画像に対応する画像領域を囲む枠線を俯瞰画像に重ねて表示することができるので、画面領域を新たに消費することなく、かつ俯瞰画像の視認性に支障をきたすことなく、補助画像の方向を表示することができる。すなわち、俯瞰画像、補助画像、および補助画像の方向を、高い視認性で同時表示することができる。【０１０３】
また、補助画像の方向を、対応する画像領域を囲む枠線で示すので、補助画像の方向を、俯瞰画像の視認性低下を最小限に抑えながら、視覚的により目立つ状態で示すことができる。【０１０４】
また、俯瞰画像および補助画像のいずれも、車両の周囲の地面の画像を含んでいるので、運転者は、地面の障害物を視認することができるとともに、地面の画像を基準として俯瞰画像と補助画像との対応付けを行うことができる。【０１０５】
なお、本実施の形態では、マッピングテーブルとカメラ表示領域データとを別個に用意した場合について説明したが、マッピングテーブルにカメラ表示領域データを含むようにしてもよい。この場合には、例えば、マッピングテーブルは、複合画像のうち枠線の部分とすべき画素の画素値を、枠線の色の画素値とする。これにより、枠線重畳部１４３を設けることなく、マッピング処理のみによって、俯瞰画像に枠線が重畳された画像を表示することができる。【０１０６】
また、本実施の形態では、複合画像全体のマッピングテーブルを用意する場合について説明したが、例えば、俯瞰画像と補助画像とで別に用意し、俯瞰画像のマッピングテーブルと補助画像のマッピングテーブルとを組み合わせて用いるようにしてもよい。また、カメラの撮像画像をそのまま補助画像として用いる場合には、補助画像部分のマッピングテーブルは不要である。【０１０７】
また、本実施の形態では、枠線を俯瞰画像に重ねて表示するための手法として、カメラ表示領域データを画像データとしてマッピングテーブルとは別個に用意する場合について説明したが、他の手法を用いてもよい。例えば、マッピングデータのうち、枠線の部分に対応する画素に、カメラ画素の情報ではなく枠線の色情報を入れることにより、枠線の情報をマッピングテーブルに埋め込んでおく手法が考えられる。【０１０８】
また、本実施の形態では、補助画像の方向が前方、後方、および左右側方の３つのパターンで切り替わる場合について説明したが、より多くの方向で補助画像の方向が切り替わるようにしてもよい。この場合には、それぞれの方向に対応するマッピングテーブルおよびカメラ表示領域データを用意すればよい。【０１０９】
また、補助画像の方向を任意に設定したり、補助画像の方向をスムーズに変化させるようにしてもよい。この場合には、補助画像が映し出す地面の範囲をリアルタイムで演算し、演算された地面の範囲を基準に、俯瞰画像における枠線の位置を更にリアルタイムで演算すればよい。【０１１０】
また、俯瞰画像の仮想視点が固定されている場合について説明したが、この仮想視点の位置、向き、および画角等は、可変としてもよい。この場合には、俯瞰画像のうち、補助画像が映し出す地面の範囲に対応する画像領域を、仮想視点の状態に基づいてリアルタイムで演算し、演算された画像領域を囲む枠線を、更にリアルタイムで複合画像に描画すればよい。【０１１１】
また、本実施の形態では、車両周囲の撮像を４つのカメラで行う場合について説明したが、４つ未満、または５つ以上のカメラで行うようにしてもよい。
【産業上の利用可能性】
【０１１２】
本発明に係る車両周囲監視装置および車両周囲監視方法は、俯瞰画像、補助画像、および補助画像の方向を、高い視認性で同時表示することができる車両周囲監視装置および車両周囲監視方法として有用である。
【図１】
2009141846.tif 000003
【図２】
2009141846.tif 000004
【図３】
2009141846.tif 000005
【図４】
2009141846.tif 000006
【図５】
2009141846.tif 000007
【図６】
2009141846.tif 000008
【図７】
2009141846.tif 000009
【図８】
2009141846.tif 000010
【図９】
2009141846.tif 000011
【図１０】
2009141846.tif 000012
【手続補正書】
【提出日】平成20年9月19日(2008.9.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車両の上方から前記車両の周囲を見た画像である俯瞰画像と、前記車両から前記車両の周囲を見た画像である補助画像とを、１つの画面に表示させる表示制御手段と、
前記補助画像が映し出す範囲の外縁を規定する枠線を、前記俯瞰画像に重畳して表示させる枠線重畳手段と、
を有する車両周囲監視装置。
【請求項２】
前記車両に取り付けられ、前記車両の周囲を撮影する複数のカメラ、を更に有し、
前記表示制御手段は、
前記複数のカメラの撮像画像を用いて、前記俯瞰画像を合成する、
請求項１記載の車両周囲監視装置。
【請求項３】
前記補助画像の水平画角は、前記俯瞰画像の水平画角よりも狭い、
請求項１記載の車両周囲監視装置。
【請求項４】
前記表示制御手段は、
前記俯瞰画像の異なる画像領域に対応する複数の補助画像を切り替えて表示させる、
請求項２記載の車両周囲監視装置。
【請求項５】
前記複数のカメラの撮像画像から、前記俯瞰画像と前記補助画像とを１つの画面に表示する画像である複合画像を合成するためのマッピングテーブルと、前記マッピングテーブルに基づいて合成される複合画像に前記枠線を重畳するための表示領域データと、の組を、前記複数の補助画像に対応して複数組記憶するデータ記憶手段と、
前記データ記憶手段に記憶された前記マッピングテーブルと前記表示領域データとの複数の組を切り替えて選択する表示切替手段と、を更に有し、
前記表示制御手段は、
前記表示切替手段によって選択された組のマッピングテーブルを用いて、前記複合画像を合成し、
前記枠線重畳手段は、
前記表示切替手段によって選択された組の表示領域データを用いて、前記複合画像に前記枠線の画像を重畳する、
請求項４記載の車両周囲監視装置。
【請求項６】
前記補助画像は、前記車両の前方の画像、前記車両の後方の画像、および前記車両の側方の画像の少なくとも１つを含む、
請求項１記載の車両周囲監視装置。
【請求項７】
前記表示制御手段は、
前記車両の動作状態に応じて、前記複数の補助画像を切り替えて表示させる、
請求項４記載の車両周囲監視装置。
【請求項８】
車両の動作状態を判断するステップと、
前記車両の動作状態に応じて、前記車両から周囲を異なる方向で見た画像である複数の補助画像の中から、いずれか１つを選択するステップと、
選択した前記補助画像と、前記車両の上方から前記車両の周囲を見た画像である俯瞰画像と、を１つの画面に同時に表示し、かつ、前記補助画像が映し出す範囲の外縁を規定する枠線を前記俯瞰画像に重畳して表示するステップと、
を有する車両周囲監視方法。
【手続補正書】
【提出日】平成23年1月11日(2011.1.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車両の上方から前記車両の周囲を見た画像である俯瞰画像と、前記車両から前記車両の周囲を見た画像である補助画像とを、１つの画面に表示させる表示制御手段と、
前記補助画像が映し出す範囲の外縁を規定する枠線を、前記俯瞰画像に重畳して表示させる枠線重畳手段と、
を有する車両周囲監視装置。
【請求項２】
前記車両に取り付けられ、前記車両の周囲を撮影する複数のカメラ、を更に有し、
前記表示制御手段は、
前記複数のカメラの撮像画像を用いて、前記俯瞰画像を合成する、
請求項１記載の車両周囲監視装置。
【請求項３】
前記補助画像の水平画角は、前記俯瞰画像の水平画角よりも狭い、
請求項１記載の車両周囲監視装置。
【請求項４】
前記表示制御手段は、
前記俯瞰画像の異なる画像領域に対応する複数の補助画像を切り替えて表示させる、
請求項２記載の車両周囲監視装置。
【請求項５】
前記複数のカメラの撮像画像から、前記俯瞰画像と前記補助画像とを１つの画面に表示する画像である複合画像を合成するためのマッピングテーブルと、前記マッピングテーブルに基づいて合成される複合画像に前記枠線を重畳するための表示領域データと、の組を、前記複数の補助画像に対応して複数組記憶するデータ記憶手段と、
前記データ記憶手段に記憶された前記マッピングテーブルと前記表示領域データとの複数の組を切り替えて選択する表示切替手段と、を更に有し、
前記表示制御手段は、
前記表示切替手段によって選択された組のマッピングテーブルを用いて、前記複合画像を合成し、
前記枠線重畳手段は、
前記表示切替手段によって選択された組の表示領域データを用いて、前記複合画像に前記枠線の画像を重畳する、
請求項４記載の車両周囲監視装置。
【請求項６】
前記補助画像は、前記車両の前方の画像、前記車両の後方の画像、および前記車両の側方の画像の少なくとも１つを含む、
請求項１記載の車両周囲監視装置。
【請求項７】
前記表示制御手段は、
前記車両の動作状態に応じて、前記複数の補助画像を切り替えて表示させる、
請求項４記載の車両周囲監視装置。
【請求項８】
車両の動作状態を判断するステップと、
前記車両の動作状態に応じて、前記車両から周囲を異なる方向で見た画像である複数の補助画像の中から、いずれか１つを選択するステップと、
選択した前記補助画像と、前記車両の上方から前記車両の周囲を見た画像である俯瞰画像と、を１つの画面に同時に表示し、かつ、前記補助画像が映し出す範囲の外縁を規定する枠線を前記俯瞰画像に重畳して表示するステップと、
を有する車両周囲監視方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両運転の際の安全確認の補助などに利用される車両周囲監視装置および車両周囲監視方法に係り、特に、車両周囲の撮像画像を表示する車両周囲監視装置および車両周囲監視方法に関する。
【背景技術】
【０００２】
乗用車などの車両を運転する際、運転者にとって、車両の後方および側方の障害物の有無は確認しにくい。そこで、近年、車両の後方および側方（以下適宜「後方」と総称する）をカメラで撮像し、撮像画像をモニタに表示することで、運転者の周囲監視や運転を補助する車両周囲監視装置の普及が進んでいる。このような車両周囲監視装置を用いることにより、例えば、駐車場に前向きに停車している車両を、後退させつつ駐車場から出す際に、後方の状況をモニタ上で容易に確認することができ、運転者はより安全に運転を行うことができる。
【０００３】
このような車両周囲監視装置を発展させたものとして、複数のカメラを使って様々な運転シーンを網羅的に支援することを試みる装置が提案されている（例えば特許文献１参照）。特許文献１記載の車両周囲監視装置は、それぞれ異なる方向を向いた複数のカメラを用いて車両周囲を撮像し、複数の撮像画像を合成して、車両の上方の仮想視点から車両の周囲を見下ろした画像（以下「俯瞰画像」という）を生成する。そして、生成した俯瞰画像と、車両から周囲を見た画像（以下「補助画像」という）とを組み合わせた、複合画像（以下単に「複合画像」という）を表示する。
【０００４】
補助画像は、例えば、車両が後退しているときにはリア方向の画像となり、同乗者が乗り降りするときには左右方向の画像となる。運転者は、このようなビューが表示されることにより、俯瞰画像にて複数の方向に気を配りながら、補助画像にて特定の範囲の様子を詳細に確認することができる。
【０００５】
使い勝手の向上の観点から、運転者に対して、どの方向の画像が補助画像に映し出されているのかを、よりわかりやすく、つまり高い視認性をもって伝えられることが望ましい。そこで、補助画像がどの方向の画像を映し出しているのかを示す情報を複合画像に表示する技術が、従来存在している。
【０００６】
図１は、従来の車両周囲監視装置による複合画像の画面構成を示す図である。従来のビュー１０は、俯瞰画像２０および補助画像３０に加えて、これらとは別の領域に、補助画像がどの方向の画像を映し出しているのかを示すアイコン４０を表示する。このようなビュー１０によれば、運転者は、補助画像３０として映し出されている画像の方向（以下単に「補助画像の方向」という）を、アイコン４０を見ることで、正確に認識することができる。
【特許文献１】国際公開第００／６４１７５号パンフレット
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、図１に示す従来の複合画像は、限られた画面に俯瞰画像および補助画像の視認性を損なわずにアイコンを表示する必要があるため、アイコンを小さくせざるを得ないという問題がある。アイコンが小さいと、運転者が補助画像の方向を認識し難く、安全確認に支障をきたすおそれがある。したがって、俯瞰画像、補助画像、および補助画像の方向の全てが、高い視認性で表示されることが望ましい。
【０００８】
本発明の目的は、俯瞰画像、補助画像、および補助画像の方向を、高い視認性で同時表示することができる車両周囲監視装置および車両周囲監視方法を提供することである。
【課題を解決するための手段】
【０００９】
本発明の車両周囲監視装置は、車両の上方から前記車両の周囲を見た画像である俯瞰画像と、前記車両から前記車両の周囲を見た画像である補助画像とを、１つの画面に表示させる表示制御手段と、前記補助画像が映し出す範囲の外縁を規定する枠線を、前記俯瞰画像に重畳して表示させる枠線重畳手段と、を有する構成を採る。
【００１０】
このように構成された車両周囲監視装置は、補助画像に対応する画像領域を囲む枠線を俯瞰画像に重ねて表示することができる。これにより、画面領域を新たに消費することなく、かつ俯瞰画像の視認性に支障をきたすことなく、補助画像の方向を表示することができる。すなわち、俯瞰画像、補助画像、および補助画像の方向を、高い視認性で同時表示することができる。
【００１１】
本発明の車両周囲監視装置は、前記車両に取り付けられ、前記車両の周囲を撮影する複数のカメラを更に有し、前記表示制御手段が、前記複数のカメラの撮像画像を用いて、前記俯瞰画像を合成する構成を採る。
【００１２】
このように構成された車両周囲監視装置は、車両に取り付けた複数のカメラの撮像画像から、俯瞰画像を合成することができるので、車両の移動に追従して俯瞰画像を表示することができる。
【００１３】
本発明の車両周囲監視装置は、前記補助画像の水平画角が、前記俯瞰画像の水平画角よりも狭い構成を採る。
【００１４】
このように構成された車両周囲監視装置は、より大きい水平画角の画像を有する俯瞰画像と、これよりも小さい水平画角の補助画像とを、１つの画面に表示するので、運転者に対し、車両周囲の広い範囲と狭い範囲との両方の様子を、表示画像で確認させることができる。すなわち、運転状況において特に注意すべき領域等、より詳細に見せたい領域を、広い範囲の領域と併せて運転者に提示することができる。
【００１５】
本発明の車両周囲監視装置は、前記表示制御手段が、前記俯瞰画像の異なる画像領域に対応する複数の補助画像を切り替えて表示させる構成を採る。
【００１６】
このように構成された車両周囲監視装置は、俯瞰画像の異なる画像領域に対応する複数の補助画像を切り替えて表示することができる。これにより、複数種類の補助画像を表示することができるとともに、個々の補助画像を比較的大きいサイズで表示することができ、かつ、必要な補助画像に絞って表示することができる。
【００１７】
本発明の車両周囲監視装置は、前記複数のカメラの撮像画像から、前記俯瞰画像と前記補助画像とを１つの画面に表示する画像である複合画像を合成するためのマッピングテーブルと、前記マッピングテーブルに基づいて合成される複合画像に前記枠線を重畳するための表示領域データと、の組を、前記複数の補助画像に対応して複数組記憶するデータ記憶手段と、前記データ記憶手段に記憶された前記マッピングテーブルと前記表示領域データとの複数の組を切り替えて選択する表示切替手段とを更に有し、前記表示制御手段は、前記表示切替手段によって選択された組のマッピングテーブルを用いて、前記複合画像を合成し、前記枠線重畳手段は、前記表示切替手段によって選択された組の表示領域データを用いて、前記複合画像に前記枠線の画像を重畳する構成を採る。
【００１８】
このように構成された車両周囲監視装置は、マッピングテーブルおよび表示領域データの組を切り替えることによって枠線が重畳された複合画像を表示することができるので、枠線が重畳された複数種類の複合画像を簡単に切り替えて表示することができる。
【００１９】
本発明の車両周囲監視装置は、前記補助画像が、前記車両の前方の画像、前記車両の後方の画像、および前記車両の側方の画像の少なくとも１つを含む構成を採る。
【００２０】
このように構成された車両周囲監視装置は、車両の前方の画像、後方の画像、または側方の画像を、補助画像として表示することができるので、車両運転の際の安全確認を行い易い範囲を、１つの補助画像として表示することができる。
【００２１】
本発明の車両周囲監視装置は、前記表示制御手段が、前記車両の動作状態に応じて、前記複数の補助画像を切り替えて表示する構成を採る。
【００２２】
このように構成された車両周囲監視装置は、車両の動作状態に応じて、補助画像を切り替えることができる。これにより、車両が前進するときには車両の前方を表示し、車両が後退するときには車両の後方を表示し、車両が停止している場合には車両の側方を表示するというように、運転者が特に安全確認を行うべき範囲の画像を、自動で選択して表示することができる。
【００２３】
本発明の車両周囲監視方法は、車両の動作状態を判断するステップと、前記車両の動作状態に応じて、前記車両から周囲を異なる方向で見た画像である複数の補助画像の中から、いずれか１つを選択するステップと、選択した前記補助画像と、前記車両の上方から前記車両の周囲を見た画像である俯瞰画像と、を１つの画面に同時に表示し、かつ、前記補助画像が映し出す範囲の外縁を規定する枠線を前記俯瞰画像に重畳して表示するステップと、を有するようにした。
【００２４】
このような車両周囲監視方法によれば、車両の動作状態に応じて、補助画像を切り替えることができるとともに、補助画像に対応する画像領域を囲む枠線を俯瞰画像に重ねて表示することができる。これにより、画面領域を新たに消費することなく、かつ俯瞰画像の視認性に支障をきたすことなく、俯瞰画像と、車両の動作状態に応じた種類の補助画像と、その補助画像の方向とを表示することができる。
【発明の効果】
【００２５】
本発明によれば、補助画像に対応する画像領域を囲む枠線を、俯瞰画像に重ねて表示し、補助画像の方向を画像領域の強調により示すことができる。これにより、画面領域を新たに消費することなく、かつ俯瞰画像の視認性に支障をきたすことなく、補助画像の方向を表示することができる。すなわち、俯瞰画像、補助画像、および補助画像の方向を、高い視認性で同時表示することができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。
【００２７】
図２は、本発明の一実施の形態に係る車両周囲監視装置のシステム構成図である。本実施の形態に係る車両周囲監視装置は、車両の上方から車両の周囲を見た画像である俯瞰画像と、車両から車両の周囲を見た画像である補助画像とを１つの画面に配置した複合画像を表示する装置に、本発明を適用した例として説明する。
【００２８】
図２において、車両周囲監視装置１００は、大別して、第１〜第４のカメラ１１０−１〜１１０−４、データ記憶部１２０、表示切替部１３０、表示制御部１４０、およびモニタ１５０から構成されている。
【００２９】
第１〜第４のカメラ１１０−１〜１１０−４は、同一の構成を有しているため、カメラ１１０としてまとめて説明を行う。カメラ１１０は、撮像部１１１と、フレームメモリ１１２を有するフレーム切替部１１３とから構成されている。ここで、撮像部１１１は、ＣＣＤ（charge coupled device）やＣＭＯＳ（complementary metal oxide）などの撮像素子と、撮像素子の撮像面に光学像を結像させる光学系とを有し（いずれも図示せず）、撮像素子で撮像した画像をフレームメモリ１１２に出力するように構成されている。フレームメモリ１１２は、撮像部１１１で撮像した画像を一時的に格納するメモリである。フレーム切替部１１３は、撮像部１１１で撮影した画像の入力先を各フレームメモリ１１２に切り替えることができ、また、表示制御部１４０に出力する画像の参照先であるフレームメモリ１１２を切り替えることができるように構成されている。なお、撮像素子としてＣＭＯＳを採用する場合には、撮像素子にフレームメモリ１１２の機能を持たせるようにしてもよい。
【００３０】
図３は、図１の車両周囲監視装置の第１〜第４のカメラ１１０−１〜１１０−４およびモニタ１５０の取り付け位置の一例を示す斜視図である。
【００３１】
図３に示すように、第１のカメラ１１０−１は、車両２００前部のバンパーを含む車両２００の前方を撮像するために、車両２００の正面中央に取り付けられている。第２のカメラ１１０−２は、車両２００の後部のバンパーを含む車両２００の後方を撮像するために、車両２００の後部中央に取り付けられている。第３のカメラ１１０−３は、車両２００の左側方を撮像するために、車両２００の左サイドミラーに取り付けられている。第４のカメラ１１０−４は、車両２００右側方を撮像するために、車両２００の右サイドミラーに取り付けられている。また、モニタ１５０は、車両２００のダッシュボードの運転者から見える位置に取り付けられている。
【００３２】
第１〜第４のカメラ１１０−１〜１１０−４の撮像範囲１１０ａ−１〜１１０ａ−４は、いずれも、車両２００の周囲の地面を含む。また、第１〜第４のカメラ１１０−１〜１１０−４の撮像範囲１１０ａ−１〜１１０ａ−４のうち、隣り合う撮像範囲１１０ａは、少なくとも地面において、接するか、重なり合っている。これにより、第１〜第４のカメラ１１０−１〜１１０−４は、全体で、車両２００周囲の地面を３６０度撮像することができる。また、第１〜第４のカメラ１１０−１〜１１０−４の撮像画像を表示することにより、運転者に対し、地面の障害物の有無を画像で示すことができる。
【００３３】
俯瞰画像および補助画像は、後述するが、第１〜第４のカメラ１１０−１〜１１０−４の撮像画像に基づいて合成される。したがって、車両周囲監視装置１００は、車両２００の移動に追従して、車両２００周囲の様子をほぼリアルタイムで表示する俯瞰画像および補助画像を、運転者に提示することができる。
【００３４】
図２のデータ記憶部１２０は、第１〜第３のマッピングテーブル１２１−１〜１２１−３と、これに対応する第１〜第３のカメラ表示領域データ１２２−１〜１２２−３が予め記憶されて構成されている。
【００３５】
マッピングテーブル１２１は、複合画像の画素ごとのマッピングデータの集合である。マッピングデータは、複合画像の各画素が、フレームメモリ１１２に格納された画像のどの画素に対応するかを示すデータである。すなわち、マッピングテーブル１２１は、第１〜第４のカメラ１１０−１〜１１０−４の撮像画像から複合画像を合成するためのテーブルである。カメラ表示領域データ１２２は、マッピングテーブル１２１に基づいて生成される複合画像のうち、補助画像に対応する画像領域を示すデータである。本実施の形態では、カメラ表示領域データ１２２は、俯瞰画像のうち補助画像に対応する画像領域を囲む枠線を、俯瞰画像に重ねて表示するための画像データであるものとする。
【００３６】
表示切替部１３０は、車両２００の運転状況に応じて、データ記憶部１２０に格納された第１〜第３のマッピングテーブル１２１−１〜１２１−３を切り替えて選択するとともに、選択したマッピングテーブル１２１に対応するカメラ表示領域データ１２２を選択するように構成されている。
【００３７】
表示制御部１４０は、第１〜第４のカメラ１１０−１〜１１０−４の各フレームメモリ１１２に格納された画像から、表示切替部１３０により選択されたマッピングテーブル１２１およびカメラ表示領域データ１２２を用いて、複合画像を生成するように構成されている。表示制御部１４０は、マッピングテーブル参照部１４１、画像合成部１４２、枠線重畳部１４３、映像信号生成部１４４、およびタイミング生成部１４５から構成されている。
【００３８】
マッピングテーブル参照部１４１は、表示切替部１３０により選択されたマッピングテーブル１２１を一時的に格納し、このマッピングテーブル１２１を参照して、複合画像の各画素のマッピングデータを画像合成部１４２に出力するように構成されている。
【００３９】
画像合成部１４２は、マッピングテーブル参照部１４１から出力されるマッピングデータに従って、第１〜第４のカメラ１１０−１〜１１０−４のフレームメモリ１１２に格納された画像を読み取り、読み取った画像のマッピングを行うように構成されている。すなわち、画像合成部１４２から出力される画像データは、表示切替部１３０により選択されたマッピングテーブル１２１に基づく複合画像の画像データとなる。
【００４０】
枠線重畳部１４３は、画像合成部１４２から出力される画像データと、表示切替部１３０により選択されたカメラ表示領域データ１２２とを合成し、補助画像に対応する画像領域を囲む枠線の画像を複合画像に重畳した画像（以下「枠線重畳画像」という）を生成するように構成されている。
【００４１】
映像信号生成部１４４は、枠線重畳部１４３で生成されたフレームごとの枠線重畳画像から、動画系列を表示するための映像信号を生成するように構成されている。
【００４２】
タイミング生成部１４５は、第１〜第４のカメラ１１０−１〜１１０−４のフレーム切替部１１３が接続状態を切り替えるタイミングと、マッピングテーブル参照部１４１がマッピングデータを出力するタイミングと、映像信号生成部１４４の動作タイミングとを制御するタイミング信号を生成するように構成されている。
【００４３】
モニタ１５０は、任意のディスプレイから構成されており、表示制御部１４０で生成された映像信号に基づいて、枠線重畳画像を表示することができるように構成されている。
【００４４】
なお、車両周囲監視装置１００は、図示しないが、ＣＰＵ（central processing unit）や、制御プログラムを格納したＲＯＭ（read only memory）などの記憶媒体、ＲＡＭ（random access memory）などの作業用メモリなどを有する。例えば、ＣＰＵが制御プログラムを実行することで、上記した各部の機能は実現される。
【００４５】
次に、第１〜第３のマッピングテーブル１２１−１〜１２１−３および第１〜第３のカメラ表示領域データ１２２−１〜１２２−３の内容について説明する。
【００４６】
第１〜第３のマッピングテーブル１２１−１〜１２１−３は、第１〜第４のカメラ１１０−１〜１１０−４の撮像画像から複合画像を合成するためのマッピングテーブルである。本実施の形態の複合画像は、車両２００上方に固定された仮想視点による俯瞰画像と、補助画像とを、左右に並べて配置したものである。このような表示形態を採ることにより、運転者に対し、車両２００の周囲の広い範囲と狭い範囲との両方の様子を、表示画像で確認させることができる。また、俯瞰画像は車両２００の周囲３６０度の画像を表示するので、運転者に対し、全ての方向の様子を表示画像で確認させることができる。
【００４７】
第１のマッピングテーブル１２１−１は、車両２００前方の画像を補助画像として表示するためのマッピングテーブルである。また、第２のマッピングテーブル１２１−２は、車両２００後方の画像を補助画像として表示するためのマッピングテーブルである。また、第３のマッピングテーブル１２１−３は、車両２００左方向の画像および右方向の画像を並べた側方画像を補助画像として表示するためのマッピングテーブルである。
【００４８】
図４Ａ〜図４Ｃは、第１〜第３のマッピングテーブル１２１−１〜１２１−３から生成される複合画像の例を示す平面図である。
【００４９】
図４Ａに示すように、第１のマッピングテーブル１２１−１が用いられる場合には、複合画像３００として、俯瞰画像３１０と、車両２００前方の画像を表示する補助画像３２０とが表示される。補助画像３２０の画像は、俯瞰画像３１０のうち、車両２００前方の画像領域２００ｆに対応している。画像領域２００ｆは、例えば、第１のカメラ１１０−１の撮像範囲１１０ａ−１に対応している。
【００５０】
図４Ｂに示すように、第２のマッピングテーブル１２１−２が用いられる場合には、複合画像３００として、俯瞰画像３１０と、車両２００後方の画像を表示する補助画像３２０とが表示される。補助画像３２０の画像は、俯瞰画像３１０のうち、車両２００後方の画像領域２００ｂに対応している。画像領域２００ｂは、例えば、第２のカメラ１１０−２の撮像範囲１１０ａ−２に対応している。
【００５１】
図４Ｃに示すように、第３のマッピングテーブル１２１−３が用いられる場合には、複合画像３００として、俯瞰画像３１０と、車両２００左側方の画像および車両２００右側方の画像を表示する補助画像３２０とが表示される。補助画像３２０の画像は、俯瞰画像３１０のうち、車両２００左側方の画像領域２００ｌおよび右側方の画像領域２００ｒに対応している。画像領域２００ｌは、例えば、第３のカメラ１１０−１の撮像範囲１１０ａ−３に対応している。画像領域２００ｒは、例えば、第４のカメラ１１０−４の撮像範囲１１０ａ−４に対応している。
【００５２】
表示切替部１３０は、車両２００がリバース以外のギア設定で走行している間は、第１のマッピングテーブル１２１−１を選択し、車両２００がリバースのギア設定で走行している間は、第２のマッピングテーブル１２１−２を選択する。これにより、走行時に車両２００の進行方向の画像が補助画像３２０に表示され、運転者は、より安全な走行を行うことができる。また、表示切替部１３０は、車両２００が走行していない間やサイドドアが開かれている間は、第３のマッピングテーブル１２１−３を選択する。これにより、乗降時に車両２００のサイドドア周囲の画像が補助画像３２０に表示され、運転者は、安全な乗降を図ることができる。すなわち、運転者が特に安全確認を行うべき範囲の画像を、自動で選択して表示することができる。また、不要な補助画像３２０は表示されないので、個々の補助画像３２０を比較的大きいサイズで表示することができる。
【００５３】
また、ここで、車両のギアがリバースに設定されているときの、カメラ表示領域データおよび枠線重畳画像の例について説明する。
【００５４】
図５Ａ〜図５Ｃは、車両２００のギアがリバースに設定されているときの、複合画像の一例と、カメラ表示領域データによる枠線の画像の一例と、これらの画像から生成される枠線重畳画像の一例とを示す平面図である。
【００５５】
図５Ａに示すように、複合画像３００の俯瞰画像３１０の中央には、車両２００を上方からみたときの画像３３０が配置される。車両２００のギアがリバースに設定されているときには、上述したように第２のマッピングテーブル１２１−２が選択されるため、図５Ａに示すように、複合画像３００の画像データは、補助画像３２０として車両２００後方の画像を表示するデータとなる。この画像は、上述したように、俯瞰画像３１０のうち、車両２００後方の画像領域に対応する。したがって、第２のカメラ表示領域データ１２２−２は、図５Ｂに示すように、俯瞰画像３１０のうち車両２００後方の画像領域を囲む枠線３４０を表示する画像データ３５０となっている。
【００５６】
枠線重畳部１４３で、図５Ａに示す複合画像３００の画像データに、図５Ｂに示すカメラ表示領域データ１２２−２が重畳されることにより、図５Ｃに示すような枠線重畳画像３６０が生成される。枠線重畳画像３６０は、俯瞰画像３１０のうち、補助画像３２０に対応する車両２００後方の画像領域が、枠線３４０により囲まれた状態となる。また、車両２００の画像３３０と枠線３４０とにより、補助画像３２０に対応する画像領域は、閉じられた領域となっている。
【００５７】
同様に、第１のカメラ表示領域データ１２２−１は、第１のマッピングテーブル１２１−１に基づいて生成される俯瞰画像のうち、車両２００前方の画像領域を囲む枠線を表示する画像データとなっている。また、第３のカメラ表示領域データ１２２−３は、第３のマッピングテーブル１２１−３に基づいて生成される俯瞰画像のうち、車両２００左右側方の画像領域を囲む２つの枠線を表示する画像データとなっている。マッピングテーブル１２１と表示領域データ１２２との組を切り替えることにより、枠線が重畳された複数種類の複合画像３００を簡単に切り替えて表示することができる。
【００５８】
第１〜第３のカメラ表示領域データ１２２−１〜１２２−３は、様々な手法により生成することができる。
【００５９】
例えば、第１〜第３のカメラ表示領域データ１２２−１〜１２２−３は、オペレータが、第１〜第３のマッピングテーブル１２１−１〜１２１−３に基づいて生成される３つの複合画像を目視で確認しながら、枠線３４０の位置を手動で設定することにより、生成される。
【００６０】
また、例えば、第１〜第３のカメラ表示領域データ１２２−１〜１２２−３は、各マッピングテーブル１２１から、所定の面（例えば地面）について補助画像が映し出す範囲を演算し、演算された範囲を基準に、枠線を自動設定することによって、生成される。
【００６１】
また、例えば、第１〜第３のカメラ表示領域データ１２２−１〜１２２−３は、補助画像の画像範囲がカメラ１１０ごとの撮像範囲に対応している場合には、補助画像に対応するカメラ１１０の撮像画像がマッピングされたときのマッピング先の領域を基準に、枠線を自動設定することによって、生成される。
【００６２】
枠線の位置、色、線種、大きさ、および太さなどの形態は、補助画像の方向および俯瞰画像の画像を運転者が容易に認識することができる形態であればよい。また、枠線は、領域や障害物接近などの各種条件に応じて、色、太さ、点滅状態を変化するようにしてもよい。また、枠線が囲む範囲は、必ずしも、補助画像で映し出され、かつ俯瞰画像で表示可能な範囲に完全に一致させる必要は無く、補助画像の方向を正しく認識することが可能な範囲とすればよい。
【００６３】
次に、このように構成された車両周囲監視装置１００の動作について説明する。
【００６４】
図６は、車両周囲監視装置１００の動作の一例を示すフローチャートである。ここでは、車両２００がパーキングギアに設定されている状態で、車両周囲監視装置１００の動作が開始されるものとする。
【００６５】
まず、ステップＳ１０００で、表示切替部１３０は、初期状態として、第３のマッピングテーブル１２１−３を選択し、マッピングテーブル参照部１４１に設定する。また、このとき、表示切替部１３０は、第３のカメラ表示領域データ１２２−３を選択し、枠線重畳部１４３に設定する。
【００６６】
そして、ステップＳ２０００で、表示切替部１３０は、車両２００のギアがフォワードギアに切り替えられたか否かを判断する。表示切替部１３０は、ギアがフォワードギアに切り替えられた場合には（Ｓ２０００：ＹＥＳ）、ステップＳ３０００に進み、ギアがフォワードギアに切り替えられていない場合には（Ｓ２０００：ＮＯ）、ステップＳ４０００に進む。
【００６７】
ステップＳ３０００で、表示切替部１３０は、第１のマッピングテーブル１２１−１を選択し、マッピングテーブル参照部１４１に設定する。また、このとき、表示切替部１３０は、第１のカメラ表示領域データ１２２−１を選択し、枠線重畳部１４３に設定する。
【００６８】
そして、ステップＳ５０００で、車両周囲監視装置１００は、カメラ１１０、マッピングテーブル参照部１４１、画像合成部１４２、枠線重畳部１４３、および映像信号生成部１４４によるフレーム処理を実行する。フレーム処理については後述する。
【００６９】
そして、ステップＳ６０００で、車両周囲監視装置１００は、処理を継続するか否かを判断し、継続する場合には（Ｓ６０００：ＹＥＳ）、ステップＳ２０００に戻り、継続しない場合には（Ｓ６０００：ＮＯ）、一連の処理を終了する。
【００７０】
また、ステップＳ４０００で、表示切替部１３０は、車両２００のギアがリバースギアに切り替えられたか否かを判断する。表示切替部１３０は、ギアがリバースギアに切り替えられた場合には（Ｓ４０００：ＹＥＳ）、ステップＳ７０００に進み、ギアがリバースギアに切り替えられていない場合には（Ｓ４０００：ＮＯ）、ステップＳ８０００に進む。
【００７１】
ステップＳ７０００で、表示切替部１３０は、第２のマッピングテーブル１２１−２を選択し、マッピングテーブル参照部１４１に設定し、ステップＳ５０００のフレーム処理に進む。また、このとき、表示切替部１３０は、第２のカメラ表示領域データ１２２−２を選択し、枠線重畳部１４３に設定する。
【００７２】
また、ステップＳ８０００で、表示切替部１３０は、車両２００のギアがパーキングギアに切り替えられたか否かを判断する。表示切替部１３０は、ギアがパーキングギアに切り替えられた場合には（Ｓ８０００：ＹＥＳ）、ステップＳ９０００に進み、ギアがパーキングギアに切り替えられていない場合には（Ｓ８０００：ＮＯ）、ステップＳ５０００のフレーム処理に進む。
【００７３】
なお、ギアの切り替えが行われていない間は、ステップＳ５０００のフレーム処理が繰り返されることになる。
【００７４】
このような動作により、車両２００のギアがパーキング、フォワードギア、およびリバースギアの間で切り替えられる度に、使用されるマッピングテーブル１２１およびカメラ表示領域データ１２２は切り替わり、その結果、補助画像の方向および俯瞰画像の枠の位置が切り替わる。そして、フレーム単位で複合画像に枠線を重畳して映像信号を生成する、以下に説明するフレーム処理が繰り返される。
【００７５】
図７は、フレーム処理の一例を示すフローチャートである。
【００７６】
まず、ステップＳ５１００で、第１〜第４のカメラ１１０−１〜１１０−４は、カメラ画像が書き込まれるフレームメモリ１１２と、画像合成部１４２によって参照されるフレームメモリ１１２とを切り替える。
【００７７】
具体的には、各カメラ１１０のフレーム切替部１１３は、撮像部１１１からの画像の入力が完了したフレームメモリ１１２が、表示制御部１４０による画像の参照先となるように、各フレームメモリ１１２と撮像部１１１との接続状態、および各フレームメモリ１１２と表示制御部１４０との接続状態を切り替える。これらの接続状態の切り替えタイミングは、表示制御部１４０から出力されるタイミング信号によって制御される。画像合成部１４２から参照されるカメラ画像の画素の位置は、撮像部１１１の書き込みの順序とは関係無く飛び飛びになる。したがって、各カメラ１１０において、このようにフレーム切替部１１３が複数のフレームメモリ１１２を切り替えることにより、書き込みと参照が干渉しないようにすることができる。
【００７８】
そして、ステップＳ５２００で、タイミング生成部１４５は、合成出力のタイミングに合わせて、マッピングテーブル参照部１４１が現在マッピングデータを出力すべき画素を設定する。タイミング生成部１４５は、ステップＳ５２００で複合画像のフレームの各画素を１つずつ順に選択し、設定する。
【００７９】
そして、ステップＳ５３００で、マッピングテーブル参照部１４１は、ステップＳ５２００で設定された画素に対応する要素を、現在格納しているマッピングテーブルから読み出し、マッピングデータとして画像合成部１４２に出力する。
【００８０】
そして、ステップＳ５４００で、画像合成部１４２は、入力されたマッピングデータに従って、各カメラ１１０のフレームメモリ１１２に記録されたカメラ画像の、対応する画素の値を合成することにより、複合画像の画像データを生成し、枠線重畳部１４３に出力する。例えば、画素の値の最も簡単な決定方法は、フレームメモリ１１２の対応する画素データの値をそのまま画素の値とすることである。
【００８１】
そして、ステップＳ５５００で、枠線重畳部１４３は、入力された複合画像の画像データと、カメラ表示領域データ１２２とから、複合画像に補助画像の方向を示す枠線を重畳した枠線重畳画像の画像データを生成し、映像信号生成部１４４に出力する。
【００８２】
枠線重畳部１４３は、カメラ表示領域データ１２２が、枠線の部分に色彩を付し他の部分を透明とした画像の画像データである場合には、その画像を複合画像に重ね合わせる画像処理により、枠線重畳画像の画像データを生成する。また、枠線重畳部１４３は、カメラ表示領域データ１２２が、枠線の部分の画素を示すデータである場合には、複合画像のうち該当する箇所の画素値を変換することにより、枠線重畳画像の画像データを生成する。
【００８３】
枠線重畳部１４３には、上述の通り、常に、画像合成部１４２が使用しているマッピングテーブル１２１に対応するカメラ表示領域データ１２２が設定された状態となっている。したがって、枠線重畳部１４３では、常に、補助画像に対応する画像領域を囲む枠線が、俯瞰画像に重畳されることになる。
【００８４】
そして、ステップＳ５６００で、映像信号生成部１４４は、入力された枠線重畳画像の画像データを映像信号に変換し、映像信号をモニタ１５０に出力する。
【００８５】
そして、ステップＳ５７００で、タイミング生成部１４５は、フレームの最終画素に対する処理が完了したか否かを判断する。タイミング生成部１４５は、最終画素に対する処理がまだ終了していない場合は（Ｓ５７００：ＮＯ）、ステップＳ５８００に進む。
【００８６】
ステップＳ５８００で、タイミング生成部１４５は、次の画素の処理へ移行し、ステップＳ５２００に戻る。
【００８７】
そして、車両周囲監視装置１００は、ステップＳ５２００〜Ｓ５７００の処理を繰り返した結果、合成画像のフレームの最終画素に対する処理が完了すると（Ｓ５７００：ＹＥＳ）、図６の処理に戻る。そして、車両周囲監視装置１００は、適宜次のフレームに対するフレーム処理を開始する。
【００８８】
このようなフレーム処理により、車両周囲監視装置１００は、補助画像に対応する画像領域を囲む枠線を俯瞰画像に重畳した枠線重畳画像を、モニタ１５０に表示させる。
【００８９】
なお、ここでは、フレーム単位で合成処理を行う場合について説明したが、フィールド単位で合成処理を行う場合にも、同様の処理で枠線重畳画像を表示することができる。
【００９０】
以上説明した動作により、車両周囲監視装置１００は、車両２００の動作状態に応じた補助画像を示すとともに、その補助画像の方向を、俯瞰画像に重畳した枠線によって示すことができる。これにより、俯瞰画像と、車両２００の動作状態に応じた種類の補助画像と、補助画像の方向を、高い視認性で同時表示することができる。
【００９１】
上述のように、車両周囲監視装置１００では、補助画像の方向は、俯瞰画像のうち補助画像に対応する画像領域を目立たせることで示され、この画像領域は、画像領域を囲む枠線を俯瞰画像に重畳することによって示される。俯瞰画像に重畳された枠線は、車両２００周辺の、車両２００に対して閉じた１つまたは複数の領域を、明瞭に示す。すなわち、車両周囲監視装置１００は、枠線により画像領域を囲むという複合画像の表示形態を採ることにより、補助画像の方向を、対応する画像領域という比較的大きなサイズの視覚情報によって示すことができる。しかも、枠線であるため、その領域の画像の視認性には、ほとんど影響を及ぼすことが無い。
【００９２】
以下、本実施の形態による複合画像の表示形態と、従来の形態を含む他の複合画像の表示形態との、視認性についての比較実験結果について説明する。
【００９３】
視認性についての比較実験は、本実施の形態に係る複合画像と、他の表示形態を採る複合画像と、従来の表示形態を採る複合画像とを、複数の被験者に見せ、各被験者が補助画像に対応する画像領域を最も把握し易いと評価した表示形態にポイントを付け、ポイントの集計結果を比較することにより行った。
【００９４】
図８は、上記比較実験の評価対象を示す図である。
【００９５】
図８に示すように、本実験では、本実施の形態に係る複合画像、つまり俯瞰画像に枠線を重畳する表示形態を、第１案とした。また、俯瞰画像および補助画像とは別の領域に、文字情報を用いて補助画像の方向を示すアイコンを表示する形態を、第２案とした。また、従来の表示形態、つまり、俯瞰画像および補助画像とは別の領域に、補助画像の方向を図で示すアイコンを表示する形態を、第３案とした。また、それぞれの案において、車両の後退シーンおよび前進シーンの複合画像の静止画を用意した。
【００９６】
第１案は、補助画像の方向を示す画像を俯瞰画像に重ねて配置しているものの、枠線で領域を囲むという形態を採っているため、俯瞰画像の視認性はほとんど低下しない。また、第２案および第３案とも、補助画像の方向を示すアイコンは、俯瞰画像および補助画像の表示範囲の縮小による視認性の低下を最小限に抑えるべく、十分小さい大きさで表示されている。したがって、第１案〜第３案のいずれも、俯瞰画像および補助画像の視認性はほぼ同レベルとなっている。
【００９７】
図９は、上記比較実験の被験者のデータを示す図である。
【００９８】
図９に示すように、被験者は、２０代〜６０代の男女２４人である。いずれの被験者も、月１回以上、軽度に普通乗用車を運転している者である。本実験では、各被験者に対し、図８に示す３案の画像を見せ、補助画像の方向について見間違えを起こさないかどうかという観点で、被験者の主観による３案の順位付けを回答させた。
【００９９】
図１０は、上記比較実験の結果を、どの案の複合画像に対して何人の被験者が最も見易いと評価したかを示す円グラフである。
【０１００】
図１０に示すように、第１案（本実施の形態）の複合画像を最も見易いと評価した被験者の数は、１７人と最も多く、第２案の５人、第３案の２人と続いた。第２案および第３案の俯瞰画像および補助画像の表示サイズは、アイコンの表示領域のために、第１案よりも小さくせざるを得ない。したがって、第２案および第３案の俯瞰画像および補助画像の視認性は、第１案の俯瞰画像および補助画像の視認性よりも劣る。したがって、本実験結果は、補助画像の方向の視認性の比較結果を示すものであるといえる。この実験結果より、本実施の形態に係る複合画像は、第２案および第３案に係る複合画像に比べて、俯瞰画像、補助画像、および補助画像の方向を、より高い視認性で同時表示することができることが明らかであり、特に、従来の車両周囲監視装置に係る複合画像に対して優位性を有することは明らかである。
【０１０１】
以上説明したように、本実施の形態によれば、補助画像に対応する画像領域を囲む枠線を俯瞰画像に重ねて表示することができるので、画面領域を新たに消費することなく、かつ俯瞰画像の視認性に支障をきたすことなく、補助画像の方向を表示することができる。すなわち、俯瞰画像、補助画像、および補助画像の方向を、高い視認性で同時表示することができる。
【０１０２】
また、補助画像の方向を、対応する画像領域を囲む枠線で示すので、補助画像の方向を、俯瞰画像の視認性低下を最小限に抑えながら、視覚的により目立つ状態で示すことができる。
【０１０３】
また、俯瞰画像および補助画像のいずれも、車両の周囲の地面の画像を含んでいるので、運転者は、地面の障害物を視認することができるとともに、地面の画像を基準として俯瞰画像と補助画像との対応付けを行うことができる。
【０１０４】
なお、本実施の形態では、マッピングテーブルとカメラ表示領域データとを別個に用意した場合について説明したが、マッピングテーブルにカメラ表示領域データを含むようにしてもよい。この場合には、例えば、マッピングテーブルは、複合画像のうち枠線の部分とすべき画素の画素値を、枠線の色の画素値とする。これにより、枠線重畳部１４３を設けることなく、マッピング処理のみによって、俯瞰画像に枠線が重畳された画像を表示することができる。
【０１０５】
また、本実施の形態では、複合画像全体のマッピングテーブルを用意する場合について説明したが、例えば、俯瞰画像と補助画像とで別に用意し、俯瞰画像のマッピングテーブルと補助画像のマッピングテーブルとを組み合わせて用いるようにしてもよい。また、カメラの撮像画像をそのまま補助画像として用いる場合には、補助画像部分のマッピングテーブルは不要である。
【０１０６】
また、本実施の形態では、枠線を俯瞰画像に重ねて表示するための手法として、カメラ表示領域データを画像データとしてマッピングテーブルとは別個に用意する場合について説明したが、他の手法を用いてもよい。例えば、マッピングデータのうち、枠線の部分に対応する画素に、カメラ画素の情報ではなく枠線の色情報を入れることにより、枠線の情報をマッピングテーブルに埋め込んでおく手法が考えられる。
【０１０７】
また、本実施の形態では、補助画像の方向が前方、後方、および左右側方の３つのパターンで切り替わる場合について説明したが、より多くの方向で補助画像の方向が切り替わるようにしてもよい。この場合には、それぞれの方向に対応するマッピングテーブルおよびカメラ表示領域データを用意すればよい。
【０１０８】
また、補助画像の方向を任意に設定したり、補助画像の方向をスムーズに変化させるようにしてもよい。この場合には、補助画像が映し出す地面の範囲をリアルタイムで演算し、演算された地面の範囲を基準に、俯瞰画像における枠線の位置を更にリアルタイムで演算すればよい。
【０１０９】
また、俯瞰画像の仮想視点が固定されている場合について説明したが、この仮想視点の位置、向き、および画角等は、可変としてもよい。この場合には、俯瞰画像のうち、補助画像が映し出す地面の範囲に対応する画像領域を、仮想視点の状態に基づいてリアルタイムで演算し、演算された画像領域を囲む枠線を、更にリアルタイムで複合画像に描画すればよい。
【０１１０】
また、本実施の形態では、車両周囲の撮像を４つのカメラで行う場合について説明したが、４つ未満、または５つ以上のカメラで行うようにしてもよい。
【産業上の利用可能性】
【０１１１】
本発明に係る車両周囲監視装置および車両周囲監視方法は、俯瞰画像、補助画像、および補助画像の方向を、高い視認性で同時表示することができる車両周囲監視装置および車両周囲監視方法として有用である。
【図面の簡単な説明】
【０１１２】
【図１】従来の車両周囲監視装置による複合画像を示す平面図
【図２】本発明の一実施の形態に係る車両周囲監視装置の構成図
【図３】本実施の形態におけるカメラおよびモニタの取り付け位置の一例を示す斜視図
【図４】本実施の形態における複合画像の例を示す平面図
【図５】本実施の形態における車両のギアがリバースに設定されているときの各画像の一例を示す平面図
【図６】本実施の形態に係る車両周囲監視装置の動作の一例を示すフローチャート
【図７】本実施の形態におけるフレーム処理の一例を示すフローチャート
【図８】本実施の形態に係る車両周囲監視装置と他の車両周囲監視装置との比較実験の評価対象を示す図
【図９】本実施の形態についての比較実験の被験者のデータを示す図
【図１０】本実施の形態についての比較実験の結果を示す円グラフ
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2009141846.tif 000013
【図２】
2009141846.tif 000014
【図３】
2009141846.tif 000015
【図４】
2009141846.tif 000016
【図５】
2009141846.tif 000017
【図６】
2009141846.tif 000018
【図７】
2009141846.tif 000019
【図８】
2009141846.tif 000020
【図９】
2009141846.tif 000021
【図１０】
2009141846.tif 000022
【国際調査報告】
2009141846.tif 000023
2009141846.tif 000024
2009141846.tif 000025
2009141846.tif 000026
2009141846.tif 000027
2009141846.tif 000028
2009141846.tif 000029
2009141846.tif 000030