(57)【要約】    【課題】  移動体の下に隠された情報、例えば駐車枠や制限速度などの情報を含めた俯瞰画像を表示することができる俯瞰画像表示装置を提供する。    【解決手段】  車両１の周縁部に設けられたカメラ１１〜１４を用いて車両１及びその周辺の路面画像を含む第１俯瞰画像が生成され、第１俯瞰画像内の路面画像が時系列的に情報蓄積部３２に記憶され、記憶された路面画像の時系列データを用いて、車両１によって隠された部分の路面画像（例えば駐車枠など）を補完した第２俯瞰画像が生成され、生成された第２俯瞰画像が表示部１７に表示される。情報蓄積部３２には、第１俯瞰画像と、車両１の位置座標及び進行方向を示す情報とが関連付けて蓄積され、記憶された位置座標及び進行方向を用いて隠された部分の路面画像の補完が行われる。【選択図】  図４
2014036326.tif 000002
【特許請求の範囲】
【請求項１】
移動体の周縁部に離間して配置された複数のカメラと、該複数のカメラを用いて前記移動体及びその周辺の路面画像を含む第１俯瞰画像を生成する第１俯瞰画像生成手段とを備える俯瞰画像表示装置において、
前記第１俯瞰画像内の路面画像を時系列的に記憶する記憶する記憶手段と、
記憶された路面画像の時系列データを用いて、前記移動体によって隠された部分の路面画像を補完した第２俯瞰画像を生成する第２俯瞰画像生成手段と、
該第２俯瞰画像生成手段により生成された俯瞰画像を表示する表示手段とを備えることを特徴とする俯瞰画像表示装置。
【請求項２】
前記記憶手段は、前記第１俯瞰画像と、前記移動体の位置座標及び進行方向とを関連付けて記憶し、前記第２俯瞰画像生成手段は、記憶された位置座標及び進行方向を用いて前記補完を行うことを特徴とする請求項１に記載の俯瞰画像表示装置。
【請求項３】
前記第２俯瞰画像生成手段は、前記第２俯瞰画像における前記移動体に対応する領域が半透明で表示されるように前記第２俯瞰画像の生成を行うことを特徴とする請求項１または２に記載の俯瞰画像表示装置。
【請求項４】
前記第２俯瞰画像生成手段は、前記移動体によって隠された道路の白線または路面標識が表示されるように前記第２俯瞰画像の生成を行うことを特徴とする請求項１から３の何れか１項に記載の俯瞰画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両や船舶などの移動体及びその周辺の路面画像を含む俯瞰画像を表示する俯瞰画像表示装置に関する。
【背景技術】
【０００２】
特許文献１には、カメラによって得られる画像を用いて車両運転者の死角領域を表示する車両周辺監視装置を開示する。この装置によれば、車両運転者の死角領域を撮像する左右のサイドカメラによって得られる画像と、運転者視点から見た車両を半透明化した車両画像と、運転者視点から見た、ステアリング操作に追従して挙動するタイヤを半透明化したタイヤ画像とが重ね合わせて表示装置に表示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１１４６１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば、駐車場の所定駐車領域に車両を停止させる際などにおいて、車両下の駐車枠線の位置を運転者が認識することができれば、駐車させる際の車両操作性を高めることができる。特許文献１に示された装置では、車両に取り付けたカメラによって得られる画像と、半透明化した車両画像及びタイヤ画像とが重ね合わせて表示されるため、カメラでは撮影できない車両下の領域は表示することができないという課題がある。
【０００５】
本発明はこの点に着目してなされたものであり、移動体の下に隠された情報、例えば駐車枠や制限速度などの情報を含めた俯瞰画像を表示することができる俯瞰画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため請求項１に記載の発明は、移動体（１）の周縁部に離間して配置された複数のカメラ（１１〜１４）と、該複数のカメラを用いて前記移動体（１）及びその周辺の路面画像を含む第１俯瞰画像を生成する第１俯瞰画像生成手段とを備える俯瞰画像表示装置において、前記第１俯瞰画像内の路面画像を時系列的に記憶する記憶する記憶手段と、記憶された路面画像の時系列データを用いて、前記移動体（１）によって隠された部分の路面画像を補完した第２俯瞰画像を生成する第２俯瞰画像生成手段と、該第２俯瞰画像生成手段により生成された俯瞰画像を表示する表示手段とを備えることを特徴とする。
【０００７】
請求項２に記載の発明は、請求項１に記載の俯瞰画像表示装置において、前記記憶手段は、前記第１俯瞰画像と、前記移動体（１）の位置座標及び進行方向とを関連付けて記憶し、前記第２俯瞰画像生成手段は、記憶された位置座標及び進行方向を用いて前記補完を行うことを特徴とする。
【０００８】
請求項３に記載の発明は、請求項１または２に記載の俯瞰画像表示装置において、前記第２俯瞰画像生成手段は、前記第２俯瞰画像における前記移動体（１）に対応する領域が半透明で表示されるように前記第２俯瞰画像の生成を行うことを特徴とする。
【０００９】
請求項４に記載の発明は、請求項１から３の何れか１項に記載の俯瞰画像表示装置において、前記第２俯瞰画像生成手段は、前記移動体（１）によって隠された道路の白線または路面標識が表示されるように前記第２俯瞰画像の生成を行うことを特徴とする。
【発明の効果】
【００１０】
請求項１に記載の発明によれば、複数のカメラを用いて移動体及びその周辺の路面画像を含む第１俯瞰画像が生成され、第１俯瞰画像内の路面画像が時系列的に記憶され、記憶された路面画像の時系列データを用いて、移動体によって隠された部分の路面画像を補完した第２俯瞰画像が生成され、生成された第２俯瞰画像が表示される。移動体の搭乗者にとって死角となる領域の路面画像が俯瞰画像内に表示されるので、移動体の運転を効果的に支援することができる。
【００１１】
請求項２に記載の発明によれば、第１俯瞰画像と、移動体の位置座標及び進行方向とが関連付けて記憶され、記憶された位置座標及び進行方向を用いて隠された部分の路面画像の補完が行われるので、移動体に隠された部分を正確に補完することができる。
【００１２】
請求項３に記載の発明によれば、第２俯瞰画像における移動体に対応する領域が半透明で表示されるように第２俯瞰画像が生成されるので、移動体に隠された領域を移動体搭乗者が容易に認識することができる。さらに移動体とその周辺物との位置関係を容易に認識することもできる。この場合、移動体の最外端縁が分かるような表示をする（例えば移動体を示す半透明画像に最外端縁を示す線を付して表示する）ことがより好ましい。これにより、移動体の端部が死角となるような位置に俯瞰画像の視点がある場合（例えば移動体後方から前方側を見た俯瞰画像において移動体の前端が移動体自身に隠れてしまう場合）でも、当該移動体の端部とその周辺物との位置関係を容易に認識することができる。
【００１３】
請求項４に記載の発明によれば、移動体によって隠された道路の白線または路面標識が表示されるように第２俯瞰画像が生成されるので、駐車支援や安全運転支援を効果的に行うことができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態にかかる車両の俯瞰画像表示装置の構成を示すブロック図である。
【図２】車両に搭載されるカメラの配置を示す図である。
【図３】俯瞰画像を生成する際に適用される仮想カメラの配置を示す図である。
【図４】蓄積される時系列データを説明するための第１動作例を示す図である。
【図５】蓄積される時系列データを説明するための第２動作例を示す図である。
【図６】図４の例に対応する俯瞰画像を示す図である。
【図７】図５の例に対応する俯瞰画像を示す図である。
【発明を実施するための形態】
【００１５】
以下本発明の実施の形態を図面を参照して説明する。
図１は本発明の一実施形態にかかる車両の俯瞰画像表示装置の構成を示すブロック図である。図１に示す俯瞰画像表示装置は、車両１の周縁部に離間して配置された４つの魚眼レンズ付きカメラ１１〜１４と、カメラ１１〜１４により撮像される画像信号の信号処理（画像処理）を行う画像処理ユニット１５と、ナビゲーションユニット１６と、画像処理ユニット１５から出力される画像信号に応じた画像を表示する表示部１７と、車両１に搭載された他の制御ユニット（エンジン制御ユニット、変速機制御ユニットなど）との間でデータ伝送を行う通信部１８と、車両１の搭乗者が操作するための操作部１９とを備えている。
【００１６】
カメラ１１〜１４は、図２に示すようにそれぞれ車両１の前部、左右のフェンダーミラーの近傍、及び車両１の後部に配置されている。ナビゲーションユニット１６は、地図データ及びＧＰＳ(Global Positioning System)を備えており、車両１の走行位置及びその周辺の道路情報を画像処理ユニット１５に供給する。
【００１７】
通信部１８は、他の制御ユニットから車両１の走行状態を示す情報（車速、変速機のギヤ位置、ステアリングの舵角情報など）を取得し、画像処理ユニット１５に供給する。表示部１７は、本実施形態ではナビゲーションユニット１６による地図画面表示及び案内画面表示を行う液晶表示装置によって構成される。
【００１８】
画像処理ユニット１５は、周辺画像合成部３１と、情報蓄積部３２と、死角画像合成部３３とを備えており、カメラ１１〜１４によって撮像された画像を合成することによって、車両１及びその周辺の路面画像を含む俯瞰画像を生成して、対応する画像信号を出力する。車両１の画像（自車画像）は、例えば事前に撮影した車両１の写真画像あるいは事前に作成したイラスト画像が使用される。
【００１９】
周辺画像合成部３１は、４つのカメラ１１〜１４によって得られる画像を合成することによって、車両１を含む第１俯瞰画像を生成する。図３に示すように車両１の後方から前方に向かう視点から撮像する第１仮想カメラ３０１による俯瞰画像と、車両１のほぼ真上から下方へ向かう視点から撮像する第２仮想カメラ３０２による俯瞰画像と、車両１の前方から後方に向かう視点から撮像する第３仮想カメラ３０３による俯瞰画像とを合成可能に構成されており、搭乗者の操作に応じて俯瞰画像を表示部１７の画面上に表示する。俯瞰画像の合成には、例えば特開２０１１−３９９７８号公報に示される手法が適用可能である。
【００２０】
情報蓄積部３２は、俯瞰画像に含まれる路面画像データを、車両１の位置及び方向に関する情報とともに時系列的に蓄積する。車両１の位置及び方向に関する情報は、ナビゲーションユニット１６から供給される情報が使用されるとともに、必要に応じて車速、ステアリング転舵角、前進／後退情報に応じて算出される車両１の位置座標及び方向に関する情報が使用される。
【００２１】
図４は、車両１を後退させて駐車スペース２０１に縦列駐車させる際の動きを時系列的に示す図であり、一点鎖線１０１は、俯瞰画像（仮想カメラ３０２による）の撮像領域を示す。時刻ｔ０では（同図（ａ））、撮像領域１０１の左下部に駐車スペース２０１が現れ、時刻ｔ０から一定時間経過後の時刻ｔ１では（同図（ｂ））、駐車スペース２０１の表示範囲が大きくなり、時刻ｔ１から一定時間経過後の時刻ｔ２では（同図（ｃ））、駐車スペース２０１を示す枠の一部が車両１に隠された状態となる。この時系列データが情報蓄積部３２に蓄積される。なお、車両１の移動に伴って過去の蓄積情報は、古いものから順次消去される。
【００２２】
死角画像合成部３３は、例えば時刻ｔ１において記憶した画像などを用いることにより、時刻ｔ２において車両１によって隠される領域の路面画像（駐車スペース２０１の枠など）を補完した俯瞰画像を生成するとともに、自車両画像を半透明化して合成することにより、第２俯瞰画像を生成し、対応する画像信号を出力する。表示部１７は、出力される画像信号の表示を行う。なお、図面上には明示していないが、図４（ａ），（ｂ）に示す時刻ｔ０，ｔ１における俯瞰画像には、それぞれ時刻ｔ０，ｔ１より前に撮像され蓄積された路面画像を用いて、車両１によって隠された領域の路面画像を含む第２俯瞰画像が生成・表示される。
【００２３】
図５は、他の動作例を説明するための図であり、仮想カメラ３０１による俯瞰画像（ただし車両１の画像は便宜上図４と同一のものを使用）の推移、すなわち車両１が前進走行中に「３０」という制限速度の路面標識上を通過する際の時系列データ（時刻ｔ１０〜ｔ１２）が示されている。この例では、例えば時刻ｔ１１において記憶した路面画像などを用いることにより、時刻ｔ１２において車両１によって隠される領域の路面画像（制限速度標識（「３０」）を含む）が補完されて表示される（図５（ｃ））。なお、図面上には明示していないが、図５（ａ），（ｂ）に示す時刻ｔ１０，ｔ１１における俯瞰画像には、それぞれ時刻ｔ１０，ｔ１１より前に撮像され蓄積された路面画像を用いて、車両１によって隠された領域の路面画像を含む第２俯瞰画像が生成・表示される。
【００２４】
図６は図４に示す例において表示される俯瞰画像を示す図であり、図６（ａ）が通常の俯瞰画像を示し、図６（ｂ）が車両により隠された領域の画像（駐車枠）が補完された第２俯瞰画像を示す。
【００２５】
図７は図５に示す例において表示される、仮想カメラ３０１による俯瞰画像を示す図であり、図７（ａ）が通常の俯瞰画像を示し、図７（ｂ）が車両により隠された領域の画像（制限速度表示「３０」）が補完された第２俯瞰画像を示す。
【００２６】
なお、半透明化して表示する際の透過率は任意に設定可能であり、また補完する路面画像としては、説明のために駐車枠や路面標識を明示的に示したが、これに限らず例えば路面の凹凸や石なども表示され、車両１の運転者（搭乗者）に有用な情報を提供することができる。また、図７（ｃ）に示すように車両１の最外端縁が容易に認識できるように、例えば半透明画像に太い破線を追加して表示をすることがより好ましい。これにより、例えば車両１の前端部が死角となるような仮想カメラ３０１の視点からの俯瞰画像において、車両１の前端部が車両１自身に隠れてしまう場合でも、車両１の端部とその周辺物との位置関係を容易に認識することが可能となる。
【００２７】
以上のように本実施形態では、カメラ１１〜１４を用いて車両１及びその周辺の路面画像を含む、例えば図４（ａ）（ｂ）及び図５（ａ）（ｂ）に示す第１俯瞰画像が生成され、第１俯瞰画像内の路面画像が時系列的に記憶され、記憶された路面画像の時系列データを用いて、車両１によって隠された部分の路面画像を補完した、例えば図４（ｃ）及び図５（ｃ）に示す第２俯瞰画像が生成され、生成された第２俯瞰画像が表示部１７に表示される。車両１の搭乗者にとって死角となる領域の路面画像が俯瞰画像内に表示されるので、車両１の運転を効果的に支援することができる。
【００２８】
また第１俯瞰画像と、車両１の位置座標及び進行方向を示す情報とが関連付けて情報蓄積部３２に蓄積され、記憶された位置座標及び進行方向を用いて隠された部分の路面画像の補完が行われるので、車両１に隠された部分を正確に補完することができる。
【００２９】
また第２俯瞰画像における車両１に対応する領域が半透明で表示されるように第２俯瞰画像が生成されるので、車両１に隠された領域を車両１の搭乗者が容易に認識することができる。
【００３０】
本実施形態では、表示部１７が表示手段に相当し、画像処理ユニット１５が第１俯瞰画像生成手段、記憶手段、及び第２俯瞰画像生成手段を構成する。
【００３１】
なお本発明は上述した実施形態に限るものではなく、種々の変形が可能である。例えば、上述した実施形態では、記憶した路面画像を位置及び方向を調整して、そのまま第２俯瞰画像内に表示するようにしたが、記憶した路面画像内の白線を抽出する処理、及び／または路面標識を抽出処理を実行し、抽出した白線及び／または路面標識を、位置及び方向を調整して、第２俯瞰画像内に表示するようにしてもよい。すなわち、図５に示す例では駐車枠の白線を抽出して車両１によって隠される部分の補完に適用し、図６に示す例では抽出した「３０」の路面標識を、第２俯瞰画像内に表示するようにしてもよい。
【００３２】
より具体的には、例えば以下のような画像処理を行って、抽出した白線及び／または路面標識の表示を行う。すなわち、現在の俯瞰画像における車両１の向きと合わせるように過去の俯瞰画像を回転させ、現在画像と過去画像とで相関度を計算し、現在の俯瞰画像における白線及び／または路面標識に対応する白線及び／または路面標識を過去の俯瞰画像から抽出し、抽出された過去の俯瞰画像における白線及び／または路面標識を、現在の俯瞰画像における白線及び／または路面標識に重ね合わせて、現在の俯瞰画像において車両１によって隠された領域に存在する白線及び／または路面標識を表示する。
【００３３】
なお、白線の抽出処理には例えば特開平１０−１８８１９８号公報に示される手法が適用可能であり、また路面標識の抽出処理には例えば特開２００６−２４１０５号公報に示される手法が適用可能である。
【００３４】
またカメラ１１〜１４は、魚眼レンズではなく通常のカメラ用凸レンズを備えるものであってもよい。また表示部１７はヘッドアップディスプレイによって構成し、車両運転者の前方に画面を表示するようにしてもよい。また上述した実施形態では、移動体が車両である例を示したが、本発明は例えば船舶や航空機についても適用可能である。
【符号の説明】
【００３５】
１  車両（自車両）
１１〜１４  カメラ
１５  画像処理ユニット（第１俯瞰画像生成手段、記憶手段、第２俯瞰画像生成手段）
１６  ナビゲーションユニット
１７  表示部（表示手段）
【図１】
2014036326.tif 000003
【図２】
2014036326.tif 000004
【図３】
2014036326.tif 000005
【図４】
2014036326.tif 000006
【図５】
2014036326.tif 000007
【図６】
2014036326.tif 000008
【図７】
2014036326.tif 000009