(57)【要約】【課題】車両設計を複雑化させることなく、死角領域の映像等をわかりやすく運転者に提示可能な技術を提供する。【解決手段】死角表示装置は、画像取得手段と、画像生成手段と、画像表示手段と、を備える。画像取得手段は、車両のピラーを含むフレームで運転者の視界が遮られることにより生じる車両外の死角領域を有する車両周辺領域を撮像した周辺画像を取得する。画像生成手段は、画像取得手段により取得した周辺画像を元画像として、車両周辺領域のうちの死角領域と隣接領域との領域境界を可視化させた境界可視化画像を生成する。画像表示手段は、画像生成手段により生成した境界可視化画像を、車両の室内に設けられた表示装置に表示する。【選択図】図６
2016215725.tif 000002
【特許請求の範囲】
【請求項１】
車両のピラーを含むフレームで運転者の視界が遮られることにより生じる車両外の死角領域を有する車両周辺領域を撮像した周辺画像を取得する画像取得手段（２１）と、
前記画像取得手段により取得した周辺画像を元画像として、前記車両周辺領域のうちの前記死角領域と隣接領域との領域境界を可視化させた境界可視化画像を生成する画像生成手段（２２）と、
前記画像生成手段により生成した境界可視化画像を、前記車両の室内に設けられた表示装置に表示する画像表示手段（２３）と、
を備えることを特徴とする死角表示装置。
【請求項２】
請求項１に記載の死角表示装置であって、
前記運転者の目の位置を検出するアイポイント検出手段（８）、
を更に備え、
前記画像生成手段は、前記アイポイント検出手段により検出した目の位置と前記ピラーの位置との位置関係に基づいて、前記運転者が前記車両周辺領域を見たときの前記死角領域を前記周辺画像上において設定する、
ことを特徴とする死角表示装置。
【請求項３】
請求項１又は請求項２に記載の死角表示装置であって、
前記画像生成手段は、前記境界可視化画像を生成する際に、前記周辺画像上において前記領域境界に対応する輪郭線画像を重畳させる、
ことを特徴とする死角表示装置。
【請求項４】
請求項１から請求項３までのいずれか１項に記載の死角表示装置であって、
前記画像生成手段は、前記境界可視化画像を生成する際に、前記周辺画像上において前記死角領域に対応する透過画像を重畳させる、
ことを特徴とする死角表示装置。
【請求項５】
請求項１から請求項４までのいずれか１項に記載の死角表示装置であって、
前記画像生成手段は、前記境界可視化画像を生成する際に、前記周辺画像上において前記隣接領域に対応するマスク画像を重畳させる、
ことを特徴とする死角表示装置。
【請求項６】
請求項１から請求項５までのいずれか１項に記載の死角表示装置であって、
前記画像生成手段は、前記境界可視化画像を生成する際に、前記周辺画像上において、前記領域境界に対応する輪郭線画像、前記死角領域に対応する透過画像、又は、前記隣接領域に対応するマスク画像、を重畳させた重畳画像について、色相、明度、彩度及び輝度のうち少なくとも一つの画像属性を変更する、
ことを特徴とする死角表示装置。
【請求項７】
請求項６に記載の死角表示装置であって、
前記画像生成手段は、前記車両周辺領域の明るさに応じて、前記重畳画像に関する前記画像属性のうち前記明度及び前記輝度の少なくとも一つを変更する、
ことを特徴とする死角表示装置。
【請求項８】
請求項６又は請求項７に記載の死角表示装置であって、
前記画像生成手段は、前記画像取得手段により取得した周辺画像に対してコントラストが高くなるように前記重畳画像に関する前記画像属性を変更する、
ことを特徴とする死角表示装置。
【請求項９】
車両のピラーを含むフレームで運転者の視界が遮られることにより生じる車両外の死角領域を有する車両周辺領域を撮像した周辺画像を取得する画像取得工程（２１）と、
前記画像取得工程により取得した周辺画像を元画像として、前記車両周辺領域のうちの前記死角領域と隣接領域との領域境界を可視化させた境界可視化画像を生成する画像生成工程（２２）と、
前記画像生成工程により生成した境界可視化画像を、前記車両の室内に設けられた表示装置に表示する画像表示工程（２３）と、
を備えることを特徴とする死角表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ピラーによる死角領域の映像等を表示する技術に関する。
【背景技術】
【０００２】
従来、車両における左右一対のフロントピラーの内側にディスプレイをそれぞれ設け、フロントピラーで運転者の視界が遮られることにより生じる車両外の死角領域の映像をディスプレイに表示する技術が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開２００９／１５７４４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、例えばピラーが透過しているように死角領域の映像をわかりやすく運転者に提示しようとすると、ピラーに沿うようにディスプレイを配置しなければならない等、ディスプレイの形状及び配置並びにピラー等のフレームの形状を含む車両設計が複雑化する、という問題があった。
【０００５】
本発明は、こうした問題にかんがみてなされたものであり、車両設計を複雑化させることなく、死角領域の映像等をわかりやすく運転者に提示可能な技術を提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明の一局面である死角表示装置は、画像取得手段と、画像生成手段と、画像表示手段と、を備える。画像取得手段は、車両のピラーを含むフレームで運転者の視界が遮られることにより生じる車両外の死角領域を有する車両周辺領域を撮像した周辺画像を取得する。
【０００７】
画像生成手段は、画像取得手段により取得した周辺画像を元画像として、車両周辺領域のうちの死角領域と隣接領域との領域境界を可視化させた境界可視化画像を生成する。画像表示手段は、画像生成手段により生成した境界可視化画像を、車両の室内に設けられた表示装置に表示する。
【０００８】
このような構成によれば、表示画像において領域境界が可視化されることにより、死角領域に対応する画像部分を運転者に直感的に知らしめることが可能となり、さらに死角領域と車両周辺領域（あるいは隣接領域）との対応関係を、表示装置の形状や配置等にかかわらず運転者に瞬時に理解させることが可能となる。従って、本発明によれば、車両設計を複雑化させることなく、死角領域の映像等をわかりやすく運転者に提示することができる。
【０００９】
また、本発明の一局面である死角表示方法によれば、上記同様の理由により、本発明の一局面である死角表示装置において既に述べた効果と同様の効果を得ることができる。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
【図面の簡単な説明】
【００１０】
【図１】死角表示装置１の全体構成を示すブロック図である。
【図２】死角表示装置１を搭載した車両の上面図である。
【図３】死角表示装置１を搭載した車両の室内の様子を示した図である。
【図４】ＥＣＵ２の機能的構成を示すブロック図である。
【図５】画像生成処理のフローチャートである。
【図６】図６Ａは輪郭線重畳画像を含む境界可視化画像を示す図、図６Ｂは透過重畳画像を含む境界可視化画像を示す図である。
【図７】第２実施形態における画像生成処理のフローチャートである。
【図８】マスク重畳画像を含む境界可視化画像を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明が適用された実施形態について、図面を用いて説明する。
［１．第１実施形態］
［１−１．構成］
［１−１−１．全体構成］
図１に示す死角表示装置１は、ＥＣＵ（Electronic Control Unit）２と、右カメラ３と、左カメラ４と、明るさ検出部５と、右ディスプレイ６と、左ディスプレイ７と、ドライバカメラ８と、ボデー形状ＤＢ（Data Base）９と、を備える。
【００１２】
右カメラ３及び左カメラ４は、図２に示す左右のフロントピラー３１，３２の死角領域を含む車両周辺領域を撮像する機能を有するものである。死角領域とは、左右のフロントピラー３１，３２を含む車両フレームで運転者の視界が遮られることにより生じる車両外の領域のことである。右カメラ３及び左カメラ４は、ＣＭＯＳカメラ等によって各々構成されており、撮像画角Ｆの範囲内における領域（すなわち、車両周辺領域）を撮像し、撮像した画像（以下「周辺画像」という）をＥＣＵ２へ出力する。なお、以下では、車両周辺領域のうち、死角領域以外の他の領域を隣接領域、死角領域と隣接領域との境界を領域境界と称する。
【００１３】
図１に戻り、ＥＣＵ２は、装置全体の制御を行う電子制御ユニットである。ＥＣＵ２は、ＣＰＵ１０を主体として構成され、ＲＯＭやＲＡＭやフラッシュメモリ等のメモリ１１、入力信号回路、出力信号回路、電源回路等を備えている。ＥＣＵ２では、ＣＰＵ１０がメモリ１１に記憶されたプログラムに基づいて、右カメラ３及び左カメラ４から周辺画像をそれぞれ取得し、取得した各周辺画像についてそれぞれ元画像として、車両周辺領域のうちの死角領域と隣接領域との領域境界を可視化させた境界可視化画像をそれぞれ生成する等の各種処理を実施する。
【００１４】
右ディスプレイ６及び左ディスプレイ７は、ＥＣＵ２により生成された境界可視化画像をそれぞれ表示する機能を有している。例えば、右ディスプレイ６は、図３に示すように、車両の室内において右フロントピラー３１の付近に設けられた液晶ディスプレイ等により構成されており、右カメラ３の周辺画像を元画像とした境界可視化画像を表示する。同様に、左ディスプレイ７は、車両の室内において左フロントピラー３２の付近に設けられた液晶ディスプレイ等により構成されており、左カメラ４の周辺画像を元画像とした境界可視化画像を表示する。
【００１５】
明るさ検出部５は、車両外の明るさを検出する照度センサ等により構成されており、その検出結果をＥＣＵ２へ出力する。
ドライバカメラ８は、運転者の目を含む顔領域を撮像するように車室内に配置されている。ドライバカメラ８は、周知の視線検出技術を利用して、撮像画像内における運転者の目のうち、例えば目頭や角膜反射等を基準点、虹彩や瞳孔等を動点として各々３次元位置を検出し、基準点に対する動点の位置に基づいて運転者の視線を検出する。基本的には、例えば左目の虹彩が目頭から離れていれば、運転者は左側を見ており、左目の目頭と虹彩が近ければ、運転者は右側を見ていることになる。このような基本原理を応用することにより、基準点に対する動点の３次元相対位置から、運転者の視線方向を３次元空間で求めることができる。ドライバカメラ８は、こうして検出した運転者の目の位置と視線方向とを示す情報（以下「ドライバカメラ情報」という）をＥＣＵ２へ出力する。
【００１６】
ボデー形状ＤＢ９は、車両のボデーを構成するフロントピラー等のフレームの各パーツに関する３次元位置を示すボデー形状データを格納している。なお、ボデー形状ＤＢ９は、メモリ１１内に構築されていてもよい。
【００１７】
［１−１−２．機能的構成］
次に、ＥＣＵ２の機能的構成について、図４のブロック図を用いて説明する。
ＥＣＵ２は、画像取得部２１と、画像生成部２２と、画像表示部２３と、を機能的に備えている。なお、画像取得部２１、画像生成部２２及び画像表示部２３としての各機能を実現するための処理は、メモリ１１に記憶されたプログラムに基づき、ＣＰＵ１０によって実行される。
【００１８】
画像取得部２１は、右カメラ３及び左カメラ４のそれぞれから周辺画像を時系列に沿って取得し、取得した周辺画像を画像生成部２２に供給する。
画像生成部２２は、右カメラ３及び左カメラ４のそれぞれについて、画像取得部２１から供給された周辺画像を元画像として、境界可視化画像を生成する処理（以下「画像生成処理」という）を実行し、生成した境界可視化画像のそれぞれを時系列に沿って画像表示部２３に供給する。
【００１９】
画像表示部２３は、右カメラ３及び左カメラ４のそれぞれについて画像生成部２２から時系列に沿って供給された境界可視化画像を映像として、右ディスプレイ６及び左ディスプレイ７に各々表示する。具体的には、右カメラ３に対応する境界可視化映像を右ディスプレイ６に表示し、左カメラ４に対応する境界可視化映像を左ディスプレイ７に表示する。
【００２０】
［１−２．画像生成処理］
次に、画像生成部２２が実行する画像生成処理について、図５のフローチャートを用いて説明する。なお、本処理は、例えば死角表示機能に関する起動や停止の操作内容を入力するスイッチ（不図示）がオンである間、所定サイクル毎に繰り返し起動される。また、本処理では、煩雑さを避けるため、右カメラ３と左カメラ４、及び右ディスプレイ６と左ディスプレイ７を特に区別することなく、処理対象を画像取得部２１から供給された周辺画像として説明する。
【００２１】
本処理が起動すると、画像生成部２２は、まず、ステップ（以下単に「Ｓ」と記す）１１０において、ドライバカメラ８からドライバカメラ情報を取得する。
続いて、Ｓ１２０では、ボデー形状ＤＢ９からボデー形状データを読み出す。
【００２２】
次に、Ｓ１３０では、運転者の目の位置とフロントピラーの位置との位置関係に基づき、運転者が車両周辺領域を見たときの死角領域を周辺画像上において設定する。なお、運転者の目の位置についてはドライバカメラ情報から読み出し、フロントピラーの位置についてはボデー形状データから抽出する。具体的には、カメラ３，４のカメラパラメータを用いて、運転者の目の位置からフロントピラーの位置までのベクトルに対応する死角領域を、ワールド座標からカメラ画像に変換する。このとき、運転者の視線方向に基づいてベクトルを補正することもできる。
【００２３】
続いて、Ｓ１４０では、周辺画像上において領域境界に対応する輪郭線画像を重畳させることにより、図６Ａに示す輪郭線重畳画像を生成する。この輪郭線画像としては、周辺画像の領域境界を透過させるものが好ましく、色相、明度、彩度、輝度等の画像属性が予めデフォルト値に設定されたものが用いられる。
【００２４】
次に、Ｓ１５０では、周辺画像上において死角領域に対応する透過画像を重畳させることにより、図６Ｂに示す透過重畳画像を生成する。具体的には、周辺画像の死角領域部分に周知のフィルタ処理を施すことにより、透過重畳画像を生成する。この透過画像としては、フロントピラーを含むフレーム部分を運転者に想起させるように、車両ボデーの色や半透明のアクリルを模擬した色を有するものが好ましく、周辺画像の死角領域部分を透過させるためのデフォルト値に画像属性を予め設定したものが用いられる。
【００２５】
続いて、Ｓ１６０では、輪郭線重畳画像及び透過重畳画像の画像属性を変更する属性変更処理を実施し、属性変更処理を施した輪郭線重畳画像及び透過重畳画像を含む周辺画像（つまり、境界可視化画像）を画像表示部２３に供給し、本処理を終了する。
【００２６】
例えば、属性変更処理では、車両周辺領域の明るさに応じて、輪郭線重畳画像及び透過重畳画像のそれぞれに関する明度及び／又は輝度を変更する。具体的には、明るさ検出部５の検出結果に基づき、車両周辺領域の照度が低い場合には、輪郭線重畳画像及び透過重畳画像のそれぞれに関する明度及び／又は輝度を高くし、車両周辺領域の照度が高い場合には、輪郭線重畳画像及び透過重畳画像のそれぞれに関する明度及び／又は輝度を低くする。
【００２７】
また例えば、属性変更処理では、周辺画像に対してコントラストが高くなるように輪郭線重畳画像及び透過重畳画像のそれぞれに関する画像属性を変更する。具体的には、画像取得部２１から供給された周辺画像に関する色相、明度、彩度及び／又は輝度が低い場合には、輪郭線重畳画像及び透過重畳画像のそれぞれに関する色相、明度、彩度及び／又は輝度を高くする。また、画像取得部２１から供給された周辺画像に関する色相、明度、彩度及び／又は輝度が高い場合には、輪郭線重畳画像及び透過重畳画像のそれぞれに関する色相、明度、彩度及び／又は輝度を低くする。
【００２８】
［１−３．効果］
以上詳述した第１実施形態によれば、以下の効果が得られる。
（１ａ）表示画像において領域境界が可視化されることにより、死角領域に対応する画像部分を運転者に直感的に知らしめることが可能となり、さらに死角領域と車両周辺領域（あるいは隣接領域）との対応関係を、ディスプレイ６，７の形状や配置等にかかわらず運転者に瞬時に理解させることが可能となる。従って、車両設計を複雑化させることなく、死角領域を映像でわかりやすく運転者に提示することができる。
【００２９】
（２ａ）運転者の目の位置とフロントピラーの位置との位置関係に基づき、運転者が車両周辺領域を見たときの死角領域を周辺画像上において設定するため、表示画像において例えば領域境界を表す輪郭線を運転者の目の位置に合わせて移動させることが可能となり、死角領域を映像でより直観的にわかりやすく運転者に提示することができる。
【００３０】
（３ａ）周辺画像上において領域境界に対応する輪郭線画像を重畳させることにより、表示画像において領域境界を明確に運転者に知らしめることができる。
（４ａ）周辺画像上において死角領域に対応する透過画像を重畳させることにより、表示画像において死角領域をより直観的にわかりやすく運転者に提示することができる。
【００３１】
（５ａ）輪郭線重畳画像及び透過重畳画像の画像属性を変更することにより、例えば車両周辺領域の明るさや周辺画像に対してコントラストが高くなるように画像属性を再設定することで、表示画像において視認性を向上させることができる。
【００３２】
［２．第２実施形態］
［２−１．第１実施形態との相違点］
第２実施形態は、基本的な構成は第１実施形態と同様であるため、共通する構成については説明を省略し、相違点を中心に説明する。
【００３３】
前述した第１実施形態では、境界可視化画像を生成する際に、周辺画像上において死角領域に対応する透過画像を重畳させていた。これに対し、第２実施形態では、境界可視化画像を生成する際に、周辺画像上において隣接領域に対応するマスク画像を重畳させる点で、第１実施形態と相違する。
【００３４】
［２−２．画像生成処理］
次に、第２実施形態の画像生成部２２が、第１実施形態の画像生成処理（図５）に代えて実行する画像生成処理について、図７のフローチャートを用いて説明する。なお、図７におけるＳ２１０〜Ｓ２４０の処理は、図５におけるＳ１１０〜Ｓ１４０の処理と同様であるため、説明を一部簡略化している。
【００３５】
本処理が起動すると、画像生成部２２は、まず、Ｓ２１０において、ドライバカメラ８からドライバカメラ情報を取得する。
続いて、Ｓ２２０では、ボデー形状ＤＢ９からボデー形状データを読み出す。
【００３６】
次に、Ｓ２３０では、運転者の目の位置とフロントピラーの位置との位置関係に基づき、運転者が車両周辺領域を見たときの死角領域を周辺画像上において設定する。
続いて、Ｓ２４０では、周辺画像上において領域境界に対応する輪郭線画像を重畳させることにより、図６Ａに示す輪郭線重畳画像を生成する。
【００３７】
次に、Ｓ２５０では、周辺画像上において隣接領域に対応するマスク画像を重畳させることにより、図８に示すマスク重畳画像を生成する。具体的には、周辺画像の隣接領域部分に周知のフィルタ処理を施すことにより、マスク重畳画像を生成する。このマスク画像としては、車両周辺領域のうち死角領域以外の部分であること、若しくは運転者が直接視認可能な領域であることを運転者に想起させるように、周辺画像の隣接領域部分を目立たなくするためのデフォルト値に画像属性を予め設定したものが用いられる。
【００３８】
続いて、Ｓ２６０では、輪郭線重畳画像及びマスク重畳画像の画像属性を変更する属性変更処理を実施し、属性変更処理を施した輪郭線重畳画像及びマスク重畳画像を含む周辺画像（つまり、境界可視化画像）を画像表示部２３に供給し、本処理を終了する。
【００３９】
例えば、属性変更処理では、車両周辺領域の明るさに応じて、輪郭線重畳画像及びマスク重畳画像のそれぞれに関する明度及び／又は輝度を変更する。具体的には、明るさ検出部５の検出結果に基づき、車両周辺領域の照度が低い場合には、輪郭線重畳画像及びマスク重畳画像のそれぞれに関する明度及び／又は輝度を高くし、車両周辺領域の照度が高い場合には、輪郭線重畳画像及びマスク重畳画像のそれぞれに関する明度及び／又は輝度を低くする。
【００４０】
また例えば、属性変更処理では、周辺画像に対してコントラストが高くなるように輪郭線重畳画像及びマスク重畳画像のそれぞれに関する画像属性を変更する。具体的には、画像取得部２１から供給された周辺画像に関する色相、明度、彩度及び／又は輝度が低い場合には、輪郭線重畳画像及びマスク重畳画像のそれぞれに関する色相、明度、彩度及び／又は輝度を高くする。また、画像取得部２１から供給された周辺画像に関する色相、明度、彩度及び／又は輝度が高い場合には、輪郭線重畳画像及びマスク重畳画像のそれぞれに関する色相、明度、彩度及び／又は輝度を低くする。
【００４１】
［２−３．効果］
以上詳述した第２実施形態によれば、前述した第１実施形態の効果（１ａ）−（３ａ）に加え、以下の効果が得られる。
【００４２】
（１ｂ）周辺画像上において隣接領域に対応するマスク画像を重畳させることにより、表示画像において死角領域をより直観的にわかりやすく運転者に提示することができる。
（２ｂ）輪郭線重畳画像及びマスク重畳画像の画像属性を変更することにより、例えば車両周辺領域の明るさや周辺画像に対してコントラストが高くなるように画像属性を再設定することで、表示画像において視認性を向上させることができる。
【００４３】
［３．他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されることなく、種々の形態を採り得る。
【００４４】
（３Ａ）上記実施形態では、輪郭線重畳画像及び透明重畳画像、あるいは輪郭線重畳画像及びマスク重畳画像の画像属性を変更していたが、これに限定されるものではない。例えば、輪郭線重畳画像、透明重畳画像及びマスク重畳画像の少なくとも一つの画像属性を変更してもよい。
【００４５】
（３Ｂ）上記実施形態では、左右のフロントピラー３１，３２の死角領域と隣接領域との領域境界を可視化させた境界可視化画像を生成していたが、これに限定されるものではない。例えば、センターピラーやリアピラー等の他のピラーの死角領域について同様に境界可視化画像を生成してもよい。
【００４６】
（３Ｃ）上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてもよい。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
【００４７】
（３Ｄ）上述した死角表示装置１の他、当該死角表示装置１を構成要素とするシステム、当該死角表示装置１としてコンピュータを機能させるための１ないし複数のプログラム、このプログラムの少なくとも一部を記録した１ないし複数の媒体、死角表示方法等、種々の形態で本発明を実現することもできる。
【符号の説明】
【００４８】
１…死角表示装置、２…ＥＣＵ、３…右カメラ、４…左カメラ、５…明るさ検出部、６…右ディスプレイ、７…左ディスプレイ、８…ドライバカメラ、９…ボデー形状ＤＢ、１０…ＣＰＵ、１１…メモリ、２１…画像取得部、２２…画像生成部、２３…画像表示部、３１…右フロントピラー、３２…左フロントピラー、Ｆ…撮像画角。
【図１】
2016215725.tif 000003
【図２】
2016215725.tif 000004
【図３】
2016215725.tif 000005
【図４】
2016215725.tif 000006
【図５】
2016215725.tif 000007
【図６】
2016215725.tif 000008
【図７】
2016215725.tif 000009
【図８】
2016215725.tif 000010