(57)【要約】【課題】赤外線カメラおよび可視カメラの撮像により得られた各画像から適切な画像を生成する。【解決手段】表示装置１０を、可視画像を撮像する可視外界センサ１１と、可視外界センサ１１にて撮像する領域の少なくとも一部を含む領域の赤外画像を撮像する赤外外界センサ１２と、消失点検知部２１から出力される可視画像上の消失点、あるいは、道路領域抽出部２２から出力される可視画像上の道路領域、あるいは、入力装置１５を介して操作者から入力される入力指示に応じて、赤外画像に重畳させる可視画像中の重畳領域を設定する重畳領域設定部２３と、可視画像上の重畳領域と、赤外画像とを重畳させる重畳画像生成部２４とを備えて構成した。【選択図】図１
2008230358.tif 000002
【特許請求の範囲】
【請求項１】
可視画像を撮像する可視撮像手段と、
前記可視撮像手段にて撮像する領域の少なくとも一部を含む領域の赤外画像を撮像する赤外撮像手段と、
前記可視撮像手段によって撮像された可視画像と前記赤外撮像手段によって撮像された赤外画像とを重畳させる重畳手段と、
前記重畳手段にて重畳させた画像を表示する表示手段と、
前記重畳手段にて前記赤外画像に重畳させる前記可視画像中の設定領域を設定する領域設定手段とを備え、
前記重畳手段は、前記領域設定手段にて設定された前記設定領域と、前記赤外画像とを重畳させることを特徴とする表示装置。
【請求項２】
前記領域設定手段は、前記可視画像中の道路領域を抽出する道路領域抽出手段を備え、
前記重畳手段は、前記道路領域抽出手段にて抽出された前記道路領域と、前記赤外画像とを重畳させることを特徴とする請求項１に記載の表示装置。
【請求項３】
前記領域設定手段は、操作者の入力操作に応じて前記可視画像中の前記設定領域を設定する操作者設定手段を備え、
前記重畳手段は、前記操作者設定手段にて設定された前記設定領域と、前記赤外画像とを重畳させることを特徴とする請求項１に記載の表示装置。
【請求項４】
前記重畳手段は、前記領域設定手段にて設定された前記設定領域と、前記設定領域以外の領域との境界においてグラデーション処理をして、前記設定領域と前記赤外画像とを重畳させることを特徴とする請求項１から請求項３の何れか１つに記載の表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、表示装置に関する。
【背景技術】
【０００２】
従来、例えば車両のヘッドライト等の光源の照射領域を可視カメラおよび赤外カメラにより撮影し、各カメラの撮影により得られた可視画像および赤外画像を重畳して表示する視覚装置が知られている（例えば、特許文献１参照）。
【特許文献１】特開平０９−３７１４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、上記従来技術に係る視覚装置においては、例えば夜間等の歩行者を赤外カメラにより撮像し、更に歩行者周辺の走行区分線等を可視カメラにより撮像し、可視画像および赤外画像を重畳して得た重畳画像から歩行者の位置を検出することが可能である。しかしながら、単に、可視画像および赤外画像を重畳して表示するだけでは、重畳画像中の不必要な情報によって歩行者の検出が困難となる虞がある。
本発明は上記事情に鑑みてなされたもので、赤外線カメラおよび可視カメラの撮像により得られた各画像から適切な画像を生成することが可能な表示装置を提供することを目的としている。
【課題を解決するための手段】
【０００４】
上記課題を解決して係る目的を達成するために、可視画像を撮像する可視撮像手段（例えば、実施の形態での可視カメラ１１ａ）と、前記可視撮像手段にて撮像する領域の少なくとも一部を含む領域の赤外画像を撮像する赤外撮像手段（例えば、実施の形態で赤外カメラ１２ａ）と、前記可視撮像手段によって撮像された可視画像と前記赤外撮像手段によって撮像された赤外画像とを重畳させる重畳手段（例えば、実施の形態で重畳画像生成部２４）と、前記重畳手段にて重畳させた画像を表示する表示手段（例えば、実施の形態で表示部１４）と、前記重畳手段にて前記赤外画像に重畳させる前記可視画像中の設定領域を設定する領域設定手段（例えば、実施の形態で重畳領域設定部２３）とを備え、前記重畳手段は、前記領域設定手段にて設定された前記設定領域と、前記赤外画像とを重畳させる。
【０００５】
さらに、本発明の第２態様に係る表示装置では、前記領域設定手段は、前記可視画像中の道路領域を抽出する道路領域抽出手段（例えば、実施の形態で道路領域抽出部２２）を備え、前記重畳手段は、前記道路領域抽出手段にて抽出された前記道路領域と、前記赤外画像とを重畳させる。
【０００６】
さらに、本発明の第３態様に係る表示装置では、前記領域設定手段は、操作者の入力操作に応じて前記可視画像中の前記設定領域を設定する操作者設定手段（例えば、実施の形態で入力装置１５および重畳領域設定部２３）を備え、前記重畳手段は、前記操作者設定手段にて設定された前記設定領域と、前記赤外画像とを重畳させる。
【０００７】
さらに、本発明の第４態様に係る表示装置では、前記重畳手段は、前記領域設定手段にて設定された前記設定領域と、前記設定領域以外の領域との境界においてグラデーション処理をして、前記設定領域と前記赤外画像とを重畳させる。
【発明の効果】
【０００８】
本発明の第１態様に係る表示装置によれば、重畳手段は領域設定手段にて設定された可視画像上の設定領域と赤外画像とを重畳させることから、可視画像上において重畳に適さない不必要な情報を含む領域、例えば路面の上端よりも上方の領域や、例えば他車両のヘッドライトや街灯等の光源により輝度が過剰に高い領域等を除外して、例えば路面等の重要度が相対的に高い情報を含む領域のみを、赤外画像に重畳させることができ、重畳画像の視認性を向上させることができる。
【０００９】
さらに、本発明の第２態様に係る表示装置によれば、可視画像上から抽出した道路領域を赤外画像に重畳させることにより、例えば赤外画像上において表示される歩行者等の物体が存在する領域周辺の情報を適切に表示することができ、重畳画像の視認性を向上させることができる。
【００１０】
さらに、本発明の第３態様に係る表示装置によれば、重畳手段は操作者設定手段にて設定された可視画像上の設定領域と赤外画像とを重畳させることから、可視画像上から重畳に適さない不必要な情報を含む領域を除外して、重要度が相対的に高い情報を含む領域のみを抽出する際に、操作者の抽出意思を適切に反映させることができる。
【００１１】
さらに、本発明の第４態様に係る表示装置によれば、領域設定手段にて設定された設定領域と設定領域以外の領域との境界、つまり赤外画像に重畳される領域と重畳されない領域との境界において、例えば輝度等に対してグラデーション処理を行うことで、可視画像上において重畳に適さない不必要な情報（例えば、路面の上端よりも上方の領域や他車両のヘッドライトや街灯等）が過剰に表示されることを防止しつつ、重畳画像上に不必要な境界線が表示されることで車両の乗員が重畳画像に違和感を感じてしまうことを防止することができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の一実施形態に係る表示装置について添付図面を参照しながら説明する。
本実施の形態による表示装置１０は、例えば図１に示すように、可視外界センサ１１と、赤外外界センサ１２と、処理装置１３と、表示部１４と、入力装置１５を備えて構成されている。
さらに、処理装置１３は、例えば消失点検知部２１と、道路領域抽出部２２と、重畳領域設定部２３と、重畳画像生成部２４とを備えて構成されている。
【００１３】
可視外界センサ１１は、例えば可視光領域にて撮像可能な可視カメラ１１ａおよび画像処理部１１ｂとを備えて構成されている。
また、赤外外界センサ１２は、例えば赤外線領域にて撮像可能な赤外カメラ１２ａおよび画像処理部１２ｂとを備えて構成され、赤外カメラ１２ａは可視カメラ１１ａにて撮像する領域の少なくとも一部を含む領域を撮像する。
そして、各画像処理部１１ｂ，１２ｂは、各カメラ１１ａ，１２ａにより撮影して得た自車両の進行方向の外界の各画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる各画像のデータを生成して処理装置１３へ出力する。
【００１４】
処理装置１３の消失点検知部２１は、例えば図２（ａ）に示すように、可視外界センサ１１から出力される可視画像のデータに基づき、例えば自車両の走行路上の走行区分線等の複数の直線を検出し、これらの直線同士の交点から消失点を検知する。
道路領域抽出部２２は、例えば図３（ａ）に示すように、可視外界センサ１１から出力される可視画像のデータに基づき、例えば適宜の認識処理等により自車両の走行路の道路領域（つまり路面）を抽出する。
【００１５】
重畳領域設定部２３は、消失点検知部２１から出力される可視画像上の消失点、あるいは、道路領域抽出部２２から出力される可視画像上の道路領域、あるいは、入力装置１５を介して操作者から入力される入力指示に応じて、赤外画像に重畳させる可視画像中の重畳領域を設定する。
例えば図２（ａ），（ｂ）に示すように、重畳領域設定部２３は、消失点検知部２１から出力される可視画像上の消失点を含む直線（例えば、水平線等）を、重畳領域と、この重畳領域以外の領域との境界線（重畳境界線）として設定する。
また、例えば図３（ａ），（ｂ）に示すように、重畳領域設定部２３は、道路領域抽出部２２から出力される可視画像上の道路領域の上端を、重畳領域と、この重畳領域以外の領域との境界線（重畳境界線）として設定する。
また、例えば図４（ａ），（ｂ）に示すように、重畳領域設定部２３は、入力装置１５を介して操作者から入力される入力指示に応じた可視画像上の直線を、重畳領域と、この重畳領域以外の領域との境界線（重畳境界線）として設定する。
【００１６】
重畳画像生成部２４は、赤外外界センサ１２から出力される赤外画像と、可視外界センサ１１から出力される可視画像とを重畳して、重畳画像を生成する。
重畳画像生成部２４は、重畳画像を生成する際に、可視画像上の重畳領域のみを赤外画像に重畳するようにして、例えば図２（ｂ），図３（ｂ），図４（ｂ）に示すように、可視画像上の重畳領域以外の領域、例えば重畳境界線と可視画像の上端との間の領域の輝度をゼロとする。
さらに、重畳画像生成部２４は、グラデーション処理として、赤外画像に重畳する可視画像上の重畳領域に対して、例えば下記数式（１）に示す減衰率ｇ（ｙ）に応じた輝度を設定し、重畳領域の下端から鉛直方向上方に重畳境界線位置ｙｂへと向かうことに伴い、重畳領域の輝度がゼロに向かい低下傾向に変化するように設定する。
なお、下記数式（１）において、減衰率ｇ（ｙ）は、重畳境界線位置ｙｂと、鉛直方向座標ｙと、所定係数ａ（例えば、ａ＝０．０５）とに基づき記述されている。
【００１７】
【数１】
2008230358.tif 000003
【００１８】
そして、重畳画像生成部２４は、生成した重畳画像を、モニター等からなる表示部１４に出力する。
【００１９】
本実施の形態による表示装置１０は上記構成を備えており、次に、この表示装置１０の動作について説明する。
【００２０】
先ず、図５に示すステップＳ０１においては、自車両の進行方向前方の外界領域の可視画像および赤外画像を取得する。
次に、ステップＳ０２においては、可視画像上で重畳領域の重畳境界線を設定する。
次に、ステップＳ０３においては、可視画像上で重畳領域以外の領域の輝度をゼロに設定する。
次に、ステップＳ０４においては、可視画像上で重畳領域に対してグラデーション処理を行う。
次に、ステップＳ０５においては、赤外画像と可視画像とを重畳して重畳画像を生成し、重畳画像を表示部１４により表示し、一連の処理を終了する。
【００２１】
上述したように、本実施の形態による表示装置１０によれば、消失点検知部２１から出力される可視画像上の消失点、あるいは、道路領域抽出部２２から出力される可視画像上の道路領域、あるいは、入力装置１５を介して操作者から入力される入力指示に応じて設定した可視画像中の重畳領域と、赤外画像とを重畳させることから、可視画像上において重畳に適さない不必要な情報を含む領域、例えば他車両のヘッドライトや街灯等の光源により輝度が過剰に高い領域等を除外して、例えば路面等の重要度が相対的に高い情報を含む領域のみを、赤外画像に重畳させることができ、重畳画像の視認性を向上させることができる。
例えば図６（ａ）に示す実施例での重畳画像、つまり可視画像上の重畳境界線位置ｙｂよりも鉛直方向下方の重畳領域のみを赤外画像に重畳して得た重畳画像では、例えば図６（ｂ）に示す比較例での重畳画像のように、可視画像全体（つまり、重畳領域に加えて、重畳領域以外の非重畳領域）を赤外画像に重畳して得た重畳画像に比べて、対向車両のヘッドライトや街灯等の輝度が過剰に高い領域が除外されることから、赤外画像上において表示される歩行者等の物体に対する視認性を向上させることができる。
【００２２】
しかも、グラデーション処理によって重畳領域の輝度は徐々に変化するように設定されていることから、重畳領域と、重畳領域以外の非重畳領域との境界において、例えば重畳画像上に境界線が現れる等の違和感が生じることを防止することができる。
例えば図７（ａ）に示す実施例での重畳画像、つまり重畳領域の下端から鉛直方向上方に重畳境界線位置ｙｂへと向かうことに伴い、可視画像の輝度の減衰率がゼロから１００％に向かい増大傾向に変化（つまり、可視画像の輝度がゼロに向かい減少傾向に変化）する重畳画像では、例えば図７（ｂ）に示す比較例での重畳画像のように、重畳領域全体に亘って輝度の減衰率がゼロとなる重畳画像に比べて、可視画像上の重畳境界線位置ｙｂにおいて輝度がステップ状に変化することに起因して、重畳画像の上の重畳境界線位置ｙｂに不必要な境界線が現れることが防止される。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施の形態に係る表示装置の構成図である。
【図２】図２（ａ）は本発明の実施の形態に係る可視画像上の重畳境界線の一例を示す図であり、図２（ｂ）は本発明の実施の形態に係る可視画像の輝度と輝度の減衰率の一例を示す図である。
【図３】図３（ａ）は本発明の実施の形態に係る可視画像上の重畳境界線の一例を示す図であり、図３（ｂ）は本発明の実施の形態に係る可視画像の輝度と輝度の減衰率の一例を示す図である。
【図４】図４（ａ）は本発明の実施の形態に係る可視画像上の重畳境界線の一例を示す図であり、図４（ｂ）は本発明の実施の形態に係る可視画像の輝度と輝度の減衰率の一例を示す図である。
【図５】本発明の実施の形態に係る表示装置の動作を示すフローチャートである。
【図６】本発明の実施の形態に係る実施例および比較例での重畳画像の一例を示す図である。
【図７】本発明の実施の形態に係る実施例および比較例での重畳画像の一例を示す図である。
【符号の説明】
【００２４】
１０  表示装置
１１ａ  可視カメラ（可視撮像手段）
１２ａ  赤外カメラ（赤外撮像手段）
１４  表示部（表示手段）
１５  入力装置（操作者設定手段）
２２  道路領域抽出部（道路領域抽出手段）
２３  重畳領域設定部（領域設定手段、操作者設定手段）
２４  重畳画像生成部（重畳手段）
【図１】
2008230358.tif 000004
【図２】
2008230358.tif 000005
【図３】
2008230358.tif 000006
【図４】
2008230358.tif 000007
【図５】
2008230358.tif 000008
【図６】
2008230358.tif 000009
【図７】
2008230358.tif 000010