(57)【要約】【課題】運転者による道路標識や信号機などの認識対象物の視認を容易にすることができる画像表示装置を提供する【解決手段】本発明は、車両のフロントガラスＦに画像を表示する画像表示装置１であって、車両の前方の画像を撮像する画像撮像部４と、車両の前方で運転者が認識すべき認識対象物を検出する認識対象検出部１１と、認識対象検出部１１の検出した認識対象物と画像撮像部４の撮像した画像とに基づいて、運転者から見た認識対象物の背景色を検出する背景色検出部１２と、運転者の色覚特性情報に応じて、運転者から見た認識対象物の色彩を調整する色調整画像をフロントガラスＦに重畳表示する色調整画像表示部１３と、を備える。【選択図】図１
2012121527.tif 000002
【特許請求の範囲】
【請求項１】
車両のフロントガラスに画像を表示する画像表示装置であって、
前記車両の前方の画像を撮像する画像撮像手段と、
前記車両の前方で前記運転者が認識すべき認識対象物を検出する認識対象検出手段と、
前記認識対象検出手段の検出した前記認識対象物と前記画像撮像手段の撮像した前記画像とに基づいて、前記運転者から見た前記認識対象物の背景色を検出する背景色検出手段と、
前記運転者の色覚特性情報と前記背景色検出手段の検出した前記背景色とに基づいて、前記運転者から見た前記認識対象物の色彩を調整する色調整画像を前記フロントガラスに重畳表示する色調整画像表示手段と、
を備えることを特徴とする画像表示装置。
【請求項２】
前記色調整画像表示手段は、前記運転者から見た前記背景色の色彩を調整する背景色調整画像を前記フロントガラスに重畳表示することを特徴とする請求項１に記載の画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両のフロントガラスに画像を表示する画像表示装置に関する。
【背景技術】
【０００２】
従来、運転者による視認を容易にするための技術として、例えば特許文献１に記載のインジケータ装置が知られている。このインジケータ装置では、色覚が正常色覚の範囲と異なる色覚特性者が運転者の場合であっても、運転者の色覚に応じた視認しやすい色でインジケータパネルの表示部を発光させることで、運転者によるインジケータ表示の視認を容易にすることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４―３２６５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、色覚が正常色覚の範囲と異なる色覚特性者の運転者が場合には、インジケータよりも信号機や道路標識の視認しにくさが運転時における大きな障害となっている。このような運転者の負担軽減を図るため、信号機や道路標識などの視認を容易にする技術が強く求められていた。
【０００５】
そこで、本発明は、運転者による道路標識や信号機などの認識対象物の視認を容易にすることができる画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明は、車両のフロントガラスに画像を表示する画像表示装置であって、車両の前方の画像を撮像する画像撮像手段と、車両の前方で運転者が認識すべき認識対象物を検出する認識対象検出手段と、認識対象検出手段の検出した認識対象物と画像撮像手段の撮像した画像とに基づいて、運転者から見た認識対象物の背景色を検出する背景色検出手段と、運転者の色覚特性情報に応じて、運転者から見た認識対象物の色彩を調整する色調整画像をフロントガラスに重畳表示する色調整画像表示手段と、を備えることを特徴とする。
【０００７】
本発明に係る画像表示装置によれば、信号機や道路標識などの認識対象物の視認しにくさは、運転者の色覚と車両の走行に伴って変化する認識対象物の背景色の影響が大きいことから、認識対象物が検出された場合に運転者の色覚特性情報と認識対象物の背景色とに基づいて認識対象物の色彩を調整する色調整画像を車両のフロントガラスに重畳表示することで、運転者による道路標識や信号機などの認識対象物の視認を容易にすることができる。
【０００８】
本発明に係る画像表示装置においては、色調整画像表示手段は、運転者から見た認識対象物の背景色の色彩を調整する背景色調整画像をフロントガラスに重畳表示することが好ましい。
本発明に係る画像表示装置によれば、認識対象物と背景との区別が明確になるように背景色を調整する背景色調整画像をフロントガラスに重畳表示することで、運転者による認識対象物の視認を一層容易にすることができる。
【発明の効果】
【０００９】
本発明によれば、運転者による道路標識や信号機などの認識対象物の視認を容易にすることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る画像表示装置の一実施形態を示すブロック図である。
【図２】（ａ）色調整画像を表示しない場合に運転者から見たフロントガラス越しの景色を示す図である。（ｂ）色調整画像を表示した場合に運転者から見たフロントガラス越しの景色を示す図である。
【図３】画像表示装置による色覚特性検査を説明するための図である。
【図４】画像表示装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。
【００１２】
図１及び図２に示されるように、本実施形態に係る画像表示装置１は、車両前方の信号機Ｌや道路標識Ｍの色彩（明度や彩度、色相）を調整する色調整画像を車両のフロントガラスＦに重畳表示することで、運転者による信号機Ｌや道路標識Ｍの視認を容易にするものである。画像表示装置１は、色調整画像をフロントガラスＦに重畳表示することで、色彩調整された車両前方の景色のＡＲ［Augmented  Reality］表示を実現する。
【００１３】
ここで、図２（ａ）は、色調整画像を表示しない場合に運転者から見たフロントガラスＦ越しの景色を示す図である。図２（ｂ）は、色調整画像を表示した場合に運転者から見たフロントガラスＦ越しの景色を示す図である。
【００１４】
画像表示装置１は、図２（ａ）の景色に対して色調整画像を重畳表示することで、図２（ｂ）に示すように信号機Ｌや道路標識Ｍなどの運転者が認識すべき認識対象物を視認しやすくする。また、画像表示装置１は、運転者から見た認識対象物の背景色を調整する背景色調整画像の重畳表示を行うことで、認識対象物と背景との区別を明確にして、認識対象物を更に視認しやすくする。
【００１５】
画像表示装置１は、運転者の色覚特性情報に応じた色調整画像及び背景色調整画像を生成する。色覚特性情報とは、色覚が正常色覚の範囲と異なる色覚特性者であるか否かの情報、色覚が正常色覚の範囲と異なる色覚特性者である場合の色覚特性分類の情報などである。
【００１６】
画像表示装置１は、車両の走行により瞬間的に変化する認識対象物及び背景に対応する色調整画像及び背景色調整画像を生成する。画像表示装置１は、生成した色調整画像及び背景色調整画像を車両のフロントガラスＦに重畳表示する。画像表示装置１は、瞬間的に変化する認識対象物の色彩及び背景色に対応した色調整画像及び背景色調整画像をフロントガラスＦに重畳表示することで、動的に色彩調整された車両前方の景色のＡＲ表示を実現する。
【００１７】
以下、本実施形態に係る画像表示装置１の構成について説明する。
【００１８】
図１に示されるように、画像表示装置１は、装置１を統括的に制御するＥＣＵ［Electronic  Control  Unit］２を備えている。ＥＣＵ２は、ＣＰＵ[Central  Processing  Unit]、ＲＯＭ[Read  Only  Memory]、ＲＡＭ[Random  Access  Memory]などからなる電子制御ユニットである。ＥＣＵ２では、ＲＯＭに記憶されているアプリケーションプログラムをＲＡＭにロードし、ＣＰＵで実行することで、画像生成などの演算処理を実行する。
【００１９】
ＥＣＵ２は、運転者認証部３、画像撮像部４、ＨＭＩ［Human  Machine  Interface］６、及びＨＵＤ［Head  Up  Display］７と接続されている。
【００２０】
運転者認証部３は、車両の運転者の個人認証を行う装置である。運転者認証部３は、例えば運転者の撮像画像や音声、指紋などから運転者の個人認証を行う。運転者認証部３は、運転者に対応する認証信号をＥＣＵ２に送信する。
【００２１】
画像撮像部４は、車両前方を撮像するステレオカメラを有している。画像撮像部４は、ステレオカメラにより立体認識可能に撮像した車両前方の画像を画像信号としてＥＣＵ２に送信する。
【００２２】
ＨＭＩ５は、装置１と運転者との間で情報の入力及び出力を行うためのインターフェイスである。ＨＭＩ５は、運転者に画像情報を表示するディスプレイパネル、運転者が入力操作を行うための操作ボタンやタッチパネルなどを備えている。
【００２３】
また、ＨＭＩ５は、運転者に対する色覚特性検査に利用される。色覚特性検査では、色覚が正常色覚の範囲と異なる色覚特性者であるか否か、色覚が正常色覚の範囲と異なる色覚特性者である場合にどの分類の色覚異常に該当するかを検査する。
【００２４】
ここで、図３は画像表示装置１の行う色覚特性検査を説明するための図である。図３のＡは、ＨＭＩ５のディスプレイパネルＤに表示される石原式色覚特性検査表のテストパターンを示している。テストパターンＡを構成する一つ一つの粒子には色が付けられており、所定色の粒子で描かれた数字や仮名がテストパターンＡ内に紛れている。図３のＴはＨＭＩ５のタッチパネルを示しており、タッチパネルＴにはテストパターンＡに紛れた数字を運転者に入力させるための数字キーが表示されている。
【００２５】
運転者の色覚特性検査は、図３に示すテストパターンＡに紛れた数字や仮名を運転者に視認させ、タッチパネルＴに入力させることにより行われる。色覚特性検査の結果は、ＨＭＩ５のディスプレイパネルＤに表示される。なお、色覚特性検査は上述した検査方法に限られない。
【００２６】
ＨＵＤ６は、車両のフロントガラスＦに画像を表示する装置である。ＨＵＤ６は、ＥＣＵ２からの出力信号に応じた画像を生成してフロントガラスＦに表示する。ＨＵＤ６の表示する画像の明度や彩度は、運転者がＨＭＩ５を操作することで自在に調整することができる。また、ＨＵＤ６は、天候などに応じて画像の明度や彩度、色相の最適化を行う。
【００２７】
ＥＣＵ２は、色覚特性情報取得部１０、認識対象検出部１１、背景色検出部１２、及び色調整画像表示部１３を有している。
【００２８】
色覚特性情報取得部１０は、運転者の色覚特性情報を取得する。色覚特性情報取得部１０は、過去に登録された運転者の色覚特性情報を記憶した色覚特性データベースを有している。色覚特性情報取得部１０は、運転者認証部３の認証信号に基づいて、運転者の色覚特性情報が色覚特性データベースに未登録であるか否かを判定する。色覚特性情報取得部１０は、運転者の色覚特性情報が色覚特性データベースに登録されていると判定した場合、色覚特性データベースから運転者の色覚特性情報を取得する。
【００２９】
また、色覚特性情報取得部１０は、運転者の色覚特性情報が色覚特性データベースに未登録であると判定した場合、運転者に対する色覚特性検査を実施する。色覚特性情報取得部１０は、運転者にテストパターンＡを視認させ、テストパターンＡに紛れた数字や仮名をタッチパネルＴに入力させることで色覚特性検査を行う。色覚特性情報取得部１０は、色覚特性検査の検査結果に基づいて運転者の色覚特性情報を取得する。
【００３０】
色覚特性情報取得部１０は、取得した運転者の色覚特性情報に基づいて、色調整画像の重畳表示が必要であるか否かを判定する。色覚特性情報取得部１０は、色覚が正常色覚の範囲と異なる色覚特性者が運転者である場合、色調整画像の重畳表示が必要であると判定する。
【００３１】
認識対象検出部１１は、色覚特性情報取得部１０が色調整画像の重畳表示が必要であると判定した場合、車両前方で運転者が認識すべき認識対象物を検出する。認識対象検出部１１は、画像撮像部４の画像信号に基づいて、信号機、道路標識、道路標示などの認識対象物を検出する。
【００３２】
認識対象検出部１１による車両前方の画像からの認識対象物の検出は、周知の画像処理技術を利用して行われる。認識対象検出部１１は、信号機や道路標識など認識対象物の分類、及び認識対象物の色彩を検出する。
【００３３】
背景色検出部１２は、画像撮像部４の画像信号に基づいて、運転者から見た認識対象物の背景色を検出する。背景色検出部１２は、フロントガラスＦに映る認識対象物以外全ての背景色を検出する。なお、背景色検出部１２は、認識対象物を中心とした所定範囲の背景色のみを検出する態様であっても良い。
【００３４】
色調整画像表示部１３は、画像撮像部４の画像信号と色覚特性情報取得部１０の取得した運転者の色覚特性情報とに基づいて、認識対象検出部１１の検出した認識対象物の色彩を調整する色調整画像を生成する。また、色調整画像表示部１３は、画像撮像部４の画像信号と色覚特性情報取得部１０の取得した運転者の色覚特性情報とに基づいて、背景色検出部１２の検出した背景色を調整する背景色調整画像を生成する。
【００３５】
色調整画像表示部１３は、認識対象物が運転者に視認容易となるように、色調整画像及び背景色調整画像を生成する。色調整画像表示部１３は、生成した色調整画像及び背景色調整画像に応じた出力信号をＨＵＤ６に送信することで、フロントガラスＦに対する色調整画像及び背景色調整画像の重畳表示を行う。
【００３６】
次に、上述した画像表示装置１の動作について説明する。
【００３７】
図４に示されるように、画像表示装置１では、まず運転者認証部３が車両の運転者の個人認証をする運転者認証処理を行う（Ｓ１）。運転者認証部３が運転者を認証した場合、色覚特性情報取得部１０は、運転者認証部３の認証信号に基づいて、運転者の色覚特性情報が色覚特性データベースに未登録であるか否かを判定する（Ｓ２）。色覚特性情報取得部１０は、運転者の色覚特性情報が色覚特性データベースに登録済みであると判定した場合、ステップＳ４に移行する。
【００３８】
一方、色覚特性情報取得部１０は、運転者の色覚特性情報が色覚特性データベースに未登録であると判定した場合、色覚特性情報の取得処理を行う（Ｓ３）。色覚特性情報の取得処理では、運転者に対する色覚特性検査の実施や運転者による情報入力により、色覚特性情報を取得する。
【００３９】
ステップＳ４において、色覚特性情報取得部１０は、運転者の色覚特性情報に基づいて色調整画像の重畳表示が必要であるか否かを判定する。色覚特性情報取得部１０は、色調整画像の重畳表示が必要ではないと判定した場合、動作を終了する。画像表示装置１は、色覚特性情報取得部１０が運転者の色覚特性情報に基づいて色調整画像の重畳表示が必要であると判定した場合、色調整画像表示制御を行う（Ｓ５）。
【００４０】
ステップＳ５の色調整画像表示制御では、認識対象検出部１１が車両前方の認識対象物を検出すると共に、背景色検出部１２が運転者から見た認識対象物の背景色を検出する。色調整画像表示部１３は、画像撮像部４の画像信号と運転者の色覚特性情報とに基づいて、認識対象物の色彩を調整する色調整画像と背景色を調整する背景色調整画像とを生成する。
【００４１】
色調整画像表示部１３は、生成した色調整画像及び背景色調整画像に応じた出力信号をＨＵＤ６に送信することで、フロントガラスＦに対する色調整画像及び背景色調整画像の重畳表示を行う。画像表示装置１は、車両の運転が終了するまで色調整画像表示制御を行う。
【００４２】
以上説明した画像表示装置１によれば、信号機や道路標識などの認識対象物の視認しにくさは、運転者の色覚と車両の走行に伴って変化する認識対象物の背景色の影響が大きいことから、認識対象物が検出された場合に運転者の色覚特性情報と認識対象物の背景色とに基づいて認識対象物の色彩を調整する色調整画像を車両のフロントガラスＦに重畳表示することで、運転者による認識対象物の視認を容易にすることができる。従って、この画像表示装置１によれば、運転車が色覚特性者である場合であっても、運転者の色覚特性情報に基づいて認識対象物の色彩を調整することで、運転者の大幅な負担軽減を図ることができる。
【００４３】
また、この画像表示装置１では、認識対象物と背景との区別が明確になるように、認識対象物の背景色を調整する背景色調整画像をフロントガラスＦに重畳表示することで、運転者による認識対象物の視認を一層容易にすることができる。従って、この画像表示装置１によれば、フロントガラスＦに映る外界全てに対してＡＲ表示で色やコントラストを調整することができ、全体として運転者に最も見やすくなるような色彩調整を行うことができる。
【００４４】
本発明は、上述した実施形態に限定されるものではない。例えば、認識対象物の背景色を調整する背景色調整画像は必ずしも重畳表示する必要はない。また、信号機や道路標識などの認識対象物に対して、色彩の調整の他、枠で囲むなどの強調表示を行っても良い。
【００４５】
更に、信号機や道路標識などの認識対象物の検出は、画像処理による検出の他、レーザセンサなどを組み合わせて検出する態様であっても良い。また、地図情報に含まれる信号機の位置情報などを利用して認識対象物を検出する態様であっても良い。
【符号の説明】
【００４６】
１…画像表示装置  ２…ＥＣＵ  ３…運転者認証部  ４…画像撮像部  １０…色覚特性情報取得部  １１…認識対象検出部  １２…背景色検出部  １３…色調整画像表示部  Ａ…テストパターン  Ｄ…ディスプレイパネル  Ｆ…フロントガラス  Ｌ…信号機  Ｍ…道路標識  Ｔ…タッチパネル
【図１】
2012121527.tif 000003
【図２】
2012121527.tif 000004
【図４】
2012121527.tif 000005
【図３】
2012121527.tif 000006