(57)【要約】  前景の視認性を維持しつつ情報提供する。  オブジェクト選択部２１は、前景２００の中から特定の実オブジェクト３００を選択し、表示位置調整部２２は、オブジェクト選択部２１が選択した実オブジェクト３００に隣接するまたは少なくとも一部重なるように、拡張現実画像Ｖの位置を制御し、画像処理部２３は、ユーザーに視認される拡張現実画像Ｖの一部の色が、色情報取得部３０が取得した実オブジェクト３００の色と同じあるいは近似する色になるように調整する。
2019026747.tif 000002
【特許請求の範囲】
【請求項１】
車両の前景（２００）に提示情報を含む拡張現実画像（Ｖ）を重畳して表示する車両用拡張現実画像表示装置であって、
前記拡張現実画像（Ｖ）をユーザーに視認させる画像表示部（１０）と、
前記前景（２００）の中から特定の実オブジェクト（３００）を選択するオブジェクト選択部（２１）と、
前記オブジェクト選択部（２１）が選択した前記実オブジェクト（３００）に隣接するまたは少なくとも一部重なるように、前記拡張現実画像（Ｖ）の位置を制御する表示位置調整部（２２）と、
前記実オブジェクト（３００）の色情報を取得可能な色情報取得部（３０，７０）と、
前記ユーザーに視認される前記拡張現実画像（Ｖ）の一部の色が、前記実オブジェクト（３００）の色と同じあるいは近似する色になるように調整する画像処理部（２３）と、を備える
ことを特徴とする車両用拡張現実画像表示装置。
【請求項２】
前記拡張現実画像（Ｖ）は、前記提示情報を示す情報画像（ＶＡ）と、前記情報画像（ＶＡ）の周辺の少なくとも一部を囲む背景画像（ＶＢ）と、を含み、前記画像処理部（２３）は、前記ユーザーに視認される前記背景画像（ＶＢ）の色が、前記実オブジェクト（３００）の色と同じあるいは近似する色になるように調整する、
ことを特徴とする請求項１に記載の車両用拡張現実画像表示装置。
【請求項３】
前記色情報取得部（３０，７０）は、前記実オブジェクトのうちユーザーが認識可能な情報を含む情報領域（３１１）の色と、ユーザーが認識可能な情報を含まない非情報領域（３１２）の色と、をそれぞれ取得することが可能であり、
前記画像処理部（２３）は、前記ユーザーに視認される前記背景画像（ＶＢ）の色が、前記実オブジェクト（３００）の前記非情報領域（３１２）の色と同じあるいは近似する色であり、かつ前記情報領域（３１１）の色と同じあるいは近似する色にならないように調整する、
ことを特徴とする請求項２に記載の車両用拡張現実画像表示装置。
【請求項４】
前記色情報取得部（３０，７０）は、前記非情報領域（３１２）のうち色のばらつきが比較的少ない背景領域（３１３）を検出可能であり、
前記表示位置調整部（２２）は、前記拡張現実画像（Ｖ）の少なくとも一部が前記実オブジェクト（３００）から突出するように、前記背景領域（３１３）に隣接するまたは少なくとも一部重なるように、前記拡張現実画像（Ｖ）の位置を制御する、
ことを特徴とする請求項２または請求項３に記載の車両用拡張現実画像表示装置。
【請求項５】
前記画像処理部（２３）は、前記拡張現実画像（Ｖ）の少なくとも外縁をぼかす、ブラー処理、半透過処理、およびグラデーション処理の少なくともいずれかを実行する、
ことを特徴とする請求項１乃至４のいずれかに記載の車両用拡張現実画像表示装置。
【請求項６】
ユーザーの注視位置を検出する注視情報取得部（４０）をさらに備え、
前記注視情報取得部（４０）が検出した前記注視位置が前記実オブジェクト（３００）上に移動した場合、前記画像処理部（２３）は、前記ユーザーに視認される前記拡張現実画像（Ｖ）の色が、前記実オブジェクト（３００）の色と同じあるいは近似する色にならないように調整する、
ことを特徴とする請求項１乃至５のいずれかに記載の車両用拡張現実画像表示装置。
【請求項７】
ユーザーの注視位置を検出する注視情報取得部（４０）をさらに備え、
前記表示位置調整部（２２）は、前記車両の内部領域（４００）にも内部拡張現実画像（Ｖ４）を配置することが可能であり、
前記注視情報取得部（４０）が検出した前記注視位置が前記内部領域（４００）にある場合、または前記注視位置が前記内部領域（４００）から外れてから所定時間が経過するまでの間、前記画像処理部（２３）は、前記ユーザーに視認される前記拡張現実画像（Ｖ）の色が、前記実オブジェクト（３００）の色と同じあるいは近似する色にならないように調整し、前記注視情報取得部（４０）が検出した前記注視位置が前記内部領域（４００）から他の領域に移動した場合、または前記注視位置が前記内部領域（４００）から外れてから所定時間が経過した場合、前記拡張現実画像（Ｖ）の色を、前記実オブジェクト（３００）の色と同じあるいは近似する色に徐々に近付ける、
ことを特徴とする請求項１乃至５のいずれかに記載の車両用拡張現実画像表示装置。
【請求項８】
前記オブジェクト選択部（２１）は、前記拡張現実画像（Ｖ）が示す前記提示情報に関連性を有することを含む第一の選定条件を満たす前記実オブジェクト（３００）を選択し、前記第一の選定条件を満たす前記実オブジェクト（３００）が前記前景（２００）に存在しないと判定した場合、前記第一の選定条件と異なる第二の選定条件を満たす前記実オブジェクト（３００）を選択し、前記画像処理部（２３）は、前記ユーザーに視認される前記拡張現実画像（Ｖ）の色が、前記第二の選定条件を満たす前記実オブジェクト（３００）の色と同じあるいは近似する色にならないように調整する、
ことを特徴とする請求項１乃至７のいずれかに記載の車両用拡張現実画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両で使用され、車両の前景に虚像を重畳して視認させる車両用拡張現実画像表示装置に関する。
【背景技術】
【０００２】
従来より、風景と重ねて虚像を視認させる車両用拡張現実画像表示装置が知られている（例えば特許文献１参照）。車両用拡張現実画像表示装置は、例えば、頭部に装着するヘッドマウントディスプレイ（Ｈｅａｄ  Ｍｏｕｎｔｅｄ  Ｄｉｓｐｌａｙ：ＨＭＤ）装置を表示器として用い、表示器からの表示光を投射光学系や導光体などを用いて使用者に向けて投射し、表示光が示す表示画像の虚像を視認させるものである。使用者は、ＨＭＤ装置による虚像を前方の実風景に重ねて視認することができる。また、ＨＭＤ装置は、拡張現実（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ；ＡＲ）と称される技術を適用することができる。すなわち、実風景に存在する実オブジェクトの位置に対応付けた拡張現実画像（虚像）を表示することで、実風景にあたかも拡張現実画像が存在するような感覚をユーザーに与えることができる。【０００３】
また、ＨＭＤ装置として、実風景に存在する実オブジェクトの色に応じて、拡張現実画像の色を変更する技術が特許文献２に開示されている。特許文献２に開示される技術は、色検出部によって検出された現実世界に存在する実オブジェクトの色を検出し、実オブジェクトと拡張現実画像とが重なって視認される場合であっても、実オブジェクトの色を考慮し拡張現実画像の色を調整することで、ユーザーに設計上の所望の色で拡張現実画像を視認させるものである。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１１９７８６号公報
【特許文献２】特開２０１６−８１２０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前述したように、車両用拡張現実画像表示装置は、虚像によって実風景と重ねて情報を提供することができるものであるが、使用者の視界に常時虚像が視認されるため、表示する情報が多くなると使用者にとって煩わしく、使用者が情報を整理できずに各情報の認識性が低下するという問題点があった。【０００６】
本発明は、上記の問題点に鑑みてなされたものであり、前景の視認性を維持しつつ情報提供可能な車両用拡張現実画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、前記課題を解決するため、以下の手段を採用した。
本発明の車両用拡張現実画像表示装置は、車両の前景に存在する実オブジェクトの色を検出し、この実オブジェクトの色と同じあるいは近似する色の拡張現実画像を、実オブジェクトに隣接するまたは一部重なるように表示することで、ユーザーが視認する前景方向の視界を遮りにくく、虚像（拡張現実画像）に視覚的注意が奪われにくくする、ことをその要旨とする。【０００８】
本発明の第１の態様における車両用拡張現実画像表示装置は、車両の前景（２００）に提示情報を含む拡張現実画像（Ｖ）を重畳して表示する車両用拡張現実画像表示装置であって、前記拡張現実画像（Ｖ）をユーザーに視認させる画像表示部（１０）と、前記前景（２００）の中から特定の実オブジェクト（３００）を選択するオブジェクト選択部（２１）と、前記オブジェクト選択部（２１）が選択した前記実オブジェクト（３００）に隣接するまたは少なくとも一部重なるように、前記拡張現実画像（Ｖ）の位置を制御する表示位置調整部（２２）と、前記実オブジェクト（３００）の色情報を取得可能な色情報取得部（３０，７０）と、前記ユーザーに視認される前記拡張現実画像（Ｖ）の一部の色が、前記実オブジェクト（３００）の色と同じあるいは近似する色になるように調整する画像処理部（２３）と、を備える。この車両用拡張現実画像表示装置は、実景に存在する実オブジェクトの中から特定の実オブジェクトを選択し、実オブジェクトと同じ色で、隣接あるいは一部重なる状態で拡張現実画像を表示する。したがって、実景に元々存在する実オブジェクトに隣接した位置に目立たない形で拡張現実画像が表示されるため、実オブジェクトと離れた場所に画像を表示する場合と比較し、画像が目立ちにくく実景になじませる事ができ、画像に視覚的注意が奪われにくくユーザーに運転操作を集中させることができる。【０００９】
また、第１の態様に従属する第２の態様の車両用拡張現実画像表示装置では、前記拡張現実画像（Ｖ）は、前記提示情報を示す情報画像（ＶＡ）と、前記情報画像（ＶＡ）の周辺の少なくとも一部を囲む背景画像（ＶＢ）と、を含み、前記画像処理部（２３）は、前記ユーザーに視認される前記背景画像（ＶＢ）の色が、前記実オブジェクト（３００）の色と同じあるいは近似する色になるように調整してもよい。これによれば、拡張現実画像の外周の背景画像の色が、実オブジェクトの一部と同系色になるため、実景に元々存在する実オブジェクトになじませつつ、情報画像によりユーザーに情報を明確に提示することができる。【００１０】
また、第２の態様に従属する第３の態様の車両用拡張現実画像表示装置では、前記色情報取得部（３０，７０）は、前記実オブジェクトのうちユーザーが認識可能な情報を含む情報領域（３１１）の色と、ユーザーが認識可能な情報を含まない非情報領域（３１２）の色と、をそれぞれ取得することが可能であり、前記画像処理部（２３）は、前記ユーザーに視認される前記背景画像（ＶＢ）の色が、前記実オブジェクト（３００）の前記非情報領域（３１２）の色と同じあるいは近似する色であり、かつ前記情報領域（３１１）の色と同じあるいは近似する色にならないように調整してもよい。これによれば、実オブジェクトに記載されている情報を阻害することなく、実オブジェクトに拡張現実画像をなじませて表示することができる。【００１１】
また、第２または第３の態様のいずれかに従属する第４の態様の車両用拡張現実画像表示装置では、前記色情報取得部（３０，７０）は、前記非情報領域（３１２）のうち色のばらつきが比較的少ない背景領域（３１３）を検出可能であり、前記表示位置調整部（２２）は、前記拡張現実画像（Ｖ）の少なくとも一部が前記実オブジェクト（３００）から突出するように、前記背景領域（３１３）に隣接するまたは少なくとも一部重なるように、前記拡張現実画像（Ｖ）の位置を制御してもよい。これによれば、実オブジェクトのうち色のばらつきが少ない領域の近傍に拡張現実画像を配置することができ、拡張現実画像の色を実オブジェクトの色に合わせやすくすることができる。【００１２】
また、第１乃至第４の態様のいずれかに従属する第５の態様の車両用拡張現実画像表示装置では、前記画像処理部（２３）は、前記拡張現実画像（Ｖ）の少なくとも外縁をぼかす、ブラー処理、半透過処理、およびグラデーション処理の少なくともいずれかを実行してもよい。これによれば、実オブジェクトに対して拡張現実画像がさらになじみやすくなり、画像に視覚的注意が奪われにくく運転操作に集中させることができる。【００１３】
また、第１乃至第５の態様のいずれかに従属する第６の態様の車両用拡張現実画像表示装置では、ユーザーの注視位置を検出する注視情報取得部（４０）をさらに備え、前記注視情報取得部（４０）が検出した前記注視位置が前記実オブジェクト（３００）上に移動した場合、前記画像処理部（２３）は、前記ユーザーに視認される前記拡張現実画像（Ｖ）の色が、前記実オブジェクト（３００）の色と同じあるいは近似する色にならないように調整してもよい。これによれば、ユーザーの注視位置に応じて、拡張現実画像の色を変更可能になり、ユーザーの注視位置が実オブジェクトに向いていない場合、実オブジェクト近傍に表示された拡張現実画像の色を実オブジェクトと同系色表示することで、ユーザーの視覚的注意を拡張現実画像に奪われにくくすることができ、また、ユーザーの注視位置が実オブジェクトに移動した場合、実オブジェクト近傍に表示された拡張現実画像の色を実オブジェクトと異なる色になるように変更することで、実オブジェクトと拡張現実画像とをユーザーに区別させやすくでき、拡張現実画像が示す情報を認識させやすくすることができる。【００１４】
また、第１乃至第５の態様のいずれかに従属する第７の態様の車両用拡張現実画像表示装置では、ユーザーの注視位置を検出する注視情報取得部（４０）をさらに備え、前記表示位置調整部（２２）は、前記車両の内部領域（４００）にも内部拡張現実画像（Ｖ４）を配置することが可能であり、前記注視情報取得部（４０）が検出した前記注視位置が前記内部領域（４００）にある場合、または前記注視位置が前記内部領域（４００）から外れてから所定時間が経過するまでの間、前記画像処理部（２３）は、前記ユーザーに視認される前記拡張現実画像（Ｖ）の色が、前記実オブジェクト（３００）の色と同じあるいは近似する色にならないように調整し、前記注視情報取得部（４０）が検出した前記注視位置が前記内部領域（４００）から他の領域に移動した場合、または前記注視位置が前記内部領域（４００）から外れてから所定時間が経過した場合、前記拡張現実画像（Ｖ）の色を、前記実オブジェクト（３００）の色と同じあるいは近似する色に徐々に近付けてもよい。これによれば、ユーザーが車両の内部領域から他の領域に視線を移動した場合、拡張現実画像の色が実オブジェクトと同系色で表示されていないため、拡張現実画像がどこに表示されているかユーザーに認識させやすくすることができる。その後、徐々に拡張現実画像の色を、実オブジェクトの色に徐々に近付けていくことで、一時的に拡張現実画像の位置をユーザーに把握させつつ、画像に視覚的注意が奪われにくく運転操作に集中させることができる。【００１５】
また、第１乃至第７の態様のいずれかに従属する第８の態様の車両用拡張現実画像表示装置では、前記オブジェクト選択部（２１）は、前記拡張現実画像（Ｖ）が示す前記提示情報に関連性を有することを含む第一の選定条件を満たす前記実オブジェクト（３００）を選択し、前記第一の選定条件を満たす前記実オブジェクト（３００）が前記前景（２００）に存在しないと判定した場合、前記第一の選定条件と異なる第二の選定条件を満たす前記実オブジェクト（３００）を選択し、前記画像処理部（２３）は、前記ユーザーに視認される前記拡張現実画像（Ｖ）の色が、前記第二の選定条件を満たす前記実オブジェクト（３００）の色と同じあるいは近似する色にならないように調整してもよい。これによれば、優先される第一の選定条件を満たす実オブジェクトが前景に存在しない場合であっても、他の実オブジェクトの近傍に拡張現実画像を表示することが可能となり、拡張現実画像をユーザーの視界を妨げないように表示することができる。また、優先される第一の選定条件ではない第二の選定条件を満たす実オブジェクトの近傍に表示する場合、拡張現実画像の色を実オブジェクトの色と異なる色で表示することで、拡張現実画像と実オブジェクトとの区別を付けやすく表示することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態に係る車両用拡張現実画像表示装置による拡張現実画像の表示例を示す図である。
【図２】上記実施形態の車両用拡張現実画像表示装置の変形例による拡張現実画像の表示例を示す図である。
【図３】上記実施形態の車両用拡張現実画像表示装置の構成を機能的に示すブロック図である。
【図４】上記実施形態に係る車両用拡張現実画像表示装置による拡張現実画像の表示例を示す図である。
【図５】上記実施形態に係る車両用拡張現実画像表示装置による拡張現実画像の表示例を示す図である。
【図６】上記実施形態の車両用拡張現実画像表示装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、本発明に係る実施形態について図面を参照して説明する。なお、本発明は下記の実施形態（図面の内容も含む。）によって限定されるものではない。下記の実施形態に変更（構成要素の削除も含む）を加えることができるのはもちろんである。また、以下の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略する。
【００１８】
図１は、本発明の実施形態に係る車両用拡張現実画像表示装置（以下では、表示装置とも記載）１００の表示例を示す図である。本実施形態の表示装置１００は、車両のウインドシールドＷＳを介して視認される現実空間である前景２００に存在する実オブジェクト３００の近傍に拡張現実画像Ｖを視認させることで、視覚的な拡張現実（ＡＲ、Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）を形成する。車両に搭乗するユーザー（一般的に車両の運転者）は、ヘッドマウントディスプレイ（以下、ＨＭＤ）装置からなる画像表示部１０を頭部に装着して車両の座席に着座することで、画像表示部１０によって表示される拡張現実画像Ｖを、車両のウインドシールドＷＳを介した前景２００に重畳して視認する。本実施形態の表示装置１００は、例えば、前景２００に存在する道路標識である第一の実オブジェクト３１０の近傍に第一の拡張現実画像Ｖ１を表示し、路面である第二の実オブジェクト３２０に重なるように第二の拡張現実画像Ｖ２を表示し、及び、建物である第三の実オブジェクト３３０に重なるように第三の拡張現実画像Ｖ３を表示する。また、図１に示した表示装置１００の画像表示部１０は、ＨＭＤ装置であるため、例えば、Ａピラーなどの車両の内部領域４００に対しても拡張現実画像Ｖ４を表示することができる。なお、ＨＭＤ装置からなる画像表示部１０は、所定の表示領域１０１を有し、この表示領域１０１に含まれる実オブジェクト３００に対して拡張現実画像Ｖを表示する。
【００１９】
（画像表示部１０の他の例）
図２は、表示装置１００のおける画像表示部１０の他の例による拡張現実画像Ｖの表示例を説明する図である。上述した図１の表示装置１００の画像表示部１０は、ＨＭＤ装置であったが、図２に示す表示装置１００の画像表示部１０は、ヘッドアップディスプレイ（ＨＵＤ：Ｈｅａｄ−Ｕｐ  Ｄｉｓｐｌａｙ）装置である点で異なり、それ以外は、共通する。この表示装置１００では、ウインドシールド（被投影部材の一例である）ＷＳの所定の領域が拡張現実画像Ｖを表示可能な表示領域１０１とされ、この表示領域１０１を介した前景２００に存在する実オブジェクト３００に対して拡張現実画像Ｖを表示する。
【００２０】
次に、図３を参照する。図３は、車両用拡張現実画像表示装置１００のシステム構成を示す図である。
表示装置１００は、画像表示部１０と、表示制御部２０と、オブジェクト情報取得部（色情報取得部）３０と、注視情報取得部４０と、位置情報取得部５０と、方角情報取得部６０と、通信インターフェース７０と、を備え、通信インターフェース７０を介して、クラウドサーバー（外部サーバー）５００及び車両ＥＣＵ６００と通信可能に連結されている。通信インターフェース７０は、例えば、ＵＳＢポート、シリアルポート、パラレルポート、ＯＢＤＩＩ、及び／又は他の任意の適切な有線通信ポートなどの有線通信機能を含むことができる。車両からのデータケーブルは、通信インターフェース７０を介して、表示装置１００の表示制御部２０に連結される。なお、他の実施形態では、通信インターフェース７０は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信プロトコル、ＩＥＥＥ８０２．１１プロトコル、ＩＥＥＥ８０２．１６プロトコル、共有無線アクセスプロトコル、ワイヤレスＵＳＢプロトコル、及び／又は他の任意の適切な無線電信技術を用いた無線通信インターフェースを含むことができる。表示装置１００は、クラウドサーバー５００や車両ＥＣＵ６００から通信インターフェース７０を介して、拡張現実画像Ｖの画像データを取得し、表示制御部２０が定めた実オブジェクト３００の近傍に、画像データに基づく拡張現実画像Ｖを表示する。なお、画像データの一部または全部は、後述する表示制御部２０の記憶部２４に記憶され、表示制御部２０は、クラウドサーバー５００、車両ＥＣＵ６００などから得られる情報に応じて、記憶部２４に記憶された画像データを読み出して拡張現実画像Ｖを表示する形態であってもよい。
【００２１】
表示制御部２０は、後述するオブジェクト情報取得部３０が取得する実オブジェクト３００の位置情報及び色情報を含む実オブジェクト情報、注視情報取得部４０が取得するユーザーの注視位置を示す注視情報、位置情報取得部５０が取得する車両または表示装置１００の現在位置を示す位置情報、方角情報取得部６０が取得する車両または表示装置１００が向く方向を示す方角情報、及び通信インターフェース７０がクラウドサーバー５００または／および車両ＥＣＵ６００から取得する画像データを入力し、車両の前景２００に存在する特定の実オブジェクト３００の近傍に配置され、かつ一部が実オブジェクト３００と同色になるように、画像表示部１０が表示する拡張現実画像Ｖの位置及び色を制御する。表示制御部２０は、拡張現実画像Ｖを近傍に配置させる特定の実オブジェクト３００を選択するオブジェクト選択部２１と、オブジェクト選択部２１が選択した特定の実オブジェクト３００に対する拡張現実画像Ｖを表示する相対的な位置を調整する表示位置調整部２２と、拡張現実画像Ｖの色や輝度を調整可能な画像処理部２３と、画像データを記憶する記憶部２４と、を備える。
【００２２】
オブジェクト選択部２１は、オブジェクト情報取得部３０が前景２００から抽出した実オブジェクト３００の中から拡張現実画像Ｖを近傍に表示する特定の実オブジェクト３００を選定するものであり、各拡張現実画像Ｖ（画像データ）に付加された第一の選定条件を満たす特定の実オブジェクト３００を選定する。第一の選定条件は、拡張現実画像Ｖが示す提示情報に関連性を有することを含むことが好ましく、例えば、目的地までの途中経路を示す拡張現実画像Ｖが有する第一の選定条件は、実オブジェクト３００が案内標識であることである。但し、第一の選定条件に、拡張現実画像Ｖが示す提示情報への関連性を含まなくてもよい。また、第一の選定条件は、固定ではなく、変更されてもよい。具体的には、車両が走行する環境の変化やユーザーの状態などにより自動的に変更されてもよく、ユーザーが行う操作により変更されてもよい。
【００２３】
また、オブジェクト選択部２１は、第一の選定条件を満たす実オブジェクト３００が前景２００に存在しないと判定した場合、第一の選定条件と異なる第二の選定条件を満たす実オブジェクト３００を選択する。言い換えると、オブジェクト選択部２１は、第二の選定条件を満たす実オブジェクト３００より、第一の選定条件を満たす実オブジェクト３００を優先的に選定する。なお、オブジェクト選択部２１は、条件を満たす実オブジェクト３００が存在しなかった場合、特定の実オブジェクト３００を選定しなくてもよい。この場合、拡張現実画像Ｖは、表示領域１０１の所定の領域に固定して表示される。
【００２４】
表示位置調整部２２は、オブジェクト情報取得部３０が取得する実オブジェクト３００の位置情報に基づき、オブジェクト選択部２１が選定した特定の実オブジェクト３００に対して、拡張現実画像Ｖを表示する相対的な位置を決定するものである。また、表示位置調整部２２は、実オブジェクト３００のうちユーザーが認識可能な情報を含む情報領域３１１（図４参照）と異なる非情報領域３１２（図４参照）に隣接あるいは一部重なるように拡張現実画像Ｖの表示位置を決定してもよい。
【００２５】
画像処理部２３は、画像表示部１０に表示させる拡張現実画像Ｖの色を調整するものである。画像処理部２３は、後述するオブジェクト情報取得部（色情報取得部）３０が取得する実オブジェクト３００の色を示す色情報に基づき、拡張現実画像Ｖの色を調整するものであり、拡張現実画像Ｖの一部の色が、実オブジェクト３００の色と同じあるいは近似する色になるように調整する。さらに、画像処理部２３は、注視情報取得部４０が取得するユーザーの注視位置を示す視注視情報に基づいて、拡張現実画像Ｖの色を調整してもよい（詳細は後述する）。
【００２６】
また、画像処理部２３は、画像表示部１０に表示させる拡張現実画像Ｖの一部または全部にぼかし処理をしてもよい。ぼかし処理は、拡張現実画像Ｖの少なくとも外縁をぼかすブラー処理、半透過処理、およびグラデーション処理を含んでいる。図５に、ぼかし処理の例を示す。図５（ａ）は、拡張現実画像Ｖの外縁に半透過処理を行った例であり、図５（ｂ）は、拡張現実画像Ｖの全体に半透過処理を行った例である。これにより、実オブジェクト３００に対して拡張現実画像Ｖをよりなじませて表示することが可能となる。
【００２７】
オブジェクト情報取得部３０は、車両または画像表示部１０に設けられた少なくとも１つの撮像カメラ（前景撮像部）３１が前景２００を撮像した撮像画像を画像解析部３２で解析した結果である前景２００上の実オブジェクト３００の位置情報を取得する入力インターフェースである。取得した実オブジェクト３００の位置情報を表示装置１００に出力する。
【００２８】
（色情報取得部）
また、オブジェクト情報取得部３０は、実オブジェクト３００の色情報を取得可能な色情報取得部としての機能も兼ねていてもよい。具体的には、前景撮像部３１は、好ましくは、実オブジェクト３００の色を検出可能なカラービデオや赤外線カメラであり、オブジェクト情報取得部３０は、前景撮像部３１が前景２００を撮像したカラー撮像画像を画像解析部３２で解析した結果である前景２００上の実オブジェクト３００の色情報を取得してもよい。なお、色情報取得部は、実オブジェクト３００のうちユーザーが認識可能な情報を含む情報領域３１１（図４（ａ）参照）の色と、ユーザーが認識可能な情報を含まない非情報領域３１２（図４（ａ）参照）の色と、をそれぞれ取得可能に構成されてもよい。ユーザーが認識可能な情報とは、例えば、文字列、記号などであり、前景撮像部３１によって撮像された撮像画像に画像解析部３２が１つ以上のアルゴリズムを適用することで、識別することが可能である。また、色情報取得部は、非情報領域３１２のうち色のばらつきが比較的少ない背景領域３１３（図４（ｂ）参照）の位置情報を取得可能に構成されてもよい。
【００２９】
また、オブジェクト情報取得部３０は、前景撮像部３１が前景２００を撮像した撮像画像を画像解析部３２で解析した結果である前景２００上の実オブジェクト３００の種類を識別した種類情報を取得してもよい。実オブジェクト３００の種類とは、例えば、道路標識、路面、及び、建物などであるが、前景２００に存在し、識別可能であればこれらに限定されない。画像解析部３２による画像解析は、画像解析部３２の記憶部に予め記憶した形状とのマッチングにより行われるが、撮像画像における実オブジェクト３００の位置による推測を加えてもよく、後述する車両または表示装置１００の位置情報による推測を加えてもよい。なお、実オブジェクト３００の種類に応じて、実オブジェクト３００の色も推定可能な場合もあり、変形例として、表示制御部２０は、オブジェクト情報取得部３０から取得した種類情報に基づき、実オブジェクト３００の色を推定してもよい。すなわち、オブジェクト情報取得部３０は、実オブジェクト情報（実オブジェクト３００の位置情報、色情報、種類情報）を取得し、表示制御部２０に出力可能である。
【００３０】
（色情報取得部の他の例）
また、他の例としては、後述する通信インターフェース７０が、色情報取得部としての機能を有していてもよい。例えば、クラウドサーバー５００は、地図情報とともに、例えば、道路や建物等のオブジェクト情報取得部３００の位置情報、形状情報、色情報等を記憶しており、通信インターフェース７０は、クラウドサーバー５００から実オブジェクト３００の位置情報とともに色情報を取得することが可能である。
【００３１】
注視情報取得部４０は、ユーザーを撮像する撮像カメラからなるユーザー検出部４１がユーザーの眼を撮像した撮像画像を解析部４２で解析した結果であるユーザーの注視位置を示す注視位置情報を取得する入力インターフェースである。視線検出の場合は、ＣＣＤカメラなどでユーザーの眼を撮像し、画像処理技術のパターンマッチング処理によって注視位置としてユーザーの視線方向を検出する。
【００３２】
位置情報取得部５０は、ＧＮＳＳ（全地球航法衛星システム）等からなる位置検出部５１により検出された車両または表示装置１００の位置情報を取得し、表示制御部２０に出力する。
【００３３】
方角情報取得部６０は、方角センサからなる方角検出部６１により検出された車両または表示装置１００の向きを示す方角情報を取得し、表示制御部２０に出力する。
【００３４】
表示制御部２０は、位置情報取得部５０が取得した車両または表示装置１００の位置情報、及び方角情報取得部６０が取得した車両または表示装置１００の方角情報を、通信インターフェース７０を介して、クラウドサーバー５００又は／及び車両ＥＣＵ６００に出力する。続いて、クラウドサーバー５００と車両ＥＣＵ６００は、入力した車両または表示装置１００の位置情報、方角情報に基づき、表示装置１００に表示させる拡張現実画像Ｖの画像データを、通信インターフェース７０を介して、表示制御部２０に出力する。なお、他の例としては、クラウドサーバー５００と車両ＥＣＵ６００は、入力した車両または表示装置１００の位置情報、方角情報に基づき、表示装置１００に表示させるべき拡張現実画像Ｖを指示する指示データを、通信インターフェース７０を介して、表示制御部２０に出力し、表示制御部２０は、入力した指示データに基づき、記憶部２４に記憶された画像データを読み出してもよい。また、他の例としては、クラウドサーバー５００と車両ＥＣＵ６００は、車両または表示装置１００の位置情報、方角情報とは異なる他の情報に基づき、拡張現実画像Ｖの画像データまたは表示させるべき拡張現実画像Ｖを指示する指示データを、表示制御部２０に出力してもよい。
【００３５】
図６は、車両用拡張現実画像表示装置１００の主要な動作手順を示すフローチャートである。ステップＳ１において、表示制御部２０は、通信インターフェース７０を介して、クラウドサーバー５００又は／及び車両ＥＣＵ６００から画像データを入力する。
【００３６】
次に、ステップＳ２において、前景撮像部３１が、車両の前景２００を撮像し、この撮像画像を画像解析部３２が解析した結果である、前景２００に存在する実オブジェクト３００の種類情報、位置情報、色情報を含む実オブジェクト情報を、表示制御部２０は、オブジェクト情報取得部３０を介して入力する。また、撮像画像を画像解析部３２が解析した結果である、実オブジェクト３００のうちユーザーが認識可能な情報を含む情報領域３１１（図４（ａ）参照）の位置情報と、ユーザーが認識可能な情報を含まない非情報領域３１２（図４（ａ）参照）あるいは非情報領域３１２のうち色のばらつきが比較的少ない背景領域３１３（図４（ｂ）参照）の位置情報とを、表示制御部２０は、オブジェクト情報取得部３０を介して入力する。
【００３７】
次に、ステップＳ３において、表示制御部２０のオブジェクト選択部２１は、ステップＳ２で入力した実オブジェクト３００の種類情報、位置情報を参照し、ステップＳ１で入力した画像データが有する第一の選定条件を満たす特定の実オブジェクト３００を選定する。また、オブジェクト選択部２１は、第一の選定条件を満たす実オブジェクト３００が前景２００に存在しないと判定した場合、第一の選定条件と異なる第二の選定条件を満たす実オブジェクト３００を選択する。
【００３８】
次に、ステップＳ４において、表示制御部２０の表示位置調整部２２は、実オブジェクト３００のうちユーザーが認識可能な情報を含む情報領域３１１と重ならない位置に拡張現実画像Ｖの表示位置を決定する。具体的には、表示位置調整部２２は、ステップＳ１で入力した情報領域３１１（図４（ａ）参照）の位置情報、非情報領域３１２の位置情報又は背景領域３１３の位置情報に基づき、実オブジェクト３００の非情報領域３１２、好ましくは背景領域３１３と隣接あるいは少なくとも一部重なるように拡張現実画像Ｖの表示位置を決定する。
【００３９】
次に、ステップＳ５において、表示制御部２０の画像処理部２３は、ステップＳ１で入力した実オブジェクト３００の色情報に基づいて、拡張現実画像Ｖの一部の色が、実オブジェクト３００の色と同じあるいは近似する色になるように拡張現実画像Ｖの色を決定する。具体的には、拡張現実画像Ｖのうち提示情報を示す情報画像ＶＡ（図４（ａ）参照）の周辺の少なくとも一部を囲む背景画像ＶＢ（図４（ａ）参照）の色が、実オブジェクト３００の色と同じあるいは近似する色になるように調整する。
【００４０】
次に、ステップＳ６において、表示制御部２０の画像処理部２３は、拡張現実画像Ｖに、ブラー処理、半透過処理、グラデーション処理などのぼかし処理を加える。
【００４１】
次に、ステップＳ７において、表示制御部２０は、ステップＳ４で決定された位置に、ステップＳ５で決定された色で、ステップＳ６のぼかし処理を加えた拡張現実画像Ｖを、画像表示部１０に表示させる。
【００４２】
以下、第１〜第４の実施形態を主に図４を用いて具体的に説明する。
（第１の実施形態）
第１の実施形態では、画像処理部２３は、ユーザーに視認される背景画像ＶＢの色が、実オブジェクト３００の色と同じあるいは近似する色になるように調整する。第一の実オブジェクト３１０の非情報領域３１２が青色であった場合、第一の拡張現実画像Ｖ１の背景画像ＶＢの色を、青色あるいは青色の近似する色に設定する。なお、本発明における近似色とは、ＲＧＢ空間におけるＲ，Ｇ，Ｂの値の差分が±１５％以下の範囲に属す色、または／およびＨＳＶ空間におけるＨ（色相），Ｓ（彩度），Ｖ（明度）の値の差分が±１５％以下の範囲に属す色とする。画像処理部２３は、背景画像ＶＢの全体を、実オブジェクト３００の色と同じにする必要はなく、一部であってもよく、背景画像ＶＢの全体の５０％以上を、実オブジェクト３００の類似色とすることで、実オブジェクト３００に拡張現実画像Ｖをよりなじませることができる。なお、画像処理部２３は、背景画像ＶＢのうち、実オブジェクト３００に近接する領域を、実オブジェクト３００の類似色とするのであれば、背景画像ＶＢの全体の２５％以上程度でも、実オブジェクト３００に拡張現実画像Ｖをなじませることができる。なお、画像処理部２３は、ユーザーに視認される背景画像ＶＢの色が、実オブジェクト３００の情報領域３１１の類似色にならないように調整してもよい。
【００４３】
なお、拡張現実画像Ｖは、必ずしも背景画像ＶＢを有する必要はない。すなわち、拡張現実画像Ｖは、提示情報を示す情報画像ＶＡだけで構成されてもよい。この場合、画像処理部２３は、情報画像ＶＡの一部又は全部の最外縁の色を、実オブジェクト３００の色と同じあるいは近似する色になるように調整する。
【００４４】
（第２の実施形態）
表示位置調整部２２は、拡張現実画像Ｖの少なくとも一部が実オブジェクト３００から突出するように、実オブジェクト３００の非情報領域３１２に隣接するまたは少なくとも一部重なるように、拡張現実画像Ｖの位置を制御する。言い換えると、表示位置調整部２２は、実オブジェクト３００と重ならない領域ＶＢ２（図４（ｂ）参照）を有するように、拡張現実画像Ｖを配置してもよい。
【００４５】
（第３の実施形態）
第３の実施形態では、注視情報取得部４０が検出したユーザーの注視位置が、他の位置から拡張現実画像Ｖが近傍に表示されている実オブジェクト３００上に移動した場合、画像処理部２３は、ユーザーに視認される拡張現実画像Ｖの色が、実オブジェクト３００の色と同じあるいは近似する色にならないように調整する。
【００４６】
（第４の実施形態）
第４の実施形態では、注視情報取得部４０が検出したユーザーの注視位置が車両の内部領域４００にある場合、またはユーザーの注視位置が内部領域４００から外れてから所定時間が経過するまでの間、画像処理部２３は、ユーザーに視認される拡張現実画像Ｖの色が、実オブジェクト３００の色と同じあるいは近似する色にならないように調整し、注視位置が内部領域４００から他の領域に移動した場合、または注視位置が内部領域４００から外れてから所定時間が経過した場合、拡張現実画像Ｖの色を、実オブジェクト３００の色と同じあるいは近似する色に徐々に近付ける。
【産業上の利用可能性】
【００４７】
本発明は、視認者に風景と重ねて虚像を視認させる透過型のヘッドマウントディスプレイ装置やヘッドアップディスプレイ装置に好適である。
【符号の説明】
【００４８】
１０    ：画像表示部
２０    ：表示制御部
２１    ：オブジェクト選択部
２２    ：表示位置調整部
２３    ：画像処理部
２４    ：記憶部
３０    ：オブジェクト情報取得部（色情報取得部）
４０    ：注視情報取得部
５０    ：位置情報取得部
６０    ：方角情報取得部
７０    ：通信インターフェース（色情報取得部）
１００  ：車両用拡張現実画像表示装置
１０１  ：表示領域
２００  ：前景
３００  ：実オブジェクト
３１０  ：第一の実オブジェクト
３１１  ：情報領域
３１２  ：非情報領域
３１３  ：背景領域
３２０  ：第二の実オブジェクト
３３０  ：第三の実オブジェクト
４００  ：内部領域
５００  ：クラウドサーバー
６００  ：車両ＥＣＵ
Ｖ      ：拡張現実画像
ＶＡ    ：情報画像
ＶＢ    ：背景画像
ＷＳ    ：ウインドシールド
【図１】
2019026747.tif 000003
【図２】
2019026747.tif 000004
【図３】
2019026747.tif 000005
【図４】
2019026747.tif 000006
【図５】
2019026747.tif 000007
【図６】
2019026747.tif 000008
【国際調査報告】
2019026747.tif 000009
2019026747.tif 000010
2019026747.tif 000011
2019026747.tif 000012