(57)【要約】【課題】  ヘッドアップディスプレイシステムにおいて、運転者に与える違和感を低減させる。【解決手段】  車両のフロントガラスに投影することで、該車両の前方に位置する対象物がオブジェクトに囲まれているように視認される投影画像を出力する画像処理装置であって、前記車両の所定方向の動作を検出する検出部と、前記所定方向の動作を検出した場合に、前記投影画像に含まれる前記オブジェクトの少なくとも一部を、動作方向に応じて補正する補正部とを有することを特徴とする。【選択図】図５
2019202698.tif 000002
【特許請求の範囲】
【請求項１】
車両のフロントガラスに投影することで、該車両の前方に位置する対象物がオブジェクトに囲まれているように視認される投影画像を出力する画像処理装置であって、
前記車両の所定方向の動作を検出する検出部と、
前記所定方向の動作を検出した場合に、前記投影画像に含まれる前記オブジェクトの少なくとも一部を、動作方向に応じて補正する補正部と
を有することを特徴とする画像処理装置。
【請求項２】
前記車両の高さ方向の動作を検出した場合に、前記補正部は、前記投影画像に含まれるオブジェクトを補正することで、前記対象物を囲むように視認されるオブジェクトの、前記高さ方向と略直交する方向の辺または面を変更することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記車両の幅方向の動作を検出した場合に、前記補正部は、前記投影画像に含まれるオブジェクトを補正することで、前記対象物を囲むように視認されるオブジェクトの、前記幅方向と略直交する方向の辺または面を変更することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記車両の前後方向の軸周りの動作を検出した場合に、前記補正部は、前記投影画像に含まれるオブジェクトを補正することで、前記対象物を囲むように視認されるオブジェクトの辺または面を、曲線または曲面に変更することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記補正部は、前記投影画像に含まれる前記オブジェクトの辺を非表示にする、または、該辺の輝度を下げることを特徴とする請求項２または３に記載の画像処理装置。
【請求項６】
車両のフロントガラスに投影することで、該車両の前方に位置する対象物がオブジェクトに囲まれているように視認される投影画像を出力する画像処理方法であって、
前記車両の所定方向の動作を検出する検出工程と、
前記所定方向の動作を検出した場合に、前記投影画像に含まれる前記オブジェクトの少なくとも一部を、動作方向に応じて補正する補正工程と
を有することを特徴とする画像処理方法。
【請求項７】
車両の前方を撮影し、撮影画像を出力する撮像装置と、
車両のフロントガラスに投影することで、該車両の前方に位置する対象物がオブジェクトに囲まれているように視認される投影画像を、前記撮影画像に基づいて生成し、出力する画像処理装置と、
出力された前記投影画像を前記車両のフロントガラスに投影する光学部材と、を有するヘッドアップディスプレイシステムであって、
前記画像処理装置は、
前記車両の所定方向の動作を検出する検出部と、
前記所定方向の動作を検出した場合に、前記投影画像に含まれる前記オブジェクトの少なくとも一部を、動作方向に応じて補正する補正部と
を有することを特徴とするヘッドアップディスプレイシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びヘッドアップディスプレイシステムに関する。
【背景技術】
【０００２】
従来より、車両にヘッドアップディスプレイシステムを搭載し、運転者に通知する情報を、車両前方の虚像として視認させる投影技術が知られている。当該ヘッドアップディスプレイによれば、運転者は、運転中に視線を大きく動かすことなく情報を視認することができる。
【０００３】
また、最近では、かかる投影技術を応用して、運転者がフロントウィンドウ越しに視認する実景（例えば、自車両の前方を走行する他車両）に、ＡＲ（Augmented Reality）マーカと呼ばれるオブジェクトを重ね合わせる画像処理技術も提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−２２１６５１号公報
【特許文献２】特開２０１５−２２６３０４号公報
【特許文献３】特開２０１５−００９６７７号公報
【特許文献４】国際公開第２０１５／１２８９８５号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、前方を走行する他車両と自車両との相対的な位置関係は、例えば、路面の凹凸やバンクの有無等、走行環境によって大きく変動する。このような変動に対して、ＡＲマーカをリアルタイムに追従させることは困難であり、例えば、前方を走行する他車両に対してＡＲマーカが位置ずれを起こすことがある。このような位置ずれは、運転者に対して違和感を与える。
【０００６】
本発明は上記課題に鑑みてなされたものであり、ヘッドアップディスプレイシステムにおいて、運転者に与える違和感を低減させることを目的とする。
【課題を解決するための手段】
【０００７】
一態様によれば、画像処理装置は以下のような構成を備える。即ち、
車両のフロントガラスに投影することで、該車両の前方に位置する対象物がオブジェクトに囲まれているように視認される投影画像を出力する画像処理装置であって、
前記車両の所定方向の動作を検出する検出部と、
前記所定方向の動作を検出した場合に、前記投影画像に含まれる前記オブジェクトの少なくとも一部を、動作方向に応じて補正する補正部とを有することを特徴とする。
【発明の効果】
【０００８】
ヘッドアップディスプレイシステムにおいて、運転者に与える違和感を低減させることができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係るヘッドアップディスプレイシステムのシステム構成の一例を示す図である。
【図２】第１の実施形態に係るヘッドアップディスプレイシステムを構成する各装置の配置例を示す図である。
【図３】ＡＲマーカを含む投影画像の投影例を示す第１の図である。
【図４】画像処理装置のハードウェア構成の一例を示す図である。
【図５】ＡＲマーカ部の機能構成の詳細を示す図である。
【図６】ＡＲマーカ対象検出部及びＡＲマーカ生成部による処理の具体例を示す第１の図である。
【図７】車両動作検出部による処理の具体例を示す図である。
【図８】ＡＲマーカ補正部による処理の具体例を示す第１の図である。
【図９】ＡＲマーカ部によるＡＲマーカ処理の流れを示すフローチャートである。
【図１０Ａ】ＡＲマーカを含む投影画像の補正時間帯における投影例を示す第１の図である。
【図１０Ｂ】ＡＲマーカを含む投影画像の補正時間帯における投影例を示す第２の図である。
【図１０Ｃ】ＡＲマーカを含む投影画像の補正時間帯における投影例を示す第３の図である。
【図１１】第２の実施形態に係るヘッドアップディスプレイシステムを構成する各装置の配置例を示す図である。
【図１２】ＡＲマーカを含む投影画像の投影例を示す第２の図である。
【図１３】ＡＲマーカ対象検出部及びＡＲマーカ生成部による処理の具体例を示す第２の図である。
【図１４】ＡＲマーカ補正部による処理の具体例を示す第２の図である。
【図１５】ＡＲマーカを含む投影画像の補正時間帯における投影例を示す第４の図である。
【発明を実施するための形態】
【００１０】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
【００１１】
［第１の実施形態］
＜ヘッドアップディスプレイシステムのシステム構成＞
はじめに、車両に搭載されるヘッドアップディスプレイシステムのシステム構成について説明する。図１は、第１の実施形態に係るヘッドアップディスプレイシステムのシステム構成の一例を示す図である。図１に示すように、ヘッドアップディスプレイシステム１００は、撮像装置１１０、車両動作検出センサ１２０、画像処理装置１３０、光学部材１５０を有する。なお、本実施形態において、ヘッドアップディスプレイシステム１００は、車両のイグニッションスイッチがＯＮ状態になることで起動し、ＯＦＦ状態になることで停止するものとする。ただし、ヘッドアップディスプレイシステム１００の起動、停止のタイミングはこれに限定されず、例えば、車両のイグニッションスイッチがＯＮ状態になった後で、車両の運転者の指示に基づいて起動、停止するように構成してもよい。
【００１２】
撮像装置１１０は車両の幅方向中央位置において前方を撮影し、撮影画像を画像処理装置１３０に送信する。車両動作検出センサ１２０は、車両の所定方向の動作を、基準位置からの変位を示す変位信号として検出し、画像処理装置１３０に送信する。なお、本実施形態では、車両動作検出センサ１２０として、６軸のジャイロセンサを用いるものとする。
【００１３】
画像処理装置１３０には、ＡＲマーカプログラムがインストールされており、当該プログラムが実行されることで、画像処理装置１３０は、ＡＲマーカ部１４０として機能する。ＡＲマーカ部１４０は、撮影画像よりＡＲマーカ（オブジェクト）を重ね合わせる対象物（ＡＲマーカ対象物）を検出する。また、ＡＲマーカ部１４０は、検出したＡＲマーカ対象物の位置及び大きさに応じて、車両のフロントガラスに投影する投影画像（ＡＲマーカを含む投影画像）を生成し、出力する。
【００１４】
また、ＡＲマーカ部１４０は、車両動作検出センサ１２０から送信される変位信号を監視し、車両の所定方向の動作を検出した場合に、投影画像に含まれるＡＲマーカの一部を、動作方向に応じて補正する。これにより、ＡＲマーカ部１４０によれば、車両の所定方向の動作により、車両の運転者により視認されるＡＲマーカがＡＲマーカ対象物に対して位置ずれを起こした場合でも、運転者に与える違和感を低減させることができる。
【００１５】
光学部材１５０は、画像処理装置１３０から出力される投影画像を、車両のフロントガラスに投影する。光学部材１５０は、車両のフロントガラスに投影された投影画像が、車両前方の虚像として、運転者により視認されるように構成されている。これにより、実景のＡＲマーカ対象物がＡＲマーカに囲まれているように運転者に視認されることになる。
【００１６】
＜ヘッドアップディスプレイシステムを構成する各装置の配置例＞
次に、ヘッドアップディスプレイシステム１００を構成する各装置の配置例について説明する。図２は、第１の実施形態に係るヘッドアップディスプレイシステムを構成する各装置の配置例を示す図である。
【００１７】
図２に示すように、撮像装置１１０は、車両のフロントガラス１６０近傍であって、車両の幅方向中央位置の天井部分に、車両の前方に向けて配置される。これにより、撮像装置１１０は、車両の幅方向中央位置において前方を撮影することができる。また、車両動作検出センサ１２０、画像処理装置１３０は、車両のセンタコンソールの裏側または床下に配置される。
【００１８】
図２に示すように、画像処理装置１３０より出力された投影画像は、光学部材１５０を構成するスクリーン１５１に描画され、反射ミラー１５２、１５３を介してフロントガラス１６０に投影される。これにより、運転者は、投影画像に含まれるＡＲマーカを、図２に示す虚像の位置において視認することになる。このため、ＡＲマーカ対象物の位置及び大きさに応じて、投影画像に含まれるＡＲマーカの位置及び大きさを制御することで、ＡＲマーカ対象物がＡＲマーカに囲まれているように運転者に視認させることができる。なお、図２に示すように、本実施形態においては、車両の高さ方向をｙ軸方向、車両の前後方向をｚ軸方向とおく。
【００１９】
＜投影画像の投影例＞
次に、投影画像の投影例について説明する。図３は、ＡＲマーカを含む投影画像の投影例を示す第１の図である。図３に示すように、運転者は、車両のフロントガラス１６０を介して、自車両の前方の実景を視認することができる。運転者が視認する実景には、自車両の前方を走行する他車両３００が含まれる。本実施形態において他車両３００は、ＡＲマーカ対象物として検出される。
【００２０】
このため、投影画像には、他車両３００を囲むように構成されたＡＲマーカが含まれる。具体的には、図３に示すように、投影画像がフロントガラス１６０に投影されることで、運転者に視認されるＡＲマーカ３１０が他車両３００を囲むように、投影画像内のＡＲマーカの位置座標、幅方向長さ、高さ方向長さが算出される。なお、図３に示すように、本実施形態では、車両の幅方向をｘ軸とおく。
【００２１】
＜画像処理装置のハードウェア構成＞
次に、画像処理装置１３０のハードウェア構成について説明する。図４は、画像処理装置のハードウェア構成の一例を示す図である。図４に示すように、画像処理装置１３０は、ＣＰＵ（Central Processing Unit）４０１、ＲＯＭ（Read Only Memory）４０２、ＲＡＭ（Random Access Memory）４０３を有する。また、画像処理装置１３０は、ＧＰＵ（Graphic Processing Unit）４０４、Ｉ／Ｆ（Interface）装置４０５を有する。なお、画像処理装置１３０の各部は、バス４０６を介して相互に接続されている。
【００２２】
ＣＰＵ４０１は、ＲＯＭ４０２にインストールされている各種プログラム（例えば、ＡＲマーカプログラム等）を実行するデバイスである。ＲＯＭ４０２は、不揮発性メモリであり、ＣＰＵ４０１によって実行される各種プログラムを格納する、主記憶デバイスとして機能する。ＲＡＭ４０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ４０３は、ＲＯＭ４０２にインストールされている各種プログラムがＣＰＵ４０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。
【００２３】
ＧＰＵ４０４は、画像処理を行う専用の集積回路であり、第１の実施形態では、ＡＲマーカプログラムを実行するＣＰＵ４０１からの指示に基づき、投影画像の生成等を行う。Ｉ／Ｆ装置４０５は、撮像装置１１０及び車両動作検出センサ１２０と、画像処理装置１３０とを接続するための接続デバイスである。
【００２４】
＜画像処理装置のＡＲマーカ部の機能構成＞
次に、画像処理装置１３０のＡＲマーカ部１４０の機能構成の詳細について説明する。図５は、ＡＲマーカ部の機能構成の詳細を示す図である。図５に示すように、ＡＲマーカ部１４０は、ＡＲマーカ対象検出部５０１、ＡＲマーカ生成部５０２、車両動作検出部５０３、ＡＲマーカ補正部５０４、ＡＲマーカ出力部５０５を有する。
【００２５】
ＡＲマーカ対象検出部５０１は、撮像装置１１０より撮影画像を取得し、撮影画像に含まれるＡＲマーカ対象物を検出する。また、ＡＲマーカ対象検出部５０１は、検出したＡＲマーカ対象物の位置座標、幅方向長さ、高さ方向長さを、ＡＲマーカ生成部５０２に通知する。
【００２６】
ＡＲマーカ生成部５０２は、ＡＲマーカ対象検出部５０１より通知された、位置座標、幅方向長さ、高さ方向長さに基づいて、投影画像内におけるＡＲマーカの位置、大きさを算出し、ＡＲマーカを含む投影画像を生成する。また、ＡＲマーカ生成部５０２は、生成した投影画像を、ＡＲマーカ補正部５０４に通知する。
【００２７】
車両動作検出部５０３は検出部の一例であり、車両動作検出センサより取得した変位信号を監視し、車両の所定方向の動作を検出する。また、車両動作検出部５０３は、車両の所定方向の動作を検出した場合に、検出結果をＡＲマーカ補正部５０４に通知する。
【００２８】
ＡＲマーカ補正部５０４は補正部の一例である。ＡＲマーカ補正部５０４は、車両動作検出部５０３より所定方向の動作を検出した旨の検出結果を受信した場合に、ＡＲマーカ生成部５０２により生成された投影画像に含まれるＡＲマーカの少なくとも一部を、動作方向に応じて補正する。また、ＡＲマーカ補正部５０４は、少なくとも一部が補正された補正後のＡＲマーカを含む投影画像をＡＲマーカ出力部５０５に通知する。
【００２９】
なお、ＡＲマーカ補正部５０４は、車両動作検出部５０３より所定方向の動作を検出した旨の検出結果を受信しなかった場合には、ＡＲマーカ生成部５０２により生成された投影画像に含まれるＡＲマーカを補正することなく、ＡＲマーカ出力部５０５に通知する。
【００３０】
ＡＲマーカ出力部５０５は、ＡＲマーカ補正部５０４より通知された投影画像を出力する。これにより、車両のフロントガラス１６０には、ＡＲマーカを含む投影画像が投影される。
【００３１】
＜ＡＲマーカ部の各部の処理の具体例＞
次に、ＡＲマーカ部１４０の各部（ＡＲマーカ出力部５０５を除く、ＡＲマーカ対象検出部５０１、ＡＲマーカ生成部５０２、車両動作検出部５０３、ＡＲマーカ補正部５０４）の処理の具体例について説明する。
【００３２】
（１）ＡＲマーカ対象検出部及びＡＲマーカ生成部による処理の具体例
はじめに、ＡＲマーカ対象検出部５０１及びＡＲマーカ生成部５０２による処理の具体例について説明する。図６は、ＡＲマーカ対象検出部及びＡＲマーカ生成部による処理の具体例を示す第１の図である。
【００３３】
このうち、図６（ａ）は、ＡＲマーカ対象検出部５０１が撮像装置１１０より取得した撮影画像６００を示している。図６（ａ）に示すように、撮影画像６００には、自車両の前方を走行する他車両３００が含まれる。
【００３４】
図６（ｂ）は、ＡＲマーカ対象検出部５０１により、撮影画像６００に含まれるＡＲマーカ対象物として、他車両３００が検出された様子を示している。図６（ｂ）の例は、ＡＲマーカ対象検出部５０１が、他車両３００の撮影画像６００内での位置座標（ｘｐ，ｙｐ）、幅方向長さ（ｗｐ）、高さ方向長さ（ｈｐ）を算出した様子を示している。
【００３５】
図６（ｃ）は、撮影画像６００における他車両３００の位置座標、幅方向長さ、高さ方向長さに基づいて、ＡＲマーカ生成部５０２が、投影画像６１０内におけるＡＲマーカ６１１の、
・位置座標（ｘｄ、ｙｄ）、
・幅方向長さ（ｗｄ）
・高さ方向長さ（ｈｄ）
を算出した様子を示している。
【００３６】
（２）車両動作検出部による処理の具体例
次に、車両動作検出部５０３による処理の具体例について説明する。図７は、車両動作検出部による処理の具体例を示す図である。このうち、図７（ａ）は、車両動作検出部５０３による、車両のｙ軸方向の動作の基準位置からの変位７１０と、変位信号７１１と、変位信号の処理結果７１２とを示した図である。
【００３７】
図７（ａ）に示すように、車両動作検出部５０３は、車両のｙ軸方向の動作として、変位７１０を検出する。変位信号７１１において、横軸は時間を表し、縦軸はｙ軸方向の変位７１０を表している。更に、変位信号の処理結果７１２は、変位信号７１１を、単位時間ごとにｐ−ｐ（ピークｔｏピーク）の振幅値に変換することで得られた処理結果である。
【００３８】
車両動作検出部５０３では、変位信号の処理結果７１２が閾値７１３を超えた場合に、車両のｙ軸方向の動作を検出した旨の検出結果を、ＡＲマーカ補正部５０４に通知する。図７（ａ）の例は、車両動作検出部５０３が、矢印７１４で示す時間帯（補正時間帯）において、車両のｙ軸方向の動作を検出した旨の検出結果を、ＡＲマーカ補正部５０４に通知した様子を示している。なお、図７（ａ）に示す処理結果７１２は、例えば、車両が、舗装された道路を走行した後に、舗装されていない砂利道等を一時的に走行し、再び、舗装された道路を走行した場合等に発生する。
【００３９】
図７（ｂ）は、車両動作検出部５０３による、車両のｘ軸方向の動作の基準位置からの変位７２０と、変位信号７２２とを示した図である。図７（ｂ）に示すように、車両動作検出部５０３は、車両のｘ軸方向の動作として、変位７２０を検出する。変位信号７２２において、横軸は時間を表し、縦軸はｘ軸方向の変位７２０を表している。
【００４０】
車両動作検出部５０３では、変位信号７２２が閾値７２３を超えた場合に、車両のｘ軸方向の動作を検出した旨の検出結果を、ＡＲマーカ補正部５０４に通知する。図７（ｂ）の例は、車両動作検出部５０３が、矢印７２４で示す時間帯（補正時間帯）において、車両のｘ軸方向の動作を検出した旨の検出結果を、ＡＲマーカ補正部５０４に通知した様子を示している。なお、図７（ｂ）に示す変位信号７２２は、例えば、車両が、直線の道路を走行した後に、一時的に右方向に急激なカーブを走行し、その後、再び、直線の道路を走行した場合等に発生する。
【００４１】
図７（ｃ）は、車両動作検出部５０３による、車両のｚ軸周りの動作の基準位置からの変位７３０と、変位信号７３２とを示した図である。図７（ｃ）に示すように、車両動作検出部５０３は、車両のｚ軸周りの動作として、変位７３０を検出する。変位信号７３２において、横軸は時間を表し、縦軸はｚ軸周りの変位７３０を表している。
【００４２】
車両動作検出部５０３では、変位信号７３２が閾値７３３を超えた場合に、車両のｚ軸周りの動作を検出した旨の検出結果を、ＡＲマーカ補正部５０４に通知する。図７（ｃ）の例は、車両動作検出部５０３が、矢印７３４で示す時間帯（補正時間帯）において、車両のｚ軸周りの動作を検出した旨の検出結果を、ＡＲマーカ補正部５０４に通知した様子を示している。なお、図７（ｃ）に示す変位信号７３２は、例えば、車両が、平坦な道路を走行した後に、バンクのついた左カーブを一時的に走行し、その後、再び、平坦な道路を走行した場合等に発生する。
【００４３】
（３）ＡＲマーカ補正部による処理の具体例
次に、ＡＲマーカ補正部５０４による処理の具体例について説明する。図８は、ＡＲマーカ補正部による処理の具体例を示す第１の図である。図８において、"補正前"は、ＡＲマーカ生成部５０２より通知される投影画像に含まれるＡＲマーカを示している。図８に示すように、ＡＲマーカ生成部５０２より通知される投影画像に含まれるＡＲマーカは、矩形形状を有している。
【００４４】
一方、図８において、"補正後"は、ＡＲマーカ補正部５０４により補正された後のＡＲマーカを示している。このうち、"ｙ軸方向"は、車両動作検出部５０３より、車両のｙ軸方向の動作を検出した旨の検出結果が通知された場合の補正後のＡＲマーカを示している。図８に示すように、車両のｙ軸方向の動作を検出した旨の検出結果が通知された場合、ＡＲマーカ補正部５０４では、ＡＲマーカに含まれる４辺のうち、ｙ軸方向に略直交する辺を非表示にする、または視認しにくくする、といった補正を施す。これにより、投影画像が投影されることで視認されるＡＲマーカの、ｙ軸方向に略直交する辺が変更されることになる。なお、視認しにくくする補正とは、例えば、輝度を下げる、色を変える等の補正を指す。
【００４５】
また、"ｘ軸方向"は、車両動作検出部５０３より、車両のｘ軸方向の動作を検出した旨の検出結果が通知された場合の補正後のＡＲマーカを示している。図８に示すように、車両のｘ軸方向の動作を検出した旨の検出結果が通知された場合、ＡＲマーカ補正部５０４では、ＡＲマーカに含まれる４辺のうち、ｘ軸方向に略直交する辺を非表示にする、または視認しにくくする、といった補正を施す。これにより、投影画像が投影されることで視認されるＡＲマーカの、ｘ軸方向に略直交する辺が変更されることになる。
【００４６】
更に、"ｚ軸周り"は、車両動作検出部５０３より、車両のｚ軸周りの動作を検出した旨の検出結果が通知された場合の補正後のＡＲマーカを示している。図８に示すように、車両のｚ軸周りの動作を検出した旨の検出結果が通知された場合、ＡＲマーカ補正部５０４では、ＡＲマーカの４隅を曲線にする、または、ＡＲマーカを楕円形状にする、といった補正を施す。これにより、投影画像が投影されることで視認されるＡＲマーカの辺が、曲線に変更されることになる。
【００４７】
このように、ＡＲマーカ補正部５０４では、車両の所定方向の動作が検出されると、ＡＲマーカ生成部５０２により生成された投影画像に含まれるＡＲマーカの少なくとも一部を、車両動作検出部５０３より通知された動作方向に応じて補正する。
【００４８】
＜ＡＲマーカ部によるＡＲマーカ処理の流れ＞
次に、ＡＲマーカ部１４０によるＡＲマーカ処理の流れについて説明する。図９は、ＡＲマーカ部によるＡＲマーカ処理の流れを示すフローチャートである。ヘッドアップディスプレイシステム１００が起動することにより、図９に示すフローチャートのうちのいずれかのフローチャートが実行される。
【００４９】
このうち、図９（ａ）は、車両のｙ軸方向の動作に基づいて、ＡＲマーカを補正するＡＲマーカ処理の流れを示すフローチャートである。ステップＳ９０１において、ＡＲマーカ対象検出部５０１は、撮像装置１１０より撮影画像を取得する。ステップＳ９０２において、車両動作検出部５０３は、車両動作検出センサ１２０よりｙ軸方向の変位信号を取得する。
【００５０】
ステップＳ９０３において、ＡＲマーカ対象検出部５０１は、取得した撮影画像から、ＡＲマーカ対象物を検出したか否かを判定する。ステップＳ９０３において、ＡＲマーカ対象物を検出していないと判定した場合には（ステップＳ９０３においてＮｏの場合には）、ステップＳ９０１に戻る。一方、ステップＳ９０３において、ＡＲマーカ対象物を検出したと判定した場合には（ステップＳ９０３においてＹｅｓの場合には）、ステップＳ９０４に進む。
【００５１】
ステップＳ９０４において、ＡＲマーカ生成部５０２は、ステップＳ９０３において検出されたＡＲマーカ対象物の位置座標、幅方向長さ、高さ方向長さに基づいて、投影画像内におけるＡＲマーカの位置座標、幅方向長さ、高さ方向長さを算出する。また、ＡＲマーカ生成部５０２は、算出結果に基づくＡＲマーカを含む投影画像を生成する。
【００５２】
ステップＳ９０５において、車両動作検出部５０３は、取得したｙ軸方向の変位信号に基づいてｐ−ｐの振幅値を算出し、算出したｐ−ｐの振幅値が所定の閾値７１３を超えたか否かを判定する。ステップＳ９０５において、閾値７１３を超えていないと判定した場合には（ステップＳ９０５においてＮｏの場合には）、ステップＳ９０７に進む。
【００５３】
一方、ステップＳ９０５において、閾値７１３を超えたと判定した場合には（ステップＳ９０５においてＹｅｓの場合には）、ステップＳ９０６に進む。ステップＳ９０６において、ＡＲマーカ補正部５０４は、ステップＳ９０４において生成された投影画像においてＡＲマーカを構成する４辺のうち、ｙ軸方向に略直交する２辺に対して補正を施す。
【００５４】
ステップＳ９０７において、ＡＲマーカ出力部５０５は、ＡＲマーカ生成部５０２において生成された投影画像、または、ＡＲマーカ補正部５０４においてＡＲマーカが補正された投影画像のいずれかを出力する。
【００５５】
ステップＳ９０８において、ＡＲマーカ対象検出部５０１は、ＡＲマーカ処理を終了するか否かを判定する。ステップＳ９０８において、ＡＲマーカ処理を継続すると判定した場合には（ステップＳ９０８においてＮｏの場合には）、ステップＳ９０１に戻る。一方、ステップＳ９０８において、ＡＲマーカ処理を終了すると判定した場合には（ステップＳ９０８においてＹｅｓの場合には）、ＡＲマーカ処理を終了する。
【００５６】
図９（ｂ）は、車両のｘ軸方向の動作に基づいて、ＡＲマーカを補正するＡＲマーカ処理の流れを示すフローチャートである。なお、図９（ｂ）のステップＳ９１１、Ｓ９１３、Ｓ９１４、Ｓ９１７、Ｓ９１８は、図９（ａ）のステップＳ９０１、Ｓ９０３、Ｓ９０４、Ｓ９０７、Ｓ９０８にそれぞれ対応しているため、ここでは、ステップＳ９１２、Ｓ９１５、Ｓ９１６について説明する。
【００５７】
ステップＳ９１２において、車両動作検出部５０３は、車両動作検出センサ１２０よりｘ軸方向の変位信号を取得する。ステップＳ９１５において、車両動作検出部５０３は、取得したｘ軸方向の変位信号が所定の閾値７２３を超えたか否かを判定する。ステップＳ９１５において、閾値７２３を超えていないと判定した場合には（ステップＳ９１５においてＮｏの場合には）、ステップＳ９１７に進む。
【００５８】
一方、ステップＳ９１５において、閾値７２３を超えたと判定した場合には（ステップＳ９１５においてＹｅｓの場合には）、ステップＳ９１６に進む。ステップＳ９１６において、ＡＲマーカ補正部５０４は、ステップＳ９１４において生成された投影画像においてＡＲマーカを構成する４辺のうち、ｘ軸方向に略直交する２辺に対して補正を施す。
【００５９】
図９（ｃ）は、車両のｚ軸周りの動作に基づいて、ＡＲマーカを補正するＡＲマーカ処理の流れを示すフローチャートである。なお、図９（ｃ）のステップＳ９２１、Ｓ９２３、Ｓ９２４、Ｓ９２７、Ｓ９２８は、図９（ａ）のステップＳ９０１、Ｓ９０３、Ｓ９０４、Ｓ９０７、Ｓ９０８にそれぞれ対応しているため、ここでは、ステップＳ９２２、Ｓ９２５、Ｓ９２６について説明する。
【００６０】
ステップＳ９２２において、車両動作検出部５０３は、車両動作検出センサ１２０よりｚ軸周りの変位信号を取得する。ステップＳ９２５において、車両動作検出部５０３は、取得したｚ軸周りの変位信号が所定の閾値７３３を超えたか否かを判定する。ステップＳ９２５において、閾値７３３を超えていないと判定した場合には（ステップＳ９２５においてＮｏの場合には）、ステップＳ９２７に進む。
【００６１】
一方、ステップＳ９２５において、閾値７３３を超えたと判定した場合には（ステップＳ９２５においてＹｅｓの場合には）、ステップＳ９２６に進む。ステップＳ９２６において、ＡＲマーカ補正部５０４は、ステップＳ９２４において生成された投影画像においてＡＲマーカの４隅を曲線にする、または、ＡＲマーカを楕円形状にする補正を施す。
【００６２】
なお、上記説明では、ヘッドアップディスプレイシステム１００が起動することにより、図９に示すフローチャートのうちのいずれかのフローチャートが実行されるものとした。しかしながら、実行されるフローチャートは、いずれか１つに限定されず、いずれか２つのフローチャートまたは３つのフローチャートを、並行して実行させてもよい。ただし、この場合、フローチャート間で重複する工程については、いずれか１の工程が実行されるものとする。また、ステップＳ９０６、Ｓ９１６、Ｓ９２６（ＡＲマーカの補正）については、例えば、ステップＳ９０６＞Ｓ９１６＞Ｓ９２６の優先度にしたがって、いずれか１の処理が実行されるものとする。
【００６３】
＜補正時間帯における投影例＞
次に、補正時間帯における投影例について説明する。図１０Ａは、ＡＲマーカを含む投影画像の補正時間帯における投影例を示す第１の図である。図１０Ａに示すように、車両が舗装されていない砂利道等を走行した場合、ＡＲマーカ補正部５０４には、ｙ軸方向の動作を検出した旨の検出結果が通知されることになる。このため、投影画像に含まれるＡＲマーカが補正され、車両のフロントウィンドウには、補正後のＡＲマーカを含む投影画像が投影されることになる。この結果、図１０Ａに示すＡＲマーカ１０００ａが視認されることになる。
【００６４】
ＡＲマーカ１０００ａの場合、前方を走行する他車両３００と自車両との間でｙ軸方向の相対的な位置関係が変動し、ｙ軸方向の位置ずれを起こしたとしても、ｙ軸方向に略直交する辺が変更されている。このため、運転者に対して与える、ｙ軸方向の位置ずれによる違和感を低減させることができる。
【００６５】
図１０Ｂは、ＡＲマーカを含む投影画像の補正時間帯における投影例を示す第２の図である。図１０Ｂに示すように、車両が右方向に急激なカーブを走行した場合、ＡＲマーカ補正部５０４には、ｘ軸方向の動作を検出した旨の検出結果が通知されることになる。このため、投影画像に含まれるＡＲマーカが補正され、車両のフロントウィンドウには、補正後のＡＲマーカを含む投影画像が投影されることになる。この結果、図１０Ｂに示すＡＲマーカ１０００ｂが視認されることになる。
【００６６】
ＡＲマーカ１０００ｂの場合、前方を走行する他車両３００と自車両との間でｘ軸方向の相対的な位置関係が変動し、ｘ軸方向の位置ずれを起こしたとしても、ｘ軸方向に略直交する辺が変更されている。このため、運転者に対して与える、ｘ軸方向の位置ずれによる違和感を低減させることができる。
【００６７】
図１０Ｃは、ＡＲマーカを含む投影画像の補正時間帯における投影例を示す第３の図である。図１０Ｃに示すように、車両がバンクのついた左カーブを走行した場合、ＡＲマーカ補正部５０４には、ｚ軸周りの動作を検出した旨の検出結果が通知されることになる。このため、投影画像に含まれるＡＲマーカが補正され、車両のフロントウィンドウには、補正後のＡＲマーカを含む投影画像が投影されることになる。この結果、図１０Ｃに示すＡＲマーカ１０００ｃが視認されることになる。
【００６８】
ＡＲマーカ１０００ｃの場合、前方を走行する他車両３００と自車両との間でｚ軸周りの相対的な位置関係が変動し、ｚ軸周りの位置ずれを起こしたとしても、形状が楕円形状に変更されている。このため、運転者に対して与える、ｚ軸周りの位置ずれによる違和感を低減させることができる。
【００６９】
＜まとめ＞
以上の説明から明らかなように、第１の実施形態に係る画像処理装置１３０では、車両のフロントガラスに投影することで、車両の前方に位置するＡＲマーカ対象物がＡＲマーカに囲まれているように視認される投影画像を出力する際、
・車両の所定方向の変位信号を監視し、
・車両の所定方向の動作を検出した場合に、投影画像に含まれるＡＲマーカの少なくとも一部を、動作方向に応じて補正する。
【００７０】
これにより、第１の実施形態によれば、ＡＲマーカ対象物に対してＡＲマーカが位置ずれを起こしたとしても、運転者に与える違和感を低減させることができる。
【００７１】
［第２の実施形態］
上記第１の実施形態では、運転者に対して２次元のＡＲマーカを視認させる場合について説明した。これに対して、第２の実施形態では、運転者に対して３次元のＡＲマーカを視認させる場合について説明する。以下、第１の実施形態との相違点を中心に説明する。
【００７２】
＜ヘッドアップディスプレイシステムを構成する各装置の配置例＞
はじめに、運転者に対して３次元のＡＲマーカを視認させるヘッドアップディスプレイシステムを構成する各装置の配置例について説明する。図１１は、第２の実施形態に係るヘッドアップディスプレイシステムを構成する各装置の配置例を示す図である。
【００７３】
図２との相違点は、光学部材１１００を構成するスクリーン１１１０が可動する点である。このように、スクリーン１１１０が可動することにより、フロントガラス１６０までの光路長が変動する。これにより、虚像が視認される位置をｚ軸方向に動かすことが可能となる。この結果、第２の実施形態に係るヘッドアップディスプレイシステムによれば、虚像が視認される位置をｚ軸方向に１往復動かす間に、虚像の各位置に対応するＡＲマーカを投影画像に含めることで、運転者に、３次元のＡＲマーカを視認させることができる。
【００７４】
＜投影画像の投影例＞
次に、投影画像の投影例について説明する。図１２は、ＡＲマーカを含む投影画像の投影例を示す第２の図である。図１２に示すように、他車両３００に対して、虚像の各位置でのＡＲマーカを投影画像に含めることで、運転者に、３次元のＡＲマーカ１２１０を視認させることができる。
【００７５】
＜ＡＲマーカ対象検出部及びＡＲマーカ生成部による処理の具体例＞
次に、第２の実施形態におけるＡＲマーカ対象検出部５０１及びＡＲマーカ生成部５０２による処理の具体例について説明する。図１３は、ＡＲマーカ対象検出部及びＡＲマーカ生成部による処理の具体例を示す第２の図である。
【００７６】
このうち、図１３（ａ）は、ＡＲマーカ対象検出部５０１が撮像装置１１０より取得した撮影画像１３００を示している。図１３（ａ）に示すように、撮影画像１３００には、自車両の前方を走行する他車両３００が含まれる。
【００７７】
図１３（ｂ）は、ＡＲマーカ対象検出部５０１により、撮影画像１３００に含まれるＡＲマーカ対象物として、他車両３００が検出された様子を示している。図１３（ｂ）の例は、ＡＲマーカ対象検出部５０１が、他車両３００の先端の位置座標（ｘｐｆ，ｙｐｆ）〜後端の位置座標（ｘｐｒ，ｙｐｒ）を算出した様子を示している。また、ＡＲマーカ対象検出部５０１が、他車両３００の先端の幅方向長さ（ｗｐｆ）〜後端の幅方向長さ（ｗｐｒ）、他車両３００の先端の高さ方向長さ（ｈｐｆ）〜後端の高さ方向長さ（ｈｐｒ）を算出した様子を示している。
【００７８】
図１３（ｃ）は、撮影画像１３００における他車両３００の先後端の位置座標、幅方向長さ、高さ方向長さに基づいて、ＡＲマーカ生成部５０２が、虚像の各位置に対応する複数の投影画像それぞれにおけるＡＲマーカの、
・位置座標
・幅方向長さ
・高さ方向長さ
を算出した様子を示している。図１３（ｃ）の例は、６つの投影画像１３２０〜１３２５それぞれにおけるＡＲマーカ１３３０〜１３３５の位置座標、幅方向長さ、高さ方向長さを算出した様子を示している。
【００７９】
例えば、ＡＲマーカ生成部５０２では、投影画像１３２０内におけるＡＲマーカ１３３０の位置座標として、（ｘｄｆ，ｙｄｆ）を算出し、ＡＲマーカ１３３０の幅方向長さとして（ｗｄｆ）を算出し、高さ方向長さとして、（ｈｄｆ）を算出する。同様に、ＡＲマーカ生成部５０２では、投影画像１３２５内におけるＡＲマーカ１３３５の位置座標として、（ｘｄｒ，ｙｄｒ）を算出し、ＡＲマーカ１３３０の幅方向長さとして（ｗｄｒ）を算出し、高さ方向長さとして（ｈｄｒ）を算出する。
【００８０】
＜ＡＲマーカ補正部による処理の具体例＞
次に、第２の実施形態におけるＡＲマーカ補正部５０４による処理の具体例について説明する。図１４は、ＡＲマーカ補正部による処理の具体例を示す第２の図である。図１４において、"補正前"は、ＡＲマーカ生成部５０２より通知される投影画像が投影されることで、該投影画像に含まれるＡＲマーカが視認された場合を示している。図１４に示すように、ＡＲマーカ生成部５０２より通知される投影画像が投影されることで視認されるＡＲマーカは、直方体形状を有している。
【００８１】
一方、図１４において、"補正後"は、ＡＲマーカ補正部５０４により補正された後のＡＲマーカが視認された場合を示している。このうち、"ｙ軸方向"は、車両動作検出部５０３より、車両のｙ軸方向の動作を検出した旨の検出結果が通知された場合の補正後のＡＲマーカが視認された場合を示している。
【００８２】
図１４に示すように、車両のｙ軸方向の動作を検出した旨の検出結果が通知された場合、ＡＲマーカ補正部５０４では、ＡＲマーカに含まれる４辺のうち、ｙ軸方向に略直交する面を非表示にする、または視認しにくくする、といった補正を施す。これにより、投影画像が投影されることで視認されるＡＲマーカの、ｙ軸方向に略直交する面が変更されることになる。
【００８３】
また、"ｘ軸方向"は、車両動作検出部５０３より、車両のｘ軸方向の動作を検出した旨の検出結果が通知された場合の補正後のＡＲマーカを示している。図１４に示すように、車両のｘ軸方向の動作を検出した旨の検出結果が通知された場合、ＡＲマーカ補正部５０４では、ＡＲマーカに含まれる４辺のうち、ｘ軸方向に略直交する面を非表示にする、または視認しにくくする、といった補正を施す。これにより、投影画像が投影されることで視認されるＡＲマーカの、ｘ軸方向に略直交する面が変更されることになる。
【００８４】
更に、"ｚ軸周り"は、車両動作検出部５０３より、車両のｚ軸周りの動作を検出した旨の検出結果が通知された場合を示している。図１４に示すように、車両のｚ軸周りの動作を検出した旨の検出結果が通知された場合、ＡＲマーカ補正部５０４では、ＡＲマーカを円形状または楕円形状にする、といった補正を施す。これにより、投影画像が投影されることで視認されるＡＲマーカは、円柱形状（側面が曲面で、断面が円形状または楕円形状）に変更されることになる。
【００８５】
このように、ＡＲマーカ補正部５０４では、車両の所定方向の動作が検出されると、ＡＲマーカ生成部５０２により生成された投影画像に含まれるＡＲマーカの少なくとも一部を、車両動作検出部５０３より通知された動作方向に応じて補正する。
【００８６】
＜補正時間帯における投影例＞
次に、補正時間帯における投影例について説明する。図１５は、ＡＲマーカを含む投影画像の補正時間帯における投影例を示す第４の図である。図１５に示すように、車両が舗装されていない砂利道等を走行した場合、ＡＲマーカ補正部５０４には、ｙ軸方向の動作を検出した旨の検出結果が通知されることになる。このため、投影画像に含まれるＡＲマーカが補正され、車両のフロントウィンドウには、補正後のＡＲマーカを含む投影画像が投影されることになる。この結果、図１５に示すＡＲマーカ１５００が視認されることになる。
【００８７】
ＡＲマーカ１５００の場合、前方を走行する他車両３００と自車両との間でｙ軸方向の相対的な位置関係が変動し、ｙ軸方向の位置ずれを起こしたとしても、ｙ軸方向に略直交する面が変更されている。このため、運転者に対して与える、ｙ軸方向の位置ずれによる違和感を低減させることができる。
【００８８】
＜まとめ＞
以上の説明から明らかなように、第２の実施形態に係る画像処理装置１３０では、車両のフロントウィンドウに投影することで、該車両の前方に位置する対象物が３次元のＡＲマーカに囲まれているように視認される投影画像を出力する際、
・車両の所定方向の変位信号を監視し、
・車両の所定方向の動作を検出した場合に、投影画像に含まれるＡＲマーカの少なくとも一部を、動作方向に応じて補正する。
【００８９】
これにより、第２の実施形態によれば、ＡＲマーカ対象物に対してＡＲマーカの位置ずれを起こしたとしても、運転者に与える違和感を低減させることができる。
【００９０】
［その他の実施形態］
上記第１及び第２の実施形態では、ＡＲマーカ対象検出部５０１が、ＡＲマーカ対象物として、自車両の前方を走行する他車両３００を検出する場合について説明したが、ＡＲマーカ対象検出部５０１が検出するＡＲマーカ対象物は、他車両に限定されない。例えば、前方を歩行する歩行者を検出してもよい。また、ＡＲマーカ対象検出部５０１が検出する対象物は、動物体に限定されず、静止物体であってもよい。
【００９１】
また、上記第１及び第２の実施形態では、車両動作検出センサからの変位信号に基づいて、所定方向の動作を検出するものとして説明した。しかしながら、所定方向の動作を検出する方法はこれに限定されない。例えば、ステアリング装置の舵角を示す信号に基づいて、所定方向の動作を検出するようにしてもよい。
【００９２】
また、上記第２の実施形態では、スクリーン１１１０が可動することでフロントガラス１６０までの光路長を変動させる構成としたが、光路長を変動させる構成はこれに限定されない。例えば、反射ミラーが可動することでフロントガラス１６０までの光路長を変動させる構成としてもよい。
【００９３】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【００９４】
１００                  ：ヘッドアップディスプレイシステム
１１０                  ：撮像装置
１２０                  ：車両動作検出センサ
１３０                  ：画像処理装置
１４０                  ：ＡＲマーカ部
１５０                  ：光学部材
５０１                  ：ＡＲマーカ対象検出部
５０２                  ：ＡＲマーカ生成部
５０３                  ：車両動作検出部
５０４                  ：ＡＲマーカ補正部
５０５                  ：ＡＲマーカ出力部
６１０                  ：投影画像
６１１                  ：ＡＲマーカ
１０００                ：ＡＲマーカ
１１００                ：光学部材
１３２０〜１３２５      ：投影画像
１３３０〜１３３５      ：ＡＲマーカ
１５００                ：ＡＲマーカ
【図１】
2019202698.tif 000003
【図２】
2019202698.tif 000004
【図３】
2019202698.tif 000005
【図４】
2019202698.tif 000006
【図５】
2019202698.tif 000007
【図６】
2019202698.tif 000008
【図７】
2019202698.tif 000009
【図８】
2019202698.tif 000010
【図９】
2019202698.tif 000011
【図１０Ａ】
2019202698.tif 000012
【図１０Ｂ】
2019202698.tif 000013
【図１０Ｃ】
2019202698.tif 000014
【図１１】
2019202698.tif 000015
【図１２】
2019202698.tif 000016
【図１３】
2019202698.tif 000017
【図１４】
2019202698.tif 000018
【図１５】
2019202698.tif 000019