(57)【特許請求の範囲】
【請求項１】
車両の前景に存在する対象物を認識する認識装置から認識結果を受け取る入力部と、
第１対象物及び前記第１対象物の後に認識された第２対象物が存在する場合、表示媒体に表示されたときに前記第１対象物と前記第２対象物とを結ぶ仮想線を表す所定画像を生成するように表示源を制御する制御部と、
を備える表示制御装置。
【請求項２】
前記制御部は、前記第１対象物が認識されてから前記第２対象物が認識されるまでの時間間隔が所定時間以下であるときに前記所定画像を前記表示源に生成させる、
請求項１に記載の表示制御装置。
【請求項３】
前記仮想線は、前記第１対象物から前記第２対象物に向かうほど細くなる、
請求項１に記載の表示制御装置。
【請求項４】
前記仮想線は、前記第１対象物から前記第２対象物に向かうほど透明度が増す、
請求項１に記載の表示制御装置。
【請求項５】
車両の前景に存在する対象物を認識する認識装置から認識結果を受け取る入力部と、
第１対象物及び前記第１対象物の後に認識された第２対象物が存在する場合、表示媒体に表示されたときに前記第１対象物から前記第２対象物へ向かう線分である仮想線を表す所定画像を生成するように表示源を制御する制御部と、
を備える表示制御装置。
【請求項６】
車両の前景に存在する対象物を認識する認識装置から認識結果を受け取る入力部と、
表示源と、
第１対象物及び前記第１対象物の後に認識された第２対象物が存在する場合、表示媒体に表示されたときに前記第１対象物と前記第２対象物とを結ぶ仮想線を表す所定画像を生成するように前記表示源を制御する制御部と、
を備える投影装置。
【請求項７】
車両の前景に存在する対象物を認識する認識装置から認識結果を受け取る入力部と、
表示源と、
第１対象物及び前記第１対象物の後に認識された第２対象物が存在する場合、表示媒体に表示されたときに前記第１対象物から前記第２対象物へ向かう線分である仮想線を表す所定画像を生成するように前記表示源を制御する制御部と、
を備える投影装置。
【請求項８】
車両の前景に存在する対象物を認識する認識装置と、所定画像を生成する表示源とを含む表示システムにおける表示制御装置において実行される表示制御プログラムであって、
前記表示制御装置のコンピュータに対して、
前記認識装置から認識結果を受け取る処理と、
第１対象物及び前記第１対象物の後に認識された第２対象物が存在する場合、表示媒体に表示されたときに前記第１対象物と前記第２対象物とを結ぶ仮想線を表す前記所定画像を前記表示源に生成させる処理と、
を実行させる表示制御プログラム。
【請求項９】
車両の前景に存在する対象物を認識する認識装置と、所定画像を生成する表示源とを含む表示システムにおける表示制御装置において実行される表示制御プログラムであって、
前記表示制御装置のコンピュータに対して、
前記認識装置から認識結果を受け取る処理と、
第１対象物及び前記第１対象物の後に認識された第２対象物が存在する場合、表示媒体に表示されたときに前記第１対象物から前記第２対象物へ向かう線分である仮想線を表す前記所定画像を前記表示源に生成させる処理と、
を実行させる表示制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、車両の運転者に注意を喚起するための情報の表示を制御する技術に関する。
【背景技術】
【０００２】
現在、車両の運転者に注意喚起する先進運転支援システム（ＡＤＡＳ：Advanced  Driver  Assistance  Systems）が普及しつつある。ＡＤＡＳのアプリケーションには、車線逸脱警報（ＬＤＷ：Lane  Departure  Warning）、前方車両衝突警報（ＦＣＷ：Forward  Collision  Warning）、歩行者衝突警報（ＰＣＷ：Pedestrian  Collision  Warning）などがある。このＡＤＡＳでは、白線などの走行環境、先行車両および後方から接近する車両、進行方向上の歩行者などを、車載カメラまたは車載レーダ等のセンサで検知し、その検知内容に基づく情報を表示する。情報の表示先としては、例えば、メータディスプレイ、ＨＵＤ（Head‐Up  Display）、ＨＭＤ（Head‐Mounted  DisplayまたはHelmet‐Mounted  Display）、眼鏡型ディスプレイ（Smart  Glasses）などがある。
【０００３】
一般的に、不注意の盲目（inattentional  blindness）という現象が知られているように、対象が同時に存在した場合、運転者は、現在注意を払っている対象以外の対象を認識することが困難である。そこで、センサによって検知された前方の車両、歩行者等の対象の情報を、運転者の前景に重畳表示するＡＤＡＳが開発されている。これにより、運転者が積極的に探さない、または注意していない対象についての情報を運転者に提示することが可能となり、より効果的な運転支援が実現できる。
【０００４】
従来の情報提示装置として、例えば、カメラ画像における対象の面積、重心などの特徴量に基づき、人間の視覚情報処理の初期段階における単純な視覚的特徴をカメラ画像と同じ空間座標系にマッピングした２次元特徴マップを生成し、２次元特徴マップから、注意の焦点を示す顕著性マップを生成するものがある。注意の焦点とは車両の運転者が注意を向けやすい領域であり、例えば、先行車両が写る領域などである。そして、従来の情報提示装置は、運転者が注意していない対象が現れた場合、顕著性マップを生成し直し、注意の焦点を対象が現れた領域に変更する。そして従来の情報提示装置は、変更された注意の焦点に基づいて運転者に情報を提示する（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−８７７２号公報
【非特許文献】
【０００６】
【非特許文献１】Hye Sun Park, Min Woo Park, Kwang Hee Won, Kyong-Ho Kim, and Soon Ki Jung, "In-Vehicle AR-HUD System to Provide Driving-Safety Information", ETRI Journal, Volume 35, Number 6, December 2013.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１の技術は、注意の焦点の変更により、運転者の視線移動を誘発し、運転者の負担を増加させてしまう、という課題がある。また、特許文献１の技術は、注意の焦点の変更により、運転者が変更された注意の焦点に注意を向けるため、その他の注意への負担がかかり、新たな見落としが発生する、という課題がある。
【課題を解決するための手段】
【０００８】
本開示の一態様は、運転者の視線移動を必要とせずに、複数の注意すべき対象を認知させることができる表示制御のためのコンピュータ実装方法（A computer-implemented method）を提供する。
【０００９】
本開示の一態様に係るコンピュータ実装方法は、ユーザの前景に存在する移動物を認識する認識部と、認識部の認識結果に基づいて生成された所定画像を表示媒体に表示する表示源とを含む映像システムのためのコンピュータ実装方法であって、認識部からの入力データに基づいて、ユーザの前景に第１対象物及び前記第１対象物の後に認識された第２対象物が存在する場合、表示媒体に表示されたときに前記第１対象物と前記第２対象物とを結ぶ仮想線を表す所定画像を生成して、表示媒体に表示するように表示源を制御する。
【００１０】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【００１１】
本開示によれば、視線移動を必要とせずに、複数の注意すべき対象を認知させることができる。
【図面の簡単な説明】
【００１２】
【図１】本開示の実施の形態１〜４に係る投影装置の構成例を示すブロック図
【図２】本開示の実施の形態１に係る情報提示装置の動作例を示すフローチャート
【図３】本開示の実施の形態１に係る情報提示装置が情報提示を行う前景の一例を示す図
【図４】本開示の実施の形態１に係る情報提示装置が行う情報提示の４つの例を示す図
【図５】本開示の実施の形態１に係る情報提示装置が行う情報提示の４つの例を示す図
【図６】本開示の実施の形態１に係る情報提示装置が行う情報提示の４つの例を示す図
【図７】本開示の実施の形態１に係る情報提示装置が行う情報提示の４つの例を示す図
【図８】本開示の実施の形態１に係る情報提示装置が行う情報提示の４つの例を示す図
【図９】本開示の実施の形態２に係る情報提示装置の動作例を示すフローチャート
【図１０】本開示の実施の形態２に係る情報提示装置が情報提示を行う前景の一例を示す図
【図１１】本開示の実施の形態２に係る情報提示装置が行う情報提示の４つの例を示す図
【図１２】本開示の実施の形態３に係る情報提示装置の動作例を示すフローチャート
【図１３】本開示の実施の形態３に係る情報提示装置の情報取得タイミングの例を示すタイミングチャート
【図１４】本開示の実施の形態３に係る情報提示装置が行う情報提示の３つの例を示す図
【図１５】本開示の実施の形態４に係る情報提示装置の動作例を示すフローチャート
【図１６】本開示の実施の形態４に係る情報提示装置が情報提示を行う前景の一例を示す図
【図１７】本開示の実施の形態１〜４に係る情報提示装置のハードウェア構成例を示すブロック図
【発明を実施するための形態】
【００１３】
以下、本開示の実施の形態について、図面を参照して説明する。
【００１４】
（実施の形態１）
本開示の実施の形態１について説明する。
【００１５】
図１は、本実施の形態に係る映像システム１０の構成例を示すブロック図である。図１において、映像システム１０は、表示制御装置１００と、表示源４００と、認識部２００とを有する。
【００１６】
認識部２００は、ユーザの前景（以下、単に「前景」という）を表した前景画像を取得して、前景画像に含まれる移動物を認識する。前景を表した前景画像は車両の前方に設置されたカメラにより取得されるため、ユーザの前景は、すなわち、車両前進方向の前景である。具体的には、認識部２００は、カメラ（不図示）によって撮影された、前景を表した前景画像を取得する。なお、ユーザが運転者の場合、カメラは車両前方に設置され、運転者の前景を撮影する。また、ユーザが歩行者である場合、カメラはウェアラブル端末に設置され、歩行者の前景を撮影する。
【００１７】
認識部２００は、カメラによって撮影された前景画像を取得した後、前景画像に予め定められた物体が含まれているか否かを判定し、移動物を認識する。認識部２００は、画像に含まれる特徴量を抽出し、抽出された特徴量に基づき物体認識を行う。なお、物体認識に関する技術は公知のため、詳細な説明は省略する。
【００１８】
表示制御装置１００は、認識部２００からの入力データに基づいて、表示源４００が投影する画像データを制御する。なお、画像データは表示源４００によって生成されるものとして説明するが、表示制御装置１００または図示しない他の構成要素によって生成されてもよい。
【００１９】
表示源４００は、画像データをディスプレイ（図示せず）へ投影する。表示源４００は、プロジェクタ機能を有し、ディスプレイ（表示媒体ともいう）へ直接投影する。なお、表示源４００は、プロジェクタ機能に代えて、例えば、ディスプレイへの表示機能、または、ホログラムによる出力機能を用いてもよい。ホログラムによる出力機能を用いる場合、導光板の内部全反射条件を満たす平行光束群を内部全反射して導光する導光板を用いて、導光板を内部全反射して導光される平行光束群の一部を射出することで乗員に虚像を視認させる方式でもよい。なお、導光板を用いた方式においては、プロジェクタのように画像データを直接的に投影するものではないが、説明の便宜上、プロジェクタ方式と同様に投影または投射という定義で説明する場合もある。
【００２０】
また、ディスプレイが後述の光学系透過型（光学シースルー型）などの場合には、表示源（以下、表示部ともいう）４００は、ディスプレイに画像データを表示する。以下、ディスプレイが虚像投影型など、または、光学透過型などの場合を含めて、説明の簡易化のために、画像データはディスプレイに表示されるものとして説明する場合もある。
【００２１】
ディスプレイとしては、例えば、ＨＵＤ（Head‐Up  Display）、ＨＭＤ（Head‐Mounted  DisplayまたはHelmet‐Mounted  Display）、眼鏡型ディスプレイ（Smart  Glasses）が適用される。ＨＵＤは、例えば、車両のウインドシールドであってもよいし、別途設けられるガラス面、プラスチック面などであってもよい。また、ウインドシールドは、例えば、フロントガラスであってもよいし、車両のサイドガラスやリアガラスであってもよい。
【００２２】
また、ディスプレイは、虚像投影型、網膜投影型、光学透過型（光学シースルー型）、ビデオ透過型（ビデオシースルー型）、非透過型のいずれであっても良い。表示する表示画像は、虚像であっても良いし、実像であっても良い。光学透過型ディスプレイは、車載HUDとしての研究開発が進められている（非特許文献１）。光学透過型ディスプレイは、たとえば車両のウインドシールドの内側面に張り付けられてもよいし、また、車両のウインドシールドを成型する過程において、ウインドシールドの中に組み込まれてもよい。
【００２３】
以下の説明においてはディスプレイは虚像投影型のHUDとして説明するが、その限りではなく、上述した種々のディスプレイであってもよい。HUDの代わりに光学透過型ディスプレイを適用する場合には、ディスプレイに表示される表示情報は虚像ではなく実像としてユーザに視認される。
【００２４】
なお、映像システム１０は、上述したディスプレイを含む構成であってもよい。
【００２５】
映像システム１０において生成される画像データは、当該装置のユーザに提示するための表示情報を含む。表示情報は、画像データの一部としてディスプレイに表示される。表示された表示情報は、虚像としてユーザに視認される。ディスプレイに投影された表示情報が虚像としてユーザに視認される原理は、公知技術であるため、説明を省略する。
【００２６】
なお、表示情報は、画像データの一部としてディスプレイに投影されるのではなく、前景に重畳されるようにディスプレイに投影されてもよい。この場合、表示制御装置１００は表示情報だけを制御し、表示源４００は表示情報だけをディスプレイに投影するようにしてもよい。以下では、表示情報の一例としての仮想線が前景に重畳されるようにディスプレイに投影される例について説明する。
【００２７】
なお、以下では、ユーザが車両の乗員、特に車両の運転者である例について説明するが、これに限定されるものではない。例えば、ディスプレイとしてＨＭＤが適用された場合、ユーザは車両の乗員でもよいし、歩行者でもよい。すなわち、映像システム１０は車載機器であってもよいし、利用するときに車両に持ち込まれる機器であってもよいし、ユーザが歩行時に装着する機器であってもよい。
【００２８】
次に、本実施の形態の表示制御装置１００の構成について説明する。図１において、表示制御装置１００は、判定部１０１、制御部１０２を有する。判定部１０１は、認識部２００からの入力データに基づいて、前景に移動物が２以上存在するか否かを判定する。移動物が２以上存在すると判定された場合において、制御部１０２は、表示媒体に投影されたときに、所定位置を起点として２以上の移動物の各々へ向かう仮想線を表わす所定画像を生成し、生成された所定画像を表示媒体に投影するよう、表示源４００を制御する。以下、具体的に説明する。なお、表示制御装置１００は、認識部２００との接続部、および、表示源４００との接続部を有してもよい。
【００２９】
判定部１０１は、認識部２００から移動物に関する情報を取得する。移動物に関する情報は、少なくとも移動物の存否を含む。また、移動物に関する情報は、前景画像における位置情報を含んでもよい。判定部１０１は、移動物に関する情報に基づいて、前景に存在する移動物の数を認識する。そして、判定部１０１は、前景に存在する移動物が１つであるか、２つ以上であるかを判定し、判定結果を制御部１０２へ出力する。
【００３０】
制御部１０２は、判定部１０１において前景に存在する移動物が２以上であると判定された場合に、所定画像を生成して、生成された所定画像をディスプレイに投影するよう、表示源４００を制御する。表示源４００において生成された所定画像は、ディスプレイに投影されたときにユーザに虚像として視認される。所定画像は、ディスプレイ上において、所定位置を起点として２以上の移動物の各々へ向かう仮想線である。すなわち、仮想線は、ユーザが前景を見たときに、ディスプレイ上において所定位置から２以上の移動物の各々へ向かうように視認される画像である。
【００３１】
次に、本実施の形態の表示制御装置１００の動作例について説明する。図２は、本実施の形態の表示制御装置１００の動作例を示すフローチャートである。
【００３２】
以下では、動作例を説明するにあたり、図３に示す前景の一例を用いる。
【００３３】
図３は、仮想線を表わす所定画像がディスプレイに投影されていない状態の前景の一例を示す。図３の前景３００には、車両の前方の光景として、道路、建物、道路脇に歩行者などが存在している。位置３０１は、車両の進行方向左側を歩行中の歩行者（移動物の一例）の位置を示しており、位置３０２は、車両の進行方向右側を歩行中の歩行者（移動物の一例）の位置を示している（図３における円形参照）。なお、図３の符号３１１〜３１３については、後述する。
【００３４】
ステップＳ２０１において、認識部２００は、前景を表した前景画像を取得して、前景画像に含まれる移動物を認識する。なお、前景には１以上の移動物が存在しているものとする。
【００３５】
次に、ステップ１０１〜Ｓ１０３の処理を表示制御装置１００が行う。ステップＳ１０１において、判定部１０１は、前景画像に基づき、前景に移動物が２以上存在するか否かを判定する。判定部１０１が、前景において移動物が２以上存在すると判定した場合（ステップＳ１０１：ＹＥＳ）、フローはステップＳ１０２へ進む。
【００３６】
ステップＳ１０２において、表示制御装置１００における制御部１０２は、表示媒体（ディスプレイ）に投影されたときに、所定位置又は所定軸を起点として複数の移動物の各々に向けた仮想線となる所定画像を生成して、生成された所定画像をディスプレイに投影するよう、表示源４００を制御する。
【００３７】
また、ステップＳ１０１において、判定部１０１が、前景に移動物が２以上存在しないと判定した場合、すなわち前景に移動物が１つ存在すると判定した場合（ステップＳ１０１：ＮＯ）、フローはステップＳ１０３に進む。
【００３８】
ステップＳ１０３において、ディスプレイに投影されたときに、所定位置又は所定軸を起点として移動物に向けた仮想線となる所定画像を生成して、生成された所定画像をディスプレイに投影するよう、制御部１０２は表示源４００を制御する。なお、ディスプレイに投影されたときに、移動物の位置を表す所定画像を生成し、生成された所定画像をディスプレイに投影するよう、制御部１０２は表示源４００を制御してもよい。移動物の位置を表す所定画像は、例えば、移動物の下方の円形形状で表示される。なお、所定画像の形状は円形に限定されず、また、表示位置も移動物の下方に限定されない。
【００３９】
ステップＳ３０１において、表示源４００は、制御部１０２からの指示に基づき、所定画像を生成する。そして、表示源４００は、生成された所定画像をディスプレイに投影する。これにより、前景に存在する移動物の位置に対応した虚像が表示される。
【００４０】
図４は、表示源４００が生成する所定画像が、ディスプレイに投影されたときの様子を示す。以下、図４を用いて、表示源４００において生成される所定画像について説明する。
【００４１】
判定部１０１において、移動物が１つ存在すると判定されたとき、所定画像がディスプレイに投影されることにより、前景は図４Ａのようになる。図４Ａにおいて、画像４０１は点４０５から移動物へ向かう仮想線である。仮想線は前景に重畳され、ユーザによって虚像として視認される。
【００４２】
また、判定部１０１において、移動物が２つ存在すると判定されたとき、所定画像がディスプレイに投影されることにより、図４Ｂに示されるような前景になる。図４Ｂにおいて、画像４０１および画像４０２は、点４０５から各移動物へ向かう仮想線である。仮想線は前景に重畳され、ユーザによって虚像として視認される。
【００４３】
図４Ｂの状態から移動物が１つ増えた場合、判定部１０１は移動物が３つ存在すると判定し、図４Ｃに示されるような前景になる。図４Ｃにおいて、画像４０３は、所定位置である点４０５から増えた移動物へ向かう仮想線である。仮想線は前景に重畳され、ユーザによって虚像として視認される。
【００４４】
図４Ｃの状態から移動物が１つ減り、残る２つの移動物の位置が重なった場合、図４Ｄに示されるような前景になる。図４Ｄにおいては、図４Ｃにおける画像４０１および画像４０２は前景に重畳されず、画像４０３のみが仮想線として前景に重畳される。
【００４５】
図４Ａ〜図４Ｄにおいて、画像４０１〜４０３および点４０５が表示源４００において生成される所定画像、すなわち仮想線である。ユーザは所定位置である点４０５の周辺を注目するだけで、点４０５から移動物へ向かう仮想線の分岐数と仮想線の方向を認識し、前景に存在する移動物の数、移動物の位置を直観的に理解することが可能となる。なお、点４０５はディスプレイに投影されなくてもよい。
【００４６】
なお、図４Ａ〜図４Ｄまで示した仮想線は一例であり、図５Ａ〜図５Ｄに示すように楔型の形状とし、移動物の位置や状態によって変化する太さを有していてもよい。これにより例えば、自車両から移動物までの距離が短いほど、または、移動物の自車両に対する相対的な移動速度が速いほど、所定位置における仮想線を太くすることにより、ユーザが移動物までの距離や移動物との衝突リスクを直観的に理解できるようになる。また、所定位置から移動物に向かうほど仮想線が細くなるため、点４０５の周辺を注目しているユーザにとって、無駄となる表示を減らし、ユーザが必要以上に仮想線に注目しないようにすることも可能となる。
【００４７】
さらに、図６Ａ〜図６Ｄに示すように、各移動物へ向かう仮想線の起点は、所定位置でなく、所定軸であってもよい。これにより例えば、ユーザは前景において所定軸周辺のみを注目することにより、前景に存在する移動物の数、移動物の位置を直観的に理解することが可能となる。また、図７Ａ〜図７Ｄに示すように、所定軸は画像としてディスプレイに投影されてもよい。これにより、ユーザが注目すべき範囲を明確にすることが可能となる。ユーザは投影された所定軸の周辺のみを注目するだけで、前景に存在する移動物の数、移動物の位置を直観的に理解することが可能となる。
【００４８】
また、各移動物へ向かう仮想線の起点である所定位置は、例えば、車室内に設置された車内カメラが検出したユーザの顔向きと視線から算出された、表示媒体上におけるユーザの視点であってもよい。これにより、ユーザの視点がどこであっても、ユーザは前景に存在する移動物の数、移動物の位置を直観的に理解することが可能となる。
【００４９】
また、各移動物へ向かう仮想線の起点である所定位置は、先行車両の端点や輪郭上の点であってもよい。例えば、先行車両の左後輪を、自車両の進行方向に向かって左側に存在する移動物へ向かう仮想線の起点である所定位置とし、先行車両の右後輪を、自車両の進行方向に向かって右側に存在する移動物へ向かう仮想線の起点である所定位置としてもよい。これにより、ユーザは先行車両に注目しながら、前景において左右に存在する移動物の数、移動物の位置を直観的に理解することが可能となる。
【００５０】
なお、各移動物の種別や状態によって仮想線の起点である所定位置が異なるようにしてもよい。例えば、対象の種別が歩行者であるか自転車であるかによって、それぞれの仮想線の起点である所定位置が異なるようにしてもよい。こうすることで、歩行者ごと、自転車ごとに移動物がグルーピングされて表示されるため、ユーザはより注目すべき種別の移動物から優先的にその数や位置を理解することが可能となる。また、例えば、自車両に接近しつつある移動物であるか、離れつつある移動物であるかによって、それぞれの仮想線の起点である所定位置が異なるようにしてもよい。また、例えば、移動物をその移動速度によって複数のグループに分け、それぞれのグループごとに仮想線の起点である所定位置が異なるようにしてもよい。こうすることでユーザは、より衝突の可能性が高い自車両に接近しつつある移動物や、速度の速い移動物を優先的に、その数や位置を理解することが可能となる。
【００５１】
また、図５Ａ〜図５Ｄに示すように、所定位置である点（仮想線の起点）から移動物に向かうほど仮想線の色を薄くしたり、透明度を増してもよい。また、これらの処理を組み合わせても良い。これにより、点４０５の周辺を注目しているユーザにとって無駄となる表示を減らし、ユーザが必要以上に仮想線に注目しないようにすることが可能となる。
【００５２】
また、仮想線は、図６Ａ〜図６Ｄに示すように、前景におけるユーザの視点に近い垂直線、例えば前景中央を通る垂直線に対し、移動物の位置から下ろす垂線としてもよい。ユーザが前景と仮想線を同時に見る場合、ユーザの焦点が前景に合っていると、仮想線が水平方向に二重に見える可能性があるが、仮想線が水平方向であるため、ユーザは仮想線が二重に見えていることに気付きにくくなる。さらに、前景中央を通る垂直線に対し、下ろした各垂線を結ぶ垂直線を可視化してもよい。ユーザは、前景中央を通る垂直線に対し、下ろした各垂線を結ぶ垂直線だけに注目すれば、前景に存在する移動物の数、移動物の位置を直観的に理解することが可能となる。
【００５３】
なお、図３に示すように、車両の正面方向には、基本視線位置（消失点）３１１、下方視線位置３１２、および上方視線位置３１３が規定されているとする（図中の三角形参照）。基本視線位置（消失点）３１１は、通常ユーザが前景において注目している位置である。下方視線位置３１２は、基本視線位置３１１と車両を結ぶ線上において車両に近い位置である。一方、上方視線位置３１３は、基本視線位置３１１と車両を結ぶ線上において車両から遠い位置である。下方視線位置３１２と上方視線位置３１３は、前景において車両前方の先行車両に重ならず、かつ、なるべく基本視線位置（消失点）３１１に近い位置が望ましい。なお、基本視線位置３１１、下方視線位置３１２、および上方視線位置３１３は、ディスプレイに投影されない。
【００５４】
図８Ａは、図３の各位置を用いずに、各移動物を直接仮想線でつないだ例である。例えば、車両前方の右側と左側それぞれで最も自車両に近い２つの移動物を仮想線で直接つなぐことにより、ユーザは最も注意を必要とする移動物の存在の認識が容易になる。最も自車両に近い移動物が入れ替わった場合、仮想線は都度つなぎ直される。
【００５５】
また、図８Ｂ〜図８Ｄは、図３に示す各位置を用いて各移動物を仮想線でつないだ例である。具体的には、図８Ｂは、第１の移動物の位置３０１と第２の移動物の位置３０２とを、基本視線位置３１１を介して仮想線でつないだ例である。図８Ｃは、第１の移動物の位置３０１と第２の移動物の位置３０２とを、下方視線位置３１２を介して仮想線でつないだ例である。図８Ｄは、第１の移動物の位置３０１と第２の移動物の位置３０２とを、上方視線位置３１３を介して曲線状の仮想線でつないだ例である。例えば、車両の前方に先行車両が存在する場合、図８Ｂのように基本視線位置３１１を介して仮想線をつないだ場合、仮想線が先行車両に重なって表示され、ユーザが先行車両と仮想線を視認しにくくなる可能性がある。下方視線位置３１２、もしくは上方視線位置３１３を介して各移動物を仮想線でつなぐことにより、ユーザが先行車両と仮想線を視認しにくくなることを回避できる。
【００５６】
図８Ａ〜図８Ｄに示す仮想線は、図４〜図７に示す仮想線と同様に、制御部１０２により決定される。なお、本実施の形態において、仮想線の形状は図４〜図８に示すように直線状または楔形状、曲線状としたが、これらに限定されない。
【００５７】
また、本実施の形態において、ディスプレイの大きさなどの制約により、仮想線の全部を提示できない場合、提示可能な範囲において仮想線の一部を提示するようにしてもよい。
【００５８】
また、本実施の形態において、仮想線は、前景に重畳表示するとしたが、これに限定されない。例えば、仮想線は、前景を撮影した画像データに重畳表示されてもよい。
【００５９】
また、本実施の形態において、車両の前方の状況に応じて図８Ａ〜図８Ｄに示す仮想線を切り替えてもよい。例えば、先行車両が存在しない場合は図８Ａに示される仮想線４０１を表示し、先行車両との車間距離が充分である場合は図８Ｃに示される仮想線４０３を表示し、先行車両との車間距離が充分ではない場合は図８Ｄに示される仮想線４０４を表示するように切り替えてもよい。
【００６０】
以上のように、本実施の形態の表示制御装置１００は、前景に複数の移動物が存在する場合、その複数の移動物の位置をつなぐ仮想線を、前景に重畳してユーザに提示することを特徴とする。これにより、表示制御装置１００は、ユーザに対して、視線移動を必要とせずに、複数の注意すべき対象である移動物を認知させることができる。
【００６１】
上記態様では、前景に移動物が２以上存在すると判断された場合、ディスプレイに投影されたときの所定位置又は所定軸を起点として２以上の移動物の各々に向けた仮想線を表した所定画像を生成し、仮想線を表した所定画像をディスプレイに表示する。これにより、例えば、２以上の移動物を矩形線で囲む画像を表示する場合と比較して、ユーザは所定位置又は所定軸という一点に注意を払い、その一点から２以上の移動物が存在する各方向を認識できる。すなわち、２以上の移動物を矩形線で囲む画像を表示する場合、ユーザは、２以上の移動物を矩形線で囲む画像の各々に視線を向けて、２以上の移動物の各々を認識する必要がある。例えば、車両を運転している際に、左右の歩道にそれぞれ歩行者がいる場合、２以上の移動物を矩形線で囲む画像が強調されるために、左右の歩行者を矩形線で囲む画像の各々に目が惹かれる。そのため、左右の歩行者を矩形線で囲む画像の箇所の各々にて、ユーザの視線が停止する時間が長くなり、前方への注意がかえって疎かとなって、危険が増加する場合がある。
【００６２】
これに対し、本態様では、ユーザは所定位置又は所定軸という一点に注意を払い、その一点から２以上の移動物が存在する各方向を認識できるので、所定位置又は所定軸のいずれか一点に注意を払えば、２以上の移動物が存在する各方向について情報を一度に得ることが出来る。そのため、本態様によれば、ユーザは２以上の移動物が存在する各方向について情報を一度に得ることが出来るので、移動物の数に多少に関わらず、正確な情報を瞬時に把握できるので、その分、例えば、車両を運転する場合、ユーザは前方への注意も十分に払いながら、周辺の移動物に関する情報を得て、安全な運転ができる。
【００６３】
上記説明では、判定部１０１が取得する移動物の位置情報は、認識部２００が取得する前景画像に基づいて認識されたが、この限りではない。例えば、移動物の位置情報は、位置情報を生成する位置情報生成装置（図示せず）から出力される。位置情報は、例えば、視覚センサの出力信号から抽出される顕著性マップが示す位置情報、画像認識された自転車、歩行者等の位置を示す位置情報、車車間通信を介して受信する周辺の他の移動物の位置と自車両位置とから算出される相対位置を示す位置情報、路側センサから路車間通信を介して受信する周辺の他の移動物の位置と自車両位置とから算出される相対位置を示す位置情報、などが挙げられる。
【００６４】
（実施の形態２）
本開示の実施の形態２について説明する。
【００６５】
本実施の形態に係る映像システムの構成例を示すブロック図は、実施の形態１同様、図１である。図１において、映像システム１０は、表示制御装置１００と、表示源４００と、認識部２００とを有する。表示制御装置１００は、判定部１０１、制御部１０２を有する。また、認識部２００と表示源４００の動作は実施の形態１と同様である。
【００６６】
本実施の形態の表示制御装置１００の動作例について説明する。図９は、本実施の形態の表示制御装置１００の動作例を示すフローチャートである。
【００６７】
以下では、動作例を説明するにあたり、図１０に示す前景の一例を用いる。また、本実施の形態における「対象」は、実施の形態１における「移動物」と同じ意味であり、本表示制御装置１００のユーザは車両の運転者であるものとして説明する。
【００６８】
図１０は、提示領域の提示が行われる前の運転者の前景の一例を示す図である。図１０において、図３と同じ部分には同一符号を付し、その説明は省略する。図１０において、枠６０１は、車両の進行方向左側を走行中の自転車（第１の対象の一例）の位置および大きさを示しており、枠６０２は、車両の進行方向右側を走行中の自転車（第２の対象の一例）の位置および大きさを示している（図中の長方形参照）。
【００６９】
ステップＳ５０１において、判定部１０１は、対象に関する情報として対象の位置情報および大きさ情報を認識部２００から取得する。大きさ情報とは、前景における対象の見かけの大きさを示す情報である。ここでは例として、前景３００において、第１の対象の位置情報および大きさ情報として、枠６０１が取得される。
【００７０】
ステップＳ５０２において、判定部１０１は、提示中の提示領域があるか否かを判定する。提示領域とは、後述する単独提示領域と連結提示領域を併せた総称である。前景３００において、提示中の提示領域がないと判定された場合（ステップＳ５０２：ＮＯ）、フローはステップＳ５０３へ進む。
【００７１】
ステップＳ５０３において、判定部１０１は、取得した位置情報および大きさ情報に基づいて、単独提示領域を決定する。単独提示領域とは、１つの対象の位置を示す提示のための領域である。すなわち、単独提示領域とは、所定画像が表示媒体に投影されたときに、移動物に対応した位置に存在するようにユーザに虚像として視認される所定形状の仮想図形である。ここでは例として、第１の対象の位置および大きさに対応する単独提示領域が決定される。ここで、単独提示領域の表示位置は、第１の対象の位置に対応して例えば第１の対象の下方に決定され、また、単独提示領域の形状は、楕円に決定される（例えば、図１１Ａに示す提示領域７０１ａ）。なお、単独提示領域の大きさは、第１の対象の大きさを反映するように決定されてもよいし、形状は、楕円以外の形状であってもよい。また、単独提示領域の表示位置は、対象の下方に限定されない。
【００７２】
ステップＳ５０５において、制御部１０２は、判定部１０１が決定した提示領域に代表情報を付与する。代表情報とは、対象の種別、対象の状態を示すための情報である。そして、制御部１０２は、提示領域を表示源４００へ出力する。その後、表示源４００は、所定のディスプレイに対して提示領域を投影する。これにより、運転者の前景に存在する対象に対応して、虚像としての提示領域が表示される。ここでは例として、第１の対象に対応する単独提示領域に対して、自転車の代表情報として予め定められた青色が付与される。これにより、前景３００において、第１の対象に対応する単独提示領域（例えば、図１１Ａに示す提示領域７０１ａ）が青色で表示される。
【００７３】
その後、フローは、ステップＳ５０１へ戻る。以下、具体例の説明を続ける。
【００７４】
ステップＳ５０１において、判定部１０１は、対象の位置情報および大きさ情報を取得する。ここでは例として、前景３００において、第２の対象の位置情報および大きさ情報として、枠６０２が取得される。
【００７５】
ステップＳ５０２において、判定部１０１は、提示中の提示領域があるか否かを判定する。ここでは例として、前景３００において、提示中の提示領域として、第１の対象に対応する単独提示領域があるため（ステップＳ５０２：ＹＥＳ）、フローは、ステップＳ５０４へ進む。
【００７６】
ステップＳ５０４において、判定部１０１は、取得した位置情報および大きさ情報に基づいて、連結提示領域を決定する。連結提示領域とは、複数の対象の位置をつなぐための提示領域であり、すでに提示領域が提示されている場合には、新たに位置情報および大きさ情報が取得された対象の単独提示領域と、複数の対象の位置をつなぐ仮想線が相当する。すなわち、ここでは第２の対象の単独提示領域が決定され（例えば、図１１Ａに示す提示領域７０２ａ）、かつ、第１の対象の位置と第２の対象の位置をつなぐ仮想線（例えば、図１１Ａに示す提示領域７０３ａ、７０４ａ）が決定される。
【００７７】
ステップＳ５０５において、制御部１０２は、判定部１０１が決定した提示領域に代表情報を付与する。その後、提示領域は表示源４００へ出力され、所定のディスプレイに虚像として投影される。
【００７８】
ここで、単独提示領域および仮想線の表示例を図１１Ａに示す。図１１Ａに示すように、第１の対象および第２の対象の下方には、それぞれ、楕円の単独提示領域７０１ａ、７０２ａが表示される。また、単独提示領域７０１ａの周囲の一部から突き出るように仮想線７０３ａが表示され、かつ、単独提示領域７０２ａの周囲の一部から突き出るように仮想線７０４ａが表示される。仮想線７０３ａおよび仮想線７０４ａは、第１の対象の位置と第２の対象の位置とをつないでいる。また、ここでは例として、単独提示領域および仮想線に対して、自転車の代表情報として予め定められた青色が付与される。例えば、図１１Ａにおいて、単独提示領域７０１ａ、７０２ａ、仮想線７０３ａ、７０４ａが青色で表示される。
【００７９】
なお、仮想線の提示は、図１１Ａに示す例に限定されない。以下、仮想線のその他の提示例について、図１０および図１１を用いて説明する。図１０に示す、基本視線位置（消失点）３１１、下方視線位置３１２、および上方視線位置３１３については、実施の形態１にて説明済みであるので、ここでの説明は省略する。
【００８０】
図１１Ｂは、本実施の形態におけるその他の提示例１を示す。図１１Ｂにおいて、第１の対象に対応する単独提示領域７０１ｂから突き出した仮想線７０３ｂと、第２の対象に対応する単独提示領域７０２ｂから突き出した仮想線７０４ｂとは、図１０に示す基本視線位置３１１を介してつながれている。
【００８１】
図１１Ｃは、本実施の形態におけるその他の提示例２を示す。図１１Ｃにおいて、第１の対象に対応する単独提示領域７０１ｃから突き出した仮想線７０３ｃと、第２の対象に対応する単独提示領域７０２ｃから突き出した仮想線７０４ｃとは、図１０に示す下方視線位置３１２を介してつながれている。
【００８２】
図１１Ｄは、本実施の形態におけるその他の提示例３を示す。図１１Ｄにおいて、第１の対象に対応する単独提示領域７０１ｄから突き出した仮想線７０３ｄと、第２の対象に対応する単独提示領域７０２ｄから突き出した仮想線７０４ｄとは、図１０に示す上方視線位置３１３を介してつながれている。この図１１Ｄでは、上方視線位置３１３が先行車両と重ならない位置にあるので、仮想線７０３ｄ、７０４ｄが先行車両に重畳表示されない。
【００８３】
図１１Ｂ〜図１１Ｄに示す単独提示領域および仮想線は、図１１Ａに示す単独提示領域および仮想線と同様に、図９のステップＳ５０３およびＳ５０４において、判定部１０１により決定される。すなわち、判定部１０１は、取得された第１の対象の位置情報、第２の対象の位置情報、および、予め定められた基本視線位置３１１、下方視線位置３１２、または上方視線位置３１３に基づいて、上述した単独提示領域を決定するとともに、上述した仮想線のいずれかを決定する。
【００８４】
なお、本実施の形態において、仮想線の形状は図１１Ａ〜図１１Ｄに示す形状に限定されない。例えば、仮想線は、視界の前方に先行車両が存在する場合に、その先行車両に重ならないように、対象の位置同士をつなぐことができる形状でもよいし、先行車と重なる部分のみ非表示にしてもよい。これにより、仮想線が先行車両に重畳表示されて運転者が先行車両を視認しにくくなることを回避できる。
【００８５】
また、本実施の形態において、車両の前方の状況に応じて図１１Ａ〜図１１Ｄに示す仮想線を切り替えてもよい。例えば、先行車両がない場合は図１１Ａの仮想線７０３ａ、７０４ａを表示し、先行車両との車間距離が充分である場合は図１１Ｃの仮想線７０３ｃ、７０４ｃを表示し、先行車両との車間距離が充分ではない場合は図１１Ｄの仮想線７０３ｄ、７０４ｄを表示するように切り替えてもよい。
【００８６】
また、本実施の形態において、図１１Ａ〜図１１Ｄそれぞれに示す仮想線、すなわち第１の対象に対応する提示領域と第２の対象に対応する提示領域（例えば、提示領域７０３ａと７０４ａ、提示領域７０３ｂと７０４ｂ、提示領域７０３ｃと７０４ｃ、提示領域７０３ｄと７０４ｄ）は、必ずしも接続している必要はない。例えば、第１の対象に対応する提示領域および第２の対象に対応する提示領域において所定位置へ向けて伸びた先端が、前景３００における所定位置で近接していてもよい。ここでいう先端間の距離は、予め定められているとする。また、ここでいう所定位置は、視線位置３１１〜３１３に限られない。ただし、安全面を考慮すると、運転中における通常の視線位置（例えば、基本視線位置３１１）の近傍であることが好ましい。
【００８７】
また、本実施の形態において、対象の大きさ（大きさ情報）に応じて単独提示領域の大きさを決定したが、対象と自車両との距離（距離情報）、または、対象の速度、自車両の速度、および、対象と自車両との相対速度（速度情報）のうち少なくとも１つに応じて、単独提示領域の大きさを決定してもよい。
【００８８】
また、本実施の形態において、ディスプレイの大きさなどの制約により、仮想線の全部を提示できない場合、提示可能な範囲において仮想線の一部を提示するようにしてもよい。
【００８９】
また、本実施の形態において、単独提示領域および仮想線は、運転者が視認可能な前景に重畳表示するとしたが、これに限定されない。例えば、単独提示領域および仮想線は、運転者が視認可能な前景を撮影した画像データに重畳表示されてもよい。
【００９０】
また、本実施の形態において、単独提示領域および仮想線に与えられる代表情報が色である場合を説明したが、その場合において、提示領域は、運転者がその提示領域の背景を視認できるように半透明としてもよい。また、代表情報は形状であってもよい。例えば、対象の種別によって矩形や星形など単独提示領域の形状が設定される。
【００９１】
以上のように、本実施の形態の表示制御装置１００は、実施の形態１の特徴を備えるとともに、対象の大きさに応じて単独提示領域の大きさを決定することを特徴とする。これにより、表示制御装置１００は、実施の形態１の効果を得られるとともに、運転者に対して、対象と自車両との距離感、対象が自車両に接近しているのかまたは自車両から離れていくのかなどを認知させることができる。
【００９２】
（実施の形態３）
本開示の実施の形態３について説明する。
【００９３】
人間の視覚特性として、注意の瞬き（attentional  blink）と呼ばれる現象が知られている。注意の瞬きは、瞬きをすると一時的に外的世界が見えなくなるのと同じように、注意が一時的に利用できなくなる現象である。運転者は、前景において、第１の対象に注意した後、注意停留時間（attentional  dwell  time）の間は、第２の対象に注意できなくなる。なお、注意停留時間は、例えば、０．６〜０．７秒であるが、個人差によりこれ以外の値となる場合もある。注意停留時間を０．６秒とすると、第１の対象に対応する情報と第２の対象に対応する情報とが例えば０．６秒以内に提示された場合、運転者は、いずれかの対象を見落してしまうおそれがある。ＡＤＡＳにおいては、注意すべき対象の情報（例えば、位置情報や大きさ情報）を取得した場合、その対象に対応する情報（例えば、提示領域）をできるだけ早く提示することが必要となる。そのため、複数の対象について提示領域を提示するタイミングは、それぞれの対象の位置情報や大きさ情報を取得したタイミング（以下、情報取得タイミングという）とほぼ同時であると考えてよい。本実施の形態では、注意停留時間に満たない時間で複数の対象の位置情報および大きさ情報が取得された場合に仮想線を決定することにより、注意の瞬きによる見落としを発生させることなく、複数の対象を運転者に認知させる。
【００９４】
本実施の形態に係る映像システムの構成例を示すブロック図は、実施の形態１と同様図１である。図１において、映像システム１０は、表示制御装置１００と、表示源４００と、認識部２００とを有し、表示制御装置１００は、判定部１０１、制御部１０２を有する。また、認識部２００と表示源４００の動作は実施の形態１と同様である。
【００９５】
本実施の形態の表示制御装置１００の動作例について説明する。図１２は、本実施の形態の表示制御装置１００の動作例を示すフローチャートである。また、本実施の形態における「対象」は、実施の形態１における「移動物」と同じ意味であり、本表示制御装置１００のユーザは車両の運転者であるものとして説明する。
【００９６】
以下では、動作例を説明するにあたり、図１３に示すタイミングチャートおよび図１０に示す前景の一例を用いるとする。
【００９７】
図１３は、時刻ｔ１から時刻ｔ４までの時間帯における判定部１０１による対象の情報取得タイミングを示すタイミングチャートである。図１３において、横軸は時間軸を示し、縦軸は情報が取得されているか否かを示している。縦軸において矩形波の値が高いときは、位置情報および大きさ情報が取得されており、それらの情報に対応する対象が前景に存在することを示している。一方で、縦軸において矩形波の値が低いときは、位置情報および大きさ情報が取得されておらず、それらの情報に対応する対象が前景に存在しないことを示している。図１３において、ｄ７０１は、第１の対象の位置情報および大きさ情報の情報取得タイミングを示しており、ｄ７０２は、第２の対象の位置情報および大きさ情報の情報取得タイミングを示している。同様に、ｄ７０３は、第３の対象の位置情報および大きさ情報の情報取得タイミングを示しており、ｄ７０４は、第４の対象の位置情報および大きさ情報の情報取得タイミングを示している。
【００９８】
図１４Ａ、図１４Ｂ、図１４Ｃは、車両の進行に伴い変化する前景を時系列に示している。図１４Ａは、時刻ｔ１のときの前景１０００ａにおける提示領域の提示例を示している。提示領域１００１ａは、第１の対象に対応する単独提示領域である。第１の対象は、例えば、車両の進行方向の左側を歩行中の歩行者である。
【００９９】
図１４Ｂは、時刻ｔ３のときの前景１０００ｂにおける提示領域の提示例を示している。この例では、上述した提示領域１００１ａに加え、以下の提示領域が提示されている。提示領域１００２ａは、第２の対象に対応する単独提示領域であり、提示領域１００２ｂは、提示領域１００２ａから突き出した仮想線である。第２の対象は、例えば、車両の進行方向の左側を歩行中の歩行者である。提示領域１００３ａは、第３の対象に対応する単独提示領域であり、提示領域１００３ｂは、提示領域１００３ａから突き出した仮想線である。第３の対象は、例えば、車両の進行方向の右側を歩行中の歩行者である。線分１０１０は、基本視線位置（図３、図１０の３１１参照）と自車両とを結ぶ直線である。点１０１１は、線分１０１０上にあり、第１の対象の位置、第２の対象の位置、および第３の対象の位置からの距離の総和が最短となる位置にある。なお、線分１０１０および点１０１１は、仮想線を表示する際の基準となる仮想のオブジェクトであり、ディスプレイには表示されない。
【０１００】
図１４Ｃは、時刻ｔ４のときの前景１０００ｃにおける提示領域の提示例を示している。この例では、上述した提示領域１００１ａの提示がなくなり、新たに提示領域１００４ａが提示されている。つまり、この例は、第１の対象が前景から消えて、新たに第４の対象が前景に入ってきた場合である。提示領域１００４ａは、第４の対象に対応する単独提示領域である。第４の対象は、例えば、車両の進行方向の左側を歩行中の歩行者である。なお、図１４Ｃにおいて、点１０１１は、線分１０１０上にあり、第２の対象の位置、第３の対象の位置、および第４の対象の位置からの距離の総和が最短となる位置にある。
【０１０１】
以下、図１２のフローチャートについて説明する。
【０１０２】
ステップＳ８０１において、判定部１０１は、対象の位置情報および大きさ情報を認識部２００から取得する。例えば、時刻ｔ１のとき、判定部１０１は、第１の対象の位置情報および大きさ情報を取得する。また、例えば、時刻ｔ２のとき、判定部１０１は、第２の対象の位置情報および大きさ情報を取得する。また、例えば、時刻ｔ３のとき、判定部１０１は、第３の対象の位置情報および大きさ情報を取得する。また、例えば、時刻ｔ４のとき、判定部１０１は、第４の対象の位置情報および大きさ情報を取得する。なお、上記位置情報および大きさ情報は、例えば、対象を囲む枠（例えば、図１０の６０１、６０２参照）である。
【０１０３】
ステップＳ８０２において、判定部１０１は、対象の位置情報および大きさ情報を取得したときの時刻（情報取得時刻）を保持する。例えば、判定部１０１は、第１の対象の位置情報および大きさ情報を取得した場合、それら情報を取得したときの時刻ｔ１を記憶する。また、例えば、判定部１０１は、第２の対象の位置情報および大きさ情報を取得した場合、それら情報を取得したときの時刻ｔ２を記憶する。また、例えば、判定部１０１は、第３の対象の位置情報および大きさ情報を取得した場合、それら情報を取得したときの時刻ｔ３を記憶する。また、例えば、判定部１０１は、第４の対象の位置情報および大きさ情報を取得した場合、それら情報を取得したときの時刻ｔ４を記憶する。
【０１０４】
ステップＳ８０３において、判定部１０１は、提示中の提示領域があるか否かを判定する。判定の結果、提示中の提示領域がない場合（ステップＳ８０３：ＮＯ）、フローはステップＳ８０５へ進む。例えば、第１の対象の位置情報および大きさ情報が取得された場合、提示中の提示領域がないとして、フローはステップＳ８０５へ進む。一方、判定の結果、提示中の提示領域がある場合（ステップＳ８０３：ＹＥＳ）、フローはステップＳ８０４へ進む。例えば、第２の対象、第３の対象、および第４の対象のそれぞれの位置情報および大きさ情報が取得された場合、提示中の提示領域があるとして、フローはステップＳ８０４へ進む。
【０１０５】
ステップＳ８０４において、判定部１０１は、情報取得時刻の差が所定時間より小さいか否かを判定する。所定時間は、上述した注意停留時間であり、例えば０．６秒とするが、これに限定されない。例えば、判定部１０１は、時刻ｔ２のとき、時刻ｔ２と時刻ｔ１との差（図１３のΔｔ１２）が所定時間より小さいか否かを判定する。また、例えば、判定部１０１は、時刻ｔ３のとき、時刻ｔ３と時刻ｔ２との差（図１３のΔｔ２３）が所定時間より小さいか否かを判定する。また、例えば、判定部１０１は、時刻ｔ４のとき、時刻ｔ４と時刻ｔ３との差（図１３のΔｔ３４）が所定時間より小さいか否かを判定する。
【０１０６】
ステップＳ８０４の判定の結果、情報取得時刻の差が所定時間以上である場合（ステップＳ８０４：ＮＯ）、フローはステップＳ８０５へ進む。例えば、判定部１０１は、時刻ｔ２のとき、時刻ｔ２と時刻ｔ１との差が所定時間以上であると判定する。また、例えば、判定部１０１は、時刻ｔ４のとき、時刻ｔ４と時刻ｔ３との差が所定時間以上であると判定する。
【０１０７】
一方、ステップＳ８０４の判定の結果、情報取得時刻の差が所定時間より小さい場合（ステップＳ８０４：ＹＥＳ）、フローはステップＳ８０６へ進む。例えば、判定部１０１は、時刻ｔ３のとき、時刻ｔ３と時刻ｔ２との差が所定時間より小さいと判定する。
【０１０８】
ステップＳ８０５において、判定部１０１は、取得した位置情報および大きさ情報に基づいて、単独提示領域を決定する。例えば、提示中の提示がないと判定した場合（ステップＳ８０３：ＮＯ）、判定部１０１は、第１の対象の位置情報および大きさ情報に基づいて、第１の対象に対応する単独提示領域を決定する。この単独提示領域は、例えば、図１４Ａの提示領域１００１ａである。また、例えば、時刻ｔ２と時刻ｔ１との差が所定時間以上であると判定した場合（ステップＳ８０４：ＮＯ）、判定部１０１は、第２の対象の位置情報および大きさ情報に基づいて、第２の対象に対応する単独提示領域を決定する。この単独提示領域は、例えば、図１４Ｂの提示領域１００２ａである。また、例えば、時刻ｔ４と時刻ｔ３との差が所定時間以上であると判定した場合（ステップＳ８０４：ＮＯ）、判定部１０１は、第４の対象の位置情報および大きさ情報に基づいて、第４の対象に対応する単独提示領域を決定する。この単独提示領域は、例えば、図１４Ｃの提示領域１００４ａである。
【０１０９】
ステップＳ８０６において、判定部１０１は、取得した位置情報および大きさ情報に基づいて、第３の対象の位置と第２の対象の位置とをつなぐための連結提示領域を決定する。例えば、時刻ｔ３と時刻ｔ２との差が所定時間より小さいと判定した場合（ステップＳ８０４：ＹＥＳ）、判定部１０１は、第３の対象に対応する単独提示領域も決定するとともに、第３の対象の位置と第２の対象の位置とをつなぐ仮想線を決定する。この動作の具体例を以下に説明する。
【０１１０】
まず、判定部１０１は、第３の対象の位置情報および大きさ情報に基づいて、第３の対象に対応する単独提示領域を決定する。この単独提示領域は、例えば、図１４Ｂの提示領域１００３ａである。
【０１１１】
次に、判定部１０１は、線分１０１０上において、前景に存在している全ての対象の位置からの距離の総和が最短になる点１０１１を特定する。例えば、図１４Ｂに示す前景１０００ｂの場合、線分１０１０において、第１の対象、第２の対象、第３の対象のそれぞれの位置からの距離の総和が最短となる点１０１１を特定する。また、例えば、判定部１０１は、図１４Ｃに示す前景１０００ｃの場合、線分１０１０において、第２の対象、第３の対象、第４の対象のそれぞれの位置からの距離の総和が最短となる点１０１１を特定する。
【０１１２】
次に、判定部１０１は、第２の対象に対応する単独提示領域から点１０１１へ向けて突き出すように、仮想線を決定する。この仮想線は、例えば、図１４Ｂ、図１４Ｃに示す提示領域１００２ｂである。
【０１１３】
同様に、判定部１０１は、第３の対象に対応する単独提示領域から点１０１１へ向けて突き出すように、仮想線を決定する。この仮想線は、例えば、図１４Ｂ、図１４Ｃに示す提示領域１００３ｂである。
【０１１４】
このようにして、提示領域１００２ａと提示領域１００３ａは、点１０１１を介して連結される。すなわち、提示領域１００２ａと提示領域１００３ａは、第３の対象の位置と第２の対象の位置とをつなぐ仮想線として決定される。
【０１１５】
ステップＳ８０７において、制御部１０２は、判定部１０１が決定した提示領域に代表情報を付与する。その後、提示領域は表示源４００へ出力され、所定のディスプレイに虚像として投影される。ここでは例として、単独提示領域および仮想線に対して、歩行者の代表情報として予め定められた赤色が付与される。例えば、図１４Ａ〜図１４Ｃにおいて、単独提示領域１００１ａ、１００２ａ、１００３ａ、１００４ａ、仮想線１００２ｂ、１００３ｂが赤色で表示される。
【０１１６】
なお、本実施の形態において、仮想線の形状は図１４Ａ〜図１４Ｃに示す形状に限定されない。例えば、仮想線は、前景の前方に先行車両が存在する場合に、その先行車両に重ならないように、対象の位置同士をつなぐことができる形状でもよいし、先行車と重なる部分のみ非表示にしてもよいし、線分上の点（例えば、点１０１１）を先行車両と重ならない位置にして、対象の位置と線分上の点とをつなぐことができる形状でもよい。これにより、仮想線が先行車両に重畳表示されて運転者が先行車両を視認しにくくなることを回避できる。
【０１１７】
また、本実施の形態において、判定部１０１が所定時間より小さいかどうか判定する時間を、２つの対象の情報取得時刻の差分としたが、これに限定されない。例えば、１つ目の対象の情報取得時刻と、２つ目の対象が自車両に最も近い対象であり、２つ目の対象に移動速度と位置から、自車両から所定距離以内に接近すると予測される時刻との差分の時間としてもよい。
【０１１８】
また、本実施の形態において、判定部１０１が所定時間より小さいかどうか判定する時間を、前景に出現した２つの対象の情報取得時刻の差分としたが、これに限定されない。例えば、歩道に沿って移動していたが、車道を横断し始める歩行者のように移動方向に変化がある対象や、歩く速度で徐行しながら移動していたが、速い速度で移動し始める自転車のように移動速度に変化がある対象のみに限定してもよいし、それらの対象をその他の対象より優先してもよい。
【０１１９】
また、本実施の形態において、対象の大きさに応じて単独提示領域の大きさを変えたが、対象と自車両との距離、または、対象の速度、自車両の速度、および対象と自車両との相対速度のうち少なくとも１つに応じて、単独提示領域の大きさを変えてもよい。
【０１２０】
また、本実施の形態において、ディスプレイの大きさなどの制約により、仮想線の全部を提示できない場合、提示可能な範囲において仮想線の一部を提示するようにしてもよい。
【０１２１】
また、本実施の形態において、単独提示領域および仮想線は、運転者が視認可能な前景に重畳表示するとしたが、これに限定されない。例えば、単独提示領域および仮想線は、運転者が視認可能な前景を撮影した画像データに重畳表示されてもよい。
【０１２２】
また、本実施の形態において、単独提示領域および仮想線に与えられる代表情報が色である場合を説明したが、その場合において、提示領域は、その提示領域の背景を運転者が視認できるように半透明としてもよい。また、代表情報は形状であってもよい。例えば、対象の種別によって矩形や星形など単独提示領域の形状が設定される。
【０１２３】
以上のように、本実施の形態の表示制御装置１００は、実施の形態２の特徴を備えるとともに、注意停留時間に満たない時間で複数の対象の位置情報および大きさ情報が取得された場合、その対象同士を連結する仮想線を決定することを特徴とする。これにより、表示制御装置１００は、実施の形態２の効果を得られるとともに、運転者に対して、注意の瞬きによる見落としを発生させることなく、複数の対象を認知させることができる。
【０１２４】
（実施の形態４）
本開示の実施の形態４について説明する。実施の形態２および３における「対象」は移動物のみを指していたが、本実施の形態における「対象」は移動物だけでなく、道路環境に固定された物体も含むものとする。また、本表示制御装置１００のユーザは車両の運転者であるものとして説明する。
【０１２５】
人間の視覚特性として、特徴探索（feature  search）と統合探索（conjunction  search）と呼ばれる現象が知られている。特徴探索は、色や方位など単一の特徴がある対象を視覚により探索することであり、特徴の空間的な並列処理が可能である。これに対し、統合探索は、色と方位の両方など複数の特徴がある対象を視覚により探索することであり、視覚的注意を向けることによって対象を判断しなければならず逐次処理となる。このような現象から明らかなように、歩行者や先行車両など移動する対象（以下、移動対象という）の数が増加したり、交通信号や道路標識など道路環境に固定された対象（以下、固定対象という）の数が増加したりして、前景の認識しやすさが低下する場合、注意停留時間を挟んで複数の対象へ注意を逐次向けるのに十分な時間を確保する必要がある。本実施の形態の表示制御装置１００は、前景の認識しやすさに応じて対象の提示領域を決定し、前景の認識しやすさが低下している場合には、音声等により運転者に対し自車両の減速を促し、運転者が注意にかけられる時間を確保することにより、より確実に複数の対象を運転者に認知させる。
【０１２６】
本実施の形態に係る映像システムの構成例を示すブロック図は、実施の形態１と同様図１である。図１において、映像システム１０は、表示制御装置１００と、表示源４００と、認識部２００とを有し、表示制御装置１００は、実施の形態１と同様、判定部１０１、制御部１０２を有する。また、認識部２００と表示源４００の動作は実施の形態１と同様である。
【０１２７】
本実施の形態の表示制御装置１００の動作例について説明する。図１５は、本実施の形態の表示制御装置１００の動作例を示すフローチャートである。
【０１２８】
以下では、動作例を説明するにあたり、図１６に示す前景の一例を用いるとする。
【０１２９】
図１６の前景１２００には、車両の前方の光景として、道路、建物、道路脇を走行中の歩行者などが存在している。図１６において、枠１２０１は、車両の進行方向左側を歩行中の歩行者（第１の対象の一例）の位置および大きさを示しており、枠１２０２は、車両の進行方向右側を歩行中の歩行者（第２の対象の一例）の位置および大きさを示している（図中の長方形参照）。ここでいう歩行者は、移動対象の一例である。
【０１３０】
また、図１６において、枠１２１１は、横断歩道の位置および大きさを示しており、枠１２１２は、交通信号の位置および大きさを示しており、枠１２１３は、交通標識の位置および大きさを示している（図中において点線で描かれた楕円、台形参照）。ここでいう横断歩道、交通信号、交通標識は、固定対象の一例である。
【０１３１】
なお、図１６において、説明の便宜上、上述した各枠と一緒に、第１の対象に対応する単独提示領域１２０１ａ、第２の対象に対応する単独提示領域１２０２ａ、第１の対象の位置と第２の対象の位置とをつなぐ仮想線１２０１ｂ、１２０２ｂを図示しているが、これらは、後述する図１５のステップＳ１１０７を経た場合に表示される。
【０１３２】
以下、図１５のフローチャートについて説明する。
【０１３３】
ステップＳ１１０１において、判定部１０１は、固定対象および移動対象のそれぞれについて位置情報および大きさ情報を認識部２００から取得する。例えば、前景１２００の場合、移動対象の位置情報および大きさ情報として枠１２０１、１２０２、固定対象の位置情報および大きさ情報として枠１２１１、１２１２、１２１３が取得される。
【０１３４】
ステップＳ１１０２において、判定部１０１は、取得した対象数の総和、対象の大きさ（面積）の総和をそれぞれ算出する。例えば、前景１２００の場合、取得した枠は枠１２０１、１２０２、１２１１、１２１２、１２１３の５つであるので、対象数の総和は５となる。また、例えば、前景１２００の場合、取得した枠１２０１、１２０２、１２１１、１２１２、１２１３の５つの面積の合計が、対象の大きさの総和となる。
【０１３５】
ステップＳ１１０３において、判定部１０１は、対象数の総和が所定数より小さいか否かを判定する。判定の結果、対象数の総和が所定数以上である場合（ステップＳ１１０３：ＮＯ）、フローはステップＳ１１０５へ進む。対象数の総和が所定数以上である場合、運転者が前景において対象を認識しにくい状態である。一方、判定の結果、対象数の総和が所定数より小さい場合（ステップＳ１１０３：ＹＥＳ）、フローはステップＳ１１０４へ進む。対象数の総和が所定数より小さい場合、運転者が前景において対象を認識しやすい状態である。
【０１３６】
ステップＳ１１０４において、判定部１０１は、対象の大きさの総和が所定サイズより小さいか否かを判定する。判定の結果、対象の大きさの総和が所定サイズ以上である場合（ステップＳ１１０４：ＮＯ）、フローはステップＳ１１０５へ進む。対象の大きさの総和が所定サイズ以上である場合、運転者が前景において対象を認識しにくい状態である。一方、判定の結果、対象の大きさの総和が所定サイズより小さい場合（ステップＳ１１０４：ＹＥＳ）、フローはステップＳ１１０６へ進む。対象の大きさの総和が所定サイズより小さい場合、運転者が前景において対象を認識しやすい状態である。
【０１３７】
ステップＳ１１０５においては運転者が前景において対象を認識しにくい状態であるため、判定部１０１は、提示領域の決定を行わず、音声による減速誘導を決定する。これにより、図示しないスピーカから、運転者に車両を減速するように誘導する旨の音声などが出力される。
【０１３８】
ステップＳ１１０６において、判定部１０１は、仮想線と図１２のステップＳ８０５で述べたような単独提示領域を含む連結提示領域を決定する。このステップＳ１１０６の詳細については、図９のステップＳ５０４、図１２のステップＳ８０６で説明済みであるのでここでの説明は省略する。これにより、例えば、図１６の前景１２００において、第１の対象に対応する単独提示領域１２０１ａ、第２の対象に対応する単独提示領域１２０２ａ、第１の対象の位置と第２の対象の位置とをつなぐ仮想線１２０１ｂ、１２０２ｂがそれぞれ表示される。なお、図１６の提示例は、実施の形態３で説明した図１４Ｂ、図１４Ｃと同じ提示例としたが、これに限定されず、実施の形態２で説明した図１１Ａ〜図１１Ｄのいずれかの提示例であってもよい。
【０１３９】
ステップＳ１１０７は、図９のステップＳ５０５、図１２のステップＳ８０７と同じであるのでここでの説明は省略する。
【０１４０】
なお、本実施の形態において、前景の認識しやすさを、対象の数と大きさによって定めたが、これに限定されない。例えば、対象の色や形状、移動方向などによってもよい。
【０１４１】
また、本実施の形態において、固定対象の数と移動対象の数の総和を用いたが、固定対象または移動対象のいずれか一方の数でもよいし、対象の大きさに応じて重みづけをしてもよい。また、固定対象として、横断歩道、交通信号、交通標識を用いたが、いずれか１種類または任意の種類の組み合わせとしてもよい。また、固定対象は、上記以外に、カーブミラー、電柱、看板などを含んでもよい。
【０１４２】
また、本実施の形態において、固定対象の大きさの総和と移動対象の大きさの総和の合計を用いたが、これに限定されない。例えば、固定対象または移動対象のいずれか一方の大きさの総和でもよいし、対象の種類や接近速度に応じて重みづけをしてもよい。
【０１４３】
また、本実施の形態において、提示領域の決定を行わず、音声による減速誘導を行うとしたが、提示領域の表示を行った上で、音声による減速誘導をしてもよい。また、前景を認識しにくい状況であることを示す色などを提示領域に付与してもよい。また、音声以外による支援や減速誘導以外の支援を行ってもよい。
【０１４４】
以上のように、本実施の形態の表示制御装置１００は、実施の形態２、３の特徴を備えるとともに、運転者が前景を認識しやすい場合には仮想線（単独提示領域を含む）の提示を行い、運転者が前景を認識しにくい場合には、音声により減速誘導を行うことを特徴とする。これにより、表示制御装置１００は、実施の形態２、３の作用効果を得られるとともに、運転者の注意を向ける時間を確保することができ、運転者に対して、視線移動の必要なく、複数の注意すべき対象を確実に認知させることができる。
【０１４５】
以上、本開示の実施の形態１〜４について図面を参照して詳述してきたが、上述した装置の各部の機能は、コンピュータプログラムにより実現され得る。
【０１４６】
図１７は、各装置の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。このコンピュータ１３００は、キーボードやマウス、タッチパッドなどの入力装置１３０１、ディスプレイやスピーカなどの出力装置１３０２、ＣＰＵ（Central Processing Unit）１３０３、ＲＯＭ（Read Only Memory）１３０４、ＲＡＭ（Random Access Memory）１３０５、ハードディスク装置やＳＳＤ（Solid State Drive）などの記憶装置１３０６、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）やＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置１３０７、ネットワークを介して通信を行う送受信装置１３０８を備え、各部はバス１３０９により接続される。
【０１４７】
そして、読取装置１３０７は、上記各装置の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置１３０６に記憶させる。あるいは、送受信装置１３０８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置１３０６に記憶させる。
【０１４８】
そして、ＣＰＵ１３０３が、記憶装置１３０６に記憶されたプログラムをＲＡＭ１３０５にコピーし、そのプログラムに含まれる命令をＲＡＭ１３０５から順次読み出して実行することにより、上記各装置の機能が実現される。また、プログラムを実行する際、ＲＡＭ１３０５や記憶装置１３０６には、各実施の形態で述べた各種処理で得られた情報が記憶され、適宜利用される。
【０１４９】
上述した装置で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでコンピュータが読み取り可能な可搬性記録媒体（例えば、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ（Universal Serial Bus）メモリ、メモリカードなど）に記録されて提供されてもよい。または、プログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由のダウンロードにより端末に提供されてもよい。または、プログラムは、端末の記憶部（例えば、ＲＯＭなど）に予め組み込まれて提供されてもよい。
【０１５０】
本開示は、以上説明した本開示の実施の形態１〜４に限定されず、その趣旨を逸脱しない範囲において、変形することができる。
【０１５１】
例えば、上記各実施の形態では、提示領域を視認するユーザが車両の運転者である例について説明したが、ユーザは、歩行者であってもよい。例えば、ユーザは、ＨＭＤを搭載した映像システム１０を身に付けて歩行（または走行）することで、上記各実施の形態で説明した効果を得ることができる。
【産業上の利用可能性】
【０１５２】
本開示は、車両の運転者に注意を喚起するための情報を提示する表示制御装置、投影装置、および表示制御プログラム等の技術に有用である。
【符号の説明】
【０１５３】
１０  映像システム
１００  表示制御装置
１０１  判定部
１０２  制御部
２００  認識部
４００  表示源
【図１】
0005866553.tif 000002
【図２】
0005866553.tif 000003
【図３】
0005866553.tif 000004
【図４】
0005866553.tif 000005
【図８】
0005866553.tif 000006
【図９】
0005866553.tif 000007
【図１０】
0005866553.tif 000008
【図１１】
0005866553.tif 000009
【図１２】
0005866553.tif 000010
【図１３】
0005866553.tif 000011
【図１４】
0005866553.tif 000012
【図１５】
0005866553.tif 000013
【図１６】
0005866553.tif 000014
【図１７】
0005866553.tif 000015
【図５】
0005866553.tif 000016
【図６】
0005866553.tif 000017
【図７】
0005866553.tif 000018