(57)【要約】【課題】移動体の乗員がセンシング精度を直感的に把握できる表示制御装置を提供する。【解決手段】表示制御装置４００は、算出部３００の算出結果に基づいて認識精度を判定する判定部４０１と、判定部４０１の判定結果に基づいて、所定の対象物が存在する方向を示す一部の領域が他の領域とは異なる態様で表される第１の図形または第２の図形を表す画像を生成して表示媒体に表示するように表示部５００を制御する表示制御部４０２と、を備える。第１の図形は、認識精度が第１の認識精度であると判定された場合に生成される。第２の図形は、認識精度が第１の認識精度よりも低い第２の認識精度であると判定された場合に生成される。第１の図形における一部の領域の第１の幅は、第２の図形における一部の領域の第２の幅より狭い。【選択図】図１
2015181216.tif 000002
【特許請求の範囲】
【請求項１】
移動体の周辺に存在する所定の対象物を検出するセンサと、前記センサの検出結果に基づいて所定の対象物を認識する認識部と、所定画像を生成する画像生成部と、前記所定画像を表示媒体に出力することで所定形状の図形を前記表示媒体に表示する表示部と、を含む表示システムにおける表示制御装置であって、
前記認識部から認識結果を取得する取得部と、
前記認識部が前記所定の対象物を認識した場合において、前記認識結果に基づいて、前記表示媒体に表示されたときに前記所定形状の図形を表す前記所定画像を生成するように前記画像生成部を制御する制御部と、
を備え、
前記所定形状の図形は、前記認識部が前記所定の対象物を認識した場合に前記所定の対象物が存在する方向を示す部分領域の表示態様と、他の領域の表示態様とが異なる図形であって、
前記制御部は、
前記検出された所定の対象物が歩行者である場合において、
前記歩行者が第１の種別である場合、前記表示媒体に表示されたときに、第１の幅の部分領域を含む第１の所定形状の図形を表す第１の所定画像を生成するように前記画像生成部を制御し、
前記歩行者が前記第１の種別より低年齢である第２の種別である場合、前記表示媒体に表示されたときに、前記第１の幅よりも広い第２の幅の部分領域を含む第２の所定形状の図形を表す第２の所定画像を生成するように前記画像生成部を制御する、
表示制御装置。
【請求項２】
前記認識結果は、前記所定の対象物である歩行者が向いている方向情報を含み、
前記制御部は、
前記第１の種別の歩行者が、前記移動体が走行する道路を向いているとき、前記第２の所定画像を生成するように前記画像生成部を制御する、
請求項１に記載の表示制御装置。
【請求項３】
前記認識結果は、前記所定の対象物である歩行者の加速度情報を含み、
前記制御部は、
前記第１の種別の歩行者が、前記移動体が走行する道路に向けた加速度が正であるとき、前記第２の所定画像を生成するように前記画像生成部を制御する、
請求項１に記載の表示制御装置。
【請求項４】
前記所定形状の図形における前記部分領域は、全体が第１の色で表示されるか、または、輪郭が前記第１の色で色付けされて表示され、
前記所定形状の図形における前記他の領域は、全体が第２の色で表示されるか、または、輪郭が前記第２の色で色付けされて表示される、
請求項１に記載の表示制御装置。
【請求項５】
前記制御部は、
前記所定の対象物が存在する方向を示す角度と、前記部分領域を表示すべき方向を示す角度とが対応付けられたテーブルに基づいて、前記認識部で認識された前記所定の対象物が存在する方向を示す角度から、前記部分領域を表示すべき方向を示す角度を決定し、
決定した前記部分領域を表示すべき方向を示す角度と、前記第１の幅または前記第２の幅とに基づいて、前記部分領域を決定する、
請求項１に記載の表示制御装置。
【請求項６】
前記認識部で認識された前記所定の対象物が存在する方向を示す角度の情報を所定時間蓄積する蓄積部をさらに備え、
前記制御部は、
蓄積された前記角度の情報の平滑化を行い、
平滑化した前記角度の情報と、前記第１の幅または前記第２の幅とに基づいて、前記部分領域を決定する、
請求項１に記載の表示制御装置。
【請求項７】
前記制御部は、
前記部分領域における所定のエッジに対して平滑化を行うように前記表示部を制御する、
請求項１に記載の表示制御装置。
【請求項８】
移動体の周辺を検出する第１のセンサと、雨、霧、雪による悪天候、または、逆光、他の移動体からの照明光、夜間の走行、トンネル内の走行による照度変化を検出する第２のセンサと、前記第１のセンサの検出結果に基づいて所定の対象物を認識する認識部と、所定画像を生成して表示媒体に表示する表示部と、を含む表示システムにおけるコンピュータに実行させる表示制御プログラムであって、
前記コンピュータに対して、
前記第２のセンサにおいて、前記悪天候または前記照度変化が検出されない場合、前記第１のセンサの認識精度を第１の認識精度であると判定し、前記第２のセンサにおいて、前記悪天候または前記照度変化が検出された場合、前記認識精度を前記第１の認識精度よりも低い第２の認識精度であると判定する処理と、
前記認識部により前記所定の対象物が認識された場合において、
前記認識精度が前記第１の認識精度であると判定された場合、前記表示媒体に表示されたときに第１の所定形状の図形を表す前記所定画像を生成するように前記表示部を制御し、前記認識精度が前記第２の認識精度であると判定された場合、前記表示媒体に表示されたときに第２の所定形状の図形を表す前記所定画像を生成するように前記表示部を制御する処理と、
を実行させ、
前記所定形状の図形は、前記所定の対象物が存在する方向を示す部分領域の表示態様と、他の領域の表示態様とが異なる図形であり、
前記第１の所定形状の図形は、前記部分領域の幅が第１の幅であり、
前記第２の所定形状の図形は、前記部分領域の幅が前記第１の幅よりも広い第２の幅である、
表示制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両等の乗員に対して提供される情報の表示を制御する表示制御装置および表示制御プログラムに関する。
【背景技術】
【０００２】
近年、車両に搭載されたセンサを用いて車両周辺に存在する対象物（例えば、車両、歩行者、白線、道路標識等）を検出し、その対象物と衝突の可能性が高いと判断した場合、車両の乗員に対して情報提示を行う運転支援システムの開発が盛んである。
【０００３】
しかし、車両の走行する環境によって、センサが車両周辺の対象物を検出する精度（以下、センシング精度という）が変化する場合がある。センシング精度に応じて乗員への情報提示を変更する方法として、例えば、特許文献１に開示された技術がある（以下、従来技術という）。
【０００４】
従来技術は、車両に搭載されたカメラにより撮影された画像を表示する際に、画像に含まれる対象物の信頼度に応じて対象物の強調表示を行う。これにより、センシング精度が低下したときに表示中の情報が突然表示されなくなる、といった違和感を乗員に与えることを回避できる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１１７９７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来技術は、対象物をセンシング精度に応じて強調表示するが、必ずしも乗員にとって分かりやすい表示ではなかった。
【０００７】
本発明の目的は、移動体の乗員が、提示された情報およびセンシング精度を把握できる表示制御装置および表示制御プログラムを提供することである。
【課題を解決するための手段】
【０００８】
本発明の一態様に係る表示制御装置は、移動体の周辺に存在する所定の対象物を検出するセンサと、前記センサの検出結果に基づいて所定の対象物を認識する認識部と、所定画像を生成する画像生成部と、前記所定画像を表示媒体に出力することで所定形状の図形を前記表示媒体に表示する表示部と、を含む表示システムにおける表示制御装置であって、前記認識部から認識結果を取得する取得部と、前記認識部が前記所定の対象物を認識した場合において、前記認識結果に基づいて、前記表示媒体に表示されたときに前記所定形状の図形を表す前記所定画像を生成するように前記画像生成部を制御する制御部と、を備え、前記所定形状の図形は、前記認識部が前記所定の対象物を認識した場合に前記所定の対象物が存在する方向を示す部分領域の表示態様と、他の領域の表示態様とが異なる図形であって、前記制御部は、前記検出された所定の対象物が歩行者である場合において、前記歩行者が第１の種別である場合、前記表示媒体に表示されたときに、第１の幅の部分領域を含む第１の所定形状の図形を表す第１の所定画像を生成するように前記画像生成部を制御し、前記歩行者が前記第１の種別より低年齢である第２の種別である場合、前記表示媒体に表示されたときに、前記第１の幅よりも広い第２の幅の部分領域を含む第２の所定形状の図形を表す第２の所定画像を生成するように前記画像生成部を制御する構成を採る。
【０００９】
本発明の一態様に係る表示制御プログラムは、移動体の周辺を検出する第１のセンサと、雨、霧、雪による悪天候、または、逆光、他の移動体からの照明光、夜間の走行、トンネル内の走行による照度変化を検出する第２のセンサと、前記第１のセンサの検出結果に基づいて所定の対象物を認識する認識部と、所定画像を生成して表示媒体に表示する表示部と、を含む表示システムにおけるコンピュータに実行させる表示制御プログラムであって、前記コンピュータに対して、前記第２のセンサにおいて、前記悪天候または前記照度変化が検出されない場合、前記第１のセンサの認識精度を第１の認識精度であると判定し、前記第２のセンサにおいて、前記悪天候または前記照度変化が検出された場合、前記認識精度を前記第１の認識精度よりも低い第２の認識精度であると判定する処理と、前記認識部により前記所定の対象物が認識された場合において、前記認識精度が前記第１の認識精度であると判定された場合、前記表示媒体に表示されたときに第１の所定形状の図形を表す前記所定画像を生成するように前記表示部を制御し、前記認識精度が前記第２の認識精度であると判定された場合、前記表示媒体に表示されたときに第２の所定形状の図形を表す前記所定画像を生成するように前記表示部を制御する処理と、を実行させ、前記所定形状の図形は、前記所定の対象物が存在する方向を示す部分領域の表示態様と、他の領域の表示態様とが異なる図形であり、前記第１の所定形状の図形は、前記部分領域の幅が第１の幅であり、前記第２の所定形状の図形は、前記部分領域の幅が前記第１の幅よりも広い第２の幅であるようにした。
【発明の効果】
【００１０】
本発明によれば、移動体の乗員は、提示された情報およびセンシング精度を把握できる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態１に係る表示システムの構成例を示すブロック図
【図２】本発明の実施の形態１に係る表示システムの構成例を示すブロック図
【図３】本発明の実施の形態１に係る表示システムの動作例を示すフローチャート
【図４】本発明の実施の形態１に係る画像の表示例を示す図
【図５】本発明の実施の形態１に係る強調表示領域の決定例を説明する図
【図６】本発明の実施の形態１に係る画像の表示例を示す図
【図７】本発明の実施の形態１に係る乗員の視界および表示画像の例を示す図
【図８】本発明の実施の形態１に係るテーブルおよび表示方向の例を示す図
【図９】本発明の実施の形態１に係る画像の表示例を示す図
【図１０】本発明の実施の形態２に係る表示システムの構成例を示すブロック図
【図１１】本発明の実施の形態３に係る表示システムの構成例を示すブロック図
【図１２】本発明の実施の形態３に係る表示システムの動作例を示すフローチャート
【図１３】本発明の実施の形態３に係る画像の表示例を示す図
【図１４】本発明の実施の形態１〜３に係る表示システム、表示制御装置のハードウェア構成例を示すブロック図
【図１５】本発明の実施の形態４に係る表示システムの構成例を示すブロック図
【図１６】本発明の実施の形態４に係る乗員の視界および表示画像の例を示す図
【図１７】本発明の実施の形態４に係る表示システムの動作例を示すフローチャート
【図１８】本発明の実施の形態１の変形例１５に係る乗員の視界および表示画像の例を示す図
【図１９】本発明の実施の形態４に係るコンバイナの一例を示す図
【発明を実施するための形態】
【００１２】
従来の運転支援システムでは、例えば、センサとしてカメラを用いた場合、夜間、逆光、雨天などの走行環境において、センシング精度が低下するおそれがある。また、従来の運転支援システムでは、例えば、センサとしてミリ波レーダを用いた場合、レーダを反射する障害物が存在する走行環境において、センシング精度が低下するおそれがある。このようにセンシング精度が低下した状況であるにもかかわらず、乗員に対して通常と同様の情報提示を行った場合、誤報または欠報を引き起こすおそれがある。そのため、乗員は、センシング精度の低下を把握することが重要である。そこで、本発明の実施の形態は、提示された情報およびセンシング精度を乗員が把握できるようにすることを目的とする。
【００１３】
（実施の形態１）
本発明の実施の形態１について、図面を参照して説明する。
【００１４】
まず、本実施の形態に係る表示システム１０の構成例について図１を用いて説明する。図１は、本実施の形態に係る表示システム１０の構成例を示すブロック図である。
【００１５】
表示システム１０は、例えば、車両等の移動体において用いられる。すなわち、表示システム１０は、車載機器であってもよいし、車両に持ち込まれる機器であってもよい。なお、本実施の形態では、表示システム１０が車両に適用されたものとして説明するが、移動体は、車両に限定されず、船舶、航空機等であってもよい。また、本実施の形態では、ユーザが車両の乗員、特に車両の運転者である例について説明するが、その限りではない。さらには、表示システム１０は、ユーザが身体に装着に可能なウェラブルコンピュータ（例えば、後述するＨＭＤ）において用いられてもよい。
【００１６】
図１において、表示システム１０は、センサ１００、認識部２００、算出部３００、表示制御装置４００、表示部５００を有する。また、表示制御装置４００は、判定部４０１および表示制御部４０２を有する。
【００１７】
センサ１００は、所定時間ごとに、車両の運転者の前景（前方の視界）をセンシングする。センサ１００は、例えばセンシングカメラである。センシングカメラは、車両の内部または外部に搭載され、車両の前景を撮影する。または、センサ１００は、例えばレーダであってもよい。レーダは、車両の内部または外部に搭載され、車両の前景をセンシングする。
【００１８】
そして、センサ１００は、前景のセンシング結果を示す前景情報を認識部２００へ出力する。この出力は、例えば、所定の時間間隔で行われる。
【００１９】
認識部２００は、センサ１００からの前景情報に基づいて、車両周辺に存在する所定の対象物を認識する。対象物は、例えば、移動体（例えば、車両、人物、自転車、二輪車等）、道路上の白線、標識、路面標示、縁石、ガードレール、信号機、電柱、建物である。例えば、センサ１００がセンシングカメラである場合、認識部２００は、前景情報（例えば、前景画像）に対してパタンマッチングなどを行い、対象物を認識する。また、例えば、センサ１００がレーダである場合、認識部２００は、前景情報からクラスタリングまたは機械学習等により対象物を抽出し、認識する。なお、認識部２００における対象物認識技術は公知技術であるため、その詳細な説明は省略する。
【００２０】
そして、認識部２００は、対象物の認識結果を示す認識結果情報を算出部３００および表示制御装置４００の表示制御部４０２へ出力する。認識結果情報は、例えば、対象物の存在位置（Ｘ，Ｙ）、車両の進行方向に対する対象物の相対角度（以下、単に相対角度という）、対象物と車両との相対速度、対象物の種別、パタンマッチングで得られた情報、対象物の追跡処理で得られた情報などを含む。なお、上記対象物の存在位置（Ｘ，Ｙ）は、車両のセンシングカメラが設置された点を基準として横方向をＸ、前方方向をＹとするカメラ座標系における座標である。また、上記対象物の存在位置（Ｘ，Ｙ）におけるＹは、車両の進行方向における車両と対象物との距離（以下、単に距離という）を示す。
【００２１】
算出部３００は、センサの認識精度（センシング精度ともいう。以下、単に認識精度という）を算出する。算出部３００は、認識部２００からの認識結果に基づいてセンシング精度を算出してもよいし、認識部２００による認識結果を用いずにセンシング精度を算出してもよい。以下、詳細に説明する。
【００２２】
算出部３００は、例えば、認識部２００からの認識結果に基づいてセンシング精度を算出する。具体的には、算出部３００は、パタンマッチングの際に得られる前景画像とテンプレートとの差分に基づいて、認識精度を算出する。この場合、例えば、算出部３００は、カメラにより撮影された対象物の画像と予め記憶されたテンプレートとの差分が小さいときに、認識精度が高い値となるように算出する。または、例えば、算出部３００は、異なる画像フレーム間における対象物（例えば移動体）の追跡処理の際に得られるフレーム数に基づいて、認識精度を算出する。この場合、例えば、算出部３００は、フレーム数が多い程、認識精度が高い値となるように算出する。また、追跡処理が成功していた場合でも、フレーム間で対象物の検出結果が大きく変化する場合には、認識精度が低い可能性がある。そのため、例えば、フレーム間の検出結果（距離、相対速度など）の変化量が大きい程、認識精度が低くなるように算出してもよい。また、センサとしてカメラ以外を用いる場合は、上記で説明した前景画像とテンプレートの差分に該当するセンサの種別に応じた特徴量を、認識精度算出に用いればよい。
【００２３】
また、算出部３００は、例えば、車両の走行環境の認識結果に基づいて認識精度が算出されてもよい。例えば、センサ１００がセンシングカメラである場合、認識部２００は、センシングカメラにより撮影された車両の前景画像に対して所定の画像処理を行い、認識精度が低下しやすい走行環境であるか（例えば、雨、霧、みぞれ、雹、雪などの悪天候の中を車両が走行しているか、逆光または対向車のヘッドライトなどにより車両周辺の照度が増加したか、夜間またはトンネル内の走行により車両周辺の照度が減少したか）を認識する。算出部３００は、認識部２００により認識精度が低下しやすい走行環境であると認識された場合、認識精度を低い値に算出する。
【００２４】
また、算出部３００は、例えば、認識部２００による認識結果を用いずに行うようにしてもよい。この場合の例について図２を用いて説明する。図２において、図１と同じ構成要素には同一符号を付し、ここでの説明は省略する。図２において、例えば、センサ１００がセンシングカメラである場合、算出部３００は、センサ１００から車両の前景画像を受け取る。そして、算出部３００は、車両の前景画像に、認識精度が低下しやすい走行環境であるか（例えば、雨、霧、みぞれ、雹、雪などの悪天候の中を車両が走行しているか、逆光または対向車のヘッドライトなどにより車両周辺の照度が増加したか、夜間またはトンネル内の走行により車両周辺の照度が減少したか）を示す情報が含まれる場合、認識精度を低い値に算出する。
【００２５】
また、図２において、センサ１００の代わりに別のセンサ（例えば、実施の形態２で後述するセンサ１０１と同じセンサ）を備えるように構成してもよい。このセンサは、認識精度が低下しやすい走行環境（例えば、雨、霧、みぞれ、雹、雪などの悪天候の中を車両が走行しているか、逆光または対向車のヘッドライトなどにより車両周辺の照度が増加したか、夜間またはトンネル内の走行により車両周辺の照度が減少したか）を検出可能なセンサであり、例えば、雨滴センサまたは照度センサである。算出部３００は、上記センサから検出結果を示す情報を受け取る。そして、算出部３００は、検出結果が認識精度の低下しやすい走行環境である場合、認識精度を低い値に算出する。
【００２６】
そして、算出部３００は、認識精度値を示す認識精度情報を表示制御装置４００の判定部４０１へ出力する。
【００２７】
判定部４０１は、算出部３００からの認識結果情報と、予め定められた閾値とに基づいて、認識精度の高低を判定する。例えば、判定部４０１は、認識結果情報が示す認識精度値が閾値以上である（または、閾値より大きい）場合、高精度であると判定する。一方、例えば、判定部４０１は、認識結果情報が示す認識精度値が閾値より小さい（または、閾値以下である）場合、低精度であると判定する。
【００２８】
そして、判定部４０１は、判定結果を示す判定結果情報を表示制御部４０２へ出力する。
【００２９】
表示制御部４０２は、判定部４０１からの判定結果情報に基づいて、予め定められた検出範囲図形において強調表示領域が表示される幅（以下、表示幅という）を決定する。検出範囲図形とは、センサ１００の検出範囲を模式的に示す所定形状の画像情報であり、表示制御部４０２（または図示しない記憶部）が予め記憶している。検出範囲図形の詳細は図４を用いて後述する。また、強調表示領域とは、上記検出範囲図形において強調して表示される領域であり、例えば、対象物が存在する方向を示す領域である。強調表示領域は、常時表示されてもよいし、随時表示されてもよい。また、表示幅は、例えば、角度で示される。例えば、表示制御部４０２は、判定結果情報が高精度（第１の認識精度の一例）を示す場合、第１の表示幅に決定する。一方、例えば、表示制御部４０２は、判定結果情報が低精度（第２の認識精度の一例）を示す場合、表示幅を第２の表示幅に決定する。第２の表示幅は、第１の表示幅よりも大きい値である。
【００３０】
また、表示制御部４０２は、認識部２００からの認識結果情報に基づいて、上記検出範囲図形において強調表示領域が表示される方向（以下、表示方向という）を決定する。表示方向は、例えば、角度で示される。この決定処理の具体例については、図５を用いて後述する。なお、表示方向は、上記検出範囲図形において強調表示領域が表示される位置と言い換えることもできる。
【００３１】
そして、表示制御部４０２は、決定した表示幅および表示方向に基づいて、上記検出範囲図形における強調表示領域の範囲を決定する。なお、この決定処理の具体例については、図５を用いて後述する。
【００３２】
また、表示制御部４０２は、強調表示領域とそれ以外の領域（以下、非強調表示領域という）それぞれの表示形態を決定する。表示形態とは、例えば、強調表示領域と非強調表示領域のそれぞれについての、色付け方法（領域全体を塗り潰すか、または、領域の周辺のみを塗るか）、その色付け方法で用いる色などである。
【００３３】
そして、表示制御部４０２は、制御情報を表示部５００へ出力する。制御情報は、表示部５００を制御するための情報であり、例えば、検出範囲図形の形状、その検出範囲図形における強調表示領域の範囲、および表示形態の情報などを含む。
【００３４】
表示部５００は、表示制御部４０２からの制御情報に基づいて、図形（例えば、検出範囲図形、後述する基準位置図形）を生成し、それをディスプレイ（表示媒体の一例）へ投影する。この表示例については、図６、図７を用いて後述する。表示部５００は、プロジェクタ機能を有し、ディスプレイへ直接投影する。なお、表示部５００は、プロジェクタ機能を用いる代わりに、例えば、ディスプレイに表示させてもよいし、または、ホログラムを用いてもよい。ホログラムを用いる場合、導光板の内部全反射条件を満たす平行光束群を内部全反射して導光する導光板を用いて、導光板を内部全反射して導光される平行光束群の一部を射出することで乗員に虚像を視認させる方式でもよい。なお、導光板を用いた方式においては、プロジェクタのように画像データを直接的に投影するものではないが、説明の便宜上、プロジェクタ方式と同様に投影という定義で説明する。
【００３５】
ディスプレイとしては、例えば、ＬＣＤ（Liquid Crystal Display）、ＨＵＤ（Head‐Up Display）、ＨＭＤ（Head‐Mounted DisplayまたはHelmet‐Mounted Display）、眼鏡型ディスプレイ（Smart Glasses）、ナビゲーション用ディスプレイ、メータディスプレイ、その他の専用のディスプレイなどが適用される。ＨＵＤは、例えば、車両のウインドシールドであってもよいし、別途設けられるガラス面、プラスチック面などであってもよい。また、ウインドシールドは、例えば、フロントガラスであってもよいし、車両のサイドガラスまたはバックガラスであってもよい。
【００３６】
なお、表示システム１０は、上述したディスプレイを含む構成であってもよい。
【００３７】
また、上述した図形（例えば、検出範囲図形、後述する基準位置図形）は、表示部５００ではなく、表示制御装置４００または図示しない他の構成要素によって生成されてもよい。
【００３８】
表示システム１０において生成される図形（例えば、検出範囲図形、後述する基準位置図形）は、例えば、虚像として運転者に視認される。このとき、図形は、運転者の視界に重畳されるようにディスプレイに投影されてもよい。なお、ディスプレイに投影された図形が虚像として運転者に視認される原理は、公知技術であるため、説明を省略する。
【００３９】
次に、本実施の形態に係る表示システム１０の動作例について図３を用いて説明する。図３は、本実施の形態に係る表示システム１０の動作例を示すフローチャートである。図３のフローは、例えば、３０ミリ秒、１００ミリ秒といった所定の作動間隔で行われる。例えば、センサ１００がセンシングカメラであり、１５ｆｐｓ、３０ｆｐｓ等のフレームレートで認識部２００への前景情報の出力が行われる場合、その出力間隔に合わせて図３のフローが行われてもよい。
【００４０】
ステップＳ００１において、認識部２００は、センサ１００からの前景情報に基づいて、車両周辺に存在する対象物を認識する。
【００４１】
ステップＳ００２において、算出部３００は、認識部２００からの認識結果情報に基づいて、認識精度を算出する。
【００４２】
ステップＳ００３において、判定部４０１は、算出部３００からの認識結果情報と、予め定められた閾値とに基づいて、認識精度の高低を判定する。すなわち、認識結果情報が示す認識精度値が閾値以上である場合、判定部４０１は、高精度であると判定する（ステップＳ００３：ＹＥＳ）。この場合、フローはステップＳ００４へ進む。一方、認識結果情報が示す認識精度値が閾値より小さい場合、判定部４０１は、低精度であると判定する（ステップＳ００３：ＮＯ）。この場合、フローはステップＳ００５へ進む。
【００４３】
ステップＳ００４において、表示制御部４０２は、判定部４０１からの判定結果情報が高精度を示す場合、表示幅を第１の表示幅に決定する。第１の表示幅は、第２の表示幅より小さい値であり、例えば５度である。
【００４４】
ステップＳ００５において、表示制御部４０２は、判定部４０１からの判定結果情報が低精度を示す場合、表示幅を第２の表示幅に決定する。第２の表示幅は、第１の表示幅より大きい値であり、例えば１０度である。
【００４５】
なお、表示幅と認識精度とは予め対応付けられており、それを表示制御部４０２が記憶している。よって、上記ステップＳ００４およびＳ００５において、表示制御部４０２は、上記対応付けと、判定結果情報が示す認識精度とに基づいて、第１の表示幅または第２の表示幅を決定する。
【００４６】
ステップＳ００６において、表示制御部４０２は、認識部２００からの認識結果情報（例えば、相対角度）に基づいて表示方向を決定する。この決定処理の具体例については、図５を用いて後述する。
【００４７】
ステップＳ００７において、表示制御部４０２は、決定した第１の表示幅または第２の表示幅と、決定した表示方向とに基づいて、予め定められた検出範囲図形（例えば、後述の図４の図形３０２）における強調表示領域の範囲を決定する。この決定処理の具体例については、図５を用いて後述する。
【００４８】
ここで、ステップＳ００６〜Ｓ００７における処理の具体例を、図４、図５を用いて説明する。
【００４９】
まず、図４を用いて、表示システム１０で生成される図形（例えば、基準位置図形および検出範囲図形）の一例について説明する。図４において、図形３０１は、基準位置図形の一例であり、車両を示す。また、図形３０２は、検出範囲図形の一例であり、センサ１００の検出範囲である車両の周辺（車両と対象物との位置関係）を示す。図形３０１は、表示方向の決定の際に基準位置として用いられるものである。基準位置は、例えば、センサ１００が設置された位置である。図形３０２は、決定された表示幅および表示方向に基づいて強調表示領域の範囲が決定されるものである。なお、図４に示す図形３０２は、強調表示領域の決定前の状態を示している。そして、図４に示す図形３０２は、常時ディスプレイに表示されてもよいし、随時ディスプレイに表示されてもよい。なお、図４に示す図形３０１および図形３０２は、デフォルトの態様であり、この態様にて表示制御部４０２（または図示しない記憶部）に予め記憶されている。
【００５０】
次に、図５を用いて、ステップＳ００６における表示方向の決定処理、およびステップＳ００７における強調表示領域の範囲の決定処理の具体例について説明する。
【００５１】
まず、表示方向の決定処理の具体例を説明する。例えば、表示制御部４０２は、基準位置としての図形３０１から伸びた基準直線５０１（例えば、上述したカメラ座標系における前方方向Ｙを示す直線）から角度５０２ずれた方向、すなわち直線５０３の方向を表示方向として決定する。角度５０２は、基準直線５０１を基準として測定した水平面内における角度である。また、この角度５０２は、対象物の存在する方向を示す角度であり、例えば、認識部２００で認識された相対角度である。角度５０２は、例えば、図５に示す基準直線５０１の位置から、時計回りの方向を正、反時計回りの方向を負として測定される。よって、例えば、認識部２００において−４０度に歩行者が認識された場合、図５に示すように、表示制御部４０２は、基準直線５０１を反時計回り方向へ４０度（角度５０２の一例）回転させることで、直線５０３を得ることができる。
【００５２】
次に、強調表示領域の範囲の決定処理の具体例を説明する。例えば、表示制御部４０２は、図形３０２において、直線５０３を基準として表示幅４０４が示す範囲を強調表示領域４０５として決定する。例えば、表示幅４０４が１０度である場、表示制御部４０２は、図形３０１を中心として直線５０３を時計回り方向へ５度回転させ、その結果得られた直線（図示せず）の位置を第１のエッジに決定する。また、表示制御部４０２は、図形３０１を中心として直線５０３を反時計回り方向へ５度回転させ、その結果得られた直線（図示せず）の位置を第２の方向のエッジに決定する。そして、表示制御部４０２は、図形３０２において第１のエッジと第２のエッジとの間の領域を、強調表示領域４０５に決定する。また、表示制御部４０２は、図形３０２において強調表示領域４０５以外の領域を、非強調表示領域４０６として決定する。
【００５３】
以上、表示方向の決定処理および強調表示領域の範囲の決定処理の具体例について説明した。以下、図３のフローに戻る。
【００５４】
ステップＳ００８において、表示制御部４０２は、強調表示領域および非強調表示領域それぞれの表示形態を決定する。なお、領域の種別（強調表示領域、非強調表示領域）と表示形態（色付け方法とそれに用いる色）とは予め対応付けられており、それを表示制御部４０２が記憶している。よって、このステップＳ００８において、表示制御部４０２は、上記対応付けに基づいて、強調表示領域および非強調表示領域それぞれの表示形態を決定する。
【００５５】
上述のように強調表示領域の範囲の決定処理および表示形態の決定処理が終了すると、表示制御部４０２は、決定した強調表示領域の範囲および表示形態に基づいて図形（例えば、図形３０１、３０２）を生成してディスプレイに表示するように制御する制御情報を表示部５００へ出力する。
【００５６】
ステップＳ００９において、表示部５００は、表示制御部４０２からの制御情報に基づいて、図形（例えば、図形３０１、３０２）を生成し、ディスプレイに表示する。この表示の具体例を図６に示す。図６Ａは、認識精度が高精度の場合における図形３０１および図形３０２（第１の図形の一例）の表示例であり、図６Ｂは、認識精度が低精度の場合における図形３０１および図形３０２（第２の図形の一例）の表示例である。図６Ａおよび図６Ｂにおいて、例えば、強調表示領域４０５は黄色または赤色などで領域全体が塗り潰された形態である一方で、非強調表示領域４０６は灰色などで領域全体が塗り潰された形態である。なお、図６Ａの図形３０１、３０２および図６Ｂの図形３０１、３０２に対して、それぞれ、射影変換などを用いることにより、図６Ｃおよび図６Ｄに示す表示としてもよい。
【００５７】
上述した図６に示す図形３０１、３０２は、例えば、図７に示すようにＨＵＤ６０２（ディスプレイの一例）に表示される。図７Ａおよび図７Ｂは、前景画像６０１において白線６０３近傍に存在する歩行者６０４が認識された場合であり、図７Ａは認識精度が高精度である場合（例えば晴天の場合）、図７Ｂは認識精度が低精度である場合（例えば雨天の場合）を示している。図７Ａおよび図７Ｂでは、強調表示領域４０５により歩行者６０４が存在する位置が示されているが、図７Ａの強調表示領域４０５は、図７Ｂの強調表示領域４０５に比べて表示幅が狭いため、より分解能の高い情報が運転者に提供されている。よって、図７Ａの場合、図７Ｂの場合と比較して、運転者は、歩行者６０４のより詳細な存在方向を把握できる。
【００５８】
以上説明したように、本実施の形態では、対象物の存在方向を示す強調表示領域を含む検出範囲図形を常時ディスプレイに表示し、認識精度に応じて強調表示領域の表示幅を変更することを特徴とする。これにより、車両の運転者は、対象物の存在方向および認識精度を常時かつ直感的に把握することが可能となる。その結果、運転者は、表示システムに対して過度に依存することなく、運転操作を行うことができる。
【００５９】
また、本実施の形態では、認識部による対象物の認識結果（例えば、相対角度）が同じであったとしても、認識精度に応じて強調表示領域の表示幅を変更することを特徴とする。これにより、認識精度が低い場合は低い分解能で、または、認識精度が高い場合は高い分解能で、対象物の存在方向を表示することができる。
【００６０】
以上、本発明の実施の形態１について説明したが、本発明は上記実施の形態１に限定されず、種々の変形が可能である。以下、変形例について説明する。
【００６１】
（変形例１）
上記実施の形態では、図形３０１を中心として基準直線５０１から相対角度分ずれた方向（直線５０３が示す方向）を表示方向として決定したが、表示方向の決定は、これに限定されない。表示方向の決定処理の変形例について図８を用いて説明する。図８Ａは、表示方向を決定する際に用いられるテーブルの例を示す。このテーブルは、表示制御部４０２（または図示しない記憶部）に予め記憶されている。そして、このテーブルでは、相対角度Ａの条件と表示方向の角度（表示方向を示す直線）とが対応付けられている。例えば、認識結果情報に含まれる相対角度Ａが−４０度を示す場合、表示制御部４０２は、直線７０１が示す方向を表示方向に決定する。このように、本変形例では、相対角度Ａに応じてテンプレートの直線（図８の例では、直線７０１〜７０３）を予め用意しておくことにより、表示方向の決定処理にかかる負荷を低減することができる。また、このように決定された表示方向に基づいて決定される強調表示領域４０５のパタンは限定されるため、表示を単純化することができ、運転者は、強調表示領域４０５をより認識しやすくなる。さらに、認識結果のばらつきを吸収して、表示のちらつきを抑えることで、視覚的な煩わしさを抑えることができる。
【００６２】
（変形例２）
また、上記実施の形態および変形例１とは別の方法で表示方向を決定してもよい。この例について図８Ｂに示す図形３０２を用いて説明する。例えば、並行する３つのレーンの中央のレーンを車両が走行している場合において、認識すべき対象物として同じレーンを走行している先行車両が存在する場合、表示制御部４０２は、直線７０２が示す方向を表示方向に決定する。また、右側のレーンを走行している先行車両が存在する場合、表示制御部４０２は、直線７０３が示す方向を表示方向に決定する。また、左側のレーンを走行している先行車両が存在する場合、表示制御部４０２は、直線７０１が示す方向を表示方向に決定する。
【００６３】
（変形例３）
上記実施の形態では、強調表示領域が表示される検出範囲図形を半円としたが（例えば、図４の図形３０２参照）、検出範囲図形の形状はこれに限定されない。例えば、センサ１００として、車両の前方に加えて、車両の側方および後方をセンシング可能なセンサを用いることで、車両周辺の全方位の対象物を検出することが可能となる。この場合、例えば、図９Ａに示すように、車両とその全方位の周辺を示す環状の図形８０２（検出範囲図形の一例）を用いてもよい。この図形８０２において強調表示領域４０５が表示された例を図９Ｂおよび図９Ｄに示す。図９Ｂは、認識精度が高精度である場合の表示例であり、図９Ｂは認識精度が低精度である場合の表示例である。なお、図９Ｂの図形３０１、８０２および図９Ｄの図形３０１、８０２に対して、それぞれ、射影変換などを用いることにより、図９Ｃおよび図９Ｅに示す表示としてもよい。
【００６４】
（変形例４）
認識精度をより向上させるために、センサ１００として、例えば、ミリ波センサ、カメラ、レーザレーダ等の複数の種別のセンサを有するように構成してもよい。この場合、動作するセンサの種別が多い程、算出部３００は、認識精度を高く算出するようにしてもよい。また、算出部３００は、複数のセンサのうち正常に動作しているセンサの数または故障しているセンサの数に基づいて、認識精度を算出するようにしてもよい。
【００６５】
（変形例５）
認識精度に応じて強調表示領域の幅を変更するため、結果として強調表示領域の面積が変わることがある。この場合、強調表示領域の面積は危険度（車両が対象物と衝突する可能性。緊急度ともいう）を示すものではないが、例えば、強調表示領域の面積が大きくなった場合、危険度が増したという誤った印象を乗員に与えるおそれがある。そこで、強調表示領域の面積が小から大へ遷移する場合、表示制御部４０２は、遷移後の強調表示領域の輝度を遷移前の強調表示領域の輝度よりも下げるようにしてもよい。例えば、図６Ａに示す図形３０２の表示中に認識精度が下がり、図６Ｂに示す図形３０２の表示に切り替わる場合、表示制御部４０２は、図５Ｂの強調表示領域４０５の輝度を図６Ａの強調表示領域４０５の輝度よりも下げるように制御する。一方、強調表示領域の面積が大から小へ遷移する場合、表示制御部４０２は、遷移後の強調表示領域の輝度を遷移前の強調表示領域の輝度を上げるようにしてもよい。例えば、図６Ｂに示す図形３０２の表示中に認識精度が上がり、図６Ａに示す図形３０２の表示に切り替わる場合、表示制御部４０２は、図６Ａの強調表示領域４０５の輝度を図６Ｂの強調表示領域４０５の輝度よりも上げるように制御する。このような制御により、上述した誤った印象を乗員に与えることを回避できる。
【００６６】
（変形例６）
上記実施の形態では、判定部４０１が認識精度と閾値との比較を行うことで、認識精度が高精度であるかまたは低精度であるかという２値の判定を行ったが、これに限定されない。例えば、閾値を複数設けることで、３値以上で認識精度を判定してもよい。これにより、表示幅のパタンを増やすことができ、より詳細な認識精度を運転者に伝えることができる。また、対象物の存在方向をより詳細に運転者に伝えることができる。
【００６７】
（変形例７）
上記実施の形態では、判定部４０１が精度の高低を判定し、その判定に基づいて表示制御部４０２が表示幅を決定する例としたが、これに限定されない。例えば、判定部４０１が表示幅の決定を行ってもよい。例えば、判定部４０１は、認識精度値と表示幅とが対応付けられたテーブルと、算出部３００からの認識精度値とに基づいて表示幅を決定し、それを判定結果情報として表示制御部４０２へ出力してもよい。または、例えば、判定部４０１は、算出部３００で算出された認識精度値から表示幅を算出する所定の数式を用いて表示幅を算出し、それを判定結果情報として表示制御部４０２へ出力してもよい。なお、本変形例の処理は、表示制御部４０２が算出部３００から認識精度値を直接受け取るように構成することで、表示制御部４０２が行ってもよい（この場合、判定部４０１を構成から省くことができる）。
【００６８】
（変形例８）
センサ１００により対象物が検出されているか否かに応じて、基準位置図形（例えば、図形３０１）の色を変更してもよい。例えば、対象物が検出されていない場合、表示制御部４０２は、運転者に対して危険度が低い印象を与える色（例えば、青色または緑色）を用いて基準位置図形の表示を行う。一方、対象物が検出された場合、表示制御部４０２は、運転者に対して危険度が高い印象を与える色（例えば、黄色または赤色）を用いて基準位置図形の表示を行う。
【００６９】
（変形例９）
強調表示領域４０５の色は、車両の進行方向における対象物と車両との距離に応じて変更してもよい。例えば、表示制御部４０２は、距離が所定値以上の場合は黄色を用い、距離が所定値未満の場合は赤色を用いるように制御する。
【００７０】
（変形例１０）
センサ１００は、同じ種類のものであっても、センシング可能な範囲が異なる。例えば、カメラの場合、使用するレンズの違いにより、検出範囲が狭い（例えば、正面を中心に水平方向にそれぞれ１０度）もの、または、検出範囲が広い（例えば正面を中心に水平方向にそれぞれ３０度）ものがある。そこで、検出範囲図形の全体形状を変更することで、センシング範囲を示すようにしてもよい。この例について、図４に示す図形３０２を用いて説明する。例えば、センシング範囲が狭い場合、図形３０２の角度を狭めてより鋭角な扇形に変更する。これにより、運転者は、センシング範囲が狭いことを直感的に把握できる。
【００７１】
（変形例１１）
例えば、認識部２００により複数の対象物が認識された場合、算出部３００および判定部４０１は、それぞれ、複数の対象物のそれぞれについて認識精度の算出および判定を行うようにしてもよい。そして、例えば、表示制御部４０２は、認識精度が低い方の対象物に対する認識精度の算出および認識精度の判定に応じて、表示幅、表示方向、強調表示領域の範囲、および表示形態の決定を行うようにしてもよい。
【００７２】
（変形例１２）
基準位置図形（例えば、図形３０１）を表示せずに、検出範囲図形のみ（例えば、図形３０２または図形８０２）を表示してもよい。
【００７３】
（変形例１３）
上記実施の形態では、基準位置をセンサ１００の位置とし、これに基づいて決定された表示方向を、センサ１００の位置を基準とした方向としたが、これに限定されない。例えば、表示方向を、運転者の位置を基準とした方向に補正してもよい。例えば、上記実施の形態で説明したように直線５０３を決定した後で、その直線５０３を、センサ１００の位置と運転者の位置との相対角度に基づいて補正してもよい。運転者の位置とは、例えば、運転者の座席位置、または運転者の頭部位置である。これにより、補正後の直線５０３が示す表示方向は、運転者の位置を基準とした方向となる。よって、その表示方向に基づいて決定された強調表示領域は、運転者からの見た方向により近付くことになる。
【００７４】
（変形例１４）
上記実施の形態では、表示幅の決定処理（ステップＳ００４、Ｓ００５）の後で表示方向の決定処理（ステップＳ００６）を行う例としたが、各処理の順序はこれに限定されない。表示方向の決定処理の後で表示幅の決定処理が行われてもよいし、表示幅の決定処理と表示幅の決定処理とが並行して行われてもよい。
【００７５】
（変形例１５）
上記実施の形態では、認識部２００により単一の対象物が認識された場合について説明したが、認識部２００により複数の対象物が認識された場合、表示制御部４０２において、複数の領域を強調するようにしてもよい。この場合の例を図１８に示す。例えば、図１８Ａに示すように、例えば、歩行者６０４が二人認識された場合、各歩行者６０４に対応する強調表示領域４０５を表示するようにしてもよい。ただし、図１８Ａのように強調表示領域が複数存在することにより、運転者が表示を理解し、実世界の歩行者との対応付を行う事が困難となる可能性がある。そのため、強調表示領域間の非強調表示領域が所定の大きさよりも小さい場合、図１８Ａに示す強調表示領域４０５間の非強調表示領域４０６を強調色で表示することで、図１８Ｂに示すように、一つの強調表示領域４０５に統合して表示を行っても良い。これにより、運転者は、大まかな周囲の対象物の状況を、迅速に理解することができる。
【００７６】
（実施の形態２）
本発明の実施の形態２について、図１０を参照して説明する。図１０は、本実施の形態に係る表示システム１０の構成例を示すブロック図である。図１０では、表示システム１０において、センサ１０１が追加され、算出部３００を備えない点が図１と異なる。なお、図１０の各構成要素は図１を用いて説明済みであるので、以下では、それらの詳細な説明は省略する。
【００７７】
センサ１００は、例えばセンシングカメラである。センサ１００は、車両の周辺を検出し、その検出結果を判定部４０１へ出力する。
【００７８】
また、センサ１０１は、認識精度が低下しやすい走行環境（例えば、雨、霧、みぞれ、雹、雪などの悪天候の中を車両が走行しているか、逆光または対向車のヘッドライトなどにより車両周辺の照度が増加したか、夜間またはトンネル内の走行により車両周辺の照度が減少したか）を検出可能なセンサであり、例えば、雨滴センサまたは照度センサである。センサ１０１は、雨、霧、雪による悪天候、または、逆光、他の車両からの照明光、夜間の走行、トンネル内の走行による照度変化を検出し、その検出結果を判定部４０１へ出力する。
【００７９】
判定部４０１は、センサ１０１において悪天候または照度変化が検出されない場合、センサ１００の認識精度を第１の認識精度であると判定する。また、判定部４０１は、センサ１０１において悪天候または照度変化が検出された場合、センサ１００の認識精度を第１の認識精度よりも低い第２の認識精度であると判定する。
【００８０】
表示制御部４０２は、認識部２００により所定の対象物が認識され、かつ、判定部４０１によりセンサ１００の認識精度が第１の認識精度であると判定された場合、表示媒体に表示されたときに、所定の対象物と車両との位置関係を示し、ｎ（２以上の整数）個に分割された所定形状の図形を表す所定画像を生成するように表示部５００を制御する。また、表示制御部４０２は、認識部２００により所定の対象物が認識され、かつ、センサ１００の認識精度が第２の認識精度であると判定された場合、表示媒体に表示されたときに、分割されていない、または、ｍ（ｎより小さい２以上の整数）個に分割された所定形状の図形を表す所定画像を生成するように表示部５００を制御する。
【００８１】
以上説明したように、本実施の形態は、上記実施の形態１と同じ効果を得ることができる。なお、実施の形態１で説明した各変形例を、本実施の形態に適宜適用してもよい。
【００８２】
（実施の形態３）
本発明の実施の形態３について、図面を参照して説明する。
【００８３】
認識精度に応じて強調表示領域の位置または面積が変化する場合、ディスプレイの位置によっては、運転者に対して視覚的な煩わしさを与えてしまうことがある。特に、ＨＵＤでは、運転者が少ない視線移動でディスプレイ上の情報を視認できるようにディスプレイが運転者の正面付近に設置されることが多いため、より大きな視覚的な煩わしさを運転者に与えるおそれがある。そこで、本実施の形態では、認識精度に応じて強調表示領域の位置または面積が変化する場合における視覚的な煩わしさを低減させる制御を行うようにする。
【００８４】
まず、本実施の形態に係る表示システム１０の構成例について図１１を用いて説明する。図１１は、本実施の形態に係る表示システム１１の構成例を示すブロック図である。図１１では、表示制御装置４００に蓄積部４０３が追加されている点が図１と異なる。なお、以下では、主に実施の形態１と異なる点を説明し、実施の形態１と共通する点の説明は省略する。
【００８５】
蓄積部４０３は、リングバッファであり、認識部２００からの認識結果情報を所定時間蓄積し、蓄積した認識結果情報を表示制御部４０２へ出力する。例えば、センサ１００がセンシングカメラであって、１５ｆｐｓで認識部２００から認識結果情報が出力される場合、蓄積部４０３は、最新の１秒間における認識結果情報（１５フレーム分の認識結果情報）を蓄積し、表示制御部４０２へ出力する。
【００８６】
表示制御部４０２は、実施の形態１で説明した処理動作以外に、以下の処理動作を行う。
【００８７】
表示制御部４０２は、蓄積部４０３からの認識結果情報（例えば、相対角度）の平滑化を行う。例えば、表示制御部４０２は、複数の認識結果情報の平均値または中央値をとって平滑化すればよい。そして、表示制御部４０２は、平滑化した認識結果情報に基づいて、実施の形態１で説明した表示方向の決定処理を行う。
【００８８】
また、表示制御部４０２は、所定の平滑化フィルタを用いて強調表示領域に対して平滑化を行うように表示部５００を制御する。すなわち、表示制御部４０２は、決定した強調表示領域の範囲、表示形態、平滑化の実行指示（平滑化フィルタの指定を含む）などの情報を含む制御情報を、表示部５００へ出力する。なお、平滑化フィルタとしては、例えば、対象となる画素を中心とした所定範囲（例えば、３×３画素、５×５画素）の大きさの平滑化フィルタ、または、画素ごとに重み付けをしたガウシアンフィルタ等の重み付き平滑化フィルタなどが用いられる。
【００８９】
次に、本実施の形態に係る表示システム１０の動作例について図１２を用いて説明する。図１２は、本実施の形態に係る表示システム１０の動作例を示すフローチャートである。なお、以下では、主に実施の形態１と異なる点を説明し、実施の形態１と共通する点の説明は省略する。
【００９０】
ステップＳ０１０において、蓄積部４０３は、認識部２００からの認識結果情報を所定時間蓄積し、表示制御部４０２へ出力する。
【００９１】
ステップＳ００６において、表示制御部４０２は、蓄積部４０３からの認識結果情報（例えば、相対角度）の平滑化を行い、平滑化した認識結果情報に基づいて表示方向を決定する。
【００９２】
ステップＳ００７における強調表示領域の範囲の決定およびステップＳ００８における表示形態の決定が終了すると、表示制御部４０２は、制御情報を表示部５００へ出力する。この制御情報は、決定した強調表示領域の範囲および表示形態に基づいて図形を生成し、かつ、所定の平滑化フィルタを用いて強調表示領域の平滑化を行い、その結果をディスプレイに表示するように表示部５００を制御する情報である。
【００９３】
ステップＳ００９において、表示部５００は、表示制御部４０２からの制御情報に基づいて、図形を生成し、かつ、強調表示領域の平滑化を行い、その結果をディスプレイに表示する。この表示の具体例を図１３に示す。図１３Ａは、強調表示領域４０５における特定方向のエッジ（上述した正の方向のエッジおよび負の方向のエッジ）のみに対して平滑化処理を行った場合の表示例である。図１３Ｂは、強調表示領域４０５における全てのエッジ（または、強調表示領域４０５全体）に対して平滑化処理を行った場合の表示例である。この場合、強調表示領域４０５の全てのエッジが非強調表示領域４０６に囲まれている物として平滑化処理が行われる。
【００９４】
以上説明したように、本実施の形態では、所定時間蓄積した認識結果情報を平滑化し、平滑化した認識結果情報に基づいて表示方向を決定することを特徴とする。これにより、対象物の認識結果のばらつきに起因する急激な変化によって強調表示領域の位置が大きく変化することを防ぐことができ、運転者に与える視覚的な煩わしさを低減することができる。
【００９５】
また、本実施の形態では、強調表示領域における所定のエッジに対して平滑化を行うことを特徴とする。これにより、強調表示領域が変化する際のエッジのちらつきまたはぶれを吸収でき、運転者に与える視覚的な煩わしさを低減することができる。
【００９６】
以上、本発明の実施の形態３について説明したが、本発明は上記実施の形態３に限定されず、種々の変形が可能である。例えば、実施の形態１において説明した各変形例および／または実施の形態２を、上記実施の形態３に適宜適用してもよい。
【００９７】
（実施の形態４）
本発明の実施の形態４について、図面を参照して説明する。
【００９８】
本実施の形態に係る表示システム１０の構成例について図１５に示す。図１５は、本実施の形態に係る表示システム１０の構成例を示すブロック図である。
【００９９】
図１５において、表示システム１０は、センサ１００、認識部２００、表示制御装置４００、画像生成部８００、表示部９００を有する。また、表示制御装置４００は、取得部４０７および制御部４０８を有する。取得部４０７は、具体的には入力端子であり、コネクタ、信号入力部などである。
【０１００】
センサ１００は、所定時間ごとに、車両の運転者の前景（前方の視界）をセンシングする。センサ１００は、例えばセンシングカメラである。センシングカメラは、車両の内部または外部に搭載され、車両の前景を撮影する。さらに、センシングカメラは、前景だけでなく、側面の光景を撮影してもよい。または、センサ１００は、例えばレーダであってもよい。レーダは、車両の内部または外部に搭載され、車両の前景等をセンシングする。以下、車両の前景等を、車両の周辺と呼ぶこともある。そして、センサ１００は、周辺のセンシング結果を示す周辺情報を認識部２００へ出力する。
【０１０１】
認識部２００は、センサ１００からの周辺情報に基づいて、車両周辺に存在する所定の対象物を認識する。対象物は、例えば、移動体（例えば、車両、自転車、二輪車等）、または、歩行者である。認識部２００の認識結果には、対象物の種別が含まれる。対象物の種別とは、たとえば、対象物が歩行者の場合は、第１種別が一定年齢以上の者であって、第２種別が第１種別よりも低年齢の者である。たとえば、第１種別は大人であり、第２種別は子供である。また、対象物の種別とは、たとえば、対象物が移動体である場合は、第１種別が車両であって、第２種別が二輪車である。
【０１０２】
なお、画像認識技術において、対象となる歩行者が大人であるか、または、子供であるか等、所定の年齢以上であるか否かを判定する技術は公知であるため説明を省略する。また、画像認識技術において、所定の対象物が、四輪車であるか、二輪車であるかを判定する技術も、また公知技術であるため説明を省略する。
【０１０３】
センサ１００がセンシングカメラである場合、認識部２００は、前景情報（前景画像）に対してパタンマッチングなどを行い、対象物を認識する。また、例えば、センサ１００がレーダである場合、認識部２００は、前景情報からクラスタリングまたは機械学習等により対象物を抽出し、認識する。なお、認識部２００における対象物認識技術は公知技術であるため、その詳細な説明は省略する。
【０１０４】
そして、認識部２００は、対象物の認識結果を示す認識情報を表示制御装置４００へ出力する。認識結果情報は、少なくとも、対象物の種別情報、および、対象物の位置情報を含む。対象物の位置情報は、対象物の存在位置（Ｘ，Ｙ）、車両の進行方向に対する対象物の相対角度（以下、単に相対角度という）、対象物と車両との相対速度、対象物の種別、パタンマッチングで得られた情報、対象物の追跡処理で得られた情報などのうち少なくとも一つである。なお、上記対象物の存在位置（Ｘ，Ｙ）は、車両のセンシングカメラが設置された点を基準として横方向をＸ、前方方向をＹとするカメラ座標系における座標である。また、上記対象物の存在位置（Ｘ，Ｙ）におけるＹは、車両の進行方向における車両と対象物との距離（以下、単に距離という）を示す。
【０１０５】
表示制御装置４００は、認識部２００から認識結果を取得する取得部４０７と、制御部４０８とを有する。取得部４０７は、表示制御装置４００がハードウェアで構成されるときには、コネクタ、入力端子等であり、実体的な機能はない入力部である。
【０１０６】
制御部４０８は、認識結果に基づいて、表示媒体に表示されたときに所定形状の図形を表す所定画像を生成するように画像生成部８００を制御する。所定形状の図形は、所定の対象物が存在する方向を示す部分領域の表示態様と、他の領域の表示態様とが異なる図形である。
【０１０７】
制御部４０８は、検出された所定の対象物が第１の種別（例えば、大人）であるとき、表示媒体に表示されたときに、部分領域の幅が第１の幅である第１の所定形状の図形を表す第１の所定画像を生成するように画像生成部８００を制御する。一方、検出された所定の対象物が第１の種別とは異なる第２の種別（例えば、子供）であるとき、表示媒体に表示されたときに、部分領域の幅が第１の幅よりも広い第２の幅である第２の所定形状の図形を表す第２の所定画像を生成するように画像生成部８００を制御する。
【０１０８】
具体的には、制御部４０８は、検出された歩行者が大人（第１の種別）であるとき、表示媒体に表示された所定形状の図形の部分領域の幅が狭く、歩行者が子供等（第２の種別）であるとき、所定形状の図形の部分領域の幅が広くなるように制御する。
【０１０９】
図１６は、歩行者６０４が大人の場合（図１６Ａ）、歩行者６０４が子供の場合（図１６Ｂ）のそれぞれについて、車両前方の風景、および、表示媒体に表示された所定図形の様子を示す。
【０１１０】
図６に示す図形３０１、３０２は、例えば図１６Ａに示すようにＨＵＤ６０２（ディスプレイの一例）に表示される。図１６Ａおよび図１６Ｂは、前景画像６０１において白線６０３近傍に存在する歩行者６０４が認識された場合であり、図１６Ａは、飛び出しの可能性が比較的低い大人の歩行者が検出された場合、図１６Ｂは飛び出しの可能性が比較的高い子供の歩行者が検出された場合を示している。図１６Ａの場合、図１６Ｂの場合と比較して、運転者は、歩行者６０４のより詳細な存在方向を把握できる。
【０１１１】
検出された所定の対象物が歩行者である場合、歩行者が急な方向転換、飛び出し等の予想外の行動をとる可能性があるが、その傾向は対象者が低年齢であるほど高い。すなわち、検出された対象が、子供、幼児など、所定の年齢よりも低年齢であるときには、飛び出し等の可能性が高くなる。そのため、歩行者が大人である場合（図１６Ａ）に比べて、歩行者が子供の場合には、所定形状の図形の部分領域の幅をより広くする必要がある（図１６Ｂ）。そうすることで、運転者に対してより強度な注意喚起をすることができる。
【０１１２】
一方、歩行者が大人である場合であっても、歩行者が、車両が走行する道路を向いている場合には、運転者は相当の注意を要する。係る場合、認識結果は、所定の対象物である歩行者が向いている方向情報を含み、制御部４０８は、第１の種別の歩行者が、移動体が走行する道路を向いているとき、第２の所定画像を生成するように画像生成部８００を制御してもよい。
【０１１３】
また、歩行者が大人である場合であっても、歩行者が、車両が走行する道路に向けた加速度が正の値である場合には、運転者は相当の注意を要する。係る場合、認識結果は、所定の対象物である歩行者の加速度情報を含み、制御部４０８は、第１の種別の歩行者が、移動体が走行する道路に向けた加速度が正であるとき、第２の所定画像を生成するように画像生成部８００を制御してもよい。
【０１１４】
一方、検出された所定の対象物が車両（四輪車、二輪車）である場合、歩行者とは異なる対応が必要となる。そのため、検出された所定の対象物が車両であるとき、制御部４０８は、表示媒体に表示された所定形状の図形の部分領域の幅が第３の幅である第３の所定形状の図形を表す第３の所定画像を生成するように画像生成部８００を制御する。第３の幅は、第１の幅より広い。なお、第３の幅は、第２の幅と実質的に同じであってもよい。脇道から突然出現する車両に対する注意喚起の程度と、歩道に存在する子供に対する注意喚起の程度とを等しくすることができる。
【０１１５】
すなわち、検出された対象物の位置、速度、加速度等の時間的な変動が大きい場合は、対象物の将来の挙動の予測が難しいと考えられるため、位置、速度、加速度等の対象物に関する情報の時間的な変動が大きい場合には、所定形状の図形の部分領域の幅を変更してもよい。
【０１１６】
画像生成部８００は、制御部４０８からの制御情報に基づいて、所定画像を生成する。所定画像は後述する表示部９００によって表示媒体に表示され、所定形状の図形を表す。なお、所定画像は、画像であってもよいし、または、画像データであってもよい。後述する表示部９００がプロジェクタ機能を有する場合、画像生成部８００は画像を生成し、画像が表示部９００によって投射される。一方、後述する表示部９００がプロジェクタ機能を有するものではない場合、画像生成部８００は画像データを生成し、画像データが表示部９００によって出力される。
【０１１７】
表示部９００は、画像生成部８００において生成された所定画像を、図示しないディスプレイ（表示媒体の一例）に出力することで所定形状の図形を表示媒体に表示させる。表示部９００は、たとえば、プロジェクタ機能を有し、ディスプレイへ直接投影する。ディスプレイはたとえば移動体のフロント・ウインドシールド、または、ウインドシールドとは別に設けられた透明なコンバイナである。すなわち、表示部９００は、ウインドシールドに所定画像を投射することで、所定形状の図形をウインドシールドに表示させる。表示された所定形状の図形は、移動体の乗員に虚像として視認される。なお、透明なコンバイナは、たとえば図１９に示すコンバイナ８０１である。
【０１１８】
なお、表示部９００は、プロジェクタ機能を用いる代わりに、例えば、ディスプレイに表示させてもよい。この場合、ディスプレイは透過型ディスプレイであり、画像生成部８００において生成される所定画像は画像データである。すなわち、表示部９００は、透過型ディスプレイに画像データを出力することで、所定形状の図形を透過型ディスプレイに表示させる。透過型ディスプレイに入力された画像データが所定形状の図形として表示される原理については、公知技術のため、説明を省略する。
【０１１９】
また、表示媒体は、ホログラムであってもよい。ホログラムを用いる場合、導光板の内部全反射条件を満たす平行光束群を内部全反射して導光する導光板を用いて、導光板を内部全反射して導光される平行光束群の一部を射出することで乗員に虚像を視認させる方式でもよい。なお、導光板を用いた方式においては、プロジェクタのように画像データを直接的に投影するものではないが、説明の便宜上、プロジェクタ方式と同様に投射という定義で説明する。
【０１２０】
ディスプレイとしては、例えば、ＬＣＤ（Liquid Crystal Display）、ＨＵＤ（Head‐Up Display）、ＨＭＤ（Head‐Mounted DisplayまたはHelmet‐Mounted Display）、眼鏡型ディスプレイ（Smart Glasses）、ナビゲーション用ディスプレイ、メータディスプレイ、その他の専用のディスプレイなどが適用される。ＨＵＤは、例えば、車両のウインドシールドであってもよいし、別途設けられるガラス面、プラスチック面などであってもよい。また、ウインドシールドは、例えば、フロントガラスであってもよいし、車両のサイドガラスまたはバックガラスであってもよい。さらに上述したとおり、表示媒体は透過型ディスプレイであってもよい。透過型ディスプレイとは例えば、透過型の有機ELディスプレイ、または、特定の波長の光を照射した際に発光するガラスを用いた透明なディスプレイであり、ドライバは、背景を視認すると同時に、透過型ディスプレイ上の表示を視認する事ができる。また、透過型ディスプレイは、光を透過する表示媒体である。
【０１２１】
表示媒体が移動体のウインドシールドである場合、表示部９００は、ウインドシールドに所定画像を投射することで、所定形状の図形をウインドシールドに表示させる。一方、表示媒体が透過型ディスプレイである場合、所定画像は画像データであって、表示部９００は、透過型ディスプレイに画像データを出力することで、所定形状の図形を透過型ディスプレイに表示させる。ここで、説明の便宜のため、本実施の形態の説明においては、出力は投射の上位概念であると定義する。
【０１２２】
なお、表示システム１０は、上述したディスプレイを含む構成であってもよい。
【０１２３】
また、上述した図形は、画像生成部５００ではなく、表示制御装置４００または図示しない他の構成要素によって生成されてもよい。
【０１２４】
表示システム１０において生成される図形は、例えば、所定画像が表示媒体に投射された場合には、移動体の乗員に虚像として視認される。このとき、図形は、乗員の視界に重畳されるようにディスプレイに投影されてもよい。なお、ディスプレイに投影された図形が虚像として運転者に視認される原理は、公知技術であるため、説明を省略する。
【０１２５】
図１７は、図１５に示す表示システム１０が有する表示制御装置４００の動作例を示すフローチャートである。以下、図１５、および図１７を用いて、制御部４０８の動作例を説明する。
【０１２６】
ステップ１０１において、取得部４０７が認識結果を取得した場合（ステップＳ１０１：ＹＥＳ）、ステップＳ１０２へ進み、所定の対象が歩行者であるとき（ステップＳ１０２：ＹＥＳ）、ステップＳ１０３へ進む。
【０１２７】
ステップＳ１０３において、制御部４０８が、歩行者は所定の年齢より高齢であるか否かを判断し、所定の年齢より高齢である場合（ステップＳ１０３：ＹＥＳ）、ステップＳ１０４へ進む。一方、歩行者は所定の年齢より高齢でない場合（ステップＳ１０３：ＮＯ）、ステップＳ１０５へ進む。
【０１２８】
ステップＳ１０４において、制御部４０８は、歩行者が所定の年齢より高齢である場合、第１の種別であると決定し、ステップＳ１０６において、制御部４０８は、表示媒体に表示されたときに、部分領域の幅が第１の幅である第１の所定形状の図形を表す第１の所定画像を生成するように画像生成部８００を制御する。
【０１２９】
ステップＳ１０８において、画像生成部８００は、制御部４０８からの制御に基づいて、所定の画像（第１の所定画像）を生成する。
【０１３０】
一方、ステップＳ１０５において、制御部４０８は、歩行者が所定の年齢より高齢でない場合、第２の種別であると決定し、ステップＳ１０７において、制御部４０８は、表示媒体に表示されたときに、部分領域の幅が第１の幅より広い第２の幅である第２の所定形状の図形を表す第２の所定画像を生成するように画像生成部８００を制御する。
【０１３１】
ステップＳ１０９において、画像生成部８００は、制御部４０８からの制御に基づいて、所定の画像（第２の所定画像）を生成する。
【０１３２】
なお、ステップＳ１０２において、制御部４０８が、所定の対象物は歩行者でないと判断したとき（ステップＳ１０２：ＮＯ）、ステップＳ１１０に進む。
【０１３３】
そして、ステップＳ１１０において、制御部４０８は、所定の対象物が車両であると決定する。そして、ステップＳ１１１において、制御部４０８は、表示媒体に表示されたときに、部分領域の幅が第３の幅である第３の所定形状の図形を表す第３の所定画像を生成するように画像生成部８００を制御する。第３の幅は、装置の仕様によって決定され、第１の幅と同じでもよいし、第２の幅と同じでもよい。また、第１の幅および第２の幅と異なってもよい。その後、ステップＳ１１２において、画像生成部８００は、制御部４０８からの制御に基づいて、所定の画像（第３の所定画像）を生成する。
【０１３４】
ステップＳ１１３において、表示部９００は、画像生成部８００が生成した所定画像を表示媒体に出力する。
【０１３５】
以上のように、所定の対象が歩行者である場合において、歩行者が所定の年齢より高齢であるか否かによって、所定形状の図形の部分領域の幅を変更することで、飛び出し等の予想外の行動をする低年齢歩行者に対する注意喚起を高めることができる。
【０１３６】
なお、所定画像と、所定形状の図形とは理想的には同じものである。表示媒体の湾曲の程度等の条件によって多少異なるが、実質的には同じものである。所定画像は画像生成部８００が生成し、所定形状の図形は表示媒体に表示される。また、図５を用いて説明した強調表示領域の決定は、車両周辺に注意対象物が存在する場合にのみされるものであってもよい。すなわち、本実施の形態における表示システム１０において、強調表示領域を決定し、表示媒体に表示することは必須要素ではない。検知精度に基づいて、表示媒体に所定形状の図形を表示するのみによって、目的は達成される。
【０１３７】
また、上記説明において、表示装置２０は、表示制御装置４００、画像生成部８００、表示部９００を有すると説明したが、表示媒体がコンバイナである場合には、表示装置２０は表示媒体を備えてもよい。図１９は、表示媒体がコンバイナである場合の表示装置２０の構成例を示す。表示装置２０は、表示媒体としてコンバイナ８０１を備える。
【０１３８】
また、実施の形態１において記載した変形例１〜１５の内容は、本実施の形態４にも適用可能である。
【０１３９】
また、上述した各実施の形態における表示システム１０、表示制御装置４００の各部の機能は、コンピュータプログラムにより実現され得る。
【０１４０】
図１４は、各部の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。このコンピュータ１０００は、入力ボタン、タッチパッドなどの入力装置１００１、ディスプレイやスピーカなどの出力装置１００２、ＣＰＵ（Central Processing Unit）１００３、ＲＯＭ（Read Only Memory）１００４、ＲＡＭ（Random Access Memory）１００５、ハードディスク装置やＳＳＤ（Solid State Drive）などの記憶装置１００６、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）やＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置１００７、ネットワークを介して通信を行う送受信装置１００８を備え、各部はバス１００９により接続される。
【０１４１】
そして、読取装置１００７は、上記各部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置１００６に記憶させる。あるいは、送受信装置１００８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各部の機能を実現するためのプログラムを記憶装置１００６に記憶させる。
【０１４２】
そして、ＣＰＵ１００３が、記憶装置１００６に記憶されたプログラムをＲＡＭ１００５にコピーし、そのプログラムに含まれる命令をＲＡＭ１００５から順次読み出して実行することにより、上記各部の機能が実現される。また、プログラムを実行する際、ＲＡＭ１００５または記憶装置１００６には、各実施の形態で述べた各種処理で得られた情報が記憶され、適宜利用される。
【０１４３】
なお、上記実施の形態の説明に用いた各機能ブロックは、集積回路であるＬＳＩ（Large Scale Integration）として実現されてもよい。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１４４】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１４５】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
【産業上の利用可能性】
【０１４６】
本発明は、ユーザ（例えば、車両等の乗員、または、表示デバイスを装着したユーザ等）に対して提供される情報の表示を制御する表示制御装置および表示制御プログラムに有用である。
【符号の説明】
【０１４７】
１０  表示システム
１００、１０１  センサ
２００  認識部
３００  算出部
３０１  図形（基準位置図形の一例）
３０２、８０２  図形（検出範囲図形の一例）
４００  表示制御装置
４０１  判定部
４０２  表示制御部
４０３  蓄積部
４０４  表示幅
４０５  強調表示領域
４０６  非強調表示領域
４０７  取得部
４０８  制御部
５００  表示部
６０１  前景画像
６０２  ＨＵＤ
６０３  白線
６０４  歩行者
７０１、７０２、７０３  テンプレートの直線
８００  画像生成部
８０１  コンバイナ
９００  表示部
１０００  コンピュータ
１００１  入力装置
１００２  出力装置
１００３  ＣＰＵ
１００４  ＲＯＭ
１００５  ＲＡＭ
１００６  記憶装置
１００７  読取装置
１００８  送受信装置
１００９  バス
【図１】
2015181216.tif 000003
【図２】
2015181216.tif 000004
【図３】
2015181216.tif 000005
【図４】
2015181216.tif 000006
【図５】
2015181216.tif 000007
【図６】
2015181216.tif 000008
【図７】
2015181216.tif 000009
【図８】
2015181216.tif 000010
【図９】
2015181216.tif 000011
【図１０】
2015181216.tif 000012
【図１１】
2015181216.tif 000013
【図１２】
2015181216.tif 000014
【図１４】
2015181216.tif 000015
【図１５】
2015181216.tif 000016
【図１６】
2015181216.tif 000017
【図１７】
2015181216.tif 000018
【図１８】
2015181216.tif 000019
【図１９】
2015181216.tif 000020
【図１３】
2015181216.tif 000021