(57)【要約】【課題】運転者が、周辺視野に存在する対象に視線を向けることなく、その対象の種別を認識できる表示制御プログラムを提供する。【解決手段】認識部１０１により認識された対象物が所定の対象物であるか否かを判定する判定処理と、対象物が所定の対象物であると判定した場合、第１のタイミングで取得された前景画像に含まれる対象物の認識結果に基づいて第１画像を生成するように表示部１０３を制御し、第１のタイミングより後の第２のタイミングで取得された前景画像に含まれる対象物の認識結果に基づいて第２画像を生成するように表示部１０３を制御する制御処理と、をコンピュータに実行させる。第１画像は、対象物の骨格を代表するマーカ群を表す画像であり、第２画像は、第１の画像を構成するマーカ群に対応するマーカ群を表す画像である。第１画像を構成するマーカ群と第２画像を構成するマーカ群は、少なくとも１つのマーカの配置が異なる。【選択図】図２
2015180037.tif 000002
【特許請求の範囲】
【請求項１】
移動体の乗員の前方視界を表す前景画像を取得し、前記前景画像に含まれる対象物を認識する認識部と、前記認識部の認識結果に基づいて画像を生成し、前記画像を表示媒体に表示する表示部とを含む表示システムにおけるコンピュータに実行させる表示制御プログラムであって、
前記コンピュータに対して、
前記認識部により認識された前記対象物が所定の対象物であるか否かを判定する判定処理と、
前記判定処理により前記対象物が所定の対象物であると判定した場合、第１のタイミングで取得された前景画像に含まれる対象物の認識結果に基づいて第１画像を生成するように前記表示部を制御し、第１のタイミングより後の第２のタイミングで取得された前景画像に含まれる対象物の認識結果に基づいて第２画像を生成するように前記表示部を制御する制御処理と、
を実行させ、
前記第１画像は、前記対象物の骨格を代表するマーカ群を表す画像であり、
前記第２画像は、前記第１の画像を構成するマーカ群に対応するマーカ群を表す画像であり、
前記第１画像を構成するマーカ群と前記第２画像を構成するマーカ群は、少なくとも１つのマーカの配置が異なる、
表示制御プログラム。
【請求項２】
前記制御処理において、
前記対象物と前記移動体との距離が所定閾値より小さい場合、前記対象物の移動速度が所定閾値より大きい場合、または、前記対象物の前記移動体への接近速度が所定閾値より大きい場合、前記第１のタイミングと前記第２のタイミングの時間間隔を、設定されている時間間隔よりも短くし、
前記対象物と前記移動体との距離が所定閾値より大きい場合、前記対象物の移動速度が所定閾値より小さい場合、または、前記対象物の前記移動体への接近速度が所定閾値より小さい場合、前記第１のタイミングと前記第２のタイミングの時間間隔を、設定されている時間間隔よりも長くする、
請求項１に記載の表示制御プログラム。
【請求項３】
前記マーカは点である、請求項１に記載の表示制御プログラム。
【請求項４】
前記マーカは線である、請求項１に記載の表示制御プログラム。
【請求項５】
前記制御処理において、
前記対象物と前記移動体との距離に応じて、前記マーカである線の長さを決定する、
請求項４に記載の表示制御プログラム
【請求項６】
移動体の乗員の前方視界を表す前景画像を取得し、前記前景画像に含まれる対象物を認識する認識部と、前記認識部の認識結果に基づいて画像を生成し、前記画像を表示媒体に表示する表示部とを含む表示システムにおける表示制御装置であって、
前記認識部により認識された前記対象物が所定の対象物であるか否かを判定する判定部と、
前記判定部により前記対象物が所定の対象物であると判定された場合、第１のタイミングで取得された前景画像に含まれる対象物の認識結果に基づいて第１画像を生成するように前記表示部を制御し、第１のタイミングより後の第２のタイミングで取得された前景画像に含まれる対象物の認識結果に基づいて第２画像を生成するように前記表示部を制御する制御部と、
を備え、
前記第１画像は、前記対象物の骨格を代表するマーカ群を表す画像であり、
前記第２画像は、前記第１の画像を構成するマーカ群に対応するマーカ群を表す画像であり、
前記第１画像を構成するマーカ群と前記第２画像を構成するマーカ群は、少なくとも１つのマーカの配置が異なる、
表示制御装置。
【請求項７】
移動体の乗員の前方視界を表す前景画像を取得し、前記前景画像に含まれる対象物を認識する認識部により認識された前記対象物が所定の対象物であるか否かを判定する判定部と、
前記認識部の認識結果に基づいて画像を生成し、前記画像を表示媒体に表示する表示部と、
前記判定部により前記対象物が所定の対象物であると判定された場合、第１のタイミングで取得された前景画像に含まれる対象物の認識結果に基づいて第１画像を生成するように前記表示部を制御し、第１のタイミングより後の第２のタイミングで取得された前景画像に含まれる対象物の認識結果に基づいて第２画像を生成するように前記表示部を制御する制御部と、
を備え、
前記第１画像は、前記対象物の骨格を代表するマーカ群を表す画像であり、
前記第２画像は、前記第１の画像を構成するマーカ群に対応するマーカ群を表す画像であり、
前記第１画像を構成するマーカ群と前記第２画像を構成するマーカ群は、少なくとも１つのマーカの配置が異なる、
表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転者に注意を喚起するための情報の表示を制御する表示制御プログラム、表示制御装置、および表示装置に関する。
【背景技術】
【０００２】
現在、運転者に注意喚起する先進運転支援システム（ＡＤＡＳ：Advanced Driver Assistance Systems）が普及しつつある。ＡＤＡＳのアプリケーションには、車線逸脱警報（ＬＤＷ：Lane Departure Warning）、前方車両衝突警報（ＦＣＷ：Forward Collision Warning）、歩行者衝突警報（ＰＣＷ：Pedestrian Collision Warning）などがある。このＡＤＡＳでは、白線などの走行環境、先行車両および後方から接近する車両、進行方向上の歩行者などを、車載カメラまたは車載レーダ等で検知し、その検知内容に基づく情報を表示する。情報の表示先としては、例えば、メータディスプレイ、ＨＵＤ（Head‐Up Display）、ＨＭＤ（Head‐Mounted DisplayまたはHelmet‐Mounted Display）、眼鏡型ディスプレイ（Smart Glasses）などがある。
【０００３】
人間の目の視野は、中心視野と周辺視野に分けられる。中心視野は、解像視力の観点では視角２度（中心窩から半径１度の範囲）程度（例えば、非特許文献１参照）、網膜構造の観点では視角５度範囲（例えば、非特許文献２参照）、また、視覚皮質に関する神経解剖学の分類では視角７度の範囲内（例えば、非特許文献３参照）、とそれぞれ定義されている。中心視野は、錐体細胞が多く高い分解能力を持つ部分であり、色の識別力と視力が最もよく、鮮明にものを見ることができる。一方、周辺視野では、錐体細胞が少なく色が良く見えず、視力が中心視野と比べて低いが、杆体の密度が高く運動刺激に対して極めて敏感である。周辺視野は、空間位置関係の把握または運動知覚に重要な役割を果たしている。つまり、人間の目には、周辺視野で動く物をとらえ、中心視野でその詳細を把握する機能が備わっている。
【０００４】
一方で、この人間の目の視野による視覚特性の違いが原因となって、交通事故が発生することがある。例えば、直線道路を直進している車両の運転者は、正面の道路または先行車両に注意しているため、道路の端から飛び出してくる歩行者に気付きにくい。これは、運転者の運転する車両、運転者が注意している先行車両または道路を含む走行環境に対し、歩行者の移動速度が遅く歩行者の動きが少ないことと、道路の端から飛び出す歩行者を運転者が周辺視野でとらえることが重なってしまうからである。その結果、運転者は、動きに敏感な周辺視野で動きの小さな歩行者をとらえられず、見落としてしまう。また、昼間に周囲の見通しの良い交差点において、接近する相手車両に気付くことなく出会い頭衝突する事故が発生している。運転者の視野の中で、交差点に進入してくる相手車両との位置関係（見える角度）が変化しない場合に、特に運転者が視線を左右に動かさずに正面だけを見ていると、相手車両の存在に気付くのが遅れ、衝突の危険性が高まる。これは、運転者の視野の中で相手車両が動かないため、運転者は、動きに敏感な周辺視野で動きのない相手車両をとらえられず、相手車両が接近していることに気付かないからである。
【０００５】
従来、運転者が周辺視野に存在する対象に視線を向けずにより多くの情報を得ることができる技術として、情報の内容に応じて変化するアニメーションによって情報を表示する車両用表示装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−２４０８４３号公報
【非特許文献】
【０００７】
【非特許文献１】L.L.Sloan、“The photopic acuity-luminance function with special reference to parafoveal vision”、Vision Research、1968年、p.901-911
【非特許文献２】M.Mishkin、L.Ungerleider、“Contribution of striate inputs to the visuospatial functions of parieto-preoccipital cortex in monkeys”、Behav Brain Res、1982年、p.57-77
【非特許文献３】日本視覚学会（編）、“視覚情報ハンドブック”、朝倉書店、2000年
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１の技術では、運転者は、アニメーションを見ることで注意すべき対象の値、方向、位置関係は認識できるものの、いずれの場合も、対象が何であるのかは認識できている前提でさらに詳しい属性が認識できるというものであり、対象の種別（例えば、対象が歩行者であるか否か）自体は認識できないという課題がある。
【０００９】
本発明の目的は、運転者が、周辺視野に存在する対象に視線を向けることなく、その対象の種別を認識することができる表示制御プログラム、表示制御装置、および表示装置を提供することである。
【課題を解決するための手段】
【００１０】
本発明の一態様に係る表示制御プログラムは、移動体の乗員の前方視界を表す前景画像を取得し、前記前景画像に含まれる対象物を認識する認識部と、前記認識部の認識結果に基づいて画像を生成し、前記画像を表示媒体に表示する表示部とを含む表示システムにおけるコンピュータに実行させる表示制御プログラムであって、前記コンピュータに対して、前記認識部により認識された前記対象物が所定の対象物であるか否かを判定する判定処理と、前記判定処理により前記対象物が所定の対象物であると判定した場合、第１のタイミングで取得された前景画像に含まれる対象物の認識結果に基づいて第１画像を生成するように前記表示部を制御し、第１のタイミングより後の第２のタイミングで取得された前景画像に含まれる対象物の認識結果に基づいて第２画像を生成するように前記表示部を制御する制御処理と、を実行させ、前記第１画像は、前記対象物の骨格を代表するマーカ群を表す画像であり、前記第２画像は、前記第１の画像を構成するマーカ群に対応するマーカ群を表す画像であり、前記第１画像を構成するマーカ群と前記第２画像を構成するマーカ群は、少なくとも１つのマーカの配置が異なるようにした。
【００１１】
本発明の一態様に係る表示制御装置は、移動体の乗員の前方視界を表す前景画像を取得し、前記前景画像に含まれる対象物を認識する認識部と、前記認識部の認識結果に基づいて画像を生成し、前記画像を表示媒体に表示する表示部とを含む表示システムにおける表示制御装置であって、前記認識部により認識された前記対象物が所定の対象物であるか否かを判定する判定部と、前記判定部により前記対象物が所定の対象物であると判定された場合、第１のタイミングで取得された前景画像に含まれる対象物の認識結果に基づいて第１画像を生成するように前記表示部を制御し、第１のタイミングより後の第２のタイミングで取得された前景画像に含まれる対象物の認識結果に基づいて第２画像を生成するように前記表示部を制御する制御部と、を備え、前記第１画像は、前記対象物の骨格を代表するマーカ群を表す画像であり、前記第２画像は、前記第１の画像を構成するマーカ群に対応するマーカ群を表す画像であり、前記第１画像を構成するマーカ群と前記第２画像を構成するマーカ群は、少なくとも１つのマーカの配置が異なる構成を採る。
【００１２】
本発明の一態様に係る表示装置は、移動体の乗員の前方視界を表す前景画像を取得し、前記前景画像に含まれる対象物を認識する認識部により認識された前記対象物が所定の対象物であるか否かを判定する判定部と、前記認識部の認識結果に基づいて画像を生成し、前記画像を表示媒体に表示する表示部と、前記判定部により前記対象物が所定の対象物であると判定された場合、第１のタイミングで取得された前景画像に含まれる対象物の認識結果に基づいて第１画像を生成するように前記表示部を制御し、第１のタイミングより後の第２のタイミングで取得された前景画像に含まれる対象物の認識結果に基づいて第２画像を生成するように前記表示部を制御する制御部と、を備え、前記第１画像は、前記対象物の骨格を代表するマーカ群を表す画像であり、前記第２画像は、前記第１の画像を構成するマーカ群に対応するマーカ群を表す画像であり、前記第１画像を構成するマーカ群と前記第２画像を構成するマーカ群は、少なくとも１つのマーカの配置が異なる構成を採る。
【発明の効果】
【００１３】
本発明によれば、運転者は、周辺視野に存在する対象に視線を向けることなく、その対象の種別を認識することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態１に係る表示システムの構成例を示すブロック図
【図２】本発明の実施の形態１に係る表示システムの動作例を示すフローチャート
【図３】本発明の実施の形態１に係る運転者の視界の一例および運転者に提示される画像の一例を示す図
【図４】本発明の実施の形態１に係る点群の例を示す図
【図５】本発明の実施の形態１に係る運転者に提示される画像の一例を示す図
【図６】本発明の実施の形態１に係る運転者に提示される画像の一例を示す図
【図７】本発明の実施の形態１に係る表示システムおよび表示制御装置のハードウェア構成例を示すブロック図
【図８】本発明の実施の形態２に係る表示システムの構成例を示すブロック図
【図９】本発明の実施の形態２に係る人物の例を示す図
【図１０】本発明の実施の形態２に係る線群の例を示す図
【図１１】本発明の実施の形態２に係る線群の例を示す図
【図１２】本発明の実施の形態２に係る運転者から見える状態の一例を示す図
【図１３】本発明の実施の形態２に係るマーカ表示の説明図
【発明を実施するための形態】
【００１５】
（実施の形態１）
以下、本発明の実施の形態１について、図面を参照して説明する。
【００１６】
本発明の実施の形態１では、バイオロジカル・モーションを用いて運転者に対して情報の提示を行う。まず、バイオロジカル・モーションについて以下に説明する。
【００１７】
人間の視覚系は、身体の骨格のうち関節（例えば、頭、肩、肘、手首、膝および足首）に位置する光点が設定された他者が動作を開始した途端に、その動作に応じた光点の運動のみから、様々な情報（例えば、動作している対象が人間であること、性別、感情、方向、「歩いている」または「走っている」等の行為のカテゴリ、など）を読み取ることが可能であることが知られている（例えば、平井、“身体・身体運動知覚に関する発達認知神経科学研究とその展望”、赤ちゃん学会誌、2011年、Vol.10、p6-25参照）。この知覚現象は、バイオロジカル・モーションと呼ばれ、最低７個の光点があれば人間として知覚できることが確認されている（例えば、Johansson、“Visual Perception of biological motion and a model for its analysis”、Perception & Psychophysics、1973年、p.201-211）。また、人間の脳波は、バイオロジカル・モーションを見てからわずか２００ミリ秒で活動がみられ、早い処理がなされていることが確認されている（例えば、平井、“他人に敏感な私たちの脳のメカニズムを探る”、発達障害研究所 ルーキーズレポート、2013年2月6日参照）。
【００１８】
そこで、本実施の形態では、歩行者の骨格を代表するマーカ群である点群をバイオロジカル・モーションとして動かすことにより、車両の運転者が周辺視野に存在する歩行者に視線を移すことなく、対象が歩行者であることを運転者に伝えることを目的とする。
【００１９】
次に、本実施の形態の表示システム１００の構成例について図１を参照して説明する。図１は、本実施の形態の表示システム１００の構成例を示すブロック図である。
【００２０】
表示システム１００は、例えば、車両などの移動体において用いられる。すなわち、表示システム１００は、車載機器であってもよいし、車両に持ち込まれる機器であってもよい。なお、本実施の形態では、表示システム１００が車両に適用されたものとして説明するが、移動体は、車両に限定されず、船舶、航空機等であってもよい。また、本実施の形態では、ユーザが車両の乗員、特に車両の運転者である例について説明するが、その限りではない。さらには、表示システム１００は、ユーザの身体に装着に可能なウェラブルコンピュータ（例えば、後述するＨＭＤ）において用いられてもよい。
【００２１】
図１において、表示システム１００は、認識部１０１、表示制御装置１０２、および表示部１０３を有する。
【００２２】
認識部１０１は、車両の運転者の前方の視界を表す前景画像を取得し、その前景画像に含まれる特徴量を抽出し、抽出した特徴量に基づいて所定の対象物の認識を行う。認識部１０１は、例えば、車両の内部または外部に搭載されるセンシングカメラである。対象物とは、例えば、道路上の白線、標識、路面標示、縁石、ガードレール、信号機、電柱、車両、人物、建物などである。なお、対象物の認識に関する技術は公知のため、詳細な説明は省略する。
【００２３】
表示制御装置１０２は、認識部１０１の認識結果（例えば、対象物の特徴量）を示す認識結果情報に基づいて、表示部１０３から表示される画像データを制御する。表示制御装置１０２は、判定部１０４および制御部１０５を有する。これらの詳細は後述する。
【００２４】
表示部１０３は、画像データを生成してそれをディスプレイ（図示せず）へ表示する。表示部１０３は、プロジェクタ機能を有し、ディスプレイ（表示媒体の一例）へ直接表示する。なお、表示部１０３は、プロジェクタ機能に代えて、例えば、ディスプレイに表示させてもよいし、または、ホログラムを用いてもよい。ホログラムを用いる場合、導光板の内部全反射条件を満たす平行光束群を内部全反射して導光する導光板を用いて、導光板を内部全反射して導光される平行光束群の一部を射出することで乗員に虚像を視認させる方式でもよい。なお、導光板を用いた方式においては、プロジェクタのように画像データを直接的に表示するものではないが、説明の便宜上、プロジェクタ方式と同様に表示という定義で説明する。
【００２５】
ディスプレイとしては、例えば、ＬＣＤ（Liquid Crystal Display）、ＨＵＤ（Head‐Up Display）、ＨＭＤ（Head‐Mounted DisplayまたはHelmet‐Mounted Display）、眼鏡型ディスプレイ（Smart Glasses）、ナビゲーション用ディスプレイ、メータディスプレイ、その他の専用のディスプレイなどが適用される。ＨＵＤは、例えば、車両のウインドシールドであってもよいし、別途設けられるガラス面、プラスチック面などであってもよい。また、ウインドシールドは、例えば、フロントガラスであってもよいし、車両のサイドガラスまたはリアガラスであってもよい。
【００２６】
なお、表示部１０３を表示制御装置１０２に含めることで表示装置として構成してもよい。
【００２７】
また、上述した画像データは、表示部１０３ではなく、表示制御装置１０２または図示しない他の構成要素によって生成されてもよい。
【００２８】
表示システム１００において生成される画像データは、車両の運転者に提示するための提示情報（後述する第１画像または第２画像）を含む。すなわち、提示情報は、画像データの一部としてディスプレイに表示される。表示された提示情報は、虚像として運転者に視認される。ディスプレイに表示された提示情報が虚像として運転者に視認される原理は、公知技術であるため、説明を省略する。
【００２９】
なお、提示情報は、画像データの一部としてディスプレイに表示されるのではなく、運転者の視界に重畳されるようにディスプレイに表示されてもよい。この場合、表示制御装置１０２は提示情報だけを制御し、表示部１０３は提示情報だけをディスプレイに表示するようにしてもよい。以下では、提示情報が運転者の視界に重畳されるようにディスプレイに表示される例について説明する。
【００３０】
次に、本実施の形態の表示制御装置１０２の構成について説明する。図１において、表示制御装置１０２は、判定部１０４、制御部１０５を有する。
【００３１】
判定部１０４は、認識部１０１からの認識結果情報に基づいて、認識部１０１により認識された対象物（以下、認識対象物という）が所定の対象物（例えば、歩行者）であるか否かを判定する。すなわち、判定部１０４は、認識対象物の種別を判定する。
【００３２】
制御部１０５は、判定部１０４において認識対象物が所定の対象物であると判定された場合、第１のタイミングで取得された前景画像に含まれる対象物の認識結果に基づいて、第１画像を生成するように表示部１０３を制御する。また、制御部１０５は、第１のタイミングより後の第２のタイミングで取得された前景画像に含まれる対象物の認識結果に基づいて、第２画像を生成するように表示部１０３を制御する。
【００３３】
第１画像は、所定の対象物の骨格（例えば、人間の頭、肩、肘、手首、膝、足首などの部位）を代表する点群を表す画像である。また、第２画像は、第１画像を構成する点群に対応する点群を表す画像である。第１画像を構成する点群と第２画像を構成する点群は、少なくとも１つの点の配置が異なる。ただし、第１画像を構成する点群と第２画像を構成する点群において、所定点と所定点の間（以下、点間という）の距離は部位間の距離に対応するため、規定の部位間の制約を逸脱して点の配置が異なることはない。すなわち、点間の距離は、所定の距離（実際の部位間のおおよその距離）以上になることはない。なお、上記点群は、必ずしも対象物の各部位の位置を正確に示すものである必要はなく、各部位のおおよその位置を示すものであってもよい。
【００３４】
次に、本実施の形態の表示システム１００の動作例について図２を参照して説明する。図２は、本実施の形態の表示システム１００の動作例を示すフローチャートである。
【００３５】
以下、図２に示すフローチャートを用いて、表示システム１００の動作を説明する。
【００３６】
ステップＳ２０１において、認識部１０１は、前景画像を取得し、その前景画像に含まれる特徴量を抽出し、その特徴量に基づいて所定の対象物の認識を行う。
【００３７】
ステップＳ２０２において、表示制御装置１０２の判定部１０４は、認識部１０１からの認識結果情報に基づいて、認識部１０１により認識された対象物の種別を判定する。例えば、判定部１０４は、認識対象物が歩行者であるか否かを判定する。
【００３８】
ステップＳ２０３において、表示制御装置１０２の制御部１０５は、判定部１０４により対象物が歩行者であると判定された場合、以下の制御を行う。すなわち、制御部１０５は、認識部１０１により抽出された歩行者の特徴量を用いて第１画像または第２画像を生成してディスプレイに表示するように、表示部１０３を制御する。この制御により、表示部１０３は、第１画像または第２画像を生成し、それをディスプレイに表示する。その結果、運転者は、第１画像または第２画像を視認可能となる。なお、このとき、第１画像または第２画像は、例えば、認識部１０１により取得された前景画像に重畳されてディスプレイに表示される（後述の図３参照）。好適には、認識部１０１による前景画像の取得、表示部１０３による画像の生成、およびディスプレイへの表示がリアルタイムに順次行われ、表示が、画像生成のもととなった前景画像またはその時間的前後の画像に重畳されるとよい。
【００３９】
次に、本実施の形態の表示システム１００における第１画像および第２画像の例について図３を参照して説明する。図３は、運転者の前方の視界（前景画像）の一例および運転者に提示される第１画像または第２画像の一例を示す図である。
【００４０】
図３Ａにおいて、視界３０１は、時刻ｔ（第１のタイミングの一例）のとき、運転者が視認している車両前方の光景を示している。視界３０１には、例えば、道路、横断歩道、信号、道路脇に立つ歩行者などが存在している。この視界３０１において認識対象物３０２が歩行者であると判定された場合、図３Ｂに示すように、第１画像３０３が視界３０１に重畳されて表示される。第１画像３０３は、時刻ｔにおける、認識対象物３０２（例えば、道路脇で立ち止まっている歩行者）の骨格を表す点群である。
【００４１】
図３Ｃにおいて、視界３０４は、時刻ｔ’（ｔ’＞ｔ。第２のタイミングの一例）のとき、運転者が視認している車両の前方の光景を示している。視界３０４も、視界３０１と同様に、道路、横断歩道、信号、道路脇に立つ歩行者などが存在している。この視界３０４において認識対象物３０５が歩行者であると判定された場合、図３Ｄに示すように、第２画像３０６が視界３０４に重畳されて表示される。第２画像３０６は、時刻ｔ’における、認識対象物３０５（例えば、横断歩道の横断を開始した歩行者）の骨格を表す点群である。
【００４２】
以上のように、本実施の形態によれば、対象物の骨格を代表する点群をバイオロジカル・モーションとして動作させることを特徴とする。これにより、本実施の形態では、運転者が、周辺視野に存在する対象に視線を向けることなく、その対象の種別を認識することができる。例えば、運転者は、第１画像と第２画像の点群の位置の変化により人間特有の動作を直感的に認識できるので、視界の中に様々な物体が存在していても、歩行者を瞬時に認識できる。
【００４３】
なお、表示部１０３は、本実施の形態における点群の配置を、認識した対象物の特徴量に基づいて決定してもよいし、図４に示すような予め用意された点群のテンプレート４０１〜４０４を用いてもよい。さらに、本実施の形態では、第１画像と第２画像が表示される例で示したが、図４に示すように連続または繰り返すバイオロジカル・モーションの点群のアニメーションとして、３画像以上表示されるようにするとよい。例えば、人間がバイオロジカル・モーションを見てから、その人の脳波の活動が見られるまでの時間が約２００ミリ秒であることが確認されていることから、毎秒３０フレームの映像の各フレーム画像（一フレームの表示時間が３３ミリ秒）として、約２００ミリ秒表示するために７画像表示すると、最初の画像によって脳波の活動が見られる時点で表示が終わるため、煩わしくなく表示することができる。また、運転者が対象に気付いているかどうかを判定する手段を用いて、運転者が対象に気付いていない間表示してもよい。
【００４４】
さらに、運転者が対象に気づいていないか、画像表示を見ていない場合に、直前の表示が終わってから所定時間経過した後に、一フレームあたり３３ミリ秒の表示時間で各フレームに順次７画像表示を繰り返してもよい。
【００４５】
なお、本実施の形態において、生成した画像の表示周期を毎秒３０フレーム（フレーム周波数が３０Ｈｚ）の映像の各フレーム画像としたが、これに限定されない。例えば、毎秒１５フレームの映像の各フレーム画像でもよいし、毎秒３０フレームの映像の各２フレーム画像として同じ生成画像を表示してもよい。
【００４６】
また本実施の形態において、バイオロジカル・モーションとして動作させる対象を点として説明したが、歩行者であることを認識できるのであれば、面積を持った正円、楕円、または矩形等の形状のマーカを採用してもよい。
【００４７】
以上、本発明の実施の形態について説明したが、本発明は上記実施の形態に限定されるものではなく、種々の変形が可能である。以下、各種変形例について説明する。
【００４８】
上記実施の形態では、点群が代表する骨格大きさが第１画像３０３と第２画像３０６との間で変化しない例としたが、これに限定されない。例えば、運転者の目で知覚する対象物の大きさに連動するように、第１画像と第２画像における点群が代表する骨格の大きさを変化させてもよい。例えば、歩行者に車両が接近している場合、第１画像よりも第２画像の骨格の大きさが大きく生成、表示されるようにしてもよい。この場合でも、点間の距離は骨格の部位間の距離に対応するため、所定の距離（実際の部位間のおおよその距離）以上になることはない。好適には、対象物と点群が一致していることが運転者から見てわかるように表示されると良い。
【００４９】
また、人間は、提示スピードが速い（第１のタイミングと第２のタイミングの間隔が短い）バイオロジカル・モーションを見た後では、そのバイオロジカル・モーションに対するタスクとは独立したタスクに対する反応速度が速くなり、提示スピードの遅い（第１のタイミングと第２のタイミングの間隔が長い）バイオロジカル・モーションを見た後では、そのバイオロジカル・モーションに対するタスクとは独立したタスクに対する反応速度が遅くなることが確認されている（例えば、渡邊、“自分の心は誰のもの？”、ソニー半導体情報誌 CX-PAL、2010年、Vol.86参照）。そこで、上記実施の形態において、第１のタイミング（時刻ｔ）と第２のタイミング（時刻ｔ’）の間隔を、対象物と車両との距離、対象物の移動速度、または、対象物の接近速度（車両との相対速度）に応じて変化させてもよい。この具体例を以下に説明する。
【００５０】
例えば、対象物と車両との距離が所定閾値より小さい場合、対象物の移動速度が所定閾値より大きい場合、または、対象物の車両への接近速度が所定閾値より大きい場合、制御部１０５は、第１のタイミングと第２のタイミングの時間間隔を、設定されている時間間隔よりも短くする。これにより、第１画像と第２画像との表示間隔が短くなり、バイオロジカル・モーションの提示スピードが速くなる。すなわち、第１画像から第２画像への変化がすぐに現われる。その結果、運転者に緊急度が高いことを伝え、運転者に早く回避行動をとってもらいたいときに、運転者のブレーキ操作など、とってもらいたい行動の反応速度を速くすることができる。その一方で、対象物と車両との距離が所定の閾値より大きい場合、対象物の移動速度が所定閾値より小さい場合、または、対象物の車両への接近速度が所定閾値より小さい場合、制御部１０５は、第１のタイミングと第２のタイミングの時間間隔を、設定されている時間間隔よりも長くする。これにより、第１画像と第２画像との表示間隔が長くなり、バイオロジカル・モーションの提示スピードが遅くなる。すなわち、第１画像から第２画像への変化がすぐには現われない。その結果、運転者に緊急度が高くないことを伝え、運転者に早く回避行動をとってもらわなくてもよいときに、運転者の行動の反応速度を、緊急度が高いことに対応した行動に比べ、相対的に遅くすることができる。
【００５１】
なお、上記説明において、緊急度の高低を点群の移動速度の変化により表す代わりとして、緊急度の高低を点群の移動量の変化により表してもよい。この具体例について図５を用いて説明する。図５では、第１画像５０２および第１画像５０３が視界５０１に重畳して表示されている。第１画像５０２は、車両に近い位置に存在する歩行者の骨格を示す点群である。一方、第１画像５０３は、車両から遠い位置に存在する歩行者の骨格を示す点群である。図中の矢印は、各歩行者の移動方向を示しており、矢印の長さは点群の移動量を表している。この場合、第１画像５０２に対応する第２画像（図示略）では、第１画像５０２を構成する点群が図中の矢印方向（右方向）に移動して表示される。また、第１画像５０３に対応する第２画像（図示略）では、第１画像５０３を構成する点群が図中の矢印方向（左方向）に移動して表示される。上述したように、矢印の長さは点群の移動量を示しているため、第１画像５０２を構成する点群の方が、第１画像５０３を構成する点群よりも移動量が多くなる。これにより、運転者は、第１画像５０２に対応する第２画像の方が第１画像５０３に対応する第２画像よりも大きく動いて見えるため、車両に近い位置に存在する歩行者に対する緊急度が高いことを認識できる。ただし、ある時刻と次の時刻の同じ関節を示す点の対応が取れる範囲で、点の動きを誇張して表示しても良い。本当に緊急の場合に、とにかく認識させたい表示と、それ以外の表示を組み合わせて表示してもよい。
【００５２】
また、上記実施の形態において、制御部１０５は、第１画像または第２画像を周辺視野のみに生成、表示するように制御してもよい。人間の周辺視野は動きに敏感なので、第１画像または第２画像に対して運転者の注意が向きやすい。なお、第１画像または第２画像を周辺視野のみに生成、表示する制御は、車が直進している場合に限って行われてもよい。車両が直進しているか否かは、例えば、表示システム１００においてカメラを用いて、判定部１０４が検知する。
【００５３】
また、上記実施の形態において、横断歩道と車両との距離が所定距離以内であり、かつ、車両が停車している場合、制御部１０５は、第１画像または第２画像を生成、表示しないように制御してもよい。
【００５４】
また、上記実施の形態では、認識対象物の例を歩行者とし、歩行者の骨格を代表する点群を示す第１画像または第２画像を表示する例について説明したが、認識対象物は、例えば、動物、車両、二輪車、自転車等の移動体であってもよい。例えば、車両などの剛体の場合、第１画像を構成する点群と第２画像を構成する点群は、全ての点の配置が同じであるが、点群全体の位置（画像上の位置）が異なる。ここで、認識対象物が車両の場合の画像の表示例を図６に示す。図６では、車両の骨格（例えば、４つのタイヤ）を代表する点群が第１画像６０３として視界６０１に重畳して表示されている。図中の矢印は、車両の移動方向を示している。よって、第１画像６０３に対応する第２画像（図示略）では、第１画像６０３を構成する点群が図中の矢印方向（左方向）に移動して表示される。このとき、車両の骨格は移動中に変化することはないため、第１画像６０３とそれに対応する第２画像において、各点の間の距離は変わらない。すなわち、第１画像を構成する点群と第２画像を構成する点群は、全ての点の配置が同じであるが、点群全体の位置（画像上の位置）が異なることになる。なお、ここでは車両を例に説明したが、第１のタイミングと第２のタイミングとで歩行者の姿勢が変わらない（歩行者のいずれの部位も動かない）場合において、その歩行者を、上述した車両の表示と同様に表示してもよい。すなわち、実際には動作していない人間に対しても、第１画像を構成する点群と第２画像を構成する点群において、全ての点の配置が同じであるが、点群全体の位置が異なるように表示してもよい。これにより、歩行者、動物、車両が混在する環境において、自車両に接近してくる移動体を全て同じ形式の表示として把握しながら、歩行者、動物等の交通弱者であり、行動が予測できない対象である生物と、交通ルールに則って移動することが想定される車両等とを瞬時に区別して把握することができる。
【００５５】
（実施の形態２）
以下、本発明の実施の形態２について、図面を参照して説明する。
【００５６】
運転者から車外の物体までの距離とディスプレイまでの距離との違いから生じる問題として、いわゆる二重像の問題がある。人間の左右の眼は約６〜６．５ｃｍ離れているため、ある対象に注視した場合、左右の眼の網膜に映る像には、ずれ、すなわち両眼視差が生じる。そのため、人間が注視している対象物は単一の像として視認されるが、注視している対象物よりも遠く、もしくは近くに存在する対象物は、二つの像、すなわち二重像として視認される。
【００５７】
運転者からの見え方において二重像が生じると、運転者は物体とマーカとの対応付けがしづらくなる。その結果、マーカの表示によるバイオロジカル・モーションの効果が十分に得られなくなる。
【００５８】
実施の形態２では、このような二重像の問題を解決するために、歩行者の骨格を代表するマーカの形状として線を採用した場合について説明する。
【００５９】
本実施の形態の表示システム２００の構成例について図８を参照して説明する。図８は本実施の形態の表示システム２００の構成例を示すブロック図である。
【００６０】
本実施の形態において、実施の形態１と同様の構成については同一符号を付し、その詳細な説明は省略する。
【００６１】
図８において、表示システム２００は、認識部１０１、表示制御装置２０２、および表示部１０３を有する。表示制御装置２０２は、判定部１０４および制御部２０５を有する。
【００６２】
制御部２０５は、生成する第１画像、および第２画像の内容が、制御部１０５と異なる。制御部２０５は、所定の対象物の骨格を代表するマーカとして線が描画されるように、第１画像、および第２画像を生成する。
【００６３】
制御部２０５によって生成される第１画像および第２画像の例について、図９、図１０、図１１を参照して説明する。図９は歩いている人物の例を示したものであり、７０１から７０４は、歩いている人物の異なる時刻における状態を示すものである。図１０の８０１から８０４は、図９の７０１から７０４に対応するものであり、人物の骨格を代表する頭、首、左手、右手、左膝、右膝、左足首、右足首の位置に、マーカである線を水平に描画したものである。また図１１における８０５から８０８は、図９の７０１から７０４に対応するものであり、人物の骨格を代表する頭、首、腰、左膝と右膝の中間、左足首と右足首の中間の位置に、マーカである線を水平に描画したものである。
【００６４】
図１２は、二重像が生じている状態における運転者からの見え方の例を示すものである。運転者から車外の物体までの距離とディスプレイまでの距離との違いにより、運転者は物体またはマーカが二重に見えてしまう。図１２における９０１は、運転者がディスプレイに表示されたマーカに注目した状態での見え方を示すものであり、人物が二重に見えている様子を示す。また９０２は、運転者が人物に注目した状態での見え方を示すものであり、マーカが二重に見えている様子を示す。表示制御装置２０２では、マーカとして線を水平に描画するため、二重像の現象によりマーカが左と右に二重になる場合にも、運転者には９０２に示すように、それら左と右のマーカが中央部分でひとつに繋がっているように見える。その結果、運転者は人物とマーカとの対応付けを行い易くなり、二重像が生じている状態でも、第１画像と第２画像のマーカの表示をもとにバイオロジカル・モーションを認識することが出来るようになる。
【００６５】
なお、物体が複数存在する場合には、それら複数の物体に対応するマーカの表示を制御するようにして良い。例えばマーカ表示の対象となる物体が２体存在する場合には、それら物体同士の距離が予め設定された閾値以下である場合には、車両に対して最も近い物体に対してのみ、マーカを表示するようにして良い。またそれら物体同士の距離が予め設定された閾値よりも大である場合には、各物体に対応するマーカをそれぞれ表示するようにして良い。
【００６６】
また、マーカの水平方向の長さについては、運転者から物体までの距離をもとに設定するようにして良い。二重像による両眼視差は、運転者から物体までの距離が遠いほど大きくなる。そのため例えば、運転者から物体までの距離が遠いほど、マーカの線の長さも長くなるようにして良い。
【００６７】
また、マーカである線が二重像により左右で重なって見える状態を考慮して、マーカの濃淡および透過率の少なくとも１つを変えても良い。例えば、マーカの中央をより濃い色とし、マーカの中央からの距離に応じて色を薄くするようにして良い。
【００６８】
また、人物の骨格を代表するマーカの線の長さについては、その位置ごとに変えても良い。線の長さを一定とした場合、および位置によって変えた場合の違いについて、図１３を参照して説明する。図１３において、９０３は人物の例であり、９０４および９０５は９０３に対応するマーカの例である。このうち９０４はマーカの線の長さを同一とした場合の例、９０５はマーカの線の長さを位置によって変えた場合の例である。また９０６は、９０４のマーカをディスプレイに表示した状態で、運転者が人物に注目した時の見え方の例である。９０７は、９０５のマーカをディスプレイに表示した状態で、運転者が人物に注目した時の見え方の例である。９０６よりも９０７の方が、マーカの線の長さの配分が、実際の人物の形状により近いので、運転者は物体の種類をより正確に把握出来るようになる。
【００６９】
また、物体の実際の色に合わせて、マーカの線の色を変えても良い。例えば人物の頭を示すマーカは、頭髪、帽子等の色に合わせて良いし、人物の膝および足首を示すマーカは、ズボン、靴等の色に合わせるようにして良い。物体の色に合わせてマーカが配色されているため、運転者は物体の種類をより容易に把握出来るようになる。
【００７０】
また、本実施の形態において、バイオロジカル・モーションとして動作させるマーカを線として説明したが、矩形、または端が丸い矩形等であってもよい。また、マーカである線を水平に描画としたが、二重像の現象によりマーカが左と右に二重になる場合にも、それら左と右のマーカが中央部分でひとつに繋がっているように見える程度に水平であればよい。
【００７１】
また、上述した表示システム１００、２００、表示制御装置１０２、２０２の各部の機能は、コンピュータプログラムにより実現され得る。
【００７２】
図７は、各部の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。このコンピュータ１０００は、入力ボタン、タッチパッドなどの入力装置１００１、ディスプレイ、スピーカなどの出力装置１００２、ＣＰＵ（Central Processing Unit）１００３、ＲＯＭ（Read Only Memory）１００４、ＲＡＭ（Random Access Memory）１００５、ハードディスク装置、ＳＳＤ（Solid State Drive）などの記憶装置１００６、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置１００７、ネットワークを介して通信を行う送受信装置１００８を備え、各部はバス１００９により接続される。
【００７３】
そして、読取装置１００７は、上記各部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置１００６に記憶させる。あるいは、送受信装置１００８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各部の機能を実現するためのプログラムを記憶装置１００６に記憶させる。
【００７４】
そして、ＣＰＵ１００３が、記憶装置１００６に記憶されたプログラムをＲＡＭ１００５にコピーし、そのプログラムに含まれる命令をＲＡＭ１００５から順次読み出して実行することにより、上記各部の機能が実現される。また、プログラムを実行する際、ＲＡＭ１００５または記憶装置１００６には、各実施の形態で述べた各種処理で得られた情報が記憶され、適宜利用される。
【産業上の利用可能性】
【００７５】
本発明は、運転者に注意を喚起するための情報を提示する表示制御プログラム、表示制御装置、および表示装置に適用することができる。
【符号の説明】
【００７６】
１００、２００  表示システム
１０１  認識部
１０２  表示制御装置
１０３  表示部
１０４  判定部
１０５、２０５  制御部
１０００  コンピュータ
１００１  入力装置
１００２  出力装置
１００３  ＣＰＵ
１００４  ＲＯＭ
１００５  ＲＡＭ
１００６  記憶装置
１００７読取装置
１００８  送受信装置
１００９  バス
【図１】
2015180037.tif 000003
【図２】
2015180037.tif 000004
【図３】
2015180037.tif 000005
【図４】
2015180037.tif 000006
【図５】
2015180037.tif 000007
【図６】
2015180037.tif 000008
【図７】
2015180037.tif 000009
【図８】
2015180037.tif 000010
【図９】
2015180037.tif 000011
【図１０】
2015180037.tif 000012
【図１１】
2015180037.tif 000013
【図１２】
2015180037.tif 000014
【図１３】
2015180037.tif 000015