(57)【要約】【課題】ドライバに対し意志を伝えたい車外者の存在をドライバに情報提供すること。【解決手段】実施形態に係る車外情報提供装置は、呼びかけ判定部と、報知部とを備える。呼びかけ判定部は、車外の人物を検出し、かかる人物が車内の搭乗者に対して呼びかけを行っているかを判定する。報知部は、呼びかけ判定部によって人物が呼びかけを行っていると判定された場合に、人物の存在を搭乗者に対して報知する。【選択図】図２Ａ
2018030499.tif 000002
【特許請求の範囲】
【請求項１】
車外の人物を検出し、該人物が車内の搭乗者に対して呼びかけを行っているかを判定する呼びかけ判定部と、
前記呼びかけ判定部によって前記人物が前記呼びかけを行っていると判定された場合に、前記人物の存在を前記搭乗者に対して報知する報知部と
を備えることを特徴とする車外情報提供装置。
【請求項２】
車外の撮像情報に基づいて前記人物を検出する検出部と、
前記検出部の検出結果に基づいて前記人物のジェスチャを解析するジェスチャ解析部と
を備え、
前記呼びかけ判定部は、
前記ジェスチャ解析部の解析結果に基づいて前記人物が前記呼びかけを行っているかを判定すること
を特徴とする請求項１に記載の車外情報提供装置。
【請求項３】
前記検出部は、
前記人物の所在方向の音声を検出し、
前記検出部の検出結果に基づいて前記音声を解析する音声解析部
を備え、
前記呼びかけ判定部は、
前記音声解析部の解析結果に基づいて前記人物が前記呼びかけを行っているかを判定すること
を特徴とする請求項２に記載の車外情報提供装置。
【請求項４】
前記人物による前記呼びかけを前記搭乗者が認識しているかを車内の撮像情報に基づいて判定する認識判定部
を備えること
を特徴とする請求項２または３に記載の車外情報提供装置。
【請求項５】
前記認識判定部は、
前記人物による前記呼びかけを前記搭乗者が認識しているかを前記搭乗者の身体情報に基づいて判定すること
を特徴とする請求項４に記載の車外情報提供装置。
【請求項６】
前記検出部の検出結果に基づいて前記人物の位置を解析する位置解析部
を備え、
前記呼びかけ判定部は、
前記位置解析部の解析結果に基づいて前記人物が前記呼びかけを行っているかを判定すること
を特徴とする請求項２〜５のいずれか一つに記載の車外情報提供装置。
【請求項７】
前記搭乗者は、バスのドライバであって、
前記位置解析部によって前記人物が前記バスの停留所から所定範囲内に存在することが判定され、かつ、前記呼びかけ判定部により前記人物が前記呼びかけを行っていることが判定された場合に、
前記報知部は、
前記人物の存在を前記ドライバに対して報知すること
を特徴とする請求項６に記載の車外情報提供装置。
【請求項８】
前記搭乗者は、タクシーのドライバであって、
前記位置解析部によって前記人物が前記タクシーの乗車可能位置に存在することが判定され、かつ、前記呼びかけ判定部により前記人物が前記呼びかけを行っていることが判定された場合に、
前記報知部は、
前記人物の存在を前記ドライバに対して報知すること
を特徴とする請求項６に記載の車外情報提供装置。
【請求項９】
車外の人物を検出し、該人物が車内の搭乗者に対して呼びかけを行っているかを判定する呼びかけ判定工程と、
前記呼びかけ判定工程によって前記人物が前記呼びかけを行っていると判定された場合に、前記人物の存在を前記搭乗者に対して報知する報知工程と
を含むことを特徴とする車外情報提供方法。
【発明の詳細な説明】
【技術分野】
【０００１】
開示の実施形態は、車外情報提供装置および車外情報提供方法に関する。
【背景技術】
【０００２】
従来、車両を運転するドライバに対し、車両外部の情報を収集して車室内に提供する車外情報提供装置が知られている。たとえば、特許文献１には、車外の人物（以下、「車外者」と言う）が存在する領域を検出し、この領域を集音方向として車外音を収集し、車室内の乗員に出力する車外音提供装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２０１４０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来技術を用いた場合、ドライバに対し意志を伝えたい車外者の存在をドライバに情報提供できないおそれがある。
【０００５】
たとえば、上述した車外音提供装置では、意志を伝えたいかを問わず、車外者のいる方向であればその方向を集音方向として車外音が提供されてしまうので、雑多となり、意志を伝えたい車外者からの声かけをドライバが聞き取れないおそれがある。
【０００６】
また、一般に人は意志を伝えたい場合、声かけだけでなく、たとえば身振り手振りによってその意志を伝えたい旨を表す場合がある。したがって、ある車外者がその旨を身振り手振りのみによって表した場合、上述した車外音提供装置では、かかる車外者の存在をドライバに対し情報提供することができない。
【０００７】
実施形態の一態様は、上記に鑑みてなされたものであって、ドライバに対し意志を伝えたい車外者の存在をドライバに情報提供することができる車外情報提供装置および車外情報提供方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
実施形態の一態様に係る車外情報提供装置は、呼びかけ判定部と、報知部とを備える。前記呼びかけ判定部は、車外の人物を検出し、該人物が車内の搭乗者に対して呼びかけを行っているかを判定する。前記報知部は、前記呼びかけ判定部によって前記人物が前記呼びかけを行っていると判定された場合に、前記人物の存在を前記搭乗者に対して報知する。
【発明の効果】
【０００９】
実施形態の一態様によれば、ドライバに対し意志を伝えたい車外者の存在をドライバに情報提供することができる。
【図面の簡単な説明】
【００１０】
【図１Ａ】図１Ａは、実施形態に係る車外情報提供方法の概要説明図（その１）である。
【図１Ｂ】図１Ｂは、実施形態に係る車外情報提供方法の概要説明図（その２）である。
【図１Ｃ】図１Ｃは、実施形態に係る車外情報提供方法の概要説明図（その３）である。
【図１Ｄ】図１Ｄは、実施形態に係る車外情報提供方法の概要説明図（その４）である。
【図１Ｅ】図１Ｅは、実施形態に係る車外情報提供方法の概要説明図（その５）である。
【図２Ａ】図２Ａは、第１の実施形態に係る車外情報提供装置のブロック図である。
【図２Ｂ】図２Ｂは、第１の実施形態に係る車外者呼びかけ判定部のブロック図である。
【図２Ｃ】図２Ｃは、第１の実施形態に係るドライバ認識判定部のブロック図である。
【図３Ａ】図３Ａは、パターンマッチングのための車外者の特徴点の規定例を示す図である。
【図３Ｂ】図３Ｂは、ジェスチャパターン情報の一例を示す図である。
【図３Ｃ】図３Ｃは、車外者ジェスチャ解析処理の変形例を示す図である。
【図３Ｄ】図３Ｄは、音声パターン情報１２ｂの一例を示す図である。
【図４Ａ】図４Ａは、呼びかけを行っている車外者を正例とした場合の素性の具体例を示す図である。
【図４Ｂ】図４Ｂは、呼びかけを認識していないドライバを正例とした場合の素性の具体例を示す図である。
【図５】図５は、第１の実施形態に係る報知情報の一例を示す図である。
【図６】図６は、第１の実施形態に係る車外情報提供装置が実行する処理手順を示すフローチャートである。
【図７Ａ】図７Ａは、第２の実施形態に係る車外者呼びかけ判定部のブロック図である。
【図７Ｂ】図７Ｂは、停留所周辺の俯瞰模式図である。
【図７Ｃ】図７Ｃは、第２の実施形態において、呼びかけを行っている車外者を正例とした場合の素性の具体例を示す図である。
【図８】図８は、第２の実施形態に係る報知情報の一例を示す図である。
【図９】図９は、第２の実施形態に係る車外情報提供装置が実行する処理手順を示すフローチャートである。
【図１０Ａ】図１０Ａは、第３の実施形態に係る車外者呼びかけ判定部のブロック図である。
【図１０Ｂ】図１０Ｂは、車外者周辺の俯瞰模式図である。
【図１０Ｃ】図１０Ｃは、第３の実施形態において、呼びかけを行っている車外者を正例とした場合の素性の具体例を示す図である。
【図１１】図１１は、第３の実施形態に係る報知情報の一例を示す図である。
【図１２】図１２は、第３の実施形態に係る車外情報提供装置が実行する処理手順を示すフローチャートである。
【図１３Ａ】図１３Ａは、第４の実施形態に係る車外者呼びかけ判定部のブロック図である。
【図１３Ｂ】図１３Ｂは、待ち合わせ登録情報の一例を示す図である。
【図１３Ｃ】図１３Ｃは、第４の実施形態において、呼びかけを行っている車外者を正例とした場合の素性の具体例を示す図である。
【図１４】図１４は、第４の実施形態に係る報知情報の一例を示す図である。
【図１５】図１５は、第４の実施形態に係る車外情報提供装置が実行する処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して、本願の開示する車外情報提供装置および車外情報提供方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。
【００１２】
また、以下では、「車外者」は、単に車外にいる人物を指し、歩行しているかその場にとどまっているかを問わないものとする。また、以下では、かかる「車外者」がドライバに対し意志を伝えたい旨を表すことを「呼びかけ」と記載する。また、以下では、かかる「呼びかけ」は、声かけおよび身振り手振りを含むものとし、身振り手振りについては「ジェスチャ」と記載する。
【００１３】
また、以下では、本実施形態に係る車外情報提供方法の概要について図１Ａ〜図１Ｅを用いて説明した後に、実施形態に係る車外情報提供方法を適用した車外情報提供システム１の車外情報提供装置１０について、図２Ａ〜図１５を用いて説明する。
【００１４】
まず、本実施形態に係る車外情報提供方法の概要について図１Ａ〜図１Ｅを用いて説明する。図１Ａ〜図１Ｅは、実施形態に係る車外情報提供方法の概要説明図（その１）〜（その５）である。
【００１５】
図１Ａに示すように、ドライバＤの運転する車両Ｃに対し、車外者Ｗが存在するものとする。そして、車外者Ｗは、ドライバＤに対し、呼びかけを行っているものとする。かかる場合、車外者Ｗは、たとえば「待って！」などの声かけを行ったり、手を振るなどのジェスチャを行ったり、車両Ｃを追いかけたりなどの行動をとることが考えられる。すなわち、呼びかけには種々の態様が存在する。
【００１６】
なお、このような車外者Ｗの呼びかけをドライバＤが認識していれば、ドライバＤは車両Ｃを停車させることで車外者Ｗとコミュニケーションをとることができるが、図１Ａに示すように、ドライバＤは車両Ｃを運転する場合、通常その進行方向を注視するので、ドライバＤは車外者Ｗの存在そのものを見落としてしまいやすい。車外者ＷがドライバＤの死角となる位置にいれば尚更である。
【００１７】
また、仮にドライバＤが車外者Ｗの所在方向を視ていたとしても、ドライバＤが漫然と運転していれば車外者Ｗの呼びかけを認識しないことも考えられる。
【００１８】
そこで、本実施形態では、車外者Ｗに関し、まず車外者Ｗの存在を検出し、検出された車外者ＷがドライバＤに対し呼びかけを行っているか否かを判定する「車外者呼びかけ判定」を行うこととした（ステップＳ１）。
【００１９】
かかる「車外者呼びかけ判定」では、たとえば車外者Ｗの身体の向きや、顔の向き、ジェスチャ、移動ベクトル、音声など、車外者Ｗが表している種々の要素を解析して、車外者ＷがドライバＤに対し呼びかけを行っているか否かを判定する。
【００２０】
また、本実施形態では、ドライバＤに関し、ドライバＤが車外者Ｗの呼びかけを認識しているか否かを判定する「ドライバ認識判定」を行うこととした（ステップＳ２）。
【００２１】
かかる「ドライバ認識判定」では、たとえばドライバＤの顔の向きや、視線の向き、ドライバＤの身体情報など、ドライバＤの状態を表す種々の要素を解析して、ドライバＤが車外者Ｗの呼びかけを認識しているか否かを判定する。
【００２２】
そして、本実施形態では、これら「車外者呼びかけ判定」、「ドライバ認識判定」の判定結果に基づき、ドライバＤに対し、呼びかけを行っている車外者Ｗの存在を報知するか否かを判定する「報知判定」を行う（ステップＳ３）。ドライバＤに対し、呼びかけを行っている車外者Ｗの存在を報知すると判定された場合、ドライバＤへの報知が行われる（ステップＳ４）。
【００２３】
これにより、ドライバＤに対し呼びかけを行っている車外者Ｗの存在をドライバＤに情報提供することができる。
【００２４】
なお、ドライバＤへの報知は、呼びかけを行っている車外者Ｗの存在をドライバＤが認識可能であればよく、音声出力、表示出力など、その形態は限定されない。また、ドライバＤだけでなく、車外者Ｗに対し、ドライバＤへ報知したことを報知してもよい。
【００２５】
これにより、車外者Ｗは、たとえば車両Ｃを追いかけたりしていれば、その足を緩めることができ、負担をいち早く軽減できるうえ、車両Ｃが急停車する場合などには、車外者Ｗの安全を確保することができる。
【００２６】
なお、上述した各ステップＳ１〜Ｓ４は、車両Ｃに搭載された車外情報提供装置１０が実行することとなる。
【００２７】
上述した本実施形態に係る車外情報提供方法は、様々な場面に適用することができる。たとえば図１Ｂに示すように、駐車スペースＳＰから出庫する車両Ｃに対し、駐車スペースＳＰまで追いかけて来て、ドライバＤへ忘れ物の存在をアピールする車外者Ｗのいる「出庫時」の場面である。
【００２８】
また、たとえば図１Ｃに示すように、停留所ＢＳ近辺に、発車するバスＢのドライバＤへ乗車アピールする車外者Ｗが存在する「停留所からのバス発車時」の場面である。
【００２９】
また、たとえば図１Ｄに示すように、歩道からタクシーＴのドライバＤへ乗車アピールする車外者Ｗが存在する「タクシー走行時」の場面である。
【００３０】
また、たとえば図１Ｅに示すように、ドライバＤへ自身の存在をアピールする待ち合わせ人である車外者Ｗが存在する「待ち合わせ時」の場面である。
【００３１】
以下、上述した車外情報提供方法を適用した車外情報提供システム１の車外情報提供装置１０について、さらに具体的に説明する。なお、以下では、第１の実施形態について、図１Ｂに示した「出庫時」を例に挙げて、第２の実施形態について、図１Ｃに示した「停留所からのバス発車時」を例に挙げて、第３の実施形態について、図１Ｄに示した「タクシー走行時」を例に挙げて、第４の実施形態について、図１Ｅに示した「待ち合わせ時」を例に挙げて、順次説明する。
【００３２】
（第１の実施形態）
図２Ａは、第１の実施形態に係る車外情報提供装置１０のブロック図である。図２Ｂは、第１の実施形態に係る車外者呼びかけ判定部１１ａのブロック図である。図２Ｃは、第１の実施形態に係るドライバ認識判定部１１ｃのブロック図である。
【００３３】
なお、図２Ａ〜図２Ｃでは、本実施形態の特徴を説明するために必要な構成要素のみを機能ブロックで表しており、一般的な構成要素についての記載を省略している。
【００３４】
換言すれば、図２Ａ〜図２Ｃに図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各機能ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。なお、図２Ａ〜図２Ｃ以外に後ほど示す各ブロック図でも、この点は同様である。
【００３５】
まず、図２Ａに示すように、車外情報提供システム１は、外部用カメラ２と、レーダ３と、通信端末４と、マイク５と、振動センサ６と、車両情報センサ７と、内部用カメラ８と、身体情報センサ９と、車外情報提供装置１０と、報知部２０とを含む。
【００３６】
外部用カメラ２は、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を備えて、車両Ｃのたとえば前部、後部および両側部などに複数個設けられ、撮像素子によって撮像した車両Ｃ周辺の撮像情報を車外情報提供装置１０へ出力する。
【００３７】
レーダ３は、車両Ｃに搭載されたたとえばミリ波レーダや超音波センサであって、車両Ｃ周辺に存在する車外者Ｗ、障害物などの物標情報を車外情報提供装置１０へ出力する。通信端末４は、車外情報提供装置１０と通信接続可能な端末装置であって、たとえば車外者Ｗの携帯するスマートフォンなどである。
【００３８】
マイク５は、車両Ｃに搭載されて車両Ｃ周辺の音声を集音し、集音した音声情報を車外情報提供装置１０へ出力する。振動センサ６は、たとえば車両Ｃの車体後部などに搭載され、車両Ｃを追いかけて来た車外者Ｗがたとえば車体後部を叩いたりした際の振動情報を車外情報提供装置１０へ出力する。
【００３９】
車両情報センサ７は、車両Ｃの運行に関する車速や舵角といった情報を検出するデバイスであり、たとえば車速センサや舵角センサなどを含み、これらを用いて検出した車両Ｃの運行に関する車両情報を車外情報提供装置１０へ出力する。
【００４０】
内部用カメラ８は、たとえば車両Ｃの運転席のステアリングコラムの上部に、ドライバＤの顔を撮像領域に含むようにして設けられる。また、たとえば内部用カメラ８は、ドライバＤの視線方向が検出可能となるように、赤外線カメラおよび赤外線ＬＥＤのセットで設けられる。内部用カメラ８は、撮像したドライバＤの顔などの撮像情報を車外情報提供装置１０へ出力する。
【００４１】
身体情報センサ９は、車両Ｃの運転席周辺に設けられ、ドライバＤの身体情報、たとえばドライバＤの脳波や脈拍などを検出可能に設けられる。身体情報センサ９は、検出した身体情報を車外情報提供装置１０へ出力する。
【００４２】
報知部２０は、ドライバＤまたは車外者Ｗへの報知を可能とする各種デバイスであって、ドライバＤとしては、たとえば車両Ｃの車室内に搭載されたナビゲーション装置などのディスプレイや、車載スピーカなどがある。また、車外者Ｗ向けとしては、ブレーキランプやハザードランプ、クラクションなどがある。
【００４３】
車外情報提供装置１０は、制御部１１と、記憶部１２とを備える。制御部１１は、車外者呼びかけ判定部１１ａと、報知判定部１１ｂと、ドライバ認識判定部１１ｃと、報知情報生成部１１ｄとを備える。
【００４４】
記憶部１２は、ハードディスクドライブや不揮発性メモリ、レジスタといった記憶デバイスであって、ジェスチャパターン情報１２ａと、音声パターン情報１２ｂと、振動パターン情報１２ｃとを記憶する。
【００４５】
制御部１１は、車外情報提供装置１０全体を制御する。車外者呼びかけ判定部１１ａは、外部用カメラ２、レーダ３、通信端末４、マイク５、振動センサ６などから出力された各種情報に基づき、車外者ＷがドライバＤに対し呼びかけを行っているか否かを判定し、判定結果を報知判定部１１ｂへ出力する。
【００４６】
より具体的には、図２Ｂに示すように、車外者呼びかけ判定部１１ａは、車外者検出部１１ａａと、車外者向き解析部１１ａｂと、車外者顔向き解析部１１ａｃと、車外者ジェスチャ解析部１１ａｄと、車外者移動ベクトル解析部１１ａｅと、車外者音声解析部１１ａｆと、車外者振動解析部１１ａｇとを備える。
【００４７】
車外者検出部１１ａａは、外部用カメラ２やレーダ３、通信端末４からの各種情報に基づき、車両Ｃ周辺に存在する車外者Ｗを検出する。
【００４８】
車外者向き解析部１１ａｂは、検出された車外者Ｗのそれぞれにつき、たとえば外部用カメラ２からの撮像情報に基づいて車外者Ｗの身体の向きを解析し、解析結果を車外者呼びかけ判定部１１ａへ返す。車外者顔向き解析部１１ａｃは、検出された車外者Ｗのそれぞれにつき、たとえば外部用カメラ２からの撮像情報に基づいて車外者Ｗの顔の向きを解析し、解析結果を車外者呼びかけ判定部１１ａへ返す。
【００４９】
車外者ジェスチャ解析部１１ａｄは、たとえば外部用カメラ２からの撮像情報およびジェスチャパターン情報１２ａに基づき、車外者Ｗの行っているジェスチャを解析し、解析結果を車外者呼びかけ判定部１１ａへ返す。車外者ジェスチャ解析部１１ａｄは、たとえば外部用カメラ２からの撮像情報とジェスチャパターン情報１２ａとの比較によるパターンマッチングによって、車外者Ｗの行っているジェスチャを解析する。
【００５０】
ここで、車外者ジェスチャ解析部１１ａｄが実行する車外者ジェスチャ解析処理の一例について、図３Ａ〜図３Ｃを用いて説明しておく。図３Ａは、パターンマッチングのための車外者Ｗの特徴点の規定例を示す図である。図３Ｂは、ジェスチャパターン情報１２ａの一例を示す図である。図３Ｃは、車外者ジェスチャ解析処理の変形例を示す図である。
【００５１】
ジェスチャのパターンマッチングを行うに際しては、たとえば車外者Ｗが身体を動かした場合に、その姿勢や向きを規定することとなる各点を特徴点として予め定めておくことが好ましい。
【００５２】
たとえば図３Ａには、車外者Ｗの動きを規定する特徴点として、特徴点ｊ１〜ｊ２０の２０個を規定した例を示している。なお、特徴点ｊ１〜ｊ４は順に、頭部、肩部中央、旋回部、尻部中央にそれぞれ対応する。また、特徴点ｊ５〜ｊ８は順に、右手先、右手首、右肘、肩部右にそれぞれ対応する。
【００５３】
また、特徴点ｊ９〜ｊ１２は順に、尻部右、右膝、右足首、右足先にそれぞれ対応する。また、特徴点ｊ１３〜ｊ１６は順に、左手先、左手首、左肘、肩部左にそれぞれ対応する。また、特徴点ｊ１７〜ｊ２０は順に、尻部左、左膝、左足首、左足先にそれぞれ対応する。
【００５４】
そして、図３Ｂに示すように、ジェスチャパターン情報１２ａには、様々なジェスチャのパターン情報が予め登録される。ジェスチャパターン情報１２ａはたとえば、「ジェスチャ種別」と、「テンプレート画像」と、「特徴点画像」とを関連付けた情報である。
【００５５】
なお、図３Ｂには例として、車外者ＷがバスＢやタクシーＴに乗車したい場合の「乗車アピール」と、車外者Ｗが自身の存在位置をアピールしたい場合の「存在アピール」を示した。「テンプレート画像」や「特徴点画像」は、静止画であってもよいし、動画であってもよい。
【００５６】
車外者ジェスチャ解析部１１ａｄは、たとえば外部用カメラ２からの撮像情報およびその撮像情報から抽出した特徴点ｊ１〜ｊ２０と、ジェスチャパターン情報１２ａとの比較を行うことによって、車外者Ｗが行っているジェスチャを解析する。そして、ジェスチャパターン情報１２ａにマッチングするものがあればそのジェスチャ種別を車外者呼びかけ判定部１１ａへ返し、マッチングするものがなければその旨を返す。
【００５７】
なお、各特徴点ｊ１〜ｊ２０の比較にあたっては、各特徴点ｊ１〜ｊ２０の移動ベクトルや移動速度などまでマッチングさせて解析することが好ましい。ジェスチャの態様によっては、意志を伝えたいものなのか、単なる挨拶程度のものなのか、判別がつきにくい場合があるためである。各特徴点ｊ１〜ｊ２０の移動ベクトルおよび移動速度までマッチングさせることによって、こうした判別のつきにくいジェスチャまで解析することが可能となる。
【００５８】
なお、変形例として、図３Ｃに示すように、予め登録されたジェスチャパターン情報１２ａを入力とする学習部１１ｅを備えることとしたうえで、かかる学習部１１ｅにより公知の機械学習を実行して予めジェスチャ判別モデル１２ｄを生成しておき、車外者ジェスチャ解析部１１ａｄはかかるジェスチャ判別モデル１２ｄにより車外者Ｗのジェスチャを判別してもよい。これにより、パターンマッチングに逐一かかる処理負荷を軽減し、処理速度の向上に資することができる。
【００５９】
図２Ｂの説明に戻り、つづいて車外者移動ベクトル解析部１１ａｅについて説明する。車外者移動ベクトル解析部１１ａｅは、たとえば外部用カメラ２からの撮像情報およびレーダ３からの物標情報に基づき、車外者Ｗそれぞれについての移動ベクトルを解析し、解析結果を車外者呼びかけ判定部１１ａへ返す。
【００６０】
車外者音声解析部１１ａｆは、マイク５からの音声情報に基づき、車外者Ｗそれぞれの発している音声を解析し、解析結果を車外者呼びかけ判定部１１ａへ返す。
【００６１】
ここで、車外者音声解析部１１ａｆが実行する車外者音声解析処理の一例について、図３Ｄを用いて説明しておく。図３Ｄは、音声パターン情報１２ｂの一例を示す図である。
【００６２】
車外者音声解析部１１ａｆは、マイク５からの音声情報と、音声パターン情報１２ｂとの比較を行うことによって車外者Ｗの発している音声を解析する。図３Ｄに示したように、音声パターン情報１２ｂは、呼びかけの場面においてよく用いられる音声の「音声種別」と「文字情報」とを関連付けた情報である。
【００６３】
車外者音声解析部１１ａｆは、たとえばマイク５からの音声情報をテキストへ変換し、かかるテキストの一部に音声パターン情報１２ｂの「文字情報」に一致するものがあれば、その「文字情報」に関連付けられた「音声種別」を車外者呼びかけ判定部１１ａへ返し、一致するものがなければその旨を車外者呼びかけ判定部１１ａへ返す。
【００６４】
音声をテキストで比較することにより、車外者Ｗの老若男女を問わず、また、音声に加わっている抑揚などを排して、単純に音声が伝えようとしている内容を解析することができる。
【００６５】
図２Ｂの説明に戻り、つづいて車外者振動解析部１１ａｇについて説明する。車外者振動解析部１１ａｇは、振動センサ６からの振動情報と、車外者Ｗがたとえば呼びかけのために車体後部を叩いたりした場合などの振動パターンが予め登録された振動パターン情報１２ｃとを比較することによって、振動情報が車外者Ｗの呼びかけによるものかを解析し、解析結果を車外者呼びかけ判定部１１ａへ返す。
【００６６】
車外者呼びかけ判定部１１ａは、車外者向き解析部１１ａｂ、車外者顔向き解析部１１ａｃ、車外者ジェスチャ解析部１１ａｄ、車外者移動ベクトル解析部１１ａｅ、車外者音声解析部１１ａｆおよび車外者振動解析部１１ａｇそれぞれの解析結果に基づき、車外者Ｗにより呼びかけが行われているか否かを判定する。
【００６７】
たとえば、車外者呼びかけ判定部１１ａは、上記したそれぞれの解析結果のうち、少なくともいずれかが車外者Ｗが呼びかけを行っていることを示すものであれば、車外者Ｗの呼びかけありと判定する。または、車外者呼びかけ判定部１１ａは、すべての解析結果が呼びかけを行っていることを示すものである場合に、車外者Ｗの呼びかけありと判定してもよい。
【００６８】
この他にも、車外者呼びかけ判定部１１ａは、車外者向き解析部１１ａｂ、車外者顔向き解析部１１ａｃ、車外者ジェスチャ解析部１１ａｄ、車外者移動ベクトル解析部１１ａｅ、車外者音声解析部１１ａｆおよび車外者振動解析部１１ａｇにより解析された車外者Ｗを表している種々の要素をパラメータとする評価モデルに基づき、車外者Ｗを評価することとしてもよい。かかる変形例については図４Ｂを用いた説明で後述する。
【００６９】
図２Ａの説明に戻り、つづいてドライバ認識判定部１１ｃについて説明する。ドライバ認識判定部１１ｃは、内部用カメラ８、身体情報センサ９などから出力された各種情報に基づき、ドライバＤが車外者Ｗの呼びかけを認識しているか否かを判定し、判定結果を報知判定部１１ｂへ出力する。
【００７０】
より具体的には、図２Ｃに示すように、ドライバ認識判定部１１ｃは、ドライバ顔向き解析部１１ｃａと、ドライバ視線解析部１１ｃｂと、ドライバ身体情報解析部１１ｃｃとを備える。
【００７１】
ドライバ顔向き解析部１１ｃａは、たとえば内部用カメラ８からの撮像情報に基づいてドライバＤの顔の向きを解析し、解析結果をドライバ認識判定部１１ｃへ返す。ドライバ視線解析部１１ｃｂは、たとえば内部用カメラ８からの撮像情報に基づいてドライバＤの視線方向を解析し、解析結果をドライバ認識判定部１１ｃへ返す。
【００７２】
たとえばドライバ視線解析部１１ｃｂは、赤外線ＬＥＤで照らしたドライバＤの顔を赤外線カメラで撮像することによって得られる赤外画像中の瞳孔と、眼球上に生じる赤外照明反射像との位置関係に基づき、ドライバＤの視線方向を解析することができる。
【００７３】
ドライバ身体情報解析部１１ｃｃは、たとえば身体情報センサ９からの身体情報に基づいてドライバＤの身体情報を解析し、解析結果をドライバ認識判定部１１ｃへ返す。解析内容は、たとえばドライバＤが漫然と運転している状態であるかといった内容である。これにより、ドライバＤの覚醒状態や体調を解析することができ、ドライバ認識判定部１１ｃにおける精度向上に資することができる。
【００７４】
ドライバ認識判定部１１ｃは、ドライバ顔向き解析部１１ｃａ、ドライバ視線解析部１１ｃｂおよびドライバ身体情報解析部１１ｃｃそれぞれの解析結果に基づき、ドライバＤが車外者Ｗの呼びかけを認識しているか否かを判定する。
【００７５】
たとえば、ドライバ認識判定部１１ｃは、上記したそれぞれの解析結果のうち、少なくともいずれかがドライバＤが車外者Ｗの呼びかけを認識していることを示すものであれば、ドライバＤの認識ありと判定する。または、ドライバ認識判定部１１ｃは、すべての解析結果が呼びかけを認識していることを示すものである場合に、ドライバＤの認識ありと判定してもよい。
【００７６】
この他にも、車外者呼びかけ判定部１１ａについて既に述べたように、ドライバ認識判定部１１ｃは、ドライバ顔向き解析部１１ｃａ、ドライバ視線解析部１１ｃｂおよびドライバ身体情報解析部１１ｃｃにより解析されたドライバＤの状態を表す種々の要素をパラメータとする評価モデルに基づき、ドライバＤを評価することとしてもよい。
【００７７】
ここで、車外者呼びかけ判定部１１ａおよびドライバ認識判定部１１ｃのかかる変形例について説明する。まず、車外者呼びかけ判定部１１ａから説明する。車外者呼びかけ判定部１１ａは、車外者Ｗを表している種々の要素をパラメータとする評価モデルに基づき、車外者Ｗを評価する。
【００７８】
具体的には、車外者呼びかけ判定部１１ａは、例えば下記式（１）に示す回帰式を用いて車外者Ｗの評価スコアｙを演算する評価モデルを有する。
【００７９】
ｙ  ＝  ａ１・ｘ１  ＋  ａ２・ｘ２  ＋  ・・・  ＋ａｎ・ｘｎ  ・・・  （１）
【００８０】
上記式（１）のうち、ａｎ（ｎは任意の数）は係数であり、ｘｎは素性（説明変数）である。まず、車外者呼びかけ判定部１１ａは、上述した車外者向き解析部１１ａｂ、車外者顔向き解析部１１ａｃ、車外者ジェスチャ解析部１１ａｄ、車外者移動ベクトル解析部１１ａｅ、車外者音声解析部１１ａｆおよび車外者振動解析部１１ａｇにより解析された解析結果それぞれに基づく、呼びかけを行っている車外者Ｗに対する素性を求める。
【００８１】
例えば、呼びかけを行っている車外者Ｗを正例とする場合、呼びかけを行っている車外者Ｗの特徴ベクトルを有する場合には「ｘｎ」＝「１」となり、有しない場合には「ｘｎ」＝「０」となる。また、ｘｎの重み値となるａｎは、上記式（１）による呼びかけを行っている車外者Ｗを正例とした線形モデルを学習することで調整される。
【００８２】
例えば、車外者呼びかけ判定部１１ａは、上記式（１）のａｎをパラメータとし、ＳＶＭ（Support  Vector  Machine）のようなパターン識別機を用いたサポートベクタ回帰などの回帰分析手法によりａｎの重みを調整する。
【００８３】
なお、ここでは、呼びかけを行っている車外者Ｗを正例とする例を挙げたが、呼びかけを行っていない車外者Ｗを正例とすることによって呼びかけを行っている車外者Ｗを抽出してもよい。また、車外者呼びかけ判定部１１ａの有する評価モデルは、上述した評価モデルに限定されるものではない。
【００８４】
（ｘｎの具体例について）
次に、車外者呼びかけ判定部１１ａが呼びかけを行っている車外者Ｗを正例とした評価のために求められるｘｎの具体例を図４Ａに示す。図４Ａは、呼びかけを行っている車外者Ｗを正例とした場合の素性の具体例を示す図である。
【００８５】
なお、ここではｎ＝１〜６までの例を挙げている。また、「対応項目」は、素性を求めるにあたりインプットとなる車外者向き解析部１１ａｂ、車外者顔向き解析部１１ａｃ、車外者ジェスチャ解析部１１ａｄ、車外者移動ベクトル解析部１１ａｅ、車外者音声解析部１１ａｆおよび車外者振動解析部１１ａｇの各解析結果である。
【００８６】
図４Ａに示すように、たとえばｘ１は、車外者向き解析部１１ａｂの解析結果に基づき、「条件」を「正対位置から所定範囲内であるか否か」とすることによって求めることができる。すなわち、「車外者向き」が正対位置から所定範囲内であればｘ１は「１」となり、その他であればｘ１は「０」となる。
【００８７】
これは、「車外者向き」が正対位置から所定範囲内であれば、呼びかけを行っている車外者Ｗであるとの推定が働きやすいことによる。
【００８８】
また、たとえばｘ２は、車外者顔向き解析部１１ａｃの解析結果に基づき、「条件」を「自車方向から所定範囲内であるか否か」とすることによって求めることができる。すなわち、「車外者顔向き」が自車方向から所定範囲内であればｘ２は「１」となり、その他であればｘ２は「０」となる。
【００８９】
これは、「車外者顔向き」が自車方向から所定範囲内にあれば、呼びかけを行っている車外者Ｗであるとの推定が働きやすいことによる。
【００９０】
また、たとえばｘ３は、車外者ジェスチャ解析部１１ａｄの解析結果に基づき、「条件」を「呼びかけジェスチャであるか否か」とすることによって求めることができる。すなわち、「車外者ジェスチャ」が呼びかけジェスチャであればｘ３は「１」となり、その他であればｘ３は「０」となる。
【００９１】
また、たとえばｘ４は、車外者移動ベクトル解析部１１ａｅの解析結果に基づき、「条件」を「自車移動軌跡からの所定範囲内であるか否か」とすることによって求めることができる。すなわち、「車外者移動ベクトル」が自車移動軌跡からの所定範囲内であればｘ４は「１」となり、その他であればｘ４は「０」となる。これは、「車外者移動ベクトル」が自車移動軌跡からの所定範囲内であれば、呼びかけを行っている車外者Ｗであるとの推定が働きやすいことによる。
【００９２】
また、たとえばｘ５は、車外者音声解析部１１ａｆの解析結果に基づき、「条件」を「呼びかけ音声であるか否か」とすることによって求めることができる。すなわち、「車外者音声」が呼びかけ音声であればｘ５は「１」となり、その他であればｘ５は「０」となる。
【００９３】
また、たとえばｘ６は、車外者振動解析部１１ａｇの解析結果に基づき、「条件」を「呼びかけ振動であるか否か」とすることによって求めることができる。すなわち、「車外者振動」が呼びかけ振動であればｘ６は「１」となり、その他であればｘ６は「０」となる。
【００９４】
そして、車外者呼びかけ判定部１１ａは、かかる変形例において、図４Ａに一例として示した各「条件」に沿ってｘ１〜ｘｎを求めた上で、上記式（１）により車外者Ｗの評価スコアを算出する。そして、車外者呼びかけ判定部１１ａは、算出した評価スコアを報知判定部１１ｂへ通知する。
【００９５】
ドライバ認識判定部１１ｃについても上記式（１）による同様の手法を用いることができる。すなわち、ドライバ認識判定部１１ｃは、ドライバ顔向き解析部１１ｃａ、ドライバ視線解析部１１ｃｂおよびドライバ身体情報解析部１１ｃｃにより解析された解析結果それぞれに基づく、呼びかけを認識していないドライバＤに対する素性を求める。
【００９６】
例えば、呼びかけを認識していないドライバＤを正例とする場合、呼びかけを認識していないドライバＤの特徴ベクトルを有する場合には「ｘｎ」＝「１」となり、有しない場合には「ｘｎ」＝「０」となる。
【００９７】
なお、ここでは、呼びかけを認識していないドライバＤを正例とする例を挙げたが、呼びかけを認識しているドライバＤを正例とすることによって呼びかけを認識していないドライバＤを抽出してもよい。
【００９８】
ドライバ認識判定部１１ｃが呼びかけを認識していないドライバＤを正例とした評価のために求められるｘｎの具体例を図４Ｂに示す。図４Ｂは、呼びかけを認識していないドライバＤを正例とした場合の素性の具体例を示す図である。
【００９９】
なお、ここではｎ＝１〜３までの例を挙げている。また、「対応項目」は、素性を求めるにあたりインプットとなるドライバ顔向き解析部１１ｃａ、ドライバ視線解析部１１ｃｂおよびドライバ身体情報解析部１１ｃｃの各解析結果である。
【０１００】
図４Ｂに示すように、たとえばｘ１は、ドライバ顔向き解析部１１ｃａの解析結果に基づき、「条件」を「車外者の所在方向以外であるか否か」とすることによって求めることができる。すなわち、「ドライバ顔向き」が車外者の所在方向以外であればｘ１は「１」となり、その他であればｘ１は「０」となる。
【０１０１】
これは、「ドライバ顔向き」が車外者の所在方向以外であれば、呼びかけを認識していないドライバＤであるとの推定が働きやすいことによる。
【０１０２】
また、たとえばｘ２は、ドライバ視線解析部１１ｃｂの解析結果に基づき、「条件」を「車外者の所在方向以外であるか否か」とすることによって求めることができる。すなわち、「ドライバ視線」が車外者Ｗの所在方向以外であればｘ２は「１」となり、その他であればｘ２は「０」となる。
【０１０３】
これは、「ドライバ視線」が車外者Ｗの所在方向以外にあれば、呼びかけを認識していないドライバＤとの推定が働きやすいことによる。
【０１０４】
また、たとえばｘ３は、ドライバ身体情報解析部１１ｃｃの解析結果に基づき、「条件」を「漫然運転中であるか否か」とすることによって求めることができる。すなわち、「ドライバ身体情報」が漫然運転中を示すものであればｘ３は「１」となり、その他であればｘ３は「０」となる。
【０１０５】
そして、ドライバ認識判定部１１ｃは、かかる変形例において、図４Ｂに一例として示した各「条件」に沿ってｘ１〜ｘｎを求めた上で、上記式（１）によりドライバＤの評価スコアを算出する。そして、ドライバ認識判定部１１ｃは、算出した評価スコアを報知判定部１１ｂへ通知する。
【０１０６】
図２Ａの説明に戻り、つづいて報知判定部１１ｂについて説明する。報知判定部１１ｂは、車両情報センサ７からの車両情報に基づき、そもそも車外者Ｗの呼びかけに関する報知を行う必要がある走行状況かを判定し、行う必要がなければ車外者Ｗの呼びかけに関する報知を行わないようにする。
【０１０７】
また、行う必要がある走行状況であれば、報知判定部１１ｂは、車外者呼びかけ判定部１１ａおよびドライバ認識判定部１１ｃそれぞれの判定結果の一方または双方に基づき、ドライバＤに対し呼びかけを行っている車外者Ｗの存在を報知するか否かを判定し、判定結果を報知情報生成部１１ｄへ出力する。
【０１０８】
たとえば、報知判定部１１ｂは、少なくとも車外者呼びかけ判定部１１ａにより、車外者Ｗの呼びかけありと判定された場合には、ドライバＤに対しその旨を報知すると判定する。
【０１０９】
たとえばドライバＤがかかる車外者Ｗを認識していたとしても、このように呼びかけを行っている車外者Ｗが存在することを報知することで、車外者Ｗに確認の意味で再認識させることができる。車外者Ｗからすれば、ドライバＤに対し伝えたい意志があることを念押しすることができる。
【０１１０】
また、たとえば報知判定部１１ｂは、車外者呼びかけ判定部１１ａにより車外者Ｗの呼びかけありと判定され、かつ、ドライバ認識判定部１１ｃによりドライバＤの認識なしと判定された場合に、ドライバＤに対し呼びかけを行っている車外者Ｗの存在を報知すると判定する。
【０１１１】
これにより、本当の意味での必要な場合に、すなわちドライバＤが認識すらしていない場合に、呼びかけを行っている車外者Ｗの存在をドライバＤに対し認識させ、コミュニケーションを成立させる契機を与えることができる。
【０１１２】
また、たとえば報知判定部１１ｂは、図４Ａおよび図４Ｂを用いて説明した変形例により、車外者呼びかけ判定部１１ａが車外者Ｗの評価スコアを、ドライバ認識判定部１１ｃがドライバＤの評価スコアを、それぞれ通知した場合は、これら評価スコアの得点が報知の必要があることを示す所定範囲であるならば、ドライバＤに対し報知すると判定する。
【０１１３】
報知情報生成部１１ｄは、ドライバＤに対し報知するとの判定結果を受け付けた場合に、報知部２０へ報知させる報知情報を生成し、報知部２０へ報知させる。ここで、第１の実施形態に係る報知情報の一例を図５に示す。
【０１１４】
図５に示すように、たとえば「報知形態」が音声であり、「報知対象」がドライバＤである報知情報には、音声ガイダンスや警報音が含まれる。また、たとえば「報知形態」が表示であり、「報知対象」がドライバＤである報知情報には、ディスプレイへの報知映像やアイコン表示が含まれる。
【０１１５】
また、たとえば「報知形態」が表示であり、「報知対象」が車外者Ｗである報知情報には、ブレーキランプまたはハザードランプの点滅が含まれる。また、「報知形態」が音声であり、「報知対象」が車外者Ｗである報知情報には、クラクションの吹鳴が含まれる。報知情報生成部１１ｄは、このような「報知形態」および「報知対象」に応じた報知情報を生成し、報知部２０の各種デバイスに報知させる。
【０１１６】
次に、第１の実施形態に係る車外情報提供装置１０が実行する処理手順について、図６を用いて説明する。図６は、第１の実施形態に係る車外情報提供装置１０が実行する処理手順を示すフローチャートである。すなわち、「出庫時」（図１Ｂ参照）の場面での処理手順となる。
【０１１７】
まず、イグニッションがＯＮされる（ステップＳ１０１）。そして、報知判定部１１ｂが、車両情報センサ７からの車両情報に基づき、車両Ｃの車速がたとえば１０ｋｍ／ｈ以下であるか否かを判定する（ステップＳ１０２）。
【０１１８】
ここで、ステップＳ１０２の判定条件を満たす場合（ステップＳ１０２，Ｙｅｓ）、報知判定部１１ｂは、つづいて車両Ｃの始動時からの移動距離がたとえば１０ｍ以下であるか否かを判定する（ステップＳ１０３）。
【０１１９】
ここで、ステップＳ１０３の判定条件を満たす場合（ステップＳ１０３，Ｙｅｓ）、車外者呼びかけ判定部１１ａが、車外者呼びかけ判定処理を実行する（ステップＳ１０４）。また、ドライバ認識判定部１１ｃが、ドライバ認識判定処理を実行する（ステップＳ１０５）。なお、図６に示す車外者呼びかけ判定処理（ステップＳ１０４）と、ドライバ認識判定処理（ステップＳ１０５）とについては、両方の処理が略同時に行われてもよい。また、一方の処理が他方の処理よりも時間的に前のタイミングに行われてもよいし、後のタイミングに行われてもよい。
【０１２０】
そして、報知判定部１１ｂが、車外者呼びかけ判定部１１ａおよびドライバ認識判定部１１ｃそれぞれの判定結果の一方または双方、少なくとも車外者呼びかけ判定部１１ａの判定結果に基づき、報知判定処理を行う（ステップＳ１０６）。
【０１２１】
そして、その結果、報知要であると判定された場合（ステップＳ１０７，Ｙｅｓ）、報知情報生成部１１ｄによって生成された報知情報に基づき、車外者ＷがドライバＤへ呼びかけを行っている旨が報知部２０より報知される（ステップＳ１０８）。そしてステップＳ１０２からの処理を繰り返す。
【０１２２】
なお、ステップＳ１０２、Ｓ１０３およびＳ１０７の判定条件を満たさない場合（ステップＳ１０２，Ｎｏ／ステップＳ１０３，Ｎｏ／ステップＳ１０７，Ｎｏ）、処理を終了する。
【０１２３】
上述してきたように、第１の実施形態に係る車外情報提供装置１０は、車外者呼びかけ判定部１１ａ（「呼びかけ判定部」の一例に相当）と、報知部２０とを備える。車外者呼びかけ判定部１１ａは、車外者Ｗ（「車外の人物」の一例に相当）を検出し、かかる車外者ＷがドライバＤ（「車内の搭乗者」に相当）に対して呼びかけを行っているかを判定する。報知部２０は、車外者呼びかけ判定部１１ａによって車外者Ｗが呼びかけを行っていると判定された場合に、車外者Ｗの存在をドライバＤに対して報知する。
【０１２４】
したがって、第１の実施形態に係る車外情報提供装置１０によれば、ドライバＤに対し意志を伝えたい車外者Ｗの存在をドライバＤに情報提供することができる。
【０１２５】
（第２の実施形態）
次に、第２の実施形態について説明する。第２の実施形態は、「停留所からのバス発車時」（図１Ｃ参照）の場面である。なお、第２の実施形態では、主に第１の実施形態と異なる部分について説明し、内容の重複する部分については説明を省略する。
【０１２６】
図７Ａは、第２の実施形態に係る車外者呼びかけ判定部１１ａＡのブロック図である。図７Ａは、図２Ｂに対応しており、第２の実施形態に係る車外者呼びかけ判定部１１ａＡは、第１の実施形態に係る車外者呼びかけ判定部１１ａとは、さらに車外者位置解析部１１ａｈを備える点が異なる。また、必ずしも、車外者向き解析部１１ａｂ、車外者顔向き解析部１１ａｃ、車外者移動ベクトル解析部１１ａｅおよび車外者振動解析部１１ａｇが動作しなくともよい点が異なる。なお、動作してもよい。
【０１２７】
車外者位置解析部１１ａｈは、たとえば外部用カメラ２およびレーダ３からの各種情報に基づき、停留所ＢＳの位置を基準とする車外者Ｗの位置を解析する。
【０１２８】
図７Ｂは、停留所ＢＳ周辺の俯瞰模式図である。車外者位置解析部１１ａｈは、かかる図７Ｂで塗りつぶした部分として示す、停留所ＢＳからの所定範囲内に車外者Ｗが存在するかを判定する。所定範囲は、図７Ｂに示すように、停留所ＢＳから歩道に沿った±ｎメートル（たとえば±３０メートル）の範囲である。
【０１２９】
そして、第２の実施形態では、かかる所定範囲内にバスＢのドライバＤに対する呼びかけを行っている車外者Ｗが存在すれば、かかる車外者Ｗを乗り遅れた乗客と見なし、この乗客に関する報知を行う。
【０１３０】
説明の便宜上、図４Ａに対応させて、第２の実施形態において、呼びかけを行っている車外者Ｗを正例とした場合の素性の具体例を図７Ｃに示した。
【０１３１】
なお、ここではｎ＝１〜３までの例を挙げている。また、「対応項目」は、車外者位置解析部１１ａｈ、車外者ジェスチャ解析部１１ａｄおよび車外者音声解析部１１ａｆの各解析結果である。
【０１３２】
図７Ｃに示すように、たとえばｘ１は、車外者位置解析部１１ａｈの解析結果に基づき、「条件」を「停留所から所定範囲内であるか否か」とすることによって求めることができる。すなわち、「車外者位置」が停留所ＢＳから所定範囲内であればｘ１は「１」となり、その他であればｘ１は「０」となる。
【０１３３】
これは、「車外者位置」が停留所ＢＳから所定範囲内であれば、呼びかけを行っている車外者Ｗであるとの推定が働きやすいことによる。
【０１３４】
また、たとえばｘ２は、車外者ジェスチャ解析部１１ａｄの解析結果に基づき、「条件」を「乗車アピールジェスチャであるか否か」とすることによって求めることができる。すなわち、「車外者ジェスチャ」が乗車アピールジェスチャであればｘ２は「１」となり、その他であればｘ２は「０」となる。
【０１３５】
また、たとえばｘ３は、車外者音声解析部１１ａｆの解析結果に基づき、「条件」を「乗車アピール音声であるか否か」とすることによって求めることができる。すなわち、「車外者音声」が乗車アピール音声であればｘ３は「１」となり、その他であればｘ３は「０」となる。
【０１３６】
後は、第１の実施形態で、図４Ａに示した例と同様に、車外者呼びかけ判定部１１ａが、たとえば図７Ｃに一例として示した各「条件」に沿ってｘ１〜ｘｎを求めた上で、上記式（１）により車外者Ｗの評価スコアを算出することで、第２の実施形態における、乗り遅れた乗客である車外者Ｗが呼びかけを行っている度合いを評価することができる。
【０１３７】
これにより、乗り遅れたが、バスＢに乗車する意志のある車外者Ｗを検出することができる。
【０１３８】
次に、第２の実施形態に係る報知情報を図８に示す。図８は、図５に対応しているが、第２の実施形態で特に異なる点は、乗り遅れた乗客である車外者Ｗに対し、メッセージ表示を行う点である。これは、たとえばバスＢには行先表示や路線番号などを表示する表示領域があるので、かかる表示領域を利用するものである。
【０１３９】
かかる表示領域に、たとえば「分かりました。再停車します。」といったメッセージを表示することで、乗り遅れた車外者Ｗに対しては、安心感を与えることができる。
【０１４０】
次に、第２の実施形態に係る車外情報提供装置１０が実行する処理手順について、図９を用いて説明する。図９は、第２の実施形態に係る車外情報提供装置１０が実行する処理手順を示すフローチャートである。
【０１４１】
まずは一旦、バスＢのドアがクローズされる（ステップＳ２０１）。そして、報知判定部１１ｂが、車両情報センサ７からの車両情報に基づき、バスＢの車速がたとえば１０ｋｍ／ｈ以下であるか否かを判定する（ステップＳ２０２）。
【０１４２】
ここで、ステップＳ２０２の判定条件を満たす場合（ステップＳ２０２，Ｙｅｓ）、車外者Ｗの有無が判定される（ステップＳ２０３）。ここで、ステップＳ２０３の判定条件を満たす場合（ステップＳ２０３，Ｙｅｓ）、車外者呼びかけ判定部１１ａＡが、車外者呼びかけ判定処理を実行する（ステップＳ２０４）。
【０１４３】
そして、報知判定部１１ｂが、車外者呼びかけ判定部１１ａＡの判定結果に基づき、乗り遅れた乗客であるか否かを判定する（ステップＳ２０５）。
【０１４４】
そして、その結果、乗り遅れた乗客であると判定された場合（ステップＳ２０５，Ｙｅｓ）、報知情報生成部１１ｄによって生成された報知情報に基づき、かかる乗客が停留所ＢＳからの所定範囲内に存在する旨、報知部２０より報知される（ステップＳ２０６）。
【０１４５】
なお、ステップＳ２０３およびＳ２０５の判定条件を満たさない場合（ステップＳ２０３，Ｎｏ／ステップＳ２０５，Ｎｏ）、ステップＳ２０２からの処理を繰り返し、ステップＳ２０２の判定条件を満たさない場合（ステップＳ２０２，Ｎｏ）、処理を終了する。
【０１４６】
上述してきたように、第２の実施形態では、車外者呼びかけ判定部１１ａＡが、呼びかけを行っている車外者Ｗの存在に係る要素として、停留所ＢＳから所定範囲内に存在するか否かを解析することとした。
【０１４７】
したがって、第２の実施形態によれば、停留所ＢＳから所定範囲内で乗車をアピールする車外者Ｗの存在をドライバＤに情報提供することができる。
【０１４８】
（第３の実施形態）
次に、第３の実施形態について説明する。第３の実施形態は、「タクシー走行時」（図１Ｄ参照）の場面である。なお、第３の実施形態では、主に第１および第２の実施形態と異なる部分について説明し、内容の重複する部分については説明を省略する。
【０１４９】
図１０Ａは、第３の実施形態に係る車外者呼びかけ判定部１１ａＢのブロック図である。図１０Ａは、図２Ｂ，図７Ａに対応しており、第３の実施形態に係る車外者呼びかけ判定部１１ａＢは、第１の実施形態に係る車外者呼びかけ判定部１１ａとは、さらに車外者位置解析部１１ａｈ’を備える点が異なる。また、車外者顔向き解析部１１ａｃが動作する点が、第２の実施形態に係る車外者呼びかけ判定部１１ａＡとは異なる。
【０１５０】
車外者位置解析部１１ａｈ’は、たとえば外部用カメラ２、レーダ３および車両情報センサ７などからの各種情報に基づき、車外者Ｗの位置がタクシーＴの乗車可能範囲内にあるかを解析する。
【０１５１】
図１０Ｂは、車外者Ｗ周辺の俯瞰模式図である。車外者位置解析部１１ａｈ’は、かかる図１０Ｂで塗りつぶした部分として示す領域が、一般道であるか、駐停車禁止区域外であるか、車外者Ｗの位置±ｎメートル以内に安全に減速して停車できる領域であるかを解析する。
【０１５２】
そして、第３の実施形態では、かかる領域に関する条件をすべて満たすならば乗車可能範囲であり、かつ、車外者Ｗが呼びかけを行っているならば、かかる車外者Ｗをタクシー客と見なし、このタクシー客に関する報知を行う。
【０１５３】
これまで同様、第３の実施形態において、呼びかけを行っている車外者Ｗを正例とした場合の素性の具体例を図１０Ｃに示した。
【０１５４】
なお、ここではｎ＝１〜４までの例を挙げている。また、「対応項目」は、車外者位置解析部１１ａｈ’、車外者顔向き解析部１１ａｃ、車外者ジェスチャ解析部１１ａｄおよび車外者音声解析部１１ａｆの各解析結果である。
【０１５５】
図１０Ｃに示すように、たとえばｘ１は、車外者位置解析部１１ａｈ’の解析結果に基づき、「条件」を「乗車可能範囲内であるか否か」とすることによって求めることができる。すなわち、「車外者位置」が乗車可能範囲内であればｘ１は「１」となり、その他であればｘ１は「０」となる。
【０１５６】
また、たとえばｘ２は、車外者顔向き解析部１１ａｃの解析結果に基づき、「条件」を「自車方向から所定範囲内であるか否か」とすることによって求めることができる。すなわち、「車外者顔向き」が自車方向から所定範囲内であればｘ２は「１」となり、その他であればｘ２は「０」となる。
【０１５７】
また、たとえばｘ３は、車外者ジェスチャ解析部１１ａｄの解析結果に基づき、「条件」を「乗車アピールジェスチャであるか否か」とすることによって求めることができる。すなわち、「車外者ジェスチャ」が乗車アピールジェスチャであればｘ３は「１」となり、その他であればｘ３は「０」となる。
【０１５８】
また、たとえばｘ４は、車外者音声解析部１１ａｆの解析結果に基づき、「条件」を「乗車アピール音声であるか否か」とすることによって求めることができる。すなわち、「車外者音声」が乗車アピール音声であればｘ４は「１」となり、その他であればｘ４は「０」となる。
【０１５９】
後は、これまでと同様に、車外者呼びかけ判定部１１ａＢが、たとえば図１０Ｃに一例として示した各「条件」に沿ってｘ１〜ｘｎを求めた上で、上記式（１）により車外者Ｗの評価スコアを算出することで、第３の実施形態における、乗車可能範囲内に存在するタクシー客である車外者Ｗが呼びかけを行っている度合いを評価することができる。
【０１６０】
これにより、タクシーＴに乗車する意志があり、かつ、乗車可能範囲で安全に乗車させることができる車外者Ｗの存在をドライバＤに対し情報提供することができる。
【０１６１】
なお、タクシーＴに乗車可能である条件として、車両情報に基づき、スーパーサインが「空車」および「割増」などである場合を含んでもよい。
【０１６２】
第３の実施形態に係る報知情報を図１１に示す。図１１は、図５，図８に対応しているが、第３の実施形態で特に異なる点は、ドライバＤに対し、強調枠または矢印アイコンによって、たとえばタクシー客や乗車可能領域の位置を明確に表示する点である。これにより、安全に乗車させることができるタクシー客の存在を、ドライバＤに確実に情報提供することができる。
【０１６３】
次に、第３の実施形態に係る車外情報提供装置１０が実行する処理手順について、図１２を用いて説明する。図１２は、第３の実施形態に係る車外情報提供装置１０が実行する処理手順を示すフローチャートである。
【０１６４】
まず、車両情報からタクシー客が乗車可能であるか否かが判定される（ステップＳ３０１）。ここで、ステップＳ３０１の判定条件を満たす場合（ステップＳ３０１，Ｙｅｓ）、車外者Ｗの有無が判定される（ステップＳ３０２）。
【０１６５】
そして、ステップＳ３０２の判定条件を満たす場合（ステップＳ３０２，Ｙｅｓ）、車外者呼びかけ判定部１１ａＢが、車外者呼びかけ判定処理を実行する（ステップＳ３０３）。また、ドライバ認識判定部１１ｃが、ドライバ認識判定処理を実行する（ステップＳ３０４）。なお、図１２に示す車外者呼びかけ判定処理（ステップＳ３０３）と、ドライバ認識判定処理（ステップＳ３０４）とについては、両方の処理が略同時に行われてもよい。また、一方の処理が他方の処理よりも時間的に前のタイミングに行われてもよいし、後のタイミングに行われてもよい。
【０１６６】
そして、報知判定部１１ｂが、車外者呼びかけ判定部１１ａＢおよびドライバ認識判定部１１ｃそれぞれの判定結果の一方または双方、少なくとも車外者呼びかけ判定部１１ａＢの判定結果に基づき、報知判定処理を行う（ステップＳ３０５）。
【０１６７】
そして、その結果、報知要（乗客）であると判定された場合（ステップＳ３０６，Ｙｅｓ）、報知情報生成部１１ｄによって生成された報知情報に基づき、安全に乗車させることができるタクシー客が存在する旨が報知部２０より報知される（ステップＳ３０７）。
【０１６８】
なお、ステップＳ３０６の判定条件を満たさない場合（ステップＳ３０６，Ｎｏ）、ステップＳ３０１からの処理を繰り返す。また、ステップＳ３０１およびＳ３０２の判定条件を満たさない場合（ステップＳ３０１，Ｎｏ／ステップＳ３０２，Ｎｏ）、処理を終了する。
【０１６９】
上述してきたように、第３の実施形態では、呼びかけを行っている車外者の存在に係る要素として、乗車可能範囲内に存在するか否かを解析する。
【０１７０】
したがって、第３の実施形態によれば、安全に乗車させることができるタクシー客である車外者Ｗの存在をドライバＤに情報提供することができる。
【０１７１】
（第４の実施形態）
次に、第４の実施形態について説明する。第４の実施形態は、「待ち合わせ時」（図１Ｅ参照）の場面である。なお、第４の実施形態では、主に第１〜第３の実施形態と異なる部分について説明し、内容の重複する部分については説明を省略する。
【０１７２】
図１３Ａは、第４の実施形態に係る車外者呼びかけ判定部１１ａＣのブロック図である。図１３Ａは、図２Ｂ，図７Ａ，図１０Ａに対応しており、第４の実施形態に係る車外者呼びかけ判定部１１ａＣは、第１の実施形態に係る車外者呼びかけ判定部１１ａとは、さらに車外者認証部１１ａｊを備える点が異なる。また、車外者向き解析部１１ａｂが動作する点が、第２および第３の実施形態に係る車外者呼びかけ判定部１１ａＡ，１１ａＢとは異なる。また、予め登録される待ち合わせ登録情報１２ｅを参照する点が、第１〜第３の実施形態とは異なる。
【０１７３】
車外者認証部１１ａｊは、たとえば通信端末４と情報通信可能に設けられ、通信端末４からの車外者Ｗに関する認証情報および待ち合わせ登録情報１２ｅに基づいて車外者Ｗの認証処理を行う。
【０１７４】
図１３Ｂは、待ち合わせ登録情報１２ｅの一例を示す図である。待ち合わせ登録情報１２ｅは、「目的地」と、待ち合わせ人を識別可能なたとえば「待ち合わせ人顔画像」と、「待ち合わせ人電話番号」と、「待ち合わせ人メールアドレス」などを関連付けた情報である。待ち合わせ登録情報１２ｅは、待ち合わせの目的地の設定に際して登録される。
【０１７５】
車外者認証部１１ａｊは、車両Ｃが目的地へ近づいたならば、待ち合わせ登録情報１２ｅの内容に基づいて車外者Ｗの携帯する通信端末４の接続を行い、接続が確立したならば、通信端末４から待ち合わせ登録情報１２ｅに登録されているデータ（たとえば顔画像）を取得して、車外者Ｗを待ち合わせ人として認証する。
【０１７６】
そして、かかる待ち合わせ人である車外者Ｗについて、車外者呼びかけ判定処理、すなわち、向き、顔向き、ジェスチャ、音声の少なくともいずれかの解析を行い、間違いなく待ち合わせ人であるならばドライバＤに対する報知を行う。
【０１７７】
これまで同様、第４の実施形態において、呼びかけを行っている車外者Ｗを正例とした場合の素性の具体例を図１３Ｃに示した。
【０１７８】
なお、ここではｎ＝１〜５までの例を挙げている。また、「対応項目」は、車外者認証部１１ａｊの認証結果、車外者向き解析部１１ａｂ、車外者顔向き解析部１１ａｃ、車外者ジェスチャ解析部１１ａｄおよび車外者音声解析部１１ａｆの各解析結果である。
【０１７９】
図１３Ｃに示すように、たとえばｘ１は、車外者認証部１１ａｊの認証結果に基づき、「条件」を「認証ＯＫであるか否か」とすることによって求めることができる。すなわち、「車外者認証」が認証ＯＫであればｘ１は「１」となり、その他であればｘ１は「０」となる。
【０１８０】
ｘ２〜ｘ５はこれまでと同様であるので、説明を省略する。後は、車外者呼びかけ判定部１１ａＣが、たとえば図１３Ｃに一例として示した各「条件」に沿ってｘ１〜ｘｎを求めた上で、上記式（１）により車外者Ｗの評価スコアを算出することで、第４の実施形態における、待ち合わせ人である車外者Ｗが呼びかけを行っている度合いを評価することができる。また、あわせてドライバ認識判定部１１ｃが、第１の実施形態と同様のドライバ認識判定処理を行って、ドライバＤの評価スコアを算出し、ドライバＤが呼びかけを認識してない度合いを評価してもよい。
【０１８１】
これにより、待ち合わせ人である車外者Ｗを容易にまた確実に検出し、ドライバＤが認識していない場合には確実に報知することができる。また、ドライバＤが待ち合わせ人を探すために注意力が散漫となってしまうのを防ぐことができる。したがって、ドライバＤにとって安全な待ち合わせを行うことができる。
【０１８２】
第４の実施形態に係る報知情報を図１４に示す。図１４は、図５，図８，図１１に対応しているが、第４の実施形態で特に異なる点は、ドライバＤに対し注意喚起音を報知したり、車外者Ｗに対し弱クラクションを吹鳴して、ドライバＤの接近を報知する点である。これにより、ドライバＤに対しても、車外者Ｗに対しても、スムーズな待ち合わせを行うのに資する情報提供を行うことができる。
【０１８３】
次に、第４の実施形態に係る車外情報提供装置１０が実行する処理手順について、図１５を用いて説明する。図１５は、第４の実施形態に係る車外情報提供装置１０が実行する処理手順を示すフローチャートである。
【０１８４】
まず、待ち合わせ登録情報１２ｅの有無が判定される（ステップＳ４０１）。ここで、待ち合わせ登録情報１２ｅがある場合（ステップＳ４０１，Ｙｅｓ）、目的地近くであるか否かが判定される（ステップＳ４０２）。
【０１８５】
ここで、ステップＳ４０２の判定条件を満たす場合（ステップＳ４０２，Ｙｅｓ）、車外者Ｗの有無が判定される（ステップＳ４０３）。
【０１８６】
そして、ステップＳ４０３の判定条件を満たす場合（ステップＳ４０３，Ｙｅｓ）、車外者認証部１１ａｊが、車外者Ｗの認証処理を行う（ステップＳ４０４）。ここで、待ち合わせ人であると認証されない場合（ステップＳ４０５，Ｎｏ）、ステップＳ４０２からの処理を繰り返す。また、ステップＳ４０２およびＳ４０３の判定条件を満たさない場合も（ステップＳ４０２，Ｎｏ／ステップＳ４０３，Ｎｏ）、ステップＳ４０２からの処理を繰り返す。
【０１８７】
なお、図示していないが、車外者呼びかけ判定部１１ａＣが認証処理以外の車外者呼びかけ判定処理をあわせて行ってもよい。
【０１８８】
そして、ステップＳ４０５の判定条件を満たす場合（ステップＳ４０５，Ｙｅｓ）、ドライバ認識判定部１１ｃがドライバ認識判定処理を実行する（ステップＳ４０６）。
【０１８９】
その結果、ドライバＤが認識していないと判定された場合（ステップＳ４０７，Ｎｏ）、報知情報生成部１１ｄによって生成された報知情報に基づき、待ち合わせ人が存在する旨が報知部２０より報知される（ステップＳ４０８）。
【０１９０】
なお、ステップＳ４０１の判定条件を満たさない場合（ステップＳ４０１，Ｎｏ）、または、ステップＳ４０７の判定条件を満たす場合（ステップＳ４０７，Ｙｅｓ）、処理を終了する。
【０１９１】
上述してきたように、第４の実施形態では、目的地近くの車外者が待ち合わせ人であるか否かを認証し、認証された待ち合わせ人に対し、車外者呼びかけ判定処理およびドライバ認識処理を行うこととした。
【０１９２】
したがって、第４の実施形態によれば、待ち合わせをスムーズかつ安全に行うことができる。なお、車外者Ｗの認証処理は、必ずしも行わなくともよい。たとえば待ち合わせの目的地のみ登録しておき、目的地の接近時に、認証処理を含まない車外者呼びかけ判定処理およびドライバ認識処理を行うようにしてもよい。
【０１９３】
さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
【符号の説明】
【０１９４】
１    車外情報提供システム
１０    車外情報提供装置
１１    制御部
１１ａ，１１ａＡ，１１ａＢ，１１ａＣ  車外者呼びかけ判定部
１１ａａ  車外者検出部
１１ａｂ  車外者向き解析部
１１ａｃ  車外者顔向き解析部
１１ａｄ  車外者ジェスチャ解析部
１１ａｅ  車外者移動ベクトル解析部
１１ａｆ  車外者音声解析部
１１ａｇ  車外者振動解析部
１１ａｈ，１１ａｈ'  車外者位置解析部
１１ａｊ  車外者認証部
１１ｂ    報知判定部
１１ｃ  ドライバ認識判定部
１１ｃａ  ドライバ顔向き解析部
１１ｃｂ  ドライバ視線解析部
１１ｃｃ  ドライバ身体情報解析部
１１ｄ  報知情報生成部
１１ｅ  学習部
１２    記憶部
１２ａ  ジェスチャパターン情報
１２ｂ  音声パターン情報
１２ｃ  振動パターン情報
１２ｄ  ジェスチャ判別モデル
１２ｅ  待ち合わせ登録情報
２０    報知部
Ｂ      バス
ＢＳ    停留所
Ｃ      車両
Ｄ      ドライバ
Ｔ      タクシー
Ｗ      車外者
【図１Ａ】
2018030499.tif 000003
【図１Ｂ】
2018030499.tif 000004
【図１Ｃ】
2018030499.tif 000005
【図１Ｄ】
2018030499.tif 000006
【図１Ｅ】
2018030499.tif 000007
【図２Ａ】
2018030499.tif 000008
【図２Ｂ】
2018030499.tif 000009
【図２Ｃ】
2018030499.tif 000010
【図３Ａ】
2018030499.tif 000011
【図３Ｂ】
2018030499.tif 000012
【図３Ｃ】
2018030499.tif 000013
【図３Ｄ】
2018030499.tif 000014
【図４Ａ】
2018030499.tif 000015
【図４Ｂ】
2018030499.tif 000016
【図５】
2018030499.tif 000017
【図６】
2018030499.tif 000018
【図７Ａ】
2018030499.tif 000019
【図７Ｂ】
2018030499.tif 000020
【図７Ｃ】
2018030499.tif 000021
【図８】
2018030499.tif 000022
【図９】
2018030499.tif 000023
【図１０Ａ】
2018030499.tif 000024
【図１０Ｂ】
2018030499.tif 000025
【図１０Ｃ】
2018030499.tif 000026
【図１１】
2018030499.tif 000027
【図１２】
2018030499.tif 000028
【図１３Ａ】
2018030499.tif 000029
【図１３Ｂ】
2018030499.tif 000030
【図１３Ｃ】
2018030499.tif 000031
【図１４】
2018030499.tif 000032
【図１５】
2018030499.tif 000033