(57)【特許請求の範囲】
【請求項１】
車両の前方を撮像した画像に基づいて通行人の視線情報を検出する検出部と、
前記検出部が検出した前記通行人の視線情報に基づいて、前記車両の動作を決定する決定部と、
前記決定部が決定した前記車両の動作に応じた処理を行う動作部と、
を備え、
前記決定部は、前記通行人の視線情報が前記車両に向かっている場合、前記通行人に道を譲る前記車両の動作を決定し、
前記動作部は、前記通行人に道を譲ることを示す第１情報を前記通行人に対して出力する処理を行うものであり、
前記通行人を撮像した画像に基づいて、前記動作部が出力させた前記第１情報を前記通行人が理解しているか否かを判定する第１判定部をさらに備え、
前記決定部は、前記第１判定部によって前記通行人が前記第１情報を理解していると判定された場合、前記車両を停止させる動作を決定し、
前記動作部は、前記車両を停止させる動作に応じた処理を行う
ことを特徴とする車載システム。
【請求項２】
前記通行人は、前記車両の前方を横断する可能性がある人物である
請求項１に記載の車載システム。
【請求項３】
前記通行人の視線が前記車両に向かっていない場合、前記通行人を撮像した画像に基づいて、前記通行人が道を譲る行動を行っているか否かを判定する第２判定部をさらに備え、
前記決定部は、前記第２判定部によって前記通行人が道を譲る行動を行っていると判定された場合、前記車両を走行させる動作を決定し、
前記動作部は、前記車両を走行させる動作に応じた処理を行う
請求項１または２に記載の車載システム。
【請求項４】
前記決定部は、前記第２判定部によって前記通行人が道を譲る行動を行っていないと判定された場合、前記車両を停止または徐行する動作を決定し、
前記動作部は、前記車両を停止または徐行する動作に応じた処理を行う
請求項３に記載の車載システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載システムに関する。
【背景技術】
【０００２】
従来の車両は、車両の周囲の歩行者に対して各種の報知を実行することにより、歩行者に対して与える不安感の軽減を図っている。例えば、特許文献１には、センサによって車両と人との位置関係を検知し、当該検知結果に基づき、車両周囲の人に向けて可動デバイスを回動させる車載装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１７４５４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の車両は、歩行者に対して与える不安感の軽減を図っているが、歩行者から車両側に意思を伝えるという点で改善の余地がある。
【０００５】
本発明は、上記の事情に鑑みてなされたものであって、車両と通行人との意思疎通を改善することができる車載システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明に係る車載システムは、車両の前方を撮像した画像に基づいて通行人の視線情報を検出する検出部と、前記検出部が検出した前記通行人の視線情報に基づいて、前記車両の動作を決定する決定部と、前記決定部が決定した前記車両の動作に応じた処理を行う動作部と、を備え、前記決定部は、前記通行人の視線情報が前記車両に向かっている場合、前記通行人に道を譲る前記車両の動作を決定し、前記動作部は、前記通行人に道を譲ることを示す第１情報を前記通行人に対して出力する処理を行うものであり、前記通行人を撮像した画像に基づいて、前記動作部が出力させた前記第１情報を前記通行人が理解しているか否かを判定する第１判定部をさらに備え、前記決定部は、前記第１判定部によって前記通行人が前記第１情報を理解していると判定された場合、前記車両を停止させる動作を決定し、前記動作部は、前記車両を停止させる動作に応じた処理を行うことを特徴とする。
【０００７】
また、上記車載システムでは、前記通行人は、前記車両の前方を横断する可能性がある人物であるものとすることができる。
【００１０】
また、上記車載システムでは、前記通行人の視線が前記車両に向かっていない場合、前記通行人を撮像した画像に基づいて、前記通行人が道を譲る行動を行っているか否かを判定する第２判定部をさらに備え、前記決定部は、前記第２判定部によって前記通行人が道を譲る行動を行っていると判定された場合、前記車両を走行させる動作を決定し、前記動作部は、前記車両を走行させる動作に応じた処理を行うものとすることができる。
【００１１】
また、上記車載システムでは、前記決定部は、前記第２判定部によって前記通行人が道を譲る行動を行っていないと判定された場合、前記車両を停止または徐行する動作を決定し、前記動作部は、前記車両を停止または徐行する動作に応じた処理を行うものとすることができる。
【発明の効果】
【００１２】
本発明に係る車載システムは、通行人の視線情報に基づいて車両の動作を決定することができる。この結果、車載システムは、通行人の視線情報に基づいて、車両と通行人との意思疎通を改善することができる、という効果を奏する。
【図面の簡単な説明】
【００１３】
【図１】図１は、実施形態に係る車載システムの概略構成を表すブロック図である。
【図２】図２は、実施形態に係る車載システムが検出する通行人の一例を表す図である。
【図３】図３は、実施形態に係る車載システムの制御装置の制御の一例を表すフローチャート図である。
【図４】図４は、図３に示す第１処理の一例を表すフローチャート図である。
【図５】図５は、図３に示す第２処理の一例を表すフローチャート図である。
【図６】図６は、図３に示す第３処理の一例を表すフローチャート図である。
【発明を実施するための形態】
【００１４】
以下に、本発明に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
【００１５】
［実施形態］
図１に示す本実施形態の車載システム１は、車両Ｖに適用されたシステムである。車載システム１が適用される車両Ｖは、電気車両（ＥＶ（Ｅｌｅｃｔｒｉｃ  Ｖｅｈｉｃｌｅ））、ハイブリッド車両（ＨＥＶ（Ｈｙｂｒｉｄ  Ｅｌｅｃｔｒｉｃ  Ｖｅｈｉｃｌｅ））、プラグインハイブリッド車両（ＰＨＥＶ（Ｐｌｕｇ−ｉｎ  Ｈｙｂｒｉｄ  Ｅｌｅｃｔｒｉｃ  Ｖｅｈｉｃｌｅ））、ガソリン車両、ディーゼル車両など、駆動源としてモータ又はエンジンを用いるいずれの車両であってもよい。また、当該車両Ｖの運転は、運転者による手動運転、半自動運転、完全自動運転等、いずれであってもよい。また、当該車両Ｖは、いわゆる個人が所有する自家用車、レンタカー、シェアリングカー、バス、タクシー、ライドシェアカーのいずれであってもよい。
【００１６】
以下の説明では、一例として、車両Ｖは、自動運転（半自動運転、完全自動運転）可能な車両であるものとして説明する。車載システム１は、車両Ｖにおいていわゆる自動運転を実現した上で、他車両の合図の意図を推測するものである。車載システム１は、図１に示す構成要素を車両Ｖに搭載することで実現される。以下、図１を参照して車載システム１の各構成について詳細に説明する。以下の説明において、車両Ｖを「自車両」と表記する場合がある。
【００１７】
なお、図１に図示する車載システム１において、電力供給、制御信号、各種情報等の授受のための各構成要素間の接続方式は、特に断りのない限り、電線や光ファイバ等の配索材を介した有線による接続（例えば、光ファイバを介した光通信等も含む）、無線通信、非接触給電等の無線による接続のいずれであってもよい。
【００１８】
以下の説明では、車載システム１は、自動運転システムである場合の一例について説明する。
【００１９】
車載システム１は、車両Ｖにおいて自動運転を実現するシステムである。車載システム１は、図１に示す構成要素を車両Ｖに搭載することで実現される。具体的には、車載システム１は、走行系アクチュエータ１１と、検出装置１２と、表示装置１３と、外部表示装置１４と、制御装置１５とを備える。
【００２０】
走行系アクチュエータ１１は、車両Ｖを走行させるための種々の機器である。走行系アクチュエータ１１は、典型的には、走行用パワートレーン、操舵装置、制動装置等を含んで構成される。走行用パワートレーンは、車両Ｖを走行させる駆動装置である。操舵装置は、車両Ｖの操舵を行う装置である。制動装置は、車両Ｖの制動を行う装置である。
【００２１】
検出装置１２は、種々の情報を検出するものである。検出装置１２は、例えば、車両状態情報、周辺状況情報等を検出する。車両状態情報は、車両Ｖの走行状態を表す情報である。周辺状況情報は、車両Ｖの周辺状況を表す情報である。車両状態情報は、例えば、車両Ｖの車速情報、加速度（車両前後方向加速度、車両幅方向加速度、車両ロール方向加速度等）情報、操舵角情報、アクセルペダルの操作量（アクセル踏み込み量）情報、ブレーキペダルの操作量（ブレーキ踏み込み量）情報、シフトポジション情報、各部の電流値／電圧値情報、蓄電装置の蓄電量情報等を含んでいてもよい。周辺状況情報は、例えば、車両Ｖの周辺環境や車両Ｖの周辺の人物、他車両、障害物等の外部物体を撮像した周辺画像情報、外部物体の有無や当該外部物体との相対距離、相対速度、ＴＴＣ（Ｔｉｍｅ−Ｔｏ−Ｃｏｌｌｉｓｉｏｎ：接触余裕時間）等を表す外部物体情報、車両Ｖが走行する車線の白線情報、車両Ｖが走行する走行路の交通情報、車両Ｖの現在位置情報（ＧＰＳ情報）等を含んでいてもよい。
【００２２】
図１に示す検出装置１２は、一例として、車両状態検出部１２ａ、通信モジュール１２ｂ、ＧＰＳ受信器１２ｃ、外部カメラ１２ｄ、外部レーダ／ソナー１２ｅを含んで構成されるものとして図示している。
【００２３】
車両状態検出部１２ａは、車速情報、加速度情報、操舵角情報、アクセルペダルの操作量情報、ブレーキペダルの操作量情報、シフトポジション情報、電流値／電圧値情報、蓄電量情報等を含む車両状態情報を検出する。車両状態検出部１２ａは、例えば、車速センサ、加速度センサ、操舵角センサ、アクセルセンサ、ブレーキセンサ、シフトポジションセンサ、電流／電圧計等の種々の検出器、センサによって構成される。車両状態検出部１２ａは、車両Ｖにおいて各部を制御するＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）等の処理部自体を含んでいてもよい。
【００２４】
通信モジュール１２ｂは、他車両、路上機、クラウド機器、車両Ｖの外部の人物が所持する電子機器等、車両Ｖの外部機器との間で無線通信により相互に情報を送受信するものである。これにより、通信モジュール１２ｂは、例えば、周辺画像情報、外部物体情報、交通情報等を含む周辺状況情報を検出する。通信モジュール１２ｂは、例えば、広域無線、狭域無線等、種々の方式の無線通信により外部機器と通信する。ここで、広域無線の方式は、例えば、ラジオ（ＡＭ、ＦＭ）、ＴＶ（ＵＨＦ、４Ｋ、８Ｋ）、ＴＥＬ、ＧＰＳ、ＷｉＭＡＸ（登録商標）等である。また、狭域無線の方式は、例えば、ＥＴＣ／ＤＳＲＣ、ＶＩＣＳ（登録商標）、無線ＬＡＮ、ミリ波通信等である。
【００２５】
ＧＰＳ受信器１２ｃは、周辺状況情報として、車両Ｖの現在位置を表す現在位置情報を検出する。ＧＰＳ受信器１２ｃは、ＧＰＳ衛星から送信される電波を受信することで、現在位置情報として、車両ＶのＧＰＳ情報（緯度経度座標）を取得する。
【００２６】
外部カメラ１２ｄは、周辺状況情報として、周辺画像情報を構成する車両Ｖの周辺の画像や白線情報を構成する車両Ｖの走行路面の画像を撮像する。画像は、例えば、動画、静止画等を含む。外部カメラ１２ｄは、車両Ｖの前方の画像を撮像する。周辺状況情報は、例えば、車両Ｖが走行している車線及び対向車線を走行する前方の他車両を撮像可能な前方の画像を含む。周辺状況情報は、例えば、車両Ｖの前方の車線と当該車線に沿った歩道との画像を含む。周辺状況情報は、例えば、通行人の顔の位置、表情、視線、行動等を判別可能な画像を含む。通行人は、例えば、歩行者、自転車に乗る人、立ち止まっている人等を含む。
【００２７】
外部レーダ／ソナー１２ｅは、周辺状況情報として、赤外線、ミリ波、超音波等を用いて外部物体情報を検出する。外部物体情報は、例えば、歩道、道路等の通行人の情報を含む。
【００２８】
表示装置１３は、車両Ｖに設けられ、当該車両Ｖの運転者、搭乗者等から目視可能なものである。表示装置１３は、例えば、液晶ディスプレイ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ  Ｄｉｓｐｌａｙ）等の表示デバイスを含む。表示装置１３は、例えば、車両Ｖのコンビネーションメータ、ヘッドアップディスプレイ、テレビジョン等として用いられる。表示装置１３は、公知のナビゲーション装置であってもよい。
【００２９】
外部表示装置１４は、車両Ｖに設けられ、当該車両Ｖの外部の人物に対して各種情報を表示可能なものである。外部表示装置１４は、車両Ｖの外部の人物が目視可能なものである。外部表示装置１４は、例えば、外部の人物が目視可能に車両Ｖに設けられた上記の表示デバイスを含む。外部表示装置１４は、例えば、車両Ｖのウインドシールド、サイドドア等に各種情報を表示する表示装置を含む。本実施形態では、外部表示装置１４は、通行人に対して、例えば、画像、メッセージ等の情報を表示する。
【００３０】
制御装置１５は、車載システム１の各部を統括的に制御するものである。制御装置１５は、車両Ｖの全体を統括的に制御する電子制御ユニットによって兼用されてもよい。制御装置１５は、車両Ｖの走行を実現するための種々の演算処理を実行する。制御装置１５は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）等の中央演算処理装置、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）及びインターフェースを含む周知のマイクロコンピュータを主体とする電子回路を含んで構成される。制御装置１５は、走行系アクチュエータ１１、検出装置１２、表示装置１３、及び、外部表示装置１４が電気的に接続される。制御装置１５は、車両Ｖにおいて各部を制御するＥＣＵ（例えばボディＥＣＵ等）を介して走行系アクチュエータ１１、検出装置１２、表示装置１３、及び、外部表示装置１４が電気的に接続されてもよい。制御装置１５は、各種の検出信号や各部を駆動させるための駆動信号等の各種の電気信号を各部との間で相互に授受することができる。
【００３１】
具体的には、制御装置１５は、機能概念的に、インターフェース部１５Ａ、記憶部１５Ｂ、及び、処理部１５Ｃを含んで構成される。インターフェース部１５Ａ、記憶部１５Ｂ、及び、処理部１５Ｃは、電気的に接続されている各種機器との間で種々の情報を相互に授受することができる。
【００３２】
インターフェース部１５Ａは、走行系アクチュエータ１１、検出装置１２等の車載システム１の各部と種々の情報を送受信するためのインターフェースである。また、インターフェース部１５Ａは、表示装置１３及び外部表示装置１４と電気的に接続可能に構成される。インターフェース部１５Ａは、各部との間で電線等を介して情報を有線通信する機能、各部との間で無線通信ユニット等を介して情報を無線通信する機能等を有している。
【００３３】
記憶部１５Ｂは、自動運転系の記憶装置である。記憶部１５Ｂは、例えば、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）、光ディスクなどの比較的に大容量の記憶装置、あるいは、ＲＡＭ、フラッシュメモリ、ＮＶＳＲＡＭ（Ｎｏｎ  Ｖｏｌａｔｉｌｅ  Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などのデータを書き換え可能な半導体メモリであってもよい。記憶部１５Ｂは、制御装置１５での各種処理に必要な条件や情報、制御装置１５で実行する各種プログラムやアプリケーション、制御データ等が格納されている。記憶部１５Ｂは、例えば、ＧＰＳ受信器１２ｃによって検出された現在位置情報に基づいて車両Ｖの現在位置を特定する際に参照する地図を表す地図情報、後述する通行人の行動を判定するために用いられる行動情報１５０等をデータベース化して記憶する。また、記憶部１５Ｂは、例えば、検出装置１２で検出された各種情報や後述する取得部１５Ｃ１によって取得された各種情報を一時的に記憶することもできる。記憶部１５Ｂは、処理部１５Ｃ等によってこれらの情報が必要に応じて読み出される。
【００３４】
処理部１５Ｃは、各種入力信号等に基づいて、記憶部１５Ｂに記憶されている各種プログラムを実行し、当該プログラムが動作することにより各部に出力信号を出力し各種機能を実現するための種々の処理を実行する部分である。
【００３５】
より詳細には、処理部１５Ｃは、機能概念的に、取得部１５Ｃ１、第１検出部１５Ｃ２、第２検出部１５Ｃ３、決定部１５Ｃ４、走行制御部１５Ｃ５、出力制御部１５Ｃ６、第１判定部１５Ｃ７、及び、第２判定部１５Ｃ８を含んで構成される。
【００３６】
取得部１５Ｃ１は、車載システム１における各種処理に用いる種々の情報を取得する処理を実行可能な機能を有する部分である。取得部１５Ｃ１は、検出装置１２によって検出された車両状態情報、周辺状況情報等を取得する。例えば、取得部１５Ｃ１は、車両Ｖの前方の画像を含む周辺状況情報を取得する。取得部１５Ｃ１は、取得した各種情報を記憶部１５Ｂに格納することもできる。
【００３７】
第１検出部１５Ｃ２は、車両Ｖの前方を撮像した映像（画像）に基づいて、通行人を検出する処理を実行可能な機能を有する部分である。第１検出部１５Ｃ２は、車両Ｖの前方を横断する可能性がある通行人を検出する。車両Ｖの前方を横断する可能性がある通行人は、例えば、車両Ｖが走行している道路に向かって移動している人物、当該道路の路側で立ち止まっている人物等を含む。なお、第１検出部１５Ｃ２は、外部レーダ／ソナー１２ｅによって車両Ｖの前方の物体を検出した場合に、通行人の検出を行うように構成してもよい。
【００３８】
図２に示す一例では、車両Ｖは、道路Ｒを走行している。車両Ｖの前方の歩道Ｗには、２人の通行人Ｐ１，Ｐ２が歩行している。通行人Ｐ１は、車両Ｖの前方で道路Ｒに向かって歩道Ｗを歩行している。通行人Ｐ１の視線情報Ｅは、車両Ｖに向かっている。通行人Ｐ２は、車両Ｖの進行方向と同一の方向に向かって、歩道Ｗを歩行している。通行人Ｐ２の視線情報は、車両Ｖに向かっていない。ここで、視線情報Ｅとは、通行人Ｐ１，Ｐ２の視線の方向を識別可能な情報である。例えば、視線情報Ｅは、通行人の視線の方向を示す情報を含む。図２に示す場面では、車載システム１の外部カメラ１２ｄが車両Ｖの前方を撮像した画像には、通行人Ｐ１，Ｐ２が含まれる。第１検出部１５Ｃ２は、車両Ｖの前方を撮像した映像（画像）に基づいて、対象とすべき通行人として、道路Ｒに向かって歩行している通行人Ｐ１を対象の通行人として検出する。よって、第１検出部１５Ｃ２は、車両Ｖの前方に存在する複数の通行人のうち、注意が必要な通行人を検出することができる。
【００３９】
図１に戻り、第２検出部１５Ｃ３は、車両Ｖの前方を撮像した映像（画像）に基づいて、第１検出部１５Ｃ２が検出した通行人の視線情報を検出する処理を実行可能な機能を有する部分である。第２検出部１５Ｃ３は、例えば、画像から通行人の目頭、目尻、瞳等の目の周囲の特徴点を特定し、通行人の視線の方向を示す視線情報Ｅを検出する。第２検出部１５Ｃ３は、例えば、画像から顔、頭部等の向きを特定し、当該向きから通行人の視線の方向を示す視線情報Ｅを検出してもよい。
【００４０】
決定部１５Ｃ４は、第２検出部１５Ｃ３が検出した通行人の視線情報に基づいて、車両Ｖの動作を決定する処理を実行可能な機能を有する部分である。決定部１５Ｃ４は、例えば、種々の公知の人工知能（Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ）技術や深層学習（Ｄｅｅｐ  Ｌｅａｒｎｉｎｇ）技術を用いて、車両Ｖの動作を決定する処理を実行可能に構成される。決定部１５Ｃ４は、人工知能技術や深層学習技術を用いた様々な手法によって、通行人の視線情報と通行人の行動とを学習した結果に基づくアルゴリズム、データベース等を用いて、通行人の視線情報に応じた車両Ｖの動作を決定する。
【００４１】
例えば、決定部１５Ｃ４は、記憶部１５Ｂに記憶されている行動情報１５０等に基づいて、通行人の視線情報Ｅに応じた車両Ｖの動作を決定する。行動情報１５０は、例えば、人工知能技術や深層学習技術を用いた様々な手法によって、通行人の視線情報Ｅと行動との関係等を学習した結果が反映された情報である。言い換えれば、行動情報１５０は、通行人の視線情報と行動とに応じた車両Ｖの動作を規定するために、人工知能技術や深層学習技術を用いた様々な手法を用いてデータベース化された情報である。なお、決定部１５Ｃ４が車両Ｖの動作を決定する一例については、後述する。
【００４２】
走行制御部１５Ｃ５は、決定部１５Ｃ４の決定結果に基づいて車両Ｖの走行を制御する処理を実行可能な機能を有する部分である。走行制御部１５Ｃ５は、動作部の一例である。走行制御部１５Ｃ５は、取得部１５Ｃ１によって取得された情報（車両状態情報、周辺状況情報等）に基づいて走行系アクチュエータ１１を制御し車両Ｖの走行に関わる種々の処理を実行する。走行制御部１５Ｃ５は、ＥＣＵ（例えばボディＥＣＵ等）を介して走行系アクチュエータ１１を制御してもよい。本実施形態の走行制御部１５Ｃ５は、車両Ｖの自動運転に関わる種々の処理を実行し車両Ｖを自動運転する。
【００４３】
走行制御部１５Ｃ５による車両Ｖの自動運転は、取得部１５Ｃ１によって取得された情報に基づいて、車両Ｖの運転者による運転操作に優先して、あるいは、運転者による運転操作によらずに自動で車両Ｖの挙動が制御される運転である。自動運転としては、運転者による運転操作をある程度介在させる半自動運転と、運転者による運転操作を介在させない完全自動運転とがある。半自動運転としては、例えば、車両姿勢安定制御（ＶＳＣ：Ｖｅｈｉｃｌｅ  Ｓｔａｂｉｌｉｔｙ  Ｃｏｎｔｒｏｌ）、定速走行・車間距離制御（ＡＣＣ：Ａｄａｐｔｉｖｅ  Ｃｒｕｉｓｅ  Ｃｏｎｔｒｏｌ）、車線維持支援（ＬＫＡ：Ｌａｎｅ  Ｋｅｅｐｉｎｇ  Ａｓｓｉｓｔ）等の運転が挙げられる。完全自動運転としては、例えば、自動で車両Ｖを目的地まで走行させる運転や複数の車両Ｖを自動で隊列走行させる運転等が挙げられる。完全自動運転の場合、車両Ｖに運転者自体が不在となる場合もありうる。そして、本実施形態の走行制御部１５Ｃ５は、決定部１５Ｃ４によって、通行人の視線情報に応じて車両Ｖの行動を、当該車両Ｖの走行に反映させた制御を行う。言い換えれば、走行制御部１５Ｃ５は、決定部１５Ｃ４による決定結果にも基づいて車両Ｖの自動運転を行う。
【００４４】
出力制御部１５Ｃ６は、通行人に対するメッセージ、画像等を示す情報を出力する処理を実行可能な機能を有する部分である。出力制御部１５Ｃ６は、動作部の一例である。出力制御部１５Ｃ６は、通行人に対する第１情報を、インターフェース部１５Ａを介して外部表示装置１４に表示させる。第１情報は、例えば、通行人に道を譲ることを示す情報を含む。出力制御部１５Ｃ６は、通行人に対するお礼を示す第２情報を、インターフェース部１５Ａを介して外部表示装置１４に表示させる。本実施形態では、出力制御部１５Ｃ６は、第１情報、第２情報等を外部表示装置１４に出力させる場合について説明するが、これに限定されない。出力制御部１５Ｃ６は、例えば、第１情報、第２情報等を、音声出力装置から出力させてもよい。
【００４５】
外部表示装置１４は、例えば、出力制御部１５Ｃ６から入力された情報を、車両Ｖの外部に向けて表示する。外部表示装置１４は、通行人に対して第１情報、第２情報等を表示することで、通行人と車両Ｖ側とのコミュニケーションを図ることができる。
【００４６】
第１判定部１５Ｃ７は、対象の通行人を撮像した画像に基づいて、出力制御部１５Ｃ６が出力させた第１情報を通行人が理解しているか否かを判定する処理を実行可能な機能を有する部分である。例えば、第１判定部１５Ｃ７は、記憶部１５Ｂに記憶されている行動情報１５０等に基づいて、対象の通行人の表情、ジェスチャ等を画像から検出できた場合、第１情報を通行人が理解していると判定する。例えば、行動情報１５０は、人工知能技術や深層学習技術を用いた様々な手法によって、通行人（人物）が伝達されたことを理解した場合の表情、ジェスチャ等を学習した結果が反映された情報である。すなわち、第１判定部１５Ｃ７は、通行人に道を譲ることを対象の通行人に伝達できたか否かを判定することができる。この結果、決定部１５Ｃ４は、通行人に道を譲ることを対象の通行人に伝達できた場合に、車両Ｖを停止または徐行させる動作を決定することができる。なお、以下の説明では、車載システム１は、車両Ｖを停止する場合について説明するが、これに限定されない。例えば、車載システム１の決定部１５Ｃ４は、車両Ｖと通行人との距離が一定距離だけ離れているか否かをさらに判定し、一定距離だけ離れている場合に、車両Ｖを徐行させる動作を決定してもよい。
【００４７】
第２判定部１５Ｃ８は、対象の通行人の視線が車両に向かっていない場合、通行人を撮像した画像に基づいて、当該通行人が道を譲る行動を行っているか否かを判定する処理を実行可能な機能を有する部分である。例えば、第２判定部１５Ｃ８は、記憶部１５Ｂに記憶されている行動情報１５０等に基づいて、対象の通行人の道を譲る行動を画像から検出できた場合、通行人が道を譲る行動を行っていると判定する。例えば、行動情報１５０は、人工知能技術や深層学習技術を用いた様々な手法によって、通行人が道を譲る場合の行動を学習した結果が反映された情報である。例えば、道を譲る行動は、通行人が手を前方に向けて伸ばしている状態を含む。また、例えば、行動情報１５０は、人工知能技術や深層学習技術を用いた様々な手法によって、通行人が道を譲らない場合の行動を学習した結果が反映された情報を含む。例えば、通行人がお礼の動作を行っている場合、通行人が立ち止まっていない場合、及び、通行人の重心が前に傾いている場合の少なくとも１つである場合、第２判定部１５Ｃ８は、通行人が道を譲る行動を行っていないと判定する。すなわち、第１判定部１５Ｃ７は、車両Ｖに視線を向けていない通行人が、道を譲る行動を行っているか否かを判定することができる。この結果、決定部１５Ｃ４は、通行人が道を譲っている場合に、車両Ｖを走行させる動作を決定することができる。
【００４８】
次に、図３のフローチャート図を参照して、制御装置１５の処理部１５Ｃの制御の一例を説明する。図３に示すフローチャート図は、車両Ｖの前方の通行人に応じた車載システム１の処理手順の一例を示す。図３に示す処理手順は、処理部１５Ｃがプログラムを実行することによって実現される。図３に示す処理手順は、処理部１５Ｃによって繰り返し実行される。例えば、図３に示す処理手順は、処理部１５Ｃによって数ｍｓないし数十ｍｓ毎の制御周期（クロック単位）で繰り返し実行される。
【００４９】
まず、車載システム１の制御装置１５の処理部１５Ｃは、車両Ｖの前方の画像を外部カメラ１２ｄから取得する（ステップＳ１１）。処理部１５Ｃは、取得した画像から車両Ｖの前方を横断する可能性がある通行人を検出する（ステップＳ１２）。例えば、処理部１５Ｃは、パターンマッチング等によって画像から通行人を検出する。そして、処理部１５Ｃは、例えば、道路に向かっている人物、道路の路側で立ち止まっている人物等を、横断する可能性がある通行人として検出する。処理部１５Ｃは、ステップＳ１２の処理を実行することにより、第１検出部１５Ｃ２として機能する。処理部１５Ｃは、通行人を検出したか否かを示す検出結果を記憶部１５Ｂに記憶すると、処理をステップＳ１３に進める。なお、検出結果は、通行人を検出した場合、当該通行人に関する情報を含む。
【００５０】
処理部１５Ｃは、記憶部１５Ｂの検出結果を参照して、通行人を検出したか否かを判定する（ステップＳ１３）。処理部１５Ｃは、通行人を検出していないと判定した場合（ステップＳ１３でＮｏ）、図３に示す処理手順を終了させる。処理部１５Ｃは、通行人を検出したと判定した場合（ステップＳ１３でＹｅｓ）、処理をステップＳ１４に進める。
【００５１】
処理部１５Ｃは、検出した通行人の視線情報を検出する（ステップＳ１４）。例えば、処理部１５Ｃは、車両Ｖの前方を撮像した画像に基づいて、対象の通行人の視線情報を検出する。処理部１５Ｃは、ステップＳ１４の処理を実行することにより、第２検出部１５Ｃ３として機能する。処理部１５Ｃは、検出した視線情報を記憶部１５Ｂに記憶すると、処理をステップＳ１５に進める。
【００５２】
処理部１５Ｃは、記憶部１５Ｂの視線情報を参照して、通行人の視線情報が車両Ｖに向かっているか否かを判定する（ステップＳ１５）。例えば、処理部１５Ｃは、予め定められた方向に向かう視線情報が少なくとも１つ存在する場合、通行人の視線情報が車両Ｖに向かっていると判定する。処理部１５Ｃは、通行人の視線情報が車両Ｖに向かっていると判定した場合（ステップＳ１５でＹｅｓ）、処理をステップＳ１６に進める。
【００５３】
処理部１５Ｃは、通行人に道を譲る車両Ｖの第１動作を決定する第１処理を実行する（ステップＳ１６）。第１処理は、通行人の視線情報が車両Ｖに向かっている場合に、対象の通行人に対応した処理を決定して実行するための処理である。例えば、第１処理は、対象の通行人に対して道を譲る意思を伝え、当該通行人の反応に応じた車両Ｖの第１動作を実行するための処理である。処理部１５Ｃは、ステップＳ１６の処理を実行することにより、決定部１５Ｃ４として機能する。なお、第１処理の詳細については、後述する。処理部１５Ｃは、第１処理の実行が終了すると、図３に示す処理手順を終了させる。
【００５４】
処理部１５Ｃは、通行人の視線情報が車両Ｖに向かっていないと判定した場合（ステップＳ１５でＮｏ）、処理をステップＳ１７に進める。処理部１５Ｃは、画像に基づいて、通行人が道を譲る行動を行っているか否かを判定する（ステップＳ１７）。例えば、処理部１５Ｃは、対象の通行人の視線が車両に向かっていない場合の通行人を撮像した画像に基づいて、当該通行人の行動を特定する。処理部１５Ｃは、例えば、通行人が道を譲る行動、通行人がお礼を行う行動、通行人が立ち止まらない行動、及び、通行人の重心が前に移動する行動等を特定する。処理部１５Ｃは、通行人が道を譲る行動を特定した場合、通行人が道を譲る行動を行っていると判定する。例えば、処理部１５Ｃは、通行人がお礼を行う行動、通行人が立ち止まらない行動、及び、通行人の重心が前に移動する行動のいずれかの行動を特定した場合、通行人が道を譲る行動を行っていないと判定する。処理部１５Ｃは、ステップＳ１７の処理を実行することにより、第２判定部１５Ｃ８として機能する。処理部１５Ｃは、通行人が道を譲る行動を行っていないと判定した場合（ステップＳ１７でＮｏ）、処理をステップＳ１８に進める。
【００５５】
処理部１５Ｃは、通行人に道を譲る車両Ｖの第２動作を決定する第２処理を実行する（ステップＳ１８）。第２処理は、通行人の視線情報が車両Ｖに向かっていない場合に、対象の通行人に道を譲る処理を決定して実行するための処理である。例えば、第２処理は、車両Ｖを停止させ、当該通行人の行動に応じた車両Ｖの第２動作を実行するための処理である。処理部１５Ｃは、ステップＳ１８の処理を実行することにより、決定部１５Ｃ４として機能する。なお、第２処理の詳細については、後述する。処理部１５Ｃは、第２処理の実行が終了すると、図３に示す処理手順を終了させる。
【００５６】
処理部１５Ｃは、通行人が道を譲る行動を行っていると判定した場合（ステップＳ１７でＹｅｓ）、処理をステップＳ１９に進める。
【００５７】
処理部１５Ｃは、通行人に対する車両Ｖの第３動作を決定する第３処理を実行する（ステップＳ１９）。第３処理は、通行人の視線情報が車両Ｖに向かっていない場合に、対象の通行人の行動に対応した車両Ｖの動作を実行するための処理である。例えば、第３処理は、対象の通行人の視線が車両に向かっていない場合に、通行人の視線情報を再度確認し、対象の通行人の視線情報と行動とに基づいて、車両Ｖの第３動作を実行するための処理である。処理部１５Ｃは、ステップＳ１９の処理を実行することにより、決定部１５Ｃ４として機能する。なお、第３処理の詳細については、後述する。処理部１５Ｃは、第３処理の実行が終了すると、図３に示す処理手順を終了させる。
【００５８】
次に、図４のフローチャート図を参照して、制御装置１５の処理部１５Ｃが実行する第１処理の一例を説明する。図４に示すフローチャート図は、通行人に道を譲る車両Ｖの第１動作を決定する処理手順の一例を示す。図４に示す処理手順は、処理部１５Ｃが図３に示すステップＳ１６の処理を実行することで、処理部１５Ｃによって実行される。処理部１５Ｃは、図４に示す処理手順を終了すると、図３に示す処理手順に復帰する。
【００５９】
処理部１５Ｃは、通行人に道を譲る動作を決定する（ステップＳ１０１）。処理部１５Ｃは、通行人に道を譲ることを示す第１情報を出力する（ステップＳ１０２）。例えば、処理部１５Ｃは、第１情報を外部表示装置１４に表示させる。この結果、車載システム１は、道を譲る表示として、例えば「お先にどうぞ」等の第１情報を通行人に対して表示する。例えば、処理部１５Ｃは、第１情報を音声出力装置から車両Ｖの外部に出力させてもよい。処理部１５Ｃは、ステップＳ１０２の処理を実行することにより、出力制御部１５Ｃ６として機能する。処理部１５Ｃは、第１情報を出力すると、処理をステップＳ１０３に進める。
【００６０】
処理部１５Ｃは、車両Ｖの前方の画像を外部カメラ１２ｄから取得する（ステップＳ１０３）。処理部１５Ｃは、取得した画像に基づいて、通行人が第１情報を理解しているか否かを判定する（ステップＳ１０４）。例えば、処理部１５Ｃは、人工知能技術や深層学習技術を用いた様々な手法によって、対象の通行人の表情、ジェスチャ等を画像から抽出できた場合、通行人が第１情報を理解していると判定する。処理部１５Ｃは、ステップＳ１０４を実行することにより、第１判定部１５Ｃ７として機能する。
【００６１】
処理部１５Ｃは、ステップＳ１０４で対象の通行人が理解していないと判定した場合（ステップＳ１０４でＮｏ）、図４に示す処理手順を終了させる。すなわち、処理部１５Ｃは、対象の通行人が第１情報を理解していない場合、図３に示す処理手順を再度実行し、車両Ｖの動作を決定し直す。
【００６２】
また、処理部１５Ｃは、対象の通行人が第１情報を理解していると判定した場合（ステップＳ１０４でＹｅｓ）、処理をステップＳ１０５に進める。処理部１５Ｃは、車両を停止させる動作に応じた処理を実行する（ステップＳ１０５）。例えば、処理部１５Ｃは、車両Ｖを停止させる制御を行う処理を実行する。処理部１５Ｃは、ステップＳ１０５の処理を実行することにより、走行制御部１５Ｃ５として機能する。処理部１５Ｃは、車両Ｖを停止させると、処理をステップＳ１０６に進める。この結果、対象の通行人は、車両Ｖが停止すると、車両Ｖの前方の横断を開始することができる。
【００６３】
処理部１５Ｃは、車両Ｖの前方の画像を外部カメラ１２ｄから取得する（ステップＳ１０６）。処理部１５Ｃは、取得した画像に基づいて、対象の通行人が横断を終えたか否かを判定する（ステップＳ１０７）。例えば、処理部１５Ｃは、取得した画像に基づいて対象の通行人の位置の変化を検出し、車両Ｖが走行する道路Ｒの一方側から他方側へ移動したことを検出できた場合に、対象の通行人が横断を終えたと判定する。
【００６４】
処理部１５Ｃは、対象の通行人が横断を終えていないと判定した場合（ステップＳ１０７でＮｏ）、処理を既に説明したステップＳ１０６に戻す。すなわち、処理部１５Ｃは、ステップＳ１０６からステップＳ１０７の処理を繰り返すことで、対象の通行人の横断が終わるのを待つ。また、処理部１５Ｃは、対象の通行人が横断を開始しないことを検出した場合は、図４に示す処理手順を終了し、図３に示す処理手順を再度実行してもよい。
【００６５】
処理部１５Ｃは、対象の通行人が横断を終えたと判定した場合（ステップＳ１０７でＹｅｓ）、処理をステップＳ１０８に進める。処理部１５Ｃは、第１情報の出力を終了させる（ステップＳ１０８）。例えば、処理部１５Ｃは、第１情報の出力の停止を外部表示装置１４に要求する。処理部１５Ｃは、第１情報の出力を終了させると、処理をステップＳ１０９に進める。
【００６６】
処理部１５Ｃは、車両Ｖを走行させる動作に応じた処理を実行する（ステップＳ１０９）。例えば、処理部１５Ｃは、停止している車両Ｖを走行させる制御を行う処理を実行する。処理部１５Ｃは、ステップＳ１０９の処理を実行することにより、走行制御部１５Ｃ５として機能する。処理部１５Ｃは、車両Ｖを走行させると、図４に示す処理手順を終了させる。
【００６７】
以上で説明した車載システム１は、車両Ｖの前方の通行人の視線情報が車両Ｖに向かっている場合、当該通行人に道を譲る動作を行う。よって、車載システム１は、通行人の視線情報に基づいて、通行人との意思疎通を図ることで、車両と通行人との意思疎通を改善することができる。例えば、車載システム１は、車両Ｖの前方を横断する可能性がある通行人の視線情報を確認することで、通行人が横断歩道のない道路を横断する場合であっても、安全性を向上させることができる。
【００６８】
車載システム１は、車両Ｖの前方の通行人の視線情報が車両Ｖに向かっている場合、通行人に道を譲ることを示す第１情報を通行人に対して出力する。よって、車載システム１は、通行人に道を譲ることを伝えることで、車両と通行人との意思疎通及び安全性を向上させることができる。
【００６９】
車載システム１は、第１情報を通行人に対して出力した場合、当該通行人が第１情報を理解している場合に、車両Ｖを停止することにしたので、車両Ｖを無闇に停止させることを回避できる。よって、車載システム１は、利便性の低下を抑制して、車両と通行人との意思疎通を改善することができる。さらに、車載システム１は、通行人が第１情報を理解している場合に車両Ｖを停止すると、当該通行人の横断が終了するまで、車両Ｖの停止を維持することができる。
【００７０】
次に、図５のフローチャート図を参照して、制御装置１５の処理部１５Ｃが実行する第２処理の一例を説明する。図５に示すフローチャート図は、通行人に道を譲る車両Ｖの第２動作を決定する処理手順の一例を示す。図５に示す処理手順は、処理部１５Ｃが図３に示すステップＳ１８の処理を実行することで、処理部１５Ｃによって実行される。すなわち、図５に示す処理手順は、視線情報が車両Ｖに向かっていない通行人が道を譲る行動を行っていない場合に実行される。処理部１５Ｃは、図５に示す処理手順を終了すると、図３に示す処理手順に復帰する。
【００７１】
処理部１５Ｃは、通行人が道を譲る行動を行っていないことから、車両Ｖを停止させる動作を決定する（ステップＳ２０１）。処理部１５Ｃは、車両Ｖを停止させる動作に応じた処理を実行する（ステップＳ２０２）。例えば、処理部１５Ｃは、走行している車両Ｖを停止させる制御を行う処理を実行する。処理部１５Ｃは、ステップＳ２０２の処理を実行することにより、走行制御部１５Ｃ５として機能する。処理部１５Ｃは、車両Ｖを停止させると、処理をステップＳ２０３に進める。
【００７２】
処理部１５Ｃは、車両Ｖの前方の画像を外部カメラ１２ｄから取得する（ステップＳ２０３）。処理部１５Ｃは、取得した画像に基づいて、対象の通行人が横断を終えたか否かを判定する（ステップＳ２０４）。処理部１５Ｃは、対象の通行人が横断を終えていないと判定した場合（ステップＳ２０４でＮｏ）、処理を既に説明したステップＳ２０３に戻す。すなわち、処理部１５Ｃは、ステップＳ２０３からステップＳ２０４の処理を繰り返すことで、対象の通行人の横断が終わるのを待つ。
【００７３】
処理部１５Ｃは、対象の通行人が横断を終えたと判定した場合（ステップＳ２０４でＹｅｓ）、処理をステップＳ２０５に進める。処理部１５Ｃは、車両Ｖを走行させる動作に応じた処理を実行する（ステップＳ２０５）。例えば、処理部１５Ｃは、停止している車両Ｖを走行させる制御を行う処理を実行する。処理部１５Ｃは、ステップＳ２０５の処理を実行することにより、走行制御部１５Ｃ５として機能する。処理部１５Ｃは、車両Ｖを走行させると、図５に示す処理手順を終了させる。
【００７４】
以上で説明した車載システム１は、車両Ｖの前方の通行人の視線情報が車両Ｖに向かっていない場合、かつ、通行人が道を譲る行動を行っていない場合、車両Ｖを停止させる動作を行う。よって、車載システム１は、通行人の視線情報と行動とに基づいて、車両Ｖを停止させる動作を決定することで、通行人との意思疎通を改善することができる。
【００７５】
車載システム１は、車両Ｖの前方で対象の通行人の視線情報が車両Ｖに向かっていない場合、車両Ｖを停止するようにしたので、例えば、車両Ｖに気付かずに道路を横断しようとしている通行人等に対する安全性を向上させることができる。
【００７６】
次に、図６のフローチャート図を参照して、制御装置１５の処理部１５Ｃが実行する第３処理の一例を説明する。図６に示すフローチャート図は、通行人に対する車両Ｖの第３動作を決定する処理手順の一例を示す。図６に示す処理手順は、処理部１５Ｃが図３に示すステップＳ１９の処理を実行することで、処理部１５Ｃによって実行される。すなわち、図６に示す処理手順は、通行人が道を譲る行動を行っている場合に実行される。処理部１５Ｃは、図６に示す処理手順を終了すると、図３に示す処理手順に復帰する。
【００７７】
処理部１５Ｃは、車両Ｖの前方の画像を外部カメラ１２ｄから取得する（ステップＳ３０１）。処理部１５Ｃは、取得した画像から対象の通行人の視線情報を検出する（ステップＳ３０２）。例えば、処理部１５Ｃは、車両Ｖの前方を撮像した画像に基づいて、対象の通行人の視線情報を検出する。処理部１５Ｃは、ステップＳ３０２の処理を実行することにより、第２検出部１５Ｃ３として機能する。処理部１５Ｃは、検出した視線情報を記憶部１５Ｂに記憶すると、処理をステップＳ３０３に進める。
【００７８】
処理部１５Ｃは、記憶部１５Ｂの視線情報を参照して、通行人の視線情報が車両Ｖに向かっているか否かを判定する（ステップＳ３０３）。すなわち、処理部１５Ｃは、視線情報が車両Ｖに向かっていないと判定した通行人の視線情報を再度確認する。例えば、通行人は、車両Ｖに視線情報が向かっていない状態から、車両Ｖに視線情報が向かう状態に変化した場合、車両Ｖに気付いて道路を横断しない傾向にある。処理部１５Ｃは、通行人の視線情報が車両Ｖに向かっていると判定した場合（ステップＳ３０３でＹｅｓ）、処理をステップＳ３０４に進める。
【００７９】
処理部１５Ｃは、通行人へのお礼を示す第２情報を出力する（ステップＳ３０４）。例えば、処理部１５Ｃは、第２情報を外部表示装置１４に表示させる。例えば、処理部１５Ｃは、第２情報を音声出力装置から車両Ｖの外部に出力してもよい。処理部１５Ｃは、ステップＳ３０４の処理を実行することにより、出力制御部１５Ｃ６として機能する。処理部１５Ｃは、第２情報を出力すると、処理をステップＳ３０５に進める。
【００８０】
処理部１５Ｃは、車両Ｖの前方の画像を外部カメラ１２ｄから取得する（ステップＳ３０５）。処理部１５Ｃは、取得した画像に基づいて、第２情報の出力を終了するか否かを判定する（ステップＳ３０６）。例えば、処理部１５Ｃは、車両Ｖの前方の画像に基づいて、第２情報を理解した通行人の表情、ジェスチャ等を検出した場合に、第２情報の出力を終了すると判定する。例えば、処理部１５Ｃは、第２情報の表示を開始してから一定時間が経過した場合等に、第２情報の出力を終了すると判定してもよい。処理部１５Ｃは、第２情報の出力を終了しないと判定した場合（ステップＳ３０６でＮｏ）、処理を既に説明したステップＳ３０５に戻す。
【００８１】
処理部１５Ｃは、第２情報の出力を終了すると判定した場合（ステップＳ３０６でＹｅｓ）、処理をステップＳ３０７に進める。処理部１５Ｃは、第２情報の出力を終了させる（ステップＳ３０７）。例えば、処理部１５Ｃは、第２情報の出力の停止を外部表示装置１４に要求する。処理部１５Ｃは、第２情報の出力を終了させると、処理をステップＳ３０８に進める。
【００８２】
処理部１５Ｃは、車両Ｖを走行させる動作に応じた処理を実行する（ステップＳ３０８）。例えば、処理部１５Ｃは、車両Ｖを走行させる、あるいは、車両Ｖの走行を維持する制御を行う処理を実行する。処理部１５Ｃは、ステップＳ３０８の処理を実行することにより、走行制御部１５Ｃ５として機能する。処理部１５Ｃは、車両Ｖを走行させると、図６に示す処理手順を終了させる。
【００８３】
また、処理部１５Ｃは、通行人の視線情報が車両Ｖに向かっていないと判定した場合（ステップＳ３０３でＮｏ）、処理をステップＳ３０９に進める。処理部１５Ｃは、取得した画像に基づいて、通行人が道を横断しない行動であるか否かを判定する（ステップＳ３０９）。例えば、処理部１５Ｃは、通行人が移動していない場合、通行人が道を譲る行動をしている場合等に、通行人が道を横断しない行動であると判定する。
【００８４】
処理部１５Ｃは、通行人が道を横断しない行動であると判定した場合（ステップＳ３０９でＹｅｓ）、処理を既に説明したステップＳ３０８に進める。処理部１５Ｃは、車両Ｖを走行させる動作に応じた処理を実行する（ステップＳ３０８）。処理部１５Ｃは、車両Ｖを走行させると、図６に示す処理手順を終了させる。
【００８５】
処理部１５Ｃは、通行人が道を横断しない行動ではないと判定した場合（ステップＳ３０９でＮｏ）、すなわち、通行人が道を横断する行動である場合、処理をステップＳ３１０に進める。処理部１５Ｃは、車両Ｖを停止させる動作に応じた処理を実行する（ステップＳ３１０）。例えば、処理部１５Ｃは、走行している車両Ｖを停止させる、あるいは、車両Ｖの停止を維持する制御を行う処理を実行する。処理部１５Ｃは、ステップＳ３１０の処理を実行することにより、走行制御部１５Ｃ５として機能する。処理部１５Ｃは、車両Ｖを停止させると、処理をステップＳ３１１に進める。
【００８６】
処理部１５Ｃは、車両Ｖの前方の画像を外部カメラ１２ｄから取得する（ステップＳ３１１）。処理部１５Ｃは、取得した画像に基づいて、対象の通行人が横断を終えたか否かを判定する（ステップＳ３１２）。処理部１５Ｃは、対象の通行人が横断を終えていないと判定した場合（ステップＳ３１２でＮｏ）、処理を既に説明したステップＳ３１１に戻す。すなわち、処理部１５Ｃは、ステップＳ３１１からステップＳ３１２の処理を繰り返すことで、対象の通行人の横断が終わるのを待つ。
【００８７】
処理部１５Ｃは、対象の通行人が横断を終えたと判定した場合（ステップＳ３１２でＹｅｓ）、処理をステップＳ３１３に進める。処理部１５Ｃは、車両Ｖを走行させる動作に応じた処理を実行する（ステップＳ３１３）。例えば、処理部１５Ｃは、停止している車両Ｖを走行させる、あるいは、車両Ｖの走行を維持する制御を行う処理を実行する。処理部１５Ｃは、ステップＳ３１３の処理を実行することにより、走行制御部１５Ｃ５として機能する。処理部１５Ｃは、車両Ｖを走行させると、図６に示す処理手順を終了させる。
【００８８】
以上で説明した車載システム１は、車両Ｖの前方の通行人の視線情報が車両Ｖに向かっていない場合、かつ、通行人が道を譲る行動を行っていない場合、通行人の視線情報および行動に応じた車両Ｖの動作を行う。よって、車載システム１は、通行人の視線情報が車両Ｖに向かっていない場合でも、通行人との意思疎通を図ることで、車両と通行人との意思疎通を改善することができる。
【００８９】
車載システム１は、車両Ｖの前方で対象の通行人の視線情報が車両Ｖに向かっていない場合、通行人が道を譲る行動を行っていると、車両Ｖを走行させる。よって、車載システム１は、視線情報が車両Ｖに向かっていなくても、通行人の視線情報を再度確認して車両Ｖの動作を決定することで、通行人との意思疎通をより一層改善し、事故の発生を抑制することができる。
【００９０】
なお、上述した本発明の実施形態に係る車載システム１は、上述した実施形態に限定されず、特許請求の範囲に記載された範囲で種々の変更が可能である。
【００９１】
上記の本実施形態では、車載システム１は、運転者がいない自動運転システムである場合について説明したが、これに限定されない。例えば、車載システム１は、運転者が運転する車両に搭載されてもよい。その場合、車載システム１は、通行人の視線情報に基づいて決定した車両Ｖの動作を示す情報を表示装置１３に表示してもよい。車載システム１は、通行人が横断する可能性があることを運転者に報知してもよい。この結果、車載システム１は、決定した車両Ｖの動作を運転者に認識させ、安全性を向上させることができる。
【００９２】
上記の車載システム１の第１検出部１５Ｃ２は、公知の人工知能技術や深層学習技術を用いて、車両Ｖの前方を撮像した画像から通行人を検出するものとすることができる。上記の車載システム１の第２検出部１５Ｃ３は、公知の人工知能技術や深層学習技術を用いて、第１検出部１５Ｃ２が検出した通行人の視線情報を画像から検出するものとすることができる。
【００９３】
以上で説明した制御装置１５は、各部が別体に構成され、当該各部が各種の電気信号を相互に授受可能に接続されることで構成されてもよく、一部の機能が他の制御装置によって実現されてもよい。また、以上で説明したプログラム、アプリケーション、各種データ等は、適宜、更新されてもよいし、車載システム１に対して任意のネットワークを介して接続されたサーバに記憶されていてもよい。以上で説明したプログラム、アプリケーション、各種データ等は、例えば、必要に応じてその全部又は一部をダウンロードすることも可能である。また、例えば、制御装置１５が備える処理機能については、その全部又は任意の一部を、例えば、ＣＰＵ等及び当該ＣＰＵ等にて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジック等によるハードウェアとして実現してもよい。
【符号の説明】
【００９４】
１    車載システム
１２    検出装置
１２ａ  車両状態検出部
１２ｂ  通信モジュール
１２ｃ  ＧＰＳ受信器
１２ｄ  外部カメラ
１２ｅ  外部レーダ／ソナー
１３    表示装置
１４    外部表示装置
１５    制御装置
１５０    行動情報
１５Ａ  インターフェース部
１５Ｂ  記憶部
１５Ｃ  処理部
１５Ｃ１    取得部
１５Ｃ２    第１検出部
１５Ｃ３    第２検出部（検出部）
１５Ｃ４    決定部
１５Ｃ５    走行制御部（動作部）
１５Ｃ６    出力制御部（動作部）
１５Ｃ７    第１判定部
１５Ｃ８    第２判定部
Ｖ    車両
【図１】
0006989418.tif 000002
【図２】
0006989418.tif 000003
【図３】
0006989418.tif 000004
【図４】
0006989418.tif 000005
【図５】
0006989418.tif 000006
【図６】
0006989418.tif 000007