(57)【要約】【課題】遠隔操作される車両の乗員への対応を支援する。【解決手段】車載通信装置１２は、遠隔操作される車両９０に関する情報および車両９０の周囲に関する情報を含む走行情報を取得する走行情報取得部１４と、車両９０の室内に関する車室内情報を取得する車室内情報取得部１６と、走行情報と、車室内情報または車室内情報に基づく情報とを車両９０を遠隔操作するための遠隔操作装置５０に送信する送信部２４と、車両９０を遠隔操作するための操作指令情報と、車両９０を遠隔操作する操作者に関する操作者情報とを遠隔操作装置５０から受信する受信部２６と、操作者情報を車両９０の室内に提示させる提示制御部２８と、を備える。【選択図】図１
2020201792.tif 000002
【特許請求の範囲】
【請求項１】
遠隔操作される車両に関する情報および前記車両の周囲に関する情報を含む走行情報を取得する走行情報取得部と、
前記車両の室内に関する車室内情報を取得する車室内情報取得部と、
前記走行情報と、前記車室内情報または前記車室内情報に基づく情報とを前記車両を遠隔操作するための遠隔操作装置に送信する送信部と、
前記車両を遠隔操作するための操作指令情報と、前記車両を遠隔操作する操作者に関する操作者情報とを前記遠隔操作装置から受信する受信部と、
前記操作者情報を前記車両の室内に提示させる提示制御部と、を備えることを特徴とする車載通信装置。
【請求項２】
前記車室内情報に基づいて前記車両の乗員の状態を推測する乗員状態推測部をさらに備え、
前記送信部は、前記車室内情報に基づく情報として、前記推測された前記乗員の状態に関する情報を送信することを特徴とする請求項１に記載の車載通信装置。
【請求項３】
推測された前記乗員の状態に基づいて、前記操作者情報の送信を前記遠隔操作装置に対してリクエストするか否かを判定するリクエスト判定部をさらに備え、
前記送信部は、前記操作者情報の送信をリクエストすると判定された場合、前記遠隔操作装置にリクエスト情報を送信することを特徴とする請求項２に記載の車載通信装置。
【請求項４】
前記乗員状態推測部は、前記乗員の発言内容を解析する音声認識部を含み、
前記リクエスト判定部は、前記音声認識部の解析に基づいて前記操作者情報の送信を前記遠隔操作装置に対してリクエストするか否かを判定することを特徴とする請求項３に記載の車載通信装置。
【請求項５】
前記乗員状態推測部は、さらに前記走行情報に基づいて前記乗員の状態を推測することを特徴とする請求項２から４のいずれか一項に記載の車載通信装置。
【請求項６】
前記送信部は、前記走行情報に基づいて前記遠隔操作装置に送信する情報を選択することを特徴とする請求項１から５のいずれか一項に記載の車載通信装置。
【請求項７】
遠隔操作される車両に搭載される車載通信装置と、
前記車両を遠隔操作するための遠隔操作装置と、を備える車両遠隔操作システムであって、
前記車載通信装置は、
前記車両に関する情報および前記車両の周囲に関する情報を含む走行情報を取得する走行情報取得部と、
前記車両の室内に関する車室内情報を取得する車室内情報取得部と、
前記走行情報と、前記車室内情報または前記車室内情報に基づく情報とを前記遠隔操作装置に送信する車両側送信部と、
前記車両を遠隔操作するための操作指令情報と、前記車両を遠隔操作する操作者に関する操作者情報とを前記遠隔操作装置から受信する車両側受信部と、
前記操作者情報を前記車両の室内に提示させる提示制御部と、を含み、
前記遠隔操作装置は、
前記車室内情報または前記車室内情報に基づく情報を前記車載通信装置から受信する操作側受信部と、
前記車室内情報に基づく情報、および、前記車室内情報に基づいて前記車両の乗員の状態を推測する乗員状態推測部が推測した乗員の状態に関する情報の少なくともいずれかに基づいて前記操作者情報の送信を制御する操作者情報制御部と、
前記操作者情報制御部の制御にしたがって前記操作者情報を前記車載通信装置に送信する操作側送信部と、を含むことを特徴とする車両遠隔操作システム。
【請求項８】
遠隔操作される車両に関する情報および前記車両の周囲に関する情報を含む走行情報を取得するステップと、
前記車両の室内に関する車室内情報を取得するステップと、
前記走行情報と、前記車室内情報または前記車室内情報に基づく情報とを前記車両を遠隔操作するための遠隔操作装置に送信するステップと、
前記車両を遠隔操作するための操作指令情報と、前記車両を遠隔操作する操作者に関する操作者情報とを前記遠隔操作装置から受信するステップと、
前記操作者情報を前記車両の室内に提示するステップと、を備えることを特徴とする通信方法。
【請求項９】
遠隔操作される車両に関する情報および前記車両の周囲に関する情報を含む走行情報を取得する機能と、
前記車両の室内に関する車室内情報を取得する機能と、
前記走行情報と、前記車室内情報または前記車室内情報に基づく情報とを前記車両を遠隔操作するための遠隔操作装置に送信する機能と、
前記車両を遠隔操作するための操作指令情報と、前記車両を遠隔操作する操作者に関する操作者情報とを前記遠隔操作装置から受信する機能と、
前記操作者情報を前記車両の室内に提示する機能と、をコンピュータに実現させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載通信装置、車両遠隔操作システム、通信方法およびプログラムに関する。
【背景技術】
【０００２】
近年、車両の走行を車内の運転者の操作によらずに車外から遠隔操作する技術の開発が進められている。人員を輸送するための車両を遠隔操作する場合、遠隔操作される車両に運転者や乗務員がいないために乗員が不安を覚える可能性が考えられる。乗員の不安を低減するため、遠隔操作する操作者の画像を乗客に表示する技術が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１５８１４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
遠隔操作される車両の乗員に対し、遠隔操作する操作者の画像を単に表示するのではなく、より適切な対応ができることが望ましい。
【０００５】
本発明は、上述の事情に鑑みてなされたものであり、遠隔操作される車両の乗員への対応を支援する技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明のある態様の車載通信装置は、遠隔操作される車両に関する情報および車両の周囲に関する情報を含む走行情報を取得する走行情報取得部と、車両の室内に関する車室内情報を取得する車室内情報取得部と、走行情報と、車室内情報または車室内情報に基づく情報とを車両を遠隔操作するための遠隔操作装置に送信する送信部と、車両を遠隔操作するための操作指令情報と、車両を遠隔操作する操作者に関する操作者情報とを遠隔操作装置から受信する受信部と、操作者情報を車両の室内に提示させる提示制御部と、を備える。
【０００７】
本発明の別の態様は、車両遠隔操作システムである。この車両遠隔操作システムは、遠隔操作される車両に搭載される車載通信装置と、車両を遠隔操作するための遠隔操作装置と、を備える。車載通信装置は、車両に関する情報および車両の周囲に関する情報を含む走行情報を取得する走行情報取得部と、車両の室内に関する車室内情報を取得する車室内情報取得部と、走行情報と、車室内情報または車室内情報に基づく情報とを遠隔操作装置に送信する車両側送信部と、車両を遠隔操作するための操作指令情報と、車両を遠隔操作する操作者に関する操作者情報とを遠隔操作装置から受信する車両側受信部と、操作者情報を車両の室内に提示させる提示制御部と、を含む。遠隔操作装置は、車室内情報または車室内情報に基づく情報を車載通信装置から受信する操作側受信部と、車室内情報に基づく情報、および、車室内情報に基づいて車両の乗員の状態を推測する乗員状態推測部が推測した乗員の状態に関する情報の少なくともいずれかに基づいて操作者情報の送信を制御する操作者情報制御部と、操作者情報制御部の制御にしたがって操作者情報を車載通信装置に送信する操作側送信部と、を含む。
【０００８】
本発明のさらに別の態様は、通信方法である。この方法は、遠隔操作される車両に関する情報および車両の周囲に関する情報を含む走行情報を取得するステップと、車両の室内に関する車室内情報を取得するステップと、走行情報と、車室内情報または車室内情報に基づく情報とを車両を遠隔操作するための遠隔操作装置に送信するステップと、車両を遠隔操作するための操作指令情報と、車両を遠隔操作する操作者に関する操作者情報とを遠隔操作装置から受信するステップと、操作者情報を車両の室内に提示するステップと、を備える。
【０００９】
なお、以上の構成要素の任意の組合せや本発明の構成要素や表現を、方法、装置、システムなどの間で相互に置換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１０】
本発明によれば、遠隔操作される車両の乗員への対応を支援できる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態に係る車両遠隔操作システムの機能構成を示すブロック図である。
【図２】車載通信装置の通信方法の流れを示すフローチャートである。
【図３】別の実施の形態に係る車両遠隔操作システムの機能構成を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について、図面を参照しつつ説明する。かかる実施の形態に示す具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１３】
本実施の形態を詳細に説明する前に概要を述べる。本実施の形態は、遠隔操作される車両に搭載される車載通信装置である。この車載通信装置は、車両を遠隔操作するための遠隔操作装置と通信し、車両の遠隔操作に必要な走行情報を遠隔操作装置に送信し、遠隔操作装置から車両の挙動を制御するための操作指令情報を受信する。車載通信装置は、車両の室内に関する情報を取得して遠隔操作装置に送信し、遠隔操作装置側で車室内の状況や乗員の様子を把握できるようにする。これにより、車室内の状況や乗員の様子に応じて、遠隔操作装置の操作者から車両の乗員に向けて何らかの情報を提示できるようにし、乗員を適切にサポートできるようにする。
【００１４】
図１は、実施の形態に係る車両遠隔操作システム１０の機能構成を模式的に示すブロック図である。車両遠隔操作システム１０は、車両９０に搭載される車載通信装置１２と、車両９０の外部に設けられる遠隔操作装置５０と、を備える。車載通信装置１２は、インターネットなどの車外ネットワーク９２を通じて遠隔操作装置５０と通信する。
【００１５】
図示する各機能ブロックは、ハードウェア的には、コンピュータのＣＰＵやメモリをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックとして描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組み合わせによっていろいろなかたちで実現できることは、当業者には理解されるところである。
【００１６】
車載通信装置１２は、車内ネットワーク４８を介して車両９０に搭載される各種機器と接続される。車内ネットワーク４８には、車載センサ３０、車両制御ＥＣＵ３２、エンジンＥＣＵ３４、ブレーキＥＣＵ３６、ステアリングＥＣＵ３８、車室内センサ４０、車室内入力装置４２、車室内提示装置４４などが接続される。車内ネットワーク４８は、例えばＣＡＮ（Controller Area Network）やイーサネット（登録商標）により構成される。なお、車載通信装置１２は、単一の車内ネットワーク４８を介して各種機器と接続される形態に限られず、車載通信装置１２と各種機器とが個別に有線または無線で接続されてもよい。例えば、車載通信装置１２と車両制御ＥＣＵ３２とがＣＡＮを介して接続され、車載通信装置１２と車室内提示装置４４の一形態である液晶ディスプレイとが有線ケーブルを介して接続されてもよい。車載通信装置１２の機能構成を詳述する前に車載機器について説明する。
【００１７】
車載センサ３０は、車両９０に関する情報や車両９０の周囲に関する情報を含む走行情報を取得するための機器である。車載センサ３０の具体例として、車速センサ、舵角センサ、アクセル操作量センサ、ブレーキ操作量センサ、加速度センサ、ジャイロセンサ、車載カメラ、レーダセンサ、ライダ（ＬｉＤＡＲ；Light Detection and Ranging）、位置情報センサ（例えば、ＧＮＳＳ；Global Navigation Satellite System）などが挙げられるが、これらに限定されるものではない。車載センサ３０は、取得した車両９０に関する情報や車両９０の周囲に関する情報を含む走行情報を走行情報取得部１４に出力する。
【００１８】
車両制御ＥＣＵ３２は、車両９０の挙動を制御するための制御装置であり、車両９０の駆動、制動および操舵のそれぞれを制御するエンジンＥＣＵ３４、ブレーキＥＣＵ３６およびステアリングＥＣＵ３８などの動作を制御する。車両制御ＥＣＵ３２は、遠隔操作装置５０からの操作指令情報にしたがって動作する。これにより、遠隔操作装置５０を扱う操作者の運転操作に沿って車両９０の挙動が制御される。車両制御ＥＣＵ３２は、車両９０の駆動、制動および操舵に関する制御情報を走行情報取得部１４に出力する。
【００１９】
車室内センサ４０は、車両９０の室内に関する情報を取得するための機器であり、車室内空間に関する情報や乗員に関する情報を取得するよう構成される。車室内センサ４０の具体例として、温度センサ、湿度センサ、二酸化炭素濃度センサ、着座センサ、乗員心拍センサ、車室内カメラ、マイクなどが挙げられる。車室内センサ４０は、車両９０の室内全体をモニタするために１箇所に設けられてもよいし、車室内の複数の座席のそれぞれに着座する乗員を個別に検知可能となるよう複数箇所に設けられてもよい。例えば、車室内カメラは、各乗員の顔面を撮像し、各乗員の表情や視線方向などが画像認識技術により検出可能となるよう構成される。
【００２０】
車室内入力装置４２は、車室内の乗員からの入力操作を受け付けるための機器である。車室内入力装置４２は、例えば、ユーザの手で操作するボタンやスイッチで構成されてもよいし、タッチパネルなどで構成されてもよい。ユーザの音声入力を受け付けるように構成されてもよく、例えばマイクを含んでもよい。車室内入力装置４２は、タッチパネルやマイクを備えるユーザ機器または携帯端末であってもよく、車載通信装置１２と有線または無線を介して接続されてもよい。ユーザ機器または携帯端末がインターネットを介して遠隔操作装置５０と接続され、車室内入力装置４２として機能してもよい。
【００２１】
車室内提示装置４４は、車室内に情報を提示するための機器である。車室内提示装置４４は、例えば、液晶ディスプレイやヘッドアップディスプレイなどの表示デバイスであり、車室内で着座する乗員が視認可能となるよう構成される。車室内提示装置４４は、車室内に設けられるスピーカを含んでもよく、音声により情報を提示可能となるよう構成されてもよい。車室内提示装置４４は、液晶ディスプレイやスピーカを備えるユーザ機器または携帯端末であってもよく、車載通信装置１２と有線または無線を介して接続されてもよい。ユーザ機器または携帯端末がインターネットを介して遠隔操作装置５０と接続され、車室内提示装置４４として機能してもよい。
【００２２】
つづいて、車載通信装置１２の機能構成を詳述する。車載通信装置１２は、走行情報取得部１４、車室内情報取得部１６、乗員状態推測部１８、音声認識部２０、リクエスト判定部２２、車両側送信部２４、車両側受信部２６および提示制御部２８を備える。
【００２３】
走行情報取得部１４は、車載センサ３０や車両制御ＥＣＵ３２から車両９０に関する情報および車両９０の周囲に関する情報を含む走行情報を取得する。走行情報取得部１４は、車両９０を遠隔操作するために遠隔操作装置５０に送信すべき情報を取得する。走行情報取得部１４は、車両９０に関する情報として、例えば、自車両の速度、加速度、アクセル操作量、ブレーキ操作量、操舵量、車両姿勢などの情報を取得する。走行情報取得部１４は、車両９０の周囲に関する情報として、車両周囲（例えば車両前方）の撮像画像、車両周囲の物体までの距離情報などを取得する。走行情報取得部１４は、車両周囲の撮像画像および車両周囲の物体までの距離情報から、車両周囲を走行する他車両との車間距離や相対速度などの位置関係を算出する位置関係算出部（不図示）をさらに含んでもよい。走行情報取得部１４は、一時停止や走行規制速度などを示す道路標識、横断歩道、信号、踏切などを認識する標識認識部をさらに含んでもよい。
【００２４】
車室内情報取得部１６は、車室内センサ４０から車両９０の室内に関する車室内情報を取得する。車室内情報取得部１６は、車室内情報として、車室内の気温、湿度、二酸化炭素濃度、各座席の着座状況、乗員の心拍数、車室内の撮像画像、車室内の音声などの情報を取得する。
【００２５】
乗員状態推測部１８は、車室内情報取得部１６が取得する車室内情報に基づいて、車室内の乗員の状態を推測する。乗員状態推測部１８は、車室内情報取得部１６が取得する着座状況を示す情報や車室内の撮像画像などに基づいて、乗員の有無や乗員の人数を推定する。乗員状態推測部１８は、車室内の気温、湿度、二酸化炭素濃度や音圧レベル、乗員の心拍数、乗員の顔面の撮像画像などに基づいて乗員の覚醒度や感情を推定してもよい。乗員状態推測部１８は、車室内の撮像画像から乗員の姿勢や顔の向き、目の開度やまばたきの回数などを判定してもよいし、車室内の音声情報から乗員の会話量や音圧、発話の抑揚などを判定してもよい。これにより、乗員状態推測部１８は、例えば、乗員が寝ている、乗員がくつろいでいる、乗員が会話や読書、音楽、動画視聴などを楽しんでいる、乗員が不安を感じている、乗員が驚いているといった状態を推定してもよい。乗員状態推測部１８は、例えば、車室内の撮像画像から乗員がそわそわしている、視線が落ち着かないなどの乗員の挙動を判定し、不安を感じていると推測してもよい。乗員状態推測部１８は、機械学習などの手法を用いて、車室内の撮像画像から乗員の状態を推測する機械学習部(不図示）を含んでもよい。機械学習部は、学習済みの学習モデルを備え、学習モデルに基づいて乗員の状態を推測してもよい。
【００２６】
乗員状態推測部１８は、走行情報取得部１４が取得する走行情報に基づいて乗員の状態を推定してもよい。乗員状態推測部１８は、走行情報に基づいて乗員が不安を感じやすいと考えられる車両９０の挙動を検知してもよい。乗員状態推測部１８は、例えば、急制動、急加速、急操舵などがなされるときに乗員が不安や驚きを感じていると推定してもよい。その他、車両９０が渋滞に巻き込まれている場合や、予定時間までに目的地に到着できないことが見込まれる場合などに乗客が不安を感じていると推定してもよい。乗員状態推測部１８は、走行情報取得部１４が取得する走行情報と、車室内情報取得部１６が取得する車室内情報とを組み合わせて乗員の状態を推定してもよい。例えば、乗員が寝ている状態で急制動が発生して乗員が覚醒した場合に、乗員が驚いていると推定してもよい。
【００２７】
乗員状態推測部１８は、音声認識部２０を含んでもよい。音声認識部２０は、車室内情報取得部１６が取得する車室内情報に基づいて車室内での発言内容を分析する。音声認識部２０は、車室内での会話が乗員同士で完結する内容であるか、遠隔操作する操作者に向けられている内容であるかを判定する。音声認識部２０は、例えば、操作者に呼びかける内容であったり、車両９０や道路の状態に関する会話内容について乗員同士の会話が続かずに途切れてしまったりする場合に、遠隔操作する操作者に向けられている内容であると判定してもよい。
【００２８】
リクエスト判定部２２は、乗員状態推測部１８により推測される乗員の状態に基づいて、操作者情報の送信を遠隔操作装置５０にリクエストするか否かの要否を判定する。リクエスト判定部２２は、車室内情報取得部１６により取得される車室内情報に基づいて操作者情報の送信要否を判定しているとも言える。ここで「操作者情報」とは、遠隔操作装置５０を操作する操作者に関する情報のことをいい、操作者の画像や音声、操作者からのメッセージ、操作者の年齢、性別、運転特性、操作者に対する評価を示すプロフィール情報などである。リクエスト判定部２２は、車両を操作している操作者に関する情報の送信を、車両の乗員がリクエストしているか否かを判定する。
【００２９】
リクエスト判定部２２は、例えば、乗員状態推測部１８が乗員が不安や驚きを感じていると推定する場合、操作者による乗員のサポートが必要であるとみなし、操作者情報が必要であると判定する。リクエスト判定部２２は、例えば、乗員が寝ていたり、くつろいでいたり、乗員同士での会話などを楽しんでいると乗員状態推測部１８が推定する場合、操作者による乗員のサポートが不要であるとみなし、操作者情報が不要であると判定する。リクエスト判定部２２は、車室内に乗員がいないと乗員状態推測部１８が推定する場合、操作者情報が不要であると判定してもよい。
【００３０】
リクエスト判定部２２は、音声認識部２０の分析に基づいて乗員状態推測部１８が車室内での会話が遠隔操作する操作者に向けられている内容であると判定した場合、操作者情報が必要であると判定してもよい。リクエスト判定部２２は、音声認識部２０の分析に基づいて乗員状態推測部１８が車室内での会話が乗員同士で完結する内容であると判定した場合、操作者情報が不要であると判定してもよい。リクエスト判定部２２は、乗員同士の会話音量に基づいて操作者情報の要否を判定してもよく、会話音量が所定値以上の場合に操作者情報が不要であると判定してもよい。
【００３１】
リクエスト判定部２２は、車室内入力装置４２への入力に基づいて、操作者情報の送信要否を判定してもよい。リクエスト判定部２２は、車室内入力装置４２に対して操作者情報の送信が必要である旨のリクエストが入力された場合、操作者情報の送信が必要であると判定してもよい。リクエスト判定部２２は、車室内入力装置４２に対して操作者情報の送信が不要である旨のリクエストが入力された場合、操作者情報の送信が不要であると判定してもよい。
【００３２】
車両側送信部２４は、遠隔操作装置５０に向けて情報を送信する。車両側送信部２４は、走行情報取得部１４により取得される走行情報を送信する。車両側送信部２４は、車室内情報および車室内情報に基づく情報の少なくともいずれかを送信する。ここで、「車室内情報」とは、車室内情報取得部１６により直接的に取得される情報である。また、「車室内情報に基づく情報」とは、乗員状態推測部１８により推定される乗員の状態に関する情報、音声認識部２０により分析される会話の内容に関する情報、または、リクエスト判定部２２により判定される操作者情報の要否に関する情報である。
【００３３】
車両側送信部２４は、操作者情報の送信が必要であると判定された場合、遠隔操作装置５０に対して操作者情報を送信するようリクエストするためのリクエスト情報を送信する。車両側送信部２４は、操作者情報が不要である場合、操作者情報のリクエスト情報を送信しないようにする。車両側送信部２４は、操作者情報が不要である場合、操作者情報が不要である旨のリクエスト情報を送信してもよい。
【００３４】
車両側送信部２４は、車室内情報および車室内情報に基づく情報のうち一部の情報のみを送信してもよい。車両側送信部２４は、例えば、車室内や乗員を撮像した画像データを遠隔操作装置５０に向けて送信してもよいが、画像データのようなサイズの大きな情報を送信しないようにし、その他のサイズの小さい車室内情報または車室内情報に基づく情報、例えば、車室内音声データや、乗員の目の開度のみを送信してもよい。
【００３５】
車両側送信部２４は、走行情報取得部１４が取得した車両９０の走行情報に応じて送信すべき情報を選択してもよい。例えば、車両９０が走行中であり、走行情報を優先して送信すべき状態である場合には、車室内情報または車室内情報に基づく情報の少なくとも一部を送信しないようにし、通信の競合を抑制することで、走行情報がより確実に送信できるようにしてもよい。一方、車両９０が停車中であり、走行情報の送信が必須ではない状態である場合には、車室内情報および車室内情報に基づく情報の双方を送信するようにし、操作者が車室内の状況をより詳細に把握できるようにしてもよい。車両側送信部２４は、遠隔操作装置５０が車両９０に向けてアクセル、ブレーキ、ハンドルなどの車両９０の操作に関する操作指令情報を送信中である場合、遠隔操作装置５０に対して走行情報を優先して送信し、車室内情報または車室内情報に基づく情報の少なくとも一部を遠隔操作装置５０に送信しないようにしてもよい。このようにすることで、車両９０が遠隔操作した通りの挙動を示しているか否かを操作者が確実に把握することができる。なお、車両側送信部２４は、車両９０が走行中であるか停車中であるかに拘わらず、操作者情報の要否に関する情報を少なくとも送信するよう構成されてもよい。
【００３６】
車両側受信部２６は、遠隔操作装置５０から情報を受信する。車両側受信部２６は、車両９０を遠隔操作するための操作指令情報を受信する。操作指令情報は、例えば、アクセル、ブレーキ、ハンドルなどの操作態様を指定する情報を含む。操作指令情報は、ハザードランプ、クラクション、ウィンカーなどのオンオフを指定する情報を含んでもよい。受信した操作指令情報は、車両制御ＥＣＵ３２に送信され、操作指令情報に沿って車両９０の挙動が制御される。車両側受信部２６は、遠隔操作装置５０から車両９０を遠隔操作する操作者に関する操作者情報を受信する。
【００３７】
提示制御部２８は、車両側受信部２６が受信した操作者情報を車室内提示装置４４を通じて車両９０の室内に提示させる。提示制御部２８は、車両側受信部２６が操作者に関する画像や文字情報を受信した場合、受信した画像や文字情報を車室内提示装置４４としてのディスプレイに表示させる。提示制御部２８は、車両側受信部２６が操作者に関する音声情報を受信した場合、受信した音声を車室内提示装置４４としてのスピーカに再生させる。
【００３８】
つづいて、遠隔操作装置５０の機能構成を詳述する。遠隔操作装置５０は、操作側受信部５２、操作側送信部５４、遠隔操作制御部５６、操作者情報制御部５８、操作用表示部６０、操作用入力部６２および操作者情報取得部６４を備える。遠隔操作装置５０は、車室内情報提示部６６を備えてもよい。
【００３９】
操作側受信部５２は、車載通信装置１２から情報を受信する。操作側受信部５２は、車両９０の走行情報と、車両９０の車室内情報または車室内情報に基づく情報とを受信する。操作側送信部５４は、車載通信装置１２に情報を送信する。操作側送信部５４は、車両９０を遠隔操作するための操作指令情報と、車両９０を遠隔操作する操作者に関する操作者情報とを送信する。
【００４０】
遠隔操作制御部５６は、車両９０の遠隔操作に必要な走行情報を操作用表示部６０に表示させる。遠隔操作制御部５６は、操作側受信部５２が受信する走行情報に基づいて、走行情報取得部１４が取得した車両９０の周囲の撮像画像や車両９０の周囲を走行する他車両との車間距離、車両９０の速度などを操作用表示部６０に表示させる。遠隔操作制御部５６は、操作者による操作用入力部６２への入力操作に基づいて操作指令情報を生成し、生成した操作指令情報を操作側送信部５４に送信させる。
【００４１】
操作者情報制御部５８は、操作側受信部５２が受信する操作者情報の要否に関する情報に基づいて、操作側送信部５４による操作者情報の送信を制御する。操作者情報制御部５８は、操作者情報が必要である旨のリクエスト情報を操作側受信部５２が受信した場合、操作者情報取得部６４により取得される操作者情報を操作側送信部５４に送信させる。一方、操作側受信部５２がリクエスト情報を受信していない場合や、操作者情報が不要である旨のリクエスト情報を受信した場合、操作者情報取得部６４により取得される操作者情報を操作側送信部５４に送信させないようにする。操作者情報制御部５８は、操作側受信部５２が受信する車室内情報または車室内情報に基づく情報を車室内情報提示部６６に提示させてもよい。
【００４２】
操作用表示部６０は、車両９０を遠隔操作する操作者のためのディスプレイであり、例えば、車両９０の運転席から見える視野を模擬するように構成される。操作用入力部６２は、車両９０を遠隔操作するための運転操作をするための装置であり、例えば、運転席に設けられるハンドル、アクセル、ブレーキ、シフトレバーなどを模擬するように構成される。操作用入力部６２は、車両９０の前照灯、クラクション、ウィンカー、ハザードランプ、ワイパー、ドア開閉、窓開閉、エアコン、オーディオなどを操作できるように構成されてもよい。
【００４３】
操作者情報取得部６４は、操作者に関する操作者情報を取得するための各種機器であり、例えば、操作者を撮像するためのカメラと、操作者の音声を取得するためのマイクとを含む。操作者情報取得部６４は、操作者の年齢、性別、運転特性、操作者に対する評価といったプロフィール情報を取得してもよく、例えば、プロフィール情報が記憶されるデータベース（不図示）などからプロフィール情報を取得してもよい。操作者の運転特性として、例えば、急ブレーキが多い、車間距離が短い傾向がある、赤信号に変化するタイミングで停車しない傾向があるといった情報が記憶される。また、操作者に対する乗客からの評価として、運転技能の高さや、乗員に対する話し方や態度の良し悪しといった点が評価され、操作者情報として記憶される。
【００４４】
車室内情報提示部６６は、操作側受信部５２が受信する車室内情報または車室内情報に基づく情報を操作者に提示する。車室内情報提示部６６は、ディスプレイやスピーカを含み、車室内情報または車室内情報に基づく情報を操作者に視覚的または聴覚的に提示する。車室内情報提示部６６は、例えば、車両９０の室内の映像を表示したり、車両９０の室内の音声を出力したり、車両９０の温度、湿度、二酸化炭素濃度などを表示したりする。車室内情報提示部６６は、車両９０の乗員の状態を提示してもよいし、操作者情報の要否を提示してもよい。
【００４５】
つづいて、車両遠隔操作システム１０の動作について説明する。車載通信装置１２は、車両９０の走行情報を取得し、取得した走行情報を遠隔操作装置５０に送信する。遠隔操作装置５０は、車載通信装置１２から走行情報、たとえば車両９０の周囲画像を受信して操作用表示部６０に表示させ、操作用入力部６２を通じて操作者が遠隔操作できるようにする。遠隔操作装置５０は、操作用入力部６２の操作、たとえばハンドル操作に基づいて、操作指令情報を生成し、例えばハンドルを右に１０度回転させるなどの操作指令情報を車載通信装置１２に送信する。車載通信装置１２は、受信した操作指令情報を車両制御ＥＣＵ３２に送信し、操作指令情報に基づく車両９０の走行が実現されるようにする。
【００４６】
車載通信装置１２は、さらに車両９０の車室内情報を取得する。車載通信装置１２は、取得した車室内情報に基づいて、乗員の状態を推定したり、乗員の会話内容を分析したりすることで、操作者情報の要否を判定する。車載通信装置１２は、取得した車室内情報、推定した乗員の状態に関する情報、操作者情報の要否に関する情報を遠隔操作装置５０に送信する。遠隔操作装置５０は、受信した操作者情報の要否に基づいて、車載通信装置１２への操作者情報の送信を制御する。遠隔操作装置５０は、操作者情報が必要であれば、操作者情報を車載通信装置１２に送信し、操作者情報が不要であれば、操作者情報を車載通信装置１２に送信しないようにする。遠隔操作装置５０は、受信した車室内情報や乗員の状態に関する情報を操作者に提示することで、車室内の状況に応じて操作者が車両９０の乗員を適切にサポートできるようにする。
【００４７】
本実施の形態によれば、車室内の状況に応じて操作者情報の要否が判定され、その判定結果に基づいて操作者情報の送信が制御されるため、操作者のサポートが必要と考えられる状況下において乗員を適切にサポートできる。例えば、乗員が寝ている状態や乗員が会話や動画視聴などを楽しんでいる状態において、操作者情報を提示してしまうことで乗員の睡眠や会話を妨げてしまうことを防ぐことができる。一方、乗員が運転操作に対して不安を感じていたり、経路説明や観光案内といった操作者のサポートを必要としていたりする場合に操作者情報を提示することで、乗員のニーズに応えることができる。これにより、遠隔操作される車両を利用する乗員の利便性を向上させることができる。
【００４８】
本実施の形態によれば、車室内の状況に応じて操作者情報の要否が判定されるため、操作者が車室内の画像や音声を逐次確認し、操作者が声をかけるべきか否かを判断するための労力を軽減できる。これにより、操作者が運転操作に集中しやすい環境を作ることができ、操作者の利便性を向上させることができる。
【００４９】
本実施の形態によれば、操作者のプロフィール情報を提示することで、プロフィール情報が提示されないために操作者がどのような人物か分からない場合と比べて、乗員の不安を軽減することができる。また、急加速や急制動が多い傾向にあるものの目的地により早く到着できる技能を操作者が有する場合に、急加速などで乗員が不安や驚きを感じたときにプロフィール情報を提示することで、何ら情報が提示されない場合と比べて、乗員の不安や不満を軽減することができる。
【００５０】
本実施の形態によれば、車室内情報または車室内情報に基づく情報の一部を遠隔操作装置５０に送信しないようにすることで、車載通信装置１２から遠隔操作装置５０に送信されるデータ量を小さくし、通信トラフィックの増大を抑制するとともに、通信に要する通信時間を短縮できる。例えば、車室内や乗員を撮像する画像データなどの比較的サイズの大きいデータを遠隔操作装置５０に送信しないようにし、車載通信装置１２にて乗員状態を推定したり、操作者情報の要否を判定したりするエッジ処理（特徴抽出処理）をすることで、推定された乗員の状態や操作者情報の要否に関する情報といったサイズの小さいデータに変換して送信できる。これにより、遠隔操作に不可欠な走行情報および操作指令情報の通信をより確実にしつつ、車室内の状況を操作者に通知できる。
【００５１】
本実施の形態によれば、乗員の状態や操作者情報の要否に関する情報が操作者に通知されるため、乗員のサポートが必要となるタイミングで、操作者は車両９０を遠隔操作により安全に停車させることができる。また、車両９０の停車後においては、走行情報や操作指令情報の通信が不要となるため、車室内を撮像した画像データや操作者を撮像した画像データといったサイズの大きなデータを通信しやすい状況となる。これにより、停車した状態において操作者と乗員が互いの画像を見ながら会話することができ、乗員に対してきめ細やかな対応が可能となる。
【００５２】
図２は、車載通信装置１２の通信方法の流れを示すフローチャートである。走行情報取得部１４は、走行情報を取得し（Ｓ１０）、車室内情報取得部１６は、車室内情報を取得する（Ｓ１２）。リクエスト判定部２２は、車室内情報に基づいて操作者情報の要否を判定する（Ｓ１４）。操作者情報が必要と判定された場合（Ｓ１６のＹ）、車両側送信部２４は、走行情報を送信するとともに、操作者情報のリクエスト情報を送信する（Ｓ１８）。車両側受信部２６は、操作指令情報と操作者情報を受信し（Ｓ２０）、提示制御部２８は、受信した操作者情報を車室内に提示させる（Ｓ２２）。一方、操作者情報が不要と判定された場合（Ｓ１６のＮ）、車両側送信部２４は、走行情報を送信する一方で、操作者情報のリクエスト情報を送信しないようにする（Ｓ２４）。車両側受信部２６は、操作指令情報を受信する（Ｓ２６）。
【００５３】
図３は、別の実施の形態に係る車両遠隔操作システム１１０の機能構成を示すブロック図である。車両遠隔操作システム１１０は、車載通信装置１１２と、遠隔操作装置１５０とを備える。本実施の形態では、車載通信装置１１２に乗員状態推測部１８、音声認識部２０およびリクエスト判定部２２が設けられず、代わりに遠隔操作装置１５０に乗員状態推測部１７０およびリクエスト判定部１７２が設けられる。本実施の形態について、上述の実施の形態との相違点を中心に説明する。
【００５４】
車載通信装置１１２は、走行情報取得部１４、車室内情報取得部１６、車両側送信部１２４、車両側受信部２６および提示制御部２８を含む。走行情報取得部１４、車室内情報取得部１６、車両側受信部２６および提示制御部２８は、上述の実施の形態と同様に構成される。車両側送信部１２４は、走行情報取得部１４が取得する走行情報と、車室内情報取得部１６が取得する車室内情報とを遠隔操作装置１５０に常時送信するよう構成される。車両側送信部１２４は、車室内の状況や乗員の状態に拘わらず、車室内情報を遠隔操作装置１５０に送信する。
【００５５】
遠隔操作装置１５０は、操作側受信部５２、操作側送信部５４、遠隔操作制御部５６、操作者情報制御部１５８、操作用表示部６０、操作用入力部６２、操作者情報取得部６４および車室内情報提示部６６を含む。遠隔操作装置１５０は、操作者情報制御部１５８を除いて、上述の実施の形態と同様に構成される。操作者情報制御部１５８は、乗員状態推測部１７０と、リクエスト判定部１７２とを有する。
【００５６】
乗員状態推測部１７０は、操作側受信部５２が受信する車室内情報に基づいて車両９０の乗員の状態を推測する。乗員状態推測部１７０は、操作側受信部５２が受信する走行情報に基づいて車両９０の乗員の状態を推測してもよく、走行情報と車室内情報の双方に基づいて車両９０の状態を推測してもよい。乗員状態推測部１７０は、例えば、上述の実施の形態に係る乗員状態推測部１８と同様に構成されることができる。
【００５７】
リクエスト判定部１７２は、操作側受信部５２が受信する車室内情報や乗員状態推測部１７０が推測する乗員の状態に基づいて、操作者情報の要否を判定する。リクエスト判定部１７２は、例えば、上述の実施の形態に係るリクエスト判定部２２と同様に構成されることができる。
【００５８】
操作者情報制御部１５８は、リクエスト判定部１７２の判定結果に基づいて、操作側送信部５４に操作者情報を送信させる。操作者情報制御部１５８は、リクエスト判定部１７２により操作者情報が必要であると判定される場合、操作側送信部５４に操作者情報を送信させる。一方、リクエスト判定部１７２により操作者情報が不要であると判定される場合、操作側送信部５４に操作者情報を送信させないようにする。
【００５９】
本実施の形態においても、車室内の状況や乗員の状態に応じて操作者情報の要否が判定され、その判定結果に基づいて操作者情報の送信が制御されるため、操作者のサポートが必要と考えられる状況下において乗員を適切にサポートできる。
【００６０】
本実施の形態の変形例として、乗員状態推測部１８が車載通信装置１２に設けられ、リクエスト判定部１７２が遠隔操作装置５０に設けられてもよい。また、乗員状態推測部やリクエスト判定部の一部が車載通信装置１２に設けられ、乗員状態推測部やリクエスト判定部の残りが遠隔操作装置５０に設けられてもよい。この場合、車載通信装置１２の車両側送信部２４は、車室内情報取得部１６が取得した車室内情報と、車室内情報に基づく情報として乗員状態推測部１８が推測した乗員の状態に関する情報との少なくともいずれかを含む情報を遠隔操作装置５０に向けて送信する。
【００６１】
以上、本発明を上述の実施の形態を参照して説明したが、本発明は上述の実施の形態に限定されるものではなく、各表示例に示す構成を適宜組み合わせたものや置換したものについても本発明に含まれるものである。
【符号の説明】
【００６２】
１０…車両遠隔操作システム、１２…車載通信装置、１４…走行情報取得部、１６…車室内情報取得部、１８…乗員状態推測部、２０…音声認識部、２２…リクエスト判定部、２４…車両側送信部、２６…車両側受信部、２８…提示制御部、５０…遠隔操作装置、５２…操作側受信部、５４…操作側送信部、５８…操作者情報制御部、９０…車両。
【図１】
2020201792.tif 000003
【図２】
2020201792.tif 000004
【図３】
2020201792.tif 000005