(57)【要約】車両等において取得された重要度の高いセンサ情報の品質を高く維持して、重要度の高いデータを遠隔装置等へ送信することができる通信装置を提供すること。本開示にかかる通信装置（１０）は、移動体を基点に、互いに異なる方向の状態を検出可能に移動体に設置された２以上のセンサを用いて検出されたセンサ情報を送信する通信部（１１）と、移動体の移動状態を認識する移動状態認識部（１２）と、移動体の周辺状態を認識する周辺状態認識部（１３）と、移動状態及び周辺状態に基づいてそれぞれのセンサの優先度を決定し、優先度の高いセンサにおいて検出されたセンサ情報を優先度の低いセンサにおいて検出されたセンサ情報よりも高品質に送信できるように通信制御を行う通信制御部（１４）と、を備える。
2020090285.tif 000002
【特許請求の範囲】
【請求項１】
移動体を基点に、互いに異なる方向の状態を検出可能に前記移動体に設置された２以上のセンサを用いて検出されたセンサ情報を送信する通信手段と、
前記移動体の移動状態を認識する移動状態認識手段と、
前記移動体の周辺状態を認識する周辺状態認識手段と、
前記移動状態及び前記周辺状態に基づいてそれぞれのセンサの優先度を決定し、優先度の高いセンサにおいて検出されたセンサ情報を優先度の低いセンサにおいて検出されたセンサ情報よりも高品質に送信できるように通信制御を行う通信制御手段と、を備える通信装置。
【請求項２】
前記センサ情報は、
前記移動体を基点に、互いに異なる方向を撮影可能に前記移動体に設置された２以上のカメラにおいて撮影された映像データであり、
前記通信制御手段は、
それぞれのカメラの優先度を決定し、優先度の高いカメラにおいて撮影された映像を優先度の低いカメラにおいて撮影された映像よりも高品質に送信できるように通信制御を行う、請求項１に記載の通信装置。
【請求項３】
前記周辺状態認識手段は、
それぞれの前記カメラにおいて撮影された映像データを用いて前記周辺状態を認識する、請求項２に記載の通信装置。
【請求項４】
前記周辺状態認識手段は、
それぞれの前記カメラにおいて撮影された映像データのトラヒック特性を用いて前記周辺状態を認識する、請求項３に記載の通信装置。
【請求項５】
前記周辺状態認識手段は
それぞれの前記カメラにおいて撮影された映像データの画像内容を解析して前記周辺状態を認識する、請求項３に記載の通信装置。
【請求項６】
前記周辺状態認識手段は、
前記移動体に設置されたミリ波レーダ、赤外線センサ、超音波ソナー、及びＬｉＤＡＲの少なくとも１つに基づいて前記周辺状態を認識する、請求項２に記載の通信装置。
【請求項７】
前記移動状態認識手段は、
前記移動体内に搭載されたネットワークを介して取得することができる前記移動体に搭載された機器の機器情報を用いて前記移動状態を認識する、請求項１乃至６のいずれか１項に記載の通信装置。
【請求項８】
前記移動状態は、
前記移動体の走行を制御するソフトウェアから取得できる走行制御情報を用いて前記移動状態を認識する、請求項１乃至６のいずれか１項に記載の通信装置。
【請求項９】
前記移動状態認識手段は、
所定期間経過後の前記移動体の移動状態を予測し、
前記周辺状態認識手段は、
所定期間経過後の前記移動体の周辺状態を予測し、
前記通信制御手段は、
現在の移動状態もしくは所定期間経過後の移動状態と、現在の周辺状態もしくは所定期間経過後の周辺状態と、に基づいてそれぞれのセンサの優先度を決定する、請求項１乃至８のいずれか１項に記載の通信装置。
【請求項１０】
前記周辺状態認識手段は、
前記移動体の現在位置、前記移動体の進行方向、及び地図情報を用いて所定期間経過後の前記移動体の周辺状態を予測する、請求項９に記載の通信装置。
【請求項１１】
前記移動状態認識手段は、
前記移動体に搭載された機器の機器情報または前記移動体の走行を制御するソフトウェアから取得できる走行制御情報を用いて所定期間経過後の前記移動体の移動状態を予測する、請求項９又は１０に記載の通信装置。
【請求項１２】
前記センサ情報を送信する際に用いる通信回線において使用することができる可用帯域を算出する帯域算出手段をさらに備え、
前記通信制御手段は、
算出された可用帯域のうち、優先度の高いセンサにおいて検出されたセンサ情報に対して、優先度の低いセンサにおいて検出されたセンサ情報に対して割り当てる通信帯域よりも多くの通信帯域を割り当てる、請求項１乃至１１のいずれか１項に記載の通信装置。
【請求項１３】
前記通信手段は、
複数の前記移動体からセンサ情報を受信し、複数の前記センサ情報の相互関係に基づいて、同一移動体に搭載された少なくとも１以上のセンサを特定する移動体認識手段をさらに備える、請求項１乃至１２のいずれか１項に記載の通信装置。
【請求項１４】
移動体の移動状態を認識し、
前記移動体の周辺状態を認識し、
前記移動状態及び前記周辺状態に基づいて、前記移動体を基点に、互いに異なる方向の状態を検出可能に前記移動体に設置された２以上のセンサのそれぞれのセンサの優先度を決定し、
優先度の高いセンサにおいて検出されたセンサ情報を優先度の低いセンサにおいて検出されたセンサ情報よりも高品質に送信できるように通信制御を行い、
前記センサ情報を送信する、通信制御方法。
【請求項１５】
移動体の移動状態を認識し、
前記移動体の周辺状態を認識し、
前記移動状態及び前記周辺状態に基づいて、前記移動体を基点に、互いに異なる方向の状態を検出可能に前記移動体に設置された２以上のセンサのそれぞれのセンサの優先度を決定し、
優先度の高いセンサにおいて検出されたセンサ情報を優先度の低いセンサにおいて検出されたセンサ情報よりも高品質に送信できるように通信制御を行い、
前記センサ情報を送信する、ことをコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、通信装置、通信制御方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、自動運転車の技術開発が進み、公道における自動運転車の走行実験が進められている。自動運転車には通常、歩行者の有無、もしくは他車両の有無等の周辺状態を認識するための各種センサが搭載されている。各種センサは、例えば、カメラもしくはレーダ等である。各種センサにおいて検出された情報は、運転制御に利用される。【０００３】
特許文献１には、自動運転制御装置が、自動運転車両周辺においてオブジェクトを検出した場合に、オブジェクトに関するメタ情報（オブジェクトコード、オブジェクトのサイズ情報、オブジェクトの位置情報など）を遠隔制御装置へ送信することが記載されている。自動運転制御装置は、複数のオブジェクトが検出された場合、重要度の高いオブジェクトに関するメタ情報から順番に遠隔制御装置へ送信する。自動運転車両に近いオブジェクトほど重要度が高くなる。【０００４】
また、特許文献２には、車両に搭載された車載カメラにおいて撮影された画像をサーバが収集するシステム、が記載されている。車両に搭載された車載カメラは、特定の対象物を撮影するためにサーバから指示された撮影地点及び撮影方向等に基づいて、動画撮影を開始する。車載カメラにおいて動画撮影が開始される際に、複数の車載カメラの映像ビットレートが決定される。それぞれの車載カメラに割り当てられる映像ビットレートは、車両の位置もしくは進行方向等を考慮して決定される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１８−１４２９２１号公報
【特許文献２】特開２０１６−１３４８１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１においては、複数のオブジェクトが検出された場合に、自動運転制御装置は、重要度の高いオブジェクトを判断し、重要度の高いオブジェクトのメタ情報から順番に送信することができる。特許文献１に開示された方法では、オブジェクト単位の重要度を判断することは可能であるが、車載カメラなどセンサ単位の重要度は判断することができない。そのため、メタ情報ではなく映像データ等のセンサ情報そのものを送信する際、どのセンサ情報を優先的に送信すべきかの判断ができない。【０００７】
特許文献２に開示された方法は、特定の対象物を撮影することを目的に、特定の対象物と車載カメラとの位置関係をもとに、車載カメラの映像ビットレートを制御する。そのため、自動運転車の遠隔監視のように、撮影すべき対象物が事前に特定あるいは指定困難な場合においては、どの車載カメラの映像データを優先して送信すべきかの判断ができない。【０００８】
本開示の目的は、車両等の移動体において取得されたセンサ情報を、センサの重要度に基づいて遠隔装置等へ送信することができる通信装置、通信制御方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
本開示の第１の態様にかかる通信装置は、移動体を基点に、互いに異なる方向の状態を検出可能に前記移動体に設置された２以上のセンサを用いて検出されたセンサ情報を送信する通信部と、前記移動体の移動状態を認識する移動状態認識部と、前記移動体の周辺状態を認識する周辺状態認識部と、前記移動状態及び前記周辺状態に基づいてそれぞれのセンサの優先度を決定し、優先度の高いセンサにおいて検出されたセンサ情報を優先度の低いセンサにおいて検出されたセンサ情報よりも高品質に送信できるように通信制御を行う通信制御部と、を備える。【００１０】
本開示の第２の態様にかかる通信制御方法は、移動体の移動状態を認識し、前記移動体の周辺状態を認識し、前記移動状態及び前記周辺状態に基づいて、前記移動体を基点に、互いに異なる方向の状態を検出可能に前記移動体に設置された２以上のセンサのそれぞれのセンサの優先度を決定し、優先度の高いセンサにおいて検出されたセンサ情報を優先度の低いセンサにおいて検出されたセンサ情報よりも高品質に送信できるように通信制御を行い、前記センサ情報を送信する。【００１１】
本開示の第３の態様にかかるプログラムは、移動体の移動状態を認識し、前記移動体の周辺状態を認識し、前記移動状態及び前記周辺状態に基づいて、前記移動体を基点に、互いに異なる方向の状態を検出可能に前記移動体に設置された２以上のセンサのそれぞれのセンサの優先度を決定し、優先度の高いセンサにおいて検出されたセンサ情報を優先度の低いセンサにおいて検出されたセンサ情報よりも高品質に送信できるように通信制御を行い、前記センサ情報を送信する、ことをコンピュータに実行させる。
【発明の効果】
【００１２】
本発明により車両等の移動体において取得されたセンサ情報を、センサの重要度に基づいて遠隔装置等へ送信することができる通信装置、通信制御方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】実施の形態１にかかる通信装置の構成図である。
【図２】実施の形態２にかかる通信システムの構成図である。
【図３】実施の形態２にかかる通信制御部が決定する優先度を示す図である。
【図４】実施の形態２にかかる通信装置における通信制御処理の流れを示す図である。
【図５】実施の形態３にかかる通信装置の構成図である。
【図６】実施の形態４にかかる通信制御部が決定する優先度を示す図である。
【図７】実施の形態４にかかる通信制御部が決定する優先度を示す図である。
【図８】実施の形態４にかかる通信制御部が決定する優先度を示す図である。
【図９】実施の形態５にかかる通信装置の構成図である。
【図１０】実施の形態６にかかる通信システムの構成図である。
【図１１】それぞれの実施の形態にかかる通信装置の構成図である。
【発明を実施するための形態】
【００１４】
（実施の形態１）
以下、図面を参照して本発明の実施の形態について説明する。図１を用いて実施の形態１にかかる通信装置１０の構成例について説明する。通信装置１０は、メモリに格納されたプログラムをプロセッサが実行することによって動作するコンピュータ装置であってもよい。また、通信装置１０は、移動体に設置されてもよい。移動体は、自動車、電車、建設機械、無人搬送車（ＡＧＶ：Ａｕｔｏｍａｔｅｄ  Ｇｕｉｄｅｄ  Ｖｅｈｉｃｌｅ）等を含む車両、有人飛行機、無人飛行機（ＵＡＶ：Ｕｎｍａｎｎｅｄ  Ａｅｒｉａｌ  Ｖｅｈｉｃｌｅ）、船舶等の移動手段であってもよい。
【００１５】
通信装置１０は、通信部１１、移動状態認識部１２、周辺状態認識部１３、及び通信制御部１４を有している。通信部１１、移動状態認識部１２、周辺状態認識部１３、及び通信制御部１４等の通信装置１０の構成要素は、メモリに格納されたプログラムをプロセッサが実行することによって処理が実行されるソフトウェアもしくはモジュールであってもよい。または、通信装置１０の構成要素は、回路もしくはチップ等のハードウェアであってもよい。
【００１６】
通信部１１は、移動体に設置された２以上のセンサにより得られたセンサ情報を、ネットワークを介してサーバ装置等へ送信する。２以上のセンサは、移動体を基点にして互いに異なる方向の状態を検出可能なように移動体に設置される。異なる方向とは、例えば、移動体の前方、後方、右方向、左方向であってもよい。状態の検出とは、例えば、移動体のそれぞれの方向において、人の検出、障害物の検出、他の移動体の検出、もしくは、交通標識等の検出であってもよい。
【００１７】
センサの種類には、カメラ、ミリ波レーダ、赤外線センサ、超音波ソナー、もしくはＬｉＤＡＲ（Light Detection and Ranging）等がある。上述の２以上のセンサは、すべて同一種類のセンサであってもよいし、互いに異なる種類のセンサであってもよい。
【００１８】
移動体には、２以上のセンサが設置されている。２以上のセンサは、前方及び後方、さらに、右方向及び左方向、等の、異なる方向の状態の変化を検出可能に設置される。例えば、移動体の前方に設置されたセンサは、前方の状態の変化を検出し、移動体の後方に設置されたセンサは、後方の状態の変化を検出してもよい。もしくは、移動体の特定の箇所に、複数のセンサを設置する場合、それぞれのセンサが異なる検出領域を有するように設置されてもよい。検出領域は、例えば、感知領域と称されてもよい。
【００１９】
通信部１１は、無線通信回線を介してセンサ情報をサーバ装置へ送信してもよい。無線通信回線は、例えば、３ＧＰＰ（3rd Generation Partnership Project）等において仕様が規定された、３Ｇ、４ＧまたはＬＴＥ（Long Term Evolution）、５Ｇ等のモバイルネットワークであってもよく、無線ＬＡＮ（Local Area Network）であってもよい。もしくは、通信部１１は、有線通信回線を介してセンサ情報をサーバ装置へ送信してもよい。
【００２０】
サーバ装置は、メモリに格納されたプログラムをプロセッサが実行することによって動作するコンピュータ装置であってもよい。サーバ装置は、例えば、通信装置１０から受信したセンサ情報を用いて、移動体を遠隔監視してもよい。
【００２１】
移動状態認識部１２は、移動体の移動状態を認識する。移動状態は、移動体の移動方向を示す情報であってもよい。例えば、移動状態は、移動体が、前方もしくは後方に進んでいるかを示す情報であってもよい。または、移動状態は、移動体が右折して右方向に進んでいるかもしくは左折して左方向に進んでいるかを示す情報であってもよい。または、移動状態は、移動体の速度もしくは加速度を示す情報であってもよい。または、移動状態は、停止しているか否かを示す情報であってもよい。移動状態認識部１２は、移動状態に関する情報を通信制御部１４へ出力する。
【００２２】
周辺状態認識部１３は、移動体の周辺状態を認識する。周辺状態は、例えば、移動体が車両である場合に、移動体の周辺における歩行者の有無、他車両の有無、障害物の有無、交通標識の有無、交通信号の有無等であってもよい。また、周辺状態は、例えば、移動体が飛行機である場合に、移動体の周辺における気象状況等を示す情報であってもよい。周辺状態認識部１３は、周辺状態に関する情報を通信部１１へ出力する。なお、周辺状態に関する情報には、当該周辺状態の方向を示す情報が含まれていてもよい。ここでの方向とは、車両の向きを基準にした相対方向であってもよいし、磁北や真北を基準にした絶対方向であってもよい。
【００２３】
通信制御部１４は、移動状態及び周辺状態に基づいて、それぞれのセンサの優先度を決定する。さらに、通信制御部１４は、優先度の高いセンサにおいて検出されたセンサ情報を優先度の低いセンサにおいて検出されたセンサ情報よりも高品質に送信できるように通信制御を行う。優先度は、連続値であっても良いし、離散値、例えば、２以上の複数のレベルもしくは段階が定義されてもよい。通信制御部１４は、例えば、移動状態及び周辺状態の組み合わせに応じて、それぞれのセンサの優先度を決定してもよい。通信制御は、例えば、センサ情報を送信する際に、優先度が高いセンサ情報に対し、優先度が低いセンサ情報よりも多くの通信帯域を割当てることで実施してもよい。あるいは、通信制御は、優先度が高いセンサ情報を、優先度が低いセンサ情報よりも時間的に早いタイミングで送信することで実施してもよい。
【００２４】
以上説明したように、図１の通信装置１０は、移動体の周辺状態のみを用いるのではなく、移動状態及び周辺状態を用いて、移動体に設置された２以上のセンサにおけるそれぞれのセンサの優先度を決定することができる。そのため、例えば、通信装置１０は、周辺状態において移動体の周辺に歩行者が存在しないと示されている場合であっても、移動状態をさらに考慮して移動体に設置されたセンサの優先度を決定することができる。あるいは、周辺状態において前方と後方のそれぞれに歩行者が存在すると示されている場合であっても、移動状態をさらに考慮して前方センサと後方センサのどちらを優先すべきかを決定することができる。これより、周辺状態のみを用いた場合には、必要以上に優先度が低いまたは高いと決定され得るセンサであっても、通信装置１０は、移動状態をさらに考慮することによって、センサの優先度を適正化することができる。その結果、通信装置１０は、優先度を高精度に決定することが可能であり、優先度の低いセンサ情報と比較して、サーバ装置等へと送信される、優先度の高いセンサ情報の品質を高く維持することができる。
【００２５】
（実施の形態２）
続いて、図２を用いて実施の形態２にかかる通信システムの構成例について説明する。図２の通信システムは、通信装置２０、車両３０、サーバ装置４０、及びネットワーク４５を有している。車両３０は、通信装置２０を搭載しているとする。
【００２６】
通信装置２０は、ネットワーク４５を介してサーバ装置４０と通信する。ネットワーク４５は、例えばＩＰ（Internet Protocol）ネットワークであってもよい。具体的には、ネットワーク４５としてインターネットもしくはイントラネットが用いられてもよい。また、ネットワーク４５は、モバイルネットワークや無線ＬＡＮであってもよい。通信装置２０は、モバイルネットワークや無線ＬＡＮ等の無線通信回線を介してネットワーク４５と接続してもよい。
【００２７】
次に、車両３０の通信装置２０以外の構成例について説明する。車両３０は、移動体に相当する。車両３０は、例えば、遠隔から監視または制御される自動運転車両であってもよい。自動運転車両は、例えば、人が操作することなく走行することができる車両であってよい。もしくは、自動運転車両は、人が車両を運転する際の通常の操作よりも簡易な操作を行うことによって走行することができる車両であってもよい。遠隔から制御するとは、例えば、サーバ装置４０が、ネットワーク４５を介して車両３０を制御することであってもよい。車両３０は、センサとして前カメラ３１、後カメラ３２、右カメラ３３、及び左カメラ３４を有している。前カメラ３１は、車両３０の前方を撮影することができるカメラである。後カメラ３２は、車両３０の後方を撮影することができるカメラである。右カメラ３３は、車両３０の右方向を撮影することができるカメラである。左カメラ３４は、車両３０の左方向を撮影することができるカメラである。
【００２８】
前カメラ３１、後カメラ３２、右カメラ３３、及び左カメラ３４は、それぞれ、撮影した映像データを通信装置２０へ送信する。映像データは、圧縮及び変換前のデータ、つまり、エンコード前のデータであってもよく、圧縮及び変換後、つまり、エンコード後のデータであってもよい。前カメラ３１、後カメラ３２、右カメラ３３、及び左カメラ３４は、映像データをパケットとして送信してもよい。
【００２９】
前カメラ３１、後カメラ３２、右カメラ３３、及び左カメラ３４は、車両３０内に構築されたＬＡＮ（Local Area Network）等のＩＰネットワークを介して通信装置２０へ映像データを送信してもよい。前カメラ３１、後カメラ３２、右カメラ３３、及び左カメラ３４は、例えば、イーサネット（登録商標）を用いて構築されたネットワークを介して映像データを通信装置２０へ送信してもよい。もしくは、前カメラ３１、後カメラ３２、右カメラ３３、及び左カメラ３４は、ＣＡＮ（Controller Area Network）を介して映像データを通信装置２０へ送信してもよい。また、前カメラ３１、後カメラ３２、右カメラ３３、及び左カメラ３４は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）やＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）（登録商標）等の通信回線を介して通信装置に映像データを送信してもよい。
【００３０】
次に、通信装置２０の構成例について説明する。通信装置２０は、図１の通信装置１０に通信部１５が追加された構成である。通信装置２０の構成において、通信装置１０と同様の構成については、詳細な説明を省略する。通信部１１は、ネットワーク４５と接続する。例えば、通信部１１は、無線通信回線を介してネットワーク４５と接続する。
【００３１】
通信部１５は、車両３０に搭載されたそれぞれのカメラから映像データを受信する。通信部１５は、受信した映像データを通信部１１及び周辺状態認識部１３へ出力する。
【００３２】
周辺状態認識部１３は、受け取った映像データを用いて、カメラ毎の周辺状態を認識する。
【００３３】
例えば、周辺状態認識部１３は、受け取った映像データのトラヒック特性に基づいてそれぞれのカメラの周辺状態を認識する。周辺状態認識部１３は、カメラの周辺状態に関する情報を通信制御部１４へ出力する。周辺状態は、周辺環境と言い換えられてもよい。トラヒック特性は、例えば、転送レート、平均パケット間隔、平均パケットサイズ、もしくはジッタ等であってもよい。例えば、周辺状態認識部１３が受け取った映像データは、ＭＰＥＧ（Moving Picture Experts Group）規格の動画エンコーディングが行われているとする。もしくは、周辺状態認識部１３は、受け取った映像データに対してＭＰＥＧ規格の動画エンコーディングを行ってもよい。ＭＰＥＧ規格の動画エンコーディングにおいては、前のフレームとの差分情報を送信することによって、フレームサイズの圧縮を図る技術が広く用いられている。このようなフレームサイズの圧縮を図る技術が用いられる場合、変化が少ない映像においては変化が多い映像よりも圧縮効果が強まり、転送データ量あるいは転送レートが小さくなる。一方、変化が多い映像においては圧縮効果が弱まり、変化が少ない映像よりも転送データ量あるいは転送レートが大きくなる。つまり、映像の変化の程度に応じて、映像データのトラヒック特性が変化する。
【００３４】
例えば、転送レートが予め定められた閾値よりも大きい場合、周辺状態認識部１３は、映像データの変化の程度が予め定められた閾値よりも大きいと認識する。つまり、周辺状態認識部１３は、転送レートが予め定められた閾値よりも大きい場合、受け取った映像データのフレームには、前に受け取った映像データのフレームには写っていなかった歩行者等が写っていると認識する。歩行者等とは、歩行者、他車両、障害物、交通信号、もしくは交通標識を含む。周辺状態認識部１３は、転送レートが予め定められた閾値よりも小さい場合、受け取った映像データのフレームには、歩行者、他車両、障害物、交通信号、もしくは交通標識等が写っていない状態が継続していると認識する。
【００３５】
もしくは、周辺状態認識部１３は、受け取った映像データの画像内容の解析を行い、歩行者、他車両、障害物、交通信号、もしくは交通標識等が写っているか否かを認識してもよい。画像内容の解析は、画像処理もしくは画像認識処理と言い換えられてもよい。画像認識処理とは、例えば、周辺状態認識部１３が、映像データ内の特徴量を抽出し、抽出した特徴量と、予め通信装置２０内のメモリ等に登録された対象物の特徴量とを照合する。対象物は、例えば、人、車両、障害物、交通信号、及び交通標識等である。周辺状態認識部１３は、抽出した特徴量が、登録された対象物の特徴量と一致した場合もしくは一致箇所の数が予め定められた値を超えた場合、映像データ内に歩行者、他車両、障害物、交通信号、もしくは交通標識等が写っていると認識する。あるいは、当該カメラの位置および撮影方向における基準画像データを用意しておき、撮影により得られた画像と当該基準画像データとを比較することによって、基準画像データには含まれていない対象物の存在を認識してもよい。
【００３６】
移動状態認識部１２は、車両３０内に構築されている車載ネットワークであるＣＡＮを介して車両３０のアクチュエータもしくはセンサ情報等の制御情報を取得する。移動状態認識部１２は、制御情報を用いて、車両３０の移動状態を認識する。移動状態とは、進行方向や進行速度、およびそれらの変化の有無や変化の程度を表すものであり、現在の状態に限らず、将来の予測値であってもよい。例えば、移動状態認識部１２は、制御情報としてウィンカー情報を取得することによって、車両３０が右折もしくは左折していること、もしくは、所定期間経過後に、右折もしくは左折することを認識する。また、移動状態認識部１２は、シフトレバー情報を取得することによって、車両３０が前進しているか後進しているかを認識する。移動状態認識部１２は、車速センサ情報を用いて、車両３０の速度もしくは加速度を認識もしくは予測してもよい。また、移動状態認識部１２は、ブレーキ情報を取得することによって、車両３０が減速していることを認識する。移動状態認識部１２は、車両３０の移動状態として認識した情報を通信制御部１４へ出力する。制御情報は、車両３０に搭載されたアクチュエータ等の機器の機器情報と言い換えられてもよい。また予測とは、推定や算出と言い換えられてもよい。
【００３７】
もしくは、車両３０が自動運転車両である場合、車両の走行を制御するソフトウェアを用いて、車両３０の進路及び速度が制御される。この場合、移動状態認識部１２は、ソフトウェアから、車両３０の移動状態、例えば、前進しているのか、後進しているのか、さらに、右折するのか左折するのか等の情報を取得してもよい。移動状態認識部１２がソフトウェアから取得する情報は、走行制御情報と言い換えられてもよい。
【００３８】
通信制御部１４は、移動状態認識部１２及び周辺状態認識部１３から受け取った情報を用いて、前カメラ３１、後カメラ３２、右カメラ３３、及び左カメラ３４の優先度を決定する。ここで、図３を用いて、通信制御部１４が決定する優先度について説明する。図３においては、優先度は、０、１、及び２を用いて示され、優先度２が最も優先度が高く、優先度０が最も優先度が低いとする。
【００３９】
通信制御部１４は、例えば、移動状態認識部１２から、車両３０が前進しているとの情報を取得したとする。この場合、通信制御部１４は、前カメラ３１の優先度を２と設定する。通信制御部１４は、車両３０が後進しているとの情報を取得した場合、後カメラ３２の優先度を２と設定する。
【００４０】
次に、通信制御部１４は、車両３０が前進している場合、後カメラ３２から取得した映像データにおいて、歩行者、他車両、障害物、交通信号、もしくは交通標識が写っているか否かを、周辺状態認識部１３から受け取った情報を用いて判定する。通信制御部１４は、車両３０が前進しており、後カメラ３２から取得した映像データにおいて、他車両等が写っている場合、つまり、後方から他車両等が接近している場合、後カメラ３２の優先度を１と設定する。通信制御部１４は、車両３０が前進しており、後カメラ３２から取得した映像データにおいて、他車両等が写っていない場合、つまり、後方から他車両等が接近していない場合、後カメラ３２の優先度を０と設定する。
【００４１】
また、通信制御部１４は、車両３０が後進している場合、前カメラ３１から取得した映像データにおいて、歩行者、他車両、障害物、交通信号、もしくは交通標識が写っているか否かを、周辺状態認識部１３から受け取った情報を用いて判定する。通信制御部１４は、車両３０が後進しており、前カメラ３１から取得した映像データにおいて、他車両等が写っている場合、つまり、他車両等が前方から接近している場合、前カメラ３１の優先度を１と設定する。通信制御部１４は、車両３０が後進しており、前カメラ３１から取得した映像データにおいて、他車両等が写っていない場合、つまり、前方から他車両等が接近していない場合、前カメラ３１の優先度を０と設定する。
【００４２】
図３において説明した優先度の設定はあくまで一例である。例えば、優先度として０〜３を定義し、車両３０が前進しており、かつ、前カメラ３１に他車両等が写っている場合、前カメラ３１をさらに優先度の高い値として３を設定してもよい。また、映像データに写っている対象に応じて、優先度を変更してもよい。
【００４３】
通信制御部１４は、それぞれのカメラの優先度を決定すると、優先度に従った通信制御を行う。例えば、通信制御部１４は、通信部１５から通信部１１へ出力された映像データのうち、最も優先度の高いカメラにおいて撮影された映像データのみをネットワーク４５を介してサーバ装置４０へ送信するように制御してもよい。例えば、図３の例においては、通信制御部１４は、優先度が２と設定されたカメラにおいて撮影された映像データのみを送信するように制御してもよい。最も優先度の高いカメラにおいて撮影された映像のみをネットワーク４５を介してサーバ装置４０へ送信してもよい。これにより、ネットワーク４５の輻輳または帯域不足によって生じる、映像データの廃棄、消失もしくは大きな遅延の発生する可能性を減少させることができる。その結果、通信装置２０は、最も優先度の高いカメラにおいて撮影された映像データを、品質を低下させることなくサーバ装置４０へ送信することができる。
【００４４】
または、通信制御部１４は、Priority-Based Flow Controlを適用してもよい。具体的には、通信部１５は、優先度別に分けた複数のバッファを用意し、それぞれのカメラにおいて撮影された映像データを、当該カメラの優先度に対応するバッファに格納する。通信制御部１４は、優先度の高いバッファから順に、格納されている映像データをサーバ装置４０へ送信してもよい。例えば、通信制御部１４は、はじめに、優先度が２と設定されたカメラにおいて撮影された映像データを格納するバッファ内の映像データをすべて送信する。通信制御部１４は、優先度が２と設定されたカメラにおいて撮影された映像データをすべて送信し終えた後に、優先度が１と設定されたカメラにおいて撮影された映像データを格納するバッファの映像データを送信してもよい。優先度の高いカメラにおいて撮影された映像データを他のカメラにおいて撮影された映像データよりも優先的にサーバ装置４０へ送信することによって、優先度の高いカメラにおいて撮影された映像データに確実に通信リソースを割り当てることができる。言い換えると、優先度の高いカメラにおいて撮影された映像データに対して割り当てる通信リソースが不足することを防止することができる。その結果、優先度の高いカメラにおいて撮影された映像データは、他のカメラにおいて撮影された映像データよりも高い品質にてサーバ装置４０へ送信される。
【００４５】
続いて、図４を用いて通信装置２０における通信制御処理の流れについて説明する。はじめに、通信部１５は、車両３０に搭載されている複数のカメラから映像データを取得する（Ｓ１１）。次に、周辺状態認識部１３は、複数のカメラから取得した映像データを用いて、それぞれのカメラの周辺状態を認識する（Ｓ１２）。例えば、周辺状態認識部１３は、受け取った映像データのトラヒック特性に基づいてそれぞれのカメラの周辺状態を認識する。もしくは、周辺状態認識部１３は、受け取った映像データの画像内容の解析によりそれぞれのカメラの周辺状態を認識する。
【００４６】
次に、移動状態認識部１２は、車両３０の移動状態を認識する（Ｓ１３）。例えば、移動状態認識部１２は、ＣＡＮを介して取得したアクチュエータもしくはセンサ情報等の制御情報を用いて、車両３０の移動状態を認識する。
【００４７】
次に、通信制御部１４は、移動状態認識部１２及び周辺状態認識部１３から受け取った情報を用いて、車両３０に搭載されているカメラの優先度を決定する（Ｓ１４）。次に、通信制御部１４は、優先度が他のカメラよりも高いカメラにおいて撮影された映像データを他の映像データよりも高品質に送信できるように通信制御を行う（Ｓ１５）。例えば、通信制御部１４は、最も優先度が高いカメラの映像データのみをネットワーク４５を介してサーバ装置４０へ送信する。あるいは、通信制御部１４は、映像データを優先度別のバッファに格納し、優先度が高いバッファに格納された映像データから順に、映像データを送信する。
【００４８】
なお、上記の通信制御部１４による通信制御に加え、各カメラまたは通信制御部１４は、各カメラの優先度または映像データの伝送品質に応じて、映像制御を行ってもよい。例えば、通信制御部１４は、映像制御として、映像ビットレート、映像フレームレート、解像度、エンコーディング規格に固有の品質パラメータなどを制御してもよい。なお、映像データの伝送品質とは、例えば、転送レート、遅延、パケットロス、ジッタなどである。
【００４９】
例えば、通信制御部１４は、優先度が低いカメラあるいは多くのパケットロスが発生しているカメラに対し、映像ビットレートを下げる、映像フレームレートを下げる、もしくは解像度を下げる、といった指示を出してもよい。これにより、優先度が低く、使用可能な通信帯域が少ないカメラにおいて、使用可能な通信帯域に適した映像品質を用いることができる。結果として、例えば、優先度が低いカメラにおける映像データのパケットロス数を減らすことができる。
【００５０】
また、通信制御部１４は、優先度が高いカメラに対し、映像ビットレートを上げる、映像フレームレートを上げる、もしくは解像度を上げる、といった指示を出してもよい。これにより、優先度が高く、使用可能な通信帯域が多いカメラにおいて、使用可能な通信帯域に適した映像品質を用いることができる。結果として、優先度が高いカメラにおける映像データの高品質化、例えば、高ビットレート化、高フレームレート化、高解像度化などを実現できる。
【００５１】
以上説明したように、通信装置２０は、移動状態認識部１２において認識された車両３０の移動状態と、周辺状態認識部１３において認識された、それぞれのカメラの周辺状態とを用いて、それぞれのカメラの優先度を決定することができる。さらに、通信装置２０は、優先度の高いカメラにおいて撮影された映像データを、他のカメラよりも高品質にサーバ装置４０へ送信することができる。その結果、通信装置２０は、優先度の高いカメラにおいて撮影された映像データ、つまり、重要度の高いデータの品質を高く維持して、当該データをサーバ装置４０へ送信することができる。
【００５２】
（実施の形態３）
続いて、図５を用いて実施の形態３にかかる通信装置５０について説明する。通信装置５０における周辺状態認識部１３は、車両３０に搭載されているカメラ以外のセンサ３５から取得した情報を用いて、車両３０の周辺状態を認識する。例えば、車両３０には、ミリ波レーダ、赤外線センサ、超音波ソナー、もしくはＬｉＤＡＲ（Light Detection and Ranging）等のセンサ３５が搭載されてもよい。周辺状態認識部１３は、それぞれのセンサ３５から取得した情報を用いて、車両３０の周辺に歩行者、他車両、障害物、交通信号、もしくは交通標識等が存在することを認識、もしくは検出してもよい。周辺状態認識部１３は、それぞれのセンサから取得した情報を組み合わせて用いることによって、車両３０の周辺に歩行者、他車両、障害物、交通信号、もしくは交通標識等が存在することを認識、もしくは検出してもよい。さらに、周辺状態認識部１３は、車両３０の周辺のどの位置に歩行者、他車両、障害物、交通信号、もしくは交通標識等が存在するかも認識する。例えば、周辺状態認識部１３は、車両３０の前方、後方、右方向、左方向の少なくとも１つの方向に歩行者等が存在するかを認識してもよい。
【００５３】
また、車両３０は、それぞれのセンサから取得した情報を用いて、車両３０からどの程度離れた位置に歩行者、他車両、障害物、交通信号、もしくは交通標識等が存在するかを認識してもよい。
【００５４】
通信制御部１４は、周辺状態認識部１３から車両３０の周辺のどの方向に歩行者等が検出されたかを示す情報を取得する。通信制御部１４は、移動状態認識部１２から取得した情報と、周辺状態認識部１３から取得した情報とを用いて、前カメラ３１、後カメラ３２、右カメラ３３、及び左カメラ３４の優先度を決定する。例えば、通信制御部１４は、歩行者等が検出された方向に設置されたカメラに、歩行者等が写っているとみなして、図３に示されるように優先度を設定してもよい。
【００５５】
以上説明したように、周辺状態認識部１３は、前カメラ３１、後カメラ３２、右カメラ３３、及び左カメラ３４とは異なるセンサから取得した情報を用いて、前カメラ３１、後カメラ３２、右カメラ３３、及び左カメラ３４の優先度を決定することができる。
【００５６】
（実施の形態４）
実施の形態４にかかる通信制御部１４が決定する優先度について説明する。
【００５７】
通信制御部１４は、車両３０の移動状態及び車両３０の周辺状態の少なくとも一方について将来の状態を予測し、予測した情報を用いて車両３０に搭載されたカメラの優先度を決定することができる。
【００５８】
初めに移動状態認識部１２による移動状態の予測について説明する。移動状態認識部１２は、車両３０に搭載された機器の機器情報、あるいは、車両３０の走行を制御するソフトウェアから取得できる走行制御情報などに基づいて、所定期間経過後の車両の移動状態を予測する。機器情報とは、車載のアクチュエータやセンサ等から取得できるウィンカー情報、シフトレバー情報、車速センサ情報、ブレーキ情報などである。例えば、移動状態認識部１２は、ウィンカー情報を用いることで、車両の右折もしくは左折を予測できる。移動状態認識部１２は、シフトレバー情報を用いることで、車両の前進もしくは後退の予測できる。また、走行制御情報とは、車両の操舵、制動、加減速、走行ルート等を含む情報である。これら走行制御情報は、車両３０の走行を制御するソフトウェアのほか、カーナビゲーションのような運転を支援するソフトウェアから取得してもよい。
【００５９】
図６を用いて、ウィンカー情報によって車両３０の移動状態を予測して各カメラの優先度を決定する例を説明する。移動状態認識部１２は、ＣＡＮを介して取得したウィンカー情報を用いて、所定期間経過後の車両の移動方向を予測する。例えば、移動状態認識部１２は、右折を示すウィンカー情報を取得した場合、Ａ（Ａは０以上の整数）秒後に、車両３０が右方向へ移動すると予測する。また、移動状態認識部１２は、左折を示すウィンカー情報を取得した場合、Ａ秒後に、車両３０が左方向へ移動すると予測する。
【００６０】
通信制御部１４は、移動状態認識部１２において、車両３０が左折を示すウィンカー情報に基づいて左方向へ移動すると予測された場合、左カメラ３４の優先度を２に設定する。通信制御部１４は、移動状態認識部１２において、車両３０が右折を示すウィンカー情報に基づいて右方向へ移動すると予測された場合、右カメラ３３の優先度を２に設定する。
【００６１】
次に、通信制御部１４は、車両３０が右折すると予測された場合、左カメラ３４から取得した映像データにおいて、歩行者、他車両、障害物、交通信号、もしくは交通標識が写っているか否かを判定する。通信制御部１４は、車両３０が右折すると予測され、左カメラ３４から取得した映像データにおいて、他車両等が写っている場合、つまり、左方向から他車両等が接近している場合、左カメラ３４の優先度を１と設定する。通信制御部１４は、車両３０が右折すると予測された場合、左カメラ３４から取得した映像データにおいて、他車両等が写っていない場合、つまり、左方向から他車両等が接近していない場合、左カメラ３４の優先度を０と設定する。
【００６２】
また、通信制御部１４は、車両３０が左折すると予測された場合、右カメラ３３から取得した映像データにおいて、歩行者、他車両、障害物、交通信号、もしくは交通標識が写っているか否かを判定する。通信制御部１４は、車両３０が左折すると予測され、右カメラ３３から取得した映像データにおいて、他車両等が写っている場合、つまり、他車両等が右方向から接近している場合、右カメラ３３の優先度を１と設定する。通信制御部１４は、車両３０が左折すると予測され、右カメラ３３から取得した映像データにおいて、他車両等が写っていない場合、つまり、右方向から他車両等が接近していない場合、右カメラ３３の優先度を０と設定する。
【００６３】
続いて周辺状態認識部１３による周辺状態の予測について説明する。周辺状態認識部１３は、カメラ以外のセンサ３５から取得した情報、あるいは、当該カメラ以外の他カメラから取得した情報を用いて、所定期間経過後の、当該カメラの周辺状態を予測することができる。例えば、周辺状態認識部１３は、ＬｉＤＡＲ等のセンサから取得した情報を用いて、車両３０の周辺に存在する歩行者等との距離や方向を特定する。さらに、周辺状態認識部１３は、移動状態認識部１２から車両３０の速度に関する情報を取得してもよい。周辺状態認識部１３は、車両３０の周辺に存在する歩行者等との距離と、車両３０の速度に関する情報とを用いて、所定期間経過後に、カメラに歩行者等が写ることを予測してもよい。例えば、周辺状態認識部１３は、カメラにおいて撮影される映像に、歩行者等が予め定められた値よりも大きく表示される場合に、カメラに歩行者等が写ると予測してもよい。
【００６４】
また、周辺状態認識部１３は、現在位置、進行方向、及び車両周辺の地図情報を用いて、所定期間経過後に、車両３０に搭載されたカメラに、歩行者等が写ることを予測してもよい。周辺状態認識部１３は、例えば、ＧＰＳ（Global Positioning System）等の全地球衛星測位システム（GNSS：Global Navigation Satellite System）を用いて現在位置及び進行方向を特定してもよい。さらに、周辺状態認識部１３は、通信装置２０（もしくは通信装置５０）内のメモリに格納されている地図情報を用いて、車両３０周辺の地図情報を抽出してもよい。もしくは、周辺状態認識部１３は、ネットワーク４５を介して他の装置に格納されている地図情報を取得し、取得した地図情報を用いて、車両３０周辺の地図情報を抽出してもよい。例えば、車両３０の周辺に交差点や合流点が存在する場合、所定期間経過後に、交差あるいは合流する他の道路の方向を撮影するカメラに、歩行者等が写ると予測してもよい。
【００６５】
図７を用いて、車両３０の周辺状態を予測して各カメラの優先度を決定する例を説明する。通信制御部１４は、例えば、移動状態認識部１２から、車両３０が前進しているとの情報を取得したとする。この場合、通信制御部１４は、前カメラ３１の優先度を２と設定する。通信制御部１４は、車両３０が後進しているとの情報を取得した場合、後カメラ３２の優先度を２と設定する。
【００６６】
次に、通信制御部１４は、車両３０が前進している場合、後カメラ３２が撮影する映像データにおいて、歩行者、他車両、障害物、交通信号、もしくは交通標識が写ると予測されているか否かを判定する。通信制御部１４は、車両３０が前進しており、後カメラ３２が撮影する映像データに、他車両等が写ると予測されている場合、つまり、後方から他車両等が接近していることが予測される場合、後カメラ３２の優先度を１と設定する。通信制御部１４は、車両３０が前進しており、後カメラ３２が撮影する映像データに、他車両等が写ると予測されない場合、つまり、後方から他車両等が接近することが予測されない場合、後カメラ３２の優先度を０と設定する。
【００６７】
また、通信制御部１４は、車両３０が後進している場合、前カメラ３１が撮影する映像データにおいて、歩行者、他車両、障害物、交通信号、もしくは交通標識が写ると予測されているか否かを判定する。通信制御部１４は、車両３０が後進しており、前カメラ３１が撮影する映像データにおいて、他車両等が写ると予測されている場合、つまり、他車両等が前方から接近していることが予測される場合、前カメラ３１の優先度を１と設定する。通信制御部１４は、車両３０が後進しており、前カメラ３１が撮影する映像データに、他車両等が写ると予測されない場合、つまり、前方から他車両等が接近することが予測されない場合、前カメラ３１の優先度を０と設定する。
【００６８】
続いて、図８を用いて、通信制御部１４が決定する優先度について、図６及び図７とは異なる優先度の決定方法について説明する。図８においては、通信制御部１４が、予測される車両の移動状態及び予測されるカメラの周辺状態を用いて、優先度を決定することが示されている。
【００６９】
通信制御部１４は、移動状態認識部１２において、車両３０が左折を示すウィンカー情報に基づいて左方向へ移動すると予測された場合、左カメラ３４の優先度を２に設定する。通信制御部１４は、移動状態認識部１２において、車両３０が右折を示すウィンカー情報に基づいて右方向へ移動すると予測された場合、右カメラ３３の優先度を２に設定する。
【００７０】
次に、通信制御部１４は、車両３０が右折すると予測された場合、左カメラ３４が撮影する映像データにおいて、歩行者、他車両、障害物、交通信号、もしくは交通標識が写ると予測されているか否かを判定する。通信制御部１４は、車両３０が右折すると予測され、左カメラ３４が撮影する映像データに、他車両等が写ると予測されている場合、つまり、左方向から他車両等が接近していることが予測される場合、左カメラ３４の優先度を１と設定する。通信制御部１４は、車両３０が右折すると予測され、左カメラ３４が撮影する映像データに、他車両等が写ると予測されない場合、つまり、左方向から他車両等が接近することが予測されない場合、左カメラ３４の優先度を０と設定する。
【００７１】
また、通信制御部１４は、車両３０が左折すると予測された場合、右カメラ３３が撮影する映像データにおいて、歩行者、他車両、障害物、交通信号、もしくは交通標識が写ると予測されているか否かを判定する。通信制御部１４は、車両３０が左折すると予測され、右カメラ３３が撮影する映像データにおいて、他車両等が写ると予測されている場合、つまり、他車両等が右方向から接近していることが予測される場合、右カメラ３３の優先度を１と設定する。通信制御部１４は、車両３０が左折すると予測され、右カメラ３３が撮影する映像データに、他車両等が写ると予測されない場合、つまり、右方向から他車両等が接近することが予測されない場合、右カメラ３３の優先度を０と設定する。
【００７２】
上述のとおり、通信制御部１４は、車両３０の移動状態及び車両３０の周辺状態の少なくとも一方について将来の状態を予測し、予測した情報を用いて通信制御を実施することができる。なお、車両３０の移動状態及び車両３０の周辺状態の少なくとも一方について将来の状態を予測するタイミングと、通信制御部１４が通信制御を実施するタイミングとは、同一タイミングである必要はない。すなわち、車両３０の移動状態及び車両３０の周辺状態の少なくとも一方について将来の状態を予測した後に、通信制御部１４が通信制御を実施してもよい。このとき、通信制御に要する処理時間を考慮してもよい。例えば、時刻Ｔ０において移動状態認識部１２が、車両３０の移動状態が変化する時刻が時刻Ｔ１であると予測したとする。このとき、通信制御部１４が通信制御を実施するタイミングは、Ｔ０以上Ｔ１以下の任意のタイミングを採用することができる。また、通信制御として帯域制御を実施する場合、帯域制御の実行に要する処理時間をαとした場合、Ｔ０以上Ｔ１−α以下のタイミングに、通信制御を実施してもよい。
【００７３】
以上説明したように、移動状態認識部１２は、所定期間経過後の車両３０の移動状態を予測することが可能であり、周辺状態認識部１３は、所定期間経過後の車両３０の周辺状態を予測することが可能である。さらに、通信制御部１４は、車両３０の移動状態及び車両３０の周辺状態の少なくとも一方において、予測された情報を用いて、車両３０に搭載されたカメラの優先度を決定することができる。これより、通信制御部１４は、将来に発生し得る状況を考慮して、カメラの優先度を決定することができる。
【００７４】
（実施の形態５）
続いて、図９を用いて通信装置６０の構成例について説明する。通信装置６０は、図２の通信装置２０に、帯域評価部１６が追加された構成である。また、通信装置６０は、図５の通信装置５０に帯域評価部１６が追加された構成であってもよい。通信装置６０における通信装置２０と同様の構成については、詳細な説明を省略する。
【００７５】
帯域評価部１６は、車両３０に搭載されているカメラとサーバ装置４０との間の通信回線のうち、少なくとも一部区間の可用帯域を評価する。可用帯域は、通信に使用することができる帯域である。一部区間は、例えば、通信装置６０とサーバ装置４０との間であってもよく、通信装置６０とカメラとの間であってもよく、通信装置６０と、モバイルネットワーク上に配置されている基地局との間であってもよい。
【００７６】
帯域評価部１６は、評価対象となる区間において、通信部１１を介して評価用のプローブパケットを送信及び受信し、プローブパケットから得られる情報を用いて可用帯域を評価してもよい。可用帯域を評価するとは、可用帯域を算出すると言い換えられてもよい。例えば、帯域評価部１６は、複数のプローブパケットを送信し、プローブパケットの応答信号を受信した際のＲＴＴ（Round Trip Time）を用いて、可用帯域を評価してもよい。もしくは、帯域評価部１６は、受信パケットの間隔、つまり、遅延変動を観測することによって、可用帯域を評価してもよい。もしくは、帯域評価部１６は、受信した応答信号のＴＣＰウィンドウサイズを用いて、可用帯域を評価してもよい。プローブパケットを用いた可用帯域の評価手法は、一般的に用いられている他の手法が用いられてもよい。帯域評価部１６は、可用帯域の評価結果を通信制御部１４へ出力する。
【００７７】
通信制御部１４は、通信装置６０とサーバ装置４０との間の区間の可用帯域を評価した場合、決定した優先度に応じて、それぞれのカメラにおいて撮影された映像データをサーバ装置４０へ送信する際の帯域を、可用帯域の中から比例配分する。通信制御部１４は、通信装置６０と基地局との間の区間の可用帯域を評価した場合も、決定した優先度に応じて、それぞれのカメラにおいて撮影された映像データをサーバ装置４０へ送信する際の帯域を、可用帯域の中から比例配分してもよい。例えば、通信制御部１４は、図３及び図６乃至図８に示される、優先度として２が設定されたカメラにおいて撮影された映像データには、優先度として０及び１が設定されたカメラにおいて撮影された映像データよりも多くの帯域を割り当ててもよい。
【００７８】
もしくは、通信制御部１４は、優先度が高く設定されたカメラにおいて撮影された映像データから優先度が低く設定されたカメラにおいて撮影された映像データの順に、必要帯域を割り当ててもよい。例えば、それぞれのカメラにおいて撮影された映像データをすべてサーバ装置４０へ送信すると可用帯域を超過する場合、優先度が高く設定されたカメラにおいて撮影された映像データから順に、映像データを送信する際に必要となる帯域を割り当ててもよい。この場合、それぞれの映像データには、同じ量の帯域が割り当てられてもよい。また、可用帯域が全て割り当てられた場合、優先度が低く設定されたカメラにおいて撮影された映像データには、帯域が割り当てられないこともある。
【００７９】
また、通信制御部１４は、カメラと通信装置６０との間の区間の可用帯域を評価した場合、決定した優先度に応じて、それぞれのカメラが映像データをサーバ装置４０へ送信する際の帯域を、可用帯域の中から比例配分してもよい。もしくは、通信制御部１４は、カメラと通信装置６０との間の区間の可用帯域を評価した場合、決定した優先度に応じて、それぞれのカメラが映像データをサーバ装置４０へ送信する際に必要となる必要帯域を、可用帯域の中から割り当ててもよい。
【００８０】
また、通信制御部１４は、各カメラの映像送信性能を加味して、各カメラに割当てる帯域を決定してもよい。例えば、映像送信性能により定まる最大映像送信ビットレートが１０Ｍｂｐｓの場合、当該カメラに対して１０Ｍｂｐｓより多くの帯域を割当てても、割当て帯域全てを有効活用することはできない。この問題を解決するためには、当該カメラに割当てる帯域の上限値を最大映像送信ビットレートに制限すればよい。また、映像送信性能により定まる最小映像送信ビットレートが５００Ｋｂｐｓの場合、当該カメラに対して５００Ｋｂｐｓより少ない帯域を割当てると、最低品質での映像送信に支障が生じ得る。この問題を解決するためには、当該カメラに割当てる帯域の下限値を最小映像送信ビットレートに制限することが望ましい。
【００８１】
以上説明したように、通信装置６０は、カメラとサーバ装置４０との間の通信回線のうち、少なくとも一部区間の可用帯域を評価することができる。さらに、通信装置６０は、優先度の高いカメラにおいて撮影された映像データに対して、優先的に可用帯域を割り当てることができる。これにより、優先度の高いカメラにおいて撮影された映像データの品質を、優先度の低いカメラにおいて撮影された映像データの品質よりも高く維持することができる。
【００８２】
（実施の形態６）
続いて、図１０を用いて実施の形態６にかかる通信システムの構成例について説明する。図１０の通信システムは、車両９０、車両１００、ＡＰ（Access Point）８０、通信装置７０、サーバ装置４０、及びネットワーク４５を有している。車両９０及び車両１００は、例えば、工場内において用いられるＡＧＶ（Automated Guided Vehicle）であってもよい。
【００８３】
車両９０は、カメラ９１及びカメラ９２を有している。さらに、車両１００は、カメラ１０１及びカメラ１０２を有している。車両９０及び車両１００に搭載されているカメラは、ＡＰ８０と無線通信を行う。無線通信は、例えば、無線ＬＡＮ通信であってもよい。車両９０及び車両１００に搭載されているカメラは、映像データをＡＰ８０を介して通信装置７０へ送信する。
【００８４】
通信装置７０は、ＡＰ８０と接続している。図１０のその他の構成は、図２における通信システムと同様であるため詳細な説明を省略する。
【００８５】
続いて、通信装置７０の構成例について説明する。通信装置７０は、図２における通信装置２０に、移動体識別部１７が追加された構成である。また、通信制御部１４は、通信部１５を介して、車両９０及び車両１００に搭載されているカメラが送信する映像データに対して通信制御を行う。通信装置７０におけるその他の構成は、図２における通信装置２０と同様であるため詳細な説明を省略する。
【００８６】
移動体識別部１７は、通信部１５を介して車両９０及び車両１００に搭載されているカメラから送信された映像データを取得する。通信装置７０は、複数の車両から、映像データを取得する。そのため、それぞれの映像データが、どの車両に設置されたカメラにおいて撮影された映像データかを識別する必要がある。そこで、移動体識別部１７は、カメラ９１、カメラ９２、カメラ１０１、及びカメラ１０２において撮影された映像データの相互関係に基づいて、同じ車両に設置されているカメラ群を特定する。
【００８７】
映像データの相互関係は、例えば、それぞれの映像データの相関関係と言い換えられてもよい。それぞれの映像データの相関関係は、例えば、それぞれの映像データにおける映像の変化の有無や変化の速度が一致する、もしくは、変化の速度が類似している等である場合、相関が高いと言える。また、それぞれの映像データの相関関係は、それぞれの映像データから特定される進行方向が一致している場合、相関が高いと言える。また、それぞれの映像データの相関関係は、同一時刻あるいは一定の時間以内に、それぞれの映像データに同一の対象物が含まれている場合、相関が高いと言える。
【００８８】
移動体識別部１７は、それぞれの映像データの画像内容の解析を行うことによって、相関が予め定められた閾値よりも高い映像データを特定し、特定した映像データを撮影したカメラ群が、同じ車両に設置されていると判定する。
【００８９】
通信制御部１４は、例えば、特定されたカメラ群毎、つまり、特定された車両毎に、図３、図６乃至図８に示されるように優先度を決定してもよい。また、通信制御部１４は、映像データと、カメラ群を識別する情報とを関連付けて、映像データ及びカメラ群を識別する情報をサーバ装置４０へ送信してもよい。
【００９０】
以上説明したように、通信装置７０が、特定の車両に搭載されておらず、複数の車両から、それぞれの車両に搭載されたカメラにおいて撮影された映像データを取得することがある。このような場合であっても、通信装置７０は、映像データ間の相互関係を分析もしくは解析することによって、同じ車両に搭載されているカメラ群を特定することができる。また、通信装置７０が、映像データ及びカメラ群を識別する情報をサーバ装置４０へ送信することによって、サーバ装置４０は、車両毎の映像データを認識することができる。その結果、サーバ装置４０は、それぞれの車両の監視や制御を容易に行うことができる。
【００９１】
続いて以下では、上述の実施形態で説明された、通信装置１０、通信装置２０、通信装置５０、通信装置６０、及び通信装置７０（以下、通信装置１０等とする）の構成例について説明する。
【００９２】
図１１は、通信装置１０等の構成例を示すブロック図である。図１１を参照すると、通信装置１０等は、ネットワーク・インターフェース１２０１、プロセッサ１２０２、及びメモリ１２０３を含む。ネットワーク・インターフェース１２０１は、通信システムを構成する他のネットワークノード装置と通信するために使用される。ネットワーク・インターフェース１２０１は、例えば、IEEE 802.3 seriesに準拠したネットワークインターフェースカード（NIC）を含んでもよい。もしくは、ネットワーク・インターフェース１２０１は、無線通信を行うために使用されてもよい。例えば、ネットワーク・インターフェース１２０１は、無線ＬＡＮ通信、もしくは３ＧＰＰ（3rd Generation Partnership Project）において規定されたモバイル通信を行うために使用されてもよい。
【００９３】
プロセッサ１２０２は、メモリ１２０３からソフトウェア（コンピュータプログラム）を読み出して実行することで、上述の実施形態においてシーケンス図及びフローチャートを用いて説明された通信装置１０等の処理を行う。プロセッサ１２０２は、例えば、マイクロプロセッサ、MPU（Micro Processing Unit）、又はCPU（Central Processing Unit）であってもよい。プロセッサ１２０２は、複数のプロセッサを含んでもよい。
【００９４】
メモリ１２０３は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１２０３は、プロセッサ１２０２から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１２０２は、図示されていないI/Oインタフェースを介してメモリ１２０３にアクセスしてもよい。
【００９５】
図１１の例では、メモリ１２０３は、ソフトウェアモジュール群を格納するために使用される。プロセッサ１２０２は、これらのソフトウェアモジュール群をメモリ１２０３から読み出して実行することで、上述の実施形態において説明された通信装置１０等の処理を行うことができる。
【００９６】
図１１を用いて説明したように、通信装置１０等が有するプロセッサの各々は、図面を用いて説明されたアルゴリズムをコンピュータに行わせるための命令群を含む１又は複数のプログラムを実行する。
【００９７】
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリを含む。磁気記録媒体は、例えばフレキシブルディスク、磁気テープ、ハードディスクドライブであってもよい。半導体メモリは、例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory）であってもよい。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【００９８】
なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【００９９】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
移動体を基点に、互いに異なる方向の状態を検出可能に前記移動体に設置された２以上のセンサを用いて検出されたセンサ情報を送信する通信部と、
前記移動体の移動状態を認識する移動状態認識部と、
前記移動体の周辺状態を認識する周辺状態認識部と、
前記移動状態及び前記周辺状態に基づいてそれぞれのセンサの優先度を決定し、優先度の高いセンサにおいて検出されたセンサ情報を優先度の低いセンサにおいて検出されたセンサ情報よりも高品質に送信できるように通信制御を行う通信制御部と、を備える通信装置。
（付記２）
前記センサ情報は、
前記移動体を基点に、互いに異なる方向を撮影可能に前記移動体に設置された２以上のカメラにおいて撮影された映像データであり、
前記通信制御部は、
それぞれのカメラの優先度を決定し、優先度の高いカメラにおいて撮影された映像を優先度の低いカメラにおいて撮影された映像よりも高品質に送信できるように通信制御を行う、付記１に記載の通信装置。
（付記３）
前記周辺状態認識部は、
それぞれの前記カメラにおいて撮影された映像データを用いて前記周辺状態を認識する、付記２に記載の通信装置。
（付記４）
前記周辺状態認識部は、
それぞれの前記カメラにおいて撮影された映像データのトラヒック特性を用いて前記周辺状態を認識する、付記３に記載の通信装置。
（付記５）
前記周辺状態認識部は
それぞれの前記カメラにおいて撮影された映像データの画像内容を解析して前記周辺状態を認識する、付記３に記載の通信装置。
（付記６）
前記周辺状態認識部は、
前記移動体に設置されたミリ波レーダ、赤外線センサ、超音波ソナー、及びＬｉＤＡＲの少なくとも１つに基づいて前記周辺状態を認識する、付記２に記載の通信装置。
（付記７）
前記移動状態認識部は、
前記移動体内に搭載されたネットワークを介して取得することができる前記移動体に搭載された機器の機器情報を用いて前記移動状態を認識する、付記１乃至６のいずれか１項に記載の通信装置。
（付記８）
前記移動状態は、
前記移動体の走行を制御するソフトウェアから取得できる走行制御情報を用いて前記移動状態を認識する、付記１乃至６のいずれか１項に記載の通信装置。
（付記９）
前記移動状態認識部は、
所定期間経過後の前記移動体の移動状態を予測し、
前記周辺状態認識部は、
所定期間経過後の前記移動体の周辺状態を予測し、
前記通信制御部は、
現在の移動状態もしくは所定期間経過後の移動状態と、現在の周辺状態もしくは所定期間経過後の周辺状態と、に基づいてそれぞれのセンサの優先度を決定する、付記１乃至８のいずれか１項に記載の通信装置。
（付記１０）
前記周辺状態認識部は、
前記移動体の現在位置、前記移動体の進行方向、及び地図情報を用いて所定期間経過後の前記移動体の周辺状態を予測する、付記９に記載の通信装置。
（付記１１）
前記移動状態認識部は、
前記移動体に搭載された機器の機器情報または前記移動体の走行を制御するソフトウェアから取得できる走行制御情報を用いて所定期間経過後の前記移動体の移動状態を予測する、付記９又は１０に記載の通信装置。
（付記１２）
前記センサ情報を送信する際に用いる通信回線において使用することができる可用帯域を算出する帯域算出部をさらに備え、
前記通信制御部は、
算出された可用帯域のうち、優先度の高いセンサにおいて検出されたセンサ情報に対して、優先度の低いセンサにおいて検出されたセンサ情報に対して割り当てる通信帯域よりも多くの通信帯域を割り当てる、付記１乃至１１のいずれか１項に記載の通信装置。
（付記１３）
前記通信部は、
複数の前記移動体からセンサ情報を受信し、複数の前記センサ情報の相互関係に基づいて、同一移動体に搭載された少なくとも１以上のセンサを特定する移動体認識部をさらに備える、付記１乃至１２のいずれか１項に記載の通信装置。
（付記１４）
移動体の移動状態を認識し、
前記移動体の周辺状態を認識し、
前記移動状態及び前記周辺状態に基づいて、前記移動体を基点に、互いに異なる方向の状態を検出可能に前記移動体に設置された２以上のセンサのそれぞれのセンサの優先度を決定し、
優先度の高いセンサにおいて検出されたセンサ情報を優先度の低いセンサにおいて検出されたセンサ情報よりも高品質に送信できるように通信制御を行い、
前記センサ情報を送信する、通信制御方法。
（付記１５）
移動体の移動状態を認識し、
前記移動体の周辺状態を認識し、
前記移動状態及び前記周辺状態に基づいて、前記移動体を基点に、互いに異なる方向の状態を検出可能に前記移動体に設置された２以上のセンサのそれぞれのセンサの優先度を決定し、
優先度の高いセンサにおいて検出されたセンサ情報を優先度の低いセンサにおいて検出されたセンサ情報よりも高品質に送信できるように通信制御を行い、
前記センサ情報を送信する、ことをコンピュータに実行させるプログラム。
【０１００】
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【０１０１】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１０２】
この出願は、２０１８年１０月３１日に出願された日本出願特願２０１８−２０５３４４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１０３】
１０  通信装置
１１  通信部
１２  移動状態認識部
１３  周辺状態認識部
１４  通信制御部
１５  通信部
１６  帯域評価部
１７  移動体識別部
２０  通信装置
３０  車両
３１  前カメラ
３２  後カメラ
３３  右カメラ
３４  左カメラ
３５  センサ
４０  サーバ装置
４５  ネットワーク
５０  通信装置
６０  通信装置
７０  通信装置
８０  ＡＰ
９０  車両
９１  カメラ
９２  カメラ
１００  車両
１０１  カメラ
１０２  カメラ
【図１】
2020090285.tif 000003
【図２】
2020090285.tif 000004
【図３】
2020090285.tif 000005
【図４】
2020090285.tif 000006
【図５】
2020090285.tif 000007
【図６】
2020090285.tif 000008
【図７】
2020090285.tif 000009
【図８】
2020090285.tif 000010
【図９】
2020090285.tif 000011
【図１０】
2020090285.tif 000012
【図１１】
2020090285.tif 000013
【手続補正書】
【提出日】令和3年4月14日(2021.4.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
移動体を基点に、互いに異なる方向の状態を検出可能に前記移動体に設置された２以上のセンサを用いて検出されたセンサ情報を送信する通信手段と、
前記移動体の移動状態を認識する移動状態認識手段と、
前記移動体の周辺状態を認識する周辺状態認識手段と、
前記移動状態及び前記周辺状態に基づいてそれぞれのセンサの優先度を決定し、優先度の高いセンサにおいて検出されたセンサ情報を優先度の低いセンサにおいて検出されたセンサ情報よりも高品質に送信できるように通信制御を行う通信制御手段と、を備える通信装置。
【請求項２】
前記センサ情報は、
前記移動体を基点に、互いに異なる方向を撮影可能に前記移動体に設置された２以上のカメラにおいて撮影された映像データであり、
前記通信制御手段は、
それぞれのカメラの優先度を決定し、優先度の高いカメラにおいて撮影された映像を優先度の低いカメラにおいて撮影された映像よりも高品質に送信できるように通信制御を行う、請求項１に記載の通信装置。
【請求項３】
前記周辺状態認識手段は、
それぞれの前記カメラにおいて撮影された映像データを用いて前記周辺状態を認識する、請求項２に記載の通信装置。
【請求項４】
前記周辺状態認識手段は、
それぞれの前記カメラにおいて撮影された映像データのトラヒック特性を用いて前記周辺状態を認識する、請求項３に記載の通信装置。
【請求項５】
前記周辺状態認識手段は
それぞれの前記カメラにおいて撮影された映像データの画像内容を解析して前記周辺状態を認識する、請求項３に記載の通信装置。
【請求項６】
前記周辺状態認識手段は、
前記移動体に設置されたミリ波レーダ、赤外線センサ、超音波ソナー、及びＬｉＤＡＲの少なくとも１つに基づいて前記周辺状態を認識する、請求項２に記載の通信装置。
【請求項７】
前記移動状態認識手段は、
前記移動体内に搭載されたネットワークを介して取得することができる前記移動体に搭載された機器の機器情報を用いて前記移動状態を認識する、請求項１乃至６のいずれか１項に記載の通信装置。
【請求項８】
前記移動状態は、
前記移動体の走行を制御するソフトウェアから取得できる走行制御情報を用いて前記移動状態を認識する、請求項１乃至６のいずれか１項に記載の通信装置。
【請求項９】
移動体の移動状態を認識し、
前記移動体の周辺状態を認識し、
前記移動状態及び前記周辺状態に基づいて、前記移動体を基点に、互いに異なる方向の状態を検出可能に前記移動体に設置された２以上のセンサのそれぞれのセンサの優先度を決定し、
優先度の高いセンサにおいて検出されたセンサ情報を優先度の低いセンサにおいて検出されたセンサ情報よりも高品質に送信できるように通信制御を行い、
前記センサ情報を送信する、通信制御方法。
【請求項１０】
移動体の移動状態を認識し、
前記移動体の周辺状態を認識し、
前記移動状態及び前記周辺状態に基づいて、前記移動体を基点に、互いに異なる方向の状態を検出可能に前記移動体に設置された２以上のセンサのそれぞれのセンサの優先度を決定し、
優先度の高いセンサにおいて検出されたセンサ情報を優先度の低いセンサにおいて検出されたセンサ情報よりも高品質に送信できるように通信制御を行い、
前記センサ情報を送信する、ことをコンピュータに実行させるプログラム。
【国際調査報告】
2020090285.tif 000014
2020090285.tif 000015
2020090285.tif 000016
2020090285.tif 000017