(57)【要約】  本技術は、車両に搭載されたセンサの中の不具合があるセンサの位置を、ユーザが容易に認識することができるようにする情報処理装置、情報処理方法、及び、情報処理システムに関する。車両に対する相対的な位置又は方向に関する位置関連情報が取得され、その位置関連情報に応じて、車両が映る車両画像に、車両に搭載されたセンサの中の不具合があるセンサの位置を表す不具合画像を合成した合成画像が表示される。本技術は、例えば、車両に搭載されたセンサの中の不具合があるセンサを、ユーザに認識させる場合に適用できる。
2019235245.tif 000002
【特許請求の範囲】
【請求項１】
車両に対する相対的な位置又は方向に関する位置関連情報を取得する位置関連情報取得部と、
前記位置関連情報に応じて、前記車両が映る車両画像に、前記車両に搭載されたセンサの中の不具合があるセンサの位置を表す不具合画像を合成した合成画像を表示させる表示制御部と
を備える情報処理装置。
【請求項２】
前記表示制御部は、前記位置関連情報に応じて、前記車両を俯瞰した前記車両画像に、前記車両に対する前記情報処理装置の相対的な位置を表す画像及び前記不具合画像を合成した前記合成画像を表示させる
請求項１に記載の情報処理装置。
【請求項３】
前記表示制御部は、前記位置関連情報に応じて、前記情報処理装置の位置から前記車両を見た前記車両画像に、前記不具合画像を合成した前記合成画像を表示させる
請求項１に記載の情報処理装置。
【請求項４】
前記車両画像は、前記情報処理装置の位置から見た前記車両のCG(Computer Graphics)、又は、前記情報処理装置の位置から前記車両をカメラで撮影した撮影画像である
請求項３に記載の情報処理装置。
【請求項５】
前記表示制御部は、
前記車両を俯瞰した前記車両画像に、前記車両に対する前記情報処理装置の相対的な位置を表す画像及び前記不具合画像を合成した前記合成画像を表示する俯瞰表示と、
前記情報処理装置の位置から見た前記車両のCG(Computer Graphics)に、前記不具合画像を合成した前記合成画像を表示するVR(Virtual Reality)表示と、
前記情報処理装置の位置から前記車両をカメラで撮影した撮影画像に、前記不具合画像を合成した前記合成画像を表示するAR(Augmented Reality)表示と
を切り替える
請求項１に記載の情報処理装置。
【請求項６】
前記表示制御部は、
前記情報処理装置の位置から、前記不具合があるセンサが見えない場合、前記俯瞰表示を行い、
前記情報処理装置の位置から、前記不具合があるセンサが見える場合、前記VR表示又は前記AR表示を行う
請求項５に記載の情報処理装置。
【請求項７】
前記表示制御部は、前記撮影画像の明るさに応じて、前記VR表示又は前記AR表示を行う
請求項５に記載の情報処理装置。
【請求項８】
前記車両は、前記不具合があるセンサの周辺の発光部を点灯させる
請求項１に記載の情報処理装置。
【請求項９】
前記車両は、前記不具合があるセンサの不具合が解消された場合に、前記発光部を消灯させる
請求項８に記載の情報処理装置。
【請求項１０】
前記センサは、前記発光部を有する
請求項８に記載に情報処理装置。
【請求項１１】
前記センサは、カメラである
請求項１に記載の情報処理装置。
【請求項１２】
前記不具合は、前記センサの汚れである
請求項１に記載の情報処理装置。
【請求項１３】
前記不具合画像は、前記汚れがあるセンサの前記汚れの位置を表す画像を含む
請求項１２に記載の情報処理装置。
【請求項１４】
携帯端末である
請求項１に記載の情報処理装置。
【請求項１５】
車両に対する相対的な位置又は方向に関する位置関連情報を取得することと、
前記位置関連情報に応じて、前記車両が映る車両画像に、前記車両に搭載されたセンサの中の不具合があるセンサの位置を表す不具合画像を合成した合成画像を表示させることと
を含む情報処理方法。
【請求項１６】
車両に搭載されるセンサと、
前記センサの不具合を検出する不具合検出部と、
画像を表示する表示部と、
前記車両に対する相対的な位置又は方向に関する位置関連情報を取得する位置関連情報取得部と、
前記位置関連情報に応じて、前記車両が映る車両画像に、前記車両に搭載されたセンサの中の不具合があるセンサの位置を表す不具合画像を合成した合成画像を表示させる表示制御部と
を備える情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置、情報処理方法、及び、情報処理システムに関し、特に、例えば、車両に搭載されたセンサの中の不具合があるセンサの位置を、ユーザが容易に認識することができるようにする情報処理装置、情報処理方法、及び、情報処理システムに関する。
【背景技術】
【０００２】
近年、自動ブレーキ等の運転支援等のために、四輪等の自動車では、車外に、カメラ等の多数のセンサが搭載されつつある。【０００３】
車外に搭載されたセンサには、汚れが付着しやすく、センサに付着した汚れは、センサのセンシングを妨げるため、センサに付着した汚れを洗浄する必要がある。【０００４】
例えば、特許文献１には、センサとしてのカメラで撮影された画像を、携帯端末に表示し、センサの汚れ具合を、ユーザに報知する技術が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2012-106557号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
センサとしてのカメラで撮影された画像を、携帯端末に表示する場合、ユーザは、カメラに汚れがあることを認識することができるが、その汚れがあるカメラが搭載されている位置（自動車における位置）を認識することは困難である。そして、汚れがあるカメラの位置が不明である場合には、ユーザは、センサに付着した汚れを洗浄することが困難である。【０００７】
本技術は、このような状況に鑑みてなされたものであり、車両に搭載されたセンサの中の、汚れ等の不具合があるセンサの位置を、ユーザが容易に認識することができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の情報処理装置は、車両に対する相対的な位置又は方向に関する位置関連情報を取得する位置関連情報取得部と、前記位置関連情報に応じて、前記車両が映る車両画像に、前記車両に搭載されたセンサの中の不具合があるセンサの位置を表す不具合画像を合成した合成画像を表示させる表示制御部とを備える情報処理装置である。【０００９】
本技術の情報処理方法は、車両に対する相対的な位置又は方向に関する位置関連情報を取得することと、前記位置関連情報に応じて、前記車両が映る車両画像に、前記車両に搭載されたセンサの中の不具合があるセンサの位置を表す不具合画像を合成した合成画像を表示させることとを含む情報処理方法である。【００１０】
本技術の情報処理システムは、車両に搭載されるセンサと、前記センサの不具合を検出する不具合検出部と、画像を表示する表示部と、前記車両に対する相対的な位置又は方向に関する位置関連情報を取得する位置関連情報取得部と、前記位置関連情報に応じて、前記車両が映る車両画像に、前記車両に搭載されたセンサの中の不具合があるセンサの位置を表す不具合画像を合成した合成画像を表示させる表示制御部とを備える情報処理システムである。【００１１】
本技術の情報処理装置、情報処理方法、及び、情報処理システムにおいては、車両に対する相対的な位置又は方向に関する位置関連情報が取得され、前記位置関連情報に応じて、前記車両が映る車両画像に、前記車両に搭載されたセンサの中の不具合があるセンサの位置を表す不具合画像を合成した合成画像が表示される。【００１２】
なお、情報処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。【００１３】
また、情報処理装置は、コンピュータにプログラムを実行させることにより実現することができる。プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
【発明の効果】
【００１４】
本技術によれば、車両に搭載されたセンサの中の不具合があるセンサの位置を、ユーザが容易に認識することができる。【００１５】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１６】
【図１】本技術を適用した情報処理システムとしての車両制御システムの一実施の形態の概要を示す図である。
【図２】車両１の電気的構成例を示すブロック図である。
【図３】車外端末４０の電気的構成例を示すブロック図である。
【図４】合成画像の第１の表示例としてのAR(Augmented Reality)表示を説明する図である。
【図５】合成画像の第２の表示例としてのVR(Virtual Reality)表示を説明する図である。
【図６】合成画像の第３の表示例としての俯瞰表示を説明する図である。
【図７】報知処理に同期した車両１の設備の制御の例を説明する図である。
【図８】車両制御装置１０の報知処理を説明するフローチャートである。
【図９】車外端末４０の報知処理を説明するフローチャートである。
【図１０】汚れの位置を表す画像を含む不具合画像の表示の表示例を示す図である。
【図１１】発光部を有するセンサ３０ｉの構成例を示す断面図及び平面図である。
【図１２】本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【発明を実施するための形態】
【００１７】
＜本技術を適用した情報処理システムの一実施の形態＞
【００１８】
図１は、本技術を適用した情報処理システムとしての車両制御システムの一実施の形態の概要を示す図である。
【００１９】
図１において、車両制御システムは、車両１及び車外端末４０を有する。
【００２０】
車両１は、例えば、4輪の乗用車あり、車両制御装置１０を内蔵している。さらに、車両１は、ヘッドライト、テールライト、その他、LED(Light Emitting Diode)やランプ等の車両１に装備された発光部としての車載ライト２０１及び２０２、並びに、カメラ等のセンサ３０１，３０２，３０３，３０４、及び、３０５等を、車外に搭載している。
【００２１】
車両制御装置１０は、センサ３０ｉ（本実施の形態では、ｉ＝１，２，３，４，５）から供給されるセンサ情報に応じて、運転支援等のための各種の制御を行う。また、車両制御装置１０は、車載ライト２０１及び２０２の点灯や消灯等の制御を行う。
【００２２】
さらに、車両制御装置１０は、車外端末４０との間で、無線通信を行い、各種の情報をやりとりする。
【００２３】
例えば、車両制御装置１０は、センサ３０ｉからのセンサ情報に応じて、センサ３０ｉの不具合を検出し、その不具合があるセンサ３０ｉの（車両１上の）位置等を含む不具合情報を生成して、車外端末４０に送信する。また、車両制御装置１０は、車外端末４０から送信されてくる位置関連情報や清掃終了通知を受信する。
【００２４】
車両制御装置１０は、車外端末４０からの位置関連情報に応じて、不具合があるセンサ３０ｉに近い車載ライト２０ｊ（本実施の形態では、ｊ＝１，２）を点灯させる。また、車両制御装置１０は、車外端末４０からの清掃終了通知に応じて、車載ライト２０ｊを消灯させる。
【００２５】
車外端末４０は、例えば、スマートフォン等のユーザ（例えば、車両１の運転者等）が携帯可能な携帯端末等の情報処理装置であり、車両制御装置１０との間で、無線通信を行い、各種の情報をやりとりする。
【００２６】
例えば、車外端末４０は、車両に対する車外端末４０の相対的な位置又は方向に関する位置関連情報を取得し、車両制御装置１０に送信する。また、車外端末４０は、ユーザの操作に応じて、センサ３０ｉの不具合としての、例えば、汚れの清掃が終了した旨の清掃終了通知を、車両制御装置１０に送信する。
【００２７】
さらに、車外端末４０は、車両制御装置１０から送信されてくる不具合情報を受信する。車外端末４０は、車両制御装置１０からの不具合情報から、不具合があるセンサ３０ｉの位置を表す不具合画像を生成し、位置関連情報に応じて、車両１が映る車両画像に、不具合画像を合成する。そして、車外端末４０は、車両画像に不具合画像を合成した合成画像を、表示部１４５に表示させる。
【００２８】
図１では、車外端末４０において、車両１上の不具合があるセンサ３０ｉの位置を表す黒で塗りつぶされた円形状の画像と、メッセージ「このカメラが泥で汚れています」が記載された吹き出しの画像とが、不具合画像として、その不具合画像が車両画像に合成（重畳）された合成画像が表示されている。
【００２９】
以上のように、図１の車両制御システムでは、車外端末４０において、車両１が映る車両画像に、車両１に搭載された不具合があるセンサ３０ｉの位置を表す不具合画像を合成した合成画像が表示されるので、ユーザは、車外に車外端末４０を携帯して、合成画像を見ることにより、車両１に搭載されたセンサ３０１ないし３０５の中の不具合があるセンサ３０ｉの位置を容易に認識することができる。
【００３０】
ここで、車外にセンサ３０ｉが搭載された車両１において、センサ３０ｉに汚れがあること等の不具合が、車両制御装置１０により検出された場合、ユーザ自身が車外に出て、センサ３０ｉを清掃する必要があるケースがある。例えば、車両１が、センサ３０ｉを、水や洗浄液、エア等で自動洗浄する洗浄システムを搭載していない場合や、洗浄システムを搭載していても、洗浄システムによってセンサ３０ｉの汚れを取りきれない場合には、ユーザが車外に出て、センサ３０ｉを清掃する必要がある。
【００３１】
ユーザが車外に出て、センサ３０ｉを清掃する場合、ユーザが、汚れがあるセンサ３０ｉの車両１上の位置や、必要に応じて、汚れの状況を認識する必要がある。センサ３０ｉの汚れの情報が、車両１の車内のディスプレイに表示されるだけの場合、ユーザは、ディスプレイの表示を見て、汚れがあるセンサ３０ｉの位置や汚れの状況を記憶し、さらに、車外に出て、汚れがあるセンサ３０ｉを見つけて、清掃する必要がある。また、汚れがあるセンサ３０ｉの清掃後、センサ３０ｉの汚れが除去され、センサ３０ｉが問題ない状態になったと、車両制御装置１０が判定するかどうか、すなわち、センサ３０ｉについて、汚れが検出されない状態になったかどうかを、ユーザは、車外から車内に戻って確認する必要がある。
【００３２】
さらに、将来的には、車両１が自動運転車両として実現された場合、センシングのロバスト性を向上させるために、車両１に搭載されるセンサ３０ｉの数が多くなり、しかも、センサ３０ｉが小型化されることが予想される。そして、自動運転車両が普及した世の中では、自動配車されるタクシーや、カーシェアの自動車等の、自分の所有物ではない車両を使用する機会が多くなることが予想される。このように、車両１が、自分の所有物ではない車両である場合には、車両１を使用するユーザは、センサ３０ｉが搭載されている車両１上の位置や、センサ３０ｉの搭載の状態を把握していないため、汚れがあるセンサ３０ｉを見つけるのに、時間を要することが予想される。
【００３３】
そこで、例えば、汚れがあるセンサ３０ｉに近い位置のライト（例えば、車載ライト２０ｊ等）を点滅させることや、汚れがあるセンサ３０ｉに近い位置で音を出力することで、ユーザに、汚れがあるセンサ３０ｉの位置を認識させる方法が考えられる。
【００３４】
しかしながら、上述のように、車両１に搭載されるセンサ３０ｉの数が多くなった場合、ライトの近くに、多数のセンサ３０ｉが存在することがある。この場合、汚れがあるセンサ３０ｉに近い位置のライトを点滅させても、ユーザが、汚れがあるセンサ３０ｉの位置を容易に認識することが困難であることがある。
【００３５】
そこで、図１の車両制御システムでは、上述のように、携帯可能な車外端末４０において、車両１が映る車両画像に、車両１に搭載された不具合があるセンサ３０ｉの位置を表す不具合画像を合成した合成画像が表示される。この場合、ユーザは、車外に車外端末４０を携帯して、合成画像を見ることにより、車両１に搭載されたセンサ３０１ないし３０５の中で、汚れ等の不具合があるセンサ３０ｉの位置を容易に認識することができる。
【００３６】
なお、車両１としては、4輪の乗用車の他、トラクタ等の農業用の車両や、ショベルカー等の建設用の車両、戦車、その他の任意の車両を採用することができる。また、車両１に代えて、ドローンや、飛行機、ロボット、その他のセンサが搭載される任意の装置を採用することができる。
【００３７】
さらに、センサ３０ｉの不具合には、ゴミや、虫、泥等の汚れ（センシングの障害になる障害物）の付着の他、センサ３０ｉの故障、その他の任意の不具合が含まれる。以下では、センサ３０ｉの不具合として、汚れ（の付着）を採用することとする。
【００３８】
また、センサ３０ｉとしては、カメラ（ステレオカメラを含む）や、測距センサ（ToF(Time of Flight)センサ、LIDAR(Light Detection and Ranging)センサ、ミリ波センサ等）、加速度センサ、温度センサ、その他の任意のセンサを採用することができる。
【００３９】
さらに、図１では、５個のセンサ３０１ないし３０５が、車両１に搭載されているが、車両１に搭載されるセンサ３０ｉの数は、５個に限定されるものではない。
【００４０】
また、車両制御装置１０と車外端末４０との間で行われる（双方向）無線通信の方式としては、例えば、無線LAN(Local Area Network)やBluetooth（登録商標）等の任意の方式を採用することができる。
【００４１】
さらに、車両制御装置１０と車外端末４０との間の無線通信は、ピアトゥピアで行ってもよいし、インターネット等のネットワーク経由で行ってもよい。
【００４２】
また、車外端末４０は、例えば、専用端末により実現することもできるし、スマートフォン等の汎用の情報処理装置にアプリケーションを実行させることにより実現することもできる。さらに、車外端末４０は、車両制御装置１０の着脱可能な１つのブロックとして構成することもできる。
【００４３】
＜車両１の電気的構成例＞
【００４４】
図２は、図１の車両１の電気的構成例を示すブロック図である。
【００４５】
車両１は、図１で説明したように、車両制御装置１０、車載ライト２０１及び２０２、並びに、カメラ等のセンサ３０１ないし３０５を有する。
【００４６】
車両制御装置１０は、表示部１１１、入力部１１２、情報処理部１１３、通信部１１４、及び、１１５を有する。
【００４７】
表示部１１１は、情報処理部１１３の制御に従い、各種の情報を表示する。
【００４８】
入力部１１２は、ユーザによって操作され、ユーザの操作に対応する入力情報を、情報処理部１１３に供給する。入力情報が入力部１１２から情報処理部１１３に供給されると、情報処理部１１３は、入力部１１２からの入力情報に応じた処理を行う。
【００４９】
なお、表示部１１１及び入力部１１２は、例えば、タッチパネル等を用いて、一体的に構成することができる。
【００５０】
情報処理部１１３は、車両制御装置１０を構成する各ブロックの制御、その他各種の処理を行う。
【００５１】
通信部１１４は、車載ライト２０ｊやセンサ３０ｉ等との間で、有線通信を行う。
【００５２】
例えば、通信部１１４は、情報処理部１１３から供給されるライト制御情報を、車載ライト２０ｊに送信する。車載ライト２０ｊは、通信部１１４からのライト制御情報に従い、点灯し、点滅し、若しくは、消灯し、又は、発光の向きや強度を変更する。
【００５３】
また、例えば、通信部１１４は、センサ３０ｉから送信されてくるセンサ情報を受信し、情報処理部１１３に供給する。センサ３０ｉのセンサ情報には、そのセンサ３０ｉで行われたセンシングのセンシング結果（例えば、カメラの撮影により得られるRGB(Red, Green, Blue)等を画素値として有する撮影画像や、測距センサの測距により得られる距離を画素値として有する距離画像等）と、センサ３０ｉの不具合としての汚れの汚れ状況等とが含まれる。情報処理部１１３は、通信部１１４からのセンサ３０ｉのセンサ情報に応じて、センサ３０ｉの不具合としての汚れを検出し、センサ３０ｉについて、汚れがあるかどうかを表す不具合情報を生成する。さらに、情報処理部１１３は、センサ３０ｉの不具合情報に、そのセンサ３０ｉの（車両１上の）位置を表すセンサ位置情報を含め、通信部１１５に供給して、車外端末４０に送信させる。
【００５４】
通信部１１５は、車外端末４０等との間で、無線通信を行う。
【００５５】
例えば、通信部１１５は、情報処理部１１３から供給されるセンサ３０ｉの不具合情報を、車外端末４０に送信する。
【００５６】
また、例えば、通信部１１５は、車外端末４０から送信されてくる位置関連情報や清掃終了通知を受信し、情報処理部１１３に供給する。
【００５７】
車外端末４０から送信されてくる位置関連情報は、車外端末４０の、車両１に対する相対的な位置又は方向に関する情報であり、情報処理部１１３は、位置関連情報から、車外端末４０の、車両１に対する相対的な位置（以下、単に、相対位置ともいう）を求める。すなわち、位置関連情報が、車外端末４０の、車両１に対する相対的な位置を表す場合、情報処理部１１３は、位置関連情報が表す相対的な位置を、車外端末４０の相対位置として採用する。また、位置関連情報が、車外端末４０の、車両１に対する相対的な方向を表す場合、情報処理部１１３は、例えば、位置関連情報が表す相対的な方向の、車両１から所定の距離の位置を、車外端末４０の相対位置として求める。そして、情報処理部１１３は、車外端末４０の相対位置等に応じて、車載ライト２０ｊを制御するライト制御情報を、通信部１１４に供給して、車載ライト２０ｊに送信させることで、車載ライト２０ｊを制御する。
【００５８】
車外端末４０から送信されてくる清掃終了通知は、汚れがあるセンサ３０ｉの清掃が終了した旨の通知であり、情報処理部１１３は、通信部１１５から清掃終了通知が供給されると、情報処理部１１３は、再び、通信部１１４からのセンサ３０ｉのセンサ情報に応じて、センサ３０ｉの不具合としての汚れ（の有無）を検出し、不具合情報を生成することを繰り返す。
【００５９】
＜車外端末４０の電気的構成例＞
【００６０】
図３は、図１の車外端末４０の電気的構成例を示すブロック図である。
【００６１】
車外端末４０は、通信部１４１、情報処理部１４２、カメラ１４４、及び、表示部１４５を有する。
【００６２】
通信部１４１は、車両制御装置１０等との間で、無線通信を行う。
【００６３】
例えば、通信部１４１は、情報処理部１４２（の制御部１５５）から供給される位置関連情報や清掃終了通知を、車両制御装置１０に送信する。また、通信部１４１は、車両制御装置１０（の通信部１１５）から送信されてくる不具合情報を受信し、情報処理部１４２（の制御部１５５）に供給する。
【００６４】
情報処理部１４２は、車両制御装置１０を構成する各ブロックの制御、その他各種の処理を行う。
【００６５】
情報処理部１４２は、画像処理部１５１、位置関連情報取得部１５２、画像生成部１５３、表示制御部１５４、及び、制御部１５５を有する。
【００６６】
画像処理部１５１には、カメラ１４４で撮影された撮影画像が供給される。画像処理部１５１は、カメラ１４４からの撮影画像が、車両１が映る車両画像である場合、その車両画像である撮影画像を、位置関連情報取得部１５２に供給するとともに、必要に応じて、表示制御部１５４に供給する。
【００６７】
また、画像処理部１５１は、車両画像である撮影画像から、車両１のCG(Computer Graphics)を生成し、そのCGとしての車両画像を、表示制御部１５４に供給する。
【００６８】
位置関連情報取得部１５２は、画像処理部１５１からの車両画像である撮影画像等を用い、例えば、SLAM(Simultaneous Localization and Mapping)によって、車外端末４０の、車両１に対する相対的な位置又は方向に関する位置関連情報を推定することにより取得し、画像生成部１５３、及び、制御部１５５に供給する。
【００６９】
ここで、位置関連情報取得部１５２では、SLAMにより、車外端末４０の位置関連情報を取得することとしたが、車外端末４０の位置関連情報は、その他の任意の方法で取得することができる。
【００７０】
例えば、車外端末４０の位置関連情報は、車両画像である撮影画像に映る車両１の形状から推定することができる。また、車両１に所定のマーカを設けておき、車両画像である撮影画像に映る車両１上のマーカから、車外端末４０の位置関連情報を推定することができる。さらに、車両１から指向性の強い電波を送信し、その電波の、車外端末４０での受信状況から、車外端末４０の位置関連情報を推定することができる。また、車両１及び車外端末４０にGPS(Global Positioning System)機能が搭載されている場合には、そのGPS機能により得られる車両１及び車外端末４０の位置から、車外端末４０の位置関連情報を推定することができる。さらに、車両１のセンサ３０ｉが測距のための赤外線を発する場合や、車両１に可視光を発するLEDが設けられている場合には、その赤外線や可視光の、車外端末４０での受光状況から、車外端末４０の位置関連情報を推定することができる。
【００７１】
以上は、車外端末４０において位置関連情報を求める方法であるが、車外端末４０の位置関連情報は、車外端末４０ではなく、車両１で求めることができる。そして、車両１で求められた位置関連情報を、車両１から車外端末４０に送信し、車外端末４０において、車両１からの位置関連情報を受信することにより取得することができる。
【００７２】
車両１では、例えば、カメラとしてのセンサ３０ｉによって、車外端末４０を所持して、車外にいるユーザを撮影し、その撮影により得られる撮影画像に映るユーザを認識することにより、ユーザの位置関連情報を、車外端末４０の位置関連情報として求めることができる。また、例えば、１つのセンサ３０ｉとして人感センサを採用し、その人感センサのセンシング結果から、ユーザの位置関連情報を、車外端末４０の位置関連情報として求めることができる。さらに、車外端末４０から指向性の強い電波を送信し、その電波の、車両１での受信状況から、車外端末４０の位置関連情報を求める（推定する）ことができる。また、車外端末４０が赤外線や可視光を発することができる場合には、その赤外線や可視光の、車両１での受光状況から、車外端末４０の位置関連情報を求めることができる。
【００７３】
その他、車外端末４０の位置関連情報は、上述の方法を複数組み合わせて求め、ロバスト性を向上させることができる。
【００７４】
画像生成部１５３には、位置関連情報取得部１５２から、車外端末４０の位置関連情報が供給される他、制御部１５５から、車両制御装置１０から送信されてくる不具合情報が供給される。画像生成部１５３は、位置関連情報取得部１５２からの位置関連情報、及び、制御部１５５からの不具合情報に応じて、汚れがあるセンサ３０ｉの位置を表す不具合画像を生成し、表示制御部１５４に供給する。
【００７５】
表示制御部１５４は、各種の画像を表示部１４５に供給して表示させる表示制御を行う。また、表示制御部１５４は、画像処理部１５１から供給される撮影画像の車両画像、又は、CGの車両画像に、画像生成部１５３からの不具合画像を合成し、合成画像を生成する。そして、表示制御部１５４は、合成画像を、表示部１４５に供給して表示させる。
【００７６】
制御部１５５は、情報処理部１４２の各ブロックの制御、その他各種の処理を行う。
【００７７】
例えば、制御部１５５は、入力部１４３の操作に応じて、清掃終了通知を生成し、通信部１４１に供給して送信させる。また、制御部１５５は、位置関連情報取得部１５２から供給される位置関連情報を、通信部１４１に供給して送信させる。さらに、制御部１５５は、通信部１４１から供給される、車両制御装置１０から送信されてくる不具合情報を、画像生成部１５３に供給する。
【００７８】
入力部１４３は、ユーザによって操作され、ユーザの操作に対応する入力情報を、制御部１５５に供給する。
【００７９】
カメラ１４４は、例えば、車両１等の被写体を撮影し、その撮影により得られる撮影画像を、画像処理部１５１に供給する。
【００８０】
表示部１４５は、表示制御部１５４の表示制御に従い、表示制御部１５４から供給される合成画像等の画像を表示する。
【００８１】
なお、入力部１４３及び表示部１４５は、例えば、タッチパネル等を用いて、一体的に構成することができる。
【００８２】
図２の車両１及び図３の車外端末４０で構成される図１の車両制御システムでは、例えば、車両１の車両制御装置１０が起動し、かつ、車両１が安全な場所で停車している状態の、あらかじめ決められたタイミングで、センサ３０ｉの不具合としての汚れを、ユーザに報知する報知処理が開始される。あらかじめ決められたタイミングとしては、例えば、ユーザが車両１に近づいたとき（車両１の所定の範囲内に入ったとき）や、ユーザが車外から車両１のロック（キー）を解除したとき、ユーザが車両１のエンジンをかけたとき等を採用することができる。
【００８３】
なお、車両制御装置１０において十分な電力を使用することができるように、報知処理は、車両１のエンジンがかかっている状態で行うことが望ましい。但し、車両１が電気自動車である場合には、車両１のエンジンをかけなくても、車両制御装置１０において十分な電力を使用することができるので、報知処理は、車両１のエンジンがかかっていない状態で行ってもよい。
【００８４】
また、車両１の走行中に、車外端末４０に合成画像等が表示されても、車両１の運転をしているユーザは、車外端末４０に表示された合成画像等を見ることができないため、車両１の走行中には、車外端末４０に合成画像等を表示しないこととする。
【００８５】
車両制御装置１０（図２）において報知処理が開始されると、センサ３０ｉは、そのセンサ３０ｉの不具合としての汚れの汚れ状況を取得し、センサ情報に含めて送信する。センサ３０ｉが送信するセンサ情報は、通信部１１４で受信され、情報処理部１１３に供給される。なお、センサ３０ｉの汚れ状況の取得の方法としては、任意の方法を採用することができる。また、センサ３０ｉの汚れ状況は、報知処理を開始したときの他、任意のタイミングで取得することができる。例えば、車両１が走行しているときや、停車しているとき等に、センサ３０ｉの汚れ状況を取得して、車両制御装置１０やセンサ３０ｉの図示せぬメモリに記憶しておくことができる。そして、その後に行われる報知処理において、メモリに記憶されたセンサ３０ｉの汚れ状況を用いることができる。
【００８６】
情報処理部１１３は、通信部１１４からのセンサ情報（に含まれる汚れ状況）から、不具合としての汚れがあるセンサ３０ｉを検出する（センサ３０ｉの汚れを検出する）。汚れがあるセンサ３０ｉが検出された場合、情報処理部１１３は、センサ３０ｉが汚れている旨等の情報を、表示部１１１に表示させる。さらに、情報処理部１１３は、汚れがあるセンサ３０ｉの位置や汚れの状況（状態）等を、表示部１１１に表示させる。
【００８７】
また、情報処理部１１３は、センサ３０ｉについて、汚れがあるかどうかを表す不具合情報を生成する。さらに、情報処理部１１３は、センサ３０ｉの不具合情報に、そのセンサ３０ｉの位置を表すセンサ位置情報を含め、通信部１１５に供給して、車外端末４０に送信させる。
【００８８】
車両１の車内にいるユーザは、表示部１１１の表示を見て、センサ３０ｉに汚れがあることを認識した場合、汚れがあるセンサ３０ｉの清掃を行う。
【００８９】
汚れがあるセンサ３０ｉの清掃にあたり、ユーザは、車外端末４０を所持して、車外に出て、車外端末４０によって、汚れがあるセンサ３０ｉを確認する。そのため、ユーザは、車外に出て、車外端末４０としてのスマートフォンの表示部１４５を、自分側に向け、表示部１４５の反対側（表示部１４５が設けられている側を表側とすると、裏面側）に設けられたカメラ１４４で、車両１を撮影するような姿勢をとる。
【００９０】
車外端末４０（図３）において報知処理が開始されると、カメラ１４４は撮影を開始する。
【００９１】
これにより、カメラ１４４では、車外端末４０の位置（ユーザの位置）から見た車両１が映る車両画像としての撮影画像が撮影され、画像処理部１５１に供給される。画像処理部１５１は、カメラ１４４からの車両画像としての撮影画像を、位置関連情報取得部１５２に供給する。
【００９２】
さらに、画像処理部１５１は、カメラ１４４からの車両画像としての撮影画像を、表示制御部１５４に供給する。又は、画像処理部１５１は、カメラ１４４からの車両画像としての撮影画像から、車外端末４０の位置から見た車両１のCGを生成し、そのCGとしての車両画像を、表示制御部１５４に供給する。
【００９３】
表示制御部１５４は、画像処理部１５１からの車両画像を、表示部１４５に表示させる。
【００９４】
一方、位置関連情報取得部１５２は、画像処理部１５１からの車両画像としての撮影画像を用い、車外端末４０の、車両１に対する相対的な位置又は方向に関する位置関連情報を推定することにより取得し、画像生成部１５３、及び、制御部１５５に供給する。制御部１５５に供給された位置関連情報は、通信部１４１を介して、車両制御装置１０に送信され、必要に応じて、車載ライト２０ｊの制御等に用いられる。
【００９５】
また、車外端末４０（図３）では、通信部１４１が、車両制御装置１０の通信部１１５から送信されてくる不具合情報を受信し、制御部１５５に供給する。制御部１５５は、通信部１４１からの不具合情報を、画像生成部１５３に供給する。
【００９６】
画像生成部１５３は、位置関連情報取得部１５２からの位置関連情報、及び、制御部１５５からの不具合情報に応じて、汚れがあるセンサ３０ｉの位置を表す不具合画像を生成し、表示制御部１５４に供給する。
【００９７】
表示制御部１５４は、画像生成部１５３から不具合画像が供給されると、画像処理部１５１から供給される、車外端末４０の位置から見た車両１が映る車両画像（撮影画像又はCG）に、画像生成部１５３からの不具合画像を合成し、合成画像を生成する。そして、表示制御部１５４は、合成画像を、表示部１４５に供給して表示させる。
【００９８】
合成画像は、車外端末４０の位置、すなわち、ユーザの位置から見た車両１が映る車両画像に、不具合があるセンサ３０ｉの位置を表す不具合画像が合成された画像であるので、ユーザは、合成画像を見ることにより、車両１に搭載されたセンサ３０１ないし３０５の中の不具合としての汚れがあるセンサ３０ｉの位置を、容易に認識することができる。すなわち、ユーザは、車外端末４０の表示部１４５に表示された合成画像を見ることで、車両制御装置１０の表示部１１１に表示された汚れがあるセンサ３０ｉの位置を見るために車内に戻ることなく、汚れがあるセンサ３０ｉの位置を認識することができる。その結果、ユーザの利便性を向上することができる。
【００９９】
汚れがあるセンサ３０ｉの位置を認識したユーザは、そのセンサ３０ｉに近寄って清掃する。センサ３０ｉの清掃を終了したユーザは、清掃終了通知を通知するように、入力部１４３を操作する。制御部１５５は、入力部１４３の操作に応じて、清掃終了通知を、通信部１４１に送信させる。
【０１００】
通信部１４１が送信した清掃終了通知は、車両制御装置１０の通信部１１５で受信され、情報処理部１１３に供給される。情報処理部１１３は、清掃終了通知に応じて、再度、通信部１１４からのセンサ情報から、不具合としての汚れがあるセンサ３０ｉを検出する。そして、汚れがあるセンサ３０ｉが検出された場合、上述した場合と同様の処理が繰り返される。
【０１０１】
一方、汚れがあるセンサ３０ｉが検出されなかった場合、車両制御装置１０及び車外端末４０の報知処理は終了する。
【０１０２】
なお、ここでは、清掃終了通知を、車両制御装置１０の情報処理部１１３に通知するために、車外端末４０の入力部１４３を操作することとしたが、その他、車両制御装置１０の入力部１１２を操作することにより、清掃終了通知を、情報処理部１１３に通知することができる。
【０１０３】
また、表示制御部１５４では、車外端末４０の位置から見た車両１が映る車両画像に不具合画像を合成した合成画像の他、車両１を俯瞰した俯瞰画像に不具合画像を合成した合成画像を生成して、表示部１４５に表示させることができる。
【０１０４】
＜合成画像の表示例＞
【０１０５】
図４は、合成画像の第１の表示例としてのAR(Augmented Reality)表示を説明する図である。
【０１０６】
AR表示では、車外端末４０の位置から車両１をカメラ１４４で撮影した車両画像としての撮影画像に、不具合画像を合成した合成画像が表示される。
【０１０７】
図４では、車両１上の汚れがあるセンサ３０ｉの位置を表す円形状の画像と、メッセージ「このカメラが泥で汚れています」が記載された吹き出しの画像とを、不具合画像として、その不具合画像が車両画像としての撮影画像に合成された合成画像が、表示部１４５に表示されている。
【０１０８】
なお、図４では、車外端末４０を所持したユーザが、車両１の後方に位置している場合と、車両１の（前方に向って）左側のやや後方に位置している場合とにおいて、表示部１４５に表示される合成画像が示されている。
【０１０９】
AR表示によれば、ユーザ（が所持している車外端末４０）の位置から見た車両１の車両画像と、汚れがあるセンサ３０ｉの位置を表す不具合画像とが表示されるので、ユーザは、汚れがあるセンサ３０ｉの位置を、容易に認識することができる。
【０１１０】
図５は、合成画像の第２の表示例としてのVR(Virtual Reality)表示を説明する図である。
【０１１１】
VR表示では、車外端末４０の位置から車両１をカメラ１４４で撮影した車両画像から3D(dimensional)モデル等を用いて生成された、車外端末４０の位置から見た車両１が映る車両画像としてのCGに、不具合画像を合成した合成画像が表示される。
【０１１２】
図５では、車両１上の汚れがあるセンサ３０ｉの位置を表す円形状の画像と、メッセージ「このカメラが泥で汚れています」が記載された吹き出しの画像とを、不具合画像として、その不具合画像が車両画像としてのCGに合成された合成画像が、表示部１４５に表示されている。
【０１１３】
なお、図５では、図４の場合と同様に、車外端末４０を所持したユーザが、車両１の後方に位置している場合と、車両１の左側のやや後方に位置している場合とにおいて、表示部１４５に表示される合成画像が示されている。
【０１１４】
VR表示によれば、AR表示と同様に、ユーザ（が所持している車外端末４０）の位置から見た車両１の車両画像と、汚れがあるセンサ３０ｉの位置を表す不具合画像とが表示されるので、ユーザは、汚れがあるセンサ３０ｉの位置を、容易に認識することができる。
【０１１５】
ここで、AR表示とVR表示とは、車外端末４０の位置から車両１を見た車両画像に、不具合画像を合成した合成画像が表示される点で共通する。但し、AR表示の車両画像は、カメラ１４４で撮影された撮影画像であるのに対して、VR表示の車両画像は、CGである点で、AR表示とVR表示とは異なる。
【０１１６】
図６は、合成画像の第３の表示例としての俯瞰表示を説明する図である。
【０１１７】
俯瞰表示では、車両１を俯瞰した車両画像（以下、俯瞰画像ともいう）に、不具合画像と、車外端末４０の相対位置を表す相対位置画像とを合成した合成画像が表示される。
【０１１８】
図６では、車両１上の汚れがあるセンサ３０ｉの位置を表す円形状の画像と、メッセージ「このカメラが泥で汚れています」が記載された吹き出しの画像とを、不具合画像とするとともに、車外端末４０の相対位置を表す円形状の画像と、その相対位置がユーザの位置であることを表すメッセージ「現在地」とを、相対位置画像として、不具合画像及び相対位置画像が俯瞰画像に合成された合成画像が、表示部１４５に表示されている。
【０１１９】
俯瞰画像としては、例えば、パーキングアシストシステム用の、車両１を俯瞰した画像等を使用することができる。
【０１２０】
俯瞰表示によれば、車両１を俯瞰した俯瞰画像、汚れがあるセンサ３０ｉの位置を表す不具合画像、及び、ユーザ（が所持している車外端末４０）の相対位置（現在地）を表す相対位置画像が表示されるので、ユーザは、汚れがあるセンサ３０ｉの位置を、容易に認識することができる。
【０１２１】
以上説明したAR表示、VR表示、及び、俯瞰表示は、必要に応じて切り替えることができる。
【０１２２】
例えば、AR表示、VR表示、及び、俯瞰表示は、ユーザの操作に応じて切り替えることができる。
【０１２３】
その他、AR表示、VR表示、及び、俯瞰表示の切り替えは、以下のように行うことができる。
【０１２４】
例えば、ユーザの位置、すなわち、車外端末４０の位置から、汚れがあるセンサ３０ｉが見えない場合には、車外端末４０では、俯瞰表示を行うことができる。
【０１２５】
また、車外端末４０の位置から、汚れがあるセンサ３０ｉが見える場合には、車外端末４０では、AR表示又はVR表示を行うことができる。
【０１２６】
この場合、車外端末４０の位置から、汚れがあるセンサ３０ｉが見えないときには、俯瞰表示によって、汚れがあるセンサ３０ｉが見える位置への移動を、ユーザに促すことができる。そして、ユーザが、汚れがあるセンサ３０ｉが見える位置に移動した後は、AR表示又はVR表示によって、ユーザは、汚れがあるセンサ３０ｉの位置を、容易に認識することができる。
【０１２７】
また、車外端末４０では、例えば、カメラ１４４で撮影された車両画像の明るさに応じて、AR表示又はVR表示を行うことができる。例えば、車両画像の輝度の平均値が閾値以上である場合には、AR表示を行い、車両画像の輝度の平均値が閾値以上でない場合には、VR表示を行うことができる。
【０１２８】
例えば、夜間においては、カメラ１４４で撮影された車両画像が暗く、その車両画像に映る車両１が視認しにくいことがある。この場合、その車両画像に不具合画像を合成した合成画像でも、その合成画像に映る車両１が視認しにくくなる。
【０１２９】
そこで、カメラ１４４で撮影された車両画像が暗く、例えば、車両画像の輝度の平均値が閾値以上でない場合には、車両１のCGを表示するVR表示を行うことで、合成画像に映る車両１が視認しにくくなることを防止することができる。
【０１３０】
なお、ここでは、カメラ１４４で撮影された車両画像の明るさ（車両画像が暗いかどうか）を、車両画像の輝度の平均値によって判定することとしたが、カメラ１４４で撮影された車両画像の明るさは、その他、例えば、照度計により計測される照度等によって判定することができる。
【０１３１】
また、合成画像を生成するのに用いる不具合画像としては、上述した汚れがあるセンサ３０ｉの位置を表す画像の他、汚れがあるセンサ３０ｉの位置を分かりやすく表示する任意のGUI(Graphical User Interface)を採用することができる。
【０１３２】
＜報知処理に同期した車両１の設備の制御＞
【０１３３】
図７は、報知処理に同期した車両１の設備の制御の例を説明する図である。
【０１３４】
車両制御装置１０では、報知処理が行われるのに同期して（報知処理と並行して）、汚れがあるセンサ３０ｉの位置を、ユーザが容易に認識することを補助するために、車両１の設備を制御することができる。
【０１３５】
汚れがあるセンサ３０ｉの位置を、ユーザが容易に認識することを補助するために、車両制御装置１０が行う車両１の設備の制御を、補助制御ということとすると、車両制御装置１０では、車外端末４０から送信されてくる、車外端末４０の位置関連情報や、周囲の明るさ等に応じて、補助制御を行うことができる。
【０１３６】
例えば、車両制御装置１０では、周囲の明るさに応じて、周囲の明るさが暗い場合には、図７に示すように、情報処理部１１３が、通信部１１４を介して、汚れがあるセンサ３０ｉに近い車載ライト２０ｊ（汚れがあるセンサ３０ｉの周辺の車載ライト２０ｊ）を制御することにより、その車載ライト２０ｊを、所定の明るさで点灯させることができる。この場合、例えば、夜間において、汚れがあるセンサ３０ｉに近い車載ライト２０ｊが点灯するので、ユーザが、汚れがあるセンサ３０ｉを見つけることや、汚れがあるセンサ３０ｉの洗浄作業を補助することができる。
【０１３７】
また、車両制御装置１０では、車外端末４０から送信されてくる、車外端末４０の位置関連情報が、通信部１１５で受信され、情報処理部１１３に供給される。情報処理部１１３では、通信部１１５からの位置関連情報から、車外端末４０の相対位置が求められる。情報処理部１１３では、車外端末４０の相対位置を用いて、汚れがあるセンサ３０ｉが、車外端末４０の位置、すなわち、ユーザの位置から見えるかどうかを判定することができる。そして、情報処理部１１３では、周囲の明るさが暗く、かつ、汚れがあるセンサ３０ｉが、車外端末４０の位置から見える場合に、上述のように、汚れがあるセンサ３０ｉに近い車載ライト２０ｊを制御して点灯させることができる。
【０１３８】
なお、周囲が暗いかどうかは、カメラ１４４で撮影される撮影画像の明るさ（輝度）や、照度計により計測される照度等により判定することができる。
【０１３９】
情報処理部１１３では、その他、車外端末４０の相対位置に応じて、車載ライト２０ｊを制御して点滅又は点灯させることができる。
【０１４０】
例えば、ユーザ（が所持する車外端末４０）が、汚れがあるセンサ３０ｉから離れている場合には、情報処理部１１３は、汚れがあるセンサ３０ｉに近い車載ライト２０ｊを制御して点滅させることができる。この場合、点滅する車載ライト２０ｊによって、ユーザは、汚れがあるセンサ３０ｉのおおよその位置を認識することができる。
【０１４１】
また、例えば、ユーザが、汚れがあるセンサ３０ｉに近くに位置している場合には、情報処理部１１３は、汚れがあるセンサ３０ｉに近い車載ライト２０ｊを制御して、比較的高い光強度で点灯させることができる。この場合、例えば、汚れがあるセンサ３０ｉのおおよその位置を認識したユーザが、その汚れがあるセンサ３０ｉに近づいたときに、汚れがあるセンサ３０ｉの近くが明るく照らされるので、ユーザは、汚れがあるセンサ３０ｉの汚れ具合を確認することや、夜間におけるセンサ３０ｉの洗浄作業を補助することができる。
【０１４２】
なお、情報処理部１１３は、車載ライト２０ｊを点灯又は点滅させた場合、ユーザの操作等に応じて、又は、清掃終了通知が通知されるのを待って、車載ライト２０ｊを消灯させることができる。
【０１４３】
＜報知処理＞
【０１４４】
図８は、図２の車両制御装置１０の報知処理を説明するフローチャートである。
【０１４５】
ステップＳ１１において、車両制御装置１０の情報処理部１１３は、通信部１１４を介して、各センサ３０ｉから、センサ３０ｉのセンサ情報を取得し、処理は、ステップＳ１２に進む。
【０１４６】
ステップＳ１２では、情報処理部１１３が、各センサ３０ｉのセンサ情報を用いて、汚れがあるセンサ３０ｉがあるかどうか判定する。ここで、ステップＳ１２の処理を行う情報処理部１１３は、センサ３０ｉの不具合としての汚れを検出する不具合検出部として機能するということができる。
【０１４７】
ステップＳ１２において、汚れがあるセンサ３０ｉがないと判定された場合、処理は、ステップＳ１３に進み、情報処理部１１３は、不具合としての汚れがない旨の不具合情報を生成し、通信部１１５から、車外端末４０に送信させ、車両制御装置１０の報知処理は終了する。
【０１４８】
一方、ステップＳ１２において、汚れがあるセンサ３０ｉがあると判定された場合、処理は、ステップＳ１４に進み、情報処理部１１３は、不具合としての汚れがある旨の不具合情報を生成する。さらに、情報処理部１１３は、不具合情報に、汚れがあるセンサ３０ｉそれぞれの位置を表すセンサ位置情報を含め、通信部１１５から、車外端末４０に送信させ、処理は、ステップＳ１４からステップＳ１５に進む。
【０１４９】
ステップＳ１５では、情報処理部１１３は、車外端末４０から清掃終了通知を受信したかどうかを判定する。ステップＳ１５において、清掃終了通知を受信していないと判定された場合、処理は、ステップＳ１６に進み、情報処理部１１３は、必要に応じて、車外端末４０の位置関連情報等に応じ、通信部１１４を介して、車載ライト２０ｊを制御することにより、例えば、汚れがあるセンサ３０ｉに近い車載ライト２０ｊを点灯させる。そして、処理は、ステップＳ１６からステップＳ１５に戻り、以下、同様の処理が繰り返される。
【０１５０】
また、ステップＳ１５において、清掃終了通知を受信したと判定された場合、すなわち、例えば、ユーザが、汚れがあるセンサ３０ｉの清掃を行い、その後、清掃終了通知を通知するように、車外端末４０を操作することにより、車外端末４０から車両制御装置１０に、清掃終了通知が送信された場合、処理は、ステップＳ１７に進む。
【０１５１】
ステップＳ１７では、ステップＳ１６で車載ライト２０ｊが点灯された場合に、情報処理部１１３が、通信部１１４を介して、車載ライト２０ｊを制御することにより消灯させ、処理は、ステップＳ１１に戻る。したがって、ユーザが、汚れがあるセンサ３０ｉの清掃を行い、不具合としての汚れが解消された（と一応推測される）場合、点灯していた車載ライト２０ｊは消灯する。
【０１５２】
そして、ステップＳ１１では、上述のように、情報処理部１１３が、各センサ３０ｉのセンサ情報を取得し、以下、ステップＳ１２において、汚れがあるセンサ３０ｉがないと判定されるまで、同様の処理が繰り返される。
【０１５３】
図９は、図３の車外端末４０の報知処理を説明するフローチャートである。
【０１５４】
ステップＳ２１において、車外端末４０の制御部１５５は、車両制御装置１０からの不具合情報を取得し、処理は、ステップＳ２２に進む。すなわち、通信部１４１は、車両制御装置１０から不具合情報が送信されてくるのを待って、その不具合情報を受信し、制御部１５５に供給する。制御部１５５は、そのようにして通信部１４１から供給される不具合情報を取得する。
【０１５５】
ステップＳ２２では、制御部１５５は、ステップＳ２１で取得した車両制御装置１０からの不具合情報を用いて、汚れのあるセンサ３０ｉがあるかどうかを判定する。
【０１５６】
ステップＳ２２において、汚れのあるセンサ３０ｉがあると判定された場合、すなわち、車両制御装置１０からの不具合情報が、汚れがある旨を表し、その汚れがあるセンサ３０ｉのセンサ位置情報を含む場合、制御部１５５は、車両制御装置１０からの不具合情報を、画像生成部１５３に供給して、処理は、ステップＳ２３に進む。
【０１５７】
ステップＳ２３では、制御部１５５は、清掃終了通知を通知するように、入力部１４３が操作されたかどうかを判定する。
【０１５８】
ステップＳ２３において、清掃終了通知を通知するように、入力部１４３が操作されていないと判定された場合、処理は、ステップＳ２４に進み、位置関連情報取得部１５２は、車外端末４０の位置関連情報を取得し、制御部１５５及び画像生成部１５３に供給して、処理は、ステップＳ２５に進む。
【０１５９】
ステップＳ２５では、画像生成部１５３は、位置関連情報取得部１５２からの位置関連情報、及び、制御部１５５からの不具合情報に応じて、汚れがあるセンサ３０ｉの位置を表す不具合画像を生成し、表示制御部１５４に供給する。
【０１６０】
表示制御部１５４は、画像処理部１５１から供給される車両画像、又は、車両１を俯瞰した車両画像に、画像生成部１５３からの不具合画像を合成し、合成画像を生成する。そして、表示制御部１５４は、合成画像を、表示部１４５に供給して表示させる。
【０１６１】
また、制御部１５５は、位置関連情報取得部１５２からの位置関連情報を、通信部１４１から車両制御装置１０に送信させ、処理は、ステップＳ２５からステップＳ２３に戻る。
【０１６２】
ここで、以上のようにして、通信部１４１から車両制御装置１０に送信される位置関連情報が、図８のステップＳ１６の処理に用いられる。
【０１６３】
一方、ステップＳ２３において、清掃終了通知を通知するように、入力部１４３が操作されたと判定された場合、処理は、ステップＳ２６に進み、制御部１５５は、清掃終了通知を、通信部１４１から車両制御装置１０に送信させ、処理は、ステップＳ２１に戻る。
【０１６４】
ステップＳ２１では、上述したように、車両制御装置１０からの不具合情報が取得され、処理は、ステップＳ２２に進む。
【０１６５】
そして、ステップＳ２２において、汚れのあるセンサ３０ｉがないと判定された場合、すなわち、車両制御装置１０からの不具合情報が、汚れがない旨を表す場合、車外端末４０の報知処理は終了する。
【０１６６】
＜汚れの位置を表す画像を含む不具合画像の表示＞
【０１６７】
図１０は、汚れの位置を表す画像を含む不具合画像の表示の表示例を示す図である。
【０１６８】
例えば、センサ３０ｉが比較的大きなサイズのカメラである場合に、そのセンサ３０ｉとしてのカメラのレンズの一部が汚れており、その汚れの（レンズ上の）位置を、車両制御装置１０で検出することができるときには、不具合情報には、センサ３０ｉとしてのカメラの汚れの位置（範囲）を表す汚れ位置情報を含めることができる。
【０１６９】
この場合、車外端末４０（図３）の画像生成部１５３は、汚れがあるセンサ３０ｉの汚れの位置を表す画像を含む不具合画像を生成することができる。
【０１７０】
図１０は、車外端末４０の位置から車両１を見た車両画像に、汚れがあるセンサ３０ｉの汚れの位置を表す画像を含む不具合画像を合成した合成画像の表示例を示している。
【０１７１】
図１０では、汚れがあるセンサ３０ｉの位置を表す円形状の画像と、メッセージ「このカメラが泥で汚れています」が記載された吹き出しの画像とが、不具合画像として表示されている。さらに、図１０では、汚れがあるセンサ３０ｉとしてのカメラを模した画像上に汚れとしての影を付した画像を、汚れの位置を表す汚れ位置画像として、その汚れ位置画像を含む不具合画像が表示されている。
【０１７２】
以上のように、汚れ位置画像を表示する場合には、ユーザは、汚れがあるセンサ３０ｉ上のどの位置が汚れているのかを、容易に認識することができる。
【０１７３】
なお、汚れ位置画像において、汚れの位置は、例えば、画像の色を変更することや、点滅させること等により表すことができる。
【０１７４】
また、ユーザが、汚れがあるセンサ３０ｉを清掃し、汚れがなくなった場合には、車外端末４０において、不具合画像の表示を、汚れがなくなったことを表す画像の表示に変更することできる。
【０１７５】
図１０では、汚れがなくなったことを表す画像として、汚れがあったセンサ３０ｉの位置を表す円形状の画像と、メッセージ「汚れが落ちました」が記載された吹き出しの画像とが表示されている。さらに、図１０では、汚れがなくなったことを表す画像として、汚れがないセンサ３０ｉとしてのカメラを模した画像が表示されている。
【０１７６】
＜発光部を有するセンサ３０ｉの構成例＞
【０１７７】
図１１は、発光部を有するセンサ３０ｉの構成例を示す断面図及び平面図である。
【０１７８】
車両１においては、センサ３０ｉの周辺の位置（近い位置）に、車載ライト２０ｊが装備されているとは限らない。センサ３０ｉの周辺の位置に、車載ライト２０ｊが装備されていない場合、汚れがあるセンサ３０ｉの最も近い位置の車載ライト２０ｊが、図７で説明したように点灯されても、汚れがあるセンサ３０ｉから大きく離れた車載ライト２０ｊが点灯されることがある。このように、汚れがあるセンサ３０ｉから大きく離れた車載ライト２０ｊが点灯されることは、汚れがあるセンサ３０ｉの位置を、ユーザが容易に認識することを補助することにならず、却って妨げとなることがあり得る。
【０１７９】
そこで、車両１に搭載されるセンサ３０ｉとしては、発光部を有するセンサ３０ｉを採用することができる。
【０１８０】
図１１において、センサ３０ｉは、例えば、カメラで、イメージセンサ等で構成される光学センサ２００を有する。光学センサ２００の受光面側には、レンズ２０１が設けられている。さらに、光学センサ２００の周囲には、円環状の基板２０２が設けられ、その基板２０２上には、光学センサ２００（レンズ２０１）を囲むように、複数の発光部２０３が設けられている。
【０１８１】
ここで、発光部２０３は、LED等で構成することができる。また、図１１では、８個の発光部２０３が設けられているが、センサ３０ｉに設ける発光部２０３の数は、１個でも良いし、８個以外の複数個でも良い。
【０１８２】
以上のように、センサ３０ｉが発光部２０３を有する場合には、車載ライト２０ｊに代えて、汚れがあるセンサ３０ｉが有する発光部２０３を点灯又は点滅させることができる。汚れがあるセンサ３０ｉが有する発光部２０３を点灯又は点滅させる場合には、汚れがあるセンサ３０ｉの周辺の車載ライト２０ｊを点灯又は点滅させる場合に比較して、汚れがあるセンサ３０ｉのより正確な位置を、ユーザが容易に認識することができる。
【０１８３】
なお、不具合画像や合成画像は、車外端末４０で生成する他、車両制御装置１０やクラウド上のコンピュータで生成し、車外端末４０に供給することができる。
【０１８４】
＜本技術を適用したコンピュータの説明＞
【０１８５】
次に、上述した車両制御装置１０や車外端末４０の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０１８６】
図１２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
【０１８７】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク９０５やROM９０３に予め記録しておくことができる。
【０１８８】
あるいはまた、プログラムは、ドライブ９０９によって駆動されるリムーバブル記録媒体９１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体９１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体９１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
【０１８９】
なお、プログラムは、上述したようなリムーバブル記録媒体９１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク９０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
【０１９０】
コンピュータは、CPU(Central Processing Unit)９０２を内蔵しており、CPU９０２には、バス９０１を介して、入出力インタフェース９１０が接続されている。
【０１９１】
CPU９０２は、入出力インタフェース９１０を介して、ユーザによって、入力部９０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)９０３に格納されているプログラムを実行する。あるいは、CPU９０２は、ハードディスク９０５に格納されたプログラムを、RAM(Random Access Memory)９０４にロードして実行する。
【０１９２】
これにより、CPU９０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU９０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース９１０を介して、出力部９０６から出力、あるいは、通信部９０８から送信、さらには、ハードディスク９０５に記録等させる。
【０１９３】
なお、入力部９０７は、キーボードや、マウス、マイク等で構成される。また、出力部９０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
【０１９４】
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
【０１９５】
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１９６】
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１９７】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１９８】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１９９】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２００】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２０１】
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０２０２】
なお、本技術は、以下の構成をとることができる。
【０２０３】
＜１＞
車両に対する相対的な位置又は方向に関する位置関連情報を取得する位置関連情報取得部と、
前記位置関連情報に応じて、前記車両が映る車両画像に、前記車両に搭載されたセンサの中の不具合があるセンサの位置を表す不具合画像を合成した合成画像を表示させる表示制御部と
を備える情報処理装置。
＜２＞
前記表示制御部は、前記位置関連情報に応じて、前記車両を俯瞰した前記車両画像に、前記車両に対する前記情報処理装置の相対的な位置を表す画像及び前記不具合画像を合成した前記合成画像を表示させる
＜１＞に記載の情報処理装置。
＜３＞
前記表示制御部は、前記位置関連情報に応じて、前記情報処理装置の位置から前記車両を見た前記車両画像に、前記不具合画像を合成した前記合成画像を表示させる
＜１＞に記載の情報処理装置。
＜４＞
前記車両画像は、前記情報処理装置の位置から見た前記車両のCG(Computer Graphics)、又は、前記情報処理装置の位置から前記車両をカメラで撮影した撮影画像である
＜３＞に記載の情報処理装置。
＜５＞
前記表示制御部は、
前記車両を俯瞰した前記車両画像に、前記車両に対する前記情報処理装置の相対的な位置を表す画像及び前記不具合画像を合成した前記合成画像を表示する俯瞰表示と、
前記情報処理装置の位置から見た前記車両のCG(Computer Graphics)に、前記不具合画像を合成した前記合成画像を表示するVR(Virtual Reality)表示と、
前記情報処理装置の位置から前記車両をカメラで撮影した撮影画像に、前記不具合画像を合成した前記合成画像を表示するAR(Augmented Reality)表示と
を切り替える
＜１＞に記載の情報処理装置。
＜６＞
前記表示制御部は、
前記情報処理装置の位置から、前記不具合があるセンサが見えない場合、前記俯瞰表示を行い、
前記情報処理装置の位置から、前記不具合があるセンサが見える場合、前記VR表示又は前記AR表示を行う
＜５＞に記載の情報処理装置。
＜７＞
前記表示制御部は、前記撮影画像の明るさに応じて、前記VR表示又は前記AR表示を行う
＜５＞に記載の情報処理装置。
＜８＞
前記車両は、前記不具合があるセンサの周辺の発光部を点灯させる
＜１＞ないし＜７＞のいずれかに記載の情報処理装置。
＜９＞
前記車両は、前記不具合があるセンサの不具合が解消された場合に、前記発光部を消灯させる
＜８＞に記載の情報処理装置。
＜１０＞
前記センサは、前記発光部を有する
＜８＞又は＜９＞に記載に情報処理装置。
＜１１＞
前記センサは、カメラである
＜１＞ないし＜１０＞のいずれかに記載の情報処理装置。
＜１２＞
前記不具合は、前記センサの汚れである
＜１＞ないし＜１１＞のいずれかに記載の情報処理装置。
＜１３＞
前記不具合画像は、前記汚れがあるセンサの前記汚れの位置を表す画像を含む
＜１２＞に記載の情報処理装置。
＜１４＞
携帯端末である
＜１＞ないし＜１３＞のいずれかに記載の情報処理装置。
＜１５＞
車両に対する相対的な位置又は方向に関する位置関連情報を取得することと、
前記位置関連情報に応じて、前記車両が映る車両画像に、前記車両に搭載されたセンサの中の不具合があるセンサの位置を表す不具合画像を合成した合成画像を表示させることと
を含む情報処理方法。
＜１６＞
車両に搭載されるセンサと、
前記センサの不具合を検出する不具合検出部と、
画像を表示する表示部と、
前記車両に対する相対的な位置又は方向に関する位置関連情報を取得する位置関連情報取得部と、
前記位置関連情報に応じて、前記車両が映る車両画像に、前記車両に搭載されたセンサの中の不具合があるセンサの位置を表す不具合画像を合成した合成画像を表示させる表示制御部と
を備える情報処理システム。
【符号の説明】
【０２０４】
１  車両，  １０  車両制御装置，  ２０１，２０２  車載ライト，  ３０１ないし３０５  センサ，  ４０  車外端末，  １１１  表示部，  １１２  入力部，  １１３  情報処理部，  １１４，１１５，１４１  通信部，  １４２  情報処理部，  １４３  入力部，  １４４  カメラ，  １４５  表示部，  １５１  画像処理部，  １５２  位置関連情報取得部，  １５３  画像生成部，  １５４  表示制御部，  １５５  制御部，  ２００  光学センサ，  ２０１  レンズ，  ２０２  基板，  ２０３  発光部，  ９０１  バス，  ９０２  CPU，  ９０３  ROM，  ９０４  RAM，  ９０５  ハードディスク，  ９０６  出力部，  ９０７  入力部，  ９０８  通信部，  ９０９  ドライブ，  ９１０  入出力インタフェース，  ９１１  リムーバブル記録媒体
【図１】
2019235245.tif 000003
【図２】
2019235245.tif 000004
【図３】
2019235245.tif 000005
【図４】
2019235245.tif 000006
【図５】
2019235245.tif 000007
【図６】
2019235245.tif 000008
【図７】
2019235245.tif 000009
【図８】
2019235245.tif 000010
【図９】
2019235245.tif 000011
【図１０】
2019235245.tif 000012
【図１１】
2019235245.tif 000013
【図１２】
2019235245.tif 000014
【国際調査報告】
2019235245.tif 000015
2019235245.tif 000016
2019235245.tif 000017