(57)【要約】      （修正有）【課題】車両の屋根全体を監視すると共に、屋根上の異物の誤検知を防止する車両監視装置及び車両監視システムを提供する。【解決手段】車両９０において、３６０度の画角を持つカメラ３Ａ、３Ｂは、屋根９１に設置されており、車両９０の周囲に加えて屋根上も撮像可能である。車両監視装置の異物検知部は、カメラ３Ａ、３Ｂにより撮像された画像を用いて、屋根上の異物９２ａ、９２ｂを検知する。なお、屋根上の異物の検知だけであれば、少なくとも、３６０度の画角を持つカメラが１つ屋根の中央部に設置されていればよい。このようにカメラは１つでもよいが、複数あることにより、カメラ撮像範囲の死角が削減可能となり、また、逆光等の太陽光及び夜間における街灯等の高輝度物体が画像に入り込むことに伴う異物の検知精度への悪影響の緩和が可能となる。【選択図】図１
2020052639.tif 000002
【特許請求の範囲】
【請求項１】
車両の屋根を撮像する１つ以上のカメラにより撮像された画像を用いて、前記屋根上の異物を検知する異物検知部を備える車両監視装置。
【請求項２】
前記異物検知部により前記異物が検知された場合、前記屋根上に前記異物が存在することを、前記車両の乗員又は前記車両の乗員以外の予め定められた対象者の少なくとも一方に通知するための通知情報を生成する通知情報生成部と、
前記通知情報生成部により生成された前記通知情報を、前記車両に搭載された表示装置又は前記対象者が所有する携帯端末へ出力する通知出力部とを備える請求項１記載の車両監視装置。
【請求項３】
前記通知情報は、前記カメラにより撮像された前記異物の画像であることを特徴とする請求項２記載の車両監視装置。
【請求項４】
前記異物検知部により前記異物が検知された場合、前記屋根に搭載された異物除去装置を作動させて前記異物を除去させる異物除去指示部を備えることを特徴とする請求項１記載の車両監視装置。
【請求項５】
一対の前記カメラは、カメラ間距離が最大になるように前記屋根に配置されていることを特徴とする請求項１記載の車両監視装置。
【請求項６】
前記異物検知部は、前記カメラにより撮像された画像と、前記屋根上を測定する１つ以上の距離センサにより測定された距離情報とを用いて、前記屋根上の異物を検知することを特徴とする請求項１記載の車両監視装置。
【請求項７】
前記距離センサは、前記カメラの画角の辺縁側に配置されていることを特徴とする請求項６記載の車両監視装置。
【請求項８】
車両の屋根を撮像する１つ以上のカメラと、
前記カメラにより撮像された画像を用いて、屋根上の異物を検知する異物検知部とを備える車両監視システム。
【請求項９】
前記異物検知部により前記異物が検知された場合、前記屋根上に前記異物が存在することを、前記車両の乗員又は前記車両の乗員以外の予め定められた対象者の少なくとも一方に通知するための通知情報を生成する通知情報生成部と、
前記通知情報生成部により生成された前記通知情報を、前記車両に搭載された表示装置又は前記対象者が所有する携帯端末へ出力する通知出力部とを備える請求項８記載の車両監視システム。
【請求項１０】
前記通知情報は、前記カメラにより撮像された前記異物の画像であることを特徴とする請求項９記載の車両監視システム。
【請求項１１】
前記屋根に搭載された異物除去装置と、
前記異物検知部により前記異物が検知された場合、前記異物除去装置を作動させて前記異物を除去させる異物除去指示部とを備えることを特徴とする請求項８記載の車両監視システム。
【請求項１２】
一対の前記カメラは、カメラ間距離が最大になるように前記屋根に配置されていることを特徴とする請求項８記載の車両監視システム。
【請求項１３】
前記屋根上を測定する１つ以上の距離センサを備え、
前記異物検知部は、前記カメラにより撮像された画像と、前記距離センサにより測定された距離情報とを用いて、前記屋根上の異物を検知することを特徴とする請求項８記載の車両監視システム。
【請求項１４】
前記距離センサは、前記カメラの画角の辺縁側に配置されていることを特徴とする請求項１３記載の車両監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両の屋根上を監視する車両監視装置及び車両監視システムに関するものである。
【背景技術】
【０００２】
ユーザにとって車両の屋根は一時的に物を置くのに大変都合が良く、車両に乗り込む際に両手が塞がっている場合又は車外で短時間の休憩をとった場合等に屋根へ物を置く行為は日常的に行われている状況にある。ユーザが屋根に物を置いた後にそれを失念してしまい、そのまま車両を出発させてしまうと、置き忘れた物の紛失、損傷若しくは散乱、又は車両自体の損傷等が発生し、ユーザは損害を被ることになるという問題があった。
【０００３】
特許文献１には、屋根上の物の置き忘れを予防する手段が考案されている。この特許文献１に係る置忘れ警報装置は、屋根上に配置された圧電素子によって屋根上に置かれた物を検知し、運転者に警告を発する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】実開昭６４−５４１９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に係る置忘れ警報装置は、物の検知に圧電素子を用いており、置き忘れた物の重さが軽すぎる場合、及び圧電素子が配置された範囲外に物が置かれた場合には、置き忘れを検知できないという課題があった。
【０００６】
上記課題に関して、軽量な物体に敏感に反応する圧電素子を採用すること、及び屋根全体に圧電素子を配置すること等の改善手段が考えられる。しかしながら、軽量な物体に敏感に反応する圧電素子を採用する場合、物の置き忘れが無いにも関わらず有ると誤検知することが多くなり、延いては運転者へ必要以上の警告を発することで顧客満足度の低下を招くことが予想される。また、屋根全体に圧電素子を配置する場合、圧電素子の使用量増加に伴う材料コストの上昇及び車両重量の増大が予想される。さらに屋根自体の耐久性能が劣化すること及びデザインが制約を受けることが予想され、これらのことから車両寿命の短命化及び意匠の独創性の低下等、車両全体の競争力の悪化を招くことが考えられる。さらに、圧電素子が屋根全体に及ぶため、故障した際の修理及びメンテナンス等に関してもコストがかかり、また作業性が良いとは言えない。
【０００７】
この発明は、上記のような課題を解決するためになされたもので、車両の屋根全体を監視すると共に、屋根上の異物の誤検知を防止することを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係る車両監視装置は、車両の屋根を撮像する１つ以上のカメラにより撮像された画像を用いて、屋根上の異物を検知する異物検知部を備えるものである。
【発明の効果】
【０００９】
この発明によれば、カメラにより撮像された画像を用いて屋根上の異物を検知するようにしたので、車両の屋根全体を監視できると共に、屋根上の異物の誤検知を防止できる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１に係る車両監視システムの概要を説明する図である。
【図２】車両に対するカメラの設置例を示す図である。
【図３】車両に対するカメラの設置例を示す図である。
【図４】車両に対するカメラ及び距離センサの設置例を示す図である。
【図５】実施の形態１に係る車両監視システムの構成例を示すブロック図である。
【図６】実施の形態１に係る車両監視装置の基本的な動作例を示すフローチャートである。
【図７】実施の形態１に係る車両監視システムのハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１１】
実施の形態１．
図１は、実施の形態１に係る車両監視システム１の概要を説明する図である。車両監視システム１は、カメラ３Ａ，３Ｂ等を用いて、車両９０の屋根９１に置き忘れられた異物９２ａ，９２ｂ、並びに屋根９１に付着した雪、氷、黄砂及び鳥の糞等の異物を検知するものである。
【００１２】
図２は、車両９０に対するカメラ３Ａ〜３Ｄの設置例を示す図である。図２の例では、３６０度の画角を持つカメラ３Ａ〜３Ｄが、屋根９１に設置されている。カメラ３Ａ〜３Ｄの画角を図２に実線で示し、重なっている部分を破線で示す。これらのカメラ３Ａ〜３Ｄは、屋根９１の四隅に設置されており、車両９０の周囲に加えて屋根９１上も撮像可能である。これらのカメラ３Ａ〜３Ｄは、屋根９１上の異物の検知だけに用いられるものであってもよいし、車両９０の周囲に存在する障害物の検知と兼用されるものであってもよい。
なお、屋根９１上の異物の検知だけであれば、少なくとも、３６０度の画角を持つカメラが１つ屋根９１の中央部に設置されていればよい。このようにカメラは１つでもよいが、複数あることにより、カメラ撮像範囲の死角が削減可能となり、また、逆光等の太陽光及び夜間における街灯等の高輝度物体が画像に入り込むことに伴う異物の検知精度への悪影響の緩和が可能となる。
【００１３】
図３は、車両９０に対するカメラ３Ｅ〜３Ｈの設置例を示す図である。図３の例では、９０度の画角を持つカメラ３Ｅ〜３Ｈが、屋根９１に設置されている。カメラ３Ｅ〜３Ｈの画角を図３に実線で示し、重なっている部分を破線で示す。カメラ３Ｅは、屋根９１の前部右隅に設置され、画角の中心部が後方左側に向けられている。カメラ３Ｆは、屋根９１の後部右隅に設置され、画角の中心部が前方左側に向けられている。カメラ３Ｇは、屋根９１の前部左隅に設置され、画角の中心部が後方右側に向けられている。カメラ３Ｈは、屋根９１の後部左隅に設置され、画角の中心部が前方右側に向けられている。これらのカメラ３Ｅ〜３Ｈを組み合わせることで、屋根９１全体が撮像可能である。
【００１４】
図４は、車両９０に対するカメラ３Ｊ及び距離センサ４Ａ，４Ｂの設置例を示す図である。図４の例では、１８０度の画角を持つカメラ３Ｊが、屋根９１の前部中央に設置され、画角の中心部が後方に向けられている。カメラ３Ｊの画角を図４に灰色の実線で示す。カメラ３Ｊの画角の辺縁部は、画角の中心部に比べ、歪曲、収差、及び光量等の光学特性が悪い傾向があり、精度の高い画像を撮像できない場合がある。加えて、カメラ３Ｊでの検知が難しい異物が屋根９１に存在する場合がある。カメラ３Ｊでの検知が難しい異物とは、車両９０の周辺の景色又は屋根９１等の背景と、輝度又は色彩等が非常に類似している異物である。
【００１５】
そこで、図４の例では、カメラ３Ｊと距離センサ４Ａ，４Ｂとを併用することで、上述したカメラ３Ｊの弱点を補完する。距離センサ４Ａ，４Ｂは、例えば物体の距離を測定する超音波センサであり、超音波の指向性がカメラ３Ｊの画角の辺縁部をカバーするように設置される。距離センサ４Ａ，４Ｂの指向性を図４に黒色の実線で示し、重なっている部分を破線で示す。
なお、距離センサ４Ａ，４Ｂは、超音波センサに限定されるものではなく、赤外線センサ、赤外線レーザセンサ、ミリ波レーダ、又はＬｉＤＡＲ（Ｌｉｇｈｔ  Ｄｅｔｅｃｔｉｏｎ  Ａｎｄ  Ｒａｎｇｉｎｇ）等であってもよい。
【００１６】
図５は、実施の形態１に係る車両監視システム１の構成例を示すブロック図である。車両監視システム１は、カメラ３ａ，３ｂ、距離センサ４ａ、車両監視装置２、表示装置５、スピーカ６、警告灯７、及び異物除去装置８を含む。カメラ３ａ，３ｂ、距離センサ４ａ、車両監視装置２、表示装置５、スピーカ６、警告灯７、及び異物除去装置８は、車両９０に搭載される。また、車両監視システム１は、車両９０の乗員以外の予め定められた対象者が所有する携帯端末９との無線通信が可能である。携帯端末９は、車外に存在する。
【００１７】
図５の例では、車両監視システム１が２つのカメラ３ａ，３ｂと１つの距離センサ４ａとを用いる構成であるが、カメラ及び距離センサの数は任意である。また、車両監視システム１は、距離センサを用いず、カメラのみを用いてもよい。カメラ３ａ，３ｂの配置位置は、図２〜図４に示されるカメラ３Ａ〜３Ｈ，３Ｊのいずれかの配置位置に限定されない。また、距離センサ４ａの配置位置も、図４に示される距離センサ４Ａ，４Ｂのいずれかの配置位置に限定されない。
【００１８】
車両監視装置２は、異物検知部１０、通知情報生成部２０、通知出力部３０、異物除去指示部４０、学習部５０、及びデータベース６０を含む。
【００１９】
異物検知部１０は、車両９０の屋根９１を撮像するカメラ３ａ，３ｂにより撮像された画像と、屋根９１上を測定する距離センサ４ａにより測定された距離情報とを用いて、屋根９１上の異物を検知する。図５の例では、異物検知部１０は、１つのカメラに対して前処理部と特徴抽出部とを１つずつ有し、１つの距離センサに対してデータ補正部を１つ有する。
【００２０】
前処理部１１ａは、カメラ３ａにより撮像された屋根９１の画像に対して画像処理を行い、処理後の画像を特徴抽出部１２ａへ出力する。前処理部１１ａによる画像処理とは、明るさ、輝度、コントラスト、色彩、若しくは色相の調整、色補正、ガンマ補正、ノイズ除去、輝度情報拡張（ＨＤＲ：Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）、又は、境界線若しくはエッジの検出等である。画像処理により、後段の特徴抽出部１２ａにおける特徴抽出精度が向上する。また、カメラ３ａが、被写界深度による焦点ボケ量を利用し、光学ボケを伴う多重フォーカス撮像を実施する場合、前処理部１１ａは、多重フォーカス撮像された複数の画像を合成することによって焦点合成を行ってもよい。焦点合成により、後段の異物認識部１４における異物の位置測定精度が向上する。
【００２１】
特徴抽出部１２ａは、画像における物体の特徴を抽出し、特徴量として数値化する。特徴量とは、物体の色、大きさ、及び形状等である。特徴抽出部１２ａは、カメラ３ａが撮像した画像における物体の特徴量を、異物認識部１４へ出力する。
前処理部１１ｂ及び特徴抽出部１２ｂは、カメラ３ｂにより撮像された屋根９１の画像に対して、前処理部１１ａ及び特徴抽出部１２ａと同様の処理を行う。
【００２２】
データ補正部１３は、距離センサ４ａにより測定された、距離センサ４ａから物体までの距離を示す距離情報に含まれるノイズ成分を除去する処理を行い、処理後の距離情報を異物認識部１４へ出力する。具体例として、データ補正部１３は、距離センサ４ａにより一定周期で測定された時系列の距離情報のうち、前後の距離情報から値が極端に外れた距離情報をノイズ成分として除去する。ノイズ除去により、後段の異物認識部１４における異物検知精度が向上する。
【００２３】
異物認識部１４は、特徴抽出部１２ａ，１２ｂからの物体の特徴量を用いて、この物体が異物か否かを認識する。また、異物認識部１４は、２つのカメラ３ａ，３ｂの位置関係に基づき、三角測量の手法を用いることで、異物と認識した物体が屋根９１上に存在するか否かを判定し、屋根９１上に存在する場合に異物として検知する。三角測量による物体の位置測定精度を向上させるために、カメラ３ａ，３ｂは、図２に示される対角線上のカメラ３Ａ，３Ｄのように、カメラ間の距離が最大になるように屋根９１上に配置されていることが好ましい。なお、カメラ３ａ，３ｂは単眼に限定されず、２眼又は多眼であってもよい。カメラ３ａ，３ｂが２眼又は多眼である場合、カメラ３ａ又はカメラ３ｂのいずれか１つで撮像された画像を用いて三角測量を実施することが可能になり、複数のカメラ３ａ，３ｂを配置する場合と比べてコストの削減、メンテナンス性の向上、及びデザイン性の向上が可能になる。また、異物認識部１４は、特徴量を用いて異物の種類を推測してもよい。異物の種類は、財布、鞄、靴、缶、雪、氷、黄砂、及び糞等である。
【００２４】
車両監視システム１がカメラ３ａ，３ｂのみを有する場合、異物認識部１４は、カメラ３ａ，３ｂの画像を基に検知した、屋根９１上に存在する異物に関する異物情報を、通知情報生成部２０へ出力する。異物情報には、異物が写った画像、又は異物の種類等が含まれる。これに対し、車両監視システム１がカメラ３ａ，３ｂに加えて距離センサ４ａを有する場合、異物認識部１４は、データ補正部１３からの物体の距離情報を用いて、この物体が屋根９１上に存在するか否かを判定する。そして、異物認識部１４は、屋根９１のうち、カメラ３ａ，３ｂの撮像範囲であって距離センサ４ａの測定範囲でない範囲については、カメラ３ａ，３ｂの画像を基に検知した異物に関する異物情報を通知情報生成部２０へ出力する。また、異物認識部１４は、屋根９１のうち、カメラ３ａ，３ｂの撮像範囲と距離センサ４ａの測定範囲とが重なる範囲については、カメラ３ａ，３ｂの画像を基に検知した異物と、距離センサ４ａの距離情報を基に検知した異物とが同じものである場合にこの異物に関する異物情報を通知情報生成部２０へ出力する。さらに、異物認識部１４は、屋根９１のうち、カメラ３ａ，３ｂの撮像範囲と距離センサ４ａの測定範囲とが重なる範囲において、カメラ３ａ，３ｂの画像を基に異物を検知したが距離センサ４ａの距離情報を基にこの異物を検知しなかった場合、どちらかに誤検知が生じていると判断し、検知した異物に関する異物情報を信頼確度の低い情報として通知情報生成部２０へ出力する。同様に、異物認識部１４は、屋根９１のうち、カメラ３ａ，３ｂの撮像範囲と距離センサ４ａの測定範囲とが重なる範囲において、距離センサ４ａの距離情報を基に異物が検知したがカメラ３ａ，３ｂの画像を基にこの異物を検知しなかった場合、どちらかに誤検知が生じていると判断し、検知した異物に関する異物情報を信頼確度の低い情報として通知情報生成部２０へ出力する。
【００２５】
通知情報生成部２０は、異物検知部１０により異物が検知された場合、屋根９１上に異物が存在することを、車両９０の乗員（例えば、運転者）に通知するための通知情報を生成する。また、通知情報生成部２０は、車両９０の乗員以外の予め定められた対象者に通知するための通知情報を生成してもよい。対象者は、車両９０の乗員の知人等、又は、車両９０が法人車である場合には事業者等である。そして、通知情報生成部２０は、生成した通知情報を通知出力部３０へ出力する。例えば、通知情報生成部２０は、異物認識部１４からの異物情報を用いて、カメラ３ａ又はカメラ３ｂにより撮像された異物の画像を、通知情報として生成する。このとき、通知情報生成部２０は、カメラ３ａ又はカメラ３ｂが撮像した画像そのものを用いてもよいし、乗員が画像中の異物を認識しやすくなるように画像処理を行った画像を用いてもよい。通知情報生成部２０による画像処理とは、明るさ、輝度、コントラスト、色彩、若しくは色相の調整、色補正、ガンマ補正、ノイズ除去、又は、輝度情報拡張等である。また、通知情報生成部２０は、カメラ３ａ又はカメラ３ｂが撮像した画像を処理してＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）調若しくはアニメ調にした画像、又は異物の輪郭を強調した画像等を用いてもよい。なお、通知情報生成部２０は、異物の画像に加えて、又は異物の画像に代えて、異物が検知されたことを示す画像（例えば、アイコン）又は異物の種類等を通知情報にしてもよい。また、通知情報生成部２０は、屋根９１上に異物が存在することを示す音声若しくは警告音、又は、異物の種類を示す音声等を、通知情報にしてもよい。
なお、通知情報生成部２０は、異物認識部１４から信頼確度の低い異物情報を受け取った場合、通常の異物情報とは区別した通知情報を生成してもよい。例えば、通知情報生成部２０は、異物認識部１４から信頼確度の低い異物情報を受け取った場合、屋根９１上に異物が存在する可能性はあるが信頼確度が低いことを示す通知情報を生成する。
【００２６】
通知出力部３０は、通知情報生成部２０からの通知情報を、車両９０に搭載された表示装置５へ出力し、カメラ３ａ又はカメラ３ｂにより撮像された異物の画像等を表示装置５に表示させることにより、車両９０の乗員に対して屋根９１上に異物が存在することを通知する。また、通知出力部３０は、屋根９１上に異物が存在することを示す音声をスピーカ６から出力させてもよい。また、通知出力部３０は、警告灯７を点灯することにより、屋根９１上に異物が存在することを乗員に通知してもよい。これにより、乗員は、屋根９１を目視することなく異物を認識できる。
【００２７】
なお、通知出力部３０は、車両９０から車両情報を取得し、この車両情報を用いて通知情報を表示装置５、スピーカ６又は警告灯７へ出力するか否かを判定してもよい。例えば、通知出力部３０は、車両情報を用いて、車両９０がこれから走行しようとしている（以下、「走行意思がある」と称する）と判定した場合、通知情報を表示装置５、スピーカ６又は警告灯７へ出力する。車両情報とは、車速、シフトレバー位置、パーキングブレーキ位置、シート着座状況、又は運転者監視装置による運転者監視情報等である。例えば、通知出力部３０は、シフトレバー位置が「ドライブ」又は「リバース」になっている場合、走行意思があると判定して通知を行う。また、通知出力部３０は、パーキングブレーキが解除されている場合、走行意思があると判定して通知を行ってもよい。これにより、乗員は車両９０の走行前に、異物の存在に気付くことができる。また、乗員が荷物を屋根９１に置いた時点又は車両９０に乗り込む前等においては不要な通知がなされず、乗員は煩わしさを感じない。なお、平坦な路面ではパーキングブレーキをかけずに一時的に運転者が下車することがあり得るため、通知出力部３０は、パーキングブレーキが解除されている場合、かつ、シート着座状況又は運転者監視情報に基づいて運転者が着座していると判定した場合、走行意思があると判定して通知を行ってもよい。
【００２８】
また、乗員が表示装置５、スピーカ６又は警告灯７による通知に気付かずに車両９０を発進させてしまった場合、通知出力部３０は、車両９０の乗員以外の予め定められた対象者が所有する携帯端末９に対し、無線通信を介して通知情報を出力する。携帯端末９は、車外にいる対象者が所有する携帯電話又はスマートフォン等である。対象者は、屋根９１上に異物が存在することが通知された場合、携帯端末９等を用いて、車両９０の乗員が所有する携帯端末（図示せず）に電話をかける等し、屋根９１上に異物が存在することを乗員に知らせる。なお、通知出力部３０は、車両９０から取得した車速等の車両情報を用いて、車両９０が発進したか否かを判定すればよい。
【００２９】
異物認識部１４は、屋根９１上に存在する異物が、雪、氷、黄砂又は糞等の付着物であった場合、この旨を異物除去指示部４０へ通知してもよい。異物除去指示部４０は、異物認識部１４からの通知に従って異物除去装置８を作動させ、異物除去装置８に付着物を除去させる。異物除去装置８は、屋根９１に設置されたワイパー又は電熱線等である。例えば、異物除去指示部４０は、付着物が黄砂又は糞等である場合、ワイパーを作動させて付着物を除去させる。また、例えば、異物除去指示部４０は、付着物が雪又は氷等である場合、電熱線を作動させて付着物を融解させて除去させる。このように、異物除去指示部４０は、付着物の種類に応じて作動させる異物除去装置８を変更してもよい。これにより、車両監視システム１は、乗員の手を煩わせることなく異物を除去できる。
【００３０】
異物認識部１４は、屋根９１上に存在する異物の認識結果を、学習部５０へ出力してもよい。学習部５０は、異物の認識結果を過去経験事例として整理し、データベース６０に蓄積する。また、学習部５０は、頻出する異物の特徴量又は種類等を、季節等の日時情報、天候若しくは外気温等の情報又は車両周囲の背景情報等と関連付けてデータベース６０に蓄積してもよい。また、学習部５０は、表示装置５等が屋根９１上に異物が存在することを通知した場合に、実際に異物が屋根９１上に存在したか否かの回答又は認識した異物の種類が正しかったか否かの回答等を乗員から受け付けて、異物の特徴量又は種類等を、回答に基づく正誤情報と関連付けてデータベース６０に蓄積してもよい。異物認識部１４は、新規異物の認識時、データベース６０に蓄積された過去経験事例を参照する。例えば、屋根９１に置く物体の種類又は置くタイミング等に個人差が出るため、頻出する異物の特徴量若しくは種類等、又は日時情報等をデータベース６０に蓄積することにより、異物認識部１４による新規異物の認識率が向上する。また、例えば、車両９０の背景である駐車場に存在する物体が誤って屋根９１上の異物として通知されたが乗員によりこの通知が間違っている旨の回答があった場合、異物認識部１４はこれ以降この物体を異物として認識しなくなるので、認識率が向上する。
【００３１】
図６は、実施の形態１に係る車両監視装置２の基本的な動作例を示すフローチャートである。車両監視装置２は、例えば車両９０のエンジン作動中、図６のフローチャートに示される動作を繰り返す。ここでは、車両監視システム１は、２つのカメラ３ａ，３ｂと１つの距離センサ４ａとを備えるものとする。
【００３２】
ステップＳＴ１において、異物検知部１０は、カメラ３ａ，３ｂが撮像した画像と距離センサ４ａが測定した距離情報とを取得する。ステップＳＴ２において、異物検知部１０は、カメラ３ａ，３ｂが撮像した画像と距離センサ４ａが測定した距離情報とを用いて、屋根９１上に存在する異物を検知する。異物検知部１０が屋根９１上に存在する異物を１つ以上検知した場合（ステップＳＴ２“ＹＥＳ”）、通知情報生成部２０は、ステップＳＴ３において通知情報を生成する。一方、異物検知部１０が屋根９１上に存在する異物を検知しなかった場合（ステップＳＴ２“ＮＯ”）、車両監視装置２は図６に示される処理を終了する。
【００３３】
ステップＳＴ４において、通知出力部３０は、車両情報を取得する。ステップＳＴ５において、通知出力部３０は、車両情報を用いて、走行意思があるか否かを判定する。通知出力部３０は、走行意思があると判定した場合（ステップＳＴ５“ＹＥＳ”）、ステップＳＴ６において表示装置５、スピーカ６又は警告灯７に対して通知情報を通知する。一方、通知出力部３０により走行意思がないと判定された場合（ステップＳＴ５“ＮＯ”）、車両監視装置２は図６に示される処理を終了する。
【００３４】
図７は、実施の形態１に係る車両監視システム１のハードウェア構成例を示す図である。車両監視装置２を構成するプロセッサ１０１、メモリ１０２、入力インタフェース１０３（以下、「入力ＩＦ１０３」と称する）、及び出力インタフェース１０４（以下、「出力ＩＦ１０４」と称する）は、バス等により互いに接続されている。入力ＩＦ１０３は、カメラ３ａ，３ｂの撮像画像、距離センサ４ａの距離情報、及び車両情報等を受け取る。出力ＩＦ１０４は、表示装置５、スピーカ６、警告灯７、及び携帯端末９へ通知情報を出力すると共に、異物除去装置８へ異物除去指示を出力する。
【００３５】
車両監視装置２における異物検知部１０、通知情報生成部２０、通知出力部３０、異物除去指示部４０、及び学習部５０の機能は、メモリ１０２に格納されているプログラムを実行するプロセッサ１０１により実現される。データベース６０の機能は、メモリ１０２により実現される。
【００３６】
異物検知部１０、通知情報生成部２０、通知出力部３０、異物除去指示部４０、及び学習部５０の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアはプログラムとして記述され、メモリ１０２に格納される。プロセッサ１０１は、メモリ１０２に格納されたプログラムを読みだして実行することにより、各部の機能を実現する。即ち、車両監視装置２は、プロセッサ１０１により実行されるときに、図６のフローチャートで示されるステップが結果的に実行されることになるプログラムを格納するためのメモリ１０２を備える。また、このプログラムは、異物検知部１０、通知情報生成部２０、通知出力部３０、異物除去指示部４０、及び学習部５０の手順又は方法をコンピュータに実行させるものであるとも言える。
【００３７】
ここで、プロセッサ１０１とは、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、処理装置、演算装置、又はマイクロプロセッサ等のことである。また、プロセッサ１０１は、ＣＰＵ等と、ＣＰＵ等を補助するＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）又はＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）との組み合わせであってもよい。
【００３８】
メモリ１０２は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、又はフラッシュメモリ等の不揮発性若しくは揮発性の半導体メモリであってもよいし、ハードディスク又はフレキシブルディスク等の磁気ディスクであってもよい。
【００３９】
以上のように、実施の形態１に係る車両監視システム１は、車両９０の屋根９１を撮像する１つ以上のカメラ３ａ，３ｂと、カメラ３ａ，３ｂにより撮像された画像を用いて屋根９１上の異物を検知する異物検知部１０とを備える。カメラ３ａ，３ｂにより撮像された画像を用いることにより、車両監視システム１は、屋根９１全体を監視できる。また、従来のように圧電素子を用いる場合、軽量な異物を検知できず、また軽量な物体に敏感に反応する圧電素子を採用した場合には異物が無いにも関わらず有ると誤検知していたが、車両監視システム１は、カメラ３ａ，３ｂにより撮像された画像を用いることにより異物の誤検知を防止できる。さらに、車両監視システム１が２つ以上のカメラ３ａ，３ｂを用いる場合、カメラ撮像範囲の死角が削減可能となり、また、逆光等の太陽光及び夜間における街灯等の高輝度物体が画像に入り込むことに伴う異物の検知精度への悪影響の緩和が可能となる。
【００４０】
また、実施の形態１に係る車両監視システム１は、通知情報生成部２０と通知出力部３０とを備える。通知情報生成部２０は、異物検知部１０により異物が検知された場合、屋根９１上に異物が存在することを、車両９０の乗員又は車両９０の乗員以外の予め定められた対象者の少なくとも一方に通知するための通知情報を生成する。通知出力部３０は、通知情報生成部２０により生成された通知情報を車両９０に搭載された表示装置５又は前記対象者が所有する携帯端末９へ出力する。これにより、乗員又は車外の対象者は、屋根９１上の異物の存在に気付くことができる。
【００４１】
また、実施の形態１において、通知情報は、カメラ３ａ，３ｂにより撮像された異物の画像である。これにより、乗員又は車外の対象者は、屋根９１を目視することなく異物を認識できる。
【００４２】
また、実施の形態１に係る車両監視システム１は、屋根９１に搭載された異物除去装置８と、異物検知部１０により異物が検知された場合に異物除去装置８を作動させて異物を除去させる異物除去指示部４０とを備える。これにより、車両監視システム１は、乗員の手を煩わせることなく、雪、氷、黄砂又は糞等の付着物を屋根９１から除去できる。この異物除去装置８は、屋根９１にソーラーパネルが設置されている場合等に特に有効である。
【００４３】
また、実施の形態１において、一対のカメラ３ａ，３ｂは、カメラ間距離が最大になるように屋根９１に配置されている。これにより、異物検知部１０が一対のカメラ３ａ，３ｂにより撮像された画像を用いて三角測量を行う場合、異物の位置測定精度が向上する。
【００４４】
また、実施の形態１に係る車両監視システム１は、屋根９１上を測定する１つ以上の距離センサ４ａを備える。異物検知部１０は、カメラ３ａ，３ｂにより撮像された画像と距離センサ４ａにより測定された距離情報とを用いて、屋根９１上の異物を検知する。カメラ３ａ，３ｂと距離センサ４ａとを併用することにより、車両監視システム１はカメラ３ａ，３ｂでの検知が難しい異物を検知できる。
【００４５】
また、実施の形態１において、距離センサ４ａは、カメラ３ａ，３ｂの画角の辺縁側に配置されている。カメラ３ａ，３ｂの光学特性が低い撮像範囲を距離センサ４ａで補完することができるので、異物検知部１０の異物検知精度が向上する。
【００４６】
なお、本発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、又は実施の形態の任意の構成要素の省略が可能である。
【符号の説明】
【００４７】
１  車両監視システム、２  車両監視装置、３Ａ〜３Ｈ，３Ｊ，３ａ，３ｂ  カメラ、４Ａ，４Ｂ，４ａ  距離センサ、５  表示装置、６  スピーカ、７  警告灯、８  異物除去装置、９  携帯端末、１０  異物検知部、１１ａ，１１ｂ  前処理部、１２ａ，１２ｂ  特徴抽出部、１３  データ補正部、１４  異物認識部、２０  通知情報生成部、３０  通知出力部、４０  異物除去指示部、５０  学習部、６０  データベース、９０  車両、９１  屋根、９２ａ，９２ｂ  異物、１０１  プロセッサ、１０２  メモリ、１０３  入力ＩＦ、１０４  出力ＩＦ。
【図１】
2020052639.tif 000003
【図２】
2020052639.tif 000004
【図３】
2020052639.tif 000005
【図４】
2020052639.tif 000006
【図５】
2020052639.tif 000007
【図６】
2020052639.tif 000008
【図７】
2020052639.tif 000009