(57)【要約】【課題】不正侵入者の画像の判定及びカメラのマスキングの判定をそれぞれ行うことができる車両監視装置を提供する。【解決手段】車両監視装置１０のＥＣＵ１９（ＣＰＵ２１）は、車両の室内を撮影する運転席カメラ１１若しくは助手席カメラ１２の画像を取得する。そして、ＥＣＵ１９は、車両への乗員の不正規入場と判断される前後において各取得された画像を比較し、不一致部分を抽出する。ＥＣＵ１９は、抽出された不一致部分が３０％を超え、且つ、不一致部分に顔の特徴点が検出されたとき、車両への乗員の不正規入場と判断された後に取得された画像が不正侵入者の画像であると判定する。また、ＥＣＵ１９は、抽出された不一致部分が７０％を超え、且つ、不一致部分に顔の特徴点が検出されないとき、車両への乗員の不正規入場が判断された後に取得された画像がカメラのマスキングされた画像であると判定する。【選択図】        図１
2004276784.tif 000002
【特許請求の範囲】
【請求項１】
車両の室内を撮影するカメラの画像を取得する画像取得手段と、
車両への乗員の不正規入場を判断する不正規入場判断手段と、
前記不正規入場判断手段により車両への乗員の不正規入場と判断される前後において各取得された画像を比較する比較手段と、
前記比較手段による比較に基づき不一致部分を抽出する抽出手段と、
前記抽出された不一致部分が第１閾値を超え、且つ、該不一致部分に顔の特徴点が検出されたとき、前記不正規入場判断手段により車両への乗員の不正規入場と判断された後に取得された画像が不正侵入者の画像であると判断する第１判断手段と、
前記抽出された不一致部分が前記第１閾値よりも大きい第２閾値を超え、且つ、該不一致部分に顔の特徴点が検出されないとき、前記不正規入場判断手段により車両への乗員の不正規入場が判断された後に取得された画像が前記カメラのマスキングされた画像であると判断する第２判断手段とを備えたことを特徴とする車両監視装置。
【請求項２】
請求項１に記載の車両監視装置において、
前記不正規入場判断手段により車両への乗員の不正規入場と判断される前後において各取得された画像には、前記比較手段により比較されない無視領域が設けられていることを特徴とする車両監視装置。
【請求項３】
請求項１又は２に記載の車両監視装置において、
近赤外線を照射する光源と、
前記不正規入場判断手段により車両への乗員の不正規入場と判断されたとき、前記光源を点灯する光源制御手段とを備えたことを特徴とする車両監視装置。
【請求項４】
請求項３に記載の車両監視装置において、
前記不正規入場判断手段により車両への乗員の不正規入場と判断されないとき、前記光源制御手段は前記光源を点灯しないことを特徴とする車両監視装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、車両監視装置に関するものである。
【０００２】
【従来の技術】
特許文献１の装置は、移動体（車両）のルーフ等に設置したカメラの画像と移動体の速度等に応じ、一定距離範囲内に近づいた物体を検出して警報情報を発するものである。
【０００３】
また、特許文献１及び特許文献２の装置は、車両の室内の画像を順次取得してそれらの差分値により顔位置（顔方向）を検出するものである。
【０００４】
【特許文献１】
特開２００１−３３１７８９号公報
【特許文献２】
特許第２５４６４１５号公報
【特許文献３】
特開平１１−１６１７９８号公報
【０００５】
【発明が解決しようとする課題】
ところで、特許文献１の装置は、不正侵入者の判定には困難なものである。また、特許文献２及び特許文献３の装置は、カメラがマスキングされることを想定しておらず、その判定には困難なものである。
【０００６】
本発明の目的は、不正侵入者の画像の判定及びカメラのマスキングの判定をそれぞれ行うことができる車両監視装置を提供することにある。
【０００７】
【課題を解決するための手段】
上記問題点を解決するために、請求項１に記載の発明は、車両の室内を撮影するカメラの画像を取得する画像取得手段と、車両への乗員の不正規入場を判断する不正規入場判断手段と、前記不正規入場判断手段により車両への乗員の不正規入場と判断される前後において各取得された画像を比較する比較手段と、前記比較手段による比較に基づき不一致部分を抽出する抽出手段と、前記抽出された不一致部分が第１閾値を超え、且つ、該不一致部分に顔の特徴点が検出されたとき、前記不正規入場判断手段により車両への乗員の不正規入場と判断された後に取得された画像が不正侵入者の画像であると判断する第１判断手段と、前記抽出された不一致部分が前記第１閾値よりも大きい第２閾値を超え、且つ、該不一致部分に顔の特徴点が検出されないとき、前記不正規入場判断手段により車両への乗員の不正規入場が判断された後に取得された画像が前記カメラのマスキングされた画像であると判断する第２判断手段とを備えたことを要旨とする。
【０００８】
請求項２に記載の発明は、請求項１に記載の車両監視装置において、前記不正規入場判断手段により車両への乗員の不正規入場と判断される前後において各取得された画像には、前記比較手段により比較されない無視領域が設けられていることを要旨とする。
【０００９】
請求項３に記載の発明は、請求項１又は２に記載の車両監視装置において、近赤外線を照射する光源と、前記不正規入場判断手段により車両への乗員の不正規入場と判断されたとき、前記光源を点灯する光源制御手段とを備えたことを要旨とする。
【００１０】
請求項４に記載の発明は、請求項３に記載の車両監視装置において、前記不正規入場判断手段により車両への乗員の不正規入場と判断されないとき、前記光源制御手段は前記光源を点灯しないことを要旨とする。
【００１１】
（作用）
請求項１に記載の発明によれば、不正侵入者の画像の判定及びカメラのマスキングの判定をそれぞれ行うことができる。
【００１２】
請求項２に記載の発明によれば、取得された画像には、比較手段により比較されない無視領域が設けられていることで、画像処理の演算負荷が軽減される。
請求項３に記載の発明によれば、車両への乗員の不正規入場と判断されたとき、前記光源の点灯により近赤外線が照射されることで暗い環境下でも画像が明確に捕らえられる。
【００１３】
請求項４に記載の発明によれば、車両への乗員の不正規入場と判断されないとき（正規ユーザーの入場と想定されるとき）、前記光源の消灯により近赤外線が照射されないことで、いわゆるひげが強調された画像の取得が回避され、正規ユーザーに違和感を与えることが抑制される。
【００１４】
【発明の実施の形態】
以下、本発明を具体化した一実施形態を図１〜図４に従って説明する。
図１は、本実施形態の車両監視装置１０を示すシステムブロック図である。同図に示されるように、この車両監視装置１０は、運転席カメラ１１と、助手席カメラ１２と、ホーン１３と、インジケータ１４と、スピーカ１５と、第１照明用光源１６及び第２照明用光源１７と、ナビゲーション装置１８と、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ  ）１９とを備えている。ＥＣＵ１９はデジタルコンピュータからなり、ＣＰＵ（中央演算処理装置）２１、各種プログラム及びマップ等を記憶したＲＯＭ（リードオンリメモリ）２２、各種データ等の読み書き可能なＲＡＭ（ランダムアクセスメモリ）２３を備えている。また、ＥＣＵ１９は、バッテリ２０と接続された電源回路２４、画像処理回路２５、通信回路２６、リレー２７，２８，２９、駆動回路３０、音声出力回路３１、ＬＡＮ回路３２を備えている。
【００１５】
運転席カメラ１１は、運転席を撮影するためのもので、車室内において運転席を撮影可能な位置に搭載されている。この運転席カメラ１１は画像処理回路２５に接続されており、映像をＮＴＳＣ（Ｎａｔｉｏｎａｌ  Ｔｅｌｅｖｉｓｉｏｎ  Ｓｙｓｔｅｍ  Ｃｏｍｍｉｔｔｅｅ）信号１として画像処理回路２５に出力する。助手席カメラ１２は、助手席を撮影するためのもので、車室内において助手席を撮影可能な位置に搭載されている。この助手席カメラ１２は画像処理回路２５に接続されており、映像をＮＴＳＣ信号２として画像処理回路２５に出力する。画像処理回路２５はナビゲーション装置１８に接続されており、ＮＴＳＣ信号１及びＮＴＳＣ信号２のいずれかを選択してデコードするとともに所要の文字情報を重畳し、ＲＧＢ信号としてナビゲーション装置１８に出力する。なお、本実施形態では運転席カメラ１１が正常である場合には、画像取得（画像キャプチャ）にあたってＣＰＵ２１は運転席カメラ１１を優先して採用する。そして、運転席カメラ１１が異常になると、これに代えて助手席カメラ１２を採用する。
【００１６】
通信回路２６は、ボディ系の各種制御装置等と接続されており、これら装置等との間で各種信号の授受を行う。例えば、通信回路２６にはロック／アンロック要求信号が入力されている。これらロック／アンロック要求信号は、車両が搭載するキーレスエントリーシステム（スマートエントリーシステム）において、車両用ドアを施錠／解錠させる際にユーザーが携帯する電子キー内蔵のトランスミッタから出力される信号である。従って、ロック／アンロック要求信号が通信回路２６に入力されることで、ＣＰＵ２１では正規ユーザーによる車両用ドアの施錠／解錠が検出されるようになっている。特に、アンロック要求信号の存在を前提とした車両用ドアの開放は、車両への乗員の正規入場（正規ユーザーの乗車）を示唆するものである。
【００１７】
また、通信回路２６にはカーテシランプスイッチ信号が入力されている。このカーテシランプスイッチ信号は、車両用ドアの開状態においてオンされるカーテシランプスイッチの検出信号である。従って、カーテシランプスイッチ信号が通信回路２６に入力されることで、ＣＰＵ２１では車両用ドアの開閉状態が検出されるようになっている。
【００１８】
さらに、通信回路２６にはキーアンロックウォーニングスイッチ信号が入力されている。このキーアンロックウォーニングスイッチ信号は、イグニッションシリンダにキーを挿入することでオンされるキーアンロックウォーニングスイッチの検出信号である。従って、キーアンロックウォーニングスイッチ信号が通信回路２６に入力されることで、ＣＰＵ２１ではイグニッションシリンダにキーがあることが検出されるようになっている。
【００１９】
また、通信回路２６にはドアロックポジション信号が入力されている。このドアロックポジション信号は、全ての車両用ドアの施錠状態を個別に確認するための信号である。従って、ドアロックポジション信号が通信回路２６に入力されることで、ＣＰＵ２１では各車両用ドアの施錠状態が検出されるようになっている。
【００２０】
さらに、通信回路２６には運転席着座スイッチ信号が入力されている。この運転席着座スイッチ信号は、運転席に乗員が着座することでオンされる運転席着座スイッチの検出信号である。従って、運転席着座スイッチ信号が通信回路２６に入力されることで、ＣＰＵ２１では運転席に乗員がいることが検出されるようになっている。
【００２１】
ホーン１３はリレー２８に接続されており、ＣＰＵ２１によりリレー２８が駆動されることで警報音を発するようになっている。
インジケータ１４は駆動回路３０に接続されており、ＣＰＵ２１により駆動回路３０が駆動されることで点灯するようになっている。このインジケータ１４は、車両監視装置１０の制御状態を報知するためのものである。
【００２２】
スピーカ１５は音声出力回路３１に接続されており、ＣＰＵ２１により音声出力回路３１が駆動制御されることで所要の合成音声を音声ガイドとして発声するようになっている。
【００２３】
第１照明用光源１６はリレー２８に接続されており、ＣＰＵ２１によりリレー２８が駆動されることで点灯するようになっている。この第１照明用光源１６は、登録人（正規ユーザー）との照合や未登録の乗員の新規登録等においてカメラによる撮影を補助するために可視光線を照射する。また、第２照明用光源１７はリレー２９に接続されており、ＣＰＵ２１によりリレー２９が駆動されることで点灯するようになっている。この第２照明用光源１７は、車両への不正侵入が示唆される状態においてカメラによる撮影を補助するために近赤外線を照射する。
【００２４】
ナビゲーション装置１８は、前記画像処理回路２５及びＬＡＮ回路３２に接続されている。ナビゲーション装置１８は、車両監視装置１０（ＥＣＵ１９）との間でシステム通信を行っており、ＬＡＮ回路３２に選択信号を出力することで画像処理回路２５から入力するＲＧＢ信号に基づきそのディスプレイに映像を表示する。また、このナビゲーション装置１８はデータ通信可能な携帯電話機能を備えており、取得した映像（画像）を携帯電話網を介して予め登録されている携帯電話（通常は、車両所有者の携帯電話）３３に配信する。
【００２５】
次に、本実施形態の車両監視態様について説明する。なお、本実施形態では、ＣＰＵ２１により実行されるルーチンにおいて各種制御モードに遷移されて車両監視が継続されるようになっている。こうした制御モードとしては、例えば車両が駐車中であり、且つ、車両用ドアが施錠中であるときの監視モード、車両への乗員入場が判定されたときに乗員の画像を取得してその画像と予め登録されている顔画像とを照合する照合モード、車両への不審な入場（不正侵入）が判定されたときの警報モードなどがある。本実施形態の監視モードでは、乗員の退室後に定期的にカメラの画像を取得してそのときの画像（一般には、背景画像）と前回の画像とを比較することで車両を監視する。この監視モードでは、運転席カメラ１１及び助手席カメラ１２の電源がオンされている。なお、乗員の退室は、例えば前記運転席着座スイッチ信号に基づき判断される。あるいは、これに併せて車両用ドアの開閉（カーテシランプスイッチ信号）を参照してもよい。
【００２６】
以下、監視モードにおける処理態様について図２〜図４のフローチャートに基づき説明する。処理がこのルーチンに移行すると、図２のステップ１０１においてＣＰＵ２１は、前記カーテシランプスイッチ信号がオフか否かを判断する。ここで、カーテシランプスイッチ信号がオフであれば、ＣＰＵ２１は車両用ドアが閉状態と判定してステップ１０２に移行する。そして、前記ドアロックポジション信号に基づき全ての車両用ドアが施錠されているか否かを判断し、施錠されていればステップ１０３に移行する。
【００２７】
ここで、前記キーアンロックウォーニングスイッチ信号に基づきイグニッションシリンダにキーがないか否かを判断し、なければステップ１０４に移行して画像キャプチャタイミングか否かを判断する。そして、画像キャプチャタイミングでなければそのままメインルーチンに戻り、画像キャプチャタイミングであれば、ステップ１０５に移行して画像キャプチャとＲＡＭ２３への格納を行った後メインルーチンに戻る。すなわち、ステップ１０１〜１０３の全ての条件が満足することで車両が駐車状態のままであることが判定され、ステップ１０４，１０５の処理により当該状態で定期的に画像（乗員不在の背景画像）が取得される。
【００２８】
一方、ステップ１０１〜１０３のいずれかの条件が満たされないと、ＣＰＵ２１は図３のステップ１０６に移行してトランスミッタによるアンロック要求があるか否かを判断する。このアンロック要求の存在は、実質的に正規の車両用ドアの解錠を示唆するものである。そして、トランスミッタによるアンロック要求があると判断されると、ＣＰＵ２１は車両用ドアが正規に解錠されたと判定してステップ１０７に移行する。ここで、ＣＰＵ２１は、カーテシランプスイッチ信号がオンか否かを判断し、オンであればステップ１０８に移行して正規方法での入場と判定して対応フラグを設定し、更にステップ１０９で前記第１照明用光源１６を点灯してステップ１１３に移行する。
【００２９】
また、ステップ１０６においてトランスミッタによるアンロック要求がないと判断されると、ＣＰＵ２１は車両用ドアが解錠されてないと判定してステップ１１０に移行する。ここで、ＣＰＵ２１は、カーテシランプスイッチ信号がオンか否かを判断し、オンであればステップ１１１に移行して正規でない方法での入場（不正規入場）と判定して対応フラグを設定し、更にステップ１１２で前記第２照明用光源１７を点灯してステップ１１３に移行する。
【００３０】
ステップ１１３において、ＣＰＵ２１は画像キャプチャタイミングか否かを判断する。そして、画像キャプチャタイミングであればステップ１１４に移行して画像キャプチャとＲＡＭ２３への格納を行ってステップ１１５に移行し、画像キャプチャタイミングでなければそのままステップ１１５に移行する。
【００３１】
一方、ステップ１０７若しくはステップ１１０においてカーテシランプスイッチ信号がオフと判断されると、ＣＰＵ２１は車両への入場がないと判定してそのままメインルーチンに戻る。
【００３２】
すなわち、ステップ１０６〜１１４では、車両用ドアの開状態が継続されることで、判定された入場方法に応じた画像キャプチャとその格納が画像キャプチャタイミングに合わせて定期的に行われる。
【００３３】
ステップ１１５においてＣＰＵ２１は、正規方法での入場か否かを判断し、正規方法であればそのままメインルーチンに戻る。また、正規方法でなければ、ＣＰＵ２１は図４のステップ１１６に移行して退室時の画像とその後の画像とを周知の手法によって比較する。
【００３４】
具体的には、背景差分の手法により退室時の画像を構成する画素のパターンと、その後の画像を構成する画素のパターンとの不一致点を抽出し、不一致部分として全体に対するその割合（百分率）を求める。このとき、画素のパターンを抽出する画像の領域は、画像の全領域から予め無視領域を除いた領域である。この無視領域は、例えば画像の周縁部等、一般に乗員が写り得ない領域（ガラスの向こうの車外など）に設定されている。いうまでもなく、この不一致部分の割合が大きいほどを退室時の画像からの変化が大きいことを示す。なお、ここでいう退室時の画像とは、前記ステップ１０５で取得された最新の画像（乗員不在の背景画像）である。また、退室後の画像とは、正規でない入場を前提に前記ステップ１１４で取得された画像である。
【００３５】
ステップ１１６において退室時の画像とその後の画像とを比較し、不一致部分を求めたＣＰＵ２１は、ステップ１１７に移行して不一致部分が第２閾値としての７０％以上か否かを判断する。そして、不一致部分が７０％以上であれば、ＣＰＵ２１はステップ１１８に移行して不一致部分に顔の特徴点がないか否かを判断する。この顔の特徴点の有無は、周知の画像認識により目、口、鼻の切り出しが可能か否かに基づき判断される。
【００３６】
ここで、不一致部分に顔の特徴点がないと判断されると、ＣＰＵ２１はカメラがマスキングされたと判定して対応フラグを設定し、その旨のメッセージをスピーカ１５から発する。また、これに併せてホーン１３から警報音を発生し、メインルーチンに戻る。このとき、マスキング判定の情報若しくは取得された画像をナビゲーション装置１８を介して携帯電話３３に配信するようにしてもよい。また、不一致部分に顔の特徴点があると判断されると、ＣＰＵ２１はそのままメインルーチンに戻る。
【００３７】
一方、ステップ１１７において、不一致部分が７０％未満と判断されると、ＣＰＵ２１はステップ１２０に移行して不一致部分が第１閾値としての３０％以上か否かを判断する。そして、不一致部分が３０％以上であれば、ＣＰＵ２１はステップ１２１に移行して不一致部分に顔の特徴点があるか否かを判断する。
【００３８】
ここで、不一致部分に顔の特徴点があると判断されると、ＣＰＵ２１はステップ１１４において取得された画像が不正侵入者の顔画像と判定して対応フラグを設定し、その旨のメッセージをスピーカ１５から発する。また、これに併せてホーン１３から警報音を発生し、メインルーチンに戻る。このとき、不正侵入者ありの情報若しくは不正侵入者の顔画像と判定された画像をナビゲーション装置１８を介して携帯電話３３に配信するようにしてもよい。また、ステップ１２０において不一致部分が３０％未満と判断され、若しくはステップ１２１において不一致部分に顔の特徴点がないと判断されると、ＣＰＵ２１はそのままメインルーチンに戻る。
【００３９】
以上詳述したように、本実施形態によれば、以下に示す効果が得られるようになる。
（１）本実施形態では、不正侵入者の顔画像の判定及びカメラのマスキングの判定をそれぞれ行うことができる。
【００４０】
（２）本実施形態では、不正規入場と判定される前後において取得された各画像において比較されない無視領域が設けられていることで、ＣＰＵ２１による画像処理の演算負荷を軽減できる。
【００４１】
（３）本実施形態では、車両への乗員の不正規入場と判断されたとき、第２照明用光源１７の点灯により近赤外線が照射されることで暗い環境下でも画像を明確に捕らえることができる。
【００４２】
（４）本実施形態では、車両への乗員の不正規入場と判断されないとき（正規ユーザーの入場と想定されるとき）、第２照明用光源１７の消灯により近赤外線が照射されないことで、いわゆるひげが強調された画像の取得が回避され、正規ユーザーに違和感を与えることを抑制できる。
【００４３】
（５）本実施形態では、不正規入場と判断されないときに画像の比較が割愛されることでＣＰＵ２１による演算負荷を軽減できる。
（６）本実施形態では、生体認証として顔画像を採用したことで、指紋に比べて取得されることへの抵抗感も軽減される。
【００４４】
なお、本発明の実施の形態は上記実施形態に限定されるものではなく、次のように変更してもよい。
・前記実施形態において、助手席カメラ１２に代えて車室内全体（及び車室外近傍）を撮影可能なカメラを採用してもよい。また、運転席カメラ１１も含めて撮影用のカメラは１つであってもよいし、３個以上であってもよい。
【００４５】
・前記実施形態において、各種メッセージの出力は、スピーカ１５からの音声ガイドに代えて、若しくは、加えて、例えばナビゲーション装置１８のディスプレイに重畳描画する文字案内であってもよい。
【００４６】
・前記実施形態において、異常判定されたとき（ステップ１１９若しくはステップ１２２）、車両動作を制限するようにしてもよい。具体的には、エンジンの始動禁止、エンジンへの燃料供給禁止、ブレーキ等の制動装置による走行制限、変速機をニュートラルや１速に固定することによる走行制限などがある。あるいは、周囲の注意をひくための動作としてヘッドライト、ウインカー、車内灯の点滅やホーン１３による警報の発生などがある。
【００４７】
次に、以上の実施形態から把握することができる技術的思想を、その効果とともに以下に記載する。
（イ）請求項１〜４のいずれかに記載の車両監視装置において、前記不正規入場判断手段により車両への乗員の不正規入場と判断されないとき、前記比較手段による画像の比較を行わないことを特徴とする車両監視装置。同構成によれば、不正規入場と判断されないときに画像の比較が割愛されることで演算負荷を軽減できる。
【００４８】
【発明の効果】
以上詳述したように、請求項１乃至４に記載の発明によれば、不正侵入者の画像の判定及びカメラのマスキングの判定をそれぞれ行うことができる。
【図面の簡単な説明】
【図１】本発明の一実施形態を示すシステムブロック図。
【図２】同実施形態の制御態様を示すフローチャート。
【図３】同実施形態の制御態様を示すフローチャート。
【図４】同実施形態の制御態様を示すフローチャート。
【符号の説明】
１０  車両監視装置
１１  運転席カメラ
１２  助手席カメラ
１７  第２照明用光源（光源）
１９  ＥＣＵ（画像取得手段、不正規入場判断手段、比較手段、抽出手段、第１判断手段、第２判断手段、光源制御手段）
【図１】
2004276784.tif 000003
【図２】
2004276784.tif 000004
【図３】
2004276784.tif 000005
【図４】
2004276784.tif 000006