(57)【要約】【課題】簡便な構成の車載装置によって、車室への侵入者等の誤検出の防止を図る。【解決手段】車両に搭載される物体監視装置１は、駐車時に、車両への侵入者を検出する。ステレオカメラ２は車室内を撮像する。物体検出部１４は、撮像された画像中、この車両のウインドウガラスに対応する部分を除いた監視領域について算出された距離データの経時的変化に基づいて、車室において侵入者がいることを検出する。【選択図】図１
2007085745.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載される物体監視装置において、
車室内をフレーム単位で撮像し、一対の画像データを時系列的に出力するステレオカメラと、
前記一対の画像データにステレオ画像処理を施すことによって、前記一対の画像データに関する距離データを算出するステレオ画像処理部と、
前記距離データによって規定される二次元領域上に予め設定され、かつ、少なくとも前記車両のウインドウガラスが写し出される領域を除いた監視領域に関して、フレーム間における前記距離データの経時的変化に基づいて、前記車室における新たな物体の存在を検出する物体検出部と
を有することを特徴とする物体監視装置。
【請求項２】
前記物体検出部は、物体の検出開始時における基準フレームの前記距離データを構成する視差群に対して、前記基準フレームよりも後のフレームの前記視差群が所定の個数以上変化した場合に、前記新たな物体が存在すると判定することを特徴とする請求項１に記載された物体監視装置。
【請求項３】
前記物体検出部は、物体の検出開始時における基準フレームの前記距離データを構成する視差群に対して、前記基準フレームよりも後のフレームの前記視差群が所定の個数以上変化し、かつ、当該変化した状態が所定のフレーム数以上継続した場合に、前記新たな物体が存在すると判定することを特徴とする請求項１に記載された物体監視装置。
【請求項４】
前記ステレオカメラは、自己が備える機械的機構または光学的機構によって、車内を撮像する第１の撮像方向、および、車外の物体を監視するために車外を撮像する第２の撮像方向のいずれかに切り替え可能であることを特徴とする請求項１から３のいずれかに記載された物体監視装置。
【請求項５】
前記第１の撮像方向時における監視動作の周期は、前記第２の撮像方向時における監視動作の周期より長いことを特徴とする請求項４に記載された物体監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載される物体監視装置に関する。
【背景技術】
【０００２】
従来より、駐車車両からの盗難防止等のため車室内を監視する車載装置が知られている。例えば、特許文献１に開示された盗難防止システムは、双曲面ミラーを用い、また、カメラを３６０度回転させつつ、車内外を撮像し、この撮像された映像に基づいて、車両近傍に不審者がいるか否か等を判断する。また、特許文献２に開示された乗員保護装置は、エアバッグの作動に関するものであるが、車両停止時に、車室内に向けたカメラで助手席を撮像する。撮像された画像から助手席に人が座っているか荷物があるか等を判断し、この助手席の状態に応じてエアバックの作動を異ならせている。
【特許文献１】特許第３３２７２５５号公報
【特許文献２】特開２０００−１５９０５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記のような従来の車載装置においては、車両近くを通る他の車両、歩行者等が、ウインドウガラス越しにカメラにより撮像されて撮像画像に写り込むと、これら物体が、車室内にいる者等と誤検出される可能性がある。
【０００４】
本発明は、かかる事情に鑑みてなされたものであり、その目的は、簡便な構成の車載装置によって、侵入者等の誤検出の防止を図ることである。
【課題を解決するための手段】
【０００５】
かかる課題を解決するために、本発明は、車両に搭載される物体監視装置を提供する。この発明は、次に示すステレオカメラとステレオ画像処理部と物体検出部とを有している。ステレオカメラによって、車室内がフレーム単位で撮像され、一対の画像データが時系列的に出力される。ステレオ画像処理部では、この一対の画像データにステレオ画像処理が施され、これにより、一対の画像データに関する距離データが算出される。物体検出部では、距離データによって規定される二次元領域上に予め設定され、かつ、少なくとも車両のウインドウガラスが写し出される領域を除いた監視領域に関して、フレーム間における距離データの経時的変化に基づいて、車室における新たな物体（車室内への侵入者、車室内に置かれる物などを含む）の存在が検出される。
【０００６】
この発明においては、物体検出部は次に示す通りとすることが望ましい。すなわち、物体検出部では、物体の検出開始時における基準フレームの距離データを構成する視差群に対して、基準フレームよりも後のフレームの視差群が所定の個数以上変化した場合に、上記新たな物体が存在すると判定される。また、物体検出部は次の通りとしてもよい。この物体検出部では、物体の検出開始時における基準フレームの距離データを構成する視差群に対して、基準フレームよりも後のフレームの視差群が所定の個数以上変化し、かつ、当該変化した状態が所定のフレーム数以上継続した場合に、この新たな物体が存在すると判定される。
【０００７】
さらに、本発明においては、ステレオカメラは次の通りの撮像方向を有することが好ましい。このステレオカメラは、自己が備える機械的機構または光学的機構によって、車内を撮像する第１の撮像方向、および、車外の物体を監視するために車外を撮像する第２の撮像方向のいずれかに切り替え可能である。この発明においては、この第１の撮像方向時における監視動作の周期は、第２の撮像方向時における監視動作の周期より長いことが望ましい。
【発明の効果】
【０００８】
本発明によると、ステレオカメラによって時系列的に出力された、車室内についての一対の画像データに基づいて、距離データが算出され、この距離データの経時的変化に基づいて、車室内の新たな物体の存在が検出される。距離データを用いることで車室内は３次元形状のまま監視され、特に、この物体の検出は、１フレーム分の距離データのうちウインドウガラスに対応する部分を除いた監視領域についてのみ行われる。つまり、ウインドウガラス部分は物体検出の対象とされない。このため、ウインドウガラス越しに、本車両近くを通る他の車両、歩行者等が撮像されることがなく、これらを車室内にいる者等と誤検出することがない。車両走行時等に車外の物体を監視する従来の車載装置を改良して、防犯等の機能を付加するかたちで、このような精度の高い侵入者等の検出が可能となるため、この検出は、簡便な構成によって実現することができる。
【発明を実施するための最良の形態】
【０００９】
図１は実施形態の１つである物体監視装置１の主な構成を示すブロック図である。車載されるこの物体監視装置１は、主として車両走行時に、ステレオ画像処理に基づいて、車両前方の車外監視情報を得、この情報と他の運転支援情報とをドライバに伝達する。また、駐車時には、同様のステレオ画像処理に基づいて、車室内に侵入した者がいること等を検出してそれを報知することが可能である。つまり、物体監視装置１は、駐車時に、防犯装置として機能する。
【００１０】
ステレオカメラ２は、例えば車内のルームミラー近傍に取り付けられており、走行時に、車両前方の道路状況や障害物を監視する。このステレオカメラ２は、メインカメラ２ａおよびサブカメラ２ｂからなり、カメラ２ａ，２ｂには、それぞれＣＣＤセンサやＣＭＯＳセンサ等のイメージセンサが内蔵されている。進行方向右側に配置されたメインカメラ２ａは、ステレオ画像処理を行う際の基準画像を撮像するのに対し、左側に配置されたサブカメラ２ｂは、メインカメラ２ａと同期して比較画像を撮像する。メインカメラ２ａから出力されたアナログ信号は、Ａ／Ｄコンバータ３ａによって、時系列的な所定の輝度階調（グレースケール256階調等）のデジタルデータに変換された後、基準画像データとして補正処理部４に供給される。同様にサブカメラ２ｂから出力されたアナログ信号は、Ａ／Ｄコンバータ３ｂによってデジタルデータに変換された後、比較画像データとして補正処理部４に供給される。
【００１１】
このステレオカメラ２に、走行時に車両前方を撮像させ、駐車時に車内を撮像させるため、物体監視装置１は、図示しない次のような機械的機構または光学的機構を有する。すなわち、この機械的機構は、ルームミラー近傍のステレオカメラ２をモータによって回転自在とするもので、機械的にその撮像方向を車外および車室内へと切り替えることを可能にする。また、ステレオカメラ２自体を回転させるモータを用いることなく、カメラ２内にレンズ、プリズムまたはミラーなどを設け、光学的にその撮像方向を切り替えてもよい。本物体監視装置１では、ステレオカメラ２を車外前方（また車室内とは異なる方向）へ向けた場合の車外監視モードと、車室内へ向けた場合の車内監視モードとを設定する。例えば、適宜構成した入出力装置を介して２つのモードをドライバに選択させることが可能であり、物体監視装置１は、ステレオカメラ２を、ドライバの選択に応じてその撮像方向を切り替えるように制御する。これらの機構によって、従来主に走行時に車外を監視させていたステレオカメラ２に駐車時には車室内を監視させ、カメラ２を多用途に有効に利用することができる。このステレオカメラ２は手動で回転させてもよく、また、ルームミラー近傍に２対のステレオカメラを取り付け、一方の撮像方向を車外へ向け、他方の撮像方向を車室内へ向けてもよい。
【００１２】
車内監視モードにおける補正処理部４およびステレオ画像処理部５等の動作は、車外監視モードにおける以下に示す各部の動作と同様である。特に、車内監視モードでの各部の物体監視動作の周期を、車外監視モードでの各部の動作の周期より長くすることが可能である。例えば、車内監視モードでの撮像間隔を、車外監視モードでの撮像間隔よりも長くしてもよい。通常、車内監視モードは、車載されたバッテリーを充電できない駐車時などに選択される。そのため、このような車内監視モードにおける動作周期の長期間化によって、消費電力を抑え、バッテリーあがりを可能な限り防ぐことができる。
【００１３】
補正処理部４は、基準画像データおよび比較画像データに対して、輝度の補正や画像の幾何学的変換などの画像補正を行う。通常、カメラ２ａ，２ｂの取付位置には、ボディのゆがみ等に起因する誤差が存在するため、撮像された画像にもずれが生じる。アフィン変換等の幾何学的変換はこのずれを補正するために行われる。このような画像処理を経た後、１フレーム分の基準画像データおよび比較画像データは、後段のステレオ画像処理部５に出力されるとともに、画像データメモリ６に保存される。
【００１４】
ステレオ画像処理部５は、基準画像データと比較画像データとに基づいて、フレーム単位で、一対の撮像画像に関する距離データを算出する。この距離データは、画像データにより規定される画像平面における小領域（例えば４×４の画素領域）毎に算出された視差の集合である。ここでは、この画像平面上で、視差算出の対象とされる小領域の位置が、複数のフレームを通して固定されている。基準画像におけるある画素領域（相関元）についての視差を算出する際には、この画素領域の輝度特性と相関を有する領域（相関先）を比較画像において特定する。周知のように、ステレオカメラ２から対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、相関先領域を探索するときには、比較画像において、基準画像での相関元領域の位置に対応する水平線（エピポーラライン）上を探索すればよい。また、２つの画素領域の相関は、例えばシティブロック距離を算出することにより評価することができ、その値が最小となる画素領域が相関先と判断される。この特定された相関先と相関元との間のずれ量が視差となる。このような処理を経て算出された距離データ、すなわち、画像平面上の位置と対応付けられた視差の集合（視差群）が、距離データメモリ７に保存される。
【００１５】
マイクロコンピュータ１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インターフェース等からなる。このマイクロコンピュータ１０は、距離データメモリ７に保存された距離データおよび画像データメモリ６中の画像データ（基準画像または比較画像のいずれかのもの）を参照しながら、プログラムを実行する。このプログラムは、次に示す道路認識部１１と、物体認識部１２と、基準データ設定部１３と、物体検出部１４と、警報出力部１５とを有する。車外監視モード選択時（車両走行時）に、道路認識部１１と物体認識部１２とによって、車両前方に存在する、例えば、先行車や歩行者等の物体が認識され、その動きが監視される。また、車内監視モード選択時（駐車時）には、基準データ設定部１３と物体検出部１４と警報出力部１５とによって、車両への侵入者の有無が監視される。
【００１６】
車外監視モード選択時においては、道路認識部１１は、距離データおよび画像データに基づいて、道路に引かれた車線や路傍に設けられたガードレールの形状等を識別し、車両を中心とした３次元空間上で道路の位置を認識する。物体認識部１２は、同様に、距離データおよび画像データに基づいて、この３次元空間上で、車両前方にある道路近傍の物体の位置、大きさおよびこれら物体と車両との距離を認識して、物体の動きを監視する。物体の挙動やその自車両までの距離等の車外監視情報と他のドライバに伝達すべき情報（運転支援情報）とは、物体認識部１２から（図示しない）車内の液晶モニタ等の表示装置にリアルタイムに伝送されて出力される。また、ブレーキ、自動変速機、エンジン、ステアリング等をそれぞれ制御する他の制御装置（マイクロコンピュータ等からなる）を介して、物体認識部１２は、物体の監視情報等に基づく車両の走行制御を行う。
【００１７】
車内監視モード選択時において、基準データ設定部１３は、侵入者の検出に際しての基準データを設定する。例えば、監視開始時を基準とし、この時の基準とする１フレーム（基準フレーム）についての距離データ（これに含まれる視差）が基準データとして設定される。基準データは、空になった車室の状態を表すように、ドライバおよび他の乗員が車両から離れた直後に生成することが好ましい。この監視開始時を、駐車時から所定時間経過後とし、また、駐車後のドアロックの際とすること等が可能である。また、このモードの選択時にこれ以降の処理で扱われる距離データについては、ウインドウガラスの写し出された領域に対応するものが除かれている。図２は、車内監視モードにおける、ステレオカメラ２の撮像領域２０と監視対象とする領域２１とを示す図である。撮像領域２０には、監視対象とする領域２１と監視対象としない領域２２とが含まれる。監視対象としない領域２２は、撮像領域２０のうちウインドウガラスに略対応する部分であり、監視対象とする領域２１は、それ以外の部分である。扱われる距離データを領域２１に対応させて、この距離データのみを対象として侵入者の有無等、車室状況の変動に関する車内監視情報が取得される。このようなウインドウガラスに対応する領域を除いた監視領域は、ステレオカメラ２がおおよそ同じ向きで車内を向いていることを想定して、予め距離データ上で特定することが可能である。このような監視領域の設定によって、車外のウインドウガラス越しで移動する物体が、車室内における侵入者と誤認されることを防止することができる。物体検出部１４（図１）は、実際に、監視対象とする距離データの経時的変化に基づいて、車室内への侵入者の存在を検出する。すなわち、物体検出部１４は、順次生成される距離データのうち監視領域に対応するものを距離データメモリ７から読み出し、この距離データと、基準データ設定部１３で設定されＲＡＭ上に記憶されている基準データとを比較して、侵入者等を検出する。具体的には、基準フレームの後に距離データが生成されるフレームにおいて、視差の値が、基準データにおける視差から変化した個数をカウントし、その個数が所定数以上である場合に、新たな物体が存在すると判定する。このような判定によると、所定以上の大きさを有する物体のみを対象として侵入者の検出を行うことになり、監視の確実性を高めることができる。また、フレーム毎には侵入者の検出を行わず、例えば、基準データから変化した視差値の個数が所定数以上のフレーム数をカウントし、その変化した状態が所定のフレーム数以上継続した場合、また、そのフレーム数が所定数に達した場合に、侵入者の存在を検出することが可能である。これによると、複数フレームによって侵入者の存在を確認した後に、侵入者がいることを検出することになるため、誤りのないより確実な動作を期待することができる。警報出力部１５は、物体検出部１４での侵入者の検出に基づいて、車外へのその報知を行う。例えば、クラクションを鳴らしたり、ヘッドライトを点滅させたりするよう制御し、これによって、侵入者の存在を車両の周囲に知らせる。
【００１８】
本実施形態によると、一対となる基準画像データおよび比較画像データから生成される距離データの経時的変化に基づいて、車室への侵入者等の存在が検出される。これによって、車室内に存在する物が３次元形状のまま監視される。このため、近くを通る車両や歩行者の車室内への影等による誤検出、または、極暗下において車外から車室内へ光が差し込んで、撮像画像の輝度が変化するような状況での誤検出等がない。特に、監視対象からウインドウガラスに対応する領域を除いたため、近くを通る他の車両、歩行者等が、ウインドウガラス越しに撮像され、侵入者等として検出されることがなく、侵入者等の存在を誤りなく確実に検出することができる。
【００１９】
なお、上記実施形態では、ウインドウガラス以外の部分に対応する距離データを、この距離データ（または画像データ）によって規定される二次元領域上で同様の位置にあることをもとに予め特定した。このウインドウガラス部分以外に対応する距離データは、読み出した１フレーム分の距離データから車両走行時と同様の物体認識により特定してもよい。
【図面の簡単な説明】
【００２０】
【図１】本実施形態の物体監視装置１の構成を示すブロック図
【図２】車内監視モードにおける撮像領域２０と監視対象領域２１とを示す図
【符号の説明】
【００２１】
１  物体監視装置
２  ステレオカメラ
２ａ  メインカメラ
２ｂ  サブカメラ
３ａ，３ｂ  Ａ／Ｄコンバータ
４  補正処理部
５  ステレオ画像処理部
６  画像データメモリ
７  距離データメモリ
１０  マイクロコンピュータ
１１  道路認識部
１２  物体認識部
１３  基準データ設定部
１４  物体検出部
１５  警報出力部
２０  撮像領域
２１  監視対象とする領域
２２  監視対象としない領域
【図１】
2007085745.tif 000003
【図２】
2007085745.tif 000004