(57)【要約】【課題】撮像装置が撮像した画像データに基づき動体を検出し、外部へ通知する動体検出システムを提供する。【解決手段】画像処理装置１が、１つのカメラ２０（２１，２２，２３）が撮像した画像フレームに動体を示す可能性を有する第１変化領域を検出した場合に、この第１変化領域を含む領域を撮像する位置に設置された他のカメラ２１（２０，２２，２３）を特定する。また、他のカメラ２１（２０，２２，２３）が撮像した画像フレームから、前記第１変化領域に対応する第２変化領域を検出し、この第２変化領域が検出された場合、２つのカメラ２０，２１の撮像領域内に動体が存在すると判断する。【選択図】        図１
2004266766.tif 000002
【特許請求の範囲】
【請求項１】
撮像領域が重複するように車両に取り付けられる複数の撮像装置と、該撮像装置が撮像した画像データに基づき動体を検出する動体検出装置とを備える動体検出システムにおいて、
前記動体検出装置は、
前記撮像装置から時系列的に取得する画像データ中の第１変化領域を検出する第１変化検出手段と、
該第１変化検出手段が検出した第１変化領域を含む撮像領域を撮像する他の撮像装置を特定する特定手段と、
該特定手段が特定した他の撮像装置から時系列的に取得する画像データから、前記第１変化領域に対応する第２変化領域を検出する第２変化検出手段と、
該第２変化検出手段が検出した第２変化領域に基づき動体を検出する検出手段とを備えることを特徴とする動体検出システム。
【請求項２】
前記撮像装置は、全方位の撮像が可能に構成されている請求項１に記載の動体検出システム。
【請求項３】
前記撮像装置は、前記車両の隅に取り付けられている請求項１又は２に記載の動体検出システム。
【請求項４】
前記動体検出装置は、前記検出手段が検出した動体を外部へ通知する手段を備える請求項１乃至３のいずれかに記載の動体検出システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、車両に取り付けられる撮像装置が撮像した画像データに基づき動体を検出する動体検出システムに関するものである。
【０００２】
【従来の技術】
自動車等の車両の運転を支援する装置として、運転者からの死角を含む範囲を撮像するカメラを車両の適宜位置に設置し、このカメラが撮像した画像を車載表示装置に表示させる画像表示システムが考案されている（例えば、特許文献１参照）。
この画像表示システムを利用することにより、車両の左右前方又は左右後方等を撮像した画像に基づき、車両の運転者は、例えば、発車時及び見通しの悪い交差点への進入時において、左右前方又は左右後方等の車両周辺にいる子供等の確認を行うことが可能である。
【０００３】
【特許文献１】
特開２００１−２１９７８３号公報
【０００４】
【発明が解決しようとする課題】
上述した画像表示システムにおいては、カメラが撮像した、時系列的に連続する画像データに基づき、カメラの撮像領域内、特に車両の近傍に存在する歩行者、他の自動車、二輪車、犬及び猫等の動物等の動体を検出するように構成されている場合がある。
ここで、動体を検出する方法としては、カメラが順次撮像する時系列的に連続する画像データにおいて、時系列的に前後の画像データ間の差分量を算出するフレーム差分処理、及び連続する画像データ間の移動領域を検出するオプティカルフロー処理等がある。
【０００５】
しかし、上述した各処理においては、例えば、カメラの撮像方向に対して垂直方向に移動する動体については、画像データ間の差分量が顕著となり、動体を容易に検出することができるが、カメラの撮像方向と略同一の方向に移動する動体については、画像データ間における差分量が小さく、動体を検出することが困難であるという問題があった。
【０００６】
本発明は斯かる事情に鑑みてなされたものであり、夫々の撮像領域を重複させて車両に取り付けられた複数の撮像装置夫々が撮像した画像データに基づき、１つの撮像装置が撮像した画像データに動体を示す可能性を有する第１変化領域が検出され、他の撮像装置によって、前記第１変化領域に対応する第２変化領域が撮像された場合に、これらの２つの撮像装置の撮像領域内に動体が存在すると判断することにより、検出すべき動体を複数方向から撮像した画像データに基づき確実に検出することができる動体検出システムを提供することを目的とする。
【０００７】
本発明の他の目的は、車両に取り付けられる撮像装置が、全方位の撮像が可能に構成されていることにより、より少ない数の撮像装置にて車両の周辺領域を網羅した画像データを取得することができる動体検出システムを提供することにある。
【０００８】
本発明の更に他の目的は、車両に取り付けられる撮像装置が車両の隅に取り付けられていることにより、前記撮像装置を死角を含む領域を効率よく撮像する位置に設置し、死角を含む領域内の動体を効率よく撮像することができる動体検出システムを提供することにある。
【０００９】
本発明の更に他の目的は、上述のように、複数の撮像装置からの画像データに基づき検出された動体を外部へ通知することにより、車両の運転者に、車両の近傍の動体の存在を通知して警告することができる動体検出システムを提供することにある。
【００１０】
【課題を解決するための手段】
第１発明に係る動体検出システムは、撮像領域が重複するように車両に取り付けられる複数の撮像装置と、該撮像装置が撮像した画像データに基づき動体を検出する動体検出装置とを備える動体検出システムにおいて、前記動体検出装置は、前記撮像装置から時系列的に取得する画像データ中の第１変化領域を検出する第１変化検出手段と、該第１変化検出手段が検出した第１変化領域を含む撮像領域を撮像する他の撮像装置を特定する特定手段と、該特定手段が特定した他の撮像装置から時系列的に取得する画像データから、前記第１変化領域に対応する第２変化領域を検出する第２変化検出手段と、該第２変化検出手段が検出した第２変化領域に基づき動体を検出する検出手段とを備えることを特徴とする。
【００１１】
第１発明による場合は、夫々の撮像領域を重複させて車両に取り付けられた複数の撮像装置夫々が撮像した画像データに基づき、１つの撮像装置から時系列的に取得する画像データ中の第１変化領域を第１変化検出手段にて検出し、検出された第１変化領域を含む撮像領域を撮像する他の撮像装置を特定手段にて特定する。また、特定された他の撮像装置が撮像した画像データから、前記第１変化領域に対応する第２変化領域を第２変化検出手段にて検出し、検出した第２変化領域に基づき動体を検出する。
【００１２】
このように、例えば、１つの撮像装置が撮像した画像データに動体を示す可能性を有する第１変化領域が検出され、他の撮像装置によって、前記第１変化領域に対応する第２変化領域が撮像された場合に、これらの２つの撮像装置の撮像領域内に動体が存在すると判断することができ、検出すべき動体を２方向から撮像した画像データに基づき確実に検出することができる。
従って、１つの撮像装置の撮像方向と同一方向に移動する動体であっても、当該移動方向とは異なる撮像方向の他の撮像装置が撮像した画像データに基づき、確実に検出することができる。
【００１３】
第２発明に係る動体検出システムは、前記撮像装置は、全方位の撮像が可能に構成されていることを特徴とする。
【００１４】
第２発明による場合は、車両に取り付けられる撮像装置が、全方位の撮像が可能に構成されていることにより、１つの撮像装置によって広い領域の映像を撮像することが可能となり、より少ない数の撮像装置にて車両の周辺領域を網羅した画像データを取得することができる。
【００１５】
第３発明に係る動体検出システムは、前記撮像装置は、前記車両の隅に取り付けられていることを特徴とする。
【００１６】
第３発明による場合は、前記撮像装置が車両の隅に取り付けられていることにより、前記撮像装置を、死角を含む領域が効率よく撮像できる位置に設置することができ、死角を含む領域内の動体を効率よく撮像することができる。
また、特に、前記撮像装置が、全方位の撮像が可能に構成されている場合では、例えば、車両の４隅夫々に撮像装置を取り付けることにより、効率よく車両の周辺領域を網羅した画像データを取得することができる。
【００１７】
第４発明に係る動体検出システムは、前記動体検出装置は、前記検出手段が検出した動体を外部へ通知する手段を備えることを特徴とする。
【００１８】
第４発明による場合は、上述のように、複数の撮像装置からの画像データに基づき検出された動体を外部へ通知することにより、車両の運転者に、車両の近傍に、歩行者、他の車両、二輪車等の動体の存在を通知して警告することができる。
【００１９】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。尚、本実施の形態では、自動車等の車両内部に構築されたシステムに適用して説明する。また、画像は、例えば１秒当たり３０枚の画像フレーム（画像データ）で構成されている。
（実施の形態１）
図１は本実施の形態に係る動体検出システムの構成例を示すブロック図であり、図中１は本発明に係る動体検出装置としての画像処理装置を示しており、この画像処理装置１は、カメラ系情報ＬＡＮ２とＡＶ系情報ＬＡＮ３とを接続している。
【００２０】
カメラ系情報ＬＡＮ２には、４つのカメラ２０，２１，２２，２３が接続されており、ＡＶ系情報ＬＡＮ３には、モニタ装置３０，オーディオ装置３１等の情報機器が接続されている。
このような構成により、画像処理装置１は、カメラ２０，２１，２２，２３により得られた画像フレーム、モニタ装置３０、オーディオ装置３１等の情報機器から得られた情報を確認できる構成となっている。
【００２１】
カメラ系情報ＬＡＮ２及びＡＶ系情報ＬＡＮ３は、ＩＥＥＥ１３９４規格に準拠した車載ＬＡＮ等を用いて構築されたものであり、画像処理装置１は、カメラ系情報ＬＡＮ２を介して各カメラ２０〜２３が撮像した画像フレームを受信するように構成されている。
尚、各カメラ２０〜２３と画像処理装置１とを専用の信号線を介して接続し、画像処理装置１が、専用の信号線を介して各カメラ２０〜２３から、例えば、ＮＴＳＣ（Ｎａｔｉｏｎａｌ  Ｔｅｌｅｖｉｓｉｏｎ  Ｓｙｓｔｅｍ  Ｃｏｍｍｉｔｔｅｅ  ｓｔａｎｄａｒｄ）方式等のアナログ信号、又はＧＶＩＦ（Ｇｉｇａｂｉｔ  Ｖｉｄｅｏ  Ｉｎｔｅｒｆａｃｅ）等のデジタル信号による画像フレームを受信する構成とすることもできる。
【００２２】
図２はカメラ２０，２１，２２，２３の車両への取付位置を示す概略平面図であり、本実施の形態のカメラ２０は車両Ｃに備え付けられた前バンパーの左端部に、カメラ２１は前バンパーの右端部に、カメラ２２は車両Ｃに備え付けられた後バンパーの左端部に、カメラ２３は後バンパーの右端部に夫々取り付けられている。
【００２３】
カメラ２０，２１，２２，２３は、夫々、垂直方向下向きに双曲面ミラー（図示せず）を備え、各双曲面ミラーに対向させてＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅ  Ｄｅｖｉｃｅ）等からなるカメラ本体部（図示せず）を配置させてあり、双曲面ミラーが反射した全方位からの光をカメラ本体部が取得することにより、全方位の撮像が可能に構成してあり、湾曲したパノラマ状態の画像フレームを取得する。
このような構成により、カメラ２０は車両Ｃの左前方領域Ｒ２０を、カメラ２１は車両Ｃの右前方領域Ｒ２１を、カメラ２２は車両Ｃの左後方領域Ｒ２２を、カメラ２３は車両Ｃの右後方領域Ｒ２３を夫々撮像することができる。
【００２４】
また、このように各位置に取り付けられたカメラ２０，２１，２２，２３は、夫々撮像した画像フレームを順次画像処理装置１へ送出する。
図３は実施の形態１に係る動体検出装置の構成例を示すブロック図であり、本実施の形態に係る動体検出装置としての画像処理装置１は、各カメラ２０〜２３から取得した画像データをモニタ装置３０の表示用データに変換すると共に、変換した表示用データをＡＶ系情報ＬＡＮ３を介してモニタ装置３０へ送出する。
【００２５】
画像処理装置１は、マイクロコンピュータ（以下、マイコンという）１０と、カメラ系情報ＬＡＮ２を介してデータ伝送を行うための通信インタフェース１１ａと、通信インタフェース１１ａを介してカメラ２０，２１，２２，２３から受信した画像フレームに所定の処理を行う画像処理部１２と、画像処理部１２により各種の処理を施された画像フレームをＡＶ系情報ＬＡＮ３を介してモニタ装置３０へ送出するための通信インタフェース１１ｂと、マイコン１０の制御手順を示すコンピュータプログラム等を記憶したＲＯＭ１３と、マイコン１０による制御動作中に発生する種々のデータを一時的に記憶するＲＡＭ１４と、カメラ２０〜２３から取得した画像フレーム、及び画像処理部１２により所定の各処理を施された画像フレームを記憶するフレームメモリ１５等とを備えている。
【００２６】
マイコン１０は、時計手段（図示せず）を備えており、所定のタイミングを計時しながら、上述したハードウェア各部を制御するとともに、ＲＯＭ１３に記憶してある画像処理装置１の動作に必要な種々のコンピュータプログラムを順次実行することにより各種の制御処理を行う。
ＲＯＭ１３には、画像処理装置１の各種動作に必要な種々のコンピュータプログラムだけでなく、カメラ２０，２１，２２，２３の車両Ｃへの取付位置、及び、後述するように、画像処理部１２が、カメラ２０，２１，２２，２３により撮像された画像フレーム中に存在する動体を検出する際に用いる所定の閾値、また、検出した動体を通知する際に用いる音声データである警告メッセージ等が記憶してある。
【００２７】
画像処理装置１は、マイコン１０による画像処理部１２の制御により、カメラ２０，２１，２２，２３が撮像する全方位の映像をパノラマ展開処理を行なうことにより、平面の投影画像に変換してモニタ装置３０へ送出する。
また、マイコン１０は、各カメラ２０，２１，２２，２３から順次取得する画像フレーム中に動体が撮像されているか否かを検出する検出手段として動作し、更に、画像フレーム中に動体が検出した場合、ＲＯＭ１３に記憶してある警告メッセージをオーディオ装置３１に送信するように構成されており、オーディオ装置３１が前記警告メッセージを音声出力することにより、カメラ２０，２１，２２，２３の撮像領域内に動体が存在することを車両Ｃの運転者に通知する。
【００２８】
ここで、カメラ２０，２１，２２，２３が撮像する撮像領域内に動体が存在する場合、カメラ２０，２１，２２，２３が順次撮像する画像フレーム中に変化領域が生じる。即ち、時系列的に前後する画像フレーム間に差分が生じるため、画像処理装置１は、この画像フレーム間の差分に基づき、カメラ２０，２１，２２，２３の撮像領域内の動体を検出することができる。
従って、本実施の形態の画像処理装置１において、画像処理部１２は、まず、通信インタフェース１１ａを介して、カメラ２０，２１，２２，２３夫々から、時系列的に連続して入力される画像フレームに含まれる各画素値の差分値を算出し、各差分値による画像フレームを生成する。
【００２９】
図４（ａ）は、画像処理部１２により算出された差分値による画像フレームの一例を示す図である。尚、本実施の形態においては、カメラ２０，２１，２２，２３から取得する画像フレームは、各画素を８ビットのデータにて示すものとしているため、図４（ａ）に示す、画像フレーム中の各画素に対応する各差分値も０から２５５までの各値をとるものとする。
【００３０】
また、画像処理部１２は、上述のように生成した差分値による画像フレームに含まれる各差分値を、ＲＯＭ１３に予め記憶してある閾値（図４においては３０）に基づく２値化処理を実行し、２値データの画像フレームを生成する。
図４（ｂ）は、図４（ａ）に示す画像フレーム中の各画素に対して２値化処理を実行して得られた２値データの画像フレームの一例を示す図である。尚、本実施の形態では、連続する画像フレーム間の差分値を、２値データに変換することにより、画像フレーム中の差分値が示す変化領域を顕著に現すことができ、後述のマイコン１０による画像フレーム中の変化領域の検出を容易としている。
【００３１】
画像処理装置１において、マイコン１０は、生成された２値データの画像フレームに基づき、この画像フレーム中の変化領域を検出する。
具体的に、マイコン１０は、図４（ｂ）の２値データの画像フレームにおいて、１のデータを有し、夫々が近接する画素をグループ分けし、夫々のグループが示す変化領域４０，４１，４２，４３，４４，４５により示される動体が、当該画像処理装置１を搭載する車両Ｃの発車、見通しの悪い交差点への進入等の際に運転者の注意を要する動体であるか否かを検出している。
【００３２】
ここで、マイコン１０は、予めＲＯＭ１３に記憶してあるカメラ２０，２１，２２，２３の取付位置等の情報を読み出すことにより、上述のようにグループ分けした各変化領域４０，４１，４２，４３，４４，４５により示される動体が、運転者の注意を要する動体を示す第１変化領域であるか否かを検出することができる。
例えば、各変化領域が、画像フレームの上方にある場合には、マイコン１０は、この変化領域を、鳥が飛び立った場合や、木の枝で揺れている木の葉等により生じた変化領域であると判断して、運転者の注意を要する動体でないものと判断する。
【００３３】
図４（ｂ）に示す変化領域４０，４１，４２，４３，４４，４５については、マイコン１０は、変化領域４１，４２，４４を、画面の上方に表示されているため、例えば、木の枝で揺れている木の葉により生じた変化領域と判断し、領域４３，４５を、１のデータが点在するため、画像フレーム中に含まれる誤差等であると判断する。
また、マイコン１０は、変化領域４０について、１のデータがある程度固まって、地面の近くに存在しており、運転者の注意を要する動体を示す第１変化領域であると判断する。
【００３４】
上述したように動体を示す可能性の高い第１変化領域を検出したマイコン１０は、この画像フレーム中の前記第１変化領域の位置に基づき、前記第１変化領域を撮像し得る他のカメラを特定する特定手段として動作する。
例えば、上述した各処理により、カメラ２０が撮像した画像フレームから、図２中に、矢符Ａで示す方向に移動する動体Ｘを示す第１変化領域を検出した場合、マイコン１０は、この動体Ｘはカメラ２１によっても撮像されている可能性が高いと特定する。
【００３５】
また、マイコン１０は、特定されたカメラ２１から取得する画像フレームから、動体Ｘに対応する第２変化領域を検出するように構成してある。尚、カメラ２１から取得する画像フレームから第２変化領域を検出する場合についても、上述したように、時系列的に前後する画像フレーム間の差分の算出処理及び２値化処理を行なう。
ここで、動体Ｘはカメラ２０の撮像方向と同一の方向Ａに移動しており、カメラ２０により撮像された画像フレームにおける第１変化領域は、顕著ではないが、カメラ２１が撮像した画像フレームにおける第２変化領域に基づき動体Ｘを確実に検出することができる。
【００３６】
上述したように、カメラ２０が撮像した画像フレーム中の動体Ｘを示す可能性の高い第１変化領域に対応する第２変化領域が、カメラ２１が撮像した画像フレームから検出された場合、カメラ２０，２１の撮像領域内に動体が存在することを確実に検出することができる。
また、２つのカメラ２０，２１が撮像した画像フレームに基づき動体Ｘが検出された場合、画像処理装置１は、ＲＯＭ１３に記憶してある警告メッセージを読み出して通信インタフェース１１ｂを介してオーディオ装置３１に送信する通知手段として動作し、この警告メッセージがオーディオ装置３１により音声出力されることにより、運転者に車両Ｃの近傍の動体の存在を通知する。
【００３７】
以下に、上述した構成の動体検出システムにおいて、画像処理装置１による動体検出処理について説明する。尚、動体検出システムを利用する車両Ｃの運転者は、停車している車両Ｃを発車させる際に、モニタ装置３０に表示される通知画面に基づき、各カメラ２０，２１，２２，２３の撮像領域内、特に車両Ｃの周辺に動体が存在しないことを確認することができる。
また、本実施の形態における画像処理装置１は、カメラ２０が撮像した画像フレームに基づき動体を示す可能性を有する第１変化領域を検出し、この第１変化領域に対応する第２変化領域をカメラ２１が撮像した画像フレームから検出する例に基づき説明する。
【００３８】
図５は本発明に係る動体検出装置による動体検出処理手順を示すフローチャートである。画像処理装置１において、マイコン１０は、自身が備える時計手段により所定時間が経過するか否かを判断しており（Ｓ１）、所定時間が経過していない場合（Ｓ１：ＮＯ）、所定時間が経過するまで待機しており、所定時間が経過したと判断した場合（Ｓ１：ＹＥＳ）、カメラ２０から取得した画像フレームをフレームメモリ１５に一旦記憶する（Ｓ２）。
【００３９】
次にマイコン１０は、画像処理部１２により、フレームメモリ１５に記憶してある、所定時間間隔で連続してカメラ２０から取得した２枚の画像フレームについて、各画像フレーム中の画素値を減算することにより、各画素に対応した差分値を算出し、これらの差分値による画像フレームを生成する（Ｓ３）。
また、生成された差分値による画像フレームの各差分値に、予めＲＯＭ１３に記憶してある閾値に基づく２値化処理を実行し、２値データの画像フレームを生成する（Ｓ４）。
【００４０】
マイコン１０は、上述のように生成された２値データの画像フレーム中の１のデータを有する近隣の画素をグループ分けし、上述した方法により運転者に通知すべき動体を示す第１変化領域を検出しており、この第１変化領域が検出できたか否かを判断している（Ｓ５）。
マイコン１０は、第１変化領域が検出できない場合（Ｓ５：ＮＯ）、カメラ２０の撮像領域内には動体が存在していないとしてステップＳ１の処理に戻り、所定時間間隔毎にカメラ２０から取得する画像フレームに対して、ステップＳ２からＳ５までの各処理を繰り返す。
【００４１】
また、マイコン１０は、カメラ２０から取得した画像フレーム中の第１変化領域が検出できた場合（Ｓ５：ＹＥＳ）、当該画像フレーム中の第１変化領域の位置に基づき、この第１変化領域を撮像し得る位置の他のカメラを特定する（Ｓ６）。尚、ここではカメラ２１が特定される。
次にマイコン１０は、カメラ２１から順次取得する画像フレームから、第１変化領域に対応する第２変化領域を検出しており、この第２変化領域が検出できたか否かを判断している（Ｓ７）。
【００４２】
ここで、カメラ２１から取得する画像フレーム中に第２変化領域を検出できない場合（Ｓ７：ＮＯ）、マイコン１０は、カメラ２０から取得した画像フレームから検出した第１変化領域は動体を示す領域ではないとしてステップＳ１の処理に戻り、所定時間間隔毎にカメラ２０から取得する画像フレームに対して上述した各処理を繰り返す。
一方、カメラ２１から取得する画像フレーム中に第２変化領域を検出できた場合（Ｓ７：ＹＥＳ）、マイコン１０は、検出した第２変化領域は動体を示す領域であるとしてＲＯＭ１３の警告メッセージをＡＶ系情報ＬＡＮ３を介してオーディオ装置３１に送信する（Ｓ８）。
【００４３】
オーディオ装置３１は、画像処理装置１から受信した警告メッセージを音声出力し、車両Ｃの運転者に、カメラ２０，２１の撮像領域内に動体が存在することを通知する。
これにより車両Ｃの運転者等は、車両Ｃの近傍に存在する動体を把握することができ、警告された動体を確認し、また、確認した動体が車両Ｃと衝突するか否かを判断することにより、動体と車両Ｃとの衝突を回避することができる。
【００４４】
上述したように、２つのカメラ２０，２１から順次取得する画像フレームに基づき、カメラ２０，２１の撮像領域内に存在する動体を検出することができ、また、動体を検出した場合に、警告メッセージをオーディオ装置３１に出力させることにより、カメラ２０，２１の撮像領域内に動体が存在することを、車両Ｃの運転者等に通知することができる。
【００４５】
上述した本実施の形態において、画像処理装置１は、第１変化領域及び第２変化領域を検出する際に、カメラ２１，２０から連続して取得する画像フレームの差分値を算出しているが、連続して取得する画像フレームに対して、オプティカルフロー処理を実行することにより、動体を示す第１変化領域及び第２変化領域を検出する構成とすることもできる。
尚、オプティカルフロー処理は、１枚の画像フレーム中に、複数画素からなる注目ブロックを設定しておき、後続する画像フレーム中に存在する前記注目ブロックを検出し、この２枚の画像フレーム中の各注目ブロックの移動を検出することにより、カメラ２０，２１の撮像領域内の動体を示す第１変化領域及び第２変化領域を検出することができる処理である。
【００４６】
上述した実施の形態では、４つのカメラ２０，２１，２２，２３は、全方位のパノラマ画像の撮影が可能に構成してあるが、この態様には限られず、カメラの取付位置においても、上述したように前バンパー及び後バンパーに限られない。
また、上述した実施の形態では、カメラ２０，２１により車両Ｃの前方に存在する動体の検出処理を説明しているが、同様に、カメラ２０，２２により車両Ｃの左側に存在する動体を検出することができ、カメラ２１，２３より車両Ｃの右側に存在する動体を検出することができ、カメラ２２，２３により車両Ｃの後方に存在する動体を検出することができる。
【００４７】
更に、例えば、車両から１又は２ｍ離れた子供を撮像した場合に取得される画像フレームにおいて、子供を示す画素数を予め設定しておくことにより、マイコン１０が検出した、運転者に通知すべき第１変化領域及び第２変化領域内の画素数に基づき、車両の近傍に存在する動体が、子供であるか否か等の判断が可能となり、車両近傍に存在する子供の検出のみを実行することも可能となる。
【００４８】
（実施の形態２）
以下に、実施の形態２における動体検出システムについて説明する。尚、動体検出システムの構成については、上述した実施の形態１と同様であるため説明を省略する。また、画像処理装置１については、同様の構成を有するものについては、同一の符号を付して説明を省略する。
【００４９】
図６は実施の形態２に係る動体検出装置の構成例を示すブロック図であり、本実施の形態に係る動体検出装置としての画像処理装置１は、ＲＯＭ１３に、画像処理部１２が、カメラ２０，２１，２２，２３により撮像された画像フレーム中に存在する動体を検出した場合に、検出した動体を通知する際に用いる枠画像データ、変換テーブル及び領域画像データ等が記憶してある。
また、画像処理部１２が、ＲＯＭ１３の変換テーブルを用いる際に、この変換テーブルを一旦記憶させるテーブル用ＲＡＭ１６を備えている。画像処理部１２は、このテーブル用ＲＡＭ１６にアクセスすることにより、変換テーブルの参照処理を高速に行うことができる。
【００５０】
本実施の形態の画像処理装置１は、カメラ２０，２１，２２，２３から取得する画像フレーム中に動体を検出した場合、図７に示すような通知画面をモニタ装置３０に表示させることにより、カメラ２０，２１，２２，２３の撮像領域内に動体が存在することを車両Ｃの運転者に通知する。
尚、通知画面は、カメラ２０，２１，２２，２３が撮像した画像フレームをパノラマ展開した全方位の映像に基づく画面であってもよく、このパノラマ展開した全方位の映像から、通知したい動体の近傍領域を切り出して表示した画面であってもよい。
【００５１】
図７に示すように、通知画面は、例えば、３つの領域１，２，３に分割されており、領域１には、カメラ２０，２１，２２，２３が撮像した画像フレームを、領域２には、領域１に表示される画像フレーム中の、上述のように検知された動体を示す変化領域４０を所定の処理により抽出して拡大した拡大画像を、領域３には、変化領域４０を含む画像フレームを撮像したカメラ２０，２１，２２，２３の撮像領域を示す領域画像データを夫々表示している。
【００５２】
本実施の形態において、画像処理部１２は、マイコン１０により動体を示す変化領域４０が検出された場合、ＲＯＭ１３から枠画像データを読み出し、読み出した枠画像データを、カメラ２０〜２３から取得し、モニタ装置３０へ送信する画像フレームの変化領域４０の周囲を囲む位置に合成する。
これにより、通知画面の領域１に、図７に示すように動体を枠で囲んだ通知画面を表示させるための通知画面データを生成することができる。尚、この枠画像データが示す枠のサイズを予め設定しておき、枠で囲まれる変化領域が小さすぎる場合には、当該動体の車両からの距離が遠いと判断して、運転者に通知しない構成とすることもできる。
【００５３】
また、マイコン１０は、通知画面の領域１に枠画像データで囲んで表示される変化領域４０を拡大して、通知画面の領域２に表示させるための通知画面データを生成するために、ＲＯＭ１３に記憶してある変換テーブルをテーブル用ＲＡＭ１６に読み出す。
ここで、通知画面の領域２に表示される拡大画像のサイズは、予め設定されており、ＲＯＭ１３に記憶してある変換テーブルは、この拡大画像中の各画素データを特定するための基本テーブルであり、マイコン１０が、カメラ２０からの画像フレーム中の変化領域４０の移動とともに、この基本テーブルを更新することにより生成する変換テーブルに基づく拡大画像を、カメラ２０から取得する画像フレームに合成して通知画面データを生成する。
【００５４】
具体的に、マイコン１０は、上述したように、通知画面の領域１に表示されるカメラ２０からの画像フレーム中の変化領域４０内の画素データを抽出するとともに、抽出する変化領域４０を特定する２点（ｘ１  ，ｙ１  ）及び（ｘ２  ，ｙ２  ）を決定し、決定した２点（ｘ１  ，ｙ１  ）及び（ｘ２  ，ｙ２  ）が、領域２の拡大画像の領域を特定する２点（Ｘ１  ，Ｙ１  ）及び（Ｘ２  ，Ｙ２  ）に対応するように、変化領域４０の拡大率を算出し、算出した拡大率に基づき、拡大画像の領域内の各画素に、変化領域４０内の各画素データを対応させる変換テーブルを生成する。
【００５５】
これにより、通知画面の領域２に、図７に示すように、カメラ２０が撮像した動体を拡大して表示させるための変換テーブルを生成することができ、生成された変換テーブル内の各画素データを所定の順序にて読み出すことのみにて、検出された動体を示す変化領域４０の拡大画像データを含む通知画面データをモニタ装置３０に送出することができる。
【００５６】
更に、マイコン１０は、運転者に通知すべき変化領域４０を検出した場合、検出した変化領域４０を含む画像フレームを撮像したカメラが、どのカメラであるかを検知している。
ここで、ＲＯＭ１３に記憶してある領域画像データは、図７の領域３に示すような車両Ｃを示すデータ、カメラ２０，２１の撮像領域ＲＦを示すデータ、カメラ２０，２２の撮像領域ＲＬを示すデータ、カメラ２１，２３の撮像領域ＲＲを示すデータ、及びカメラ２２，２３の撮像領域ＲＢを示すデータを含んでいる。
【００５７】
画像処理部１２は、マイコン１０により変化領域４０が検知された場合、ＲＯＭ１３から領域画像データを読み出し、読み出した領域画像データに含まれるカメラ２０，２１の撮像領域ＲＦに色付け等を施すことにより、他の撮像領域ＲＬ，ＲＲ，ＲＢと区別して、カメラ２０〜２３から取得し、モニタ装置３１に送信する画像フレームに合成する。
これにより、モニタ装置３０の領域３に、図７に示すように、カメラ２０，２１の撮像領域内に存在する動体通知するための通知画面データを生成することができ、このように生成された通知画面データをモニタ装置３０に表示することにより、運転者は、車両Ｃの近傍の動体と車両Ｃとの位置関係を容易に把握することができる。
【００５８】
ここで、運転者に通知すべき動体を示す変化領域が複数検出された場合には、領域１については、全ての変化領域を枠画面データにより囲んで表示し、領域２については、各変化領域を並列させて表示し、領域３については、検知した変化領域に対応する全ての撮像領域を色付け等して表示させることにより、全ての動体について、運転者に通知することができるが、各領域１，２，３において示す変化領域は、運転者を混乱させないために、夫々を明確に対応させて表示する必要がある。
【００５９】
以下に、本実施の形態に係る動体検出システムにおいて、画像処理装置１による動体検出処理について説明する。
図８は本発明に係る動体検出装置による動体検出処理手順を示すフローチャートである。尚、本実施の形態では、カメラ２０が撮像した画像フレームに基づき動体である可能性を有する第１変化領域が検出され、この第１変化領域に対応する第２変化領域をカメラ２１が撮像した画像フレームから検出する例に基づき説明する。
【００６０】
画像処理装置１において、マイコン１０は、自身が備える時計手段により所定時間が経過するか否かを判断しており（Ｓ１１）、所定時間が経過していない場合（Ｓ１１：ＮＯ）、所定時間が経過するまで待機しており、所定時間が経過したと判断した場合（Ｓ１１：ＹＥＳ）、カメラ２０から取得した画像フレームをフレームメモリ１５に一旦記憶する（Ｓ１２）。
次にマイコン１０は、画像処理部１２により、フレームメモリ１５に記憶してある、所定時間間隔で連続してカメラ２０から取得した２枚の画像フレームについて、各画像フレーム中の画素値を減算することにより、各画素に対応した差分値を算出し、これらの差分値による画像フレームを生成する（Ｓ１３）。
【００６１】
また、マイコン１０は、生成された差分値による画像フレームの各差分値に、予めＲＯＭ１３に記憶してある閾値に基づく２値化処理を実行し、２値データの画像フレームを生成し（Ｓ１４）、生成された２値データの画像フレームから、運転者に通知すべき動体を示す第１変化領域を検出しており、この第１変化領域が検出できたか否かを判断する（Ｓ１５）。
マイコン１０は、第１変化領域が検出できない場合（Ｓ１５：ＮＯ）、カメラ２０の撮像領域内には動体が存在していないとしてステップＳ１１の処理に戻り、第１変化領域が検出できた場合（Ｓ１５：ＹＥＳ）、検出した第１変化領域の位置に基づき、この第１変化領域を撮像し得る位置の他のカメラを特定する（Ｓ１６）。尚、ここではカメラ２１が特定される。
【００６２】
次にマイコン１０は、カメラ２１から順次取得する画像フレームから、第１変化領域に対応する第２変化領域を検出しており、この第２変化領域が検出できたか否かを判断している（Ｓ１７）。
ここで、カメラ２１から取得する画像フレーム中に第２変化領域を検出できない場合（Ｓ１７：ＮＯ）、マイコン１０は、カメラ２０から取得した画像フレームから検出した第１変化領域は動体を示す領域ではないとしてステップＳ１１の処理に戻る。
【００６３】
一方、第２変化領域を検出できた場合（Ｓ１７：ＹＥＳ）、マイコン１０は、ＲＯＭ１３から枠画像データを読み出し、読み出した枠画像データを、カメラ２１から順次取得し、モニタ装置３０に送信する画像フレーム中の第２変化領域を囲む位置に合成させる（Ｓ１８）。
次に、マイコン１０は、検出した第２変化領域のサイズに基づき、この第２変化領域の各画素から、通知画面の領域２に表示される拡大画像を生成するための変換テーブルを生成し（Ｓ１９）、更に、マイコン１０は、ＲＯＭ１７から領域画像データを読み出し、読み出した領域画像データに含まれるカメラ２０，２１の撮像領域ＲＦを示すデータを色付け等し、この領域画像データをモニタ装置３０に送信する画像フレームに合成する（Ｓ２０）。
【００６４】
マイコン１０は、ステップＳ１８で枠画像データを合成した画像フレームと、ステップＳ１９で生成した変換テーブルを参照することにより生成される拡大画像と、ステップＳ２０で合成した領域画像データとを含む通知画面データを、通信インタフェース１１ｂを介して、モニタ装置３０へ送信する（Ｓ２１）。
【００６５】
モニタ装置３０は、図９に示すような、画像処理装置１から受信した通知画面データに基づく通知画面を表示することにより、表示した通知画面を参照している車両Ｃの運転者に、カメラ２０，２１の撮像領域ＲＦ内に動体が存在することを通知することができる。
図９に示すように、通知画面は、上方に、カメラ２０，２１により撮像され、動体を枠で囲まれた画像フレームが表示してあり、下方の左側に、領域１において枠で囲まれた動体を拡大した拡大画像が表示してあり、下方の右側に、検出された動体を撮像したカメラ２０，２１の撮像領域ＲＦを示す領域画像データが表示してある。
【００６６】
このような通知画面により、車両の運転者等は、カメラ２０，２１の撮像領域内に存在する動体を把握することができ、モニタ装置３０に表示された動体を、視覚的に容易に確認し、また、確認した動体が車両と衝突するか否かを判断することにより、動体と車両との衝突を回避することができる。
【００６７】
尚、本実施の形態では、通知画面の領域１，２，３夫々において、動体を運転者に報知する構成をなしているが、いずれか１つ又は２つの構成を備えることも当然可能である。
また、上述した実施の形態２における車両番号読取システム１００においても、上述の実施の形態１で説明した変形例と同様の変形例の適用が可能である。
【００６８】
【発明の効果】
第１発明による場合は、夫々の撮像領域を重複させて車両に取り付けられた複数の撮像装置夫々が撮像した画像データに基づき、例えば、１つの撮像装置が撮像した画像データに動体を示す可能性を有する第１変化領域を検出し、検出した第１変化領域を含む撮像領域を撮像する他の撮像装置を特定する。また、特定した他の撮像装置が撮像した画像データから、前記第１変化領域に対応する第２変化領域を検出し、検出した第２変化領域に基づき動体を検出することにより、これらの２つの撮像装置の撮像領域内に動体が存在すると判断することができ、検出すべき動体を２方向から撮像した画像データに基づき確実に検出することができる。
【００６９】
第２発明による場合は、車両に取り付けられる撮像装置が、全方位の撮像が可能に構成されていることにより、１つの撮像装置によって広い領域の映像を撮像することが可能となり、より少ない数の撮像装置にて車両の周辺領域を網羅した画像データを取得することができる。
【００７０】
第３発明による場合は、撮像装置が車両の隅に取り付けられていることにより、前記撮像装置を、死角を含む領域が効率よく撮像できる位置に設置することができ、死角を含む領域内の動体を効率よく撮像することができる。また特に、前記撮像装置が、全方位の撮像が可能に構成されている場合では、例えば、車両の４隅夫々に撮像装置を取り付けることにより、効率よく車両の周辺領域を網羅した画像データを取得することができる。
【００７１】
第４発明による場合は、上述のように、複数の撮像装置からの画像データに基づき検出された動体を外部へ通知することにより、車両の運転者に、車両の近傍に存在する動体通知して警告することができる。
【図面の簡単な説明】
【図１】本実施の形態に係る動体検出システムの構成例を示すブロック図である。
【図２】カメラの車両への取付位置を示す概略平面図である。
【図３】実施の形態１に係る動体検出装置の構成例を示すブロック図である。
【図４】（ａ）は差分値による画像フレームの一例を示す図であり、（ｂ）は２値データによる画像フレームの一例を示す図である。
【図５】本発明に係る動体検出装置による動体検出処理手順を示すフローチャートである。
【図６】実施の形態２に係る動体検出装置の構成例を示すブロック図である。
【図７】通知画面の構成例を示す図である。
【図８】本発明に係る動体検出装置による動体検出処理手順を示すフローチャートである。
【図９】通知画面の一例を示す図である。
【符号の説明】
１  画像処理装置（動体検出装置）
１０  マイクロコンピュータ
１２  画像処理部
１３  ＲＯＭ
２０，２１，２２，２３  カメラ（撮像装置）
３０  モニタ装置
３１  オーディオ装置
【図１】
2004266766.tif 000003
【図２】
2004266766.tif 000004
【図３】
2004266766.tif 000005
【図４】
2004266766.tif 000006
【図５】
2004266766.tif 000007
【図６】
2004266766.tif 000008
【図７】
2004266766.tif 000009
【図８】
2004266766.tif 000010
【図９】
2004266766.tif 000011