(57)【要約】【課題】大きさや、移動速度等が異なる複数種類のオブジェクトについて、検出や追跡が精度よく行える技術を提供する。【解決手段】ビデオカメラ１０、１１で撮像した対象エリアのフレーム画像を画像入力部３に入力する。画像処理プロセッサ４は、画像入力部３に入力されたフレーム画像上に、検出対象であるオブジェクトの種類を定めた複数の処理領域毎に、その処理領域の画像を、検出対象であるオブジェクトの種類に応じた解像度の画像に変換したリサイジング画像を生成する。さらに、画像処理プロセッサ４は、生成したリサイジング画像を処理し、検出対象である種類のオブジェクトを検出する。【選択図】図１
2015002401.tif 000002
【特許請求の範囲】
【請求項１】
カメラで撮像した対象エリアのフレーム画像を入力する画像入力部と、
前記画像入力部に入力されたフレーム画像上に、検出対象であるオブジェクトの種類を定めた複数の処理領域毎に、その処理領域の画像を、検出対象であるオブジェクトの種類に応じた解像度の画像に変換したリサイジング画像を生成するリサイジング処理部と、
前記リサイジング処理部が生成したリサイジング画像を処理し、検出対象である種類のオブジェクトを検出するオブジェクト検出部と、を備えた画像処理装置。
【請求項２】
前記リサイジング処理部は、前記処理領域毎に、予め設定した画素数のリサイジング画像を生成する、請求項１に記載の画像処理装置。
【請求項３】
前記オブジェクト検出部が検出したオブジェクト毎に、時間経過にともなう前記対象エリア上の位置の変化を示すオブジェクトマップを生成するオブジェクトマップ生成部を備えた、請求項１、または２に記載の画像処理装置。
【請求項４】
前記画像入力部には、前記対象エリアに対するアングルが異なる複数のカメラで撮像したフレーム画像が入力され、
前記リサイジング処理部、および前記オブジェクト検出部を、前記カメラ毎に設けた請求項１〜３のいずれかに記載の画像処理装置。
【請求項５】
前記画像入力部には、前記対象エリアに対するアングルが異なる複数のカメラで撮像したフレーム画像が入力され、
前記リサイジング処理部、前記オブジェクト検出部、およびオブジェクトマップ生成部を、それぞれ前記カメラ毎に設け、
前記カメラ毎に設けた前記オブジェクトマップ生成部が生成したオブジェクトマップを検出したオブジェクト単位で統合する統合部を備えた請求項１〜３のいずれかに記載の画像処理装置。
【請求項６】
前記対象エリアは、交差点である、請求項１〜５のいずれかに記載の画像処理装置。
【請求項７】
前記画像入力部に入力されたフレーム画像上に設定した処理領域は、検出対象であるオブジェクトの種類が車両、または人である、請求項６に記載の画像処理装置。
【請求項８】
前記オブジェクト検出部の検出結果に基づき、対象エリアである交差点における車両、または人の通過を示す出力信号を出力する出力部を備えた、請求項６、または７に記載の画像処理装置。
【請求項９】
コンピュータが、画像入力部に入力された、カメラで撮像した対象エリアのフレーム画像を処理する画像処理方法であって、
前記画像入力部に入力されたフレーム画像上に、検出対象であるオブジェクトの種類を定めた複数の処理領域毎に、その処理領域の画像を、検出対象であるオブジェクトの種類に応じた解像度の画像に変換したリサイジング画像を生成するリサイジング処理ステップと、
前記リサイジング処理ステップで生成したリサイジング画像を処理し、検出対象である種類のオブジェクトを検出するオブジェクト検出ステップと、をコンピュータが実行する画像処理方法。
【請求項１０】
画像入力部に入力された、カメラで撮像した対象エリアのフレーム画像をコンピュータに処理させる画像処理プログラムであって、
前記画像入力部に入力されたフレーム画像上に、検出対象であるオブジェクトの種類を定めた複数の処理領域毎に、その処理領域の画像を、検出対象であるオブジェクトの種類に応じた解像度の画像に変換したリサイジング画像を生成するリサイジング処理ステップと、
前記リサイジング処理ステップで生成したリサイジング画像を処理し、検出対象である種類のオブジェクトを検出するオブジェクト検出ステップと、をコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、カメラで撮像した対象エリアのフレーム画像を処理し、大きさが異なる複数種類のオブジェクトを検出する技術に関する。
【背景技術】
【０００２】
従来、カメラで撮像したフレーム画像を処理し、このフレーム画像に撮像されている人や車両等のオブジェクトの検出や、検出したオブジェクトの追跡（トラッキング）を行う画像処理装置がある。例えば、特許文献１には、交差点を撮像したフレーム画像を処理し、分岐方向別（直進、右折、左折）に車両台数を計数する交通流計測装置が記載されている。
【０００３】
また、交差点において計数した分岐方向別（直進、右折、左折）の車両台数や、横断歩道を通行している歩行者の有無等を用いて、この交差点に設置されている信号灯機を制御することも行われている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１９０１４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、カメラで撮像したフレーム画像を処理して、撮像されているオブジェクトを検出したり、追跡したりする場合、画像の解像度が検出するオブジェクトに対して適正でないと、その精度を確保することができない。一方で、検出したり、追跡したりするオブジェクトの大きさや、移動速度等によって、そのオブジェクトに対する画像の解像度の適正範囲（精度を十分に確保できる範囲）が異なる。
【０００６】
したがって、大きさや移動速度が異なる複数種類のオブジェクトについて、検出や追跡を行うシステム（例えば、交差点において自動車（四輪車）、バイク（二輪車）、歩行者等の複数種類のオブジェクトを検出し追跡するシステム、）では、画像の解像度を、いずれかの種類のオブジェクトに対して適正な範囲に設定すると、他の種類のオブジェクトに対する画像の解像度が適正な範囲から外れてしまうことがある。画像の解像度が適正な範囲から外れた種類のオブジェクトについては、検出や追跡にかかる精度を確保することができない。
【０００７】
このように、従来の装置では、大きさや、移動速度等が異なる複数種類のオブジェクトについて、検出や追跡を精度よく行うことが困難であった。
【０００８】
なお、オブジェクトの種類毎に、そのオブジェクトに対して適正な画像の解像度の範囲は、ある程度の幅がある（適正な画像の解像度は、特定の値ではない。）。
【０００９】
この発明の目的は、大きさや、移動速度等が異なる複数種類のオブジェクトについて、検出や追跡が精度よく行える技術を提供することにある。
【課題を解決するための手段】
【００１０】
この発明の画像処理装置は、上述の目的を達するために、以下のように構成している。
【００１１】
画像入力部には、カメラで撮像した対象エリアのフレーム画像が入力される。画像入力部に入力されたフレーム画像上には、検出対象であるオブジェクトの種類（車両、歩行者等）を定めた複数の処理領域が設定されている。各処理領域は、他の処理領域とその一部が重なっていてもよいし、重なっていなくてもよい。
【００１２】
リサイジング処理部は、処理領域毎に、その処理領域の画像を、検出対象であるオブジェクトの種類に応じた解像度の画像に変換したリサイジング画像を生成する。
【００１３】
そして、オブジェクト検出部は、リサイジング処理部が生成したリサイジング画像を処理し、検出対象である種類のオブジェクトを検出する。
【００１４】
このように、カメラで撮像したフレーム画像を直接処理してオブジェクトを検出するのではなく、検出対象であるオブジェクトの種類を定めた処理領域毎に、その処理領域について検出対象であるオブジェクトの種類に応じた解像度のリサイジング画像を生成し、このリサイジング画像を処理してオブジェクトを検出する。したがって、大きさや、移動速度等が異なる複数種類のオブジェクトについて検出や追跡を行う場合であっても、オブジェクトの種類毎に検出や追跡が精度よく行える。
【００１５】
また、オブジェクトの種類毎に、カメラを設置する必要がないので、システムの大型化やコストアップが抑えられる。
【００１６】
また、リサイジング処理部は、処理領域毎に、予め設定した画素数のリサイジング画像を生成する構成としてもよい。この場合には、フレーム画像上に設定する処理領域の大きさを、生成されるリサイジング画像において、その処理領域に定めた検出対象のオブジェクトの種類に応じた解像度になるように定めておけばよい。
【００１７】
なお、リサイジング処理部は、処理領域毎に、その処理領域について予め定められている解像度の画像を生成する構成であってもよい。この場合には、フレーム画像上に設定する処理領域の大きさに関係なく解像度を設定できる。但し、各処理領域について生成されるリサイジング画像の画素数が均一にならない。
【００１８】
また、オブジェクト検出部が検出したオブジェクト毎に、時間経過にともなう対象エリア上の位置の変化を示すオブジェクトマップを生成するオブジェクトマップ生成部を備えてもよい。これにより、検出したオブジェクト毎に、時間経過にともなう位置の変化（移動軌跡）を得ることができる。
【００１９】
また、画像入力部に、対象エリアに対するアングルが異なる複数のカメラで撮像したフレーム画像を入力し、リサイジング処理部、およびオブジェクト検出部を、カメラ毎に設けてもよい。これにより、あるカメラのフレーム画像において、手前に位置するオブジェクトの影になって撮像されなかったオブジェクトの見逃しが防止できる。
【００２０】
また、オブジェクトマップ生成部についても、カメラ毎に設けるのが好ましい。この場合、カメラ毎に設けたオブジェクトマップ生成部が生成したオブジェクトマップを検出したオブジェクト単位で統合する統合部を備えればよい。これにより、複数のカメラのフレーム画像から検出されたオブジェクトを、１つのオブジェクトとして処理できる。
【００２１】
また、対象エリアは、交差点とする場合には、検出するオブジェクトの種類を、車両（自動車やバイク）や歩行者等にすればよい。また、オブジェクト検出部の検出結果に基づき、対象エリアである交差点における車両、または人の通過を示す出力信号を出力する構成とすればよい。これにより、交通量に応じた信号灯機の制御が行える。
【発明の効果】
【００２２】
この発明によれば、大きさや、移動速度等が異なる複数種類のオブジェクトについて、検出や追跡が精度よく行える。
【図面の簡単な説明】
【００２３】
【図１】画像処理装置の主要部の構成を示すブロック図である。
【図２】交差点におけるビデオカメラの設置例を示す図である。
【図３】画像処理プロセッサの機能構成を示す機能ブロック図である。
【図４】ビデオカメラが撮像した交差点のフレー無画像を示す図である。
【図５】リサイジング画像を示す図である。
【図６】オブジェクトマップを示す図である。
【図７】画像処理装置の動作を示すフローチャートである。
【図８】画像処理を示すフローチャートである。
【発明を実施するための形態】
【００２４】
以下、この発明の実施形態である画像処理装置について説明する。
【００２５】
図１は、この例にかかる画像処理装置の主要部の構成を示すブロック図である。この例にかかる画像処理装置１は、制御部２と、画像入力部３と、画像処理プロセッサ４と、出力部５と、を備えている。この例にかかる画像処理装置１は、交差点における車両、および歩行者の検出、および追跡を行う。この例は、説明を簡単にするため、検出するオブジェクトの種類を車両（自動車（四輪車）、およびバイク（二輪車））と、歩行者との２種類にしている。
【００２６】
制御部２は、画像処理装置１本体各部の動作を制御する。また、後述する統合処理（この発明で言う統合部に相当する構成）や出力信号生成処理を行う。
【００２７】
画像入力部３は、接続されている２台のビデオカメラ１０、１１が撮像した交差点のフレーム画像が入力される。ビデオカメラ１０、１１のフレームレートは、数十フレーム／ｓｅｃ（例えば、３０フレーム／ｓｅｃ）である。
【００２８】
画像処理プロセッサ４は、一方のビデオカメラ１０から入力されたフレーム画像を処理して、検出対象である車両、および歩行者の検出、追跡を行う第１の画像処理部４１と、他方のビデオカメラ１１から入力されたフレーム画像を処理して、検出対象である車両、および歩行者の検出、追跡を行う第２の画像処理部４２と、を備えている。画像処理プロセッサ４の詳細については、後述する。この画像処理プロセッサ４が、この発明にかかる画像処理方法を実行するコンピュータに相当する。また、この画像処理プロセッサ４が、この発明にかかる画像処理プログラムを実行させるコンピュータに相当する。
【００２９】
出力部５は、検出対象である車両、および歩行者の検出、追跡にかかる処理結果に基づく信号（制御部２が生成した出力信号）を出力する。例えば、出力部５は、交差点に設置されている信号灯機を制御する信号制御装置（不図示）に対して、車両や歩行者の通過信号（通過パルス）を出力する。また、出力部５は、交差点の交通量をモニタリングする装置に対して、交差点における車両の分岐方向別（直進、右折、左折）の台数を計数して出力する構成であってもよい。すなわち、出力部５から出力する信号（制御部２が生成する出力信号）は、その信号を入力する装置や、用途に応じて決定すればよい。
【００３０】
２台のビデオカメラ１０、１１は、図２に示すように、交差点を対向して撮像する向きに設置している。また、各ビデオカメラ１０、１１は交差点全体を撮像エリア内に収められるように、撮像レンズとして広角レンズを使用している。また、ビデオカメラ１０、１１は、メガピクセル（例えば、縦×横が１３００×１０００程度）の撮像素子を備えている。図２から明らかなように、交差点に対するビデオカメラ１０、１１のアングルは異なっている。
【００３１】
なお、２台のビデオカメラ１０は、一方のビデオカメラ１０（または１１）において、大型車両（バスやトラック等）が撮像されたときに、その背後に位置する車両（普通自動車）や歩行者等が隠れて撮像されないときでも、他方のビデオカメラ１１（または１０）において、その車両や歩行者等が撮像できるように設置している。言い換えれば、他のオブジェクトによって隠れが生じることなく、撮像エリア内に位置する全てのオブジェクトが撮像できる環境であれば、交差点に設置するカメラは１台であってもよい。また、交差点に設置するカメラは３台以上であってもよい。ここでは、上述したように、２台のビデオカメラ１０、１１を設置している場合を例にして説明する。
【００３２】
画像入力部３は、一方のビデオカメラ１０が撮像した交差点のフレーム画像を入力する第１の画像入力部（不図示）と、他方のビデオカメラ１１が撮像した交差点のフレーム画像を入力する第２の画像入力部（不図示）と、を備えている。画像入力部３には、入力されたフレーム画像を一時的に記憶する画像メモリ（不図示）を備えている。
【００３３】
図３は、画像処理プロセッサの機能構成を示す機能ブロック図である。画像処理プロセッサ４は、第１の画像処理部４１と、第２の画像処理部４２とを備えている。第１の画像処理部４１と、第２の画像処理部４２とは、同じ機能構成である。第１の画像処理部４１は、一方のビデオカメラ１０が撮像した交差点のフレーム画像を処理し、第２の画像処理部４２は、他方のビデオカメラ１１が撮像した交差点のフレーム画像を処理する。
【００３４】
なお、交差点に設置しているビデオカメラ１０（または１１）が１台である場合には、第２の画像処理部４２（または、第１の画像処理部４１）を不要にできる。また、交差点に設置しているビデオカメラが３台以上であれば、画像処理プロセッサ４は、ビデオカメラの台数分の画像処理部を備える。
【００３５】
第１の画像処理部４１は、リサイジング処理機能部４１１と、車両検出処理機能部４１２と、車両追跡処理機能部４１３と、車両判定処理機能部４１４と、歩行者検出処理機能部４１５と、歩行者追跡処理機能部４１６と、歩行者判定処理機能部４１７と、を備えている。
【００３６】
リサイジング処理機能部４１１は、画像入力部３の第１の画像入力部に入力されたフレーム画像に対して設定されている処理領域毎に、解像度を変換したリサイジング画像を生成するリサイジング処理を行う。図４は、一方のビデオカメラが撮像した交差点のフレーム画像を示す図である。図４に示すように、ビデオカメラ１０が撮像したフレーム画像に対して、複数の処理領域が設定されている。図４に示す例では、２つの処理領域１００、１０１は、検出対象のオブジェクトの種類を車両と定めた領域（以下、車両検出処理領域１００、１０１と言う。）である。また、４つの処理領域１１０〜１１３は、検出する対象のオブジェクトの種類を歩行者と定めた領域（以下、歩行者検出処理領域１１０〜１１３と言う。）である。
【００３７】
図４に示すように、車両検出処理領域１００は交差点内をカバーする領域であり、車両検出処理領域１０１は、フレーム画像を撮像したビデオカメラ１０の設置側と反対側の停止線付近をカバーする領域である。図４では、車両検出処理領域１００と、車両検出処理領域１０１とは、その一部が重複している例である。また、４つの歩行者検出処理領域１１０〜１１３は、それぞれ交差点に設けられている横断歩道をカバーする領域である。歩行者検出処理領域１１０〜１１３は、他の歩行者検出処理領域１１０〜１１３と重複していない。但し、歩行者検出領域１１０〜１１３は、その一部が車両検出処理領域１００、１０１と重複している。
【００３８】
リサイジング処理機能部４１１は、車両検出処理領域１００、１０１、および歩行者検出処理領域１１０〜１１３毎に、予め設定している画素数の画像（この例では、６４０×４８０画素のＶＧＡ画像）に変換するリサイジング処理を行う。このリサイジング処理により生成した画像を、ここではリサイジング画像と言う。車両検出処理領域１００、１０１のリサイジング画の解像度は、車両の検出における適正な範囲内である。また、歩行者検出処理領域１１０〜１１３のリサイジング画像の解像度は、歩行者の検出における適正な範囲内である。言い換えれば、  車両検出処理領域１００、１０１は、生成されるリサイジング画像の解像度が車両の検出において適正な範囲に収まるように設定しており、歩行者検出処理領域１１０〜１１３は、生成されるリサイジング画像の解像度が歩行者の検出において適正な範囲内に収まるように設定している。このリサイジング処理は、公知の最近傍補間（ニアレストネイバー）、双一次補間（バイリニア補間）、または双三次補間（バイキュービック補間）等の方法を利用して行えばよい。図５（Ａ）は、車両検出処理領域１００にかかるリサイジング画像を示す図であり、図５（Ｂ）は、歩行者検出処理領域１１０にかかるリサイジング画像を示す図である。
【００３９】
なお、車両検出処理領域１００、１０１にかかるリサイジング画像の解像度は、車両の検出に適した解像度の範囲内に収まるだけであって、これら２つの領域のリサイジング画像の解像度が同じであるということではない。同様に、歩行者検出処理領域１１０〜１１３にかかるリサイジング画像の解像度は、歩行者の検出に適した解像度の範囲内に収まるだけであって、これら４つの領域のリサイジング画像の解像度が同じであるということではない。
【００４０】
車両検出処理機能部４１２は、検出対象が車両である車両検出処理領域１００、１０１について、それぞれリサイジング画像を処理して撮像されている車両を検出する。車両検出処理機能部４１２は、公知のパターンマッチング等を利用して撮像されている車両を検出する。
【００４１】
車両追跡処理機能部４１３は、車両検出処理機能部４１２が検出した車両毎に、その車両のＩＤ、検出時刻（フレーム画像の撮像時刻）、位置（交差点上の位置を示す座標）、状態を対応付けたオブジェクトマップを生成する。このオブジェクトマップでは、検出した車両の位置を交差点上の位置にしているので、２つの車両検出処理領域１００、１０１が重複している部分に位置する車両の同定が行える。したがって、車両検出処理領域１００にかかるリサイジング画像、および車両検出処理領域１０１にかかるリサイジング画像において検出された同じ車両を、１台の車両として検出できる。
【００４２】
車両判定処理機能部４１４は、車両追跡処理機能部４１３でオブジェクトマップが生成された車両毎に、その車両についてすでに生成されているオブジェクトマップから得られる車両の移動軌跡に基づいて状態を判定する。ここで判定する車両の状態は、交差点流入前、交差点内、および交差点流出である。
【００４３】
歩行者検出処理機能部４１５は、検出対象が歩行者である歩行者検出処理領域１１０〜１１３について、それぞれリサイジング画像を処理して撮像されている歩行者を検出する。歩行者検出処理機能部４１５は、公知のパターンマッチング等を利用して撮像されている歩行者を検出する。
【００４４】
歩行者追跡処理機能部４１６は、歩行者検出処理機能部４１５が検出した歩行者毎に、その歩行者のＩＤ、検出時刻（フレーム画像の撮像時刻）、位置（交差点上の位置を示す座標）を対応付けたオブジェクトマップを生成する。このオブジェクトマップでも、検出した歩行者の位置を交差点上の位置にしているので、複数の歩行者検出処理領域１１０〜１１３が重複している部分に位置する歩行者の同定が行える。
【００４５】
なお、図４に示した例は、歩行者検出処理領域１１０〜１１３が重複していない例である。
【００４６】
歩行者判定処理機能部４１７は、歩行者追跡処理機能部４１６でオブジェクトマップが生成された歩行者毎に、その歩行者についてすでに生成されているオブジェクトマップから得られる歩行者の移動軌跡に基づいて状態を判定する。ここで判定する歩行者の状態は、横断歩道外歩行者（信号待ち等で横断歩道を横断していない歩行者）、中央通過歩行者（横断歩道の中央に達した横断中の歩行者）、中央未達歩行者（横断歩道の中央に達していない横断中の歩行者）である。
【００４７】
また、図３に示すように、第２の画像処理部４２も、上述した第１の画像処理部４１と同様に、リサイジング処理機能部４２１と、車両検出処理機能部４２２と、車両追跡処理機能部４２３と、車両判定処理機能部４２４と、歩行者検出処理機能部４２５と、歩行者追跡処理機能部４２６と、歩行者判定処理機能部４２７と、を備えている。リサイジング処理機能部４２１、車両検出処理機能部４２２、車両追跡処理機能部４２３、車両判定処理機能部４２４、歩行者検出処理機能部４２５、歩行者追跡処理機能部４２６、および歩行者判定処理機能部４２７は、それぞれ、上述した、第１の画像処理部４１が備えるリサイジング処理機能部４１１、車両検出処理機能部４１２、車両追跡処理機能部４１３、車両判定処理機能部４１４、歩行者検出処理機能部４１５、歩行者追跡処理機能部４１６、および歩行者判定処理機能部４１７と同じ機能ブロックであるので、ここでは説明を省略する。
【００４８】
なお、一方のビデオカメラ１０が撮像したフレーム画像に対する車両検出処理領域１００、１０１、および歩行者検出処理領域１１０〜１１３の設定と、他方のビデオカメラ１１が撮像したフレーム画像に対する処理領域の設定とは、個別に行っている。また、一方のビデオカメラ１０が撮像したフレーム画像に対して設定した処理領域の個数と、他方のビデオカメラ１１が撮像したフレーム画像に対して設定した処理領域の個数と、が相違していても特に問題はない。
【００４９】
ここで図６を参照して、画像処理プロセッサ４で生成するオブジェクトマップについて、簡単に説明しておく。
【００５０】
図６（Ａ）は、車両にかかるオブジェクトマップを示す図である。図６（Ｂ）は、歩行者にかかるオブジェクトマップを示す図である。このオブジェクトマップは、検出した車両や歩行者毎に生成される。図６（Ａ）は、ＩＤ「ｐ０００１」を付与した車両のオブジェクトマップである。図６（Ａ）に示すように、オブジェクトマップには、その車両を検出したリサイジング画像毎に、撮像時刻（リサイジング画像の生成に用いたフレーム画像の撮像時刻）、交差点上の車両の位置、および車両判定処理機能部４１４が判定した当該車両の状態を対応づけたレコードが時系列に蓄積的に登録されている。したがって、このオブジェクトマップから、該当する車両について、時間経過にともなう、交差点上における位置の変化（移動軌跡）が得られる。このため、該当する車両がどの方向から交差点に進入し、通過方向がどの方向（右折、左折、直進）であったか等を得ることができる。すなわち、交差点における、車両の分岐率等を得ることができる。
【００５１】
また、図６（Ｂ）に示す歩行者にかかるオブジェクトマップも、上述の車両にかかるオブジェクトマップと同様である。図６（Ｂ）は、ＩＤ「ｑ０００１」を付与した歩行者のオブジェクトマップである。上述したように、このオブジェクトマップから、該当する方向者について、時間経過にともなう、交差点上における位置の変化が得られる。このため、該当する歩行者がどの方向に横断歩道をわたっているのかを得ることができる。
【００５２】
以下、この例にかかる画像処理装置１の動作について説明する。図７は、この画像処理装置の動作を示すフローチャートである。
【００５３】
上述したように、一方のビデオカメラ１０が交差点を撮像したフレーム画像を画像入力部３（第１の画像入力部）に入力しており、他方のビデオカメラ１１が交差点を撮像したフレーム画像を画像入力部３（第２の画像入力部）に入力している。画像入力部３には、入力されたフレーム画像を記憶する画像メモリ（不図示）を備えている。
【００５４】
画像処理装置１は、画像メモリに記憶しているフレーム画像に対する画像処理を行う（ｓ１）。ｓ１では、第１の画像処理部４１が一方のビデオカメラ１０が撮像したフレーム画像を処理し、第２の画像処理部４２が他方のビデオカメラ１１が撮像したフレーム画像を処理する。第１の画像処理部４１と、第２の画像処理部４２とにおける処理は、並行して行われている。
【００５５】
また、第１の画像処理部４１が実行する画像処理と、第２の画像処理部４２が実行する画像処理とは、処理対象の画像が異なるだけで、実質的に同じ処理である。ここでは、ｓ１にかかる画像処理を、第１の画像処理部４１を例にして説明する。図８は、このｓ１にかかる画像処理を示すフローチャートである。
【００５６】
第１の画像処理部４１は、画像メモリに記憶している未処理のフレーム画像であって、時間的に最もはやい時刻のフレーム画像（時間的に最も古いフレーム画像）を処理対象のフレーム画像として選択し取り込む（ｓ１１）。第１の画像処理部４１は、一方のビデオカメラ１０が撮像したフレーム画像の中から、処理対象のフレーム画像を選択する。
【００５７】
第１の画像処理部４１は、ｓ１１で取り込んだ処理対象のフレーム画像に対して、リサイジング処理機能部４１１が、リサイジング処理を行う（ｓ１２）。リサイジング処理機能部４１１は、図４に示した車両検出処理領域１００、１０１、および歩行者検出処理領域１１０〜１１３毎に、予め設定している画素数の画像（この例では、６４０×４８０画素のＶＧＡ画像）に変換するリサイジング処理を行う。
【００５８】
第１の画像処理部４１は、車両検出処理領域１００、１０１にかかるリサイジング画像毎に、車両検出処理機能部４１２で撮像されている車両を検出する処理を行う（ｓ１３）。ｓ１３では、パターンマッチング等の公知の手法により、撮像されている車両を検出する。また、ｓ１３では、検出した車両について、交差点上の位置を示す座標データを取得する。
【００５９】
第１の画像処理部４１は、車両追跡処理機能部４１３がｓ１３で検出した車両について、車両検出処理領域１００にかかるリサイジング画像、および車両検出処理領域１０１にかかるリサイジング画像の両方の画像から検出された車両を抽出する同定処理を行う（ｓ１４）。ｓ１４は、交差点上において、車両検出処理領域１００と車両検出処理領域１０１とが重なっている重複領域に位置する車両を１対１で対応づける処理である。すなわち、交差点上において、車両検出処理領域１００と車両検出処理領域１０１とが重なっている重複領域に位置する車両を１台の車両として検出するための処理である。この同定処理は、ｓ１３で取得した交差点上の車両の位置を用いて行う。
【００６０】
車両追跡処理機能部４１３は、今回検出した車両毎に、オブジェクトマップを生成する（ｓ１５）。ｓ１５では、今回検出した車両毎に、ｓ１１で選択した処理対象のフレーム画像の撮像時刻と、ｓ１３で取得した交差点上の位置と、を対応付けたレコードを生成する。ここで生成したレコードには、図６（Ａ）に示した車両の状態が対応付けられていない。また、車両追跡処理機能部４１３は、今回生成したレコード毎に、その車両に対してすでにＩＤが付与されているかどうかを判定する。この時点でＩＤが付与されていない車両は、前回の処理対象であったフレーム画像の撮像時刻から、今回の処理対象であったフレーム画像の撮像時刻までの間に、車両検出処理領域１００、１０１外から車両検出処理領域１００、１０１内に進入した車両であり、この時点では図６（Ａ）に示したオブジェクトマップが生成されていない。
【００６１】
車両追跡処理機能部４１３は、この時点でＩＤが付与されていない車両については、ＩＤを付与し、図６（Ａ）に示したオブジェクトマップ（今回生成したレコードのみを登録したオブジェクトマップ）を生成する。一方、この時点でＩＤがすでに付与されている車両については、該当する車両のオブジェクトマップに、今回生成したレコードを追加したオブジェクトマップを生成する（該当する車両のオブジェクトマップに対して、今回生成したレコードを追加する。）。ＩＤが付与されているかどうかは、ｓ１３で取得した交差点上の車両位置と、この時点でＩＤが付与されている車両のオブジェクトマップから得られる交差点上の車両位置の時間的変化とに基づいて行える。
【００６２】
さらに、第１の画像処理部４１は、車両判定処理機能部４１４が今回検出した車両毎に、その車両の状態（交差点流入前、交差点内、交差点流出）を判定し、その状態を、ｓ１５で生成した該当する車両のオブジェクトマップに追加登録したレコードに登録する（ｓ１６）。
【００６３】
また、第１の画像処理部４１は、歩行者検出処理領域１１０〜１１３にかかるリサイジング画像毎に、歩行者検出処理機能部４１５で撮像されている歩行者を検出する処理を行う（ｓ１７）。ｓ１７では、パターンマッチング等の公知の手法により、撮像されている歩行者を検出する。また、ｓ１７では、検出した歩行者について、交差点上の位置を示す座標データを取得する。
【００６４】
第１の画像処理部４１は、歩行者追跡処理機能部４１６がｓ１７で検出した歩行者について、複数の歩行者検出処理領域１１０〜１１３にかかるリサイジング画像から検出された歩行者を抽出する同定処理を行う（ｓ１８）。ｓ１８は、交差点上において、複数の歩行者検出処理領域１１０〜１１３が重なっている重複領域に位置する歩行者を１対１で対応づける処理である。すなわち、交差点上において、複数の歩行者検出処理領域１１０〜１１３が重なっている重複領域に位置する歩行者を１人の歩行者として検出するための処理である。この同定処理は、ｓ１７で取得した交差点上の歩行者の位置を用いて行う。
【００６５】
なお、図４に示す例では、歩行者検出処理領域１１０〜１１３は、他の歩行者検出処理領域１１０〜１１３と重複していないので、このｓ１８にかかる処理を不要にしてもよい。
【００６６】
歩行者追跡処理機能部４１６は、今回検出した歩行者毎に、オブジェクトマップを生成する（ｓ１９）。ｓ１９では、今回検出した歩行者毎に、ｓ１１で選択した処理対象のフレーム画像の撮像時刻と、ｓ１７で取得した交差点上の位置と、を対応付けたレコードを生成する。ここで生成したレコードには、図６（Ｂ）に示した歩行者の状態が対応付けられていない。また、歩行者追跡処理機能部４１６は、今回生成したレコード毎に、その歩行者に対してすでにＩＤが付与されているかどうかを判定する。この時点でＩＤが付与されていない歩行者は、前回の処理対象であったフレーム画像の撮像時刻から、今回の処理対象であったフレーム画像の撮像時刻までの間に、歩行者検出処理領域１１０〜１１３外から歩行者検出処理領域１１０〜１１３内に進入した歩行者であり、この時点においては図６（Ｂ）に示したオブジェクトマップが生成されていない。
【００６７】
歩行者追跡処理機能部４１６は、この時点でＩＤが付与されていない歩行者については、ＩＤを付与し、図６（Ｂ）に示したオブジェクトマップ（今回生成したレコードのみを登録したオブジェクトマップ）を生成する。一方、この時点でＩＤがすでに付与されている歩行者については、該当する歩行者のオブジェクトマップに、今回生成したレコードを追加したオブジェクトマップを生成する。ＩＤが付与されているかどうかは、ｓ１７で取得した交差点上の歩行者の位置と、この時点でＩＤが付与されている歩行者のオブジェクトマップから得られる交差点上の歩行者の位置の時間的変化とに基づいて行える。
【００６８】
さらに、第１の画像処理部４１は、歩行者判定処理機能部４１７が今回検出した歩行者毎に、その歩行者の状態（横断歩道外歩行者、中央通過歩行者、中央未達歩行者）を判定し、その状態を、ｓ１９で生成した該当する歩行者のオブジェクトマップに追加登録したレコードに登録する（ｓ２０）。
【００６９】
ｓ１３〜ｓ１６にかかる処理と、ｓ１７〜ｓ２０にかかる処理とは、その対象が車両であるか、歩行者であるかの違いであって、そのプロセスは実質的に同じである。また、ｓ１３〜ｓ１６にかかる処理と、ｓ１７〜ｓ２０にかかる処理とを実行する順番は、上記と逆の順番（ｓ１７〜ｓ２０にかかる処理の実行後、ｓ１３〜ｓ１６にかかる処理を実行する。）にしてもよい。また、第１の画像処理部４１が、ｓ１３〜ｓ１６にかかる処理と、ｓ１７〜ｓ２０にかかる処理とを並列処理する構成であってもよい。
【００７０】
さらに、ｓ１２で生成する各処理領域１００、１０１、１１０〜１１３のリサイジング画像は、その画素数が同じである画像（ここでは、ＶＧＡ画像）にしているので、リサイジング画像に対するオブジェクト（車両や、歩行者）の検出等にかかる処理プログラムも略同じにできる。具体的には、検出するオブジェクト（車両、または歩行者）の種類の相違による、パターンマッチング等にかかるパラメータの変更で対応できる。
【００７１】
図７に戻って、画像処理装置１は、上述したｓ１にかかる画像処理を完了すると、制御部２が統合処理を行う（ｓ２）。ｓ２にかかる統合処理は、ｓ１にかかる画像処理で、第１の画像処理部４１が生成したオブジェクトマップと、第２の画像処理部４２が生成したオブジェクトマップと、を統合する処理である。具体的には、第１の画像処理部４１、および第２の画像処理部の両方で検出されたオブジェクト（車両、および歩行者）を１つのオブジェクトとして検出し、第１の画像処理部４１、または第２の画像処理部の一方でのみ検出されたオブジェクト（車両、および歩行者）を１つのオブジェクトとして検出する処理である。すなわち、第１の画像処理部４１が生成したオブジェクトマップと、第２の画像処理部４２が生成したオブジェクトマップと、を統合し、検出されたオブジェクト毎に、１つのオブジェクトマップを得る処理である。これにより、一方のビデオカメラ１０（または１１）において、大型車両（バスやトラック等）が撮像されたときに、その背後に位置するために撮像されなかった車両（普通自動車）や歩行者にかかるオブジェクトマップも取得できる。これにより、オブジェクト（車両、または歩行者）の見逃しが防止できる。
【００７２】
画像処理装置１は、制御部２がｓ２にかかる統合処理の処理結果に基づく出力信号を生成し、この出力信号を出力部５から出力する出力処理を行い（ｓ３）、ｓ１に戻る。この出力信号は、例えば、交差点に設置されている信号灯機を制御する信号制御装置に対して出力される信号であって、車両や歩行者の通過を示すパルス信号である。また、交差点の交通量をモニタリングする装置に対して出力される信号であって、交差点における車両の分岐方向別（直進、右折、左折）の台数を計測したディジタル信号であってもよい。
【００７３】
なお、上記の説明では、この発明にかかる画像処理装置を交差点における車両、および歩行者を検出する装置を例にしたが、車両を自動車（四輪車）とバイク（二輪車）で区別してもよい。この場合、図４に示した車両検出処理領域１００、１０１にかえて、自動車検出処理領域、およびバイク検出処理領域をビデオカメラ１０、１１が撮像したフレーム画像に設定する構成とすればよい。また、検出するオブジェクトの種類として、自転車を追加してもよい。この場合には、自転車検出処理領域をビデオカメラ１０、１１が撮像したフレーム画像に設定する構成とすればよい。また、画像処理プロセッサ４は、検出、追跡するオブジェクトの種類毎に、検出処理機能部、追跡処理機能部、判定処理機能部を備えればよい。
【００７４】
また、本発明は、上記の例に限らず、大きさが異なる複数種類のオブジェクトを検出する装置としても利用できる。また、ビデオカメラ１０、１１の撮像エリアも、交差点に限らず、駅ホーム等の他の場所であってもよい。
【００７５】
また、上記の例では、車両検出処理領域１００、１０１、および歩行者検出処理領域１１０〜１１３毎に、生成されるリサイジング画像がＶＧＡ画像であるとしたが、各処理領域について生成されるリサイジング画像の画素数が異なっていてもよい。但し、各処理領域について生成されたリサイジング画像の解像度は、その処理領域に対して設定した検出対象のオブジェクトに対して適正な範囲内である。
【符号の説明】
【００７６】
１…画像処理装置
２…制御部
３…画像入力部
４…画像処理プロセッサ
５…出力部
１０、１１…ビデオカメラ
１００、１０１…車両検出処理領域
１１０〜１１３…歩行者検出処理領域
４１…第１の画像処理部
４２…第２の画像処理部
４１１、４２１…リサイジング処理機能部
４１２、４２２…車両検出処理機能部
４１３、４２３…車両追跡処理機能部
４１４、４２４…車両判定処理機能部
４１５、４２５…歩行者検出処理機能部
４１６、４２６…歩行者追跡処理機能部
４１７、４２７…歩行者判定処理機能部
【図１】
2015002401.tif 000003
【図２】
2015002401.tif 000004
【図３】
2015002401.tif 000005
【図４】
2015002401.tif 000006
【図５】
2015002401.tif 000007
【図６】
2015002401.tif 000008
【図７】
2015002401.tif 000009
【図８】
2015002401.tif 000010