(57)【特許請求の範囲】
【請求項１】
時間的に連続する入力画像の領域分割方法を切り替える切替手段と、
前記切替手段により切り替えられる領域分割方法に基づき分割された複数の部分領域画像を、それぞれ対応する複数の画像認識処理手段に供給する供給手段と、
を有し、
前記切替手段は、第１の入力画像に対しては、第１の領域分割パターンを適用し、前記第１の入力画像の次の第２の入力画像に対しては、前記第１の領域分割パターンとは異なる第２の領域分割パターンを適用することで時間的に連続する入力画像の領域分割方法を順次切り替え、
前記供給手段は、前記領域分割方法に基づき分割された複数の部分領域画像のうち少なくとも２つ以上の部分領域画像が同じ画像認識処理手段で処理される画像であるにも関わらず分断されていた場合、分断された部分領域画像を接合し１枚の画像とし、前記画像認識処理手段に供給する画像処理装置。
【請求項２】
時間的に連続する入力画像の領域分割方法を切り替える切替手段と、
前記切替手段により切り替えられる領域分割方法に基づき分割された複数の部分領域画像を、それぞれ対応する複数の画像認識処理手段に供給する供給手段と、
を有し、
前記切替手段は、第１の入力画像に対しては、第１の領域分割パターンを適用し、前記第１の入力画像の次の第２の入力画像に対しては、前記第１の領域分割パターンとは異なる第２の領域分割パターンを適用することで時間的に連続する入力画像の領域分割方法を順次切り替え、
前記切替手段は、前記複数の画像認識処理手段により出力された認識情報に基づいて、追尾認識対象が存在するか否かを判断し、追尾認識対象が存在すると判断した場合、前記追尾認識対象の位置を推定し、推定した位置に領域分割における境界が位置しないように前記入力画像の領域分割方法を決定する画像処理装置。
【請求項３】
前記第１の領域分割パターンは、入力画像をある方向に等しい幅の連続する領域に分割する領域分割パターンであり、
前記第２の領域分割パターンは、前記分割の位置を前記幅の半分の幅だけ前記方向に沿ってずらした位置で入力画像を分割する領域分割パターンである請求項１記載の画像処理装置。
【請求項４】
前記複数の画像認識処理手段を更に有する請求項１乃至３何れか１項記載の画像処理装置。
【請求項５】
前記複数の画像認識処理手段のそれぞれは、供給された部分領域画像に対して画像認識処理を行い、認識対象の存在領域を示す位置情報と前記認識対象の属性を示す属性情報とを認識結果として出力する請求項１乃至４何れか１項記載の画像処理装置。
【請求項６】
前記複数の画像認識処理手段は、前記接合された部分領域画像の接合境界をまたぐ領域を認識情報として得た場合、前記認識情報を破棄する請求項１記載の画像処理装置。
【請求項７】
前記複数の画像認識処理手段により出力された認識情報をメモリに記憶する処理結果記憶手段を更に有し、
前記切替手段は、前記処理結果記憶手段により前記メモリに記憶された前記認識情報に基づいて、追尾認識対象が存在するか否かを判断し、追尾認識対象が存在しないと判断した場合、時間的に連続する入力画像の領域分割方法を順次切り替える請求項１乃至６何れか１項記載の画像処理装置。
【請求項８】
画像処理装置が実行する画像処理方法であって、
時間的に連続する入力画像の領域分割方法を切り替える切替ステップと、
前記切替ステップにより切り替えられる領域分割方法に基づき分割された複数の部分領域画像を、それぞれ対応する複数の画像認識処理ステップに供給する供給ステップと、
を含み、
前記切替ステップでは、第１の入力画像に対しては、第１の領域分割パターンを適用し、前記第１の入力画像の次の第２の入力画像に対しては、前記第１の領域分割パターンとは異なる第２の領域分割パターンを適用することで時間的に連続する入力画像の領域分割方法を順次切り替え、
前記供給ステップでは、前記領域分割方法に基づき分割された複数の部分領域画像のうち少なくとも２つ以上の部分領域画像が同じ画像認識処理ステップで処理される画像であるにも関わらず分断されていた場合、分断された部分領域画像を接合し１枚の画像とし、前記画像認識処理ステップに供給する画像処理方法。
【請求項９】
画像処理装置が実行する画像処理方法であって、
時間的に連続する入力画像の領域分割方法を切り替える切替ステップと、
前記切替ステップにより切り替えられる領域分割方法に基づき分割された複数の部分領域画像を、それぞれ対応する複数の画像認識処理ステップに供給する供給ステップと、
を含み、
前記切替ステップでは、第１の入力画像に対しては、第１の領域分割パターンを適用し、前記第１の入力画像の次の第２の入力画像に対しては、前記第１の領域分割パターンとは異なる第２の領域分割パターンを適用することで時間的に連続する入力画像の領域分割方法を順次切り替え、
前記切替ステップでは、前記複数の画像認識処理ステップにより出力された認識情報に基づいて、追尾認識対象が存在するか否かを判断し、追尾認識対象が存在すると判断した場合、前記追尾認識対象の位置を推定し、推定した位置に領域分割における境界が位置しないように前記入力画像の領域分割方法を決定する画像処理方法。
【請求項１０】
コンピュータを請求項１乃至７何れか１項記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、画像処理対象の映像の高解像度化が進み、映像１フレームあたりの処理量がこれに比例して増加している。よって、特にリアルタイム処理等、高速な処理が必要な場合に処理量の増加が問題となっている。これに対し、映像の各フレーム画像を領域により分割して、部分領域画像単位で複数の画像処理部に分担させて並列処理することにより処理を高速化する手法が一般的に知られている。
しかし、画像認識処理を行う際、元画像において分割境界をまたぐ対象物は分割境界で分断されてしまうため、何れの画像処理部にも対象物の領域全体を含む画像が入力されないため認識に失敗してしまう問題があった。
この問題に対し特許文献１において、部分領域画像とは別に元画像の縮小画像を生成して、これを追加の画像処理部で処理することにより、分割画像で検出できない認識対象の検出を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５２３５８０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では画像分割境界をまたぐ認識対象物については元画像の縮小画像でしか認識処理できないため、縮小前の画像を用いて画像認識処理を行う場合と比較し、認識処理の認識精度が劣化する問題があった。
そこで、本発明は、複数の画像処理部で処理するために画像を分割する場合において、当該分割境界に係る認識対象物の認識処理をより高精度に行うことが可能な画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
そこで、本発明の画像処理装置は、時間的に連続する入力画像の領域分割方法を切り替える切替手段と、前記切替手段により切り替えられる領域分割方法に基づき分割された複数の部分領域画像を、それぞれ対応する複数の画像認識処理手段に供給する供給手段と、を有し、前記切替手段は、第１の入力画像に対しては、第１の領域分割パターンを適用し、前記第１の入力画像の次の第２の入力画像に対しては、前記第１の領域分割パターンとは異なる第２の領域分割パターンを適用することで時間的に連続する入力画像の領域分割方法を順次切り替え、前記供給手段は、前記領域分割方法に基づき分割された複数の部分領域画像のうち少なくとも２つ以上の部分領域画像が同じ画像認識処理手段で処理される画像であるにも関わらず分断されていた場合、分断された部分領域画像を接合し１枚の画像とし、前記画像認識処理手段に供給する。
【発明の効果】
【０００６】
本発明によれば、複数の画像処理部で処理するために画像を分割する場合において、当該分割境界に係る認識対象物の認識処理をより高精度に行うことができる。
【図面の簡単な説明】
【０００７】
【図１】画像認識装置のハードウェア構成の一例を示す図である。
【図２】実施形態１の画像認識装置の情報処理の一例を示すフローチャートである。
【図３】領域分割パターン情報のデータフォーマットの一例を示す図である。
【図４】入力映像の異なる時刻のフレーム毎に領域分割パターンを変更する一例を示す図である。
【図５】領域分割パターンの決定法の一例を示す図である。
【図６】領域分割された部分領域画像の画像認識処理部への供給方法の一例を示す図である。
【図７】画像認識処理部へ供給する画像データの読み出し順序の一例を示す図である。
【図８】実施形態２の画像認識装置の情報処理の一例を示すフローチャートである。
【図９】認識情報のデータフォーマットの一例を示す図である。
【図１０】認識情報を用いてフレーム毎に領域分割パターンを変更する処理動作の一例を示す図である。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態について図面に基づいて説明する。
【０００９】
＜実施形態１＞
図１は、画像認識装置のハードウェア構成の一例を示す図である。画像認識装置は、画像処理装置の一例である。
メモリ１００は、データの一時記憶に用いられる。メモリ１００には、入出力インタフェース１０１から入力される映像データや領域分割パターン情報、第１画像認識処理部１０６、第２画像認識処理部１０７が出力する認識情報等がバスシステム１０３を介して入力され、保存される。
入出力インタフェース１０１は、全体制御部１０２の指示に基づき、外部から入力される映像データや、映像データの領域分割パターン情報の受け取りと画像認識結果の外部への出力を行う。映像データはフレーム毎に時間順で順次、連続して入力される。入力データはバスシステム１０３を介してメモリ１００に送信され保存される。
全体制御部１０２は、各処理部の処理順序や処理内容の制御を行う。
バスシステム１０３は、各処理部間のデータの送受信を調停する。
領域分割制御部１０４は、全体制御部１０２の指示に基づき、メモリ１００に蓄えられた領域分割パターン情報や第１画像認識処理部１０６、第２画像認識処理部１０７の出力である認識情報を、バスシステム１０３を介して読み出す。領域分割制御部１０４は、領域分割パターン情報又は認識情報に基づき入力映像フレームから取り出す２つの画像領域を決定し、画像領域情報を部分領域画像供給部１０５に通知する。
部分領域画像供給部１０５は、領域分割制御部１０４から通知された画像領域情報に基づき、メモリ１００に蓄えられた入力映像フレームを、バスシステム１０３を介して読み出し、第１画像認識処理部１０６、第２画像認識処理部１０７に供給する。即ち、領域分割制御部１０４は、時間的に連続する入力画像（入力映像フレーム）の領域分割方法を順次切り替える。そして部分領域画像供給部１０５は、当該領域分割方法に従って入力画像を分割し、一方の部分領域画像を第１画像認識処理部１０６へ供給し、他方の分割領域画像を第２画像認識処理部１０７に供給する。
第１画像認識処理部１０６、第２画像認識処理部１０７は、部分領域画像供給部１０５より供給された映像フレーム（部分領域画像）に対して画像認識処理を行う。画像認識処理により入力フレーム内での認識対象の存在領域を示す位置情報や認識対象の識別情報がバスシステム１０３を介してメモリ１００に送信され、保存される。
【００１０】
本構成において画像認識処理部は２つであるが、３つ以上の画像認識処理部を持つ構成であっても良い。その場合、領域分割制御部１０４は、画像認識処理部の個数に応じて各画像認識処理部に供給する画像の部分領域決定を行い、部分領域画像供給部に通知する。部分領域画像供給部１０５は、領域分割制御部１０４より通知された領域の画像をメモリ１００より読み出し、対応する画像認識処理部に供給する。
図１では、例えば、領域分割制御部１０４や部分領域画像供給部１０５をハードウェア構成として説明を行ったが、これをソフトウェア構成として画像認識装置に実装するようにしても良い。即ち、全体制御部１０２がメモリ１００に記憶されたプログラムに基づき処理を実行することにより、領域分割制御部１０４や部分領域画像供給部１０５の機能を実現するようにしても良い。同様に、全体制御部１０２がメモリ１００に記憶されたプログラムに基づき処理を実行することにより、後述するフローチャートの各処理を実現するようにしても良い。
【００１１】
図２は実施形態１の画像認識装置の情報処理の一例を示すフローチャートである。ステップＳ２００において、全体制御部１０２は、入出力インタフェース１０１を介して入力された領域分割パターン情報を、バスシステム１０３を経由し、メモリ１００に記憶する。領域分割パターン情報のデータフォーマットの例を図３に示す。領域分割パターン情報は図３に示す第１領域分割パターン３００と第２領域分割パターン３０１とから構成される。更に領域分割パターン３００、３０１は矩形領域の左上端座標を示す始点ｘ座標３０２、始点ｙ座標３０３と矩形領域の右下端を示す終点ｘ座標３０４、終点ｙ座標３０５とから構成される。本実施形態では１つの領域分割パターンと始点ｘ座標３０２、始点ｙ座標３０３、終点ｘ座標３０４、終点ｙ座標３０５を一組とする矩形領域情報とが対応するが、１つの領域分割パターンと複数の矩形領域情報とが対応しても良い。また、領域分割パターンは本実施形態では２つであるが３つ以上持つこともできる。
【００１２】
図４（ａ）は第１領域分割パターン３００に基づき領域分割を行った場合の分割状態の一例を示す図である。図４（ａ）中の第１入力画像４００はフレーム全体である。第１領域分割パターン第１画像認識処理領域４０２は第１画像認識処理部１０６が処理を行う画像領域であり、第１領域分割パターン３０１の座標情報３０２〜３０５が示す矩形領域内である。第１領域分割パターン第２画像認識処理領域４０３は第２画像認識処理部１０７が処理を行う画像領域であり、第１領域分割パターン３０１の座標情報３０２〜３０５が示す矩形領域を除く外側の矩形領域である。
一方、図４（ｂ）は第２領域分割パターン３０１に基づき領域分割を行った場合の分割状態の一例を示す図である。この例では第２領域分割パターン第１画像認識処理領域４０４が第２領域分割パターン３０１の座標情報が示す矩形領域内である。第２領域分割パターン第１画像認識処理領域４０４の外側にあたる左側の矩形領域と右側の矩形領域とが第２領域分割パターン第２画像認識処理領域４０５である。この例のように、領域分割パターンによっては、第２画像認識処理領域は空間的に分断された２つの画像領域となる。本実施形態における構成においては、一つの矩形領域を示す座標データにより前記矩形領域とその範囲外の矩形領域という形式で２つの画像認識処理部の入力に与える画像領域が定まる。但し、この部分領域決定方法は一例であり、他の方法を取っても良い。
【００１３】
領域分割パターンの決定法の一例を図５に示す。図５のように基準領域分割パターン５００は入力画像を幅ｗで左右方向に２つに等分する。部分領域画像供給部１０５は、分割により得られた基準領域分割パターン第１画像認識処理領域５０３を第１画像認識処理部１０６、基準領域分割パターン第２画像認識処理領域５０２を第２画像認識処理部１０７に供給する。これに対して第２領域分割パターン５０４においては分割境界が基準領域分割パターン５００に対してｗ／２、つまり半分の幅だけ、シフトさせられている。これによって、基準領域分割パターン５００において分割境界があった位置が、第２領域分割パターン５０４における第２領域分割パターン第１画像認識処理領域５０５においては中央の位置となる。よって基準領域分割パターン５００において分割境界に位置していた対象物を第２領域分割パターン５０４では認識処理用画像の中央位置に捉えることができる。第２領域分割パターン５０４においては分割後の３つの画像領域について中央の画像領域を第２領域分割パターン第１画像認識処理領域５０５として、第１画像認識処理部１０６が処理を行う。また、左端、右端の領域を第２領域分割パターン第２画像認識処理用域５０６として第２画像認識処理部１０７が処理を行う。本方法の分割パターンは左右方向でなく上下方向に画像を分割する場合、また、左右方向と上下方向と両方に画像を分割する場合にも同様に適用できる。また、幅方向、又は高さ方向の分割数は２より大きな値であっても良い。
本実施形態においては領域分割パターンの変更時に第１画像認識処理部１０６、第２画像認識処理部１０７がそれぞれ等しい解像度の部分領域画像を処理するように領域分割パターンを決定することを想定している。しかし、片方の画像認識処理部の処理する部分領域画像の解像度がもう片方の画像認識処理部の処理する部分領域画像の解像度より大きくなるような領域分割パターンであっても良い。
【００１４】
図２の説明に戻る。
ステップＳ２０１において、全体制御部１０２は、入出力インタフェース１０１を介して入力された１フレーム分のフレームデータを、バスシステム１０３を経由し、メモリ１００に記憶する。
ステップＳ２０２において、領域分割制御部１０４は、領域分割パターンの切り替えを行う。領域分割制御部１０４は、ステップＳ２００でメモリ１００に記憶された領域分割パターン情報の１つを選択し、読み出して部分領域画像供給部１０５に送信する。領域分割制御部１０４は、１フレーム処理毎に第１領域分割パターン３００と第２領域分割パターン３０１とが交互に切り替わるように領域分割パターン情報を決定し、選択する。即ち、領域分割制御部１０４は、時間的に連続する入力画像の分割領域方法を切り替える。なお、本実施形態においては左右方向に領域を分割しているが、上下方向に分割する等他の分割パターンを取っても良い。また、領域分割パターン数が３以上の場合はそれらのパターンが巡回的に順次切替わっていくように選択すれば良い。但し、領域分割パターンの選択順序は他のいかなる方法を用いても良い。
ステップＳ２０３において、部分領域画像供給部１０５は、領域分割制御部１０４から受けた領域分割パターンの通知に基づき、メモリ１００への読み出しアドレスを生成し、発行する。図４（ａ）に示す例においては、部分領域画像供給部１０５は、第１領域分割パターン第１画像認識処理領域４０２の読み出しアドレスと第１領域分割パターン第２画像認識処理領域４０３の読み出しアドレスとを並列に発行する。そして、部分領域画像供給部１０５は、メモリ１００から並列に読み出しを行っていく。画像データの読み出し順はラスター順で良いが、他の方法であっても良い。部分領域画像供給部１０５は、読み出した画像データをそれぞれ、第１画像認識処理部１０６、第２画像認識処理部１０７に順次供給する。即ち、部分領域画像供給部１０５は、領域分割制御部１０４により切り替えられた領域分割方法に基づき分割された複数の部分領域画像を、それぞれ対応する複数の画像処理部に供給する。
【００１５】
図４（ｂ）の分割パターンの例においては、部分領域画像供給部１０５は、図６に示すように３つの画像領域に対してメモリ１００からの読み出し順を制御して、２枚の画像として第１画像認識処理部１０６、第２画像認識処理部１０７に１枚ずつ供給する。３つの領域を２つに集約する方法を、図６を用いて説明する。図６においては第２領域分割パターン３０１の座標情報３０２〜３０５が示す矩形領域内を領域Ｂ６０１、この矩形領域外の左側の矩形領域を領域Ａ６００、右側の矩形領域を領域Ｃ６０２とする。部分領域画像供給部１０５は、領域Ｂ６０１の画像はこのまま第１画像認識処理部供給画像６０３として第１画像認識処理部１０６に供給する。部分領域画像供給部１０５は、領域Ａ６００と領域Ｃ６０２とに関してはメモリからの読み出し順序の制御により、２枚の画像を接合した第２画像認識処理部供給画像６０４に示す形式の１枚の画像としてラスター順に第２画像認識処理部１０７に供給する。
図７における画像読み出し順序指示線７００〜７０５は画像データの読み出し順序を示している。部分領域画像供給部１０５は、図７に示すように１番目に領域Ａ６００の１ライン目の読み出し、２番目に領域Ｃ６０２の１ライン目の読み出し、２番目に領域Ａ６００の２ライン目の読み出し、３番目に領域Ｃ６０２の２ライン目の読み出し、と画素値を読み出す。つまり、部分領域画像供給部１０５は、画素値を１ライン目から順に領域Ａ６００、領域Ｃ６０２を交互に読み出していく。順序指示線７０４、順序指示線７０５はそれぞれ領域Ａ６００、領域Ｃ６０２の読み出し画素最終ラインである。
このように制御することで、第２画像認識処理部１０７は領域分割パターンによって領域Ａ６００と領域Ｃ６０２とのように空間的に離れた２つの領域を処理する場合も、領域Ｂ６０１のみを処理する場合と同じように１枚の画像として扱える。そのため、画像認識処理部の制御が容易になる。
【００１６】
但し第２画像認識処理部供給画像６０４の領域Ａと領域Ｃとの接合境界は本来空間的に隣接している領域ではない。したがって、部分領域画像供給部１０５は、接合位置情報を第２画像認識処理部供給画像６０４の供給と共に第２画像認識処理部１０７に通知する。そして、第２画像認識処理部１０７は、前記通知された接合境界をまたぐ領域を認識対象として検出した場合、誤検知とみなしてメモリ１００へ送信しない、つまり、処理結果を破棄するように制御する。
ステップＳ２０４において、第１画像認識処理部１０６、第２画像認識処理部１０７は、それぞれ入力された部分領域画像に対して画像認識処理を行い、検出領域毎に認識情報を生成する。第１画像認識処理部１０６、第２画像認識処理部１０７は、処理結果を、バスシステム１０３を介してメモリ１００に書き出す。ステップＳ２０４の処理は、処理結果記憶の処理の一例である。
全体制御部１０２は、ステップＳ２０４の処理完了後、ステップＳ２０１へ処理を戻し、次フレームのフレームデータを受け付ける。以降、画像認識装置は、ステップＳ２０１からステップＳ２０４までの処理を繰り返す。
【００１７】
図４（ａ）、図４（ｂ）は異なる時刻のフレームで異なる領域分割方法を適用している様子の一例を示す図である。図４（ａ）の第１入力画像４００はある時刻tのフレームの全体画像である。第２入力画像４０６中において認識対象４０１は第１領域分割パターン第１画像認識処理領域４０２と第１領域分割パターン第２画像認識処理領域４０３との境界をまたいで存在する。そのため、第１画像認識処理部１０６、第２画像認識処理部１０７の入力画像は何れも認識対象４０１の一部しか含まないため、画像認識処理が困難である。
図４（ｂ）は図４（ａ）の直後の時刻ｔ＋Δｔのフレームに対して図４（ａ）と異なる領域分割パターンを適用した状態の一例を示している。第２入力画像４０６は時刻ｔ＋Δｔのフレームの全体画像である。図４（ｂ）においては認識対象４０１が第２領域分割パターン第１画像認識処理領域４０４内に納まっているためこの画像を入力とする第１画像認識処理部１０６は、認識対象４０１の画像認識処理が容易である。
十分短い時間間隔のフレーム毎に領域分割方法を切り替えることで、あるフレームでは認識に失敗する認識対象も時間的に近接した異なるフレームでは認識可能となるため、特定位置の認識対象物の認識に失敗する問題を回避できる。また、特許文献１記載の方法のように画像の縮小を行わないため、元の解像度の画像を用いて画像認識処理が可能であるため、より高い画像認識精度が得られる。
【００１８】
＜実施形態２＞
実施形態２の画像認識装置のハードウェア構成は図１に示すように実施形態１と同様である。但し、実施形態２では、領域分割制御部１０４の持つ機能が異なる。その内容については以降で説明を行う。
図８は実施形態２の画像認識装置の情報処理の一例を示すフローチャートである。図８において、ステップＳ２００、Ｓ２０１、Ｓ２０２、Ｓ２０３、Ｓ２０４は実施形態１の図２のフローチャートの同一符号の処理と同じであるため説明を省略する。ステップＳ８００において、領域分割制御部１０４は、メモリ１００に保存されている第１画像認識処理部１０６、第２画像認識処理部１０７の出力した結果である認識情報を読み出す。
第１画像認識処理部１０６、第２画像認識処理部１０７が出力する認識情報のデータフォーマットの例を図９に示す。図９において認識対象領域９００は画像認識処理によって検出した対象の存在する矩形領域を示し、これは更に矩形の左上端の座標を示す始点ｘ座標９０２、始点ｙ座標９０３と右下端の座標を示す終点ｘ座標９０４、終点ｙ座標９０５とから構成される。認識対象属性９０１は認識対象の特徴を示す情報である。本実施形態では認識対象は人物とし、認識対象属性９０１は性別９０６、年齢９０７、着衣９０８の情報から構成される。認識対象は人物以外であっても良く、本実施の形態を制限するものではない。着衣９０８については、メガネをしているか否かを示す１ビットの情報、マスクをしているか否かを示す１ビットの情報等、複数の情報の集合であって良い。また、認識情報のデータは図９のフォーマットを１組として、検出された認識対象の数に応じて複数がメモリ１００に保存されていても良い。
【００１９】
領域分割制御部１０４は、メモリ１００から読み出した認識情報を参照し、追尾すべき認識対象が存在するか否かを判断する。領域分割制御部１０４は、予め追尾対象として設定された認識対象属性情報とメモリ１００から読み出した認識対象物の認識情報とを比較し、属性情報の差分が一定以内であるか否かを調べることによって、ある認識対象が追尾認識対象であるか否かを判断する。領域分割制御部１０４は、追尾認識対象が保存している認識情報の中に存在する場合、ステップＳ８０１へ、存在しない場合、ステップＳ２０２へ処理が進む。
ステップＳ８０１において、領域分割制御部１０４は、追尾認識対象の次フレームにおける存在領域の推定を行う。領域分割制御部１０４は、過去数フレーム分の認識情報を用いて前記推定を行う。まず領域分割制御部１０４は、追尾認識対象の認識情報を抽出し、各フレームの認識情報間で属性情報の比較を行う。領域分割制御部１０４は、その差分が一定以内の認識対象を同一の認識対象であるとみなす。領域分割制御部１０４は、同一とみなした各フレーム中の認識対象の認識対象領域９００各々の座標データ９０２〜９０５をそれぞれ時間方向で線形近似し、各近似直線の次フレーム時刻の値を次フレーム時刻の座標データ９０２〜９０５の推定値とする。領域分割制御部１０４は、これらが示す矩形領域を認識対象の推定領域とする。この認識対象領域の次フレームにおける領域の推定方法は一例であり、他の方法を用いても良い。
【００２０】
次にステップＳ８０２において、領域分割制御部１０４は、Ｓ８０１で求めた追尾認識対象の領域情報を用いて次フレームの領域分割方法を決定する。その決定方法を、図１０を用いて説明を行う。図１０（ａ）は時刻ｔ入力フレーム１０００が第１画像認識処理部処理領域１００１と第２画像認識処理部処理領域１００２とに分割されている状態を示している。ここで、時刻ｔ認識対象領域１００３は認識対象１００５の人物を第１画像認識処理部１０６が第１画像認識処理部処理領域１００１で検出した領域である。第１画像認識処理部１０６は、時刻ｔ入力フレーム１０００を含む過去複数フレーム分について認識対象領域を検出し、認識情報をメモリ１００に保存している。領域分割制御部１０４は、この時刻ｔ認識対象領域１００３と時刻ｔ以前のフレームの認識情報の認識対象領域とから推定した時刻ｔ＋Δｔフレームの認識対象領域が時刻ｔ推定認識対象領域１００４である。図１０（ａ）に示すように時刻ｔ推定認識対象領域１００４が第１画像認識処理部処理領域１００１と第２画像認識処理部処理領域１００２とにまたがる場合、領域分割制御部１０４は、時刻ｔ＋Δｔ入力フレーム１０１０において時刻ｔ推定認識対象領域１００４の領域内に領域分割境界が位置しないように領域分割パターンを決定する。
図１０（ｂ）は上記の方法によって領域分割パターンが変更された状態を示す図である。時刻ｔ＋Δｔ入力フレーム１０１０が第１画像認識処理部処理領域１０１１と第２画像認識処理部処理領域１０１２とに分割されて処理されている。認識対象１００５の位置は時刻ｔ入力フレーム１０００の領域分割方法のままでは時刻ｔ＋Δｔ入力フレーム１０１０において、領域分割境界をまたいでしまう。しかし、ステップＳ８０１で時刻ｔ推定認識対象領域１００４内に領域分割境界が位置しないように領域分割方法の変更が行われたことにより、第１画像認識処理部処理領域１０１１内に認識対象１００５全体が含まれている。よって、第１画像認識処理部１０６は、認識対象１００５を検出することができる。このように、追尾対象の認識領域の移動予測に基づき領域分割パターンを変更することで追尾対象が領域分割境界をまたがないように制御することができる。
【００２１】
領域分割制御部１０４は、時刻ｔ＋Δｔ入力フレーム１０１０に対しては第１画像認識処理部１０６が処理して認識対象１００５を検出した際の検出領域である時刻ｔ＋Δｔ認識領域１０１３の情報と時刻ｔ＋Δｔ以前のフレームの認識情報とから更に次の時刻のフレームにおける時刻ｔ＋Δｔ推定認識対象領域１０１４を求める。そして、以上の処理を繰り返すことにより、予め設定された認識対象属性情報の特徴に近い認識対象を各フレームにおいて確実に認識できるようになる。
ここでステップＳ８００において、領域分割制御部１０４は、認識対象属性９０１が予め設定した認識対象属性との差分が一定以下の認識対象が複数存在する場合、差分値がより小さい方の認識対象領域を優先して領域分割境界上に配置しないように領域分割パターンを制御すれば良い。このようにすることで、より所望の属性に近い対象物を優先して、領域分割境界上に位置することを避けるようにすることができる。
本実施形態における処理ではステップＳ８００において追尾認識対象が存在しない場合はステップＳ２０２へ進みメモリ１００に予め保存している領域分割パターンを適用する。よって、追尾認識対象が存在しない場合、実施形態１と同じ動作をして設定された領域分割パターンを切り替えながら第１画像認識処理部１０６、第２画像認識処理部１０７に部分領域画像供給部１０５が部分領域画像を供給していく。そして、追尾認識対象が現れた場合、ステップＳ８００〜Ｓ８０２が実行され、追尾認識対象領域が常に領域分割境界上に位置しないように分割パターンが制御される。
以上のように制御することで重点的に認識したい対象が存在しない場合は入力映像の全領域を満遍なく画像認識できるように動作させ、重点的に認識したい対象が入力映像中に現れた場合にその対象の認識対象の認識精度をより高めるように動作させることができる。
【００２２】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００２３】
以上、上述した各実施形態の処理によれば、画像認識の認識精度を劣化させることなく画像内の全領域の対象物の画像認識処理を行うことができる。
【符号の説明】
【００２４】
１００  メモリ
１０１  入出力インタフェース
１０２  全体制御部
１０３  バスシステム
１０４  領域分割制御部
１０５  部分領域画像供給部
１０６  第１画像認識処理部
１０７  第２画像認識処理部
【図１】
0006562648.tif 000002
【図２】
0006562648.tif 000003
【図３】
0006562648.tif 000004
【図４】
0006562648.tif 000005
【図５】
0006562648.tif 000006
【図６】
0006562648.tif 000007
【図７】
0006562648.tif 000008
【図８】
0006562648.tif 000009
【図９】
0006562648.tif 000010
【図１０】
0006562648.tif 000011