(57)【要約】【課題】動物体領域を抽出する。【解決手段】動物体領域抽出装置１１では、全画面動き算出部２２は、動画像を構成する複数のフレームのそれぞれについて、処理対象とする処理画面の全体についての動きを表す全画面動きを算出し、動物体領域抽出部２５は、その全画面動きと、処理画面を分割することで得られるブロック内の輝度の変化の複雑度を表す指標であるアクティビティとに基づいて、そのブロックが動物体領域か否かを判定する。本発明は、例えば、情報処理装置に適用できる。【選択図】図１
2009266169.tif 000002
【特許請求の範囲】
【請求項１】
動画像を構成する複数の単位画像のそれぞれについて、処理対象とする処理画面の全体についての動きを表す全画面動きを算出する全画面動き算出手段と、
前記全画面動き算出手段により算出された前記全画面動きと、前記処理画面を分割することで得られるブロック内の輝度の変化の複雑度を表す指標であるアクティビティとに基づいて、前記ブロックが動物体領域か否かを判定する判定手段と
を備える情報処理装置。
【請求項２】
前記判定手段は、第１の単位画像の前記ブロックと、第２の単位画像上の前記全画面動きに基づく全画面動きベクトル先との差分に基づいて、前記ブロックが動物体領域か否かを判定する
請求項１に記載の情報処理装置。
【請求項３】
前記判定手段は、前記第１の単位画像の前記アクティビティと、前記第２の単位画像上の前記全画面動きベクトル先との差分とを用いた所定の評価式を演算し、その演算値により、前記ブロックが動物体領域か否かを判定する
請求項２に記載の情報処理装置。
【請求項４】
前記第１の単位画像の前記ブロック毎に、前記第２の単位画像上の探索先との差分についての評価値を演算し、前記評価値と前記探索先とを対応付けた評価値テーブルを生成し、前記評価値テーブルに含まれる探索先の中から、前記評価値テーブルに含まれる評価値に基づいて、検出すべき探索先を検出し、検出した探索先を各前記ブロックの動きとする動き検出手段をさらに備え、
前記全画面動き算出手段は、前記動き検出手段により検出された前記ブロックの動きから前記全画面動きを算出し、
前記判定手段は、前記ブロック毎の前記評価値テーブルに含まれる前記全画面動きベクトル先に対応する評価値を、前記全画面動きベクトル先との差分として用いる
請求項２に記載の情報処理装置。
【請求項５】
前記アクティビティは、前記ブロック内の各画素とその隣接画素との差分和の前記ブロック内での積算値である
請求項１に記載の情報処理装置。
【請求項６】
前記アクティビティを計算するアクティビティ計算手段をさらに備える
請求項１に記載の情報処理装置。
【請求項７】
動画像を構成する複数の単位画像のそれぞれについて、処理対象とする処理画面の全体についての動きを表す全画面動きを算出し、
算出された前記全画面動きと、前記処理画面を分割することで得られるブロック内の輝度の変化の複雑度を表す指標であるアクティビティとに基づいて、前記ブロックが動物体領域か否かを判定する
ステップを含む情報処理方法。
【請求項８】
動画像を構成する複数の単位画像のそれぞれについて、処理対象とする処理画面の全体についての動きを表す全画面動きを算出し、
算出された前記全画面動きと、前記処理画面を分割することで得られるブロック内の輝度の変化の複雑度を表す指標であるアクティビティとに基づいて、前記ブロックが動物体領域か否かを判定する
ステップを含む情報処理装置に制御を行うコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及び方法、並びにプログラムに関し、特に、より簡単かつ正確に動物体領域を抽出することができるようになった情報処理装置及び方法、並びにプログラムに関する。
【背景技術】
【０００２】
画像内から、動いている物体（オブジェクト）の領域である動物体領域を抽出する抽出手法が、従来から多く提案されている。具体的には、例えば、動物体領域の抽出手法として、動きベクトル情報を用いる方法が数多く提案されている。
【０００３】
特許文献１には、隣接ブロックの動きの相関性から動物体領域を抽出する手法が開示されている。特許文献２には、過去の動きベクトルを参照し、それらと類似する動きベクトルをもつ領域を動物体領域として入力画像から分離する方法が開示されている。
【０００４】
また、いわゆる背景差分法、すなわち、動物体の写っていない背景画像を生成し、その背景画像と入力画像との差分を計算することで、動物体を検出する手法が数多く提案されている（例えば、特許文献３参照）。
【特許文献１】特開2004-207786号公報
【特許文献２】特開2002-27480号公報
【特許文献３】特開2002-157599号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１や２を含む動きベクトル情報を用いる従来の手法では、一般に、動物体領域の抽出結果が動き検出の精度に強く依存するため、動き検出が失敗し易い平坦部や繰り返しパターン部がある場合、あるいは、物体の変形が激しい場合、動物体の誤検出を生じ易いという問題があった。
【０００６】
また、上述した特許文献３を含む従来の背景差分法では、一般に、背景を生成するために処理が複雑かつ重くなりがちであった。また、静止背景であれば良いが、背景自体に動きがある場合、すなわち例えば、カメラのパンチルト、ズーム、回転等が生じた場合、精度良く背景を生成することが困難であった。その結果、必然的に、動物体の誤検出を生じ易いという問題があった。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、より簡単かつ正確に動物体を検出することができるようにするものである。
【課題を解決するための手段】
【０００８】
本発明の一側面の情報処理装置は、動画像を構成する複数の単位画像のそれぞれについて、処理対象とする処理画面の全体についての動きを表す全画面動きを算出する全画面動き算出手段と、前記全画面動き算出手段により算出された前記全画面動きと、前記処理画面を分割することで得られるブロック内の輝度の変化の複雑度を表す指標であるアクティビティとに基づいて、前記ブロックが動物体領域か否かを判定する判定手段とを備える。
【０００９】
本発明の一側面の情報処理装置には、前記第１の単位画像の前記ブロック毎に、前記第２の単位画像上の探索先との差分についての評価値を演算し、前記評価値と前記探索先とを対応付けた評価値テーブルを生成し、前記評価値テーブルに含まれる探索先の中から、前記評価値テーブルに含まれる評価値に基づいて、検出すべき探索先を検出し、検出した探索先を各前記ブロックの動きとする動き検出手段をさらに設け、前記全画面動き算出手段には、前記動き検出手段により検出された前記ブロックの動きから前記全画面動きを算出させ、前記判定手段には、前記ブロック毎の前記評価値テーブルに含まれる前記全画面動きベクトル先に対応する評価値を、前記全画面動きベクトル先との差分として用いさせることができる。
【００１０】
本発明の一側面の情報処理装置には、前記アクティビティを計算するアクティビティ計算手段をさらに設けることができる。
【００１１】
本発明の一側面の情報処理方法またはプログラムは、動画像を構成する複数の単位画像のそれぞれについて、処理対象とする処理画面の全体についての動きを表す全画面動きを算出し、算出された前記全画面動きと、前記処理画面を分割することで得られるブロック内の輝度の変化の複雑度を表す指標であるアクティビティとに基づいて、前記ブロックが動物体領域か否かを判定するステップを含む情報処理方法または情報処理装置に制御を行うコンピュータに実行させるプログラム。
【００１２】
本発明の一側面においては、動画像を構成する複数の単位画像のそれぞれについて、処理対象とする処理画面の全体についての動きを表す全画面動きが算出され、算出された前記全画面動きと、前記処理画面を分割することで得られるブロック内の輝度の変化の複雑度を表す指標であるアクティビティとに基づいて、前記ブロックが動物体領域か否かが判定される。
【発明の効果】
【００１３】
本発明の一側面によれば、例えば、動物体領域を抽出することができる。特に、例えば、より簡単かつ正確に動物体領域を抽出することができる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して本発明を適用した実施の形態について説明する。
【００１５】
なお、本実施の形態では、動画像の処理単位として、フレームを採用する。ただし、処理単位は、フレームに限定されず、例えばフィールド等でも構わない。以下、このようなフィールドやフレームといった動画像の処理単位を、単位画像と称する。即ち、本発明は、任意の単位画像に対する処理に適用可能であり、以下に説明するフレームは単位画像の例示にしか過ぎない点留意すべきである。
【００１６】
図１は、本発明を適用した動物体領域抽出装置１１の機能的構成例を示す図である。
【００１７】
動物体領域抽出装置１１には、動画像を構成する各フレームが、入力画像として順次入力される。
【００１８】
動画像領域抽出装置１１は、入力画像から動物体領域を抽出し、その動物体領域を特定するための情報である動物体領域情報を外部に出力する。以下、このような動画像領域抽出装置１１の一連の処理を、抽出処理と称する。
【００１９】
動画像領域抽出装置１１は、ブロックマッチング部２１、全画面動き算出部２２、評価値テーブル保持部２３、アクティビティ計算部２４、及び動物体領域抽出部２５から構成される。
【００２０】
ブロックマッチング部２１は、入力画像を、格子状に任意のサイズのブロックに分割する。なお、このブロックは、動物体領域の抽出単位となる。すなわち、動物体領域の抽出精度は、このブロックのブロックサイズで決まる。したがって、ブロックサイズは任意で良いが、動物体領域の抽出精度を考慮して決める必要がある点に留意する。
【００２１】
ブロックマッチング部２１は、分割後の各ブロックに対してブロックマッチングを行い、後述する評価値テーブルを生成する。
【００２２】
なお、このブロックマッチングに用いるブロックサイズには、上記分割による分割後のブロックサイズをそのまま用いるのが理想である。もっとも、ブロックマッチングに用いるブロックサイズを異なるブロックサイズに変えても構わない。
【００２３】
また、ブロックマッチングは、全ブロックに対して同時並列に行われることがが理想である。もっとも、回路規模の制約によっては、１つのマッチング回路を使い回してシリアルに処理を行うことにより、１ブロックずつブロックマッチングを行うようにしても構わない。
【００２４】
ブロックマッチングでは、各ブロック毎に、隣接するフレーム上の探索ベクトル先との差分についての評価値がそれぞれ演算される。なお、探索ベクトル先が表す探索先の範囲（探索範囲）は任意の範囲で良い。上記探索ベクトル先との差分の評価値の一例としての評価値Dは、式（１）で表される。
【００２５】
【数１】
2009266169.tif 000003
・・・（１）
【００２６】
式（１）（及び後述する式（２））において、x、yは、それぞれ、入力画像におけるx座標、y座標を示している。(Sx, Sy)は、探索ベクトルを示している。Sx、Syは、それぞれ、探索ベクトル(Sx, Sy)のx成分、y成分を示している。BLOCKは、上記分割後のブロック領域を示している。
【００２７】
また、It(x, y)は、時刻tの第tフレーム上の点(x, y)の画素値を示している。（x+Sx, y+Sy）は、点(x, y)に対する探索ベクトル先を示している。従って、It+1(x+Sx, y+Sy)は、第tフレームより１フレーム後の時刻t+1の第t+1フレーム上の探索ベクトル先（x+Sx, y+Sy）の画素値を示している。
【００２８】
すなわち、評価値D(Sx, Sy)とは、次のような値となる。第tフレーム上の点(x, y)の画素値と、第t+1フレーム上の探索ベクトル先（x+Sx, y+Sy）の画素値とについて、ブロック領域BLOCK内の全ての点(x, y)に対する差分絶対値和をとった値が、評価値D(Sx, Sy)である。
【００２９】
なお、式（１）における差分絶対値和に代えて、差分自乗和、差分和等とすることは勿論可能である。
【００３０】
ブロックマッチング部２１は、各探索ベクトル(Sx, Sy)毎に、探索ベクトル(Sx, Sy)と探索ベクトル先との差分の評価値D(Sx, Sy)とを対応付けた評価値テーブルを生成する。
【００３１】
そして、ブロックマッチング部２１は、ブロック毎に、そのブロックの評価値テーブルに含まれる探索ベクトルの中から、最小評価値を与える探索ベクトルを検出し、検出した探索ベクトルを、そのブロックの動きを表す動きベクトルとする。なお、この動きベクトルは、後述する全画面の動きに比べて局所的な動きを表しているので、以下、局所動きベクトルと称する。ブロックマッチング部２１は、このようにして得られた局所動きベクトルを、全画面動き算出部２２に供給する。
【００３２】
ブロックマッチング部２１は、局所動きベクトルの検出を終えた評価値テーブルを、評価値テーブル保持部２３に供給する。
【００３３】
全画面動き算出部２２は、ブロックマッチング部２１から供給される全ブロックの局所動きベクトルに対してフレーム毎に統計処理を施すことにより、入力画像内の処理対象とする処理画面の全体の動きを表す全画面動きベクトルを算出し、評価値テーブル保持部２３に供給する。
【００３４】
なお、全画面動き算出部２２に採用する統計処理の処理手法は、特に限定されない。例えば、簡単には、全ブロックについて検出された局所的な動きベクトルをヒストグラム化し、そのヒストグラムにおける最頻ベクトルを全画面動きベクトルとする等の手法が考えられる。そこで、本実施の形態では、この統計処理を採用するとする。
【００３５】
全画面動き算出部２２は、統計処理の結果得られるベクトル、例えば上述した最頻ベクトルを全画面動きベクトルとして算出し、評価値テーブル保持部２３に供給する。
【００３６】
評価値テーブル保持部２３は、ブロックマッチング部２１から供給される評価値テーブルをブロック毎に保持する。
【００３７】
また、評価値テーブル保持部２３は、全画面動き算出部２２から全画面動きベクトルが供給されると、所定のブロックを処理対象として注目すべき注目ブロックに順次設定する。評価値テーブル保持部２３は、注目ブロックについて、保持している評価値テーブルを参照し、全画面動きベクトル先の評価値を算出する。なお、この全画面動きベクトル先の評価値が、注目ブロックにおける全画面動きベクトル先との差分についての評価値になる。そこで、以下、全画面動きベクトル先の評価値を、全画面動きベクトル先との差分と適宜称する。そして、評価値テーブル保持部２３は、全画面動きベクトル先との差分を、動物体領域抽出部２５に供給する。
【００３８】
なお、以下、全画面動きベクトル先との差分を、Dbと記述する。全画面動きベクトル先との差分Dbは、全画面動きベクトルを(Wx, Wy)とすると、その全画面動きベクトル(Wx, Wy)を式（１）に代入することで求まるD(Wx, Wy)である（すなわち、Db=D(Wx, Wy)）。なお、全画面動きベクトル先は、(x+Wx, y+Wy)と表される。
【００３９】
アクティビティ計算部２４は、各ブロックのアクティビティを計算し、動物体領域抽出部２５に供給する。ここで、アクティビティとは、ブロック内の輝度変化の複雑度を表す指標をいう。アクティビティの一例としてのアクティビティAは、式（２）で表される。
【００４０】
【数２】
2009266169.tif 000004
・・・・・（２）
【００４１】
式（２）において、It(x, y)は、時刻tの第tフレーム上の点(x, y)の画素値を示している。i、jは、それぞれ、-1から1の整数の変数である。したがって、It(x+j, y+i)は、時刻tの第tフレーム上の点(x+j, y+i)の画素値を示している。
【００４２】
すなわち、アクティビティ計算部２４は、ブロック内の画素のそれぞれに対して、隣接８画素との差分絶対値和を求め、その差分絶対値和を全画素分積算することにより、アクティビティAを計算する。
【００４３】
但し、アクティビティの評価値の表現は式（２）に限定されない。例えば、式（２）のような周囲８近傍との差分ではなく、例えば上下左右の４近傍のみの差分としたり、あるいは、絶対値和ではなく二乗和にする等、用途に応じて様々な表現が考えられる。なお、以降においては、式（２）のアクティビティの評価値を使った場合について説明する。
【００４４】
アクティビティ計算部２４によるアクティビティの計算は、ブロックマッチング部２１による差分計算時に図示せぬ画像メモリに展開している画素を利用し、さらにブロックマッチング部２１によるブロックマッチングと同時並行に行われるのがアーキテクチャ的には好ましい。但し、アクティビティの計算をブロックマッチングと同時並行に行うのが必ずしも必要ではない点に留意する。
【００４５】
動物体領域抽出部２５は、注目ブロックについての、評価値テーブル保持部２３から供給される全画面動きベクトル先との差分、及びアクティビティ計算部２４から供給されるアクティビティから、注目ブロックが背景かどうかを判定する。
【００４６】
具体的には、例えば、動物体領域抽出部２５は、注目ブロックについての、全画面動きベクトル先との差分Dbと、アクティビティ計算部２４から供給されるアクティビティAとを用いた、式（３）に示す評価式を演算し、その演算値の正負により注目ブロックが背景か否かを判定する。
【００４７】
α×A＋β×N−Db      ・・・・・（３）
【００４８】
式（３）において、Nは、ブロック内の画素数を示している。α、βは、それぞれ、アクティビティA、全画面動きベクトル先との差分Dbの係数である。
【００４９】
式（３）の評価式の演算値が負（＜0）であれば、注目ブロックは動物体領域である（すなわち、注目ブロックは背景でない）と判定される。逆に、式（３）の評価式の演算値が正（≧0）であれば、注目ブロックは背景である（すなわち、注目ブロックは動物体領域でない）と判定される。
【００５０】
なお、係数α及びβは、動物体領域の抽出精度を変えるためのパラメータであり、アプリケーションや用途に応じて値を変えることができる。また、動き量が既知の動画像から逆算し、係数α及びβを統計的に求めることもできる。すなわち、例えば、動き量が既知の動画像について、アクティビティA、全画面動きベクトル先との差分Dbを求め、動物体領域と判定されたブロックと背景と判定されたブロックのそれぞれについて、統計処理を行うことにより、係数α、βを求めることができる。
【００５１】
一般的な動画像から動物体領域を抽出する場合、例えば、α=0.8、β=2程度が好ましい。
【００５２】
その後、動物体領域抽出部２５は、全てのブロックについて背景かどうかを判定し終えると、動物体領域と判定されたブロックのうちの連続しているブロックの集合のそれぞれを動物体領域として抽出する。そして、動物体領域抽出部２５は、抽出した動物体領域を特定する情報である動物体領域情報を生成し、外部に出力する。
【００５３】
次に、図２及び３のフローチャートを参照して、動物体領域抽出装置１１の抽出処理の一例について説明する。
【００５４】
動物体領域抽出装置１１のブロックマッチング部２１及びアクティビティ計算部２４には、動画像を構成する各フレームが、入力画像として順次入力される。
【００５５】
ステップＳ１において、ブロックマッチング部２１は、入力画像を、格子状に任意のサイズのブロックに分割する。
【００５６】
具体的には、ブロックマッチング部２１は、例えば、図４に示すような、入力画像の処理画面を所定のサイズのブロックに分割することにより、縦横７×１０の７０のブロックを生成する。なお、入力画像全体や他の大きさの画面を処理画面とすることも勿論可能である。
【００５７】
ステップＳ２において、ブロックマッチング部２１は、分割後のブロックのうちの所定のブロックを注目ブロックに設定する。その後、処理はステップＳ３に進む。
【００５８】
ステップＳ３において、ブロックマッチング部２１は、注目ブロックについてブロックマッチングを行い、各探索ベクトル毎に、探索ベクトルと探索ベクトル先との差分の評価値とを対応付けた評価値テーブルを生成する。その後、処理はステップＳ４に進む。
【００５９】
ステップＳ４において、ブロックマッチング部２１は、評価値テーブルに含まれる探索ベクトルの中から、最小評価値を与える探索ベクトルを局所動きベクトルとして検出し、全画面動き算出部２２に供給する。その後、処理はステップＳ５に進む。
【００６０】
ステップＳ５において、ブロックマッチング部２１は、注目ブロックについての評価値テーブルを、評価値テーブル保持部２３に供給する。その後、処理はステップＳ６に進む。
【００６１】
ステップＳ６において、評価値テーブル保持部２３は、ブロックマッチング部２１から供給される評価値テーブルをブロック毎に保持する。その後、処理はステップＳ７に進む。
【００６２】
ステップＳ７において、ブロックマッチング部２１は、注目ブロックは入力画像中の最後のブロックであるか否かを判定する。
【００６３】
注目ブロックは入力画像中の最後のブロックでない場合、ステップＳ７においてＮＯであると判定されて、処理はステップＳ２に戻され、それ以降の処理が繰り返される。
【００６４】
即ち、入力画像を構成する各ブロック毎に、ステップＳ２乃至Ｓ７のループ処理が繰り返し実行される。そして、入力画像中の最後のブロックについて、ステップＳ６の処理で評価値テーブルが保持されると、ステップＳ７の処理でＹＥＳであると判定されて、処理はステップＳ８に進む。
【００６５】
ステップＳ８において、全画面動き算出部２２は、ブロックマッチング部２１から供給される全ブロックの局所動きベクトルに対して統計処理を施すことにより、全画面動きベクトルを算出し、評価値テーブル保持部２３に供給する。その後、処理はステップＳ９に進む。
【００６６】
ステップＳ９において、評価値テーブル保持部２３は、入力画像中の所定のブロックを注目ブロックに設定する。その後、処理はステップＳ１０に進む。
【００６７】
ステップＳ１０において、評価値テーブル保持部２３は、注目ブロックについての評価値テーブルを参照し、全画面動きベクトル先との差分を求める。そして、評価値テーブル保持部２３は、求めた全画面動きベクトル先との差分を、動物体領域抽出部２５に供給する。その後、処理はステップＳ１１に進む。
【００６８】
ステップＳ１１において、アクティビティ計算部２４は、注目ブロックのアクティビティを計算し、動物体領域抽出部２５に供給する。
【００６９】
具体的には、例えば、アクティビティ計算部２４は、注目ブロック内の画素のそれぞれに対して、隣接８画素との差分絶対値和を求め、その差分絶対値和を注目ブロック内の全画素分積算する。
【００７０】
すなわち、図５に示すように、アクティビティ計算部２４は、注目ブロック内の所定の画素を注目画素に設定する。なお、図５の例では、ブロックは縦M横NのM×Nの画素から構成されるとする。
【００７１】
まず、アクティビティ計算部２４は、例えば、注目ブロック内の第１行第１列の画素を注目画素に設定する。アクティビティ計算部２４は、図５左上の点線の丸の内部に示すように、注目画素の隣接８画素、すなわち、注目画素の左上、上、右上、左、右、左下、下、右下の画素のそれぞれとの差分絶対値和を求める。次に、アクティビティ計算部２４は、例えば、注目画素の右隣の画素、すなわち、第１行第２列の画素を新たな注目画素に設定し、隣接８画素との差分絶対値和を求める。以下、同様にして、注目画素（第１行第j列の画素）の右隣の画素（第１行第j+1(3≦j≦N)列の画素）を新たな注目画素に順次設定し、隣接８画素との差分絶対値和を求めていく。その後、第１行の画素に対して演算を終えると、第１行の下の行、すなわち第２行の画素に対して演算を行う。同様に、第i(2≦i≦M)行の画素に対して演算を終えると、第i行の下の行、すなわち第i+1行の画素に対して演算を行う。このようにして、アクティビティ計算部２４は、注目ブロック内の全画素に対して、隣接８画素との差分絶対値和を求め、その差分絶対値和を注目ブロック内の全画素分積算する。
【００７２】
ステップＳ１２において、動物体領域抽出部２５は、評価値テーブル保持部２３から供給される注目ブロックの全画面動きベクトル先との差分と、アクティビティ計算部２４から供給される注目ブロックのアクティビティとから、注目ブロックが動物体領域か否かを判定する。
【００７３】
具体的には、動物体領域抽出部２５は、評価値テーブル保持部２３からの注目ブロックの全画面動きベクトル先との差分Db、及びアクティビティ計算部２４から供給される注目ブロックのアクティビティAとを用いた、式（３）に示した評価式を演算する。そして、動物体領域抽出部２５は、この評価式の演算値が負の場合に注目ブロックが動物体領域と判定し、この評価式の演算値が正の場合に注目ブロックが動物体領域でないと判定する。
【００７４】
ステップＳ１３において、評価値テーブル保持部２３は、注目ブロックは入力画像中の最後のブロックか否かを判定する。
【００７５】
注目ブロックは入力画像中の最後のブロックでない場合、ステップＳ１３においてＮＯと判定されて、処理はステップＳ１０に戻され、それ以降の処理が繰り返される。
【００７６】
即ち、入力画像中の各ブロック毎に、ステップＳ９乃至Ｓ１３のループ処理が繰り返し実行される。そして、入力画像中の最後のブロックについて、ステップＳ１２の処理で動物体領域か否かが判定されると、ステップＳ１３の処理でＹＥＳであると判定されて、ステップＳ１４に進む。
【００７７】
ステップＳ１４において、動物体領域抽出部２５は、動物体領域と判定されたブロックのうちの連続しているブロックの集合のそれぞれを動物体領域として抽出する。その後、処理はステップＳ１５に進む。
【００７８】
ステップＳ１５において、動物体領域抽出部２５は、抽出した動物体領域を特定するための情報である動物体領域情報を生成して外部に出力する。そして、抽出処理は終了となる。
【００７９】
以上のように、動物体領域抽出装置１１は、大きな特徴の一つとして、動き検出時に得られる評価値テーブル上の評価値といった特徴量を動物体領域の判定に流用している。その結果、動物体領域の抽出を実現する上で、一般的な動き検出回路に対して付加すべき付加要素を回路規模・処理工数の点で共に極めて少なくすることができる。
【００８０】
従って、動物体領域抽出装置１１は、元々動き検出を想定したアプリケーション、例えば、トラッキング、圧縮、あるいは時空間解像度創造等といったアプリケーションと相性が非常に良いと言える。
【００８１】
そのようなアプリケーションの一例としては、例えば、ユーザが指示した対象をトラッキングする監視カメラシステムが特開2007-272732で提案されている。
【００８２】
具体的には、この監視カメラシステムでは、動きベクトルを特徴量として、その統計処理により全画面動き等を求め、トラッキングに使用している。
【００８３】
この監視カメラシステムでは、全画面動きベクトルや評価値テーブルが求められており、また、アクティビティについても、動物体領域抽出装置１１が計算するアクティビティと同様のものを出力する機構が兼ね備わっている。
【００８４】
従って、この監視カメラシステムを用いて動物体領域抽出装置１１を構成する場合、監視カメラシステムからの全画面動きベクトル、評価値テーブル上の評価値、及びアクティビティといった特徴量は付加回路なく得ることができる。これらの全画面動きベクトルと評価値テーブル上の評価値から、全画面動きベクトル先との差分と、アクティビティという出力結果が得られる。そして、この出力結果を用いた式（３）の評価式の演算と、その演算値と閾値（本実施の形態では0）との比較とを行うための極めて小規模な回路を付け加えるだけで、動物体検出が可能となる。
【００８５】
さらに、動物体検出で得られた動物体領域情報は、この監視カメラシステムによるトラッキングにとっても非常に有効な特徴量の一つとなる。
【００８６】
また、動物体領域抽出装置１１は、もう一つの大きな特徴として、アクティビティを定義し、アクティビティを特徴量として動物体領域を判定している。アクティビティの計算は、極めて小規模の回路で実現できるので、動物体領域抽出装置１１は、アクティビティを有効に活用することで、簡易ながらロバストな動物体領域抽出を実現できる。
【００８７】
次に、図６及び７を参照して、具体的に、アクティビティを考慮することによる動物体領域の抽出結果への効果について説明する。
【００８８】
図６Ａ（及び後述する図７Ａ）は、アクティビティを考慮した場合の動物体領域抽出装置１１による動物体領域の抽出結果を示している。図６Ｂ（及び後述する図７Ｂ）は、対比較としての、アクティビティを考慮しなかった場合の動物体領域抽出装置１１による動物体領域の抽出結果を示している。
【００８９】
図６Ａ及び図６Ｂでは、動物体領域と判定された領域が、入力画像P1に対して、縁取りされたグレー領域として重畳してある。
【００９０】
入力画像P1は、一般的なTV(television)映像信号の１フレームであり、パン動きが存在し、また、スケートリンクやフェンス等、平坦で動き検出が難しい領域が多々存在する画像である。それにもかかわらず、図６Ａ、すなわち、アクティビティを考慮した場合の動動物体領域の抽出結果では、動物体領域と判定されるべき動物体であるスケータが綺麗に抽出されているのが分かる。それに対して、図７Ｂ、すなわち、アクティビティを考慮しなかった場合の動物体領域の抽出結果では、動物体領域と判定されるべき部分以外の部分、例えば、スケータの奥に位置する「Smart Ones」という文字や観客席等のディテールの細かい部分に関して、誤判定が目立つのが見てとれる。
【００９１】
図７Ａ及び図７Ｂでは、動物体領域と判定された領域が、入力画像P2に対して、縁取りされたグレー領域として重畳してある。
【００９２】
入力画像P2は、上記TV映像信号とは別の動画像の１フレームである。入力画像P2は、動物体として検出されるべき対象物が複数存在したり、または、背景に強いディテールがあるような画像である。それにもかかわらず、図７Ａ、すなわち、アクティビティを考慮した場合の動物体領域の抽出結果では、動物体領域と判定されるべき動物体である図中やや左中央に位置する子供と右やや上に位置する犬とが、問題なく抽出できているのが見てとれる。それに対して、図７Ｂ、すなわち、アクティビティを考慮しなかった場合の動物体領域の抽出結果では、動物体領域と判定されるべき部分だけでなく画面上の大部分が動物体領域と誤判定されてしまい、動物体領域を全く判定できていない。
【００９３】
以上のように、動物体領域抽出装置１１は、動き検出に用いる特徴量の利用と、極めて小規模の付加回路の付加とによって、精度の高い動物体領域の抽出が実現できる。
【００９４】
また、動物体領域抽出装置１１は、動きベクトルの検出とその比較による従来手法にありがちな、動きベクトルの検出が難しい平坦部や繰り返しパターン部での抽出結果の破綻といった問題を生じ難くすることができる。
【００９５】
さらに、動物体領域抽出装置１１は、パン・チルト等の平行カメラ動きがあるような、背景が動いている動画像の場合でも問題なく動物体領域の抽出を実現できる。
【００９６】
すなわち、動物体領域抽出装置１１は、従来技術の問題点を解決し、簡易な処理・アーキテクチャでロバストな動物体領域の抽出することができる。
【００９７】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【００９８】
図８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【００９９】
コンピュータにおいて、CPU４１，ROM（Read Only Memory）４２，RAM（Random Access Memory）４３は、バス４４により相互に接続されている。
【０１００】
バス４４には、さらに、入出力インタフェース４５が接続されている。入出力インタフェース４５には、キーボード、マウス、マイクロホンなどよりなる入力部４６、ディスプレイ、スピーカなどよりなる出力部４７、ハードディスクや不揮発性のメモリなどよりなる記憶部４８、ネットワークインタフェースなどよりなる通信部４９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１を駆動するドライブ５０が接続されている。
【０１０１】
以上のように構成されるコンピュータでは、CPU４１が、例えば、記憶部４８に記憶されているプログラムを、入出力インタフェース４５及びバス４４を介して、RAM４３にロードして実行することにより、上述した一連の処理が行われる。
【０１０２】
コンピュータ（CPU４１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD−ROM(Compact Disc−Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア５１に記録して、あるいは、ローカルエリアネットワーク、インターネット、ディジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１０３】
そして、プログラムは、リムーバブルメディア５１をドライブ５０に装着することにより、入出力インタフェース４５を介して、記憶部４８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部４９で受信し、記憶部４８にインストールすることができる。その他、プログラムは、ROM４２や記憶部４８に、あらかじめインストールしておくことができる。
【０１０４】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１０５】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１０６】
【図１】動物体領域抽出装置１１の機能的構成例を示す図である。
【図２】動物体領域抽出装置１１の抽出処理の一例を説明するフローチャートである。
【図３】動物体領域抽出装置１１の抽出処理の一例を説明するフローチャートである。
【図４】ブロックの一例を示す図である。
【図５】アクティビティの計算を説明するための図である。
【図６】動物体領域の抽出結果の一例を示す図である。
【図７】動物体領域の抽出結果の一例を示す図である。
【図８】本発明を適用したコンピュータのハードウェアの構成例を示すブロック図である。
【符号の説明】
【０１０７】
１１  動物体領域抽出装置，  ２１  ブロックマッチング部，  ２２  全画面動き算出部，  ２３  評価値テーブル保持部，  ２４  アクティビティ計算部，  ２５  動物体領域抽出部，  ４１  CPU，  ４２  ROM，  ４３  RAM，  ４４  バス，  ４５  入出力インタフェース，  ４６  入力部，  ４７  出力部，  ４８  記憶部，  ４９  通信部，  ５０  ドライブ，  ５１  リムーバブルメディア
【図１】
2009266169.tif 000005
【図２】
2009266169.tif 000006
【図３】
2009266169.tif 000007
【図４】
2009266169.tif 000008
【図５】
2009266169.tif 000009
【図６】
2009266169.tif 000010
【図７】
2009266169.tif 000011
【図８】
2009266169.tif 000012