(57)【要約】【課題】本発明は、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えばペットの行動を監視する装置に適用して、ペット等の行動を適切に判定することができるようにする。【解決手段】本発明は、辞書４に登録された観察対象の行動毎の特徴量に基づいて、入力動画像Ｄ１における観察対象の行動を判定する。【選択図】        図１
2009182400.tif 000002
【特許請求の範囲】
【請求項１】
観察対象の行動毎に、前記観察対象の動きを特徴付ける辞書用の特徴量を記録した辞書と、
入力動画像を解析して前記観察対象の動きを判定する判定部とを備え、
前記判定部は、
前記入力動画像から、前記観察対象が撮影されている部位を切り出して切り出し動画を生成する判定部側の認識対象検出部と、
前記切り出し動画から、前記辞書用の特徴量に対応する判定用の特徴量を検出する判定部側の特徴量検出部と、
前記辞書用の特徴量と、前記判定用の特徴量との比較により、前記入力動画像における前記観察対象の動きを判定する比較部とを備える
ことを特徴とする画像処理装置。
【請求項２】
前記辞書用の特徴量及び前記判定用の特徴量が、
画像平面及び時間が各次元である３次元時空間における特徴点の特徴量である
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記辞書に、前記辞書用の特徴量を登録する登録部を有し、
前記登録部は、
前記入力動画像から前記辞書への登録用のモデル動画の選択を受け付けるモデル動画指定部と、
前記モデル動画から、前記観察対象が撮影されている部位を切り出してモデル切り出し動画を出力する辞書側の認識対象検出部と、
前記モデル切り出し動画から前記辞書用の特徴量を検出して前記辞書に登録する辞書側の特徴量検出部とを有する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記比較部の判定結果に基づいて、前記入力動画像における前記観察対象の行動をユーザーに通知する通信部を有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記比較部の判定結果を、対応する前記入力動画像の時間情報と共に記録する判定結果の記録部を有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記判定結果の記録部の記録に基づいて、前記入力動画像を編集してダイジェストを作成するダイジェスト生成部を有する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記判定部側の認識対象検出部は、
前記入力動画像から背景画像を減算した差分画像の各画素値を所定のしきい値で判定してマスク画像を作成し、前記マスク画像で前記入力画像の背景をマスクして前記切り出し動画を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記比較部は、
前記辞書用の特徴量及び前記判定用の特徴量の比較により、類似する特徴量を有する特徴点の組としての候補対応特徴点ペアを検出する特徴量比較部と、
前記候補対応特徴点ペアから、アウトライヤを除去し、前記入力動画上での前記観察対象の姿勢を推定するとともに、前記観察対象の姿勢に対応する認識対応特徴点ペア群を求める姿勢推定部と、
前記姿勢推定部により得られる前記観察対象の姿勢の推定結果、及び前記認識対応特徴点ペア群に基づいて、前記入力動画像における前記観察対象の動きを判定する認識結果生成部とを備える
ことを特徴とする請求項２に記載の画像処理装置。
【請求項９】
前記姿勢推定部は、
ランダムに選択したＮ組の前記候補対応特徴点ペアにより決定される画像変換パラメータをパラメータ空間に投射し、前記パラメータ空間上をクラスタリングすることにより形成されるクラスタから、最多メンバ数を有するクラスタを求め、前記最多メンバ数を有するクラスタのメンバである前記候補対応特徴点ペア群を前記認識対応特徴点ペア群とする
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記姿勢推定部は、
前記最多メンバ数を有するクラスタのセントロイドを検出することにより、前記観察対象の姿勢を推定し、前記セントロイドを、前記観察対象の姿勢を推定するパラメータに設定する
ことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
入力動画像を解析して観察対象の動きを判定する画像処理方法であって、
前記入力動画像から、前記観察対象が撮影されている部位を切り出して切り出し動画を生成する判定側の認識対象検出ステップと、
前記切り出し動画から、前記観察対象の動きを特徴付ける判定用の特徴量を検出する判定側の特徴量検出ステップと、
前記観察対象の行動毎に辞書に記録された、前記判定用の特徴量に対応する辞書用の特徴量と、前記判定用の特徴量との比較により、前記入力動画像における前記観察対象の動きを判定する比較ステップとを有する
ことを特徴とする画像処理方法。
【請求項１２】
入力動画像を解析して観察対象の動きを判定する画像処理方法のプログラムであって、
前記入力動画像から、前記観察対象が撮影されている部位を切り出して切り出し動画を生成する判定側の認識対象検出ステップと、
前記切り出し動画から、前記観察対象の動きを特徴付ける判定用の特徴量を検出する判定側の特徴量検出ステップと、
前記観察対象の行動毎に辞書に記録された、前記判定用の特徴量に対応する辞書用の特徴量と、前記判定用の特徴量との比較により、前記入力動画像における前記観察対象の動きを判定する比較ステップとを有する
ことを特徴とする画像処理方法のプログラム。
【請求項１３】
入力動画像を解析して観察対象の動きを判定する画像処理方法のプログラムを記録した記録媒体であって、
前記画像処理方法のプログラムは、
前記入力動画像から、前記観察対象が撮影されている部位を切り出して切り出し動画を生成する判定側の認識対象検出ステップと、
前記切り出し動画から、前記観察対象の動きを特徴付ける判定用の特徴量を検出する判定側の特徴量検出ステップと、
前記観察対象の行動毎に辞書に記録された、前記判定用の特徴量に対応する辞書用の特徴量と、前記判定用の特徴量との比較により、前記入力動画像における前記観察対象の動きを判定する比較ステップとを有する
ことを特徴とする画像処理方法のプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えばペットの行動を監視する装置に適用することができる。本発明は、辞書に登録された観察対象の行動毎の特徴量に基づいて、入力動画像における観察対象の行動を判定することにより、ペット等の行動を適切に判定することができるようにする。
【背景技術】
【０００２】
従来、特開２００４−１５３５６号公報には、一定の時間間隔でペットの静止画像を取得し、ネットワークを介してこの静止画像をユーザーに提供する方法が提案されている。また特開２００２−７７８５４号公報には、映像を配信し、動物園の動物等をインターネット上で観察可能とする方法が提案されている。
【０００３】
また従来、ペット、動物の観察に関して、センサを用いてペットの特定行動を検出する構成が開示されている。具体的に、特開２００６−２２２８４１号公報には、マイクを用いてペットの吠える行動を検出する構成が開示されている。また特開２００３−９６９７号公報には、給餌場にセンサを配置してペットの食事行動を検出する構成が開示されている。
【０００４】
ところで特開２００４−１５３５６号公報、特開２００２−７７８５４号公報に開示の手法によれば、遠隔地でペット、動物の様子を把握することができる。
【０００５】
しかしながらこれらの公報に開示の手法では、ユーザーの所望しない静止画像、映像までも不必要に提供されることになる。従って、ペット、動物の行動を適切に判定することが望まれる。
【０００６】
この場合、例えば特開２００６−２２２８４１号公報等に開示されたペットの特定行動を検出する構成を採用することも考えられるが、これらの公報に開示のセンサを用いた特定行動の検出方法では、センサで決まる特定行動だけしか検出し得ず、必ずしもペット、動物の行動を適切に判定できない問題がある。
【特許文献１】特開２００４−１５３５６号公報
【特許文献２】特開２００２−７７８５４号公報
【特許文献３】特開２００６−２２２８４１号公報
【特許文献４】特開２００３−９６９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は以上の点を考慮してなされたもので、ペット、動物の行動を適切に判定することができる画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体を提案しようとするものである。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため請求項１の発明は、画像処理装置に適用して、観察対象の行動毎に、前記観察対象の動きを特徴付ける辞書用の特徴量を記録した辞書と、入力動画像を解析して前記観察対象の動きを判定する判定部とを備え、前記判定部は、前記入力動画像から、前記観察対象が撮影されている部位を切り出して切り出し動画を生成する判定部側の認識対象検出部と、前記切り出し動画から、前記辞書用の特徴量に対応する判定用の特徴量を検出する判定部側の特徴量検出部と、前記辞書用の特徴量と、前記判定用の特徴量との比較により、前記入力動画像における前記観察対象の動きを判定する比較部とを備える。
【０００９】
また請求項１１の発明は、入力動画像を解析して観察対象の動きを判定する画像処理方法であって、前記入力動画像から、前記観察対象が撮影されている部位を切り出して切り出し動画を生成する判定側の認識対象検出ステップと、前記切り出し動画から、前記観察対象の動きを特徴付ける判定用の特徴量を検出する判定側の特徴量検出ステップと、前記観察対象の行動毎に辞書に記録された、前記判定用の特徴量に対応する辞書用の特徴量と、前記判定用の特徴量との比較により、前記入力動画像における前記観察対象の動きを判定する比較ステップとを有するようにする。
【００１０】
また請求項１２の発明は、入力動画像を解析して観察対象の動きを判定する画像処理方法のプログラムに適用して、前記入力動画像から、前記観察対象が撮影されている部位を切り出して切り出し動画を生成する判定側の認識対象検出ステップと、前記切り出し動画から、前記観察対象の動きを特徴付ける判定用の特徴量を検出する判定側の特徴量検出ステップと、前記観察対象の行動毎に辞書に記録された、前記判定用の特徴量に対応する辞書用の特徴量と、前記判定用の特徴量との比較により、前記入力動画像における前記観察対象の動きを判定する比較ステップとを有するようにする。
【００１１】
また請求項１３の発明は、入力動画像を解析して観察対象の動きを判定する画像処理方法のプログラムを記録した記録媒体に適用して、前記画像処理方法のプログラムは、前記入力動画像から、前記観察対象が撮影されている部位を切り出して切り出し動画を生成する判定側の認識対象検出ステップと、前記切り出し動画から、前記観察対象の動きを特徴付ける判定用の特徴量を検出する判定側の特徴量検出ステップと、前記観察対象の行動毎に辞書に記録された、前記判定用の特徴量に対応する辞書用の特徴量と、前記判定用の特徴量との比較により、前記入力動画像における前記観察対象の動きを判定する比較ステップとを有するようにする。
【００１２】
請求項１、請求項１１、請求項１２、又は請求項１３の構成によれば、特徴量で把握される種々の行動を判定することができ、その結果、ペット、動物等の行動を適切に判定することができる。
【発明の効果】
【００１３】
本発明によれば、ペット、動物等の行動を適切に判定することができる。
【発明を実施するための最良の形態】
【００１４】
以下、適宜図面を参照しながら本発明の実施例を詳述する。
【実施例１】
【００１５】
（１）実施例の構成
図１は、本発明の実施例１の画像処理システムに適用される画像処理装置を示すブロック図である。画像処理システムは、ペットの行動を判定して適宜ユーザーに通知し、また特定行動の映像を選択してダイジェスト映像を作成する。
【００１６】
ここで画像処理システムは、ペットの動画像を取得する撮像装置と、この動画像を処理する画像処理装置１とにより構成される。ここで画像処理装置１は、この画像処理システムに係る画像処理プログラムを実行するコンピュータである。従ってこの図１に示すブロック図には、このコンピュータの演算処理部によって構成される機能ブロックが含まれる。なおこの画像処理プログラムは、この画像処理装置１に事前にインストールして提供され、又は光ディスク、磁気ディスク、メモリカード等の各種記録媒体に記録して提供され、又はインターネット等のネットワークを介したダウンロードにより提供される。
【００１７】
この画像処理装置１において、バッファ２は、撮像装置から出力される動画像の画像データＤ１を時間情報と共に一時保存して出力する。なおこの時間情報は、例えばタイムコードである。画像処理装置１は、登録部３で作成した辞書４を用いて、このバッファ２から出力される画像データＤ１を判定部５で処理してペットの行動を判定する。
【００１８】
ここで辞書４は、ペットの行動を特徴付ける特徴量をペットの行動毎に登録して作成される。登録部３は、ユーザーの指示に従ってバッファ２に保存された画像データＤ１を処理して辞書４を作成する。なお辞書４は、この画像処理装置１で作成する代わりに、画像処理プログラムと共に、又は画像処理プログラムとは別に、別途、画像処理装置１に提供してもよい。
【００１９】
ここで登録部３において、モデル動画指定部６は、ユーザーの操作に応動してモデル動画の選択を受け付ける。ここでモデル動画は、辞書４に登録するペットの行動（以下、モデル行動と呼ぶ）の動画像である。モデル動画指定部６は、ユーザーの操作に応動してバッファ２に保持した画像データＤ１を図示しない表示部で順次表示し、モデル動画の開始点及び終了点の設定を受け付ける。また対応するモデル行動のタイトルの入力を受け付ける。
【００２０】
具体的に、例えばペットの食事行動を辞書４に登録する場合、モデル動画指定部６は、バッファ２に保持した画像データＤ１を表示部で順次表示し、ペットの食事開始及び食事終了の時点で、それぞれモデル動画の開始点及び終了点の設定をユーザーから受け付ける。従ってこの場合、ペットが食事を開始した後、食事を終了するまでの一連の動画像がモデル動画となる。またモデル動画指定部６は、この場合、ユーザーから例えば「食事」とのタイトルの入力を受け付ける。
【００２１】
認識対象検出部７は、ペットを撮影している部位を切り出したモデルペット切り出し動画をモデル動画から生成する。
【００２２】
すなわち認識対象検出部７は、図２において矢印により示すように、ペットが存在していない状態で事前に撮影した背景画像Ｈ１と、モデル動画Ｈ２の各フレームとの間で、順次対応する画素間で画素値の差分値を計算し、モデル動画のフレーム毎に、モデル動画から背景画像を減算した差分画像Ｈ３を生成する。認識対象検出部７は、この差分画像Ｈ３の各画素値を所定のしきい値で判定し、ペットを撮影した画素では画素値が値１であり、背景を撮影した画素では画素値が値０であるマスク画像Ｈ４をモデル動画のフレーム毎に生成する。なお図２では、画素値が値０の部分を黒塗りで示す。
【００２３】
認識対象検出部７は、このマスク画像Ｈ４の画素値を対応するモデル画像Ｈ２の画素値と順次乗算してモデルペット切り出し動画Ｈ５を生成する。従ってモデルペット切り出し動画は、モデル動画において、背景部分の画素値が値０にマスクされた動画である。なお差分画像では、背景画像とモデル動画とで画素値がほぼ等しい場合に背景と判定されることから、ペットを撮影した画素が背景を撮影した画素に誤判定される場合もある。そこでマスク画像をフィルタリング処理し、注目画素の画素値が値０の場合でも、注目画素の隣接画素が画素値１の場合、この注目画素の画素値を値１に設定し直すようにしてもよい。またこれとは逆に、同様のマスク画像のフィルタリング処理により、背景とのエッジ部分では、注目画素の画素値が値１に判定されている場合でも、注目画素の隣接画素が画素値０の場合、この注目画素の画素値を値０に設定し直し、続く特徴量群抽出部８における処理の精度を向上してもよい。
【００２４】
特徴量群抽出部８は、認識対象検出部７で生成されたモデルペット切り出し動画から、ペットの行動を特徴付ける特徴量を検出する。この実施例では、１つのモデルペット切り出し動画から検出される特徴量の集合をモデル行動イベント特徴量群と定義する。特徴量群抽出部８は、モデルペット切り出し動画の水平方向、垂直方向及び時間軸方向をそれぞれ座標軸とした３次元の時空間からモデル行動イベント特徴量群を検出する。
【００２５】
より具体的に、特徴量群抽出部８は、"I. Laptev, "On Space-Time Interest Points", in International Journal of Computer Vision, vol 64, number 2/3, 2005" に記載の手法を適用して、モデルペット切り出し動画から時空間特徴点群を検出する。さらに検出した時空間特徴点群における各時空間特徴点から時空間特徴量を検出してモデル行動イベント特徴量群を検出する。なお特徴点の検出、特徴量の検出は、これらの方法に限らず、種々の手法を適用することができる。
【００２６】
ここで時空間特徴点は、３次元に拡張した一般化Ｈａｒｒｉｓ尺度に基づいて検出される。時空間特徴点は、モデルペット切り出し動画の水平方向、垂直方向、時間軸方向を座標（ｘ，ｙ，ｔ）により定義して、次式により表される３次元拡張Ｈａｒｒｉｓ関数Ｈの極大及び極小を与える３次元座標（ｘ，ｙ，ｔ）として定義される。
【００２７】
【数１】
2009182400.tif 000003
【００２８】
なおここでｄｅｔ（μ）は、正方行列の行列式を示し、ｔｒａｃｅ3 （μ）は、行列の対角成分の和の３乗を示し、ｋは、定数である。またμは、次式で表される。
【００２９】
【数２】
2009182400.tif 000004
【００３０】
ここでＧ（ｘ，ｙ，ｔ；σ2 ，τ2 ）は、３次元ガウスフィルタの特性であり、（３）式で表される。またσは、空間領域におけるガウス形状の広がり（裾野の広がり）を決めるパラメータである。τは、時間領域におけるガウス形状を決めるパラメータである。従ってσ及びτは、空間領域及び時間領域におけるローパスフィルタによる値のぼかし度合いに対応するパラメータである。ここでパラメータσ及びτは、画像データＤ１の解像度に応じて最適な値を選択することができ、例えば、σ＝８、τ＝４程度の値として好適である。また、＊は内積を示す。従って（２）式の右辺は、（▽Ｌ（▽Ｌ）T ）を３次元ガウスフィルタＧでぼかす処理であり、（２）式中の▽Ｌは、（４）式で表される。
【００３１】
【数３】
2009182400.tif 000005
【００３２】
【数４】
2009182400.tif 000006
【００３３】
ここで（４）式においては、次式の関係式が成立する。なおＩ（ｘ，ｙ，ｔ）は、モデルペット切り出し動画の座標（ｘ，ｙ，ｔ）における画素値である。
【００３４】
【数５】
2009182400.tif 000007
【００３５】
なお（４）式の▽Ｌは、時空間画像グラディエントを表しており、その結果、（２）式のμは、時空間画像グラディエントの２次モーメントマトリクスを表していることになる。また（４）式のパラメータσL は、空間スケールパラメータであり、τL は、時間スケールパラメータである。これらパラメータσL 及びτL は、それぞれ特徴点を抽出する際に考慮に入れるべき時間又は空間方向のサイズを決めるパラメータである。なおパラメータσL 及びτL は、それぞれ独立に決められる。この実施例では、例えばσL ＝｛２，４，８｝、τL ＝｛２，４，８｝の全９通りの組み合わせで特徴点を検出する。この実施例のように各種の組み合わせで特徴点を検出することにより、時間的にも、ｘ−ｙ平面内の空間的にもスケールに幅を持つことができ、広い範囲から特徴点を求めることが可能となる。
【００３６】
特徴量群抽出部８は、認識対象検出部７で生成されたモデルペット切り出し動画の各画素値ＩMODEL [i] （ｘ，ｙ，ｔ）を用いて（１）式の演算処理を実行して３次元拡張Ｈａｒｒｉｓ関数Ｈを計算する。なおここでｉは、辞書４に登録するｉ番目の行動であることを示すものである。また特徴量群抽出部８は、計算した３次元拡張Ｈａｒｒｉｓ関数Ｈから極大値及び極小値を順次検出し、検出した極大値及び極小値の座標（ｘ，ｙ，ｔ）を特徴点に設定する。これにより特徴量群抽出部８は、モデルペット切り出し動画から時空間特徴点群を抽出する。
【００３７】
なおモデル動画に直接（１）式を適用して特徴点を検出することも可能である。しかしながらモデル動画において、ペットの行動によって一時的に隠される背景部分の画素は、連続するフレームで画像情報が急激に変化する。従ってモデル動画から直接特徴点を検出する場合には、このペットの行動によって一時的に隠される背景部分の画素が、特徴点として検出される可能性が高くなる。また背景とのエッジ近傍では、（１）式の演算処理により注目画素の特徴量に背景部分の情報が混入することになる。従って背景とのエッジ近傍では、視点変化等によって特徴量が大きく変化することになり、視点変化等により特徴点の検出精度が劣化することになる。
【００３８】
しかしながらこの実施例のように背景をマスクしたモデルペット切り出し動画に（１）式を適用して特徴点を検出する場合には、ペットの行動によって一時的に隠される背景部分の画素を特徴点として検出しないようにすることができ、また視点変化等による特徴点の検出精度の劣化を防止することができる。またさらに上述したマスク画像におけるフィルタリング処理により、一段と、一時的に隠される背景部分の画素を特徴点として検出しないようにし、また視点変化等による特徴点の検出精度の劣化を防止することができる。
【００３９】
特徴量群抽出部８は、"I. Laptev, "On Space-Time Interest Points", in International Journal of Computer Vision, vol 64, number 2/3, 2005"に記載されている技術を用いて、検出した各特徴点から時空間特徴量を検出する。なお以下において、特徴量群抽出部８で検出されたＮ個の特徴点を、ＰMODEL [i] ＝｛Ｐ1[i] ，Ｐ2[i] ，……，ＰN[i] 〕で表す。
【００４０】
ここで特徴点Ｐ＝（ｘP ，ｙP ，ｔP ）における時空間特徴量ＶP は、次式により定義される。
【００４１】
【数６】
2009182400.tif 000008
【００４２】
ここでパラメータσP ，τP は、特徴点Ｐが検出されたときのスケールパラメータである。また（６）式におけるＬは、次式により表される。
【００４３】
【数７】
2009182400.tif 000009
【００４４】
なおここでｍは、（６）式におけるｘの次数であり、ｎは、（６）式におけるｙの次数であり、ｋは、（６）式におけるｔの次数である。
【００４５】
ここで（６）式で表される時空間特徴量ＶP は、ｘ、ｙ、ｔの各次元にそれぞれ４次までの偏微分ガウスオペレーションをかけた画像情報で構成される特徴ベクトルである。従って時空間特徴量ＶP の次元数は、次式により示すように、３４次元となる。
【００４６】
【数８】
2009182400.tif 000010
【００４７】
特徴量群抽出部８は、（６）式の演算処理により、各特徴点Ｐ（ＰMODEL [i] ＝Ｐ1 [i] ，Ｐ2 [i] ，……，ＰN [i] ）の特徴量ＶP （ＶMODEL [i] ＝Ｖ1 [i] ，Ｖ2 [i] ，……，ＶN [i] ）を検出する。
【００４８】
辞書登録部９は、入力されたタイトルをラベルに設定して、モデル動画毎に、モデル動画の画像データＤ１、当該画像データＤ１の時間情報、特徴点Ｐ、特徴量ＶPを辞書４に登録する。これら一連の処理の繰り返しによって、登録部３は、例えば「食事」、「排泄」、「吠える」、「徘徊」、「就寝」等のモデル行動を辞書４に登録する。
【００４９】
なお以下において、この辞書４に登録されたモデル行動を適宜、モデル行動イベントと呼ぶ。またこのモデル行動イベントとの対比により、判定部５で判定するペットの行動を認識行動イベントと呼ぶ。判定部５は、ユーザーによる動作モードの設定により、バッファ２を介して順次画像データＤ１を入力して処理し、認識行動イベントの特徴点、特徴量を画像データＤ１からリアルタイムで作成する。またこの作成した認識行動イベントの特徴点、特徴量を、辞書４に登録された各モデル行動イベントの特徴点、特徴量と比較し、認識行動イベントを判定する。
【００５０】
すなわち判定部５において、入力動画バッファ部１１は、バッファ２から認識行動イベントの画像データＤ１を切り出して一時保持した後、認識対象検出部１２に出力する。ここで画像データＤ１の切り出しは、例えば一定の時間間隔で、現在時刻から事前に設定された認識対象時間長（所定フレーム数）逆上ったフレームまでの画像データＤ１をバッファ２から読み出して実行される。なおこの一定の時間間隔は、認識対象時間長としてもよく、また認識対象時間長以下としてもよい。
【００５１】
認識対象検出部１２は、認識対象検出部７と同一に入力動画バッファ部１１から入力される画像データを処理し、認識行動イベントにおけるモデルペット切り出し画像を生成する。特徴量群抽出部１３は、特徴量群抽出部８と同一に、認識対象検出部１２で生成されたモデルペット切り出し画像を処理し、認識行動イベントの特徴点、特徴量を検出する。
【００５２】
特徴量比較部１４は、この特徴量群抽出部１３で検出した認識行動イベントの特徴点、特徴量と、辞書４に登録された各モデル行動イベントの特徴点、特徴量を比較する。
【００５３】
具体的に特徴量比較部１４は、特徴量群抽出部１３で検出した認識行動イベントの特徴点群と、辞書４に登録された各モデル行動イベントの特徴点群との間でマッチング処理を実行し、認識行動イベントの特徴点に対して類似度の高いモデル行動イベントの特徴点を検出する。画像処理装置１は、姿勢パラメータ推定部１９及び認識結果生成部２０において、この類似度の高い認識行動イベントの特徴点とモデル行動イベントの特徴点とのペア群（以下、このペアを候補対応特徴点ペアと呼ぶ）に対して、３次元画像変換拘束の元、アウトライヤ除去し、３次元画像変換パラメータ推定することにより、認識行動イベントを判定する。なお３次元画像変換拘束は、例えば３次元アフィン変換拘束である。
【００５４】
ここで辞書４にＬ個のモデル行動イベントが登録されているものとする。ここで各モデル行動イベントの特徴点群及び特徴量群をＭＯＤＥＬ[i] ＝（Ｐj [i] ，Ｖj [i] ）とする。なおここで１≦ｉ≦Ｌである。また特徴量群抽出部１３で検出された認識行動イベントの特徴点群及び特徴量群をＩＮＰＵＴ＝（Ｑｋ，Ｗｋ）（ここで、ｋは、１以上Ｍ以下の整数）とする。
【００５５】
特徴量比較部１４は、特徴量群抽出部１３で検出された特徴点群及び特徴量群ＩＮＰＵＴ＝（Ｑｋ，Ｗｋ）を参照可能に保持し、各モデル行動イベントの特徴点群及び特徴量群ＭＯＤＥＬ[i] との間でマッチング処理する。これにより特徴量比較部１４は、認識行動イベントの特徴点に対して類似度の高いモデル行動イベントの特徴点を検出して候補対応特徴点ペアを検出する。
【００５６】
なおこの認識行動イベントの特徴点に対して類似度の高いモデル行動イベントの特徴点を検出する処理は、種々の尺度を用いて実行することができるものの、この実施例では、任意のノルムを用いて非類似度を検出することにより実行する。
【００５７】
すなわちｉ番目のモデル行動イベントのｊ番目の特徴点の特徴量Ｖj [i] と、認識行動イベントのｋ番目の特徴点の特徴量Ｗｋとの非類似度Ｄ（Ｖj [i] ，Ｗｋ）とを次式で示すように、特徴量Ｖj [i] ，Ｗｋのノルムにより定義する。
【００５８】
【数９】
2009182400.tif 000011
【００５９】
特徴量比較部１４は、辞書４に登録されたモデル行動イベント毎に、各モデル行動イベントの特徴点と認識行動イベントの特徴点との全ての組み合わせについて、（９）式の演算処理を実行してそれぞれ非類似度Ｄ（Ｖj [i] ，Ｗｋ）を計算する。
【００６０】
特徴量比較部１４は、認識行動イベントの特徴点毎に、計算した非類似度Ｄ（Ｖj [i] ，Ｗｋ）の中から値の小さいものから所定個数の非類似度Ｄ（Ｖj [i] ，Ｗｋ）を抽出する。ここでこの所定個数の非類似度Ｄ（Ｖj [i] ，Ｗｋ）の計算に使用したモデル行動イベントの各特徴点と、対応する認識行動イベントの特徴点とのペアが、それぞれ候補対応特徴点ペアである。従って特徴量比較部１４は、認識行動イベントの特徴点毎に、それぞれ所定個数の候補対応特徴点ペアを検出し、この所定個数の候補対応特徴点ペアによる候補対応特徴点ペア群を検出する。
【００６１】
なおここでこの所定個数は、例えば３個であり、３個とも非類似度Ｄ（Ｖj [i] ，Ｗｋ）が小さい場合が好ましい。なお非類似度Ｄ（Ｖj [i] ，Ｗｋ）を計算した全てのモデル行動イベントの特徴点を、候補点としてもよい。
【００６２】
ここで認識行動イベントの特徴点Ｐj [i] における候補対応特徴点ペアを〔Ｐj [i] ，Ｑa 〕と表現する。またこの候補対応特徴点ペアを〔Ｐj [i] ，Ｑa 〕による候補対応特徴点ペア群をＣＭＰ[i] と表現する。従って候補対応特徴点ペア群は、ＣＭＰ[i] ＝｛（Ｐj [i] ，Ｑa ）｝となる。ここでＱa は、特徴点Ｐj [i] の対応特徴点である。またｉは１からＬまでの整数、ｊは１からＮまでの整数である。
【００６３】
姿勢パラメータ推定部１９は、この候補対応特徴点ペア群ＣＭＰ[i] にアウトライヤ除去を施す。すなわち候補対応特徴点ペア群ＣＭＰ[i] の抽出処理においては、特徴点の位置情報を使用していないことから、巨視的に見ると、候補対応特徴点ペア群ＣＭＰ[i] には、真に対応する候補対応特徴点ペア（インライヤ）に加えて、モデル行動イベントと認識行動イベントとの間で真に対応していない候補対応特徴点ペア（アウトライヤ）が多数含まれることになる。このアウトライヤの混入は、認識結果を劣化させる。
【００６４】
そこでこの実施例は、「モデル行動イベントは、入力動画中に時空間画像変換（つまり３次元画像変換）されて出現する」という時空間的な変換仮定を立て、候補対応特徴点ペア群ＣＭＰ[i] の中からもっとも正しそうな時空間画像変換パラメータ、及びそれを決める候補対応特徴点ペア群ＣＭＰ[i] の部分集合を求め、その部分集合を、最終的な認識結果を計算する認識対応特徴点ペア群ＲＭＰ[i] とする。これによりこの実施例では、アウトライヤの混入による認識結果の劣化を防止する。
【００６５】
ここで２次元静止画像における変換仮説の概念は、例えば、特開２００６−６５３９９号公報に開示されている。この実施例は、この特開２００６−６５３９９号公報に開示の手法を単純に２次元（平面）から３次元（空間）に拡張するのではなく、この特開２００６−６５３９９号公報に開示の手法を２次元と時間とによる時空間に拡張して適用する。なおこの画像変換処理は、何れも３次元画像変換に拡張されたユークリッド変換、相似変換、アフィン変換、又は射影変換等を使用することができるものの、この実施例では、３次元アフィン変換を使用する。
【００６６】
ここで３次元アフィン変換は、ｘ−ｙと時間ｔとによる３次元において、平行移動、回転変換（ユークリッド変換）及び、拡大縮小変換による相似変換に、せん断変形を許す変換である。３次元アフィン変換は、元の図形で直線上に並ぶ点は変換後も直線上に並び、元の図形上の平行線は変換後も平行線である等、変換の前後で幾何学的性質が保たれる変換である。ここで変換前の点の座標を（ｘ，ｙ，ｔ）、変換後の点の座標を（ｘ′，ｙ′，ｔ′）とすると、３次元アフィン変換は、次式で示される。
【００６７】
【数１０】
2009182400.tif 000012
【００６８】
ここで候補対応特徴点ペア群ＣＭＰ[i] からその一部を抽出し、候補対応特徴点ペア群ＣＭＰ[i] の部分集合である対応特徴点ペア群ＭＰを抽出したとする。対応特徴点ペア群ＭＰに含まれる特徴点Ｐの座標を（ｘs ，ｙs ，ｔs ）、対応する認識行動イベントの特徴点Ｑの座標を（ｘs ′，ｙs ′，ｔs ′）とすると、対応特徴点ペア群ＭＰから推定されるｘ−ｙ−ｔの３次元のアフィン変換パラメータは、次式から求められる。なおｓは、１≦ｓ≦対応特徴点ペア群ＭＰにおける対応特徴点ペア数である。
【００６９】
【数１１】
2009182400.tif 000013
【００７０】
なおここでａ1 〜ａ9 、ｂ1 〜ｂ3 は、３次元アフィン変換パラメータであり、ａ1 〜ａ9 は、回転、拡大縮小、及びせん断変形をそれぞれ決定するパラメータであり、ｂ1 〜ｂ3 は、平行移動を決定するパラメータである。ここで（１１）式を次式に示すように置き換えると、３次元アフィン変換パラメータの最小二乗解は（１３）式で表される。
【００７１】
【数１２】
2009182400.tif 000014
【００７２】
【数１３】
2009182400.tif 000015
【００７３】
ここで（１１）式は、パラメータ数が１２であることから、ｘ−ｙと時間ｔとによる３次元アフィン変換パラメータを決定するためには、対応特徴点ペア群ＭＰ中に対応特徴点ペアが４組以上必要となる。従ってｉ番目のモデル行動イベントにおいて、候補対応特徴点ペア群ＣＭＰ[i] に対応特徴点ペアが３組以下しか存在しない場合、認識行動イベントは、このｉ番目のモデル行動イベントに対応するイベントでは無いと判定される。
【００７４】
これに対して、候補対応特徴点ペア群ＣＭＰ[i] に対応特徴点ペアが４組以上存在する場合、このｉ番目のモデル行動イベントは、入力動画に対して少なくともある程度は対応するということになる。
【００７５】
ここで候補対応特徴点ペア群ＣＭＰ[i] から、ランダムに対応特徴点ペア群Ｒを選択し、その対応特徴点ペア群Ｒにアウトライヤが１つ以上混入していた場合、その３次元画像変換パラメータは、パラメータ空間上に散らばって投射される。これとは逆に、このランダムに選択した対応特徴点ペア群Ｒがインライヤのみから構成されている場合、その３次元画像変換パラメータは、パラメータ空間上で距離の近い範囲にまとまって投影される。すなわちインライヤである対応特徴点ペアは、何れもモデル動画中の姿勢の真のアフィン変換パラメータに極めて類似したものであることから、その３次元画像変換パラメータの投影先は、パラメータ空間上で距離の近いものとなる。
【００７６】
従って候補対応特徴点ペア群ＣＭＰ[i] から、ランダムに対応特徴点ペア群Ｒを選択し、その３次元画像変換パラメータをパラメータ空間上に投射していく処理を繰り返すと、インライヤはパラメータ空間上で密度の高い（メンバ数の多い）クラスタを形成し、アウトライヤはパラメータ空間上で散らばって出現することになる。これによりパラメータ空間上でクラスタリングを行えば、最多メンバ数を持つクラスタの要素を認識することができ、さらにはこのクラスタ内の要素をインライヤと認識することができる。
【００７７】
ここでパラメータ空間上におけるクラスタリング手法として、ＮＮ（Nearest Neighbor）法を適用することができる。
【００７８】
これにより姿勢パラメータ推定部１９は、ｉ番目のモデル行動イベントにおいて、候補対応特徴点ペア群ＣＭＰ[i] に対応特徴点ペアが４組以上存在する場合、候補対応特徴点ペア群ＣＭＰ[i] からランダムに４組以上のペアを対応特徴点ペア群Ｒ1 として選択し、上述した（１１）〜（１３）式を用いて、３次元アフィン変換パラメータΘR1を求め、パラメータ空間に投射する。姿勢パラメータ推定部１９は、クラスタ数を表す変数ＮＺをＮＺ＝１とし、３次元アフィン変換パラメータ空間Θ上で３次元アフィン変換パラメータΘR1をセントロイドとするクラスタＺ1 を作る。具体的に、姿勢パラメータ推定部１９は、このクラスタＺ1のセントロイドＣ1 をＣ1 ＝ΘR1とし、クラスタのメンバ数を表す変数ｎｚ1 をｎｚ1 ＝１とする。
【００７９】
さらに姿勢パラメータ推定部１９は、異なる組み合わせにより候補対応特徴点ペア群ＣＭＰ[i] からランダムに４組以上のペアを次の対応特徴点ペア群Ｒ2 として選択し、同様にして（１１）〜（１３）式を用いて、３次元アフィン変換パラメータΘR2 を求め、パラメータ空間に投射する。さらにＮＮ法によりアフィン変換パラメータ空間をクラスタリングする。姿勢パラメータ推定部１９は、クラスタリングの結果、新たなクラスタが発生した場合、そのクラスタを新たなクラスタＺ2 とし、新たなクラスタが発生しなかった場合、クラスタＣ1 のメンバ数をｎｚ1 ＝２とする。
【００８０】
姿勢パラメータ推定部１９は、所定の信頼性条件が満たされるまで、順次組み合わせを切り換えてこの一連の処理を繰り返し、ＮＮ法によりアフィン変換パラメータ空間をクラスタリングする。
【００８１】
ここで姿勢パラメータ推定部１９は、以下のようにしてクラスタリングを実行する。すなわち姿勢パラメータ推定部１９は、次式に従って３次元アフィン変換パラメータΘRcnt と、各クラスタＺg のセントロイドＣg との距離ｄ（ΘRcnt,Ｃg ）のうち（ｇは１＜ｇ＜ＮＺとなる値）、最小の距離ｄmin を求める。なおここでcnt は、何回目の処理であるかを示す変数である。
【００８２】
【数１４】
2009182400.tif 000016
【００８３】
ここで、クラスタリング規範となる距離ｄ（ΘRcnt ,Ｃg ）として、例えば、ユークリッド距離を用いることができ、セントロイドＣg として、クラスタメンバの平均ベクトルを用いることができる。
【００８４】
姿勢パラメータ推定部１９は、所定のしきい値Ｅに対してｄmin ＜Ｅの関係が成立する場合、ｄminを与えるクラスタＺg に３次元アフィン変換パラメータΘRcnt を属させ、３次元アフィン変換パラメータΘRcnt を含めた全メンバでクラスタＺg のセントロイドＣg を更新する（クラスタＺg のメンバ数ｎｚg を、値１だけインクリメントする）。またこれとは逆に、ｄmin ≧Ｅの関係が成立する場合、姿勢パラメータ推定部１９は、３次元アフィン変換パラメータ空間上で３次元アフィン変換パラメータΘRcnt をセントロイドＣg +1とする新しいクラスタＺg+1 を作り、そのクラスタのメンバ数ｎｚg をｎｚg+1 ＝１とし、クラスタ数ＮＺをＮＺ＝ＮＺ＋１とする。
【００８５】
また姿勢パラメータ推定部１９は、この処理を繰り返して、例えば最多メンバ数が所定のしきい値（例えば１５）を超え、かつ最多メンバ数と２番目に多いメンバ数との差が所定のしきい値（例えば３）を超える場合、上述した所定の信頼性条件が満足したと判定する。なおこの信頼性条件に代えて、繰り返し回数が所定値（例えば5000回）を超える場合等を信頼性条件に設定してもよい。
【００８６】
姿勢パラメータ推定部１９は、この所定の信頼性条件が満たされた場合、最多メンバ数を持つクラスタＺmaxのメンバである対応特徴点ペア群をｉ番目のモデル行動イベントに対する認識対応特徴点ペア群ＲＭＰ[i] として保持するとともに、クラスタＺmaxのセントロイドＣmaxをペットの姿勢を推定する認識姿勢パラメータθ〜[i] として保持する。姿勢パラメータ推定部１９は、辞書４に登録されたＬ個のモデル行動イベントに対して、順次、処理を実行し、Ｌ個のモデル行動イベントそれぞれの認識対応特徴点ペア群ＲＭＰ[i] と認識姿勢パラメータθ〜[i] とを検出する。なおいずれかのモデル行動イベントにおいて、候補対応特徴点ペア群ＣＭＰ[i] に対応特徴点ペアが３組以下しか存在しない場合、姿勢パラメータ推定部１９は、認識対応特徴点ペア群ＲＭＰ[i] ＝ＮＵＬＬ、認識姿勢パラメータθ〜[i] ＝ＮＵＬＬに設定する。
【００８７】
なお上述したクラスタリング手法では、クラスタリング規範となる距離尺度ｄ（ΘRcnt ,Ｃg ）としてユークリッド距離を使用し、セントロイドとしてクラスタメンバの平均ベクトルを使用する場合について述べたが、距離尺度としてクラスタの分散を考慮したマハラノビス距離を用い、セントロイドとしてクラスタメンバの平均ベクトル及び分散の情報を用いる構成を用いることも可能である。
【００８８】
また上述したクラスタリング手法では、３次元アフィン変換パラメータΘRcnt の１２次元全ての次元について同じ重みでクラスタとパラメータベクトルとの距離ｄ（ΘRcnt ,Ｃg ）を計算し、全ての次元において同一のしきい値Ｅを用いて判定している。しかしながら３次元アフィン変換パラメータΘRcnt の１２次元のうち、（１１）式におけるパラメータａ1 〜ａ9 である９次元と、パラメータｂ1 〜ｂ3 である残りの３次元とでは、レンジが大きく異なる。
【００８９】
そこで３次元アフィン変換パラメータΘRcnt の各次元に対して、それぞれ所定の正規化係数を乗算して各次元のレンジを正規化し、正規化後の３次元アフィン変換パラメータΘRcnt をパラメータ空間に投射してクラスタリングを実行してもよい。なおこの場合、正規化係数は、例えばパラメータａ1 〜ａ9 である最初の９次元に対してｎｆ＝１とし、１０次元目のパラメータｂ1 に対して、想定される動画の横ピクセル数の逆数（例えば動画のサイズがＶＧＡ（Video Graphics Array）サイズならｎｆ＝１／６４０）とし、１１次元目のパラメータｂ2 に対して、想定される動画の縦ピクセル数の逆数（例えば動画のサイズがＶＧＡサイズなら１／４８０）とし、１２次元目のパラメータｂ3 に対して、想定される動画の時間長の逆数とすることができる。
【００９０】
またクラスタとパラメータベクトルとの距離ｄ（ΘRcnt ,Ｃg ）を、パラメータａ1 〜ａ9 で構成される最初の９次元と、パラメータｂ1 〜ｂ3 で構成される残りの３次元とで独立に計算し、計算結果を判定するようにしてもよい。この場合、パラメータａ1 〜ａ9 に関する距離ｄ（ΘRcnt <1-9>，Ｃg <1-9>）、パラメータｂ1 〜ｂ3 に関する距離ｄ（ΘRcnt <10-12>，Ｃg <10-12>）にそれぞれしきい値Ｅ<1-9>及びしきい値Ｅ<10-12>を設け、いずれのしきい値判定も満たされるクラスタがあれば、そのクラスタを更新し、無ければ新規クラスタを生成してもよい。なおしきい値は、例えばしきい値Ｅ<1-9>＝１とした場合、しきい値Ｅ<10-12>＝５とすることができる。
【００９１】
認識結果生成部２０は、このようにしてＬ個のモデル行動イベントで求められた認識対応特徴点ペア群ＲＭＰ[i] と認識姿勢パラメータθ〜[i] とに基づいて、最終的な認識行動イベントの認識結果を生成する。
【００９２】
認識結果生成部２０は、全てのモデル行動イベントの認識対応特徴点ペア群ＲＭＰ[i] について、その要素数が４を上回るものが無かった場合、すなわち認識対応特徴点ペア群ＲＭＰ[i] ＝ＮＵＬＬ、認識姿勢パラメータθ〜[i] ＝ＮＵＬＬであるとき、当該モデル行動イベントについての認識結果を「非検出」とする。従ってこの場合、認識行動イベントは、辞書４に登録された何れのモデル行動イベントについても、該当しないものであると判定する。
【００９３】
これに対して認識結果生成部２０は、認識対応特徴点ペア群ＲＭＰ[i] の要素数が４を上回るモデル行動イベントが存在する場合、認識対応特徴点ペア群ＲＭＰ[i] の要素数が最大であるモデル行動イベントｉを、認識行動イベントの行動であると判定する。
【００９４】
なおこの場合、ユーザーの要求、アプリケーションに応じて、認識対応特徴点ペア群ＲＭＰ[i] の要素数が４を上回るモデル行動イベントの全てを、認識行動イベントの行動であると判定してもよく、さらには認識対応特徴点ペア群ＲＭＰ[i] の要素数が４を上回るモデル行動イベントから、要素数が所定値以上のモデル行動イベントを認識行動イベントの行動であると判定してもよい。なお複数のモデル行動イベントを認識行動イベントの行動であると判定する場合には、例えば要素の数により順位を設定してもよく、さらにはそれぞれ信頼度を設定してもよい。なお信頼度は、検出されたモデル行動イベントｉの要素数の総和に対する、認識対応特徴点ペア群ＲＭＰ[i] の要素数の割合を適用することができる。
【００９５】
認識行動イベント情報生成部１５は、認識結果生成部２０において、辞書４に登録されたモデル行動イベントのいずれかが検出された場合、検出開始時刻及び検出終了時刻、検出されたモデル行動イベントのラベル、対応する認識行動イベントの画像データＤ１による認識行動イベント情報を生成する。なお画像データＤ１と共に、音声データを取得可能な場合には、認識行動イベントの画像データＤ１に対応する音声データを付加して認識行動イベント情報を生成してもよい。
【００９６】
通信部１６は、認識結果生成部２０において、辞書４に登録されたモデル行動イベントのいずれかが検出された場合、モデル行動イベントの検出をあらかじめ登録されたユーザーの通信端末に通知する。ここでこの通知は、認識行動イベント情報生成部１５で生成された認識行動イベント情報を加工して、例えばメールにより実行される。具体的に、この通知は、検出開始時刻と、検出したモデル行動イベントのラベルとによるメール本文に、対応する認識行動イベントの画像データＤ１を加工した画像を添付して実行される。なおこの場合に、対応する音声データを添付するようにしてもよい。なおこれに代えて、事前にユーザーが指定した特定のモデル行動イベントが検出された場合だけ、ユーザーに通知してもよい。
【００９７】
認識行動イベントバッファ１７は、認識行動イベント情報生成部１５で生成された認識行動イベント情報を記録して保持する。ここで認識行動イベントバッファ１７では、連続して記録する認識行動イベント情報において、同一のモデル行動イベントが検出され、かつこれらの検出期間が重なり合う場合がある。この場合、認識行動イベントバッファ１７では、これらの認識行動イベント情報をマージして記録する。具体的には、これらの認識行動イベント情報における画像データＤ１をマージし、また検出開始時刻及び終了時刻を設定し直すことにより、これらの認識行動イベント情報をマージして記録する。
【００９８】
ダイジェスト生成再生部１８は、一定の時間間隔で、又はユーザーが事前に指定した時刻となると、又は一定量以上の認識イベント情報が認識行動イベントバッファ１７に保存されると、ダイジェスト映像を生成して記録する。なおこれらの場合に、ユーザーに確認を促し、ユーザーにより確認が得られた場合にのみ、ダイジェスト映像を生成するようにしてもよい。
【００９９】
ここでダイジェスト映像は、認識結果生成部２０で検出された認識行動イベントに基づいて、入力動画像を編集して作成される映像である。この実施例においてダイジェスト生成再生部１８は、認識行動イベントバッファ１７に保持された認識行動イベント情報を構成する認識行動イベントの画像データＤ１を、時間情報により順次カット編集して作成される。なおこの場合に、各カットの前及び中に、検出されたモデル行動イベントのタイトル、時間情報を付加するようにしてもよい。またペットの気持ちを表すようなコメント、音楽をモデル行動毎に用意しておき、このコメント、音楽を付加するようにしてもよい。またこの場合も、ユーザーが指定した特定のモデル行動イベントについてのみ、ダイジェスト映像を作成するようにしてもよい。
【０１００】
ダイジェスト生成再生部１８は、生成したダイジェスト映像のファイルをハードディスク装置等に記録した後、メール、ポップアップ等によりユーザーに通知する。また認識行動イベントバッファ１７に保持された対応する認識行動イベント情報を削除する。またユーザーの指示により記録したダイジェスト映像を再生してユーザーに提供する。
【０１０１】
図３は、この画像処理装置１における辞書登録時の処理手順を示すフローチャートである。この画像処理装置１は、ユーザーの操作によりこの辞書登録時の処理手順を開始してステップＳＰ１からステップＳＰ２に移り、ペットの動画像をバッファ２に格納する。また続くステップＳＰ３においてモデル動画の開始時刻及び終了時刻、タイトル等の入力を受け付ける。また続くステップＳＰ４において、認識対象検出部７による前処理を実行し、続くステップＳＰ５において、特徴量群抽出部８により特徴点を検出する。また続くステップＳＰ６において、ステップＳＰ５で検出した各特徴点の特徴量を検出した後、ステップＳＰ７において、検出した特徴点、特徴量をタイトル等と共に辞書４に登録し、ステップＳＰ８に移ってこの処理手順を終了する。
【０１０２】
これに対して図４は、認識行動イベントの判定処理を示すフローチャートである。この画像処理装置１は、ユーザーによる動作モードの設定によりこの処理手順を上述した一定の時間間隔で実行する。ここで画像処理装置１は、この処理手順を開始すると、ステップＳＰ１１からステップＳＰ１２に移り、入力動画バッファ部１１により認識行動イベントの動画像を取得する。また続くステップＳＰ１３において、認識対象検出部１２によりこの認識行動イベントの動画像を前処理し、続くステップＳＰ１４において、特徴量群抽出部１３により特徴点を検出する。また続くステップＳＰ１５において、ステップＳＰ１４で検出した各特徴点の特徴量を検出する。
【０１０３】
画像処理装置１は、続くステップＳＰ１６において、特徴量比較部１４によりステップＳＰ１４で検出した特徴量と辞書４に登録した特徴量との特徴量比較処理を実行する。またこの処理結果に基づいて続くステップＳＰ１７において、姿勢パラメータ推定部１９により姿勢パラメータ推定処理を実行する。画像処理装置１は、続くステップＳＰ１８において、この姿勢パラメータ推定処理に基づいて認識結果を認識結果生成部２０から出力した後、ステップＳＰ１９に移ってこの処理手順を終了する。
【０１０４】
図５は、図４のステップＳＰ１６における特徴量比較処理を詳細に示すフローチャートである。画像処理装置１は、この特徴量比較処理を開始すると、ステップＳＰ２１からステップＳＰ２２に移る。ここで辞書４に登録されたモデル行動イベントから処理対象のモデル行動イベントを特定する変数ｉを値１に初期設定した後、続くステップＳＰ２３において、モデル行動の特徴点及び特徴量を特定する変数ｊを値１に初期化する。
【０１０５】
続いて画像処理装置１は、ステップＳＰ２４において、認識行動イベント側の特徴点、特徴量を特定する変数ｋを値１に初期化し、続くステップＳＰ２５において、これら変数ｉ、ｊにより特定される特徴量と、変数ｋにより特定される特徴量との間で、上述したノルムにより非類似度Ｄを計算する。続いて画像処理装置１は、ステップＳＰ２６において、認識行動イベントで検出された全ての特徴点について、ステップＳＰ２５の処理を実行したか否か判断し、ここで否定結果が得られると、ステップＳＰ２６からステップＳＰ２７に移り、変数ｋを更新してステップＳＰ２５に戻る。これに対してステップＳＰ２６で肯定結果が得られると、ステップＳＰ２６からステップＳＰ２８に移り、モデル行動イベントｉの全ての特徴点について、ステップＳＰ２５の処理を実行したか否か判断し、ここで否定結果が得られると、ステップＳＰ２８からステップＳＰ２９に移り、変数ｊを更新してステップＳＰ２４に戻る。
【０１０６】
またステップＳＰ２８で肯定結果が得られると、ステップＳＰ２８からステップＳＰ３０に移り、辞書に登録された全てのモデル行動イベントについて、ステップＳＰ２５の処理を実行したか否か判断し、ここで否定結果が得られると、ステップＳＰ３０からステップＳＰ３１に移り、変数ｉを更新してステップＳＰ２３に戻る。これに対してステップＳＰ３０で肯定結果が得られると、ステップＳＰ３０からステップＳＰ３２に移り、計算した非類似度Ｄから候補となる対応特徴点ペア群を検出した後、ステップＳＰ３３に移って元の処理手順に戻る。
【０１０７】
また図６は、図４のステップＳＰ１７における姿勢パラメータ推定処理を詳細に示すフローチャートである。画像処理装置１は、この姿勢パラメータ推定処理を開始すると、ステップＳＰ４１からステップＳＰ４２に移る。ここで画像処理装置１は、処理対象のモデル行動イベントを特定する変数ｉを値１に初期設定する。続いて画像処理装置１は、ステップＳＰ４３において、何回目の処理であるかを示す変数ｃｎｔを値１に初期化する。
【０１０８】
続いて画像処理装置１は、ステップＳＰ４４において、候補対応特徴点ペア群からランダムに所定数のペアを選択して上述した３次元アフィン変換パラメータを計算する。また続くステップＳＰ４５において、計算した３次元アフィン変換パラメータをパラメータ空間に投射し、ＮＮ法により３次元アフィン変換パラメータ空間をクラスタリングする。
【０１０９】
また続くステップＳＰ４６において、上述した信頼性条件を満たすか否か判断し、ここで否定結果が得られると、変数ｃｎｔを更新してステップＳＰ４４に戻る。
【０１１０】
これに対してステップＳＰ４６で肯定結果が得られると、ステップＳＰ４６からステップＳＰ４８に移り、全てのモデル行動イベントについて、処理を完了したか否か判断し、ここで否定結果が得られると、変数ｉを更新してステップＳＰ４３に戻る。これに対してステップＳＰ４８で肯定結果が得られると、ステップＳＰ４８からステップＳＰ５０に移り、認識対応特徴点ペアの認識姿勢パラメータを認識結果生成部２０に出力した後、ステップＳＰ５１に移って元の処理手順に戻る。
【０１１１】
（２）実施例の動作
以上の構成において、この画像処理装置１では、撮像装置でペットの動画像が取得され、この動画像の画像データＤ１がバッファ２を介して判定部５に入力される。判定部５において、この動画像は、一定の時間間隔で区切られて認識行動イベントの画像データＤ１とされ、認識対象検出部１２において、この認識行動イベントの画像データＤ１から観察対象が撮影されている部位が切り出されて切り出し動画が生成される。この画像処理装置１では、特徴量群抽出部１３において、この切り出し動画から観察対象の動きを特徴付ける特徴量が検出され、この検出した特徴量が、辞書４に登録された各モデル行動の特徴量と比較され、認識行動イベントが辞書４に登録されたモデル行動の何れに該当するものか判定される。
【０１１２】
従ってこの実施例では、動画像の処理によりペット等の行動を判定することから、例えば特開２００６−２２２８４１号公報等に開示されたセンサで決まる特定行動のみならず各種の行動を判定するができ、これによりペット等の行動を適切に判定することができる。
【０１１３】
またこの動画像の処理において、観察対象が撮影されている部位を切り出して処理することにより、特徴量の検出精度を向上することができ、ペット等の行動を正確に判定することができる。
【０１１４】
より具体的に、この実施例では、特徴量群抽出部１３において、認識行動イベントの画像データＤ１から、画像平面及び時間が各次元である３次元時空間における特徴点が検出され、この特徴点から３次元時空間における特徴量が検出される。またこの検出された３次元時空間の特徴量が、辞書４に登録された同様の３次元時空間の特徴量と比較されて、認識行動イベントが辞書４に登録されたモデル行動の何れに該当するものか判定される。これによりこの実施例では、ペット等の行動を適切かつ正確に判定することができる。
【０１１５】
その結果、例えば留守宅のペットの状況を監視し、判定結果に基づいてユーザーに通知することにより、遠隔地にいる飼い主に対してペットの行動を適切に通知することができ、遠隔地でペットの様子を適切に把握することができる。
【０１１６】
また判定結果を記録して保持することにより、さらにはダイジェスト映像の生成により、ペット固有の行動癖、ペットの異変、異常行動等についても、適切に把握することができる。
【０１１７】
またこの辞書に登録する特徴量についても、ユーザーが指示したモデル動画を解析して登録することにより、高い精度でペットの行動を適切に判定することができる。
【０１１８】
より具体的に、この実施例では、３次元拡張Ｈａｒｒｉｓ関数Ｈの極大値及び極小値により辞書に登録する特徴点及び認識対象の動画像の特徴点が検出される。またこれらの特徴点の特徴量が、各次元について、４次までの偏微分ガウスオペレーションをかけた当該特徴点における画像情報から生成される。
【０１１９】
画像処理装置１では、辞書４に登録されたモデル行動イベント毎に、各モデル行動イベントの特徴点と認識行動イベントの特徴点との全ての組み合わせについて、特徴量のノルムにより非類似度Ｄが求められる。また認識行動イベントの特徴点毎に、この求めた非類似度Ｄから値の小さい非類似度Ｄが検出され、類似する特徴量を有する特徴点の組としての候補対応特徴点ペアが生成される。また候補対応特徴点ペアからアウトライヤを除去し、入力動画上でのモデルの姿勢を推定する姿勢パラメータ、対応する認識対応特徴点ペア群が求められる。
【０１２０】
より具体的に、認識対応特徴点ペア群からランダムに選択したＮ組の候補対応特徴点ペアにより決定される画像変換パラメータをパラメータ空間に投射し、このパラメータ空間上をクラスタリングすることにより形成されるクラスタのうち、最多メンバ数を有するクラスタが求められて認識対応特徴点ペア群とされる。
【０１２１】
また最多メンバ数を有するクラスタのセントロイドを検出することにより、モデルの姿勢が推定される。
【０１２２】
これらによりこの実施例では、種々に変化するペット等の行動を適切に判定することができる。
【０１２３】
（３）実施例の効果
以上の構成によれば、辞書に登録された観察対象の行動毎の特徴量に基づいて、入力動画像における観察対象の行動を判定することにより、ペット等の行動を適切に判定することができる。
【０１２４】
また判定に供する辞書用の特徴量及び判定用の特徴量が、画像平面及び時間が各次元である３次元時空間における特徴点の特徴量であることにより、種々に変化するペット等の行動を適切に判定することができる。
【０１２５】
また登録部を設け、この登録部によりモデル動画の選択を受け付けて辞書用の特徴量を辞書に登録することにより、ペット等の行動の判定精度を向上することができる。
【０１２６】
また判定結果に基づいて、観察対象の行動をユーザーに通知する通信部を有することにより、遠隔地において、ペットの行動を適切に把握、監視することができる。
【０１２７】
また判定結果を対応する入力動画像の時間情報と共に記録することによっても、ペットの各種行動を適切に把握、監視することができる。
【０１２８】
また判定結果の記録に基づいて、入力動画像を編集してダイジェストを作成するダイジェスト生成部を有することによっても、ペットの各種行動を適切に把握、監視することができる。
【０１２９】
また処理対象の入力画像から背景画像を減算した差分画像の各画素値を所定のしきい値で判定してマスク画像を作成し、このマスク画像で入力画像の背景をマスクして切り出し動画を生成して処理することにより、特徴点、特徴量の検出精度を向上することができる。
【０１３０】
より具体的に、辞書用の特徴量及び判定用の特徴量との比較により、類似する特徴量を有する特徴点の組としての候補対応特徴点ペアを検出した後、アウトライヤを除去してモデルの姿勢を推定すると共に、対応する認識対応特徴点ペア群を求め、観察対象の動きを判定することにより、種々に変化するモデルの行動を適切に判定することができる。
【０１３１】
より具体的に、ランダムに選択したＮ組の候補対応特徴点ペアにより決定される画像変換パラメータをパラメータ空間に投射し、パラメータ空間上をクラスタリングすることにより形成されるクラスタのうち、最多メンバ数を有するクラスタを求めることにより、真に対応する特徴点ペアを検出してモデルの行動を判定することができ、これにより種々に変化するモデルの行動を適切に判定することができる。
【０１３２】
すなわち最多メンバ数を有するクラスタのセントロイドを検出することにより、モデルの姿勢を推定し、このセントロイドをモデルの姿勢を推定するパラメータに設定することにより、種々に変化するモデルの行動を適切に判定することができる。
【実施例２】
【０１３３】
図７は、実施例２の画像処理装置に適用される認識対象検出部の構成を示すブロック図である。この実施例の画像処理装置は、認識対象検出部７、１２に代えてこの図７に示す認識対象検出部７Ａ、１２Ａが設けられる。この実施例の画像処理装置は、この認識対象検出部７、１２に関する構成が異なる点を除いて、実施例１の画像処理装置と同一に構成される。従って以下においては、適宜、図１の構成を流用して説明する。またこの実施例の画像処理装置における認識対象検出部７Ａ、１２Ａは、処理対象の画像データが異なる点を除いて同一に構成される。
【０１３４】
この画像処理装置は、被写界深度の浅い、ペットが存在する場所が合焦位置となるように設定された撮像装置で入力画像データＤ１を取得する。ここでこのように被写界深度の浅い、ペットが存在する場所が合焦位置となるように設定された撮像装置による入力画像データＤ１では、ペットについては合焦した状態となり、背景についてはデフォーカスした状態となる。そこで認識対象検出部７Ａ、１２Ａは、入力画像データＤ１から合焦した部位を切り出してモデル切り出し動画、認識行動イベントの動画を生成する。
【０１３５】
ここで画像データから焦点が合致した部分を抽出するためには、一般的に用いられている画像のボケ検出の技術（例えば、Blur Detection for Digital Images Using Wavelet Transform; Hanghang Tong: Mingjing Li, Hongjiang Zhang: Changshiui Zhangに記載されている技術）を応用することができる。すなわち、画像データから、焦点の合致していないボケ部分を検出し、その部分を削除することにより、焦点が合致した部分を抽出することが可能である。また入力画像データをＦＦＴ（Fast Fourier transform）することによって、撮像された画像データのそれぞれの画像領域の周波数スペクトルを分析し、高周波成分が十分含まれている領域では、焦点があっているとし、周波数が低いところは、デフォーカスしていると判定することも可能である。また入力画像データの各画素において、注目画素とその近傍画素との輝度差を判定することにより、焦点が合致した部分を検出することも可能である。
【０１３６】
この実施例において、認識対象検出部７Ａ、１２Ａは、注目画素とその近傍画素との輝度差を判定することにより、焦点が合致した部分を検出する。すなわち認識対象検出部７Ａ、１２Ａにおいて、近傍画素差分フィルタ計算処理部３１は、次式の演算処理により、注目画素の画素値Ｉ（ｘ，ｙ）に対する隣接画素の画素値Ｉ（ｘ−１，ｙ−１）〜Ｉ（ｘ＋１，ｙ＋１）の差分値の加算値を計算する。
【０１３７】
【数１５】
2009182400.tif 000017
【０１３８】
但し、（１５）式の右辺におけるΔｘは、−１，０，１であり、Δｙは、−１，０，１である。なおこの（１５）式の演算処理は、図８に示す３×３フィルタを用いた畳み込み演算処理によっても実行することができる。なおここで図８は、注目画素の係数が値８であり、隣接画素の係数が値−１のフィルタである。
【０１３９】
ここで（１５）式により得られる加算値は、デフォーカスの程度が大きくなるに従って値が小さくなる。しかしながら被写体において高域成分が少ない部位でも、（１５）式の加算値は小さくなる。
【０１４０】
そこで認識対象検出部７Ａ及び１２Ａにおいて、続く近傍領域和フィルタ計算処理部３２は、近傍画素差分フィルタ計算処理部３１の出力値を入力し、注目画素とその近傍領域との平均を求めるフィルタリング処理を実行する。すなわち認識すべき対象物全体を背景から抜き出すためには、「認識するべき対象物らしい領域」を結合し、一つの領域とすることが必要である。そのためにこの実施例では、（１５）式で求められた加算値について、注目画素と近傍領域との画素値の和を求める。
【０１４１】
ここでこの和を求める計算は、注目画素を中心とした周辺Ｎ×Ｍ画素の領域の和を求める計算であり、以下、和フィルタ計算と呼ぶ。和フィルタ計算は、フィルタ処理後の画素を、その画素の周辺領域の平均をとった値とするのと同義である。和フィルタ計算の実際の計算処理としては、窓サイズＮ×Ｍの要素が全て１の畳み込みフィルタをかけることに実行する。ここで図９に、フィルタの窓サイズを３×３とした場合の和フィルタの例を示す。
【０１４２】
近傍領域和フィルタ計算処理部３２は、図１０に示すように、黒枠で示す所定の窓サイズの和フィルタ演算を、近傍画素差分フィルタ計算処理部３１の処理結果の全画素に対して実行し、計算結果を閾値処理部３３に供給する。
【０１４３】
ここでこの和フィルタ計算においては、適用する窓サイズにより結果が変化し、窓サイズが小さすぎる場合には、認識すべき対象物のうちで高域成分量の少ない大面積の領域を背景から抜き出すことが困難になる。またこれとは逆に、窓サイズが大きすぎる場合には、背景までも誤って抜き出すことになる。そこで窓サイズは、例えば、抽出するべき物体のテクスチャが小さいか否か、画像データの全領域における抽出するべき物体の占める割合等に基づいて、動的に設定変更し、又は調節することが好ましい。
【０１４４】
閾値処理部３３は、近傍領域和フィルタ計算処理部３２による和フィルタ計算結果に基づいて、画像データを、検出するべき物体に対応する領域と、背景であると考えられる領域に分割する。
【０１４５】
具体的に、閾値処理部３３は、和フィルタ計算結果を順次所定のしきい値で判定し、マスク画像を生成し、これにより検出するべき物体に対応する領域と、背景であると考えられる領域に分割する。なおこの場合、実施例１について上述したように、このマスク画像をフィルタリング処理してもよい。認識対象検出部７Ａ、１２Ａは、このマスク画像でモデル画像、認識行動イベントの画像データを処理して出力する。
【０１４６】
この実施例では、デフォーカスにより変化する高域成分量により認識対象を検出するようにしても、実施例１と同様の効果を得ることができる。
【実施例３】
【０１４７】
なお上述の実施例においては、時空間特徴量のみを用いて認識対象の行動を判定する場合について述べたが、本発明はこれに限らず、他の認識手法と組み合わせて認識対象の行動を判定するようにしてもよい。なおこの他の認識手法としては、例えば認識行動イベントの画像から重心の位置を検出して重心軌跡を判定する方法が考えられ、この方法では、長時間、重心の移動が少ない場合に、「昼寝」の行動と判定することが考えられる。またマイクから取得した音声を解析する方法も考えられ、この方法では、犬の吠え声が検出されたら「吠える」行動と判定することが考えられる。
【０１４８】
また上述の実施例では、要素数を判定してモデル行動イベントか否か判定する場合について述べたが、本発明はこれに限らず、ユーザーインターフェースによりユーザーの指示した判定基準によりモデル行動イベントか否か判定するようにしてもよい。具体的に、例えばIF（特徴量Ａ） is （状態Ｂ）, THEN（行動イベント１）と言うようなＩＦ−ＴＨＥＮルールをユーザーインターフェースにより作成し、ファジー推論システムを適用してモデル行動イベントか否か判定するようにしてもよい。
【０１４９】
また上述の実施例においては、撮像装置で取得した画像データをリアルタイムで処理する場合について述べたが、本発明はこれに限らず、例えば記録媒体に記録された画像データを処理する場合にも広く適用することができる。
【０１５０】
また上述の実施例においては、ペットの行動を判定する場合について述べたが、本発明はこれに限らず、野性動物等の行動を判定する場合、さらにはロボット等の行動を監視する場合等に広く適用することができる。
【産業上の利用可能性】
【０１５１】
本発明は、例えばペットの行動を監視する装置に適用することができる。
【図面の簡単な説明】
【０１５２】
【図１】本発明の実施例１の画像処理装置を示すブロック図である。
【図２】図１の画像処理装置における背景の処理の説明に供する略線図である。
【図３】図１の画像処理装置における辞書の登録処理を示すフローチャートである。
【図４】図１の画像処理装置における認識処理を示すフローチャートである。
【図５】図４の処理手順における特徴量比較処理を示すフローチャートである。
【図６】図４の処理手順における姿勢パラメータ推定処理を示すフローチャートである。
【図７】本発明の実施例２の画像処理装置における認識対象検出部を示すブロック図である。
【図８】図７の認識対象検出部における近傍画素差分フィルタ計算処理部の説明に供する略線図である。
【図９】図７の認識対象検出部における近傍領域和フィルタ処理部の説明に供する略線図である。
【図１０】図９の近傍領域和フィルタ処理部の説明に供する略線図である。
【符号の説明】
【０１５３】
１……画像処理装置、３……登録部、４……辞書、５……判定部、６……モデル動画指定部、７、７Ａ、１２、１２Ａ……認識対象検出部、８、１３……特徴量群抽出部、９……辞書登録部、１１……入力画像バッファ部、１４……特徴量比較部、１５……認識行動イベント情報生成部、１６……通信部、１７……認識行動イベント、１８……ダイジェスト生成再生部、１９……姿勢パラメータ推定部、２０……認識結果生成部
【図１】
2009182400.tif 000018
【図２】
2009182400.tif 000019
【図３】
2009182400.tif 000020
【図４】
2009182400.tif 000021
【図５】
2009182400.tif 000022
【図６】
2009182400.tif 000023
【図７】
2009182400.tif 000024
【図８】
2009182400.tif 000025
【図９】
2009182400.tif 000026
【図１０】
2009182400.tif 000027