(57)【要約】【課題】移動している視点で撮影された動画像のフレーム内で、移動体の存在する領域及び／又は移動体の存在しない領域を正しく検出する。【解決手段】対象動画像から、対象動画像のフレーム内の様々な局所領域の動きを表す対象ベクトル場を導出する動き導出部と、対象ベクトル場を複数の基準ベクトル場の線型結合として近似する近似部と、対象ベクトル場と前記線型結合との差分である差分ベクトル場の成分の大きさに応じて、対象動画像のフレーム内で移動体の存在する領域及び／又は移動体の存在しない領域を検出する領域検出部とが提供される。複数の基準ベクトル場は、視点を様々な方向に移動させながらテスト空間を撮影したテスト動画像から、テスト動画像のフレーム内の様々な局所領域の動きを表すテストベクトル場を複数導出した後、複数のテストベクトル場を主成分分析した結果の複数の固有ベクトル場である。【選択図】図４
2014182759.tif 000002
【特許請求の範囲】
【請求項１】
対象動画像から、前記対象動画像のフレーム内の様々な局所領域の動きを表す対象ベクトル場を導出する動き導出部と、
前記対象ベクトル場を複数の基準ベクトル場の線型結合として近似する近似部と、
前記対象ベクトル場と前記線型結合との差分である差分ベクトル場の成分の大きさに応じて、前記対象動画像のフレーム内で移動体の存在する領域及び／又は移動体の存在しない領域を検出する領域検出部と
を備え、
前記複数の基準ベクトル場は、視点を様々な方向に移動させながらテスト空間を撮影したテスト動画像から、前記テスト動画像のフレーム内の様々な局所領域の動きを表すテストベクトル場を複数導出した後、前記複数のテストベクトル場を主成分分析した結果の複数の固有ベクトル場である、
画像処理装置。
【請求項２】
前記テスト空間は、移動体が存在しない空間である、
請求項１に記載の画像処理装置。
【請求項３】
前記テスト動画像から前記複数の固有ベクトル場を導出し、前記複数の固有ベクトル場を前記複数の基準ベクトル場として設定する基準設定部
をさらに備える、
請求項１又は２に記載の画像処理装置。
【請求項４】
対象動画像から、前記対象動画像のフレーム内の様々な局所領域の動きを表す対象ベクトル場を導出するステップと、
前記対象ベクトル場を複数の基準ベクトル場の線型結合として近似するステップと、
前記対象ベクトル場と前記線型結合との差分である差分ベクトル場の成分の大きさに応じて、前記対象動画像のフレーム内で移動体の存在する領域及び／又は移動体の存在しない領域を検出するステップと
をコンピュータに実行させ、
前記複数の基準ベクトル場は、視点を様々な方向に移動させながらテスト空間を撮影したテスト動画像から、前記テスト動画像のフレーム内の様々な局所領域の動きを表すテストベクトル場を複数導出した後、前記複数のテストベクトル場を主成分分析した結果の複数の固有ベクトル場である、
画像処理プログラム。
【請求項５】
対象動画像から、前記対象動画像のフレーム内の様々な局所領域の動きを表す対象ベクトル場を導出するステップと、
前記対象ベクトル場を複数の基準ベクトル場の線型結合として近似するステップと、
前記対象ベクトル場と前記線型結合との差分である差分ベクトル場の成分の大きさに応じて、前記対象動画像のフレーム内で移動体の存在する領域及び／又は移動体の存在しない領域を検出するステップと
を備え、
前記複数の基準ベクトル場は、視点を様々な方向に移動させながらテスト空間を撮影したテスト動画像から、前記テスト動画像のフレーム内の様々な局所領域の動きを表すテストベクトル場を複数導出した後、前記複数のテストベクトル場を主成分分析した結果の複数の固有ベクトル場である、
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像のフレーム内で移動体の存在する領域及び／又は移動体の存在しない領域を検出する画像処理装置、画像処理プログラム及び画像処理方法に関する。
【背景技術】
【０００２】
従来より、動画像に捉えられた人物や自動車等の移動体を検出するための技術として、動画像に含まれる特定のフレームを、予め用意されている移動体の背景のみを示すフレームや、同じ動画像に含まれる過去のフレーム等と比較する技術が公知である（特許文献１〜３を参照）。言わば、これらの技術は、特定のフレーム内で比較対象となるフレームとの画素値の差分が大きい領域を、移動体の存在する領域として検出する技術である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１１８０３９号公報
【特許文献２】特開２０１０−２２００４２号公報
【特許文献３】特開２０１１−８７５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の従来の方法は、固定したカメラで撮影した動画像が対象とされる場合には上手く機能するが、移動しているカメラで撮影した動画像が対象とされる場合には上手く機能しない。なぜならば、動画像を撮影する視点（カメラ）が移動していると、その動画像のフレーム内において、移動体のみならず、移動体の背景も移動してしまうからである。そうすると、現実には静止している背景部分についても、比較対照となるフレームとの画素値の差分が大きくなってしまい、移動体の如く検出されてしまう結果となる。従って、従来の方法では、首振り式のカメラや、移動式のロボットに搭載されているカメラ等による動画像からは、正しく移動体を検出することできない。
【０００５】
本発明は、移動している視点で撮影された動画像のフレーム内で、移動体の存在する領域及び／又は移動体の存在しない領域を正しく検出することが可能な画像処理装置、画像処理プログラム及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１観点に係る画像処理装置は、対象動画像から、前記対象動画像のフレーム内の様々な局所領域の動きを表す対象ベクトル場を導出する動き導出部と、前記対象ベクトル場を複数の基準ベクトル場の線型結合として近似する近似部と、前記対象ベクトル場と前記線型結合との差分である差分ベクトル場の成分の大きさに応じて、前記対象動画像のフレーム内で移動体の存在する領域及び／又は移動体の存在しない領域を検出する領域検出部とを備える。前記複数の基準ベクトル場は、視点を様々な方向に移動させながらテスト空間を撮影したテスト動画像から、前記テスト動画像のフレーム内の様々な局所領域の動きを表すテストベクトル場を複数導出した後、前記複数のテストベクトル場を主成分分析した結果の複数の固有ベクトル場である。なお、対象ベクトル場とは、例えば、オプティカルフローの形式で表現される。
【０００７】
ここでは、対象動画像から、対象ベクトル場が導出され、この対象ベクトル場が、複数の基準ベクトル場の線型結合として近似される。なお、対象ベクトル場とは、対象動画像のフレーム内の様々な局所領域の動きを表すベクトル場であり、言い換えると、対象動画像に捉えられている移動体の動きと、対象動画像を撮影する視点の動き（背景の動き）とを表すベクトル場である。また、複数の基準ベクトル場とは、互いに直交するベクトル場であって、具体的には、テスト動画像から対象ベクトル場と同様の方法でテストベクトル場を複数導出した後、これらのテストベクトル場を主成分分析することで得られる主成分（固有ベクトル場）である。ここで、テスト動画像とは、視点を様々な方向に移動させながらテスト空間を撮影したものである。
【０００８】
従って、理論上、以上のようなテスト動画像から得られる複数の基準ベクトル場を線型結合すれば、対象動画像を撮影するあらゆる視点の動きを表すベクトル場を作成することが可能になる。つまり、対象ベクトル場を複数の基準ベクトル場の線型結合として近似したベクトル場（以下、近似ベクトル場）は、対象動画像を撮影する視点の動きを表す。従って、近似ベクトル場との差分をとることで、対象ベクトル場から視点の動きをキャンセルすることが可能となる。すなわち、対象ベクトル場と近似ベクトル場との差分とは、対象動画像に捉えられている移動体の動きを表すものになる。
【０００９】
そこで、ここでは、対象ベクトル場が、近似ベクトル場と比較され、両ベクトル場の差分の大きい（小さい）成分に対応する領域が、移動体の存在する領域（移動体の存在しない背景領域）として検出される。従って、ここでは、移動している視点で撮影された動画像のフレーム内で、移動体の存在する領域及び／又は移動体の存在しない領域を正しく検出することができる。
【００１０】
本発明の第２観点に係る画像処理装置は、第１観点に係る画像処理装置であって、前記テスト空間は、移動体が存在しない空間である。
【００１１】
すなわち、ここでは、基準ベクトル場が、移動体が存在しない空間から導出される。従って、このような基準ベクトル場の線型結合である近似ベクトル場は、対象動画像を撮影する視点の動きをより正確に表すことができる。よって、移動体及び／又はその背景の検出精度が向上する。
【００１２】
本発明の第３観点に係る画像処理装置は、第１観点又は第２観点に係る画像処理装置であって、前記テスト動画像から前記複数の固有ベクトル場を導出し、前記複数の固有ベクトル場を前記複数の基準ベクトル場として設定する基準設定部をさらに備える。
【００１３】
移動体及び／又はその背景の検出精度は、対象動画像を撮影する視点の動き（背景の動き）を如何に正確に表すことができるかに依存するから、上述の基準ベクトル場の設定に依存する。さらに、移動体及び／又はその背景の検出精度を向上させる観点からは、対象動画像を撮影するカメラと、基準ベクトル場を用意するためのテスト動画像を撮影するカメラとは、同機種であることが好ましい。なぜならば、レンズの歪曲度等の両カメラの属性が相違すると、その分だけ対象動画像における視点の動きを基準ベクトル場の線型結合として正確に表すことが難しくなるからである。そこで、ここでは、テスト動画像から基準ベクトル場を設定する機能が提供されている。その結果、対象動画像を撮影するカメラに応じて、基準ベクトル場を設定することが可能となり、移動体及び／又はその背景の検出精度が向上させることができる。
【００１４】
本発明の第４観点に係る画像処理プログラムは、対象動画像から、前記対象動画像のフレーム内の様々な局所領域の動きを表す対象ベクトル場を導出するステップと、前記対象ベクトル場を複数の基準ベクトル場の線型結合として近似するステップと、前記対象ベクトル場と前記線型結合との差分である差分ベクトル場の成分の大きさに応じて、前記対象動画像のフレーム内で移動体の存在する領域及び／又は移動体の存在しない領域を検出するステップとをコンピュータに実行させる。前記複数の基準ベクトル場は、視点を様々な方向に移動させながらテスト空間を撮影したテスト動画像から、前記テスト動画像のフレーム内の様々な局所領域の動きを表すテストベクトル場を複数導出した後、前記複数のテストベクトル場を主成分分析した結果の複数の固有ベクトル場である。従って、ここでは、第１観点と同様の効果を奏することができる。
【００１５】
本発明の第５観点に係る画像処理方法は、対象動画像から、前記対象動画像のフレーム内の様々な局所領域の動きを表す対象ベクトル場を導出するステップと、前記対象ベクトル場を複数の基準ベクトル場の線型結合として近似するステップと、前記対象ベクトル場と前記線型結合との差分である差分ベクトル場の成分の大きさに応じて、前記対象動画像のフレーム内で移動体の存在する領域及び／又は移動体の存在しない領域を検出するステップとを備える。前記複数の基準ベクトル場は、視点を様々な方向に移動させながらテスト空間を撮影したテスト動画像から、前記テスト動画像のフレーム内の様々な局所領域の動きを表すテストベクトル場を複数導出した後、前記複数のテストベクトル場を主成分分析した結果の複数の固有ベクトル場である。従って、ここでは、第１観点と同様の効果を奏することができる。
【発明の効果】
【００１６】
本発明によれば、対象動画像から、対象ベクトル場が導出され、この対象ベクトル場が、複数の基準ベクトル場の線型結合として近似される。なお、対象ベクトル場とは、対象動画像のフレーム内の様々な局所領域の動きを表すベクトル場であり、言い換えると、対象動画像に捉えられている移動体の動きと、対象動画像を撮影する視点の動き（背景の動き）とを表すベクトル場である。また、複数の基準ベクトル場とは、互いに直交するベクトル場であって、具体的には、テスト動画像から対象ベクトル場と同様の方法でテストベクトル場を複数導出した後、これらのテストベクトル場を主成分分析することで得られる主成分（固有ベクトル場）である。ここで、テスト動画像とは、視点を様々な方向に移動させながらテスト空間を撮影したものである。
【００１７】
従って、理論上、以上のようなテスト動画像から得られる複数の基準ベクトル場を線型結合すれば、対象動画像を撮影するあらゆる視点の動きを表すベクトル場を作成することが可能になる。つまり、対象ベクトル場を複数の基準ベクトル場の線型結合として近似したベクトル場（以下、近似ベクトル場）は、対象動画像を撮影する視点の動きを表す。従って、近似ベクトル場との差分をとることで、対象ベクトル場から視点の動きをキャンセルすることが可能となる。すなわち、対象ベクトル場と近似ベクトル場との差分とは、対象動画像に捉えられている移動体の動きを表すものになる。
【００１８】
そこで、ここでは、対象ベクトル場が、近似ベクトル場と比較され、両ベクトル場の差分の大きい（小さい）成分に対応する領域が、移動体の存在する領域（移動体の存在しない背景領域）として検出される。従って、ここでは、移動している視点で撮影された動画像のフレーム内で、移動体の存在する領域及び／又は移動体の存在しない領域を正しく検出することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態に係る画像処理装置を含む見守りシステムの概略構成を示すブロック図。
【図２】学習処理の流れを示すフローチャート。
【図３】オプティカルフローの概念図。
【図４】認識処理の流れを示すフローチャート。
【発明を実施するための形態】
【００２０】
以下、図面を参照しつつ、本発明に係る画像処理装置、画像処理プログラム及び画像処理方法を、高齢者等の見守りシステムに適用した場合の一実施形態について説明する。
【００２１】
＜１．見守りシステムの構成＞
図１に示す見守りシステム１００は、カメラ３と、カメラ３の遠隔に存在し、インターネットやＬＡＮ等のネットワーク６を介してカメラ３に接続されている監視コンピュータ１とを有する。カメラ３は、高齢者等の見守りの対象が存在する空間に配置され、見守りの対象を撮影するとともに、撮影した動画像（以下、対象動画像）をネットワーク６を介して監視コンピュータ１にリアルタイムに送信する。この機能を実現するため、カメラ３には、外付け又は内蔵の通信装置４が付属されている。
【００２２】
監視コンピュータ１は、本発明の一実施形態に係る画像処理装置である。監視コンピュータ１には、ＣＤ−ＲＯＭ、ＵＳＢメモリ等のコンピュータで読み取り可能な記録媒体５から、又はネットワーク６を介して別のコンピュータから、画像処理プログラム２がインストールされている。画像処理プログラム２は、本発明の一実施形態に係る画像処理プログラムであり、対象動画像から移動体、すなわち、高齢者等の見守りの対象を検出する機能を有するアプリケーションソフトウェアである。画像処理プログラム２は、監視コンピュータ１に後述する動作に含まれるステップを実行させる。
【００２３】
本実施形態におけるカメラ３は、例えば、首振り式のカメラや、移動式のロボットに搭載されているカメラであり、対象動画像を撮影する視点が移動するカメラである。後述されるとおり、監視コンピュータ１に実装されている移動体を検出するためのアルゴリズムは、固定されているカメラで撮影した動画像を対象とする場合はもちろん、移動しているカメラで撮影した動画像を対象とする場合にも対応している。従って、監視コンピュータ１は、視点が移動するカメラ３で撮影された対象動画像においても、正しく移動体を検出することができる。
【００２４】
監視コンピュータ１は、例えば、見守りの対象の異常を監視するサービスを提供する会社により管理されているサーバコンピュータである。この場合、このような会社の従業員が、見守りの対象を監視することもできるし、見守りの対象の家族等が、携帯電話やパーソナルコンピュータ等の機器をネットワーク６を介して監視コンピュータ１に接続することにより、外出先から見守りの対象を監視することも可能である。また、上記のようなサーバコンピュータを省略し、カメラ３から直接、見守りの対象の家族等が所有している携帯電話やパーソナルコンピュータ等の機器に対象動画像が送信されるようにしてもよい。この場合、このような携帯電話やパーソナルコンピュータ等の機器が、監視コンピュータ１（本発明に係る画像処理装置）に相当する。
【００２５】
図１に示すとおり、監視コンピュータ１は、表示部１０、入力部２０、記憶部３０、制御部４０および通信部５０を有する。これらの部１０〜５０は、互いにバス線７で接続されており、相互に通信可能である。本実施形態では、表示部１０は、液晶ディスプレイ等で構成されており、適当な画面をユーザ（監視者）に対し表示するユーザーインターフェースである。また、入力部２０は、マウスやキーボード、タッチパネル、操作ボタン等で構成されており、監視コンピュータ１に対するユーザ（監視者）からの操作を受け付けるユーザーインターフェースである。記憶部３０は、ハードディスクやフラッシュメモリ等の不揮発性の記憶装置から構成されている。記憶部３０内には、画像処理プログラム２が格納されている。通信部５０は、監視コンピュータ１をネットワーク６に接続するほか、ＵＳＢメモリやメモリカード、ＣＤ−ＲＯＭ、外付けハードディスク、デジタルカメラなどの外部記憶装置との間でデータ通信を行う通信インターフェースである。
【００２６】
制御部４０は、ＣＰＵ、ＲＯＭおよびＲＡＭ等から構成されており、記憶部３０内に格納されている画像処理プログラム２を読み出して実行することにより、仮想的に学習部４１、動き導出部４２、近似部４３、領域検出部４４及び解釈部４５として動作する。各部４１〜４５の動作については、後述する。
【００２７】
＜２．監視処理＞
以下、見守りシステム１００により高齢者等の見守りの対象が監視される処理（以下、監視処理）の流れについて、詳細に説明する。監視処理は、主として、学習処理と、認識処理とにより構成される。学習処理は、基準ベクトル場のセットを学習する処理である。基準ベクトル場のセットは、対象動画像に捉えられたカメラ３の視点の動き（背景の動き）を評価するためのパラメータとなる。認識処理は、学習処理により設定された基準ベクトル場のセットを用いて、対象動画像に捉えられたカメラ３の視点の動きをキャンセルし、それにより、対象動画像に捉えられた移動体の動きを検出する処理である。また、認識処理では、移動体の動きの解釈も行われる。以下、学習処理について説明した後、認識処理について説明する。
【００２８】
＜２−１．学習処理＞
学習処理は、図２に示すフローチャートのとおりに実行される。まず、カメラ３により、テスト動画像が撮影される（ステップＳ１）。テスト動画像は、基準ベクトル場のセットの算出の元となる動画像である。なお、このとき使用されるカメラは、必ずしも認識処理で対象動画像を撮影するために使用されるカメラ３そのものである必要はなく、さらに、カメラ３と同じ機種のカメラである必要もない。しかしながら、学習処理では、カメラ３そのものか、又はカメラ３と同じ機種のカメラが使用されることが好ましい。なぜならば、レンズの歪曲度等の属性の異なるカメラにより撮影された動画像どうしは、カメラを全く同じように移動させながら、全く同一の風景を撮影したとしても、相違することになる。従って、認識処理で使用されるカメラと、学習処理で使用されるカメラとが相違すると、その分だけ、学習処理で導出されたパラメータを用いる認識処理での認識の精度が低下するからである。
【００２９】
また、ステップＳ１で撮影される空間（以下、テスト空間）は、認識処理でカメラ３が見守る空間と同じである必要はない。なぜならば、後述するアルゴリズムから明らかなとおり、学習処理は、認識処理で見守られる空間の模様や明るさ等の図形のパターンを学習する処理ではなく、カメラ３の視点の動きのパターンを表現するための基準ベクトル場のセットを学習する処理だからである。また、ステップＳ１では、カメラ３の視点を様々な方向に移動させながら、テスト空間が撮影される。これは、学習処理で学習される基準ベクトル場のセットが、カメラ３のあらゆる視点の動きのパターンを表現することが可能なようにするためである。
【００３０】
さらに、ステップＳ１で撮影されるテスト空間は、移動体が存在しない空間とされることが好ましい。なぜならば、既に述べたとおり、学習処理で学習されるのは、対象動画像に含まれるカメラ３の視点の動きを評価するためのパラメータだからである。従って、このようなパラメータの算出の基礎となるテスト動画像には、移動体の動きが反映されておらず、カメラ３の視点の動きのみが反映されていることが好ましい。
【００３１】
続くステップＳ２では、ステップＳ１で撮影されたテスト動画像が、カメラ３から監視コンピュータ１に受け渡される。なお、このとき、テスト動画像は、カメラ３から監視コンピュータ１へネットワーク６を介して送信されてもよいし、ＵＳＢメモリ等の外部記憶装置を介して受け渡されてもよい。或いは、カメラ３を直接監視コンピュータ１へ接続することで受け渡されてもよい。
【００３２】
次に、ステップＳ３では、学習部４１が、ステップＳ２のテスト動画像から、時々刻々のオプティカルフローＤ（ｔ）を導出する（ｔは、時刻）。オプティカルフローＤ（ｔ）とは、図３に示すように、テスト動画像の時刻ｔに対応するフレーム内の各点ｐijにその点ｐijの動きを表すベクトルｄij（ｔ）を割り当てたものである（ｉ＝１，２，・・・，Ｉ、かつ、ｊ＝１，２，・・・，Ｊ）。ここで、点ｐijとは、テスト動画像のフレーム上に等間隔に並べられた点の格子状の配列のうち、上からｉ番目で左からｊ番目の点である。また、ベクトルｄij（ｔ）は、テスト動画像の時刻ｔに対応するフレームが存在する２次元空間内での２次元ベクトルである。さらに、ベクトルｄij（ｔ）は、テスト動画像の時刻ｔにおける点ｐijに対応する１又は複数個の画素が、時刻ｔから時刻ｔ＋Δｔの間に
移動した移動量で表され、テスト動画像の時刻ｔ及び時刻ｔ＋Δｔに対応するフレームの
画素値に基づいて算出される。
【００３３】
すなわち、オプティカルフローＤ（ｔ）とは、テスト動画像の時刻ｔに対応するフレーム内の様々な局所領域の動きを表すベクトル場であり、以下の数１のとおり表される。
【数１】
2014182759.tif 000003
なお、このようなオプティカルフローＤ（ｔ）の具体的な算出方法については、勾配法やブロックマッチング法等の様々な方法が公知であるため、ここでは詳細な説明を省略する。
【００３４】
続いて、ステップＳ４では、学習部４１は、ステップＳ３で導出された多数のオプティカルフローＤ（ｔ）を主成分分析することにより、Ｋ個の固有ベクトル場Ｍ1，Ｍ2，・・・，ＭKを導出する（Ｋは、２以上の整数）。そして、学習部４１は、これらＫ個の固有ベクトル場Ｍ1，Ｍ2，・・・，ＭKを基準ベクトル場のセットとして、記憶部３０内に保存する。なお、Ｋの値、すなわち、主成分分析により算出される固有ベクトル場の数は、最大でＩ×Ｊ個であるが、Ｉ×Ｊ個の全ての固有ベクトル場が算出される必要はない。Ｋの値は、例えば、予め定められている定数値（例えば、１００）であってもよいし、第１主成分である固有ベクトル場Ｍ1、第２主成分である固有ベクトル場Ｍ2と順に算出してゆきながら、寄与率が所定のパーセントを超えた段階で打ち切るようにしてもよい。なお、Ｋ個の基準ベクトル場Ｍ1，Ｍ2，・・・，ＭKは、互いに直交するベクトル場である。また、ステップＳ４が終了すると、学習処理は終了する。
【００３５】
ここで、既に述べたとおり、基準ベクトル場Ｍ1，Ｍ2，・・・，ＭKとは、テスト動画像から導出される多数のオプティカルフローＤ（ｔ）から抽出される主成分である。また、テスト動画像とは、カメラ３の視点を様々な方向に移動させながらテスト空間を撮影したものである。従って、以上のような基準ベクトル場Ｍ1，Ｍ2，・・・，ＭKを線型結合すれば、カメラ３のあらゆる視点の動きを表すベクトル場を作成することが可能になる。
【００３６】
＜２−２．認識処理＞
続いて、図４を参照しつつ、学習処理後の認識処理について説明する。まず、認識処理と並行して、カメラ３により、時々刻々、認識処理の対象となる対象動画像が撮影される。対象動画像に含まれるフレームは、時々刻々、カメラ３から監視コンピュータ１へネットワーク６を介して送信され、記憶部３０内に順次格納されてゆく。そして、記憶部３０内に一定量のフレームが蓄積されると、図４に示す認識処理が開始される。
【００３７】
認識処理では、図４に示すとおり、記憶部３０内に格納されている対象動画像の各フレームに対し、ステップＳ１１〜Ｓ１４が繰り返し実行される。まず、ステップＳ１１では、その後のステップＳ１２〜Ｓ１４の処理の対象として、記憶部３０内に格納されている未処理のフレームのうち、最も過去の時刻ｔに撮影されたフレーム（以下、対象フレーム）が選択される。
【００３８】
続いて、ステップＳ１２では、動き導出部４２が、対象フレームに対応する時刻ｔのオプティカルフローＥ（ｔ）を導出する。オプティカルフローＥ（ｔ）は、テスト動画像の代わりに対象動画像を対象として、オプティカルフローＤ（ｔ）と同様の方法で導出される。すなわち、オプティカルフローＥ（ｔ）とは、図３に示すように、対象フレーム内の各点ｐijにその点ｐijの動きを表すベクトルｅij（ｔ）を割り当てたものである（ｉ＝１，２，・・・，Ｉ、かつ、ｊ＝１，２，・・・，Ｊ）。また、ベクトルｅij（ｔ）は、対象フレームが存在する２次元空間内での２次元ベクトルである。さらに、ベクトルｅij（ｔ）は、対象動画像の時刻ｔにおける点ｐijに対応する１又は複数個の画素が、時刻ｔから時刻ｔ＋Δｔの間に移動した移動量で表され、対象動画像の時刻ｔ及び時刻ｔ＋Δｔに
対応するフレームの画素値に基づいて算出される。
【００３９】
すなわち、オプティカルフローＥ（ｔ）とは、対象フレーム内の様々な局所領域の動きを表すベクトル場であり、以下の数２のとおり表される。また、オプティカルフローＥ（ｔ）とは、時刻ｔから時刻ｔ＋Δｔの間の移動体の動きと、カメラ３の視点の動き、すな
わち、移動体の背景の動きとを表すベクトル場である。
【数２】
2014182759.tif 000004
【００４０】
次に、ステップＳ１３では、近似部４３が、最小二乗法等の方法により、ステップＳ１２で導出されたオプティカルフローＥ（ｔ）を、記憶部３０内に格納されている基準ベクトル場Ｍ1，Ｍ2，・・・，ＭKの線型結合として近似する。以下、この線型結合を表すベクトル場をＥ’（ｔ）と表す。このとき、ベクトル場Ｅ’（ｔ）は、Ｋ個の係数ａ1（ｔ），ａ2（ｔ），・・・，ａK（ｔ）を用いて、以下の数３のように表される。従って、ステップＳ１３は、Ｋ個の係数ａ1（ｔ），ａ2（ｔ），・・・，ａK（ｔ）を算出するステップである。
【数３】
2014182759.tif 000005
【００４１】
ここで、既に述べたとおり、カメラ３の視点の動きは、基準ベクトル場Ｍ1，Ｍ2，・・・，ＭKの線型結合として表すことが可能である。従って、オプティカルフローＥ（ｔ）を基準ベクトル場Ｍ1，Ｍ2，・・・，ＭKの線型結合として近似したベクトル場Ｅ’（ｔ）は、時刻ｔから時刻ｔ＋Δｔの間のカメラ３の視点の動きを表していることになる
。
【００４２】
次に、ステップＳ１４では、領域検出部４４が、オプティカルフローＥ（ｔ）とベクトル場Ｅ’（ｔ）との差分である差分ベクトル場Ｆ（ｔ）＝Ｅ（ｔ）−Ｅ’（ｔ）を導出する。なお、ここでは、オプティカルフローＥ（ｔ）からカメラ３の視点の動きを表すベクトル場Ｅ’（ｔ）を引くことで、オプティカルフローＥ（ｔ）からカメラ３の視点の動きをキャンセルしている。すなわち、差分ベクトル場Ｆ（ｔ）は、時刻ｔから時刻ｔ＋Δｔ
の間の移動体の動きを表すものとなる。
【００４３】
続けて、領域検出部４４は、差分ベクトル場Ｆ（ｔ）の各成分となるベクトルｆij（ｔ）の大きさを判断する（ｉ＝１，２，・・・，Ｉ、かつ、ｊ＝１，２，・・・，Ｊ）。そして、領域検出部４４は、所定値よりも大きさの大きいベクトルｆij（ｔ）に対応する点ｐijを検出し、このような点ｐijを、時刻ｔの対象フレーム内で移動体の存在する領域として認識する。また、領域検出部４４は、対象フレーム内で移動体の存在する領域を示す情報を記憶部３０内に格納する。
【００４４】
以上のステップＳ１１〜Ｓ１４が繰り返されることにより、時々刻々のオプティカルフローＥ（ｔ）及びベクトル場Ｅ’（ｔ）が導出されるとともに、時々刻々のフレーム内での移動体の位置が検出される。図４に示すとおり、解釈部４５は、適当な枚数のフレーム分の、移動体の存在する領域を示す情報が記憶部３０内に蓄積される度に、対象動画像に捉えられた移動体の動きを解釈する（ステップＳ１５）。また、解釈部４５は、必要に応じて、その解釈の結果を表示部１０及び通信部５０を介して出力する。なお、移動体の動きを解釈するためのアルゴリズムとしては、様々なものが考えられるが、例えば、対象動画像から移動体として検出される見守りの対象となる高齢者等に何らかの異常が起こっていないか（適切な時間に起きて、活動しているか等）を判断することが考えられる。
【００４５】
図４に示す認識処理は、以上のステップを記憶部３０内から未処理のフレームがなくなるまで繰り返した後、終了する。
【００４６】
＜３．特徴＞
上記実施形態では、対象動画像から、オプティカルフローＥ（ｔ）が導出され、このオプティカルフローＥ（ｔ）が、基準ベクトル場Ｍ1，Ｍ2，・・・，ＭKの線型結合として近似される。なお、オプティカルフローＥ（ｔ）とは、対象動画像に捉えられている移動体の動きと、対象動画像を撮影するカメラ３の視点の動き（背景の動き）とを表すベクトル場である。また、基準ベクトル場Ｍ1，Ｍ2，・・・，ＭKとは、テスト動画像からオプティカルフローＥ（ｔ）と同様の方法で多数のオプティカルフローＤ（ｔ）を導出した後、これらのオプティカルフローＤ（ｔ）を主成分分析することで得られる固有ベクトル場である。ここで、テスト動画像とは、視点を様々な方向に移動させながらテスト空間を撮影した動画像である。
【００４７】
従って、理論上、以上のようなテスト動画像から得られる基準ベクトル場Ｍ1，Ｍ2，・・・，ＭKを線型結合すれば、対象動画像を撮影するあらゆる視点の動きを表すベクトル場を作成することができる。つまり、オプティカルフローＥ（ｔ）を基準ベクトル場Ｍ1，Ｍ2，・・・，ＭKの線型結合として近似したベクトル場Ｅ’（ｔ）とは、対象動画像を撮影する視点の動きを表す。そうすると、オプティカルフローＥ（ｔ）とベクトル場Ｅ’（ｔ）との差分である差分ベクトル場Ｆ（ｔ）とは、対象動画像に捉えられている移動体の動きを表すものになる。
【００４８】
そこで、上記実施形態では、オプティカルフローＥ（ｔ）が、ベクトル場Ｅ’（ｔ）と比較され、両ベクトル場の差分の大きい成分に対応する領域が、移動体の存在する領域として検出される。従って、ここでは、移動している視点で撮影された動画像のフレーム内で、移動体の存在する領域及び／又は移動体の存在しない領域を正しく検出することができる。
【００４９】
また、上記実施形態では、学習処理により設定される基準ベクトル場Ｍ1，Ｍ2，・・・，ＭKは、カメラ３の視点の動きのパターンを表現するためのパラメータであり、認識処理で見守られる空間の模様や明るさ等の図形のパターンに依存しない。従って、背景技術の欄で述べたような従来の背景差分法とは異なり、カメラ３が見守る空間毎、さらには、カメラ３の位置及び角度毎に背景を示すフレームを用意しておく必要もなく、認識処理に先立つパラメータの学習が容易になる。
【００５０】
＜４．変形例＞
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。また、以下の変形例の要旨は、適宜組み合わせることができる。
【００５１】
＜４−１＞
上記実施形態に係る移動体を検出する機能は、移動体とその背景とを区別する機能であるから、この機能は、移動体の背景を検出するのにも適用することができる。従って、背景に注目しているのであれば背景を検出すればよいし、移動体及び背景の両方に注目しているのであれば両方を検出すればよい。このことは、以下の変形例においても同様である。
【００５２】
＜４−２＞
上記実施形態に係る移動体を検出する機能は、高齢者等の見守りシステムだけでなく、移動体を検出することが必要になる様々なシステムの中で利用することができる。例えば、防犯カメラシステムに利用し、住居内への不審者（移動体）の侵入を監視することもできる。また、特定の追跡対象（移動体）をカメラの搭載された移動式のロボットが追跡する追跡システムに利用し、このロボットが追跡対象の位置を把握できるようにしてもよい。
【００５３】
＜４−３＞
上記実施形態に係る移動体を検出する機能をはじめ、監視コンピュータ１に実装されている機能を、カメラ３に搭載してもよい。この場合、カメラ３の内蔵のメモリ（好ましくは、データの消去ができないメモリ）に、予めカメラ３に適した基準ベクトル場のセットを記憶させておくようにすることで、上述の学習処理を省略することができる。また、この例に限らず、基準ベクトル場のセットを予め保持している場合や、何らかの方法で後に取得可能であれば、画像処理プログラム２から、上述の学習処理を実行する機能を省略することができる。
【符号の説明】
【００５４】
１  監視コンピュータ（画像処理装置）
２  画像処理プログラム
６０  カメラ
４１  学習部
４２  動き導出部
４３  近似部
４４  領域検出部
【図１】
2014182759.tif 000006
【図２】
2014182759.tif 000007
【図３】
2014182759.tif 000008
【図４】
2014182759.tif 000009