(57)【特許請求の範囲】
【請求項１】
映像中の動き領域を検出するシステムであって、
映像を入力する映像入力部と、
動きパターン画像を生成する動き領域検出部と、
前記フレーム画像に対して動き領域を出力する動き領域出力部と、を有し、
前記動き領域検出部は、
動きパターン画像を初期化する画像初期化部と、
前記映像から３枚の画像を読み込む画像読込部と、
前記３枚の各画像の全画素位置について、各画素位置の画素値を取得する画素値取得部と、
前記３枚の画像間で、前記取得した各画素値の差分の比をとり、絶対値を算出する絶対値算出部と、
前記絶対値を対応する画素位置の評価値とする評価値決定部と、
全画素位置の評価値を画素値とする動きパターン画像を生成する動きパターン画像生成部と、
前記動きパターンのノルムを算出するノルム算出部と、
前記ノルムが閾値の満たす場合に、該画像において動きが検出されたと決定する動き検出決定部と、
前記動きパターン画像中で、画素値が割り当てられた画素が連続して存在する矩形領域を抽出する矩形領域抽出部と、
前記矩形領域の大きさが閾値を満たす場合に、当該領域を動き領域と決定する動き領域決定部と、を有することを特徴とする動き領域検出システム。
【請求項２】
前記３枚の画像を時刻順に、第１の画像、第２の画像、第３の画像としたとき、
前記絶対値算出部は、第１の画像と第３の画像の画素値の差分と、第２の画像と第３の画像の画素値の差分の比をとり、絶対値を算出することを特徴とする請求項１に記載の動き領域検出システム。
【請求項３】
映像中の動き領域を検出するシステムにおける領域検出方法であって、
映像入力部が映像を入力する映像入力ステップと、
動き領域検出部が動きパターン画像を生成する動き領域検出ステップと、
動き領域出力部が前記フレーム画像に対して動き領域を出力する動き領域出力ステップと、を有し、
前記動き領域検出ステップは、
画像初期化部が動きパターン画像を初期化する画像初期化ステップと、
画像読込部が前記映像から３枚の画像を読み込む画像読込ステップと、
画素値取得部が前記３枚の各画像の全画素位置について、各画素位置の画素値を取得する画素値取得ステップと、
絶対値算出部が前記３枚の画像間で、前記取得した各画素値の差分の比をとり、絶対値を算出する絶対値算出ステップと、
評価値決定部が前記絶対値を対応する画素位置の評価値とする評価値決定ステップと、
動きパターン画像生成部が全画素位置の評価値を画素値とする動きパターン画像を生成する動きパターン画像生成ステップと、
ノルム算出部が前記動きパターンのノルムを算出するノルム算出ステップと、
動き検出決定部が前記ノルムが閾値の満たす場合に、該画像において動きが検出されたと決定する動き検出決定ステップと、
矩形領域抽出部が前記動きパターン画像中で、画素値が割り当てられた画素が連続して存在する矩形領域を抽出する矩形領域抽出ステップと、
動き領域決定部が前記矩形領域の大きさが閾値を満たす場合に、当該領域を動き領域と決定する動き領域決定ステップと、を有することを特徴とする動き領域検出方法。
【請求項４】
前記３枚の画像を時刻順に、第１の画像、第２の画像、第３の画像としたとき、
前記絶対値算出ステップは、第１の画像と第３の画像の画素値の差分と、第２の画像と第３の画像の画素値の差分の比をとり、絶対値を算出することを特徴とする請求項３に記載の動き領域検出方法。
【請求項５】
前記請求項３又は４に記載の動き領域検出方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とする動き領域検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像中の動き領域を検出するための動き領域検出システムに関する。
【背景技術】
【０００２】
監視カメラや各種センサをネットワークを介してセンターに接続し、モニタリングして、異常を検知した場合に、モニタリング場所にかけつけるセキュリティサービスが提供されている。このようなセキュリティサービスを実現するために、特に、不審な動きを検出するといったリアルタイムで状況・状態を検出、認識するための技術が求められている。
【０００３】
これらの問題を鑑み、画像情報を利用して映像中の動き領域を検出する技術が開示されている。これらの技術としては、画像差分による方法が知られている。ここで特に問題となるのは、移動物体と背景との間の輝度や色度信号差が、撮影環境などの要因で変化してしまうことである。こうした例として、検出対象領域に影などが含まれた場合の問題について解決を試みた例が知られている。例えば、移動物体抽出装置として、移動物体とともに動く影や床面による鏡面反射像などの出現頻度の低い画像を考慮することにより、検出対象領域に影や床面による鏡面反射像、又は持ち物等による偶発的な変形などが生じた場合に対応ができるとしている(例えば、特許文献１参照。)。
【０００４】
しかしながら、上記のような技術では、物体が移動することによる影や鏡面反射などの変化しか考慮しておらず、撮影される環境の照明条件や撮影に利用するカメラの特性などにより、入力される輝度や色度信号差が変化した場合に正しく映像中の動き領域を検出できないという欠点があった。近年、ＷＥＢカメラなど比較的安価で利用されやすいカメラの性能は高くなく、こうした欠点により、実環境で動き領域の検出を安定して行うことは、非常に難しい。
【特許文献１】特許第３６２５９１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
そこで、映像中の動き領域を検出するための動き領域検出技術、特に、撮影環境の照明、及びカメラのノイズに対してロバストな技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
そこで、上記課題を解決するために、請求項１に記載の発明は、映像中の動き領域を検出するシステムであって、映像を入力する映像入力部と、動きパターン画像を生成する動き領域検出部と、前記フレーム画像に対して動き領域を出力する動き領域出力部と、を有し、前記動き領域検出部は、動きパターン画像を初期化する画像初期化部と、前記映像から３枚の画像を読み込む画像読込部と、前記３枚の各画像の全画素位置について、各画素位置の画素値を取得する画素値取得部と、前記３枚の画像間で、前記取得した各画素値の差分の比をとり、絶対値を算出する絶対値算出部と、前記絶対値を対応する画素位置の評価値とする評価値決定部と、全画素位置の評価値を画素値とする動きパターン画像を生成する動きパターン画像生成部と、前記動きパターンのノルムを算出するノルム算出部と、前記ノルムが閾値の満たす場合に、該画像において動きが検出されたと決定する動き検出決定部と、前記動きパターン画像中で、画素値が割り当てられた画素が連続して存在する矩形領域を抽出する矩形領域抽出部と、前記矩形領域の大きさが閾値を満たす場合に、当該領域を動き領域と決定する動き領域決定部と、を有することを特徴とする。
【０００７】
また、請求項２に記載の発明は、前記３枚の画像を時刻順に、第１の画像、第２の画像、第３の画像としたとき、前記絶対値算出部は、第１の画像と第３の画像の画素値の差分と、第２の画像と第３の画像の画素値の差分の比をとり、絶対値を算出することを特徴とする。
【０００８】
また、請求項３に記載の発明は、映像中の動き領域を検出するシステムにおける領域検出方法であって、映像入力部が映像を入力する映像入力ステップと、動き領域検出部が動きパターン画像を生成する動き領域検出ステップと、動き領域出力部が前記フレーム画像に対して動き領域を出力する動き領域出力ステップと、を有し、前記動き領域検出ステップは、画像初期化部が動きパターン画像を初期化する画像初期化ステップと、画像読込部が前記映像から３枚の画像を読み込む画像読込ステップと、画素値取得部が前記３枚の各画像の全画素位置について、各画素位置の画素値を取得する画素値取得ステップと、絶対値算出部が前記３枚の画像間で、前記取得した各画素値の差分の比をとり、絶対値を算出する絶対値算出ステップと、評価値決定部が前記絶対値を対応する画素位置の評価値とする評価値決定ステップと、動きパターン画像生成部が全画素位置の評価値を画素値とする動きパターン画像を生成する動きパターン画像生成ステップと、ノルム算出部が前記動きパターンのノルムを算出するノルム算出ステップと、動き検出決定部が前記ノルムが閾値の満たす場合に、該画像において動きが検出されたと決定する動き検出決定ステップと、矩形領域抽出部が前記動きパターン画像中で、画素値が割り当てられた画素が連続して存在する矩形領域を抽出する矩形領域抽出ステップと、動き領域決定部が前記矩形領域の大きさが閾値を満たす場合に、当該領域を動き領域と決定する動き領域決定ステップと、を有することを特徴とする。
【０００９】
また、請求項４に記載の発明は、
前記３枚の画像を時刻順に、第１の画像、第２の画像、第３の画像としたとき、
前記絶対値算出ステップは、第１の画像と第３の画像の画素値の差分と、第２の画像と第３の画像の画素値の差分の比をとり、絶対値を算出することを特徴とする。
【００１０】
また、請求項５に記載の発明は、上記動き領域検出方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とする。
【発明の効果】
【００１１】
請求項１〜５に記載の発明によれば、映像中の動き領域を検出することができ、撮影環境の照明、及びカメラのノイズに対してロバストな技術を提供することができる。
【発明を実施するための最良の形態】
【００１２】
以下、実施形態について図面を参照して説明する。
【００１３】
図１は、動き領域検出システムの機能ブロック図である。図１に示すように、動き領域検出システム２０は、映像入力部２１、動き領域検出部２２、動き領域出力部２３から構成されている。
【００１４】
映像入力部２１では、撮影された動きを含む映像を入力し、各フレーム画像をメモリに格納することが行われる。この入力される画像は、ＣＣＤを撮像素子として用いたカメラ１０などを利用することが可能である。
【００１５】
動き領域出力部２３では、動き領域検出部２２における処理結果に基づき、映像入力部２１にて格納された各フレーム画像に対して動き領域を出力することが行われる。この動き領域は、対象とした映像中の各フレーム画像における動き領域を含む情報であれば、特に制限されるものではなく、動き領域検出システム２０の動き領域検出部２２にて生成された動きパターン画像や通常の画像処理で得られた情報を含むことができる。
【００１６】
図２は、動き領域検出システム２０の動き領域検出部２２の動作を示すフローチャート、図３は動き領域検出部２２の機能ブロック図である。動き領域検出部２２では、映像入力部２１にて格納された３枚のフレーム画像から動きパターン画像を生成することが行われる。以下、図２、図３を用いて動作を説明する。
【００１７】
［ステップ１］画像初期化部３１が動きパターン画像の画素値を０で初期化する。
【００１８】
［ステップ２］フレーム画像読込部３２が最新のものから３フレーム分のフレーム画像Ｉ（０），Ｉ（１），Ｉ（２）をメモリから読み出す。
【００１９】
［ステップ３］画素位置取得部３３がＩ（０），Ｉ（１），Ｉ（２）の画素位置（ｘ，ｙ）の画素値ｐ（ｘ，ｙ，０），ｐ（ｘ，ｙ，１），ｐ（ｘ，ｙ，２）を取得する。
【００２０】
［ステップ４］絶対値算出部３４が取得した各画素値の差分の比をとり、絶対値を算出する。
【００２１】
【数１】
0004627711.tif 000002
【００２２】
［ステップ５］評価値決定部が△Ｐ（ｘ，ｙ）を画素位置（ｘ，ｙ）の評価値とする。
【００２３】
［ステップ６］取得したフレーム画像の全画素位置について、［ステップ３］〜［ステップ５］を行う。
【００２４】
［ステップ７］動きパターン画像生成部３６が全画素位置の評価値を画素値とする動きパターン画像を生成する。
【００２５】
［ステップ８］ノルム算出部３７が動きパターン画像のノルムを算出する。
【００２６】
［ステップ９］動き検出決定部３８算出されたノルムが閾値を満たす場合に、Ｉ（０）を動きが検出されたと決定する。
【００２７】
［ステップ１０］矩形領域抽出部３９が動きが検出された場合に、動きパターン画像中で、画素値が割り当てられた画素が連続して存在している矩形領域を抽出する。
【００２８】
［ステップ１１］動き領域決定部４０が矩形領域のサイズが閾値を満たす場合に、動き領域と決定する。
【００２９】
このとき、［ステップ９］、及び［ステップ１１］で利用する閾値は、あらかじめ決めておくとしてもよいし、平均値、度数、偏差値などといった統計的に算出される値を利用して動的に算出するとしてもよい。また、矩形領域を抽出する処理は、通常の画像処理で利用される領域分割処理と同じであり、これらの手法は、従来の手法と特に変わるところがないので、ここではその詳細な説明は省略する。
【００３０】
以下では、これまで説明してきた動き領域検出システム２０において、映像中の動き領域を検出する際の具体的な手順を説明する。
【００３１】
ここで、動き領域検出部２２において、動きパターン画像を生成する際の具体的な処理手順を述べる。ここでは、説明のため、メモリから読み出された画像が、図４の４０１〜４０３に示すような５×５画素サイズの３フレームの画像であるものとする。この４０１がＩ（０）に、４０２がＩ（１）に、４０３がＩ（２）に対応する。このとき、撮影環境の照明、及びカメラのノイズの影響を受け、動いている物体の領域以外の同じ位置でも、画素値が異なっている。
【００３２】
この各画素について、各画素位置の画素値を取得し、差分をとることが行われる。説明のため、その結果を画像で表現すると、４０４、４０５に示すようになる。このとき、４０４がＩ（０）とＩ（２）に、４０５がＩ（１）とＩ（２）に対応することになる。これらの差分値の比をとり、絶対値を算出して、その絶対値を画素値とした動きパターン画像を生成すると、４０６に示すような画像が得られることになる。
【００３３】
この動きパターン画像に対し、ノルムを算出することが行われ、ここでは、閾値を満たしたとして、４０１を動きが検出されたと決定する。続いて、画素値が割り当てられた画素が連続して存在している矩形領域を抽出すると、図５の５０１に斜線で示す領域が抽出される。ここでは、この矩形領域のサイズが閾値を満たすとして、動き領域と決定されることになる。
【００３４】
なお、上記実施形態において、動き領域検出システムは、例えば、動き領域検出システムを構成するコンピュータ装置が有するＣＰＵによって実現され、動き領域検出処理などをアプリケーションプログラムとして搭載することができる。
【００３５】
また、動き領域検出処理などで行った、画素値、絶対値、評価値、動き画像パターン、ノルム、動き検出、矩形領域抽出、動き領域決定等の処理結果、計算結果を主記憶装置に格納するようにしてもよい。
【００３６】
また、画素値、絶対値、評価値、動き画像パターン、ノルム、動き検出、矩形領域抽出、動き領域決定等の処理、計算に必要な情報等のデータを補助記憶装置等に書き込み・読み出しができるようにしてもよい。
【００３７】
また、動き領域検出システムの機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システム、又は装置に供給し、そのシステム、又は装置のＣＰＵ（ＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することも可能である。この場合、記憶媒体から読み出されたプログラムコード自体が上記実施形態の機能を実現することになり、このプログラムコードを記憶した記憶媒体としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、及びＨＤＤ等がある。
【００３８】
以上、動き領域検出システムについて説明したが、上記の実施形態に限定されるものではなく、幅広く応用することができる。
【００３９】
以上説明したように、上記動き領域検出システムによれば、映像中の動き領域を検出することができ、撮影環境の照明、及びカメラのノイズに対してロバストなシステムを提供することができる。
【図面の簡単な説明】
【００４０】
【図１】動き領域検出システムの機能ブロック図。
【図２】動き領域検出部の動作を示す処理フロー図。
【図３】動き領域検出部の機能ブロック図。
【図４】動き領域検出システムの処理の一例の説明図。
【図５】動き領域検出システムの処理の一例の説明図。
【符号の説明】
【００４１】
１０  カメラ
２０  動き領域検出システム
２１  映像入力部
２２  動き領域検出部
２３  動き領域出力部
３１  画像初期化部
３２  フレーム画像読込部
３３  画素値取得部
３４  絶対値算出部
３５  評価値決定部
３６  動きパターン画像生成部
３７  ノルム算出部
３８  動き検出部
３９  矩形領域抽出部
４０  動き領域決定部
【図１】
0004627711.tif 000003
【図２】
0004627711.tif 000004
【図３】
0004627711.tif 000005
【図５】
0004627711.tif 000006
【図４】
0004627711.tif 000007