(57)【要約】      （修正有）【課題】常時撮影した画像において、例えば何も起こらなかった場合や、何がどの時点で起こったかを見つけにくい場合などに動体を発見する差分画像検出技術を提供する。【解決手段】記憶された動画像を切り出してワーク領域に読み込まれた静止画像１１、１２を、差分検出ソフトウェアによって比較する。比較処理の結果、画像１１、１２の差分が予め指定したしきい値であって両画像間に差があると認められる差分の下限のしきい値未満の場合には、今回の比較に用いた時系列的に後の方の画像１２を含む次の２枚の比較対象画像である画像１２と画像１３との比較処理を実行する。画像１２、１３の比較で変化が確認できなければ、次の２枚の画像１３、１４の比較に実行を移す。画像１３と画像１４との間に、予め指定した差分の下限のしきい値以上の変化量を検出した場合は、変化が認められた方の画像１４を保存する。【選択図】図２
2006094293.tif 000002
【特許請求の範囲】
【請求項１】
動画像データを保存する画像ファイル保存部と、
前記動画像データからそれぞれ切り出された基準画像と比較対象画像とを順次比較し、該比較に基づいて前記基準画像と前記比較対象画像との差分を検出する差分画像検出部と、
該差分画像検出部により差分が検出された場合に前記比較対象画像を保存する差分画像ファイル保存部と
を有することを特徴とする差分画像検出システム。
【請求項２】
前記差分画像ファイル保存部に保存される比較対象画像に、前記動画像データとを関連付けする関連付け情報を付加し、前記差分画像ファイル保存部に保存されている比較対象画像と前記関連付け情報とに基づいて、前記画像ファイル保存部を検索する検索手段を有することを特徴とする請求項１に記載の差分画像検出システム。
【請求項３】
コンピュータなどの画像処理手段によって実現される差分画像検出方法において、
保存された動画像データに基づいて基準画像と比較対象画像とを切り出す第１ステップと、
前記基準画像と前記比較対象画像とを比較し、双方の画像の差分の検出し、該差分が検出された場合に前記比較対象画像を保存する第２ステップと
を有することを特徴とする差分画像検出方法。
【請求項４】
前記第２ステップは、前記基準画像と前記比較対象画像とを比較し、双方の画像に所定のしきい値を越える差分が検出された場合には前記比較対象画像を保存し、双方の画像に所定のしきい値を越える差分が検出されなかった場合には比較対象画像を次の基準画像とするステップを含むことを特徴とする請求項３に記載の差分画像検出方法。
【請求項５】
前記基準画像として、動画像データから取得した複数の画像の平均値を用いることを特徴とする請求項３又は４に記載の差分画像検出方法。
【請求項６】
数フレーム分の画像の変化に基づいて前記差分の有無を検出するステップを有することを特徴とする請求項３から５までのいずれか１項に記載の差分画像検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の差分を検出する差分画像検出技術に関し、特に、時系列に記録した連続画像の中から動体を発見する差分画像検出技術に関する。
【背景技術】
【０００２】
従来、移動物体が複数存在する場合でも目的の移動物体を精度良く追跡処理できる監視システムとして、例えば下記特許文献１に記載のものが知られていた。特許文献１に記載のシステムは、監視カメラでとらえた画像から、各物体の濃度画像パターン情報を時系列的に記憶し、過去の情報であって前回及びそれよりも以前の情報と照合する技術を用いている。これにより動体を検出しその動体を追尾するものである。
【０００３】
【特許文献１】特開平8-205131号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記特許文献１に記載の技術では、追尾した画像や常時撮影した画像を保存しておき、再度、見直す場合には、例えばビデオデッキの早送り・巻き戻し操作と同様の方法で過去のデータ、特に動体などの存在する変化の大きな場面を探す方法がとられている。
【０００５】
この場合に、常時撮影した画像であって風景画など動作が少ない画像が長時間続く場合には、目視により画像を判別し巻き戻し操作を行う必要がある。従って、例えば何も起こらなかった場合や、何がどの時点で起こったかを見つけにくい場合など動体を発見するための作業は利用者にとって負担が大きく、画像データを有効活用しにくかった。
【０００６】
本発明の目的は、保存した画像を有効に再利用する手段を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、保存された動画像ファイルを、例えばコンピュータなどの画像処理手段に取り込む手段と、取り込んだ画像同士を比較し比較した差分に基づいて動体を判別する手段と、発見した動体の画像のみを特定の記憶領域に静止画像ファイルとして保存することを特徴とする。このようにして保存された静止画像ファイル中の特定画像に基づいて、動画像ファイルから画像の変化を検出することにより、動画像ファイルのリアルタイム再生などによる目視確認や確認後の装置の操作を不要にすることができる。
【０００８】
画像の誤差を考慮した差分の検出方法としては、以下の方法を用いることができる。（１）画像内に監視対象枠を設け、誤差の発生しやすい部分を意図的に除去する。（２）過去の画像の平均をとり、誤差による動体検出を発見し難くする。（３）固定の基準画像を持ち、その基準画像とその他対象の画像を比較することで真の動体のみを発見する。
【発明の効果】
【０００９】
本発明によれば、保存済の動画像の中から動体を発見する際の利用者の負担を軽減することができる。また、発見に関する精度を上げることができる。
【発明を実施するための最良の形態】
【００１０】
本発明の実施の形態による画像差分検出システムについて、図面を参照しつつ説明を行う。図１は、本実施の形態による画像差分検出システムの一構成例を示す機能ブロック図である。本実施の形態による画像差分検出システムは、専用の回路などにより実行される場合もあるが、画像処理を行うコンピュータ０１上で実行されるプログラムにより実現されるのが一般的である。
【００１１】
図１に示すように、本実施の形態による画像差分検出システムを構成するコンピュータ０１は、ハードディスク又はリムーバブルディスクなどにより構成され、例えばデジタルビデオカメラなどにより撮影された動画像に基づく画像ファイルを保存する画像ファイル保存部０２と、プログラムを実行するためのワーク領域（ＲＡＭなどの高速メモリ）０３と、ハードディスク又はリムーバブルディスクなどにより構成され、上記動画像から切り出され差分の有無又は量に基づいて選択された例えば静止画像を保存する差分画像ファイル保存部０４と、全体を制御するＣＰＵ６と、を有する。尚、画像ファイル保存部を構成するハードディスク／リムーバブルディスク０２と差分画像保存部を構成するディスク０４とは同じであっても異なる記憶領域に記憶されていれば良い。画像ファイル保存部０２と差分画像ファイル保存部０４のいずれか又は他の記憶部には、ＯＳや差分検出用のアプリケーションソフトウェアなどが格納される。差分検出ソフトウェア０５がワーク領域０３に展開され、ＣＰＵの制御のもとで動作する。
【００１２】
図２は、本実施の形態による画像差分検出システムが動作した結果として得られる画像の様子を示す模式的な図である。図１も参照しつつ説明を行う。図２に示すように、画像ファイル保存部０２に記憶された動画像を切り出してワーク領域（メモリ）０３に読み込まれた例えば静止画像１１、１２は、差分検出ソフト０５によって双方が比較される。比較は、全体の画像の比較、画像中の特徴点の比較、輝度、ＲＧＢなどの色度、彩度などを個別に、或いは総合的に比較しても良い。例えば、後にも述べるが、図２において木の右側の一部領域に有意な変化が現れ易いことがあらかじめわかっている場合には、木の右側の一部領域を画定する枠等を特徴点として設け、領域内の画像のみを比較対象としても良い。また、木の葉先の細かい揺れによる変化を除外したい（差分画像ファイル保存部０４に保存したくない）場合には、画像の上半分の色度（ＲＧＢ）の変化について、特にＧ（緑色）成分の変化を微小に評価する（しきい値を高くする）ようにしても良い。この比較処理の結果、画像１１、１２の差分が予め指定したしきい値であって両画像間に差がある、すなわち差分として認められる差分の下限のしきい値未満の場合（この場合は、変化が認められないと判定する）には、今回の比較に用いた時系列的に後の方の画像１２を含む次の２枚の比較対象画像である画像１２と画像１３との比較処理を実行する。比較対象画像は一般的には静止画像であるが、動画像同士を比較しても良い。
【００１３】
画像１２、１３の比較で変化が確認できなければ、次の２枚の画像１３、１４の比較に実行を移す。このようにして、順次、比較画像をシフトしていく。例えば、画像１３と画像１４との間に、予め指定した差分の下限のしきい値以上の変化量を検出した場合は、変化が認められた方の（時系列的に後の方の）画像１４を差分画像ファイル保存部０４に保存する。
【００１４】
さらに、２枚の画像の比較と、予め指定した差分の下限のしきい値以上の変化量が検出された場合のみ画像の保存を繰り返し行うことにより、差分画像ファイル保存部０４内には差異を確認された画像のみ残ることになる。この際、差分画像ファイル保存部０４に保存された画像データと動画像データとを、例えば時刻データなどの目印となるデータ（関連付け情報と称する）により関連付けしておく。差分画像ファイル保存部０４に保存されている画像データは画像ファイル保存部０２内の動画像データと比較してデータ量が非常に少ないため、差分画像ファイル保存部０４に保存されている画像データと関連付けされている時刻データを検索キーとして目印にして画像ファイル保存部０２内の画像データを素早く検索することができる。尚、時刻データによる関連付けが無い場合でも、時系列に沿ってデータが保存されていくため、差分画像ファイル保存部０４に保存されている画像データに基づいて画像ファイル保存部０２内の画像データを検索する処理が簡単にできる。尚、ここでは、２枚の画像の差分を検出したが、３枚以上の画像についてまとめて差分を検出する処理を行っても良い。差分の検出に関する手法としては、数フレーム分の画像を比較することにより、木のゆれなどの自然な変化のように差分が緩やかに変化する場合と、突然に人が出現した場合のようにあるフレームにおいて急激に差分が変化する場合とを区別し、目的に応じて前者の差分又は後者の差分の少なくともいずれか一方を真の差分として取り扱う方法もある。要するに差分の変化量を監視する方法である。前者の差分と後者の差分とを識別可能な状態で保存することも可能である。このようにすることで、緩やかな変化を検出する或いは急激な変化を検出するなどの目的に応じた差分を検出し、後に利用することができる。
【００１５】
図３は、差分検出ソフトウェア０５による処理の流れを示すフローチャート図である。図３に示すように、差分検出ソフトウェア０５の処理を開始し画像ファイル保存部０２から画像を１枚読み込み（ステップ３０１）、読み込んだ１枚の画像を基準画像とする（ステップ３０２）。次に画像ファイル保存部０２から画像をもう１枚読み込み（ステップ３０３）、それを比較対象画像とする（ステップ３０４）。基準画像と比較対象画像とを比較し（ステップ３０５）、双方の画像が一致する（予め指定した差分の下限のしきい値未満である）場合は、比較対象画像を差分画像ファイル保存部０４に保存する（ステップ３０６）。次に、今回比較対象画像として使用した画像を基準画像にする（ステップ３０７）。画像ファイル保存部０２に、まだ読み込んでいない画像が存在するか否かをチェックし（ステップ３０８）、まだ読み込んでいない画像が存在する場合は、再度、画像ファイル保存部０２から画像を１枚読み込み（ステップ３０３）、読み込んだ画像を比較対象画像とし（ステップ３０４）、以降、同様の比較処理を継続して実行する。画像ファイル保存部０２にまだ読み込んでいない画像が存在しなければ（ある単位で全ての画像を読み込んでいれば）処理を終了する。
【００１６】
以上、本実施の形態による画像差分検出システムによれば、動画像のような元画像データのうちから切り出した例えば静止画像などを時系列的にサンプリングし、時系列的に近接した画像の比較に基づく画像の差分を検出し、この差分がある値以上になった画像のみを元画像データと対応付けして別途保存することにより、動体などの大きな動きのあった元画像の保存場所（位置、時間など）を検索することが容易になる。
【００１７】
尚、図３に示す処理において、ステップ３０７の処理を省略してステップ３０８に進む処理を行う方法もある。このステップ３０７の処理を行わない場合は、基準画像の置き換えを行う必要がないため処理が簡単化するという利点がある。この場合でも、基準画像とその他の対象画像とを比較することにより真の動体のみを発見できる。但し、上記のステップ３０７をスルーしない処理と比較すると、例えば時系列的に連続してわずかな変化が起こっている場合に、ある時点で急にしきい値を越える可能性があり、その直前の画像との差分はそれほど大きくないにもかかわらず突然動体とみなされる可能性がある。
【００１８】
また、上記実施の形態においては、図２に示すように対象画像として画像全体を比較対象とする例について説明したが、画像内の一部領域を画定する枠（２０１、２０２、２０３、２０４）内の画像のみを比較対象とすることも可能である。また、枠は１枚の画像に関して複数指定することも可能である。枠内のみを比較対象とし枠以外の画像部分については比較の対象外とすることにより画像の中に含まれる誤差になりうる画像部分を予め比較対象から除外することができ、より精度の高い比較が可能となる。例えば、図２の一番右側の画像１４においては、枠２０４に人物像２０５が突然出現するため、その前の枠２０３内の画像との差分が全体画像に比べて枠内で非常に大きくなり、差分を発見しやすくなる。尚、枠という概念の他に、画像データの特徴部分を抽出し、この特徴部分の比較に基づいて差分を検出する方法もある。また、動画像データがある程度予測できるデータである場合には、基準画像として固定の基準画像を１または複数だけ用いる方法を採用することも可能である。
【００１９】
次に、本発明の第２の実施の形態による画像差分検出システムについて図面を参照しつつ説明を行う。第１の実施の形態による画像差分検出システムにおいては、例えば図２の画像１１と画像１２とを比較する際に、画像１２に木の葉の揺れなど本質的でない些細な動きが生じただけで動体と判断してしまう可能性がある。本実施の形態による画像差分検出システムにおいては、かかる誤差を考慮している。
【００２０】
図４及び図５は、本実施の形態による画像差分検出システムに用いられる差分検出ソフトウェア０５において、誤差を考慮した画像差分検出処理の流れを示すフローチャート図である。図３に示す差分検出ソフトウェア０５の基準画像とするステップ３０２は、画像ファイル保存部０２から画像１枚を読み込み、それを基準画像にする。これに対して、本実施の形態による画像差分検出処理においては、１枚の画像に加えてさらに複数枚（ｎ−１枚）の画像を読み込み（ステップ４０１）、読み込んだ合計ｎ枚の画像の平均をとり（ステップ４０２）、これらの平均をとった平均画像データを基準画像データとする（ステップ４０３）。
【００２１】
同様に、差分検出ソフトウェア０５の基準画像を更新するステップ３０７（図３）の代わりに、平均化し基準画像とした元々のｎ枚の画像から、最も古い画像と比較画像とを入れ替えて再度平均をとり（ステップ５０１）、この画像を基準画像とする（ステップ５０２）。このように、本実施の形態による画像差分検出システムによれば、ｎ枚の画像の平均を基準画像とする処理を行うことにより、木の葉の揺れなどで生じる誤差を検出してしまう可能性を低減することができ、動体発見課程における誤差に起因する精度の低下を抑制することができる。
【００２２】
以上、本発明の各実施の形態による画像差分検出システムによれば、既に存在する画像をコンピュータに読み込みそれらを比較することにより、利用者の負担が少ない状態で動体を発見することが可能であるという利点がある。
【００２３】
以下に対象とするシステムのより具体的な例を示す。第１の具体例は、コンビニエンスストアなどにおいて常に録画を行っている監視システムにおける撮像された画像データを保存しておき、事件が発生した場合には大きな動きがあるため、この動体画像のみを別の画像ファイルとして保存し、この画像ファイルに基づいて上記画像データを参照することで事件の捜査情報として活用することができる。
【００２４】
また、美術館などにおいて展示品の異常に気付いた際に、保存しておいた画像における異常に関連する動体画像を探すことにより、異常発生時刻を迅速に調査することができる。
【００２５】
以上は一例であるが、一般化して説明すれば、既に保存された画像を見返す必要がある様々な場面において、本発明を適用することが可能である。さらに、差分画像を動画像ファイルのインデックスとして用いることも可能であり、動画像ファイルのインデックス作成技術に応用することもできる。
【００２６】
尚、本実施の形態における各ステップをコンピュータに実行させるためのプログラム及びそれを記憶した記憶媒体も本発明の範疇に入るものである。
【産業上の利用可能性】
【００２７】
本発明は、監視システムや異常発生検知システムなどに適用することができる。また、動画像ファイルの編集やインデックス作成に用いることもできる。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施の形態による画像差分検出システムの一構成例を示す機能ブロック図である。
【図２】本発明の実施の形態により画像の比較を行った様子を示す図である。
【図３】本発明の第１の実施の形態による画像差分検出システムに用いられる差分検出ソフトウェアに基づく差分の検出開始からの処理の流れを示すフローチャート図である。
【図４】本発明の第２の実施の形態による画像差分検出システムに用いられる差分検出ソフトウェアに基づく差分の検出開始からの処理の流れを示すフローチャート図である。
【図５】第１の実施の形態における比較対象画像を基準画像とする処理を変更した処理の流れを示すフローチャート図である。
【符号の説明】
【００２９】
０１…検出機器（コンピュータ）、０２…画像ファイル保存部（ハードディスクまたはリムーバブルディスク）、０３…記憶装置（メモリ）、０４…差分画像ファイル保存部（ハードディスクまたはリムーバブルディスク）、０５…差分検出ソフトウェア、１１〜１４…画像、２０１〜２０４…枠、２０５…人物像。
【図１】
2006094293.tif 000003
【図２】
2006094293.tif 000004
【図３】
2006094293.tif 000005
【図４】
2006094293.tif 000006
【図５】
2006094293.tif 000007