(57)【要約】  【課題】  多数のフレーム画像を閲覧する際の効率を向上する。  【解決手段】  所定時間範囲に属する複数のフレーム画像を取得し、各フレーム画像と基準フレーム画像との差分により動きを検出し（Ｓ１４）、前記所定時間範囲における動きの発生頻度を求め（Ｓ１５）、求めた発生頻度を視認可能に表示させる（Ｓ１７）。【選択図】  図４
2005339202.tif 000002
【特許請求の範囲】
【請求項１】
所定時間範囲に属する複数のフレーム画像を取得する取得手段と、
各フレーム画像と基準フレーム画像との差分により動きを検出する検出手段と、
前記所定時間範囲における動きの発生頻度を求める頻度算出手段と、
求めた発生頻度を視認可能に表示させる表示制御手段と、
を備える画像表示装置。
【請求項２】
請求項１記載の画像表示装置であって、
前記頻度算出手段は、動きの発生頻度を相関により求める画像表示装置。
【請求項３】
請求項１又は２記載の画像表示装置であって、
前記表示制御手段は、求めた発生頻度を色で表現する画像表示装置。
【請求項４】
請求項１又は２記載の画像表示装置であって、
前記表示制御手段は、求めた発生頻度を数値で表現する画像表示装置。
【請求項５】
請求項１又は２記載の画像表示装置であって、
前記表示制御手段は、求めた発生頻度を文字で表現する画像表示装置。
【請求項６】
所定時間範囲に属する複数のフレーム画像を取得し、
各フレーム画像と基準フレーム画像との差分により動きを検出し、
前記所定時間範囲における動きの発生頻度を求め、
求めた発生頻度を視認可能に表示させる画像表示方法。
【請求項７】
コンピュータに、請求項１記載の各手段を実行させる為の画像表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を表示する為の画像表示装置、画像表示方法及び画像表示プログラムに関する。
【背景技術】
【０００２】
犯罪防止を目的とした映像監視システムが知られている。この映像監視システムは、所定の位置に設置されたカメラにより撮影された映像（画像）をリアルタイムに再生する機能や、異常を検知した映像のみを検索する機能を提供している。
【０００３】
監視映像は、テレビ番組や映画等のコンテンツと異なり、１台のカメラについて、数日に及ぶ長時間のコンテンツであり、かつ監視領域を複数台のカメラで撮影する場合は、そのコンテンツはさらに膨大な量となる。このため、ユーザに対して、効率の良い閲覧方法を提供することが、映像監視システムの主要な課題となっている。
【０００４】
監視映像を効率良く閲覧する方法の一つとして、ユーザが映像を再生させる前に、どのようなイベントが発生したかを示す概要を先に提示し、提示した概要からユーザが気になる映像のみを再生するという方法が考えられている。この方法は、例えば、図８に示す通りであり、シーン中のイベントを１枚の動き内容画像５２にまとめ、シーンの代表画像５１とともに表示するというものである。これにより、全ての映像を再生することなく、被写体にどのような動きが発生したかを把握することができる（例えば、特許文献１参照）。
【０００５】
【特許文献１】特許第３４３２３４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところが、特許文献１の映像再生方法は、輪郭画像をそれ以前に作成した動き内容画像に重ね合わせてこれを新たな動き内容画像とし、この重ね合わせ処理を繰り返し行うことによって順次新たな動き内容画像を作成する。
例えば、図９のように、毎フレームの輪郭がずれていれば、動きを把握することが可能である。ところが、図１０のように、物品が特定の場所から失われたような場合、同じ位置、同じ形の輪郭が、毎フレーム、得られるため、重ね合わせても、ユーザに対して、動きの内容（物品が失われたこと）が伝わり難い。これは、輪郭画像から動き内容画像を作成する際に、以前の動き内容画像を考慮せずに重ね合わせているために生じる問題である。
つまり、前記映像再生方法は、シーンという短期的な動きの概要の表示に特化したものであり、長期的な動きの概要の表示を考慮したものではない。
【０００７】
本発明は、上記事情に鑑みてなされたものであって、多数のフレーム画像を閲覧する際の効率を向上できる画像表示装置、画像表示方法及び画像表示プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像表示装置は、所定時間範囲に属する複数のフレーム画像を取得する取得手段と、各フレーム画像と基準フレーム画像との差分により動きを検出する検出手段と、記所定時間範囲における動きの発生頻度を求める頻度算出手段と、求めた発生頻度を視認可能に表示させる表示制御手段と、を備える。上記構成によれば、所定時間範囲における動きの発生頻度を求める頻度算出手段を備えることにより、動きの発生頻度に応じた閲覧が可能となる為、多数のフレーム画像を閲覧する際の効率を向上できる。
【０００９】
また、本発明の画像表示装置は、前記頻度算出手段が、動きの発生頻度を相関により求めるものである。上記構成によれば、頻度算出手段が、動きの発生頻度を相関により求めることにより、短期的な変化は情報として反映されにくくなる為、長期的な変化を容易に把握できる。
【００１０】
また、本発明の画像表示装置は、前記表示制御手段が、求めた発生頻度を色で表現するものである。上記構成によれば、発生頻度を直感的に把握しやすくなる。また、本発明の画像表示装置は、前記表示制御手段が、求めた発生頻度を数値で表現するものである。上記構成によれば、発生頻度を定量的に把握できる。また、本発明の画像表示装置は、前記表示制御手段が、求めた発生頻度を文字で表現するものである。上記構成によれば、発生頻度を容易に把握できる。
【００１１】
また、本発明の画像表示方法は、所定時間範囲に属する複数のフレーム画像を取得し、各フレーム画像と基準フレーム画像との差分により動きを検出し、前記所定時間範囲における動きの発生頻度を求め、求めた発生頻度を視認可能に表示させるものである。また、本発明の画像表示プログラムは、コンピュータに、本発明の画像表示装置の各手段を実行させる為のプログラムである。
【発明の効果】
【００１２】
本発明によれば、所定時間範囲における動きの発生頻度を求めることにより、動きの発生頻度に応じた閲覧が可能となる為、多数のフレーム画像を閲覧する際の効率を向上できる。
【発明を実施するための最良の形態】
【００１３】
（第１の実施形態）
［システム概要］
図１は、本発明の第１の実施形態を説明するための映像監視システムを示す構成図である。図１に示す通り、映像監視システムは、監視領域Ｅ１、Ｅ２、Ｅ３を撮影するカメラ（ＣＣＤカメラ）１１ａ、１１ｂ、１１ｃと、コンピュータ１２と、ディスプレイ１３と、を備えて構成される。カメラ１１ａ、１１ｂ、１１ｃは、個々の監視領域Ｅ１、Ｅ２、Ｅ３を撮影して、コンピュータ１２に入力するものである。コンピュータ１２は、ユーザの関心がある時間範囲において発生した被写体の動きの概要をディスプレイ１３に表示させるように機能する。
【００１４】
［インタフェース］
図２は、図１に示すディスプレイの表示画面例を示す図であり、ディスプレイ１３における操作画面のグラフィカル・ユーザ・インタフェースを示している。図２に示すように、操作画面３０は、時間を示すタイムバー３１、開始カーソル３２、終了カーソル３３、概要画像の表示部３４を備えて構成される。開始カーソル３２と終了カーソル３３は、ユーザが関心のある時間範囲を指定する際に、用いられる。ここでは、開始カーソル３２で指定されるフレーム画像を基準フレーム画像とする。
【００１５】
［内部構成］
図３は、図１に示すコンピュータの構成を示す図である。図３に示すように、コンピュータ１２は、コンピュータ１２内装置の全体を制御するＣＰＵ（中央演算処理装置）２１と、主記憶装置２２と、ハードディスク等の二次記憶装置２３と、マウス２４と、ビデオキャプチャボード２５と、ビデオ出力ボード２６と、を備えて構成される。
【００１６】
ＣＰＵ２１は、プログラムの実行により、ユーザが関心のある時間範囲（所定時間範囲）に属する複数のフレーム画像を取得する手段、各フレーム画像と基準フレーム画像との差分により動きを検出する手段、所定時間範囲における動きの発生頻度を求める手段、求めた発生頻度を視認可能に表示させる手段、として機能するものである。
【００１７】
二次記憶装置２３は、各カメラ１１ａ、１１ｂ、１１ｃ（ここでは、一つを代表させて、カメラ１１とする）で撮影された映像をフレーム単位で格納する。また、二次記憶装置２３は、各フレーム画像と基準フレーム画像との差分により動きを検出した動き画像、及び、動き画像を加算した、被写体の動きの概要を示す概要画像を格納するものである。なお、動き画像及び概要画像は、主記憶装置２２にも格納される。マウス２４は、ユーザが関心のある時間範囲及び基準フレーム画像を、ディスプレイ１３上でカーソルを使って指定する為のポインティングデバイスである。
【００１８】
ビデオキャプチャボード２５は、カメラ１１により撮影した画像を、コンピュータ１２に取り込むインタフェースの役割をするものである。ビデオ出力ボード２６は、ユーザが関心のある時間範囲における被写体の動きの発生頻度分布を、ディスプレイ１３へ出力するインタフェースの役割をする。
【００１９】
［動作］
図４は、第１の実施形態の概要画像の表示手順を示すフローチャートであり、コンピュータ１２による被写体の動きの概要表示処理を示す。まず、ユーザが関心のある時間範囲を取得する（ステップＳ１１）。この時間範囲は、マウス２４によりユーザが操作画面上のタイムバー３１に沿って指定するものであり、図２に示すように、開始カーソル３２と終了カーソル３３の位置により決められる。
【００２０】
次に、変化の有無を判断する際に基準となる基準フレーム画像を指定して取得する（ステップＳ１２）。この基準フレーム画像は、ユーザが指定したタイムバー上の開始カーソル３２の位置により任意に決められる。また、被写体の動きの概要を示す概要画像の各画素を、０で初期化する（ステップＳ１３）。
【００２１】
そして、指定された時間範囲の先頭のフレーム画像から順次、動体分布を作成する（ステップＳ１４）。動体分布の作成方法としては、まず、図５に示すように、動体分布作成対象の対象フレーム画像４１とユーザにより指定された基準フレーム画像４２との差分画像を求める。次に、この差分画像の各画素に対して閾値判定（差分画像を指定時間内で面積分したものについて閾値判定）を行い、閾値以上の輝度変化を有する場合は動き有り、閾値以下の場合は動き無し、と判定する。この判定結果に基づいて動体分布４３を生成する。
【００２２】
次に、ステップＳ１４において生成した動体分布４３を、概要画像に加算する（ステップＳ１５）。そして、全てのフレーム画像に関して、動体分布の生成と動体分布の概要画像に対する加算処理が終わり、所定時間範囲における動きの発生頻度を算出した後（ステップＳ１６）、発生頻度に応じて色を付けるなどして概要画像を表示させる（ステップＳ１７）。
【００２３】
（第２の実施形態）
第１の実施形態では、人物の動作等、短期的な変化が反映された概要画像が作成される。第２の実施形態では、短期的な変化の影響を少なくし、長期的な変化が強調された概要画像を作成する場合について説明する。
【００２４】
図６は、第２の実施形態の概要画像の表示手順を示すフローチャートであり、コンピュータ１２による被写体の動きの概要表示処理を示す。まず、ユーザが関心のある時間範囲を取得する（ステップＳ２１）。この時間範囲は、前述したように、ユーザが指定した開始カーソル３２と終了カーソル３３の位置により決まる。
【００２５】
次に、変化の有無を判断する際に基準となる基準フレーム画像を指定して取得する（ステップＳ２２）。この基準フレーム画像は、ユーザが指定した開始カーソル３２の位置により決まる。また、被写体の動きの概要を示す概要画像の各画素を、０で初期化する（ステップＳ２３）。
【００２６】
そして、指定された時間範囲の先頭のフレーム画像から順次、動体分布を作成する（ステップＳ２４）。動体分布の作成方法としては、まず、図５に示すように、動体分布の作成対象の対象フレーム画像４１とユーザにより指定された基準フレーム画像４２との差分画像を求める。次に、この差分画像の各画素に対して閾値判定を行い、閾値以上の輝度変化を有する場合は動き有り、閾値以下の場合は動き無し、と判定する。この判定結果に基づいて動体分布４３を生成する。
【００２７】
次に、生成した動体分布と主記憶装置２２に保存されている直前の動体分布の相関を取る（ステップＳ２５）。図７では、動体分布Ａのフレーム画像４４と動体分布Ｂのフレーム画像４５において、画素毎に相関を取り、相関分布のフレーム画像４６（相関画像）を生成する。
【００２８】
双方の動体分布Ａ、Ｂにおいて、長期的なスパン内で動きのあった領域のみが、相関分布のフレーム画像４６上で値を持つ。従って、相関分布は、変化の連続性を示すものであり、人物の動作等、短期的な変化は、情報として反映されず、物品が失われた等、長期的な変化が反映される。なお、ステップＳ２４で生成した動体分布は、主記憶装置２２に保存しておく。
【００２９】
ステップＳ２５で生成した相関分布のフレーム画像４６を、概要画像に加算する（ステップＳ２６）。そして、全てのフレーム画像に関して、相関画像の生成と相関分布の概要画像に対する加算処理が終わり、所定時間範囲における動きの発生頻度を算出した後（ステップＳ２７）、相関により求めた動きの発生頻度に応じて色を付けるなどして概要画像を表示させる（ステップＳ２８）。
【００３０】
なお、概要画像における動きの発生頻度、つまり被写体の動きの変化回数は、色に限らず、数値、文章等で表現しても良い。色で表現すれば発生頻度を直感的に把握しやすくなり、数値で表現すれば発生頻度を定量的に把握でき、文字で表現すれば発生頻度を容易に把握できる。また、上記説明では、差分画像の各画素の輝度値について閾値判定を行ったが、輝度値以外の画素値について閾値判定を行ってもよい。
【００３１】
以上説明したように、ユーザの関心がある時間範囲における動きの発生頻度を求めることにより、例えば、動きの頻度の高い領域において、初めて動きのあったシーンから再生して確認する等、動きの発生頻度に応じた閲覧が可能となる為、多数のフレーム画像を閲覧する際の効率を向上できる。
【産業上の利用可能性】
【００３２】
本発明は、所定時間範囲における動きの発生頻度を求めることにより、動きの発生頻度に応じた閲覧が可能となる為、多数のフレーム画像を閲覧する際の効率を向上できる効果を有し、画像を表示する為の画像表示装置、画像表示方法及び画像表示プログラム等に有用である。
【図面の簡単な説明】
【００３３】
【図１】本発明の第１の実施形態を説明するための映像監視システムを示す構成図
【図２】図１に示すディスプレイの表示画面例を示す図
【図３】図１に示すコンピュータの構成を示す図
【図４】第１の実施形態の概要画像の表示手順を示すフローチャート
【図５】動体分布の作成方法を示す説明図
【図６】第２の実施形態の概要画像の表示手順を示すフローチャート
【図７】相関分布のフレーム画像の作成方法を示す説明図
【図８】従来の監視画像の表示例を示す説明図
【図９】従来の動き内容画像の例を示す図
【図１０】従来の動き内容画像の例を示す図
【符号の説明】
【００３４】
１１Ａ、１１Ｂ、１１Ｃ  カメラ
１２  コンピュータ
１３  ディスプレイ
２１  ＣＰＵ
２２  主記憶装置
２３  二次記憶装置
２４  マウス
２５  ビデオキャプチャボード
２６  ビデオ出力ボード
４１  対象フレーム画像
４２  基準フレーム画像
４３  動体分布画像
４４  動体分布Ａ
４５  動体分布Ｂ
４６  相関分布
５１  代表画像
５２  動き内容画像
６１  動体分布Ａ
６２  動体分布Ｂ
６３  動体分布Ｃ
６４  動体分布Ｄ
６５  動体分布Ｅ
６６  動体分布Ｆ
【図１】
2005339202.tif 000003
【図２】
2005339202.tif 000004
【図３】
2005339202.tif 000005
【図４】
2005339202.tif 000006
【図５】
2005339202.tif 000007
【図６】
2005339202.tif 000008
【図７】
2005339202.tif 000009
【図８】
2005339202.tif 000010
【図９】
2005339202.tif 000011
【図１０】
2005339202.tif 000012