(57)【要約】【課題】  本発明の目的は、監視対象となる場所に生ずるさまざまな監視イベントを検出し、そのイベントの種類に応じて映像を分類・整理して蓄積し、ユーザが閲覧・検索する際に要する時間を大幅に短縮するインターフェイスを備えた、画像記憶装置の提供にある。【解決手段】  現在入力中の画像を表示する入力画像手段と入力画像に対して監視イベントを検出する監視イベント検出手段と検出した監視イベントに基づいて入力画像を記憶するか判定する録画判定手段と録画判定手段で「録画する」と判定された画像を記憶する画像記憶手段と記憶した画像の格納場所と、検出された監視イベント情報を記録する監視イベント記憶手段とユーザの閲覧要求を満たす監視イベント情報を検索し閲覧する画像を選別し、監視イベント情報とともにレイアウトする画像選別配置手段とレイアウトされた画像または監視イベント情報をひとつまたは複数表示する監視情報表示手段とを具備する。【選択図】  図１０
2006129519.tif 000002
【特許請求の範囲】
【請求項１】
入力される映像信号をディジタル化し時系列画像として取り込む手段と
現在入力中の画像を表示する入力画像手段と
入力画像から監視イベントを検出する手段と
検出した監視イベントに基づいて入力画像を記憶するか判定する手段と
「録画する」と判定された画像を記憶する手段と
記憶した画像の格納場所と対応する監視イベント情報を関連付けて記録する手段と
ユーザの閲覧要求に従って監視イベント情報と画像を検索する手段と、
選別された監視イベント情報と画像をレイアウトする手段と
レイアウト結果をひとつまたは複数表示する手段と
を具備することを特徴とする画像記憶装置。
【請求項２】
請求項１記載の監視イベントを検出する手段において、
入力フレーム画像中において相違度大と判定される領域数が所定の値を超えたときに、「移動物体」または「照明変化」という監視イベントが有ると判定することを特徴とする画像記憶装置。
【請求項３】
請求項１記載の監視イベントを検出する手段において、
入力フレーム画像中において相違度大と判定される領域数の時間変動が所定の値を超えたときに、「背景構造の変化」という監視イベントが有ると判定することを特徴とする画像記憶装置。
【請求項４】
請求項１記載の監視イベントを検出する手段において、
入力フレーム画像中において肌色と判定される領域数が所定の値を超えたときに、「顔候補領域あり」という監視イベントが有ると判定することを特徴とする画像記憶装置。
【請求項５】
請求項２の相異度は、
ある過去の画像と現在入力された画像のそれぞれから、ブロック毎に色または輝度の平均値を計算し、対応するブロック間の差の絶対値をそれぞれ求め、それらの最大値とすることを特徴とする画像記憶装置。
【請求項６】
請求項２の相異度は、
ある過去の画像と現在までの入力画像について、ブロック毎に色または輝度の平均値について対応するブロック間の差の絶対値をそれぞれ求めて得られた、時系列値の移動平均値とすることを特徴とする画像記憶装置。
【請求項７】
請求項１記載の画像記憶判定手段において、
ユーザが登録した監視イベントが生じたときのみ録画することを特徴とする画像記憶装置。
【請求項８】
請求項１記載の画像記憶判定手段において、
検出した監視イベントの強度の変化に応じて録画間隔を動的に変化させることを特徴とする画像記憶装置。
【請求項９】
請求項１記載の画像記憶判定手段において、
検出した監視イベントの種類に応じて、あらかじめ決めておいた複数の録画間隔のパターンを切り替えることを特徴とする画像記憶装置。
【請求項１０】
請求項１記載の画像記憶手段の媒体は、
ハードディスク、DVD-RAM、フラッシュメモリのいずれかであることを特徴とする画像記憶装置。
【請求項１１】
請求項１記載の監視イベント情報として、
イベントの識別ID、場所、時間、イベントを表す特徴量、イベントの判定に用いた計算結果を各領域ごとに格納し、監視イベントの種類や特徴量に検索・分別できるようにしたことを特徴とする画像記憶装置。
【請求項１２】
請求項１記載の監視イベント情報と画像をレイアウトする手段として、
時系列で格納されている監視イベント情報と画像について、代表画像を一枚あるいは複数用いて、これらを二次元的に配置することを特徴とする画像記憶装置。
【請求項１３】
請求項１２記載の監視イベントの代表画像として、
監視イベントが発生している時間区間の中から一番最初、一番最後、あるいは、ちょうど中間にあたるフレーム画像を用いることを特徴とする画像記憶装置。
【請求項１４】
請求項１２記載の監視イベントの代表画像として、
監視イベントを表す特徴量が極大あるいは極小あるいは急激に変化している箇所のフレーム画像を用いることを特徴とする画像記憶装置。
【請求項１５】
請求項１記載の監視イベント情報と画像をレイアウトする手段として、
時系列で格納されている監視イベント情報と画像について、時間的に連続する、あるいは、近しいことを用いて、複数の単位に分類し、それに応じて物理的に近傍に配置すること、を特徴とする画像記憶装置。
【請求項１６】
請求項１５記載の監視イベント情報と画像の配置法として、日、午前・午後、時、１５分ごとなどの時間単位で、時間見だしと共に二次元的に配置すること、を特徴とする画像記憶装置。
【請求項１７】
請求項１記載の監視イベント情報と画像をレイアウトする手段として、監視イベント情報を、場所、日、午前・午後、時、１５分ごとなどの時間単位で木構造に配置し、監視イベントの内容と発生時刻を木構造の葉として配置することを特徴とする画像記憶装置。
【請求項１８】
請求項１記載の監視イベント情報と画像をレイアウトする手段として、監視イベント単位で、それに含まれるすべてのフレーム画像を時間順にアニメーションとして表示することを特徴とする画像記憶装置。
【請求項１９】
請求項１記載の監視イベント情報と画像をレイアウトする手段として、
監視イベントの過去の履歴を示す、特徴量の遷移グラフを表示することを特徴とする画像記憶装置。
【請求項２０】
請求項１記載の監視イベント情報と画像をレイアウトする手段として、監視イベントの過去の履歴を示す一覧表示を持ち、常の複数の最新代表画像が表示されるように順に入れ替えて配置することを特徴とする画像記憶装置。
【請求項２１】
請求項１記載の監視イベント情報と画像をレイアウトする手段として、請求項１２〜２０記載のレイアウト結果を二つ以上組み合わせ、それぞれの領域に対するユーザ操作に応じて、残る他の領域の表示を動的に切り替えることを特徴とする画像記憶装置。
【請求項２２】
請求項１記載の監視画像を記憶する手段とレイアウト結果を表示する手段において、
それぞれ独立させることにより、監視映像を記録しながら監視結果を閲覧することを可能としたことを特徴とする画像記憶装置。
【請求項２３】
請求項２２記載の画像記憶装置において、監視結果を閲覧する際に、現在監視記録中の状態がわかるような表示を持たせることを特徴とする画像記憶装置。
【請求項２４】
請求項１記載の監視イベント情報と画像をレイアウトする手段ならびにレイアウト結果を表示する手段において、
監視イベント情報と画像をレイアウトする手段を、監視イベント情報と画像から、請求項１２〜２１記載のレイアウト結果をHTML(Hyper Text Markup Language)データとして生成する手段とし、
レイアウト結果を表示する手段として、生成したHTMLデータを送出するWEBサーバを組み合わせ、
遠隔地であっても監視結果を簡単に閲覧可能としたこと、を特徴とする画像記憶装置。
【請求項２５】
請求項２４記載のレイアウト結果をHTMLデータとして生成する手段において、
代表画像をWEBで表示可能な画像フォーマットでフレーム毎に格納しておき、これを表示するHTMLデータとしてHTMLタグ<IMG SRC=画像データ格納パス名>を出力することにより、サーバ内部での画像データのコピー・移動をなくすこと、を特徴とする画像記憶装置。
【請求項２６】
請求項２４記載のレイアウト結果をHTMLデータとして生成する手段において、
代表画像を表示するHTMLタグ、あるいは監視イベントを表す文字列を<A HREF=別レイアウト表示？パラメータ>と</A>ではさんだ文字列として出力することにより、これをクリックするだけで簡単に移動・表示できるようにしたことを特徴とする画像記憶装置。
【請求項２７】
請求項２５、２６記載のレイアウト結果をHTMLデータとして生成する手段において、
時々刻々と追加更新される監視イベント情報と画像から、これらのHTMLデータを動的に生成する手段を有すること、を特徴とする画像記憶装置。
【請求項２８】
入力された画像から画像変化を検出する検出手段と、
上記画像変化の特徴に基づいて上記入力された画像を選択的に記憶する画像記憶手段と、上記画像変化をその特徴量に基づき分類し、該変化に関する情報と対応する画像の上記画像記憶手段の格納位置とを記憶する手段とを有することを特徴とする画像記憶装置。
【請求項２９】
請求項２８に記載の画像記憶装置において、上記変化に関する情報に基づき対応する画像を検索して表示する表示手段とを有することを特徴とする画像記憶装置。
【請求項３０】
入力された画像から監視イベントを検出する検出手段と、上記監視イベントに応じて上記画像を録画するか否か判定する判定手段と、録画すると判定された画像をディジタル信号化して記憶する手段と、記憶された画像に対応する監視イベントの情報を該監視イベントの種類に応じて分類し、該記憶された画像の格納場所情報と共に記憶する手段と、上記監視イベントに関する情報に基づき、対応する画像を検索する検索手段とを有することを特徴とする画像記憶装置。
【請求項３１】
入力された画像を表示する画像表示手段と、入力された画像から監視イベントを検出する検出手段と、上記監視イベントに応じて上記画像を録画するか否か判定する判定手段と、録画すると判定された画像を記憶する手段と、記憶された画像に対応する監視イベントの情報を該監視イベントの種類に応じて分類し、該記憶された画像の格納場所情報と共に記憶する手段と、上記監視イベントに関する情報に基づき、対応する画像を検索する検索手段と、上記監視イベントに関する情報を表示する表示手段とを有し、表示画面上で選択された監視イベントに関する情報に基づき、対応する画像を表示することを特徴とする監視システム。
【請求項３２】
入力された画像から監視イベントを検出し該画像をメモリに録画するか否か判定するステップと録画すると判定した画像をメモリに記憶するステップと、記憶された画像に対応する監視イベントに係る情報を該記憶された画像と関連づけて記憶するステップと、メモリに記憶された画像から特定の監視イベントに係る情報に対応する画像を検索するステップと、検索された画像をディスプレイに表示するステップとが記録されたコンピュータ読みとり可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視映像分野で使われる映像記録装置に関わり、長時間記録した監視映像を録画時間の数十分の一で閲覧・検索が可能な画像記憶装置の提供にある。
【背景技術】
【０００２】
スーパーマーケットやコンビニエンスストア、エレベータなど、頻繁に人の出入りがありながら、そこを管理・維持する側のスタッフの目が届きにくい箇所には、防犯・検挙を目的とした監視カメラが設置されている。こうした監視システムには、集められた映像を人間に見張らせる形態（オンライン監視と呼ぶことにする）と、映像を蓄積しておいて事後必要な場合（犯罪発生等）に閲覧検索をする形態（蓄積型監視と呼ぶことにする）の大きく２つが在る。蓄積型監視の形態は、オンライン監視に比べて人件費がほとんどかからないため、広く利用されている。この蓄積型監視では、取得された映像の蓄積に、主としてタイムラプスビデオレコーダが使われる。
タイムラプスビデオレコーダとは、通常のビデオカムコーダを基に、数百時間分の映像を蓄積できるよう、通常秒当たり３０回行うフレーム画像録画の間隔を１秒間に数フレーム程度からに広げて、散発的に映像を記録できるように改変したものである。一般的なビデオカムコーダベースのタイムラプスビデオレコーダでは、１２０分録画可能なテープメディアを使って１フレーム／秒で録画することにより約１８０時間（約８日間分）の記録が可能である。フレーム録画の間隔を広げればさらに長時間の記録が可能であるが、監視対象が記録映像から欠落してしまう危険があるために実際の運用上は１秒以上間隔を広げることはほとんどない。また、１２０分以上の記録時間を持つテープメディアを使うことも可能であるが、テープメディアの耐久性（破断）の問題があるため１２０分テープが使われる。こうした状況から、ビデオカムコーダベースのタイムラプスビデオレコーダの最長録画時間はほぼ１８０時間となっている。映像記録はテープの先頭から終わりに向かって順に行われる。テープの終わりまで記録すると、自動的に巻き戻しを行い、テープの先頭から上書きを行って行く。このようにして、常に最大１８０時間前までの映像を蓄えるようになっている。映像の閲覧方法は、通常のビデオカムコーダとほぼ同じである。ただ、そのまま普通に録画されたビデオテープと同じように再生すると３０倍速になってしまうので、秒数枚の割合でも再生できるようになっている。
また、一部のタイムラプスビデオレコーダでは、記録方式をデジタル化しハードディスク上に記録するものもある。これは、VHSビデオカムコーダベースのタイムラプスビデオレコーダでは、機械的に記録・停止を繰り返してテープヘッドが故障したり、再生時にテープメディアが劣化したりといった問題点を解決するものである。こうしたデジタル記録方式を採用したものは、従来のテープメディアに記録する方式のものと区別してデジタル・タイムラプス・ビデオレコーダと呼ばれる。
このようにタイムラプスビデオレコーダでは長時間の蓄積が可能であるが、蓄積した映像の再生・閲覧には大きな問題があった。まず、第一に、１８０時間分すべてを確認するのに記録メディアの持つ録画時間（テープでは１２０分）の数倍の時間がかかってしまうという点である。第二に、監視映像として意味のあるものと無いものが同時かつ交互に、記録・再生されており、探すべき箇所の整理がされない状態で検索・閲覧を行うため、非常に効率が悪いという点である。現状では、テープ先頭から単純に再生を行い、漠然とした閲覧を行わざるを得ないため、目的とする映像を見落としやすい状況になっている。
以上のように、タイムラプスビデオレコーダでの蓄積映像の閲覧では、長時間に渡って映像の判別に集中することが求められ、ユーザの苦痛となっていた。
これに対し、赤外線センサのような人感センサと組み合わせるアプローチが既にあり、解決が可能であるように思われるが、(1) VHSビデオカムコーダベースのタイムラプスビデオレコーダでは、録画・停止操作を行う機械部分が頻繁なオンオフによって故障率が激増する、(2) 人感センサの有効距離やセンサの感度の点で信頼性が乏しい、(3)新たな設置コストがかかる、などの問題点から、実際のタイムラプスビデオレコーダの運用ではほとんど使われておらず、問題の解決には至っていなかった。
従来のタイムラプスビデオレコーダにおける根源的な問題点は、入力される映像を何ら分類すること無く、単に時間順で蓄積することにある。もし、人間が直接監視を行なってメモをとるのであれば、監視場所に生ずる変化（例：人の出入り、備品配置の変化など）に合わせて分類・整理を行なうなどして後で探しやすくするであろう。また、閲覧の場合にも、探したい内容（例：侵入者の顔映像、備品の破壊・盗難の有無）に合わせて、要求に合いそうな部分だけを大まかに取り出しておいて、そこからじっくり探すといった工夫を施す。監視を行なう時間が長くなればこうした工夫はいっそう重要である。
タイムラプスビデオレコーダでも、先に述べたような人間が行なっている整理・分類・絞込みを行なうことができれば、これまで検索にかかっていた時間を大幅に減らすともに、ユーザにかかる精神的な負担を著しく低減することが可能になる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
以上のように、従来の画像記憶装置（タイムラプスビデオレコーダ）は、映像を分類・整理して蓄積する方式と、目的とする映像を探すための閲覧方式に関して問題があった。
本発明が解決しようとする課題は、監視対象となる場所に生ずるさまざまな監視イベント（人の出入り、顔が映っているかどうか、環境の物理的変化など）を検出し、そのイベントの種類に応じて映像を分類・整理して蓄積し、ユーザが閲覧・検索する際に要する時間を大幅に短縮するインターフェイスを備えた、画像記憶装置、監視システム、監視方法が記録されたコンピュータ読みとり可能な記録媒体の提供にある。
【課題を解決するための手段】
【０００４】
上記の課題を解決するため、時系列に画像を入力してディジタル化する手段と現在入力中の画像を表示する入力画像手段と入力画像に対して監視イベントを検出する監視イベント検出手段と検出した監視イベントに基づいて入力画像を記憶するか判定する録画判定手段と録画判定手段で「録画する」と判定された画像を記憶する画像記憶手段と記憶した画像の格納場所と、検出された監視イベント情報を記録する監視イベント記憶手段とユーザの閲覧要求を満たす監視イベント情報を検索し閲覧する画像を選別し、監視イベント情報とともにレイアウトする画像選別配置手段とレイアウトされた画像または監視イベント情報をひとつまたは複数表示する監視情報表示手段とを具備する。
【０００５】
上記の画像記憶手段ならびに監視イベント記憶手段の媒体には、ハードディスク、DVD-RAM、フラッシュメモリのランダムアクセスメモリを用いる。
【０００６】
上記の監視イベント検出手段は、特開平８−２２１５７７「移動物体検出・抽出装置」に公開されている手法により、サンプリング時刻時の入力画像と過去に録画した画像間の相異度から、背景構造変化の有無、照明変化の有無、移動物体の有無などをそれぞれ監視イベントとして検出する。また、肌色領域を検出することにより、移動物体が存在するシーン中に顔の候補領域が存在するかどうかを判定することにより、「顔がカメラ側に最も向いた時点」という監視イベントを検出する。
【０００７】
上記の録画判定手段手段は、最新の監視イベントと、既に検出されている監視イベントの種類・履歴と、直前に記憶した画像の録画時刻との現在時刻との差、各種記憶手段に用いられている媒体の残り容量、ユーザが指定した最小記憶時間長などから、画像を「録画する」かどうかを判定する。
【０００８】
上記の監視イベント記憶手段は、これら監視イベントについて録画すると判定された場合に、装置内の画像が格納される場所、発生・終了した日時・フレーム映像中での位置・カメラID（場所ID）と、監視イベントを表す特徴量を所定の場所に記憶する。
【０００９】
上記の画像選択配置手段は、例えば、「検知された顔画像の一覧」、「ある１時間内に発生した監視イベントの一覧」、「在る監視イベントで録画された画像のアニメーション表示」、「監視場所の設置物の変化時のみの一覧」、「一日の監視イベントの分布」、などのユーザの閲覧要求ごとに、監視イベント情報を検索し、対応する画像を選択・配置して、ユーザが見やすいようなビューを作成する。なお、各ビュー毎の画像選択・配置に必要な、検索対象やレイアウトに関するルール・アルゴリズムはあらかじめ装置のファームウエアとして内蔵する。
【００１０】
さらに別の解決手段では、上記装置に、複数表示された画像または監視イベント情報をユーザの閲覧操作に従って同期させる手段を追加することにより、複数のビューが連携して表示されるインターフェイスを実現し、ユーザに、監視イベント情報と画像を多角的・効率的に提示する装置を実現する。
【発明の効果】
【００１１】
本発明によれば、録画データをランダムアクセス可能なメモリに記憶するので、記録と同時に閲覧を行なうことができる。  また、画像がディジタル化されるているので、録画を何回繰り返しても画質劣化が生じない。さらに、ユーザの指定した監視イベント（人の出入り、顔が映っているかどうか、環境の物理的変化など）についてのみ、適切な間隔で画像の記録を行なうので、録画に必要なメモリ量を低減し、長時間録画が可能となる。監視映像を記憶する際に、さまざまな監視イベントによって映像の分類・整理して蓄積するので、閲覧時に目的とする監視イベントに絞込んで映像を探す事ができる。さらに、監視イベントの時間的な分布を平面的に提示することにより、ユーザが閲覧・検索する際に要する時間を大幅に短縮し、目的とするデータへの移動をハイパージャンプで行なうことができるインターフェイスを提供できるという効果がある。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の１実施例を詳細に説明する。
【００１３】
図１は、本発明の画像記憶装置を利用した監視システムの一例である。監視カメラ２００からの映像信号は、画像記憶装置１００のビデオ入力端子１１０から入力され、ディジタル画像として記録される。記録されたディジタル画像はビデオ出力端子１１０からアナログ画像としてデイスプレィ２１０に表示される。また記録されたディジタル画像はＬＡＮ端子１４０からＷＡＮを通して監視センタのパソコン２２０へ送られる。その際、電話回線なども利用可能である。画像記憶装置１００は、タッチパネル１３０とポインティングデバイス１9０を介した指示によって制御される。
【００１４】
以上のように本発明の画像記憶装置１００に接続される監視機器は、従来のアナログの監視カメラやディスプレイがそのまま接続可能である。さらに、ネットワークを介して遠方に監視映像を伝送できる点は、従来のタイムラプスビデオレコーダになかった機能である。
【００１５】
図２は、本発明である画像記憶装置のシステム構成の一例である。基本的には、現在汎用的に用いられているデジタルコンピュータのシステム構成と同じである。
【００１６】
まず１１１は監視カメラからの映像信号をディジタル画像に変換するA/D変換器である。変換されたディジタル画像はインタフェース１１２を介してメモリ１７０に取り込むと同時にビデオメモリ１１８に取り込まれる。
【００１７】
ビデオメモリ１１８はディスプレイ２１０に表示される画像をディジタルデータとして格納する。１１９は、一般にRAMDACとも呼ばれている種類のD/A変換器であり、ビデオメモリ１１８に書かれたデータを走査線スピードに合わせて逐次読みとり、ディスプレイ２１０に描画する。したがって、ビデオメモリ１１８のデータを更新すると、その更新内容がディスプレイ２１０の表示内容に直ちに反映される。ディスプレイ２１０は、画像を表示するためのデバイスであり、例えば、小型のCRTやプラズマディスプレイであっても良いし、液晶タイプの表示デバイスであっても構わない。
【００１８】
こうした画像の取り込みを、秒３０回程度の頻度で繰り返すことで、ディスプレイ上で連続的な動画の表示が行える。
【００１９】
補助記憶装置１６０は、ハードディスク等の大容量記録装置であり、ディジタルデータを半永久的に記録するための装置である。これは、PCMCIAタイプのハードディスクカードのように記憶装置ごと本体から着脱できるものであったり、あるいは、DVD-RAM、フラッシュメモリ等のように、記録媒体のみを着脱できるタイプの記録装置であっても構わない。
【００２０】
ＣＰＵ１５０は、監視イベントの検出、録画制御、表示画像の選択・配置など、本発明で説明する機能を実現するためのソフトウエアプログラムを実行する。プログラムは、メモリ１７０に常駐し、プログラムの実行に必要となるデータもここに必要に応じて格納される。
【００２１】
NIC（Network Interface Card）１３９は録画した画像や監視イベント情報をネットワークを通じて伝送する。赤外線受光部１３０はリモコンからの情報入力デバイスである。
【００２２】
ユーザからの指示は、タッチパネル１３０からインタフェース１３１を介して、ＣＰＵ１５０に伝えられ、適宜処理される。
【００２３】
１８０は、以上述べた各デバイス間を相互につなぐデータバスである。
【００２４】
以上の画像記憶装置のシステム構成において、まず、監視映像を記録する際の動作について説明する。
【００２５】
記録動作は、メモリ１７０内に格納された制御プログラム171によって制御される。最初に、ビデオ入力端子１１０から映像を取り込んで個々のフレーム画像の列とし、メモリ１７０に格納する。同時に、逐次ビデオメモリ１１８に転送し、ディスプレイ２１０に入力画像を表示する。次に、メモリ１７０に格納されたフレーム画像列から監視イベントを検出し、これをメモリ１７０に格納する。この監視イベント情報と制御データ172から、録画すべき画像だけを判定・選択する。最後に、監視イベント情報と選択された画像を補助記憶装置１６０に格納する。
【００２６】
次に、監視映像がユーザによって閲覧される際の動作について説明する。閲覧時の動作は記録時と同様、メモリ１７０内に格納された制御プログラム171によって制御される。まず、タッチパネル１３０を介して入力されたユーザの閲覧要求に従って、補助記憶装置１７０に格納されている監視イベント情報をメモリ１７０上に転送する。この際、監視イベント情報の内部レコードを読んで、要求に一致しないものをメモリから削除する。次に、選別された監視イベント情報の内部レコードを読んで、監視イベントに対応する画像のパス名を取得し、該当する画像を補助記憶装置160からメモリ170に転送する。次に、メモリ170上の監視イベント情報と画像をユーザに見やすい形態にレイアウトし、ビデオメモリ１１８に転送する。ビデオメモリ118に転送された監視イベント情報と画像データは監視結果としてそのままディスプレイ210に表示される。以上の動作を、ユーザからの入力指示に応じて何度も繰り返す。
【００２７】
一般にタイムラプスビデオレコーダでは、映像を録画する際のサンプリング間隔は自由に設定できるようになっており、間隔を大きくする事でより長時間の録画ができるようになっている。しかし、単純にサンプリング間隔を拡げすぎると、カメラのフレーム映像中を通過する物体が速い場合に録画漏れが生じ、監視の目的が達成できなくなってしまう。そこで、録画漏れを生じさせること無く、長時間録画が可能な方式を以下に説明する。
【００２８】
図３、４、５は本発明で検出した監視イベントに従って映像を記録する方式を示す図である。
【００２９】
図3は、従来の単純なタイムラプス録画に監視イベントによるフィルタリングを組み合わせた記録方式を説明する図である。
【００３０】
３００はビデオ信号の生成周期を示すタイミングチャートである。NTSC規格では１秒間に３０フレームが生成される。これに対して、指定したサンプリング間隔で画像を取り込むことで時間的にフレームを間引く。
【００３１】
３１０はサンプリングのタイミングチャートを示す。この例では時間的にフレームを３０分の１に間引き、１秒に１フレームだけ取り込むようにしている。
【００３２】
３２０はサンプリング時の画像内容を表している。監視カメラが固定してあり、侵入物や背景の変化がない場合（320‐2）、すなわち監視イベントが生じていない場合、入力画像列はほとんど同一となる。そこで、「監視イベントが生じていない＝前回録画した画像と現在録画しようとする画像が同じである」と判定された場合は録画を省略することで録画のためのメモリ消費を省く。
【００３３】
３３０は選択されたフレームを示す。このように監視イベントによるフィルタリングを行うと、画像の変化の多い時間帯は一定のメモリ消費になるが、夜間など変化が少なくなると、冗長な録画によるメモリ消費が少なくなり、長時間の録画が可能になる。録画が省略された時間の画像はその一つ前に録画された画像と同じであるので、録画が省略された時刻の画像検索要求があっても、代理の画像で結果を表示することが可能となる。
【００３４】
録画データ１６１とそれが取得された時刻情報を含む監視イベント情報162から構成されているので、図３の例では、「時刻１の画像を表示せよ」との検索要求があった場合、時刻０の画像を代理で表示することができる。
【００３５】
図４は、図３とは別の方式による映像記録方式について説明するものである。
【００３６】
340はサンプリングのタイミングチャートを示す。図3はサンプリング間引きを行なった後に監視イベントを判定するものであるが、図４では、サンプリング間引きをせずに直接入力されたビデオ映像の全フレームから監視イベントの検出を行ない、イベント区間を決定した後に、例えば、３秒に１回等の、あらかじめ指定されたサンプリング間隔で記録を行なう。サンプリングの間隔を入力と同じ１/30秒とすれば、イベント発生時の入力映像を記録することができる。
【００３７】
この方式は、監視カメラ中の移動物体の運動方向などを監視イベントとして検出したい場合や、下記(III)に述べる動的な録画間隔の制御を行なう場合に適している。
【００３８】
図５は、動的な録画間隔の制御を行なう方式を説明するものである。
【００３９】
350、360はサンプリングのタイミングチャートを示す。
【００４０】
この記録方式の基本的な大枠は図４と同一であり、サンプリング間引きをせずに入力ビデオ映像の全フレームから監視イベントを検出・記録を行なう。図４と異なる点は、記録の際のサンプリング間隔が固定であったのに対し、図５ではサンプリング間隔を動的に変更する点である。タイミングチャート350では、監視イベント情報とサンプリング間隔をリンクさせて記録を行なう方式を示したものである。
【００４１】
例えば、監視イベントとしてフレーム映像の変化を検知する。最新のフレーム画像と直前のフレーム画像について各画素の差分絶対値をそれぞれ求めて総和を計算する。この値はカメラ映像中で動くものが多い時や動きの激しいときに大きくなり、動きが小さいときにはほぼゼロになるという性質を持っている。
【００４２】
この性質を利用して、この値の大小に合わせて、値が小さいときにはサンプリング間隔を例えば、毎秒２から４回程度に広げ、値が大きいときにはサンプリング間隔を例えば、毎秒３０回程度に狭めることにする。すると、記録される監視映像は、カメラ映像中で動くものが多い時や動きの激しい時にはほぼ動画に近い形となり、変化の小さい場合にはパラパラとアニメーションのように記録される。
【００４３】
この方式では映像中の変化が一定範囲となるように記録することができ、例えば、人の動作を記録したい場合などには、一定の動き毎に記録を行うことができる。
【００４４】
また、タイミングチャート360のように、あらかじめ作成したサンプリング間隔の制御ルールを与えることも有効である。例えば、外部から人が入室してくるドアを監視する場合、入室者の顔映像を記録できることが重要になる。この場合、監視イベント（映像変化）を検出し、記録をはじめた直後はサンプリング間隔を密にし、徐々に間隔を広げて行くように設定する、これによって、顔が映ったフレーム画像を確実に録画することが可能になる。
【００４５】
以上のように本発明によれば、監視イベントによって、録画実行の判定と録画間隔の制御を行なっているので、動作や顔といった監視したい対象の録画漏れを生じさせることなく、長時間の録画を可能にする。
【００４６】
図６、７、８は、本発明の監視映像記録装置における映像録画・再生時の画面を説明するものである。これらの出力はタッチパネル130が被せられたディスプレイ210上に表示されるものである。
【００４７】
図６は、映像録画時の画面である。基本的には、現在入力されている映像を表示する領域400が中心となって構成される。入力映像領域400には、場所・日時などの監視イベント情報表示401や、監視イベントが現在検知されていることと録画が行なわれていることを示すマーカー402が重畳表示され、ユーザにシステムの動作が一目でわかるようになっている。403は、システムが映像監視を開始するかどうかを制御するボタンである。
【００４８】
監視イベント情報表示401には、カメラが映している場所を示すＩＤ（監視場所の名称：あらかじめユーザによって登録される）、年月日、タイムコード（時分秒とその秒内でのフレーム番号）などが含まれる。
【００４９】
マーカー402による、監視イベントの検出状態と録画状態をユーザへ通知方法であるが、例えば以下のように動作する。システムが、監視イベントを検出しはじめると、黄色で点滅をはじめる。録画時には一瞬赤く点滅することによって補助記憶装置160への録画（画像データと監視イベント情報データの転送）が発生していることを通知する。
【００５０】
410は、検出した監視イベントの履歴をユーザに通知する領域である。ここには、監視イベント情報の有無や強度（例：フレーム差分値など）を示す波形グラフ411が表示される。波形411は時間遷移に従って順次左方向にシフトし、表示領域410の右端に最新の監視イベント情報値が波形値として追加される。表示領域410下部には波形データ411の全体的な時間分布がわかるように、時刻を表す表示412がおかれる。本例では、現在時点からの何分前かを表示しているが、絶対時間（何時何分であるか）を表示しても良い。
【００５１】
420もまた、検出した監視イベントの履歴をユーザに通知する領域である。ここには、これまでに検出された監視イベント毎の代表画像421と時刻422が表示される。本例では、表示領域420の上部に最新の監視イベントに対応する画像が表示され、以下下に向かって新しい順に代表画像421と時刻422が配置されている。
【００５２】
表示領域410・420は、ポインティングデバイス190等により、グラフ部分や画像部分をタッチするにより、録画映像の再生が可能になっている。
【００５３】
再生時には、後述する図7のように領域400部分の表示に切り替わり、そこに録画した映像が出力される。
【００５４】
例えば、領域420上の代表画像部分をタッチすることにより、該当する監視イベントの発生した区間の一連の画像データ161を補助記憶装置160から読み出して、領域400上に表示再生する。また、領域４１０の波形グラフ部分をタッチすると、該当時間に最も時間的に近い監視イベント区間の映像を領域400上に再生する。これに同期して、表示した監視イベントとその前後のイベントの代表画像を領域420上に表示する。このとき、タッチした箇所がユーザにフィードバックされるようにグラフ上に異なる色の縦線が表示される。
【００５５】
なお、本例では、記録時画面内に記録映像と再生映像の表示を行なう領域400とそれ以外の領域410、420を併置しているが、これらは表示領域400と別々に表示しても良い。
【００５６】
図7は再生時の画面について説明するものである。再生時には、領域400の上部と下部にそれぞれ再生操作に適したボタン類が新たに表示される。これらのボタン類はディスプレイ210上に表示される図とタッチパネル130の組み合わせによって実現されている仮想的なボタンである。これらボタン類にポインティングデバイス190などでタッチすることにより、ボタンを押したことに相当する動作をシステムが行なう。
【００５７】
領域400には再生される映像が、記録時の入力映像と同様に表示される。
【００５８】
401には再生している映像に対応する監視イベント情報が表示される。
【００５９】
監視イベント検出マーカー402は再生時にも表示されうる。後述するが、本発明では再生時にもバックグラウンドで記録を行なうことが可能となっている。例えば、ユーザが監視映像を記録している間に、記録した映像を再生しようとする場合、マーカー402が表示されて、ユーザが閲覧している間にも監視イベントの検出があったことを通知する．もちろん、バックグラウンドで録画を行なっていない場合には、マーカー402は表示されない。
【００６０】
430は図6の記録時画面へ戻るためのボタンである。
【００６１】
431は現在再生している監視イベント映像の内、イベント区間に含まれるフレーム画像データの総数と現在表示されている画像が何フレーム目であるかをユーザに通知する。
【００６２】
432は再生映像の再生、一時停止、逆再生、こま送り等を制御するボタンである。
【００６３】
433は後述する図8の代表画像一覧画面に遷移するためのボタンである。
【００６４】
図8は検出した監視イベント毎の代表画像の一覧を表示する画面である。基本的には図6における表示領域420と同じであり、横方向にも幅を広げてラスタースキャン順に代表画像421と時刻422を並べて表示したものである。
【００６５】
上下に三角形の形状で配置されているボタン440は一覧表示の内容を時間方向に従って切り替える。上部のボタンを押すと、時間的に一表示単位分前の内容を現在のページに表示する。下部のボタンを押すと一表示単位分後ろの内容を表示する。ユーザの操作によって、記録されている監視イベントの最初や最後まで到達した場合には、進めない方向のボタンが薄い色で表示され、ボタン入力を受け付けなくなる。
【００６６】
ユーザが個々の代表画像421にタッチ・選択を行なうと、図7で説明した再生画面に切り替わり、選択した監視イベント区間の映像が再生される。
【００６７】
図９は、画像記憶装置100を監視センタのような遠隔地から操作し、記録を行なったり、監視映像を再生・閲覧するユーザインターフェイスについて説明するものである。
【００６８】
本実施例では、画像記憶装置100に対して、遠隔地にあるパソコン220から制御・閲覧を行なうために、それぞれＷＥＢサーバとＷＥＢブラウザを用いている。後述するが、画像記憶装置100側にWEBサーバを内蔵させ、遠隔地にあるパソコン220のWEBブラウザ上に示されるWEBページ500を表示する。以下、このページの説明を行なう。
【００６９】
メニュー510、ブラウズボタン520、URL表示部530、ブラウザステータス表示部580は、監視情報ページ500を表示するWEBブラウザの制御用ユーザインターフェイスの一部である。
【００７０】
この監視情報ページ500は、上記のブラウザコンポーネントのほか、監視データの最新時刻を表示する領域540、監視場所毎に年月日/日時で監視イベントをツリー表示した領域560、指定された日時毎の監視イベントについて、その代表画像を一覧表示する領域570、ツリー表示領域560または一覧表示領域570で選択された監視イベント区間の映像を再生表示する領域550、の大きく４つの表示領域から構成される。
【００７１】
領域540は、現在表示中の監視データがいつの時点のものかをユーザに示す。これは、WEBのような形態の対話では、常に最新の情報をサーバからブラウザ側に送りつづけることが一般には困難である。すなわち、ある特定の時刻から遡った静的な状態でしかブラウザに提示できないからである（WANなどの途中のネットワーク帯域が十分でないことや、通信回線を維持するコストの問題、サーバ・クライアントの両方に生ずるCPU負荷が大きいなど）。従って、画像記憶装置100が監視映像を記録中に、遠隔地から監視結果をブラウザ経由で閲覧する場合、ページの内容が画像記憶装置100の内部に蓄積された状態と異なることがしばしば生ずることとなり、ユーザにその時間差を意識させる必要が生ずるためである。
【００７２】
領域560は、監視場所毎に年月日/日時で監視イベントをツリー表示することによって、ユーザがあらかじめ閲覧したいと思う場所、日時にすばやく到達することができるインターフェイスを提供する。ツリー表示は、上から順に、場所561、年月日562、時563、監視イベント単位564の4階層で構成される。ツリーの各ノードのアイコンをマウスでクリックすると、下位ノードが表示されていない場合には、アイコンが開いたイメージのものに替わり、下位ノード表示を行なう。逆に、表示されている場合には、アイコンが閉じたイメージのものに変わり、下位ノードを隠すといった動作を行なう。これにより、ユーザは目的とするノードだけを常に開いて閲覧することができる。
【００７３】
各ノードのテキスト部分565をクリックすると映像再生表示領域550や一覧表示領域570の表示内容が変化する。例えば、場所561、年月日562、時563の上位3階層のノードについて、そのテキスト部分565をクリックすると、その範囲での最も新しい年月日/時刻の監視イベント一覧が領域570に表示される。
【００７４】
最も下位のノードである、監視イベント単位564のテキスト部分をクリックすると今度は、映像再生表示領域550に、該当する監視イベント区間の録画映像を再生する。
【００７５】
570は、図６における４２０と同様、指定された時刻に含まれる、検出した監視イベント毎の代表画像の一覧を表示する領域である。領域上には、一覧表示している場所と年月日の表示571と時刻毎の区切りを示す時刻表示572、代表画像573が配置される。ブラウザ起動時など、時刻を与えることができない場合には、最新の記録日時に含まれる代表画像の一覧を表示する。
【００７６】
代表画像572をクリックすると、映像再生表示領域550上に該当する監視イベント区間の録画映像を再生する。
【００７７】
従来のタイムラプスビデオレコーダでは、監視結果を再生する際に、単に時間順に提示するだけであったため、きわめて時間がかかっていた。
【００７８】
これに対し、図６〜９で述べてきたユーザインターフェイスを用いることにより、時間構造に合わせて階層的に提示したり、内容を判定しやすい代表画像でタイル状に二次元配置して提示することができる。
【００７９】
ツリー表示は従来では不可能であった目的日時への高速なアクセスが可能であり、またすぐに映像を再生できるので、大体の当たりをつけた検索を行なう場合に非常に効果を発揮する。また、二次元配置は一度に複数の監視イベントをざっと見渡すことを可能にし、パラパラと見るときに必要とする時間を大幅に短縮することを可能にする。
【００８０】
これらにより、従来のタイムラプスビデオレコーダでは不可能であった、高速な閲覧と監視映像の内容の効率的な確認が可能になる。実際、われわれのフィールドテストでは検索に要する時間を1/30〜1/100程度に低減できることが確認されている。このように、本発明は従来の監視映像記録機器に比べて、使い勝手が良く省時間効果の高いインターフェイスを提供する。
【００８１】
図２０は、画像記憶装置100について、機能の観点から構成を説明するものである。主たる構成要素は、メインコントロール610、監視イベント検出エンジン620、ビデオ出力用表示プログラム630、HTML生成プログラム640、WEBサーバ650の5つである。
【００８２】
メインコントロール610は、制御プログラム171の主たる機能そのものであり、画像記憶装置100全体を制御する。具体的には、タッチパネル130やWEBサーバ650経由でシステムへのユーザ入力をハンドルし、監視イベント検出エンジン620、ビデオ出力用表示プログラム630、HTML生成プログラム640、WEBサーバ650の動作を制御する。
【００８３】
監視イベント検出エンジン620は、あらかじめ登録されている監視イベントを監視カメラ200から入力された映像信号から検出し、その監視映像データ161と監視イベント情報データ162を補助記憶装置160に格納する。
【００８４】
ビデオ出力用表示プログラム630は、図６で説明した画面を出力・表示する。タッチパネル130を経由してメインコントロール610に伝えられた、ユーザからの入力に応じて監視映像データ161と監視イベント情報データ162を補助記憶装置160から読み出して、画面上に映像や関連する監視イベント情報を表示する。
【００８５】
HTML生成プログラム640は、図９で説明した監視映像のWEBページ出力用にHTMLを動的に作成する。まず、パソコン220上で行なわれたユーザ操作はWEBページ500からWEBサーバ650を経由してメインコントロール610に伝えられる。ユーザ要求に従い、監視映像データ161と監視イベント情報データ162を補助記憶装置160から読み出して、あらかじめ用意されたHTMLデータ中に監視イベント情報と画像のWEBサーバ上での位置を示すHTMLタグを書き出す。これにより、HTMLの動的生成を実現する。
【００８６】
WEBサーバ650はこうして作成されたWEBページを遠隔地側のパソコン220に配信するとともに、ユーザからの操作命令をメインコントロール610に伝える。
【００８７】
図１１、１２、１３は、監視イベント検出エンジン620で実行される監視イベント検出の方法について説明するものである。
【００８８】
ここでは、移動物体の有無を例として述べる。
【００８９】
まず、入力される映像から個々のフレーム画像700を取り出す。次に、図１１に示すようにフレーム画像を複数の小矩形領域710にわけ、個々の領域毎に映像変化の有無を検出する。
【００９０】
映像変化の判別方式としては例えば（特開平８−２２１５７７「移動物体検出・抽出装置」）に記述されている方式を用いる。この方式では、個々の着目領域710ごとに背景・移動物体・背景構造変化・照度変化を検出できる。
【００９１】
以下、個々の領域で用いられる移動物体検出方式について簡単に説明する。
【００９２】
まず、フレーム画像上の着目領域の内、移動物体の存在しない時刻を選んでこれを背景画像とする。
【００９３】
そして、この背景画像と毎回新たに入力される最新の画像との間で、画像の相違度を計算する。この相違度計算の具体例としては、対応する位置の各画素の明るさについて差を求め、画像全体についてそれらの２乗和を求めてもよいし、明るさの替わりにＲＧＢそれぞれの値の差分二乗和としてもよい。
【００９４】
こうして得られた相違度を時間順に並べ、連続するグラフとして眺めてみると、移動物体が存在する時間区間は大きく変動する状態となる。移動物体が存在しない時間区間では変動の少ない平坦な状態となるが、背景として決めた時刻と背景が全く同一の場合場合、すなわち、画像的に内容が同じには、その区間の平均値はほぼ零となる。一方、物が置かれたりするなど、背景の構造が変わった場合には、画像的に内容が異なるために、平坦ではあるが区間平均値は一定の大きさ以上となる。
【００９５】
この性質を用いることにより、時間区間として、移動物体の有無や、背景構造の変化の有無を確認することが可能となる。ここで問題になるのが、最初にどうやって背景となっている時刻を決定するかであるが、まず、任意の時点の画像を適当に選んで、相違度の時間変化グラフを求め、平らな区間が見つかった時点を開始とすればよい。その後の処理でも、背景構造の変化が有る時、すなわち、グラフの形状が平坦かつ一定値以上の平均値となる時のみ、背景とする時刻を更新するようにすれば、安定してこの処理を繰り返すことが可能になる。
【００９６】
以上説明した方式により、フレーム画像上に設定した個々の着目領域について移動物体の存在する領域を色づけ（レベル付け）したとすると、図１１の右側図のようになる。
【００９７】
図12は、図１１で説明した処理をすべてのフレーム画像について実行し、フレーム画像を時間順に並べてできる三次元の時空間画像について述べたものである。この時空間画像中では移動物体は部分的な立体720を構成する。これを図示したものが図１２である。この時空間画像730を眺めると、「移動物体がある」という監視イベントは、ある程度の大きさを持った部分領域720があることとみなしても良い。これを別の観点から見たものが下のグラフである。１フレーム当たりの映像変化があった領域数をグラフ740としてみると、上記判定はグラフが一定値以上の区間750とみなすことができる。このようにして決定された区間を監視イベント「移動物体在り」の区間として判別する。そして、監視イベント情報162として、開始フレーム、終了フレーム、区間長、各領域毎の判定結果を補助記憶装置160に記憶する。
【００９８】
なお、画像全体を一つの領域とみなして判定するのも一つの方法ではあるが、上記のように小領域で分割してその結果を統合する方が監視イベントのハンドリングに適している。例えば、小さな外乱などに対して検出エンジンの動作をロバストにすることができる。また、判定に含めない領域も容易に設定できたり、後述の検索処理や代表画面決定処理を簡単に記述できるなどの利点がある。
【００９９】
他の監視イベント、例えば背景構造の変化（物の配置換えなど）や顔領域の出現等を検出する場合にも、上記のようにフレーム内の領域単位で検出を行なうことにより、安定した検出が可能となる。
【０１００】
なお、本例では着目領域を矩形としたが、他のいかなる形状としても何ら問題無い。また、ここでは、領域をきれいに並べたが図１３に示すようにオーバーラップを持たせ、領域毎の判別結果について論理演算を施すことにより、大きな領域で安定した判別を行ないながら、判別する領域の実効面積を小さくすることも可能である。
【０１０１】
図１４は監視イベント情報162のデータ構造を説明するものである。
【０１０２】
監視イベント情報162はRDB（Relational Database:関係データベース）であり、場所テーブル162-1、画像テーブル162-2、イベントテーブル162-3、時間木テーブル162-4の４つのテーブルから構成される。
【０１０３】
場所テーブル162-1は、監視映像記録装置100が接続されたカメラの識別ID162-1-1と名称162-1-2、監視場所の名称162-1-3を格納するテーブルである。画像テーブル162-2の各レコードの冗長性をなくすために、独立して設けられている。
【０１０４】
画像テーブル162-2は、監視映像記録装置100に記憶された個々のフレーム画像を制御するためのテーブルである。フレーム画像ID162-2-1、場所ID162-2-2、録画年月日162-2-3、録画時分秒162-2-4、フレーム番号162-2-5、画像ファイルパス名162-2-6、イベント種類162-2-7、イベント属性データ162-2-8の項目から構成される。場所ID162-2-2は、場所テーブル162-1の場所ID162-1-2と同一の項目であり、実際のID番号が格納される。録画年月日162-2-3、録画時分秒162-2-4、フレーム番号162-2-5は、フレーム画像が記録された時の時刻情報である。一般的なRDBでは高速にハンドルできるデータ型として、年月日と時分秒がわかれていることが多いため、本実施例ではこれらを三つに分割してある。画像ファイルパス名162-2-6は、システム内に記録されている画像ファイルのパス名が格納されており、監視映像の再生や検索時に実際の画像データを読み出すのに用いられる。イベント種類162-2-7は、格納されたフレーム画像がどんな監視イベントにより格納されることになったかを示すフィールドである。複数の監視イベントが重なる場合を想定して、ビットフラグによって監視イベントの種類を示す。監視映像再生時や検索時に監視イベント毎のフィルタリングを施すために設けられている。イベント属性データ162-2-8は、監視イベント検出の根拠となった各領域毎の特徴量データを格納する領域である。
【０１０５】
イベントテーブル162-3は、監視イベントの区間情報をハンドリングする。イベントID162-3-1、開始フレームID162-3-2、終了フレームID162-3-3、代表フレームID162-3-4から構成される。開始フレームID162-3-2、終了フレームID162-3-3には、画像テーブル162-2のフレーム画像ID162-2-1が格納される。同様に、代表フレームID162-3-4は後述の代表画像決定アルゴリズムによって決定されたフレーム画像ID162-2-1が格納される。
【０１０６】
時間木テーブル162-4は、図９のツリー表示領域５６０などのように、監視イベント情報に対して、時間指定でダイレクトかつ高速にアクセスするために設けられたテーブルである。ノードID162-4-1、親ノードID162-4-2、ノード検索キー162-4-3、ノード内順序162-4-4、イベントID162-4-5、イベント種類162-4-6、場所ID162-4-7から構成される。このテーブルは冗長であるが、監視結果アクセス時のスループットを向上させるために設けられている。基本的には場所テーブル162-1、画像テーブル162-2、イベントテーブル162-3の３つから動的に作成可能であるが、監視映像の再生・閲覧動作では、きわめて高い頻度でこの計算が必要となるため、別にテーブルとして設けておくことによりシステムの負荷を小さくすることを目的としている。ノードID162-4-1、親ノードID162-4-2、ノード検索キー162-4-3、イベントID162-4-4、イベント種類162-4-5、場所ID162-4-6から構成される。ノードID162-4-1、親ノードID162-4-2はテーブルにより木構造を表現するためフィールドである。ノード検索キー162-4-3は、場所と年月日・時分秒から直接一番下位のノードにアクセスするための文字列であり、このテーブルをハッシュによって検索するための主キーとして設定されている。文字列であるため、キー作成が容易であり、検索のための計算コストが小さくてすむ。イベントID162-4-4は、イベントテーブル162-3のイベントID162-3-1と同一であり、実際のID番号が格納される。イベント種類162-4-5、場所ID162-4-6は、監視映像再生時や検索時に監視イベント毎のフィルタリングを施すために設けられたものである。
【０１０７】
なお、これらテーブルのデータ生成されるタイミングであるが、場所テーブル162-1は監視が開始される前にユーザによってあらかじめ作成されるものである。画像テーブル162-2とイベントテーブル162-3は実際の監視映像記録時に動的に生成されるデータである。時間木テーブル162-4もまた、記録時に生成されるデータであるが、これは画像テーブル162-2とイベントテーブル162-3の内容から副次的に生成されるものでもある。これは、先に述べたように監視結果アクセス時のスループットを向上させるために設けられているからである。
【０１０８】
以上のデータ構造により、画像記憶装置100は記録された監視イベントと映像を高速に検索・提示することが可能となる。また、図2、図１０に示したハードウエア・システム構成と、この個々のフレーム画像ごとに独立したデータ構造により、監視映像を記録しながら閲覧を行なうという、これまでの監視記憶システムには不可能であったことをあらたに可能にしている。
【０１０９】
図１５は、監視イベント区間における代表画面を決定するアルゴリズムについて説明するものである。
【０１１０】
画像記憶装置100が検出した監視イベントを４２０や５００のように表示するケースを考える。移動物体有を示すイベントの場合、監視イベント区間を代表する画像としてどれを選ぶかは、監視結果の閲覧の効率を大きく左右する重要な点である。
【０１１１】
例えば、区間の先頭フレームを代表画像とすると、移動物体の一部だけが映るだけで、検出した移動物体に関する情報をほとんど提示できないことがしばしば起こる。これは、最終フレームであっても同様である。単純に先頭フレームと最終フレームの中間とすることも考えられるが、２つの移動体が連続して検出されて一つの区間となった場合には、ちょうど間のあまり両方が映っていないような画像が代表になってしまうという問題点が発生する。そこで、図５で述べたサンプリング間隔の制御に用いたのと同じ方法を使うことにする。
【０１１２】
監視イベントを検出するときに900のようなグラフが得られたとする。まず、顔領域の検出のようなケースで考えられるのが、グラフ値が最大となるフレーム910-4を代表画面とする方法である。次に、移動物体の有無の場合、複数の極大値が現れるということイコール複数の移動物体が一つのイベント区間内に通過したようなケースと考えられるので、はじめに出てきた極大値910-２をとりあえずの代表とみなして、これを採用する方法も考えられる。
【０１１３】
次に図９で説明したWEBブラウザによって提示されるユーザインターフェイスでの監視映像表示をHTMLによって実現する方式について説明する。なお、以下で用いる専門用語については URL（http://w3c.org/）に詳しく説明されている。
【０１１４】
図１６では、まず、一覧表示領域570での代表画像573をクリックした時に、映像再生表示領域550上に該当する監視イベント区間の録画映像を再生することを実現する方式について説明する。それぞれ、各領域ともフレームと呼ばれる独立したHTML表示領域から構成されているものとする。ここでは説明のために一覧表示領域をフレームDigest、映像再生表示領域をAnimeと呼ぶことにする。
【０１１５】
Digestも、Animeも静的なHTMLデータではなく、WEBサーバ側の状態に応じて動的に生成されるHTMLデータになっている。これらの動的なHTMLデータを生成するためにCGI（Common  Gateway  Interface）やASP（Active Server Pages）といったサーバサイドスクリプト(WEBサーバ側で動作するスクリプト)が用いられる。
【０１１６】
1000はDigestのHTMLテキストデータの例である。本実施例では、1010、1020に示されているように、監視イベントの時刻を表す文字列やその代表画面をタイル状に表示するために、<TABLE>タグが使われている。タグ1030は表示1010に対応し、タグ1040は表示1020に対応している。表示画像1020はクリッカブルな領域になっているが、これは1041に示されるハイパーテキストタグ<A>をつかって、代表画像573を表示する画像タグ1042を囲うことによって実現される。そして、リンクジャンプ先としてフレームAnimeを指定し、クリックされた画像に応じて動的にHTML出力内容を変化させることにより、対応する監視イベント毎の映像が再生されるようにする。
【０１１７】
対応先を切り替えるために、<A>の要素であるHREFのジャンプ先にクエスチョンマークに続けてパラメータとなる文字列をあらかじめ書きこんでおく。１０５１に示されるように、書きこまれるパラメータとしては、画像テーブル162-2のレコード範囲を示すフレーム画像IDあるいはそれを取り出すことができるデータが適している。
【０１１８】
まず、図１７のフローチャート１１００は代表画像５７３のクリックから、映像再生表示領域550上に映像が再生されるまでの処理の流れを簡単に説明するものである。まず、代表画像５７３がクリッククリックされると（1110）、WEBブラウザ側で指定されたフレームAnimeへのジャンプが起こる（1120）。しかし、Animeに表示されるHTMLデータはジャンプ時に渡されるパラメータ1051から動的に決定・生成される（１１３０）。具体的にはパラメータ名ｓJumpKeｙに代入された文字列（1131）から、画像テーブル162-2上での範囲を示すフレーム画像IDをとりだし（1132）、画像テーブルに対して該当するレコートの検索を行なって、個々の画像パス名をURL（Universal  Resource  Locator）として取り出す（1133）。そしてこれをHTML形式で出力する（1134）。WEBブラウザは、こうして得られたHTMLデータをフレームAnime上に表示する（1140）。最後にユーザ操作に従って該当するフレーム画像を可視・不可視にすることによってアニメーションとして表示する（1150）。
【０１１９】
次に、図１８の1200にDigestのHTMLテキストデータを生成される手順について説明する。ここでは一覧表示の範囲が特に指定されずに全データを表示する場合を想定して説明を行なう。まず、時間木の根っことなるルートノード（レコードIDが-1のもの）を親に持つノードを全レコードから検索する（1210）。次にこれを場所ID162‐4‐7ごとにソートする（1220）。次にルートノードを親ノードとする（1230）。親ノードが決まったら、同一の親ノードIDを持つノードを探しノード内順序にしたがってソートを行ない、リストを作成する（1240）。こうしてできたノードリストについて、以下再帰的に木構造内のすべての葉ノードへの移動を繰り返す（1250）。
【０１２０】
まず、現在のノードが枝ノードか葉ノードかを調べる（1260）。枝ノードであれば再帰的に下層ノードに降りてゆく（１２９０）。葉ノードであればｓJumpKeyを作成し（1270）、これをHTML出力する（1280）。
【０１２１】
ｓJumpKeyの作成は具体的には以下の手順となる。まず、監視イベントテーブル162-3からノードが持つイベントID162-4-5と一致するレコードを検索し（1271）、開始フレームID162-3-2と終了フレームID162-3-3を取得する。次に画像テーブルから代表フレームID162-3-4と一致するレコードを探し（1273）、その代表画像パス名をURLとして取得する（1274）。  すべての葉ノードについて以上の処理を繰り返す。
【０１２２】
図１９は時間木を表すツリー表示560から一覧表示領域570を動的に切り替える方法について説明するものである。説明のため、ツリー表示領域560のフレーム名称をTimeTreeと呼ぶことにする。
【０１２３】
ユーザがツリー表示部の葉ではないノードをポインティングデバイス190でポイントし、表示が切り替えられる場合、フレームDigestには日時の範囲が指定される。内部処理的には時間木テーブル162-4で具体的に親ノードが与えれている場合に相当する。あとは図１２にて説明したのと同じ手順でHTMLデータが動的に生成される。
【０１２４】
1300はこのジャンプを実現するHTMLの例を示したものである。ここでは、動的に開閉する木構造を実現するために<DIV>タグが用いられている。Animeの例と同様にクリックする先で出力が切り替えられるように、各ハイパージャンプタグ<A>で渡されるパラメータｓDigestKeyの値が替えられる。この値として用いるのが1310、1320に示されているような、「場所名」＋「日時」から構成される文字列である。これは、時間木テーブル162-4におけるノード検索キー162-4-3と同一になっており、フレームDigestを描画するための検索が迅速に行なえる構造になっている。
【０１２５】
図14はフレームTimeTreeの時間木構造表示の枝ノードをクリックした場合の動作を説明するものである。
【０１２６】
まず、枝ノードがクリックされると（1410）、フレームDigestへのジャンプイベントが生ずる（1420）。フレームDigestが表示するHTMLは動的なページであるため、内容生成処理がスタートする(1430)。具体的には、ジャンプ時にパラメータとして与えられるsDigestKeyの文字列値をとりだし（1431）、これを検索キーとして時間木テーブル162-4から一致するレコードを検索する（1432）。こうして検出されたレコードのノードID162‐4‐１を親ノードとし、後は１２００で述べたのと同一の手順で一覧表示画面のHTMLデータ生成を行なう(1433)。最後にこのHTMLデータをフレームDigest上に表示する(1440)。
【図面の簡単な説明】
【０１２７】
【図１】本発明の画像記憶装置を利用した監視システムの一例である。
【図２】本発明の画像記憶装置におけるシステム構成の一例である。
【図３】本発明で検出した監視イベントに従って映像を記録する方式の内、基本的なフレーム画像のサンプリング方法を説明する図である。
【図４】本発明で検出した監視イベントに従って映像を記録する方式の内、監視イベントの有無に基づくフレーム画像のサンプリング方法を説明する図である。
【図５】本発明で検出した監視イベントに従って映像を記録する方式の内、フレーム画像のサンプリング間隔を監視イベント変動に基づいて動的に制御する方法を説明する図である。
【図６】本発明の監視映像記録装置における映像録画・再生時の画面の内、記録時画面を説明するものである。
【図７】本発明の監視映像記録装置における映像録画・再生時の画面の内、再生時画面を説明するものである。
【図８】本発明の監視映像記録装置における映像録画・再生時の画面の内、一覧表示画面を説明するものである。
【図９】本発明の画像記憶装置を監視センタのような遠隔地から操作し、記録を行なったり、監視映像を再生・閲覧するユーザインターフェイスについて説明するものである。
【図１０】本発明の画像記憶装置について、機能の観点から構成を説明するものである。
【図１１】本発明の監視イベント検出エンジンで実行される監視イベント検出の方法において、着目領域の設定方法とそのときの検出結果について説明するものである。
【図１２】本発明の監視イベント検出エンジンで実行される監視イベント検出の方法において、図11での着目領域の設定によって得られる時空間画像について説明するものである。
【図１３】本発明の監視イベント検出エンジンで実行される監視イベント検出の方法において、もう一つの着目領域の設定方法を説明するものである。
【図１４】本発明の監視イベント情報のデータ構造を説明するものである。
【図１５】本発明の監視イベント区間における代表画面を決定するアルゴリズムについて説明するものである。
【図１６】本発明のWEBブラウザによって提示されるユーザインターフェイスでの監視映像表示をHTMLによって実現する方式について説明する。
【図１７】本発明の一覧画像表示画面上における代表画像のクリックから、映像再生表示領域上に映像が再生されるまでの処理の流れを簡単に説明するものである。
【図１８】本発明の一覧画像表示画面上のHTMLテキストデータを生成される手順について説明するものである。
【図１９】本発明の時間木ツリー表示から一覧表示画面を動的に切り替える方法について説明するものである。
【図２０】本発明の時間木構造表示の枝ノードをクリックした場合の動作を説明するものである。
【符号の説明】
【０１２８】
１００…画像記憶装置、
１１０…ビデオ入力端子、
１１１…A/D変換器、
１１９…D/A変換器、
１２０…ビデオ出力端子、
１３０…タッチパネル、
１３９…ネットワークインターフェイスカード（NIC）、
１４０…ＬＡＮ端子、
１５０…ＣＰＵ、
１６０…補助記憶装置、
１７０…メモリ、
１８０…データバス、
１９０…ポインティングデバイス
２００…監視カメラ、
２１０…ディスプレイ、
２２０…パソコン。
【図１】
2006129519.tif 000003
【図２】
2006129519.tif 000004
【図３】
2006129519.tif 000005
【図４】
2006129519.tif 000006
【図５】
2006129519.tif 000007
【図６】
2006129519.tif 000008
【図７】
2006129519.tif 000009
【図８】
2006129519.tif 000010
【図９】
2006129519.tif 000011
【図１０】
2006129519.tif 000012
【図１１】
2006129519.tif 000013
【図１２】
2006129519.tif 000014
【図１３】
2006129519.tif 000015
【図１４】
2006129519.tif 000016
【図１５】
2006129519.tif 000017
【図１６】
2006129519.tif 000018
【図１７】
2006129519.tif 000019
【図１８】
2006129519.tif 000020
【図１９】
2006129519.tif 000021
【図２０】
2006129519.tif 000022