(57)【要約】    【課題】      大容量の記録データを、システムに多大な負荷をかけずに簡単な構成および処理により、データの重要度に応じて長時間記録すること。    【解決手段】  レイヤ分類部１０２は、監視カメラＣ１で撮像され、映像処理部１０１を介し入力された映像データを、重要度に応じてフレーム単位で複数のレイヤに分類する。データ記録部１０６は、分類されたデータをレイヤ毎にファイルを割り当ててデータ記録媒体Ｍ１に記録する。情報量削減部１０８は、データ記録媒体Ｍ１の空き容量が閾値以下となったことを検知した場合、複数のレイヤのうち最下層のレイヤに属すフレームを削除する。  【選択図】      図４
2005151546.tif 000002
【特許請求の範囲】
【請求項１】
マルチメディアのデータを継続してメモリに記録する記録手段と、
前記メモリの空き容量が閾値以下の場合、前記メモリに記録されているデータのうち、より古いデータ、または、より重要度の低いデータを対象として、これらのデータのデータ量を削減するデータ量削減手段と、
を具備するマルチメディアデータ記録装置。
【請求項２】
前記記録手段は、
前記マルチメディアのデータをデータ内容またはデータ精度に応じて、複数の階層化されたレイヤに分類して記録する、
請求項１記載のマルチメディアデータ記録装置。
【請求項３】
前記記録手段は、
前記マルチメディアのデータを、フレームレート、要求される画質もしくは解像度、フレーム間の画像変化量、要求される保存期間、ＭＰＥＧ（Moving Picture Experts Group）方式のデータのピクチャタイプ、記録されているイベントの重要性、またはＭＰＥＧのスケーラブル符号化方式で符号化されたデータの拡張レイヤ、に応じて複数の階層化されたレイヤに分類して記録する、
請求項２記載のマルチメディアデータ記録装置。
【請求項４】
前記データ量削減手段は、
前記メモリの空き容量が閾値以下の場合、前記階層化されたレイヤのより低位のレイヤに記録されているデータから順に削除する、
請求項２記載のマルチメディアデータ記録装置。
【請求項５】
前記データ量削減手段は、
より低位のレイヤに記録されているデータのうち、より古いデータから順に削除する、
請求項４記載のマルチメディアデータ記録装置。
【請求項６】
前記データ量削減手段は、
より低位のレイヤに記録されているデータのうち、最低保存期間を経過していないデータは削除しない、
請求項５記載のマルチメディアデータ記録装置。
【請求項７】
前記記録手段は、
前記マルチメディアのデータを、このデータの取得時刻に応じて設定される複数のセグメントと、各セグメントに従属する複数のレイヤであってデータ内容またはデータ精度に応じて設定されるレイヤと、からなる階層構造に分類して記録し、
前記データ量削減手段は、
前記取得時刻がより古いセグメントを選択し、このセグメントの中でより低位のレイヤに記録されているデータから順に削除する、
請求項１記載のマルチメディアデータ記録装置。
【請求項８】
請求項４記載のマルチメディアデータ記録装置を具備するモニタシステムであって、
モニタ領域におけるイベントの発生を検知する検知手段をさらに具備し、
前記データ量削減手段は、
前記イベントに関連するデータが記録されている一または複数のレイヤの少なくとも一のレイヤを保護レイヤとしてデータ量削減の対象から除外する、
モニタシステム。
【請求項９】
請求項４記載のマルチメディアデータ記録装置と、
前記メモリに記録されているデータへのアクセス頻度を計測する計測手段と、
前記メモリに記録されているデータのうち、アクセス頻度が所定値以上のデータが記録されている一または複数のレイヤの少なくとも一のレイヤを、前記データ量削減手段によるデータ量削減の対象とならない保護レイヤに変更する変更手段と、
を具備するモニタシステム。
【請求項１０】
請求項４記載のマルチメディアデータ記録装置と、
前記メモリに記録されているデータ相互の類似度を判断する判断手段と、
を具備し、
前記データ量削減手段は、
前記判断手段によって類似度が高いと判断されたデータのうち、古い方のデータが記録されているレイヤに対し、より低位のレイヤに記録されているデータから順に削除する、
モニタシステム。
【請求項１１】
マルチメディアのデータを継続してメモリに記録する記録ステップと、
前記メモリの空き容量が閾値以下の場合、前記メモリに記録されているデータのうち、より古いデータ、または、より重要度の低いデータを対象として、これらのデータのデータ量を削減するデータ量削減ステップと、
を具備するマルチメディアデータ記録方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モニタシステム等に使用されるマルチメディアデータ記録装置およびマルチメディアデータ記録方法に関する。
【背景技術】
【０００２】
金融機関の金庫、企業の重要機密の保管場所、また身近なところでは、銀行、コンビニエンス・ストア等の各種店舗に設置されているＡＴＭ（automated teller machine）のように、終夜もしくは終日の監視が必要な場所においては、監視対象の近くに監視カメラ、集音マイク等を設置し、継続的に撮像された映像データおよび集音された音声データ等のマルチメディアデータを、必要時に事後的にチェックできるようにしている。このような監視システムでは、撮像された映像データおよび集音された音声データ等をハードディスク等の蓄積媒体（記録媒体）に一定期間保存しておき、必要時にこのデータを読み出すことにより、上記の動作を実現している。
【０００３】
また最近は、日本国内の治安の悪化から、駅の構内、ショッピング・アーケード、荷物の出し入れをしていない無人の倉庫等のような場所にも監視カメラ等を設置し、監視システムの監視対象を拡大させる傾向が見られる。これらの監視システムに共通しているのは、監視対象が広域な範囲にまたがるため、監視カメラ等を複数設置する必要が生じ、監視システムが大規模化しているということである。また、監視データの高精度化のニーズも高まってきており、映像データの解像度を上げたり、音声データの品質を向上させることも一般的に行われるようになってきている。このように、従来に比べ、記録される監視データのデータ量は著しく増大している。
【０００４】
ところが、記憶媒体の容量には限りがあるため、映像等のマルチメディアデータを一定期間保存しておくためには、過去に記録されたデータを一定期間経過後もしくは記録媒体の空き容量が足りなくなった場合に消去して、この空きスペースに新しいデータを記録するか、または古いデータに新しいデータを順次上書きすることにより、エンドレスに監視データを記録し続けること（以下、これをエンドレス記録という）が必要である。
【０００５】
従来のマルチメディアデータ記録装置として、品質を確保したい映像情報は圧縮せずに、その他の映像情報は圧縮して記録することにより、重要な映像の品質を保持すると共に、長期間の映像情報を限られた記憶容量の媒体に記録できるようにする映像記録装置がある（例えば、特許文献１参照）。この映像記録装置は、映像情報を映像記録媒体に記録し、盗難、強盗、交通事故、火災等の何らかの事件（以下、総称してイベントという）の発生を映像記録媒体に記録し、映像記録媒体に記録された映像情報のうち、イベントに関連しない映像情報を記録媒体より読み出し、圧縮し再記録することにより、記録媒体の空き容量を増加させている。
【０００６】
また、イベントが発生したときに、その原因究明の資料として、イベントの記録データ（以下、イベントデータという）は勿論のこと、イベント発生直前のデータ（以下、プレイベントデータという）も重要なものである。このプレイベントデータを記録（以下、プリレコーディングまたはプレイベント記録という）するマルチメディアデータ記録装置として、プレイベントデータを通常の一時記憶領域とは別個の領域に退避させる監視用画像記録装置もある（例えば、特許文献２参照）。この装置は、プレイベントデータを退避させる（コピーする）ことにより、一定時間経過後に重要な監視データが消失することを防止している。
【特許文献１】特開２０００−１３７４５号公報
【特許文献２】特開平９−４６６３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に示した従来のマルチメディアデータ記録装置は、空き容量が不足してくると、常時モニタ等から出力される映像データをメモリに記録しながら、同時にイベントに関連しないデータは圧縮し、再記録するという二次的な加工処理（記録する処理と並列の処理）を施すため、システムにかかる負荷が大きいという問題がある。また、システム負荷が大きいということは、このマルチメディアデータ記録装置自体の回路規模も大きくなるということを意味している。
【０００８】
また、特許文献２に示した従来のマルチメディアデータ記録装置は、プレイベントデータが長時間または高精細なデータとなると、退避（コピー）するデータ量が増え、処理にかかる時間およびシステム負荷が増大し、さらにプレイベントデータ退避用の記憶媒体として高速アクセスが可能で大容量のメモリが別個に必要となり、システムのコストがアップするという問題がある。
【０００９】
本発明の目的は、モニタシステム等に使用され、大容量の記録データを、システムに多大な負荷をかけずに、簡単な構成および処理により、データの重要度に応じて長時間記録することができるマルチメディアデータ記録装置およびマルチメディアデータ記録方法を提供することである。
【課題を解決するための手段】
【００１０】
本発明のマルチメディアデータ記録装置の一形態は、マルチメディアのデータを継続してメモリに記録する記録手段と、前記メモリの空き容量が閾値以下の場合、前記メモリに記録されているデータのうち、より古いデータ、または、より重要度の低いデータを対象として、これらのデータのデータ量を削減するデータ量削減手段と、を具備する構成を採る。
【００１１】
本発明のマルチメディアデータ記録装置の他の形態は、上記の構成において、前記記録手段は、前記マルチメディアのデータをデータ内容またはデータ精度に応じて、複数の階層化されたレイヤに分類して記録する構成を採る。
【００１２】
本発明のマルチメディアデータ記録装置のさらに他の形態は、上記の構成において、前記データ量削減手段は、前記メモリの空き容量が閾値以下の場合、前記階層化されたレイヤのより低位のレイヤに記録されているデータから順に削除する構成を採る。
【００１３】
すなわち、本発明では、マルチメディアデータを記録する際に、このデータを重要度に基づいて階層化レイヤに分類して記録し、記録媒体の空き容量が少なくなったら、低位レイヤから順にデータ量（情報量）を削減する。ここで、重要なデータとは、長期間の保存が必要なデータ、高精細な画質が要求されるデータ、高フレームレートのデータ、または外部センサ等によるアラームと関連付けられているデータ等を指す。
【００１４】
これらの構成によれば、例えば、モニタデータという大容量のデータを、そのデータの重要度に応じて階層化レイヤに分類して記録する。そして、メモリ（記録媒体）に空き容量が少なくなったら、低位レイヤのデータから順に、すなわち重要度の低いデータから削除する。よって、モニタシステム等に多大な負荷をかけずに、簡単な構成および処理により、大容量のデータを重要度に応じて長時間記録することができる。
【００１５】
本発明のマルチメディアデータ記録装置のさらに他の形態は、上記の構成において、前記データ量削減手段は、より低位のレイヤに記録されているデータのうち、より古いデータから順に削除する構成を採る。
【００１６】
この構成によれば、より低位レイヤのデータから順に削除する際に、ある１つのレイヤ内においては、古いデータから順に削除を行う。よって、レイヤを意識せずに記録データ全体を見ると、古いデータほど情報量が削減されていく一方、新しいデータの情報量は維持されることになる。すなわち、データの古さに応じて、情報量の削減度合いが変わる。これは、「データの重要度」および「データの古さ」という２つの判断基準を同時に考慮しつつ、まず重要度の低いデータを削除対象としていることを意味している。このとき、新しいデータについては、詳細な高精度の状態を維持しつつ、記録データ全体のデータ量は削減することができる。
【００１７】
本発明のマルチメディアデータ記録装置のさらに他の形態は、上記の構成において、前記記録手段は、前記マルチメディアのデータを、このデータの取得時刻に応じて設定される複数のセグメントと、各セグメントに従属する複数のレイヤであってデータ内容またはデータ精度に応じて設定されるレイヤと、からなる階層構造に分類して記録し、前記データ量削減手段は、前記取得時刻がより古いセグメントを選択し、このセグメントの中でより低位のレイヤに記録されているデータから順に削除する構成を採る。
【００１８】
この構成によれば、まず記録時刻の古さに基づいて削除対象のセグメントを選択し、次にそのセグメントの中で重要度のより低いデータが記録されているレイヤを削除していく。よって、レイヤを意識せずに記録データ全体を見ると、古いデータほど情報量が削減されていく一方、新しいデータの情報量は維持されることになる。すなわち、データの古さに応じて、情報量の削減度合いが変わる。これは、「データの重要度」および「データの古さ」という２つの判断基準を同時に考慮しつつ、まず古いデータを削除対象としていることを意味している。このとき、新しいデータについては、詳細な高精度の状態を維持しつつ、記録データ全体のデータ量は削減することができる。
【発明の効果】
【００１９】
本発明によれば、モニタシステム等において、大容量のデータを、システムに多大な負荷をかけずに、簡単な構成および処理により、データの重要度に応じて長時間記録することができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、実施の形態１〜５では、本発明に係るマルチメディアデータ記録装置を監視システムに適用する場合を例にとって説明する。しかし、実施の形態１〜５に係るマルチメディアデータ記録装置をより一般的なモニタシステムに適用することもできる。そこで、実施の形態６、７においては、本発明に係るマルチメディアデータ記録装置をモニタシステムに適用する場合を例にとって説明する。
【００２１】
（実施の形態１）
図１は、本発明の実施の形態１に係る監視システムの設置環境を説明するための図である。
【００２２】
本実施の形態に係る監視システムは、監視対象をダムＤ１とし、１台の広角カメラ（監視カメラＣ１）が設置され、広範囲な領域を監視している。そして、撮像された映像データは、記録媒体Ｍ１に記憶され、必要に応じ表示端末Ｔ１に出力され、表示される。このシステムの監視対象の特性は、通常はほとんど動きがないこと、また動きがあったとしてもゆっくりであるということである。同様の特性を有する監視対象としては、他にも、発電所、河川、海上等がある。
【００２３】
図２は、本実施の形態に係る監視システムによって記録された記録データの具体例を示した図である。
【００２４】
この監視システムの監視対象は、上記のように、ほとんど動きがないか、または動きがあったとしてもゆっくりであるため、記録されているデータは、動画像であったとしても、図に示すように実質的に同一の静止画像が多数存在しているにすぎない。
【００２５】
そこで、本実施の形態では、監視データを一度記録媒体Ｍ１に全て保存する。そして、監視対象の特性に鑑み、空き容量が少なくなったら、古い映像に対してフレームを間引く（フレームレートを下げる）処理を施し、新しい映像に対しては記録時のままの高いフレームレートで維持するようにする。
【００２６】
このように、フレームを間引いた映像からでも、監視対象の概要を判断するには充分である。また、録画映像は、動画ではなく静止画であっても監視データとしては充分に役目を果たす場合も多いので、フレームを過度に間引くことにより実質的に静止画像となってしまっても良い。
【００２７】
なお、ここで記録される映像データのフォーマットは、ＪＰＥＧ等によるものとする。すなわち、フレーム内において圧縮することのできる符号化方法により符号化されたデータであるものとする。また、ここでは音声データは対象外となる。フレームの間引きを行うと音が途切れてしまうからである。
【００２８】
図３は、フレームごとにレイヤ分けされるフレームデータの具体例の一つを示す図である。
【００２９】
各フレームデータ（この図では、フレーム１〜１６）は、時間軸上の位置によりレイヤ分けされる。具体的には、フレーム１を基準として、これから１５フレーム周期で離れたフレーム（フレーム１、１６、３１、・・・）がレイヤＡに分類される。また、フレーム１から３フレーム周期で離れたフレーム（フレーム４、７、１０、・・・）がレイヤＢに分類され、レイヤＡまたはレイヤＢのいずれにも属さないフレームデータはレイヤＣに分類される。
【００３０】
これにより、レイヤＡ〜Ｃに含まれるフレームデータを全て使用して記録データの再生を行った場合のフレームレートをα（ｆｐｓ）、レイヤＡ〜Ｂに含まれるフレームデータを全て使用して再生を行った場合のフレームレートをβ（ｆｐｓ）、レイヤＡのみに含まれるフレームデータを使用して再生を行った場合のフレームレートをγ（ｆｐｓ）とすることができる（ただし、α＞β＞γ）。すなわち、レイヤＣ、レイヤＢ、レイヤＡの順に記録データ再生時のフレームレートが上がっている。
【００３１】
図４は、上記の動作を可能とする本実施の形態に係るマルチメディアデータ記録装置１００の主要な構成を示すブロック図である。
【００３２】
マルチメディアデータ記録装置１００は、映像処理部１０１、レイヤ分類部１０２、管理リスト作成部１０３、データ管理リスト１０４、管理リスト更新部１０５、データ記録部１０６、情報量削減部１０８、データ再生部１０９、およびデータ記録媒体Ｍ１を有する。
【００３３】
映像処理部１０１は、監視カメラＣ１で撮像された映像データに所定の映像処理を施し、レイヤ分類部１０２に出力する。レイヤ分類部１０２は、映像処理部１０１から出力されたデータを、重要度に応じてフレーム単位で複数のレイヤに分類する。データ記録部１０６は、レイヤ毎にファイルを割り当て、データ記録媒体Ｍ１の先頭アドレスから順に記録する。データ再生部１０９は、データ記録媒体Ｍ１から必要に応じデータを読み出し、端末Ｔ１を介し、このデータを再生する。一方、管理リスト作成部１０３は、レイヤ分類部１０２によって決定されたレイヤとフレームとの対応関係をリスト化してデータ管理リスト１０４に保持する。
【００３４】
情報量削減部１０８は、データ記録媒体Ｍ１の空き容量が閾値以下となったことを検知した場合、複数のレイヤのうち最下層のレイヤに属すフレームを削除する。管理リスト更新部１０５は、データ記録媒体Ｍ１からどのレイヤのデータが削除されたか情報量削減部１０８から通知され、これに基づいてデータ管理リスト１０４に記録されているレイヤとフレームとの対応関係を更新する。
【００３５】
次いで、上記構成を有するマルチメディアデータ記録装置のデータ記録処理の主要な手順について、図５に示すフロー図を用いて説明する。
【００３６】
レイヤ分類部１０２には、監視カメラＣ１で撮像された映像データが映像処理部１０１を介し入力される（ＳＴ１０１０）。入力された映像データは、重要度に応じてフレーム単位で複数のレイヤに分類される（ＳＴ１０２０）。例えば、レイヤがＡ〜Ｃまでの３レイヤに分かれていたとすると、フレームが１、２、３、４、５、６、…と順に入力された場合、それぞれのフレームに対して、フレーム１はレイヤＡ、フレーム２はレイヤＢ、というように分類される。
【００３７】
データ記録媒体Ｍ１に上記のフレームを記録するだけの空き容量がある場合（ＳＴ１０３０）、データ記録部１０６は、このフレームデータをデータ記録媒体Ｍ１に記録する（ＳＴ１０５０）。管理リスト作成部１０３は、レイヤ分類部１０２によって決定されたレイヤとフレームの関係をリスト化してデータ管理リスト１０４に保持する（ＳＴ１０６０）。
【００３８】
一方、データ記録媒体Ｍ１に上記のフレームを記録するだけの空き容量がない場合は（ＳＴ１０３０）、情報量削減部１０８は、常にデータ記録媒体Ｍ１の空き容量を監視しているので、複数存在するレイヤから所定の条件を満たす１つのレイヤを選択して、このレイヤに属すフレームを記録時刻が古いものから順に削除する（ＳＴ１０４０）。ＳＴ１０４０の処理は、所定値以上の空き容量が確保されるまで繰り返される。
【００３９】
次いで、上記のＳＴ１０４０の情報量削減処理のより詳細な手順について、図６に示すフロー図を用いて説明する。
【００４０】
情報量削減部１０８は、まず、削減対象のレイヤを最低ランク（最下層）にセットする（ＳＴ１０４１）。そして、この削減対象のレイヤにフレームデータが属しているか確認し（ＳＴ１０４２）、属するフレームが存在する場合にはこのレイヤの中で、記録された時間が最も古いフレームデータを選択し（ＳＴ１０４３）、このデータが最低保存期間を経過しているか確認する（ＳＴ１０４４）。最低保存期間を経過している場合には、情報量削減部１０８は、ＳＴ１０４３において選択されたフレームデータを削除し（ＳＴ１０４５）、これに伴い、削除したフレームデータを管理リスト更新部１０５に通知する。管理リスト更新部１０５はこれに従い、データ管理リスト１０４を更新する（ＳＴ１０４６）。また、ＳＴ１０４４において、選択されたフレームデータが最低保存期間を経過していない場合には、削除対象のレイヤを１ランク上位のレイヤへとランクアップする（ＳＴ１０４７）。
【００４１】
ここで最低保存期間とは、レイヤ毎に予め設定されている期間のことを指し、この期間内においては、フレームデータの削除を行わないこととする。
【００４２】
また、ＳＴ１０４７のレイヤのランクアップには上限を設定しても良い。すなわち、あるランク（重要度レベル）以上のレイヤは削除されないようにする。これにより、最低フレームレートのデータは削除されずに残るようになる。
【００４３】
図７は、データ管理リスト１０４とデータ記録媒体Ｍ１に記録されているデータファイルとの対応関係を説明するための図である。
【００４４】
データ記録媒体Ｍ１には、各レイヤにそれぞれ対応した、異なる領域のファイル（ファイル＃１、＃２、＃３、・・・）が記録されている。そして、各フレームデータは、それぞれのファイルに収納される。例えば、レイヤＡに分類されたフレーム１、１６、３１、・・・は、レイヤＡに対応するファイル＃１に記録される。
【００４５】
データ管理リスト１０４には、少なくともそれぞれのレイヤに属するファイル名が登録されている（図中の矢印がこれを示している）。図の例では、さらに各レイヤが占有するデータサイズを示す情報も記録されている。
【００４６】
図８Ａ〜図８Ｃは、上記の情報量削減処理により、データ記録媒体Ｍ１のデータ構成がどのように変化するか説明するための図である。
【００４７】
例えば、レイヤＣ、レイヤＢ、レイヤＡの順にデータが削除され、かつ、１つのレイヤ内では、記録時刻が最も古いフレームデータから削除されるように設定されているものとする。また、各レイヤにはデータの最低保存期間がそれぞれ設定されており、この最低保存期間を経過していないフレームは削除されないものとする。
【００４８】
まず、上記の情報量削減の処理が施される前は、図８Ａに示すように、全てのレイヤのデータが時間軸上に並んでいる。このとき、記録媒体Ｍ１のディスクの使用量は１００％であるため、情報量削減の処理を施す必要がある。そこで、レイヤＣに属するフレーム２、３、５、６、・・・が削除対象となる。
【００４９】
次に、図８Ｂに示すように、レイヤＣ内に上記の基準による削除可能なフレームが無くなり、かつ、まだ記録媒体Ｍ１の空き容量が閾値以上となっていない場合（例えば、閾値が７０％だとすると、図の例では、記録媒体Ｍ１の空き容量が６７％であるので閾値以下）には、さらに１つ上位のレイヤであるレイヤＢのフレームが削除される。レイヤＢに属するフレーム４、７、１０、１３が削除されると、図８Ｃのようになる（この例では、記録媒体Ｍ１の空き容量は９４％）。
【００５０】
例えば、レイヤＢ内で削除可能なフレームが無くなり、かつ、レイヤのランクアップに上限が設定されていない場合には、さらにレイヤＡのフレームもが削除されることもある。レイヤＡのフレームが削除されると、その時間帯に記録されたデータの全てが削除されたことになる。
【００５１】
図９は、上記の情報量削減処理により記録媒体Ｍ１のデータ構成がどのように変化するかを時間軸上で説明した図である。
【００５２】
この図に示すように、時刻ｔ４から遡って時刻ｔ３まではレイヤＣの最低保存期間内であるため、レイヤＡ〜Ｃの全てのデータが残っている。よって、このときのフレームレートはα（図中では、１５ｆｐｓ）となる。また、時刻ｔ３から時刻ｔ２まではレイヤＢの最低保存期間内であるため、レイヤＡ〜Ｂのデータが残っている。よって、このときのフレームレートはβ（図中では、５ｆｐｓ）となる。そして、時刻ｔ２から時刻ｔ１まではレイヤＡの最低保存期間内であるため、レイヤＡのデータのみが残っている。よって、このときのフレームレートはγ（図中では、１ｆｐｓ）となる。
【００５３】
このように、時間経過と共に、記録されているデータの情報量（フレームレート）は段階的に低下するので、記録データ全体の容量を抑えることができる。一方、新しいデータは、古いデータの情報量削減により容量に余裕が生じた記録媒体に保存されるので、長期間保存することができる。
【００５４】
このように、本実施の形態によれば、監視データという大容量のフレームデータを、そのデータ構造に従って階層化レイヤに分類し、記録媒体Ｍ１に記録する。すなわち、フレームを形成するのに必要な最小限のデータを最重要なデータと位置付け、残りのデータはフレームレートの大小に応じて重要度を決定し、階層化レイヤに分類して記録する。そして、記録媒体Ｍ１に空き容量が少なくなったら、低位レイヤのデータから順に、すなわち重要度の低いデータから削除する。よって、監視システムに多大な負荷をかけずに、簡単な構成および処理により、大容量のデータを重要度に応じて長時間記録することができる。
【００５５】
また、以上の構成において、より低位レイヤのデータから順に削除する際に、ある１つのレイヤ内においては、古いデータから順に削除を行う。よって、レイヤを意識せずに記録データ全体を見ると、時間経過と共に、古いデータほど情報量が削減されていく（フレームレートが低下していく）一方、新しいデータの情報量は維持されることになる。すなわち、データの古さに応じて、情報量の削減度合いが変わる。これは、「データの重要度」および「データの古さ」という２つの判断基準を同時に考慮しつつ、まず重要度の低いデータを削除対象としていることを意味している。このとき、記録データ全体のデータ量は削減されているが、新しいデータについては、監視対象の動きを詳細に把握することができるような高精度の状態のまま維持されているので、これらの記録データの中から監視対象の詳細部（例えば、映っている人物の顔等）を認識するために最適な画像を選ぶこともできる。
【００５６】
また、以上の構成において、より低位のレイヤから順にデータを削除する処理において、各データに対し予め設定されている最低保存期間を経過していないデータに対しては削除を行わないという設定を行うことにより、比較的古いデータにおいても、監視対象の概要がわかるような必要最低限のデータ、すなわちデータ構造から考えて最重要なデータだけは残す（情報量に下限を設定し、これを維持する）という処理が可能となる。一方、新しいデータについては、監視対象の動きを詳細に把握することができるような高精度の状態のまま維持されているので、これらの記録データの中から監視対象の詳細部（例えば、映っている人物の顔等）を認識するために最適な画像を選ぶことができる。
【００５７】
なお、より低位のレイヤから順にデータを削除する処理において、あるランク（重要度レベル）以上のレイヤは削除対象としない（削除対象となるレイヤのランクアップに制限を設ける）という設定を行っても良い。これにより、削除対象の古いデータにおいても、監視対象の概要がわかるような必要最低限のデータ、すなわちデータ構造から考えて最重要なデータだけは残す（情報量に下限を設定し、これを維持する）という処理が可能となる。ここで、上記の下限値は、フレームレート、解像度等に対し設定されるものである。
【００５８】
また、上記のように記録データを階層レイヤに分類するとしても、データを削除する際には、常により低位のレイヤから順に削除しなければならないというわけではなく、状況によっては削除するレイヤの順番を臨機応変に変更しても良い。すなわち、レイヤを階層化されたものとして扱わず、フラットな構成を有するものとして扱っても良い。これは、記録データを単にそれぞれの特性に注目してグルーピングしたものと考えることができる。このように、記録データをそれぞれの特性に注目して複数のレイヤに分類して記憶する構成を採ることにより、単に時間経過に伴い、記録された時間が古いものから記録データの情報量を削減していくという処理以外にも、時間という基準に縛られない新たな削除基準によって、データの情報量を削減することができる。よって、事後的に削除基準を修正することもできるし、新たな削除基準を追加することもできる。すなわち、データの情報量を削減する際の柔軟性が向上している。この点については、実施の形態４で再度説明する。
【００５９】
また、ここでは、データの重要度を判断する際に、フレームレートを基準とする場合を例にとって説明したが、監視データがＭＰＥＧ（Moving Picture Experts Group）方式のデータである場合は、ＭＰＥＧのピクチャタイプを基準としても良い。
【００６０】
具体的には、Ｉピクチャ（このデータのみで静止画像を構成できるデータ）はレイヤＡに、Ｐピクチャ（連続するＩピクチャ間の差分データであり、Ｉピクチャを補完することにより動画像を構成するデータ）はレイヤＢに、Ｂピクチャ（動画像の画質を向上させるためのデータ）はレイヤＣに、というように分類する。以下、図面を用いて具体的に説明する。
【００６１】
図１０Ａ〜図１０Ｃは、マルチメディアデータ記録装置１００が上記のＭＰＥＧデータのデータ量削減処理を行った場合の記録データの変化を説明するための図である。なお、このマルチメディアデータ記録装置は、図４に示したマルチメディアデータ記録装置と同様の基本的構成を有しているので、その説明を省略する。
【００６２】
図１０Ａは、記録データが重要であった場合を示した図である。この図に示すように、データ量の削減処理（間引き）が行われていない場合には、レイヤＡ〜Ｃに属するＩピクチャ、Ｐピクチャ、およびＢピクチャの全てのデータが揃っている。かかる場合、全フレームを保存したままなので、このデータ（すなわち、ＭＰＥＧ動画）を再生した場合、その動きは滑らかで詳細に分かる。
【００６３】
しかし、レイヤＣの削除が行われた後（Ｂフレームのみを間引いた状態）は、図１０Ｂに示すように、ＩピクチャおよびＰピクチャのみが残る。よって、このデータを再生した場合、コマ送りのように見え、動きはぎこちないものとなる（動画像の画質が劣化している）が、ある程度動作はわかる状態である。
【００６４】
さらに、レイヤＢの削除が行われた後（Ｐフレームを間引いた状態）は、図１０Ｃに示すように、Ｉピクチャのみが残る。よって、この段階では、この記録データは動画像を構成できず、複数の静止画像が記録された形となっており、これはＪＰＥＧ画像と同等なデータである。
【００６５】
なお、記録する映像データフォーマットは、ＭＰＥＧ２／ＭＰＥＧ４等のフレーム間で圧縮を行う符号化にも対応させる。よって、新しい映像または重要な映像は、動画像として保存される。これにより、ＭＰＥＧ２／ＭＰＥＧ４の特徴を生かすことができる。
【００６６】
また、重要でない映像は、静止画像としての保存形式に変更する。これにより、ある時間帯の状況を代表する静止画（のサムネイル）として、ＪＰＥＧ画像で保存してあるように見える。
【００６７】
このように、データの重要度を判断する際にＭＰＥＧのピクチャタイプを基準としても、フレームレートを基準とした場合と同様の作用効果を得ることができる。
【００６８】
さらに、データの重要度を判断する際の基準として、ＭＰＥＧのスケーラブル符号化において使用される拡張レイヤを用いても良い。
【００６９】
ＭＰＥＧのスケーラブル符号化方式は、近年のネットワークの多様化に伴い、階層構造を有することにより、複数の帯域に見合った品質で映像を伝送することを可能とする階層符号化方式である。ＭＰＥＧのスケーラブル符号化には、ＭＰＥＧ４のＦＧＳ（Fine Granularity Scalability）、ＭＰＥＧ４のシンプルスケーラブルプロファイル、Ｗａｖｅｌｅｔベースの符号化等があるが、ここでは、ＭＰＥＧ４のＦＧＳを例にとって説明する。
【００７０】
ＦＧＳにより符号化された映像データは、単体で復号化が可能な動画像ストリームである一の基本レイヤと、基本レイヤの復号化動画像品質を向上させるための動画像ストリームである少なくとも一以上の拡張レイヤとで構成される。基本レイヤは低帯域で低画質の映像データであり、これに拡張レイヤを帯域に応じて足し合わせることにより自由度の高い高画質化が可能である。以下、図面を用いて具体的に説明する。
【００７１】
図１１は、重要度の判断基準としてＭＰＥＧ４のＦＧＳを用いる場合のデータ記録処理の概要を説明するための図である。
【００７２】
ここでは、監視対象物の動きだけ把握できればいい状況、または、監視対象物の詳細な画像だけ必要な状況を想定している。例えば、セキュリティゾーンへの入室を監視するような場合である。かかる場合、撮像エリアに誰もいない場合は、記録データは低いフレームレート（低解像度）で構わない。一方、侵入者が入室しようとした場合には、高精細な画像（特に顔の画像）が数枚あればよいことになる。
【００７３】
よって、ここでは、図１１に示すように、ＦＧＳの基本レイヤをレイヤＡに、ＦＧＳの拡張レイヤをそれぞれレイヤＢおよびレイヤＣにマッピングする。これにより、重要なデータのフレームレートだけでなく、解像度(画質)も変更することができる。一方、他のデータは、低解像度であっても、人の動きが把握できるように、フレームレートを高く維持する。また、異常が発生した場合、例えば、規定の手順を踏まずに入室しようとした場合等には、記録（書き込み）時のデータのまま（すなわち、高フレームレート、高解像度で）データを保存しておく。
【００７４】
図１２Ａ〜図１２Ｄは、上記のようにレイヤ分けされてＦＧＳデータを再生した場合の画質の違いを説明するための図である。図１２Ｄは記録時のデータ、すなわち、レイヤＡ〜Ｃが完全に揃っている状態のデータを再生した場合の画質、図１２ＡはＦＧＳの拡張レイヤ（本発明のレイヤ分けで言うところのレイヤＢおよびＣ）を削除してＦＧＳの基本レイヤ（レイヤＡ）のみが残っている場合の画質、図１２ＢはＦＧＳの「動きを向上させる」拡張レイヤ（レイヤＣ）を削除してレイヤＡおよびレイヤＢが残っている場合の画質、図１２ＣはＦＧＳの「画質を向上させる」拡張レイヤ（レイヤＢ）を削除してレイヤＡおよびレイヤＣが残っている場合の画質を示した図である。
【００７５】
図１２Ｂでは、ＦＧＳの「動きを向上させる」拡張レイヤを削除したことにより、再生画像は動きのある動画にはなっているが精度が悪くコマ送りのような状態になっている。一方、図１２Ｃにおいては、ＦＧＳの「画質を向上させる」拡張レイヤを削除したことにより、動きは滑らかであるが画質が悪く、人物の顔の輪郭がギザギザになっていることがわかる。図１２Ａにおいては、ＦＧＳの「動きを向上させる」拡張レイヤおよび「画質を向上させる」拡張レイヤの双方を削除したため、コマ送りで、かつ画質の悪い映像となっている。このように、所望の動画の精度に応じて各レイヤを削除し、データ量を削減することができる。
【００７６】
このように、データの重要度を判断する際に、ＭＰＥＧのスケーラブル符号化において使用される拡張レイヤを基準としても、フレームレートを基準とした場合と同様の作用効果を得ることができる。
【００７７】
（実施の形態２）
データの重要度を判断する際の基準としては、実施の形態１に示したように、データ構造に着目して、ある情報を示すのに最低限必要なデータ（例えば、ＭＰＥＧにおけるＩピクチャ）ほど重要なデータであると考える方法がある。しかし、データが示す情報の内容自体の重要度をデータの重要度の判断基準とすることもできる。例えば、イベント発生前後の記録データ、またはフレーム間の画像変化量（＝動きの激しさ）の大きいデータ等が重要なデータであると言える。
【００７８】
本実施の形態では、監視対象として、通常は動きがないか、または、動きがあっても動きがある場合／動きがない場合のシーンがはっきり区別できるようなものを想定する。例えば、屋外施設を監視しているような場合、夜間のビルを監視しているような場合、特定の部屋の入退室の監視等がこれに相当する。
【００７９】
これらの監視データの特徴は、記録データ中にほとんど同一視できる画像フレームが何枚も続くことである。これらのデータは、いくら保存しても記憶領域を有効に利用しているとは言えないため、重要なデータとは言えない。よって、本実施の形態では、画像変化量（監視対象の動きの激しさの程度）に応じてレイヤを決定する。例えば、前フレームとの輝度差分が大きい（画像の変化が大きい）場合はレイヤＡに分類し、前フレームとの輝度差分が少ない（画像の変化が少ない）場合はレイヤＣに分類する。そして、レイヤＣ等に対しては、フレームの間引き等によりデータ量の削減を行う。一方、古い記録データに対しては、フレーム間の画像変化量の少ないフレームを間引く。以下、図面を用いて具体的に説明する。
【００８０】
図１３Ａおよび図１３Ｂは、上記のデータ記録処理の具体例を示す図である。
【００８１】
図１３Ｂに示すように、監視カメラに何も映っていない場合には、記録データを長時間保存しておく価値は少ない。しかし、図１３Ａに示すように、監視カメラに侵入者Ｉが映っている場合には、この記録データを保存しておく必要性が高い。ここで、図１４を用いて、これらのデータの画像変化量を考察すると、図１３Ａに示したような記録データは、図１４の画像変化量のグラフにおいては、最大ピークを示すデータＰ２になる。よって、このデータは図１４に示す通りに、レイヤＡに分類することとし、データＰ２よりも低いピークを示すデータＰ１はレイヤＢに分類し、ピークを示さない残りのデータはレイヤＣに分類することとする。
【００８２】
このように、本実施の形態によれば、監視データという大容量のフレームデータを、フレーム間の画像変化量に従って階層化レイヤに分類し、記録媒体Ｍ１に記録する。すなわち、データの示す内容の重要度に応じて記録する。そして、記録媒体Ｍ１に空き容量が少なくなったら、重要度の低いデータから削除する。よって、監視システムに多大な負荷をかけずに、簡単な構成および処理により、大容量のデータを重要度に応じて長時間記録することができる。
【００８３】
なお、イベント発生後に記録されたデータを重要データと考える場合は、例えば、イベントの内容としても重要度の高いイベントが発生して記録されたデータはレイヤＡに、レイヤＡに分類されたデータと比較するとイベントとして重要度が低いイベントのデータをレイヤＢに、イベントに関係ない、スケジューリングにより定期的に記録されたデータをレイヤＣに分類すれば良い。
【００８４】
（実施の形態３）
本実施の形態では、データ管理リスト１０４のデータ構造をさらに細分化された階層構造とする。すなわち、実施の形態１または実施の形態２で説明したレイヤの上にさらにセグメントと呼ばれる層を設けて、記録データをこの細分化された階層構造の中に記録する。
【００８５】
図１５は、データ管理リスト１０４のデータ構造を示す図である。
【００８６】
本実施の形態では、一定期間に記録されたフレーム群を１つのセグメントのデータとし、セグメント毎にデータの重要度を示すレベルを設定する。また、このレベルに応じて保存するレイヤ（のランク）が決定される。すなわち、記録時には、セグメント単位で重要度に応じたレイヤを割り当て、データ量削減時には、ある一定ランク以上のレイヤを残し、このレベルより低いランクのレイヤは削除される。
【００８７】
データの重要度を判断する際の基準としては、実施の形態２と同様に、データが示す情報の内容自体の重要度を用いる。具体的には、データを記録することとなった要因（イベント、スケジュール、ユーザ指示等）の重要度に応じてレベルを決定する。例えば、センサが異常を感知してアラームを発した等は重要なイベントと考える。すなわち、第３者の侵入防止システムにおいては、「人体検知センサが反応した時」、または「人が異常を察知して非常ベルを押した時」に収集したデータは重要であるので最重要扱いとする。一方、イベントと関係ないデータ（例えば、スケジューリングにより定期的に記録されたデータ等）は、「レベルなし」と設定される。
【００８８】
情報量削減部１０８は、「レベルなし」であるセグメントを削減する場合、このセグメント内の全てのレイヤを削除する。一方、削除対象のセグメントのレベルよりも低いレベルのレイヤがこのセグメントに保存されている場合は、このレイヤに属すフレームのみを削除する。セグメントのレベルと保存されているレイヤのレベルが同等である場合は、削除対象のセグメントを次のセグメントに移す。
【００８９】
図１６は、本実施の形態に係るデータ記録処理の手順を示すフロー図である。なお、このフロー図は、ＳＴ１０５０までは図５に示したフロー図と同一であり、その説明を省略する。
【００９０】
ＳＴ１０５０において、フレームデータを記録した後、外部センサ等のアラームによりイベントの発生があったことを通知されたか（イベント入力があったか）を判断する（ＳＴ３０１０）。そして、イベントの発生があった場合には、このイベントの種別に応じてフレームデータを保護するレイヤを決定する（ＳＴ３０２０）。
【００９１】
例えば、ダムＤ１の水位が平均レベルを越しただけならば、この事実が記録されたデータには比較的低位のレイヤが割り当てられるが、ダムＤ１の水位が警報レベルを越した場合、または、ダムＤ１の堤防が決壊したような場合等の最高レベルの事故が発生した際には、最上位レイヤがこのフレームデータに対し割り当てられる。
【００９２】
ＳＴ３０２０においてイベント種別に応じてレイヤが決定された後、または、ＳＴ３０１０において外部イベント入力がなかった場合には、既に説明した管理リストの更新が行われる（ＳＴ１０６０）。
【００９３】
図１７は、本実施の形態に係る情報量削減処理（ＳＴ１０４０）のより詳細な手順について示すフロー図である。
【００９４】
情報量削減部１０８は、まず、削減対象のデータを記録時刻が最も古いセグメントにセットする（ＳＴ３１１０）。そして、このセグメントの中に削除可能なレイヤが存在するか確認し（ＳＴ３１２０）、該当するレイヤが存在する場合には、このレイヤの中で、記録された時間が最も古いフレームデータを選択し（ＳＴ３１３０）、このフレームデータを削除する（ＳＴ３１４０）。また、情報量削減部１０８は、管理リスト更新部１０５にこの削除したフレームデータを通知する。管理リスト更新部１０５は、この通知に従いデータ管理リスト１０４を更新する（ＳＴ３１５０）。また、ＳＴ３１２０において、削除可能なレイヤがない場合には、削除対象のセグメントを次に古いセグメントにセットし（ＳＴ３１６０）、ＳＴ３１２０の処理に戻る。
【００９５】
なお、ここでは、セグメントが記録時刻の古さに応じて設定される場合を例にとって説明したが、本実施の形態はこれに限定されず、データの重要度（ただし、レイヤ分けする際の基準とは別の基準）に基づいてデータをセグメントに分けても良い。
【００９６】
このように、本実施の形態によれば、記録データをセグメントおよびレイヤからなる、より細分化された階層構造の中に記録するので、複数の削除基準に基づいてデータを削除していくことができ、より柔軟なデータ記録方法を提供することができる。また、これにより、データの重要度に応じて情報量（データ量）の削減度合いを変えることもできる。一般に重要なデータといっても、後々になって必要とされるデータの精度は、データの性質によって異なってくる。例えば、イベントに関係があるために重要なデータと分類されたとしても、このイベントの内容に関してユーザがどの程度の情報が欲しいかによって、要求されるデータの精度は変わる。すなわち、重要なデータだからといって必ずしもデータの全てを必要とするわけではない。一方、重要なデータと分類されないデータであっても、監視データというデータの性質を考慮すると、古くなったからといって記録されたデータを全て削除するのではなく、データの一部は低解像度または低精度のデータであっても良いから一定期間保存しておくことが望ましい。よって、本実施の形態では、以上のことを考慮した多様なデータ記録方法を提供する。
【００９７】
また、以上の構成において、まず記録時刻の古さに基づいて削除対象のセグメントを選択し、次にそのセグメントの中である削除条件に合致する重要度の低いデータが記録されているレイヤを削除していく。よって、レイヤを意識せずに記録データ全体を見ると、時間経過と共に、古いデータほど情報量が削減されていく一方、新しいデータの情報量は維持されることになる。すなわち、データの古さに応じて、情報量の削減度合いが変わる。これは、「データの重要度」および「データの古さ」という２つの判断基準を同時に考慮しつつ、まず古いデータを削除対象としていることを意味している。このとき、記録データ全体のデータ量は削減されているが、新しいデータについては、監視対象の動きを詳細に把握することができるような高精度の状態のまま維持されているので、これらの記録データの中から監視対象の詳細部（例えば、映っている人物の顔等）を認識するために最適な画像を選ぶこともできる。
【００９８】
（実施の形態４）
本実施の形態では、イベント発生前後に記録されたデータ（イベントデータおよびプレイベントデータ）のレイヤを事後的に変更することができるようにする。例えば、交差点に設置された監視システムにおいては、交通事故の原因を解析するためには、交通事故発生後の記録よりも交通事故発生前の記録の方が重要であるからである。以下、図面を用いて具体的に説明する。
【００９９】
図１８は、本実施の形態に係るデータ記録の概要を示す図である。
【０１００】
この監視システムにおいては、監視中に時刻ｔ４において、アラームの対象となる異常事態（イベント）が発生したことをセンサが感知し、これに基づいてユーザ等にアラームを通知する。一方、アラームの通知に連動して、本実施の形態に係るマルチメディアデータ記録装置は映像の記録（録画）を行なう。
【０１０１】
イベント発生以降に撮像した映像（イベントデータ）は重要なデータであるが、イベント発生以前の時刻ｔ１からｔ３において撮像された映像（プレイベントデータ）Ｖ１も重要なデータである。よって、このプレイベントデータ（数秒から数十分にわたる長時間のデータ）も記録する。
【０１０２】
イベント発生時には、これから記録されるデータのレイヤのランクを通常の記録時よりも上げる。また、プレイベントデータも重要で、イベントデータと同じく高精細な画質および高フレームレートが要求されるので、イベント発生時には、既に保存されているデータのレイヤのランク（重要度レベル）を事後的に上げる変更も施す。すなわち、イベント発生時から所定時間過去に遡って、その時点から記録したデータの分類されているレイヤのランクを上げる変更を行う。このとき、レイヤのランクを変更するだけであって、データの移動（メモリにおけるデータの記録位置の変更）は行わない。
【０１０３】
また、実施の形態３に示したのと同様に、イベント種別（イベント自体の重要度）も考慮してレイヤのランクを決定しても良い。
【０１０４】
図１９は、上記の動作を可能とする本実施の形態に係るマルチメディアデータ記録装置４００の主要な構成を示すブロック図である。なお、このマルチメディアデータ記録装置４００は、実施の形態１に示したマルチメディアデータ記録装置１００（図４参照）と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。
【０１０５】
マルチメディアデータ記録装置４００は、イベント入力部４０１および管理リスト変更部４０２を有し、外部センサＳ１からアラームの通知をされたイベント入力部４０１が管理リスト変更部４０２にこれを通知し、管理リスト変更部４０２がデータ管理リスト１０４の内容を変更する。
【０１０６】
上記のマルチメディアデータ記録処理の手順について、図２０に示すフロー図を用いて説明する。なお、このフロー図は、図１６に示したフロー図と基本的に同様の手順を有しており、同一の手順には同一の符号を付し、その説明を省略する。
【０１０７】
ＳＴ３０２０において、イベント種別に応じてレイヤを決定した後、プレイベント記録（録画）が必要か判断する（ＳＴ４０１０）。これは具体的には、イベント入力部４０１にセンサＳ１からアラームが通知されたか否かである。そして、プレイベント記録が必要な場合、イベント発生時から所定時間過去に遡って、その時点から記録されているデータの保護（分類）されているレイヤのランクを上げる変更を行う（ＳＴ４０２０）。このレイヤのランクに応じて最終的な保存データの情報量が決まる。そして、管理リスト変更部４０２は、上記のレイヤの変更に伴い、データ管理リスト１０４に登録されている内容を更新する（ＳＴ４０３０）。また、ＳＴ３０１０において、外部イベント入力がなかった場合は、上記のＳＴ３０２０、ＳＴ４０１０、およびＳＴ４０２０の処理は行われない。
【０１０８】
図２１は、本実施の形態に係るマルチメディアデータ記録方法によるデータ構造について説明した図である。
【０１０９】
本実施の形態に係るマルチメディアデータ記録装置は、それぞれのイベントが入力された時点で保護するレイヤとデータの更新範囲とを決定する。この図の例では、イベントＡ、イベントＢが入力され、データＤ４０１がイベントＡに対して保護するレイヤに属すデータ（イベントデータおよびプレイベントデータ）、データＤ４０３がイベントＢに対して保護するレイヤに属すデータ（イベントデータおよびプレイベントデータ）、データＤ４０２が後々削除可能なデータと決定されている。よって、データＤ４０２は、メモリＭ１の空き容量が所定値以下となった場合（容量オーバーとなった場合）または所定時間経過後、速やかに削除される。このデータＤ４０２は、削除し易いように、まとめて（メモリアドレスが連続した状態で）記憶される。
【０１１０】
図２２は、本実施の形態に係るマルチメディアデータ記録方法の手順を時系列的に整理した図である。
【０１１１】
この図からわかるように、本実施の形態に係るマルチメディアデータ記録方法は、３段階からなる。すなわち、マルチメディアデータを取得時には、このデータをレイヤ分けして記憶すると共に、データを階層的に管理するためのインデックス、および、データの特性、すなわち、記録品質等の情報（実際には、品質ごとにレイヤ分けされているので、各レイヤの保護レベルを特定した情報）も記載しておく。そして、イベント発生時には、イベントデータおよびプレイベントデータの記録品質、より具体的には、レイヤの保護レベルを変更する。そして、メモリＭ１の空き容量が所定値以下となった場合または所定時間経過後、低位のレイヤから削除が開始される。よって、保護対象のレイヤ以外のレイヤに属すデータが削除される。
【０１１２】
このように、本実施の形態によれば、イベントが発生した場合、時間を遡って事後的にプレイベントデータが保存されているレイヤのランクを変更するため、このレイヤに保存されているデータを長時間、高精細なまま記録しておくことができる。
【０１１３】
また、以上の構成において、プレイベントデータを長期間記録しておくために行う処理は、レイヤのランクを変更するだけなので、プレイベントデータを一時的に退避させておくための別の記憶媒体を必要としない。よって、データ記録装置の回路規模を削減することができる。
【０１１４】
また、以上の構成において、監視データの記録時に階層化レイヤに分類しておいて、事後的にこのレイヤのランクを変更することができる構成としているので、データ記録処理の柔軟性を向上させている。
【０１１５】
（実施の形態５）
本実施の形態では、カメラが撮像した映像中から動体を追尾し、その動体の動きの内容が所定の条件に合致した場合にこれをイベントとして、動きの開始から遡って現在までに記録されたデータを高精細に保存することができるようにする。
【０１１６】
例えば、図２３に本実施の形態の具体例を示すと、マンションの入口付近に設置された監視システムにおいては、入室の際に不審な行動を起こす人物を検出して、その時の映像を高精細に保存しておくことにより、事後的に不審人物の詳細な行動を確認することができる。具体的には、追尾している人物が指定領域に侵入すると、侵入する直前から消失するまでの映像データを低品質で保存する。また、追尾している人物が指定領域で長時間滞留した場合には、映像に出現してから消失するまでの映像データを高品質で保存する。
【０１１７】
図２４は、本実施の形態に係るマルチメディアデータ記録装置５００の主要な構成を示すブロック図である。なお、このマルチメディアデータ記録装置５００は、実施の形態４に示したマルチメディアデータ記録装置４００（図１９参照）と同様の基本的構成を有している。よって、同一の構成要素には同一の符号を付してその説明を省略し、また、基本的動作は同一であるが、詳細な点で少し違いがある構成要素には同一の番号にアルファベットの小文字を付した符号を付して適宜説明を加える。
【０１１８】
マルチメディアデータ記録装置５００は、動体判定部５０１を有しており、動体の行動内容に応じてデータ管理リスト１０４を作成または変更する。動体判定部５０１は、カメラが撮像した映像中から動体を追尾して、その動体が所定の領域内あるかどうかを判定し、さらにその動体が連続して所定の領域にある場合には、その滞在時間を算出する。
【０１１９】
動体判定部５０１の判定内容とその判定内容に基づく動作内容を説明する。
【０１２０】
動体判定部５０１で、映像中に動体が存在しない、または動体が存在しても動体が所定の領域内にないと判定されている場合、管理リスト作成部１０３ａは、データ記録部１０６が記録するフレームデータが属すセグメントの重要度を示すレベルを「レベルなし」としてデータ管理リスト１０４を作成する。これにより、データ量削減時に全てのレイヤのデータが削除され、セグメントは完全に削除される。
【０１２１】
一方、動体判定部５０１で動体が所定領域内にあると判定されると、管理リスト作成部１０３ａは、セグメントの重要度を示すレベルを上げてデータ管理リスト１０４を作成する。これにより、データ削減時にレベルに応じて一部のレイヤのデータが削除され、セグメント全体のデータ量が削減される。
【０１２２】
動体判定部５０１で動体が所定領域内にあると判定され、さらに動体が所定領域内に連続して滞在している時間が所定の時間を超えると、管理リスト作成部１０３ａは、以降に記録するセグメントの重要度を示すレベルを最高レベルにしてデータ管理リスト１０４を作成する。さらに、管理リスト変更部４０２ａは、過去に遡って動体を追尾し始めた時点から現在までの記録されているセグメントの重要度を示すレベルを最高レベルになるようデータ管理リスト１０４を変更する。これにより動体を追尾し始めてから追尾し終わるまでの全てのセグメントは、どのレイヤも削除されずに保存される。
【０１２３】
動体判定部５０１の詳細な処理手順について、図２５に示すフロー図を用いて説明する。
【０１２４】
動体判定部５０１は、まず、カメラＣ１が撮像した映像中に動体が存在するかどうかを判定する（ＳＴ５０１０）。例えば、常に直前のフレームデータが記憶されているメモリを備え、メモリにある直前のフレームと現在のフレームと差分比較を行い、輝度値の差が所定の閾値を超えると動体が存在すると判定する。さらに、差分領域の大きさや形状、前後のフレームを比較した動きの連続性を基に動体が人物である正確さを高めても良い。次に、動体が映像中に存在する場合には、現在、動体追跡録画モードかどうか確認する（ＳＴ５０２０）。動体追跡録画モードとは、動体が所定領域内に所定時間連続して滞在している状態を表す。動体追跡録画モードである場合には、現在のセグメントの重要度を示すレベルを最高レベルとしてデータ管理リスト１０４を作成するよう管理リスト作成部１０３ａへ通知する（ＳＴ５０３０）。
【０１２５】
一方、ＳＴ５０２０において動体追跡録画モードでない場合には、動体の座標を算出する（ＳＴ５０４０）。動体の座標は、前記差分領域の重心の座標とする。次に動体が所定の領域内に存在するかどうかを判定する（ＳＴ５０５０）。所定の領域とは、例えば銀行の入口やＡＴＭなどの監視対象が存在する領域であり、監視者が予めモニタ画面上で選択するものである。動体が所定の領域内に存在する場合には、動体が所定の領域内に連続して滞在する時間を算出し（ＳＴ５０６０）、その滞在時間が所定の時間を超えているかどうか判定する（ＳＴ５０７０）。滞在時間が所定の時間を超えている場合には、現在の重要度を示すレベルを最高レベルとしてデータ管理リスト１０４を作成するよう管理リスト作成部１０３ａへ通知する（ＳＴ５０８０）。
【０１２６】
さらに、管理リスト変更部４０２ａに対しては、最初に動体が映像中に存在すると判定された時刻（動体追尾開始時刻）から、現在までのセグメントのレベルを最高レベルに変更するよう通知する（ＳＴ５０９０）。そして、以降に作成するデータ管理リスト１０４のセグメントのレベルを最高レベルにするため、動体追跡録画モードを開始する（ＳＴ５１００）。また、ＳＴ５０７０において滞在時間が所定の時間を超えていない場合には、現在のセグメントのレベルを上げるよう管理リスト作成部１０３ａへ通知する（ＳＴ５１４０）。
【０１２７】
一方、ＳＴ５０５０において動体が所定の領域内に存在しない場合、または、ＳＴ５０１０において映像中に動体が存在しない場合には、現在のセグメントのレベルを「レベルなし」にするよう管理リスト作成部１０３ａへ通知し（ＳＴ５１２０）、動体追跡録画モードを解除する（ＳＴ５１３０）。
【０１２８】
データ量削減時の処理手順は実施の形態３と同様であるため、説明を省略する。
【０１２９】
図２６〜図３３は、セグメントとレイヤとからなるデータの階層構造の具体例を説明するための一連の図である。なお、図２８〜図３３が、各セグメントを管理するデータの実際の構成を示す図である。
【０１３０】
例えば、図２３に示したのと同様な場面での監視データに対し、図２６のように付番を振ると、各データの特性を示す情報は、動体の有無、イベント発生の有無に応じて、図２７に示すようになる。この図に示すように、Ｄ５２４で入室者の存在が検知され、Ｄ５２５でその入室者の滞留時間が所定時間を超過したことを検知している。
【０１３１】
そして、図２８に示すように、データＤ５２１〜Ｄ５２３においては、イベントがないため、保護レイヤは「なし」と記載されている。また、図２９に示すように、データＤ５２４においては、侵入イベントがあったため、５秒前のセグメントから保護レイヤがＡに変更されている。さらに、図３０に示すように、データＤ５２５においては、滞留イベントがあったため、「動体あり」のセグメントの保護レイヤが「Ａ、Ｂ」に変更されている。
【０１３２】
一方、図３１に示すように、Ｄ５２６においては、保護レイヤではない最下位レイヤ（レイヤＣ）に属すデータを削除する。また、図３２に示すように、Ｄ５２７においては、レイヤＣを全て削除したので、次はＩＤ＝１のセグメントのレイヤＢを削除する。そして、最後は図３３に示すように、Ｄ５２８において、ＩＤ＝１のセグメントのレイヤＡを削除し、ＩＤ＝１のセグメントの全てのレイヤを削除したので、ＩＤ＝１のセグメントの管理データを削除する。
【０１３３】
このように、本実施の形態によれば、映像中に動体が存在しないときの映像は一時的にしか保存せず、動体が所定の領域に侵入しているときの映像を低解像度の映像として保存し、さらに動体が所定の領域に所定の時間以上滞在したときは、映像中に動体が出現してからいなくなるまでの全映像を高解像度の映像として保存することができる。
【０１３４】
これにより、例えば所定領域を入室時に個人認証(暗証番号入力等)を実施するセキュリティの高い部屋への入口に設定した場合に、スムーズに入室した人物の映像は人物を確認できるほどの解像度で保存し、入室に時間をかけた人物の映像は人物の顔や行動を詳細に確認できるように高解像度で保存することができる。
【０１３５】
（実施の形態６）
本実施の形態では、頻繁に再生される映像は高精細に保存し、それほど再生されない映像はデータ量を削減して保存し、さらに全く再生されない映像は完全に削除することができるようにする。
【０１３６】
例えば、図３４に本実施の形態の具体例を示すと、観光地等に設置されたカメラが撮像するリアルタイムの映像だけでなく、録画された過去の映像をも、インターネット等を介してＰＣまたは携帯端末で表示させることができるモニタリングシステムにおいては、利用者からの再生要求が多い映像、例えば、図３４の例では、晴天で昼間の明るい時の映像（Ｄ６０１）、または、何かイベントが催されている時の映像（Ｄ６０３）等は、今後も再生される可能性があるため高精細に保存する。一方、利用者から全く再生されない映像、例えば、図３４の例では、夜の映像（Ｄ６０２）、昼間だが雨天時の映像（Ｄ６０４）等は、保存していても録画容量を無駄に使うだけであるため、データ量を削減するか、または完全に削除することにより新たに撮像された映像を録画するための容量を確保する。
【０１３７】
図３５は、本実施の形態に係るマルチメディアデータ記録装置６００の主要な構成を示すブロック図である。なお、このマルチメディアデータ記録装置６００は、実施の形態４に示したマルチメディアデータ記録装置４００（図１９参照）と同様の基本的構成を有している。よって、同一の構成要素には同一の符号を付してその説明を省略し、また、基本的動作は同一であるが、詳細な点で少し違いがある構成要素には同一の番号にアルファベットの小文字を付した符号を付して適宜説明を加える。
【０１３８】
マルチメディアデータ記録装置６００は、データ再生部１０９ｂが、データ記録媒体Ｍ１からデータを読み出し、端末Ｔ１を介してこのデータを再生すると共に、管理リスト変更部４０２ｂへ通知し、管理リスト変更部４０２ｂは、データ再生部１０９ｂが再生したデータに該当するセグメントをデータ管理リスト１０４から探し出し、そのセグメントの重要度を示すレベルを上げる。
【０１３９】
次に、マルチメディアデータ記録装置６００の処理手順について説明する。
【０１４０】
管理リスト作成部１０３ｂは、データ記録部１０６が記録するフレームデータが属すセグメントの重要度を示すレベルを「レベルなし」としてデータ管理リスト１０４を作成する。これにより、以降でレベルに変更がなければ、該セグメントはデータ量削減時に全てのレイヤのデータが削除され、完全に削除される。
【０１４１】
データ再生部１０９ｂは、ユーザからの映像再生要求に従い、データ記録媒体Ｍ１から該当するデータを読み出す。さらに読み出したデータの識別情報（フレーム番号または時刻情報）を管理リスト変更部４０２ｂへ送る。管理リスト変更部４０２ｂは、前記識別情報を基に前記読み出したデータが属すセグメントをデータ管理リストから探し出す。データ管理リスト１０４には、セグメント単位で再生回数が記憶されており、前記探し出したセグメントの再生回数を加算する。この時、再生回数が所定の数値を超えると、前記セグメントの重要度を示すレベルを１つ上げる。
【０１４２】
データ量削減時の処理手順は実施の形態３と同様であるため、説明を省略する。
【０１４３】
図３６は、本実施の形態に係るマルチメディアデータ記録方法によって記録されたデータの構造の具体例を示す図である。
【０１４４】
Ｄ６１１は映像蓄積時の管理データである。Ｄ６１２では蓄積映像に対して視聴要求があったため、視聴回数が加算されている。Ｄ６１３では、視聴回数が所定の閾値を超えたため、保護対象のレイヤにＡが追加されている。Ｄ６１４では、さらに視聴回数が増え、保護対象のレイヤが増えている。なお、詳細は、既に他の実施の形態で説明したデータ構造と同様であるので省略する。
【０１４５】
このように、本実施の形態によれば、記録された映像に対して、ユーザからの再生要求が多い映像ほど高精細に保存し、ユーザからの再生要求が全くない映像は、削除または精度を低くして保存することができ、ユーザの必要性に応じた記録方法を提供することができる。
【０１４６】
なお、データ管理リスト１０４に最終再生時刻を記憶しておき、再生回数が多いセグメントでも、最後に再生されてから所定時間以上経過したものについては、管理リスト変更部４０２が、該セグメントの重要度を示すレベルを１つ下げる、または「レベルなし」と変更するようにしても良い。
【０１４７】
これにより、ユーザからの再生要求の回数が多いが、長期間再生要求がない映像は、必要とされていない映像とみなして、削除または精度を低くして保存することができる。
【０１４８】
（実施の形態７）
本実施の形態では、カメラの位置と方向が同じ条件で互いに異なる時間に撮像して記録した複数の映像のうち、所定の条件に合致する１つの映像を高精細に保存し、その他の映像はデータ量を削減して保存する。
【０１４９】
例えば、図３７に本実施の形態の具体例を示すと、観光地において、デジタルカメラ、ビデオカメラ等で撮像された映像に対し、同じ撮影条件（カメラ位置、方向等）で撮像、記録された複数の映像（Ｄ７０２、Ｄ７０５、Ｄ７０７）を「内容が重複する映像」として、これらの映像のうち、常に最新の映像Ｄ７０７は高品質で保存し、Ｄ７０２およびＤ７０５については過去に遡るほどデータ量を削減して保存するようにする。これにより、内容が重複する映像のデータ量を減らして保存することにより、様々な内容の映像を大量に保存することができる。
【０１５０】
図３８は、本実施の形態に係るマルチメディアデータ記録装置７００の主要な構成を示すブロック図である。なお、このマルチメディアデータ記録装置７００は、実施の形態４に示したマルチメディアデータ記録装置４００（図１９参照）と同様の基本的構成を有している。よって、同一の構成要素には同一の符号を付してその説明を省略し、また、基本的動作は同一であるが、詳細な点で少し違いがある構成要素には同一の番号にアルファベットの小文字を付した符号を付して適宜説明を加える。
【０１５１】
マルチメディアデータ記録装置７００は、カメラ情報取得部７０１を有しており、ＧＰＳ等から得られるカメラの撮影位置と、地磁気センサ等により得られるカメラの撮影方角からなるカメラ情報を取得し、カメラが撮像する映像と関連付けて保存し、過去に同じカメラ情報を有する映像が保存されている場合には、同じ内容の映像が重複して保存されているため、記録時刻がより古い映像のデータ量を削減する。
【０１５２】
次に、マルチメディアデータ記録装置７００の処理手順について説明する。
【０１５３】
本実施の形態では、連続して同じカメラ属性で撮像され記録されたフレーム群を１つのセグメントのデータとする。また、データ管理リスト１０４にはセグメント毎にカメラ属性情報が記述される。
【０１５４】
カメラ情報取得部７０１は、ＧＰＳ等から得られるカメラの撮影位置と、地磁気センサ等により得られるカメラの撮影方向からなるカメラ情報を定期的に取得し、取得したカメラ情報の撮影位置または撮影方向のいずれかが、前回取得した内容と異なる場合に、管理リスト作成部１０３ｃへカメラ情報に変更があったことを通知し、さらに管理リスト変更部４０２ｃへはカメラ属性情報を送る。
【０１５５】
管理リスト作成部１０３ｃは、カメラ情報取得部７０１からカメラ情報が変更したことを受けると、以降に記録するフレームデータは別の新たなセグメントに属すようデータ管理リスト１０４を作成する。さらに、前記セグメントの重要度を示すレベルを最高レベルにする。これにより、以降でレベルに変更がなければ、該セグメントはどのレイヤも削除されずに保存される。
【０１５６】
管理リスト変更部４０２ｃは、カメラ情報取得部７０１からカメラ情報を受けると、前記カメラ情報と同じ撮影位置および撮影方向が記憶されているセグメントを、データ管理リスト１０４から探し出す。さらに、前記探し出したセグメントの重要度を示すレベルを１つ下げ、既に最低レベルであれば「レベルなし」とする。
【０１５７】
図３９は、本実施の形態に係るマルチメディアデータ記録方法によって記録されたデータの構造の具体例を示す図である。
【０１５８】
Ｄ７１１では、映像蓄積時、全てのレイヤ（Ａ〜Ｃ）を保護対象のレイヤとしている。そして、Ｄ７１２において、同じカメラ情報を有する映像（セグメント）が蓄積されると、レイヤＣを保護対象のレイヤから外している。さらに、Ｄ７１３において、同じカメラ情報を有する映像が何度か蓄積されると、保護対象のレイヤは「なし」に変更されている。なお、詳細は、既に他の実施の形態で説明したデータ構造と同様であるので省略する。
【０１５９】
このように、本実施の形態によれば、カメラの位置と方向が同じ条件で撮像され記録された複数の映像のうち、常に最新の映像は高精細に保存され、過去に遡るほどデータ量を削減して保存され、さらに過去の映像は削除される。これにより、利用者が手動で同じ映像を探し出して削除する手間を省くことができ、かついろいろな場所で撮像された映像を大量に保存することができる。
【０１６０】
以上、本発明の各実施の形態について説明した。
【０１６１】
本発明に係るマルチメディアデータ記録装置およびマルチメディアデータ記録方法は、上記各実施の形態に限定されず、種々変更して実施することが可能である。例えば、各実施の形態は、適宜組み合わせて実施することが可能である。
【０１６２】
また、以上の説明においては、本発明に係るマルチメディアデータ記録装置が監視システムに適用される場合、すなわち、当該装置が監視データを記録する場合を例にとって説明したが、記録対象はこれに限定されない。
【０１６３】
なお、ここでは、本発明をハードウェアで構成する場合を例にとって説明したが、ソフトウェアで実現することも可能である。
【産業上の利用可能性】
【０１６４】
本発明に係るマルチメディアデータ記録装置は、システムに多大な負荷をかけずに、簡単な構成および処理によりデータを長時間記録できるので、監視システム等に有用である。
【図面の簡単な説明】
【０１６５】
【図１】実施の形態１に係る監視システムの設置環境を説明するための図
【図２】実施の形態１に係る監視システムによって記録された記録データの具体例を示した図
【図３】フレームごとにレイヤ分けされるフレームデータの具体例の一つを示す図
【図４】実施の形態１に係るマルチメディアデータ記録装置の主要な構成を示すブロック図
【図５】実施の形態１に係るデータ記録処理の主要な手順について示すフロー図
【図６】実施の形態１に係る情報量削減処理のより詳細な手順について示すフロー図
【図７】実施の形態１に係るデータ管理リストとデータ記録媒体に記録されているデータファイルとの対応関係を説明するための図
【図８】実施の形態１に係る情報量削減処理によりデータ構成がどのように変化するか説明するための図
【図９】実施の形態１に係る情報量削減処理によりデータ構成がどのように変化するか時間軸上で説明した図
【図１０】実施の形態１に係るマルチメディアデータ記録装置がＭＰＥＧデータのデータ量削減処理を行った場合の記録データの変化を説明するための図
【図１１】重要度の判断基準としてＭＰＥＧ４のＦＧＳを用いる場合のデータ記録処理の概要を説明するための図
【図１２】レイヤ分けされたＦＧＳデータを再生した場合の画質の違いを説明するための図
【図１３】実施の形態２に係るデータ記録処理の具体例を示す図
【図１４】画像変化量のグラフ
【図１５】実施の形態３に係るデータ管理リストのデータ構造を示す図
【図１６】実施の形態３に係るデータ記録処理の手順を示すフロー図
【図１７】実施の形態３に係る情報量削減処理のより詳細な手順について示すフロー図
【図１８】実施の形態４に係るデータ記録の概要を示す図
【図１９】実施の形態４に係るマルチメディアデータ記録装置の主要な構成を示すブロック図
【図２０】実施の形態４に係るマルチメディアデータ記録処理の手順について示すフロー図
【図２１】実施の形態４に係るマルチメディアデータ記録方法によるデータ構造について説明した図
【図２２】実施の形態４に係るマルチメディアデータ記録方法の手順を時系列的に整理した図
【図２３】実施の形態５の具体例を示す図
【図２４】実施の形態５に係るマルチメディアデータ記録装置の主要な構成を示すブロック図
【図２５】実施の形態５に係る動体判定部の処理手順について示すフロー図
【図２６】セグメントとレイヤとからなるデータの階層構造の具体例を説明するための一連の図
【図２７】セグメントとレイヤとからなるデータの階層構造の具体例を説明するための一連の図
【図２８】セグメントとレイヤとからなるデータの階層構造の具体例を説明するための一連の図
【図２９】セグメントとレイヤとからなるデータの階層構造の具体例を説明するための一連の図
【図３０】セグメントとレイヤとからなるデータの階層構造の具体例を説明するための一連の図
【図３１】セグメントとレイヤとからなるデータの階層構造の具体例を説明するための一連の図
【図３２】セグメントとレイヤとからなるデータの階層構造の具体例を説明するための一連の図
【図３３】セグメントとレイヤとからなるデータの階層構造の具体例を説明するための一連の図
【図３４】実施の形態６の具体例を示す図
【図３５】実施の形態６に係るマルチメディアデータ記録装置の主要な構成を示すブロック図
【図３６】実施の形態６に係るマルチメディアデータ記録方法によって記録されたデータの構造の具体例を示す図
【図３７】実施の形態７の具体例を示す図
【図３８】実施の形態７に係るマルチメディアデータ記録装置の主要な構成を示すブロック図
【図３９】実施の形態７に係るマルチメディアデータ記録方法によって記録されたデータの構造の具体例を示す図
【符号の説明】
【０１６６】
１００、４００、５００、６００、７００  マルチメディアデータ記録装置
１０１  映像処理部
１０２  レイヤ分類部
１０３  管理リスト作成部
１０４  データ管理リスト
１０５  管理リスト更新部
１０６  データ記録部
１０８  情報量削減部
１０９  データ再生部
４０１  イベント入力部
４０２  管理リスト変更部
５０１  動体判定部
７０１  カメラ情報取得部
Ｍ１  データ記録媒体
【図１】
2005151546.tif 000003
【図２】
2005151546.tif 000004
【図３】
2005151546.tif 000005
【図４】
2005151546.tif 000006
【図５】
2005151546.tif 000007
【図６】
2005151546.tif 000008
【図７】
2005151546.tif 000009
【図８】
2005151546.tif 000010
【図９】
2005151546.tif 000011
【図１０】
2005151546.tif 000012
【図１１】
2005151546.tif 000013
【図１２】
2005151546.tif 000014
【図１３】
2005151546.tif 000015
【図１４】
2005151546.tif 000016
【図１５】
2005151546.tif 000017
【図１６】
2005151546.tif 000018
【図１７】
2005151546.tif 000019
【図１８】
2005151546.tif 000020
【図１９】
2005151546.tif 000021
【図２０】
2005151546.tif 000022
【図２１】
2005151546.tif 000023
【図２２】
2005151546.tif 000024
【図２３】
2005151546.tif 000025
【図２４】
2005151546.tif 000026
【図２５】
2005151546.tif 000027
【図２６】
2005151546.tif 000028
【図２７】
2005151546.tif 000029
【図２８】
2005151546.tif 000030
【図２９】
2005151546.tif 000031
【図３０】
2005151546.tif 000032
【図３１】
2005151546.tif 000033
【図３２】
2005151546.tif 000034
【図３３】
2005151546.tif 000035
【図３４】
2005151546.tif 000036
【図３５】
2005151546.tif 000037
【図３６】
2005151546.tif 000038
【図３７】
2005151546.tif 000039
【図３８】
2005151546.tif 000040
【図３９】
2005151546.tif 000041