(57)【要約】【課題】画像フレームを連続的に削除した場合にも、動画像内の動きを把握することができる動画像記録再生装置を提供する。【解決手段】フレーム画像ごとに動きの有無と動きのあった領域を検出する動き検出部と、動画像データを記録する動画像記録処理部と、フレーム画像ごとに、フレーム画像の識別子と、動きの有無と、動きのあった領域を示す情報とを記録する画像情報記録処理部と、フレーム画像群の一部を、所定の基準にしたがって削除するとともに、画像情報データに、削除した旨を示す削除情報を付加するフレーム群削除部と、画像情報データを参照して、削除情報が付加されていない場合には、対応するフレーム画像を出力し、削除情報が付加されている場合であって、且つ動きがある場合には、動きのあった領域を表示する図形情報を含む画像を出力する再生制御部と、を備えた。【選択図】図１
2010098534.tif 000002
【特許請求の範囲】
【請求項１】
動画像データを入力する動画像入力手段と、
前記動画像データから時系列的に得られるフレーム画像ごとに、先行するフレーム画像を基準とした動きの有無を検出し、動きを検出したフレーム画像内の領域を特定する動き検出手段と、
前記動画像データを記録する動画像記録処理手段と、
前記時系列的に得られるフレーム画像ごとに、対応するフレーム画像の識別子と、前記検出された動きの有無を示す動き検出情報と、動きが有の場合に前記特定されたフレーム画像内の領域を示す領域情報と、を画像情報データとして時系列的に記録する画像情報記録処理手段と、
前記動画像データから時系列的に得られるフレーム画像群の一部を、所定の基準にしたがって削除するとともに、削除したフレーム画像に対応する画像情報データに、削除した旨を示す削除情報を付加するフレーム群削除手段と、
前記画像情報データを時系列的に参照して、前記削除情報が付加されていない場合には、対応するフレーム画像を出力し、前記削除情報が付加されている場合であって、且つ前記動き検出情報が有を示している場合には、前記領域情報が示す領域を表示する図形情報を含む画像を出力する再生制御手段と、
を備えることを特徴とする動画像記録再生装置。
【請求項２】
請求項１に記載の動画像記録再生装置であって、
前記フレーム群削除手段は、時系列的に得られるフレーム画像群について、所定の基準で定められる削除間隔ごとに、所定の基準で定められる削除量に対応した連続するフレーム画像を削除することを特徴とする動画像記録再生装置。
【請求項３】
請求項１に記載の動画像記録再生装置であって、
前記フレーム群削除手段は、前記動画像データを記録する記録領域の空容量が所定の基準値以下になった場合に、前記フレーム画像群の一部の削除を行なうことを特徴とする動画像記録再生装置。
【請求項４】
請求項１に記載の動画像記録再生装置であって、
前記再生制御手段が出力する、前記領域情報が示す領域を表示する図形情報を含む画像は、前記領域情報が示す領域を表示する図形情報と、入力する動画像データに対応して定められた初期画像とを重畳した画像であることを特徴とする動画像記録再生装置。
【請求項５】
請求項１に記載の動画像記録再生装置であって、
前記再生制御手段が出力する、前記領域情報が示す領域を表示する図形情報を含む画像は、前記領域情報が示す領域を表示する図形情報と、最新に出力した前記フレーム画像とを重畳した画像であることを特徴とする動画像記録再生装置。
【請求項６】
請求項１に記載の動画像記録再生装置であって、
前記再生制御手段は、前記削除情報が付加されている場合であって、前記動き検出情報が無を示している場合には、画像を出力しない、あるいは、最新に出力した画像と同じ画像を出力することを特徴とする動画像記録再生装置。
【請求項７】
情報処理装置を動画像記録再生装置として機能させるためのコンピュータプログラムであって、
動画像データを入力する動画像入力手段と、
前記動画像データから時系列的に得られるフレーム画像ごとに、先行するフレーム画像を基準とした動きの有無を検出し、動きを検出したフレーム画像内の領域を特定する動き検出手段と、
前記動画像データを記録する動画像記録処理手段と、
前記時系列的に得られるフレーム画像ごとに、対応するフレーム画像の識別子と、前記検出された動きの有無を示す動き検出情報と、動きが有の場合に前記特定されたフレーム画像内の領域を示す領域情報と、を画像情報データとして時系列的に記録する画像情報記録処理手段と、
前記動画像データから時系列的に得られるフレーム画像群の一部を、所定の基準にしたがって削除するとともに、削除したフレーム画像に対応する画像情報データに、削除した旨を示す削除情報を付加するフレーム群削除手段と、
前記画像情報データを時系列的に参照して、前記削除情報が付加されていない場合には、対応するフレーム画像を出力し、前記削除情報が付加されている場合であって、且つ前記動き検出情報が有を示している場合には、前記領域情報が示す領域を表示する図形情報を含む画像を出力する再生制御手段として、
前記情報処理装置を機能させるためのコンピュータプログラム。
【請求項８】
動画像データを入力する動画像入力ステップと、
前記動画像データから時系列的に得られるフレーム画像ごとに、先行するフレーム画像を基準とした動きの有無を検出し、動きを検出したフレーム画像内の領域を特定する動き検出ステップと、
前記動画像データを記録する動画像記録ステップと、
前記時系列的に得られるフレーム画像ごとに、対応するフレーム画像の識別子と、前記検出された動きの有無を示す動き検出情報と、動きが有の場合に前記特定されたフレーム画像内の領域を示す領域情報と、を画像情報データとして時系列的に記録する画像情報記録ステップと、
前記動画像データから時系列的に得られるフレーム画像群の一部を、所定の基準にしたがって削除するとともに、削除したフレーム画像に対応する画像情報データに、削除した旨を示す削除情報を付加するフレーム群削除ステップと、
前記画像情報データを時系列的に参照して、前記削除情報が付加されていない場合には、対応するフレーム画像を出力し、前記削除情報が付加されている場合であって、且つ前記動き検出情報が有を示している場合には、前記領域情報が示す領域を表示する図形情報を含む画像を出力する再生制御ステップと、
を有することを特徴とする動画像記録再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像記録再生技術に係り、特に、記録領域を節約するために動画像を構成する画像フレームを連続的に削除した場合にも、動画像内の動きを把握することができる動画像記録再生装置、情報処理装置を動画像記録再生装置として機能させるコンピュータプログラムおよび動画像記録再生方法に関する。
【背景技術】
【０００２】
監視システム等に用いられる動画像記録再生装置では、監視カメラ等の撮影装置が出力する動画像データを記録し、必要に応じて再生を行なう。一般に、動画像データは過去に遡って参照したい場合も多いため、動画像データは、所定の期間内は消去せずに次々に保存する必要がある。また、複数の撮影装置が出力する動画像データを記録する状況も多いため、保存すべき動画像データのサイズが増大していき、記録メディアの空容量が圧迫されていくという問題が生じる。
【０００３】
特許文献１には、記録メディアの空容量を増やすために、保存された動画像データから、動画像データを構成するフレーム画像を周期的に間引くことで動画像データのサイズを削減することが記載されている。
【特許文献１】特開２００３−２３５９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載された技術では、動画像データのサイズを削減するために、動画像データを構成するフレーム画像を周期的に間引くようにしている。ここで、動画像データのサイズを削減するためには、フレーム画像を所定の単位で連続的に削除する方法も考えられる。これにより、フレーム画像を周期的に間引くよりも簡易な処理で、動画像データのサイズの削減率を大きくすることが期待される。
【０００５】
しかしながら、フレーム画像を連続的に削除すると、再生される動画像から得られる情報が連続的に失われてしまうという問題が生じる。一方で、監視カメラ等が撮影する動画像では、動きの様子が把握できれば十分なことも多い。
【０００６】
そこで、本発明は、動画像データのサイズを削減するために、動画像を構成する画像フレームを連続的に削除した場合にも、動画像内の動きを把握することができる動画像記録再生装置、情報処理装置を動画像記録再生装置として機能させるコンピュータプログラムおよび動画像記録再生方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明の第１の態様である動画像記録再生装置は、動画像データを入力する動画像入力手段と、前記動画像データから時系列的に得られるフレーム画像ごとに、先行するフレーム画像を基準とした動きの有無を検出し、動きを検出したフレーム画像内の領域を特定する動き検出手段と、前記動画像データを記録する動画像記録処理手段と、前記時系列的に得られるフレーム画像ごとに、対応するフレーム画像の識別子と、前記検出された動きの有無を示す動き検出情報と、動きが有の場合に前記特定されたフレーム画像内の領域を示す領域情報と、を画像情報データとして時系列的に記録する画像情報記録処理手段と、前記動画像データから時系列的に得られるフレーム画像群の一部を、所定の基準にしたがって削除するとともに、削除したフレーム画像に対応する画像情報データに、削除した旨を示す削除情報を付加するフレーム群削除手段と、前記画像情報データを時系列的に参照して、前記削除情報が付加されていない場合には、対応するフレーム画像を出力し、前記削除情報が付加されている場合であって、且つ前記動き検出情報が有を示している場合には、前記領域情報が示す領域を表示する図形情報を含む画像を出力する再生制御手段と、を備える。
【０００８】
ここで、前記フレーム群削除手段は、時系列的に得られるフレーム画像群について、所定の基準で定められる削除間隔ごとに、所定の基準で定められる削除量に対応した連続するフレーム画像を削除することができる。
【０００９】
また、前記フレーム群削除手段は、前記動画像データを記録する記録領域の空容量が所定の基準値以下になった場合に、前記フレーム画像群の一部の削除を行なうことができる。
【００１０】
また、前記再生制御手段が出力する、前記領域情報が示す領域を表示する図形情報を含む画像は、前記領域情報が示す領域を表示する図形情報と、入力する動画像データに対応して定められた初期画像とを重畳した画像とすることができる。あるいは、前記領域情報が示す領域を表示する図形情報と、最新に出力した前記フレーム画像とを重畳した画像としてもよい。
【００１１】
また、前記再生制御手段は、前記削除情報が付加されている場合であって、前記動き検出情報が無を示している場合には、画像を出力しない、あるいは、最新に出力した画像と同じ画像を出力するようにしてもよい。
【００１２】
上記課題を解決するため、本発明の第２の態様であるコンピュータプログラムは、情報処理装置を動画像記録再生装置として機能させるためのコンピュータプログラムであって、動画像データを入力する動画像入力手段と、前記動画像データから時系列的に得られるフレーム画像ごとに、先行するフレーム画像を基準とした動きの有無を検出し、動きを検出したフレーム画像内の領域を特定する動き検出手段と、前記動画像データを記録する動画像記録処理手段と、前記時系列的に得られるフレーム画像ごとに、対応するフレーム画像の識別子と、前記検出された動きの有無を示す動き検出情報と、動きが有の場合に前記特定されたフレーム画像内の領域を示す領域情報と、を画像情報データとして時系列的に記録する画像情報記録処理手段と、前記動画像データから時系列的に得られるフレーム画像群の一部を、所定の基準にしたがって削除するとともに、削除したフレーム画像に対応する画像情報データに、削除した旨を示す削除情報を付加するフレーム群削除手段と、前記画像情報データを時系列的に参照して、前記削除情報が付加されていない場合には、対応するフレーム画像を出力し、前記削除情報が付加されている場合であって、且つ前記動き検出情報が有を示している場合には、前記領域情報が示す領域を表示する図形情報を含む画像を出力する再生制御手段として、さらに情報処理装置を機能させる。
【００１３】
上記課題を解決するため、本発明の第３の態様である動画像記録再生方法は、動画像データを入力する動画像入力ステップと、前記動画像データから時系列的に得られるフレーム画像ごとに、先行するフレーム画像を基準とした動きの有無を検出し、動きを検出したフレーム画像内の領域を特定する動き検出ステップと、前記入力した動画像データを記録する動画像記録ステップと、前記時系列的に得られるフレーム画像ごとに、対応するフレーム画像の識別子と、前記検出された動きの有無を示す動き検出情報と、動きが有の場合に前記特定されたフレーム画像内の領域を示す領域情報と、を画像情報データとして時系列的に記録する画像情報記録ステップと、前記動画像データから時系列的に得られるフレーム画像群の一部を、所定の基準にしたがって削除するとともに、削除したフレーム画像に対応する画像情報データに、削除した旨を示す削除情報を付加するフレーム群削除ステップと、前記画像情報データを時系列的に参照して、前記削除情報が付加されていない場合には、対応するフレーム画像を出力し、前記削除情報が付加されている場合であって、且つ前記動き検出情報が有を示している場合には、前記領域情報が示す領域を表示する図形情報を含む画像を出力する再生制御ステップと、を有する。
【発明の効果】
【００１４】
本発明によれば、動画像データのサイズを削減するために、動画像を構成する画像フレームを連続的に削除した場合にも、動画像内の動きを把握することができる。
【発明を実施するための最良の形態】
【００１５】
本発明の実施の形態について図面を参照して詳細に説明する。図１は、本発明に係る動画像記録再生装置を含むネットワーク動画像記録再生システムの構成を示すブロック図である。本図に示すように、ネットワーク動画像記録再生システム１００は、表示装置３０が接続された動画像記録再生装置１０と、撮影装置２０とが、ネットワーク７０を介して接続されて構成される。撮影装置２０は複数台、ネットワーク７０に接続されていてもよい。撮影装置２０が複数台接続される場合には、それぞれの撮影装置２０が識別子を有するものとする。また、ネットワーク７０は、有線無線は問わず、インターネット、ＬＡＮ、ＷＡＮ、専用線等を用いることができる。
【００１６】
撮影装置２０は、動画像を撮影して出力する装置であり、例えば、監視カメラを用いることができる。撮影装置２０は、ＣＣＤ等の撮像素子、レンズ、絞り、シャッター等を備え、フレーム単位の画像を時系列的に生成する撮像部２１０と、時系列的に生成されたフレーム単位の画像をＭＰＥＧ等のフォーマットに従って圧縮符号化する圧縮符号化部２２０と、圧縮符号化された動画像データを、ネットワーク７０の通信プロトコルに従って送信する送信処理部２３０とを備えている。
【００１７】
なお、本実施形態では、デジタル信号処理を行なうデジタル方式の撮影装置２０を用いたが、アナログ方式の撮影装置を用いてもよい。この場合は、撮影装置と動画像記録再生装置とをアナログ映像信号線で接続し、撮影装置が出力するアナログ映像信号を動画像記録再生装置で受け、動画像記録再生装置が圧縮符号化処理を行なうようにする。
【００１８】
動画像記録再生装置１０は、受信処理部１１０、動き検出部１２０、画像記録処理部１３０、画像記録部１４０、画像記録部管理部１５０、再生処理部１６０を備えている。動画像記録再生装置１０は、例えば、ＣＰＵ、メモリ、ハードディスク装置、入出力装置等を備えた汎用的な情報処理装置、専用装置等を用いて構成することができる。情報処理装置は、上記の各機能部を実現するために開発されたコンピュータプログラムを実行することで、動画像記録再生装置１０として機能することができる。
【００１９】
受信処理部１１０は、動画像入力手段として機能し、撮影装置２０が出力した動画像データをネットワーク７０の通信プロトコルに従って受信する。
【００２０】
動き検出部１２０は、受信処理部１１０が受信した動画像データから時系列的に得られるフレーム画像ごとに、先行するフレーム画像を基準とした動きの有無を検出するとともに、動きを検出したフレーム画像内の領域を特定する。ただし、動き検出部１２０は、動画像記録再生装置１０の外部に設けたり、撮影装置２０内に設けたりしてもよい。
【００２１】
動き検出部１２０は、圧縮符号化された動画像データからフレーム画像を再構成し、各フレーム画像を、例えば、図２に示すような縦ｍ個、横ｎ個の複数のブロック領域に分割し、各ブロック領域単位で先行するフレーム画像との差分を評価することで動きの有無の検出および動きを検出した領域の特定を行なう。この場合、領域の特定は、ブロック領域を示す座標で示すことができる。なお、動き検出アルゴリズムや動きを検出した領域の特定方法は、上記の手法に限られず、従来の種々の技術を用いることができる。
【００２２】
画像記録処理部１３０は、動画像記録処理部１３１と画像情報記録処理部１３２とを備えており、画像記録部１４０に、動画像ファイル１４１と画像情報ファイル１４２とを関連付けて記録する。画像記録部１４０は、不揮発性の記録領域であり、ハードディスク装置、記録メディアを装着したドライブ装置等を用いて構成することができる。画像記録部１４０の記録容量は有限である。このため、空容量が残り少なくなると、空容量を増やす処理が必要となる。
【００２３】
動画像記録処理部１３１は、受信処理部１１０が受信した圧縮符号化された動画像データを動画像ファイル１４１として画像記録部１４０に記録する。画像情報記録処理部１３２は、動き検出部１２０の検出結果に基づいて、画像情報ファイル１４２を生成し、画像記録部１４０に記録する。画像情報ファイル１４２は、撮影単位ごとに複数個生成されるため、それぞれ識別子を付して記録する。
【００２４】
図３は、画像情報ファイル１４２の構成を説明する図である。画像情報ファイル１４２は、動画像ファイル１４１に対応して生成されるファイルであり、画像情報ファイルＩＤ１４２１、対応動画像ファイルＩＤ１４２２、撮影装置１４２３、撮影日付１４２４、撮影開始時刻１４２５、フレーム群削除フラグ１４２６、フレーム画像情報１４２７を記録する。
【００２５】
画像情報ファイルＩＤ１４２１は、画像情報ファイル１４２の識別子を記録する。対応動画像ファイルＩＤ１４２２は、対応する動画像ファイル１４１の識別子を記録する。撮影装置１４２３は、対応する動画像ファイル１４１を撮影した撮影装置２０の識別子を記録する。撮影日付１４２４は、対応する動画像ファイル１４１が撮影された日付を記録する。撮影開始時刻１４２５は、対応する動画像ファイル１４１の撮影開始時刻を記録する。フレーム群削除フラグ１４２６は、対応する動画像ファイル１４１が、後述する削除処理に従って一部のフレーム画像が削除されたかどうかを示すフラグ情報であり、初期状態ではＯＦＦが記録される。フレーム画像情報１４２７は、対応する動画像ファイル１４１を構成するフレーム画像ごとに生成される画像情報データを時系列に記録する。
【００２６】
画像情報データは、フレーム番号１４２７ａ、経過時間１４２７ｂ、動き検出フラグ１４２７ｃ、動き検出領域１４２７ｄ、フレーム削除フラグ１４２７ｅを備えて構成される。
【００２７】
フレーム番号１４２７ａは、対応するフレーム画像を示す番号を記録する。経過時間１４２７ｂは、対応するフレーム画像撮影時の撮影開始時刻からの経過時間を記録する。動き検出フラグ１４２７ｃは、動き検出部１２０が、対応するフレーム画像で動きを検出したがどうかを示すフラグ情報を記録する。動き検出領域１４２７ｄは、動き検出部１２０が対応するフレーム画像で動きを検出した場合の動きを検出した領域を示す情報を記録する。本実施形態では、ブロック領域単位で動きを検出するため、動きが検出されたブロック領域の座標が記録される。動きが検出されたブロック領域が複数ある場合には、それぞれの座標を記録する。フレーム削除フラグ１４２７ｅは、後述する削除処理によって、対応するフレーム画像が削除されたかどうかを示すフラグ情報であり、初期状態ではＯＦＦが記録される。
【００２８】
図４は、動画像ファイル１４１を構成するフレーム画像と、画像情報ファイル１４２を構成する動画像情報データとの関係を説明する図である。本図では、「ｆ１００」のフレーム画像から「ｆ１０３」のフレーム画像までに対応する動画像情報データを示している。
【００２９】
すなわち、「ｆ１００」のフレーム画像に対応する動画像情報データは、フレーム番号１４２７ａとして「ｆ１００」が記録され、経過時間１４２７ｂとして「ｆ１００」撮影時の撮影開始時刻からの経過時間が記録される。また、動き検出部１２０の「ｆ１００」に対する動き検出の結果、（ｊ１００、ｋ１００）のブロック領域で動きが検出されたとすると、動き検出フラグ１４２７ｃに「ＯＮ」が記録され、動き検出領域１４２７ｄに（ｊ１００、ｋ１００）が記録される。
【００３０】
以下、「ｆ１０１」「ｆ１０２」「ｆ１０３」の各フレーム画像に対応する動画像情報データについても同様に、フレーム番号１４２７ａ、経過時間１４２７ｂ、動き検出フラグ１４２７ｃ、動き検出領域１４２７ｄが記録される。
【００３１】
図１の説明に戻り、画像記録部管理部１５０は、画像記録部１４０の空容量を監視して、画像記録部１４０の空容量が所定の基準値以下になったことを検出する空容量監視部１５１と、空容量監視部１５１が画像記録部１４０の空容量が所定の基準値以下になったことを検出した場合に、動画像ファイル１４１を構成するフレーム画像群の一部を削除することで、画像記録部１４０の空容量を増やすフレーム群削除部１５２とを備えている。
【００３２】
フレーム群削除部１５２は、あらかじめ定められた規則にしたがって、フレーム画像群の一部を削除する動画像ファイル１４１を決定する。この規則は、例えば、撮影日時の最も古い動画像ファイル１４１、ファイルサイズの最も大きい動画像ファイル１４１、特定の撮影装置２０により撮影された動画像ファイル１４１、ユーザが選択した動画像ファイル１４１等とすることができる。
【００３３】
図５は、フレーム群削除部１５２が行なうフレーム画像群の一部削除について説明する図である。図５（ａ）に示すように、動画像ファイル１４１は、撮影開始から撮影終了までの範囲に渡って時系列的に並べられるフレーム画像群で構成される。それぞれのフレーム画像は、フレーム番号で識別することができる。
【００３４】
本実施形態では、図５（ｂ）に示すように、所定の間隔ごとに、連続する所定量のフレーム画像を削除することで、動画像ファイル１４１のファイルサイズを削減させる。図５（ｃ）は、削除間隔と削除量との関係を示す図である。本図に示すように、削除間隔に対する削除量の割合が削除率となる。すなわち、削除間隔が一定の場合、削除量が大きいほど削除率が高くなり、ファイルサイズの削減量も増える。削除率は、固定としてもよいし、動画像ファイル１４１の撮影日付、ファイルサイズ等に応じて変更させてもよい。
【００３５】
削除間隔と削除量は、時間で定めてもよいし、フレーム画像数で定めてもよい。また、削除率が一定であっても、削除間隔と削除量とは種々の値を取ることができる。例えば、削除間隔と削除量とをフレーム画像数で定める場合に、削除率を５０％とすると、削除間隔１００に対して削除量５０とすることもできるし、削除間隔２に対して削除量１とすることもできる。このように、連続的に多くのフレーム画像を削除してもよいし、間引きのような削除を行なってもよい。これらは、動画像記録再生装置１０の使用目的等に応じて調整することができる。また、動画像ファイル１４１の撮影日付、ファイルサイズ等に応じて変更させてもよい。さらには、動画像ファイル１４１内において、削除間隔と削除量は固定とする必要もなく、適宜変化させるようにしてもよい。
【００３６】
フレーム群削除部１５２は、動画像ファイル１４１のフレーム画像群の一部削除を行なうと、削除対象の動画像ファイル１４１に対応した画像情報ファイル１４２のフレーム群削除フラグ１４２６をＯＮにする。さらに、削除したフレーム画像に対応する画像情報データに削除した旨を示す情報を付加する。具体的にはフレーム削除フラグ１４２７ｅをＯＮにする。
【００３７】
図１に戻って、再生ファイル取得部１６１は、ユーザから再生対象の動画像ファイル１４１の指定を受け付け、指定された動画像ファイル１４１と、その動画像ファイル１４１に対応する画像情報ファイル１４２を画像記録部１４０から取得する。
【００３８】
再生制御部１６２は、再生ファイル取得部１６１が取得した動画像ファイル１４１と画像情報ファイル１４２とに基づいて、再生すべき画像を生成し、連続的に動画像出力部１６３に出力する。動画像出力部１６３は、再生制御部１６２が連続的に出力した画像を表示用動画データとして表示装置３０に出力する。
【００３９】
図６は、再生制御部１６２の詳細な構成を示すブロック図である。本図に示すように再生制御部１６２は、再生フレーム特定部１６２１、対象フレーム削除判定部１６２２、フレーム画像再構成部１６２３、最新フレーム画像格納部１６２４、動き有無判定部１６２５、動き領域取得部１６２６、領域表示画像生成部１６２７、重畳画像生成部１６２８、画像出力部１６２９を備えている。
【００４０】
再生フレーム特定部１６２１は、再生ファイル取得部１６１が取得した画像情報ファイル１４２の画像情報データを時系列的に参照して、再生対象となるフレーム番号を順次特定する。
【００４１】
対象フレーム削除判定部１６２２は、再生対象となったフレーム番号のフレーム削除フラグ１４２７ｅを参照して、再生対象のフレーム画像が削除されているかどうかを判定する。
【００４２】
フレーム画像再構成部１６２３は、圧縮符号化されている動画像ファイル１４１からフレーム画像を再構成して画像出力部１６２９に出力する。最新フレーム画像格納部１６２４は、再構成されたフレーム画像のうち、最新のフレーム画像を一時的に格納する。最新フレーム画像格納部１６２４に格納された最新のフレーム画像は、後述するように、フレーム画像が削除されている場合に出力する画像の背景画像として用いられる。
【００４３】
動き有無判定部１６２５は、再生対象となったフレーム番号の動き検出フラグ１４２７ｃを参照して、再生対象のフレーム画像における動きの有無を判定する。動き領域取得部１６２６は、再生対象となったフレーム番号の動き検出領域１４２７ｄを参照して、再生対象のフレーム画像において動きが検出された領域を示す情報を取得する。
【００４４】
領域表示画像生成部１６２７は、動き領域取得部１６２６が取得した動きが検出された領域を示す情報に基づいて、動きが検出された領域を表示する画像を生成する。図７は、動きが検出された領域を表示する画像の例を示す図である。本例では、領域Ａと領域Ｂで動きが検出された場合を示しており、それぞれの領域に対応する矩形の図形情報を表示するようにしている。また、隣接する領域は１つの矩形にまとめている。ただし、矩形に限られず、ポリゴン、アイコン、シンボル画像等の図形情報を用いて領域の表示を行なうようにしてもよい。
【００４５】
重畳画像生成部１６２８は、領域表示画像生成部１６２７が生成した画像と背景画像とを重畳した画像を生成して、画像出力部１６２９に出力する。本実施形態において、動きが検出された領域を表示する図形情報が重畳された画像は、再生対象となったフレーム番号のフレーム画像が削除されている場合に、フレーム画像の代わりに表示する。これにより、フレーム画像が削除されていても、動画像における動きの様子を把握することができるようになる。
【００４６】
このため、背景画像には、あらかじめ定められた初期画像あるいは最新に出力したフレーム画像を用いることが望ましい。初期画像を背景画像に用いた場合には、初期画像に対する動きの様子を把握することができ、最新に出力したフレーム画像を背景画像に用いた場合には、動きの変化の様子を一層把握することができる。あらかじめ定められた初期画像あるいは最新に出力したフレーム画像のいずれかを背景画像として用いるかは、ユーザが任意に設定できるものとする。
【００４７】
ここで、背景画像として用いる初期画像は、通常時において撮影装置２０が撮影する画像を用いることが望ましい。このため、図１に示すように再生処理部１６０は、初期画像記録部１６４を備えており、撮影装置２０に対応した初期画像ファイル１６４１が記録されている。なお、初期画像記録部１６４に記録する初期画像ファイル１６４１は、撮影装置２０に対応させるのみならず、昼夜の時間帯別としたり、随時更新したりするようにしてもよい。この場合、状況に適した初期画像ファイル１６４１を背景画像として用いて重畳画像を作成するようにする。
【００４８】
次に、本実施形態における動画像記録再生装置１０の動作について説明する。まず、動画像データを受信して、画像情報データを作成する処理について図８のフローチャートを参照して説明する。
【００４９】
本処理は、動画像記録再生装置１０の受信処理部１１０が、撮影装置２０が出力した圧縮符号化された動画像データを、ネットワーク７０を介して受信することで開始される（Ｓ１０１）。
【００５０】
受信した動画像データは、動画像記録処理部１３１が動画像ファイル１４１として画像記録部１４０に記録するとともに、画像情報記録処理部１３２が画像情報ファイル１４２に作成して、画像情報ファイルＩＤ１４２１、対応動画像ファイルＩＤ１４２２、撮影装置１４２３等の情報を記憶する（Ｓ１０２）。この時点では、画像情報データはまだ記録されない。
【００５１】
そして、動き検出部１２０が動画像データからフレーム画像を再構成して（Ｓ１０３）、動き検出処理を行なう（Ｓ１０４）。動き検出処理では、フレーム画像ごとに、動きの有無、動きがあった領域に関する情報が画像情報記録処理部１３２に出力される。
【００５２】
画像情報記録処理部１３２は、フレーム画像ごとに、フレーム番号１４２７ａ、経過時間１４２７ｂを画像情報データとして記録するとともに、動き検出部１２０が出力した動きの有無、動きがあった領域に関する情報に基づいて、動き検出フラグ１４２７ｃおよび動き検出領域１４２７ｄを画像情報データに記録する（Ｓ１０５）。
【００５３】
以上の処理Ｓ１０３〜処理Ｓ１０５を受信した動画像データの最終フレーム画像まで繰り返すことで（Ｓ１０６）、画像情報データを作成する処理が終了する。
【００５４】
次に、画像記録部１４０の空容量を監視し、空容量が所定の基準値以下になった場合にフレーム画像群の一部削除を行なう処理について図９のフローチャートを参照して説明する。
【００５５】
まず、空容量監視部１５１が、画像記録部１４０の空容量を取得する（Ｓ２０１）。空容量の取得タイミングは任意であるが、例えば、画像記録部１４０に動画像ファイル１４１が書き込まれたとき、所定のサイクル、動画像記録再生装置１０の起動時等とすることができる。そして、空容量が所定の基準値以下になっていた場合（Ｓ２０２：Ｙｅｓ）には、以下に示すフレーム画像群の一部削除処理を行なう。ただし、空容量にかかわらず、例えば、ユーザからの指示に基づいてフレーム画像群の一部削除処理を行なうようにしてもよい。
【００５６】
フレーム画像群の一部削除処理では、フレーム群削除部１５２が、あらかじめ定められた規則にしたがって、フレーム画像群の一部を削除する動画像ファイル１４１を設定する（Ｓ２０３）。上述のように種々の規則を用いることができるが、ここでは、最も撮影日の古い動画像ファイル１４１を設定するものとする。ただし、すでにフレーム画像群の一部を削除する対象となった動画像ファイル１４１は、対象とする優先順位を低くすることが望ましい。
【００５７】
そして、フレーム画像群の一部を削除する対象となった動画像ファイル１４１に対応する画像情報ファイル１４２のフレーム群削除フラグ１４２６をＯＮに更新する（Ｓ２０４）。これにより、フレーム群削除フラグ１４２６を参照すれば、画像情報データを参照しなくても、対応する動画像ファイル１４１でフレーム画像の削除が行なわれたかどうかを判別することができるようになる。
【００５８】
そして、削除率を設定し、削除間隔と削除量とを決定する（Ｓ２０５）。これらの値は、固定値としてもよいし、上述のように状況等に応じて変更するようにしてもよい。
【００５９】
フレーム群削除部１５２は、削除する対象となった動画像ファイル１４１を構成するフレーム画像を再構成する（Ｓ２０６）。そして、決定された削除間隔と削除量とに従って、フレーム画像ごとに、そのフレーム画像が削除対象であるかどうかを判断する（Ｓ２０７）。
【００６０】
そのフレーム画像が削除対象であった場合（Ｓ２０７：Ｙｅｓ）には、動画像ファイル１４１からそのフレーム画像を削除する（Ｓ２０８）。そして、対応する画像情報ファイル１４２の画像情報データのフレーム削除フラグ１４２７ｅをＯＮに更新する（Ｓ２０９）。すなわち、サイズ削減のためフレーム画像は削除するが、対応する画像情報データは削除せずに、フレーム画像を削除した旨の情報を付加する。
【００６１】
処理Ｓ２０６以降の処理を最終フレーム画像まで繰り返すことで、フレーム画像群の一部を削除する処理が終了する。そして、一部のフレーム画像が削除された動画像ファイル１４１を再度圧縮符号化して画像記録部１４０に上書き保存する（Ｓ２１１）。この際に、画像情報データとの対応関係を維持するため、フレーム番号は保持して、フレーム画像削除前と同じフレーム番号を用いるものとする。
【００６２】
次に、動画像ファイル１４１を再生する処理について図１０のフローチャートを参照して説明する。本処理は、ユーザから再生対象の動画像ファイル１４１の指定を受け付けることで開始される（Ｓ３０１）。
【００６３】
再生制御部１６２は、再生対象となった動画像ファイル１４１に対応する画像情報ファイル１４２のフレーム群削除フラグ１４２６を参照して、再生対象となった動画像ファイル１４１がフレーム削除処理を施されたかどうかを判定する（Ｓ３０２）。その結果、フレーム群削除フラグ１４２６がＯＦＦであり、フレーム削除処理が施されていないことを示している場合（Ｓ３０２：Ｎｏ）には、従来と同様の通常再生を行なう（Ｓ３０３）。すなわち、再生対象となった動画像ファイル１４１からフレーム画像を再構成し、連続的に表示装置３０に出力することで動画像の再生を行なう。
【００６４】
一方、フレーム群削除フラグ１４２６がＯＮであり、フレーム削除処理が施されていることを示している場合（Ｓ３０２：Ｙｅｓ）には、動画像ファイル１４１に対応する画像情報ファイル１４２の画像情報データを順次読み込む（Ｓ３０４）。このとき、再生フレーム特定部１６２１が、読み込むフレーム番号の順番を管理する。
【００６５】
そして、読み込んだ画像情報データのフレーム削除フラグ１４２７ｅを参照して、対応するフレーム画像が削除されているかどうかを判断する（Ｓ３０５）。この結果、フレーム削除フラグ１４２７ｅがＯＦＦであり、フレーム画像が削除されていないことを示している場合（Ｓ３０５：Ｎｏ）は、フレーム画像再構成部１６２３が、再生対象となっているフレーム画像を再構成する（Ｓ３０６）。そして、画像出力部１６２９が再構成されたフレーム画像を、動画像を構成する画像として表示装置３０に出力する（Ｓ３０７）。また、再構成されたフレーム画像は、最新フレーム画像格納部１６２４に一時的に保存する（Ｓ３０８）。
【００６６】
一方、フレーム削除フラグ１４２７ｅがＯＮであり、フレーム画像が削除されていることを示している場合（Ｓ３０５：Ｙｅｓ）は、読み込んだ画像情報データの動き検出フラグ１４２７ｃを参照して、対応するフレーム画像で動きが検出されたかどうかを判断する（Ｓ３０９）。
【００６７】
動き検出フラグ１４２７ｃがＯＮであり、動きが検出されたことを示している場合（Ｓ３０９：Ｙｅｓ）には、領域表示画像生成部１６２７が、読み込んだ画像情報データの動き検出領域１４２７ｄを参照して、図７に示したような、動きが検出された領域を示す図形情報を表示した画像を生成する（Ｓ３１０）。
【００６８】
次いで、重畳画像生成部１６２８が、動きが検出された領域を示す図形情報を表示した画像と背景画像とを重畳させた画像を生成する（Ｓ３１１）。背景画像は、ユーザの設定に基づいて、撮影装置２０に対応して初期画像記録部１６４に記録されている初期画像ファイル１６４１が示す画像あるいは最新フレーム画像格納部１６２４に保存された最新フレーム画像のいずれかとする。
【００６９】
そして、画像出力部１６２９が、重畳画像を、動画像を構成する画像として表示装置３０に出力する（Ｓ３１２）。重畳画像に含まれる図形情報は、動きが検出された領域を示すため、フレーム画像が連続的に削除されている場合であっても、動画像における動きの様子を把握することができる。
【００７０】
削除されたフレーム画像に対応する画像情報データの動き検出フラグ１４２７ｃがＯＦＦであり、動きが検出されていないことを示している場合（Ｓ３０９：Ｎｏ）には、フレーム画像に変化が無いため、画像出力部１６２９が前回に出力した画像と同じ画像を表示装置３０に出力する（Ｓ３１３）。ただし、そのフレームは再生せずに飛ばすようにしてもよい。
【００７１】
以上の処理（Ｓ３０４）以降の処理を画像情報データが終了するまで繰り返すことで（Ｓ３１４）、フレーム削除処理が施された動画像ファイル１４１の再生処理が終了する。
【００７２】
図１１は、動きが検出されたフレーム画像が削除された場合に表示装置３０に表示される動画像の一例を示す図である。本図の例では、図１１（ａ）に示すように、削除前の動画像ファイル１４１では、人間がｍ１、ｍ２、ｍ３のように移動する３つのフレーム画像を含む動画像が記録されているものとする。このとき、最初のフレーム画像ではｍ１に対応する領域で動きが検出され、２番目のフレーム画像ではｍ２に対応する領域で動きが検出され、３番目のフレーム画像ではｍ３に対応する領域で動きか検出されることになる。
【００７３】
これらの３つのフレーム画像が連続的に削除されると、領域表示画像生成部１６２７は、図１１（ｂ）に示すような領域表示画像を生成する。すなわち、最初のフレーム画像に対応する領域表示画像は、図形情報ｂ１を含み、２番目のフレーム画像に対応する領域表示画像は、図形情報ｂ２を含み、３番目のフレーム画像に対応する領域表示画像は、図形情報ｂ３を含んでいる。
【００７４】
図１１（ｃ）は、このときに用いられる背景画像を示している。本図は、背景の３本の木だけが写っている初期画像を用いるものとする。図１１（ｄ）は、領域表示画像と背景画像とを重畳した画像を動画像として再生した様子を示している。本図に示すように、図１１（ａ）に示したフレーム画像が削除された場合であっても、動画像における動きの様子を把握することができる。
【００７５】
図１１（ｅ）は、背景画像として最新フレーム画像格納部１６２４に格納された最新フレーム画像を用いた場合に、領域表示画像と背景画像とを重畳した画像を動画像として再生した様子を示している。本図の例では、削除されたフレーム画像の直前のｍ０が写っているフレーム画像を背景として用いている。この場合も、図１１（ａ）に示したフレーム画像が削除された場合であっても、動画像における動きの様子を把握することができ、さらに、ｍ０がｂ１、ｂ２、ｂ３のように移動している様子を把握することができる。
【００７６】
なお、上記の例では、削除されたフレーム画像に対して、動きが検出された領域を示す図形情報を表示するようにしていたが、通常再生の場合も動きを検出した領域を表示する画像を重畳させることで、動画像中の動きのあった領域を認識しやすいようにしてもよい。
【００７７】
以上、説明したように、本実施形態によれば、動画像記録再生装置１０において、動画像ファイル１４１のサイズを削減するために、動画像ファイル１４１を構成する画像フレームを連続的に削除した場合にも、再生される動画像の動きの様子を把握することができるようになる。
【図面の簡単な説明】
【００７８】
【図１】動画像記録再生装置を含むネットワーク動画像記録再生システムの構成を示すブロック図である。
【図２】動き検出のために複数のブロック領域に分割されたフレーム画像を示す図である。
【図３】画像情報ファイルの構成を説明する図である。
【図４】動画像ファイルを構成するフレーム画像と、画像情報ファイルを構成する動画像情報データとの関係を説明する図である。
【図５】フレーム群削除部が行なうフレーム画像群の一部削除について説明する図である。
【図６】再生制御部の詳細な構成を示すブロック図である。
【図７】動きが検出された領域を表示する画像の例を示す図である。
【図８】動画像データを受信して、画像情報データを作成する処理について説明するフローチャートである。
【図９】画像記録部の空容量を監視し、空容量が所定の基準値以下になった場合にフレーム画像群の一部削除を行なう処理について説明するフローチャートである。
【図１０】動画像ファイルを再生する処理について説明するフローチャートである。
【図１１】動きが検出されたフレーム画像が削除された場合に表示装置に表示される動画像の一例を示す図である。
【符号の説明】
【００７９】
１０…動画像記録再生装置、２０…撮影装置、３０…表示装置、５０…削除量、７０…ネットワーク、１００…ネットワーク動画像記録再生システム、１１０…受信処理部、１２０…動き検出部、１３０…画像記録処理部、１３１…動画像記録処理部、１３２…画像情報記録処理部、１４０…画像記録部、１４１…動画像ファイル、１４２…画像情報ファイル、１５０…画像記録部管理部、１５１…空容量監視部、１５２…フレーム群削除部、１６０…再生処理部、１６１…再生ファイル取得部、１６２…再生制御部、１６３…動画像出力部、１６４…初期画像記録部、２１０…撮像部、２２０…圧縮符号化部、２３０…送信処理部、１６２１…再生フレーム特定部、１６２２…対象フレーム削除判定部、１６２３…フレーム画像再構成部、１６２４…最新フレーム画像格納部、１６２５…動き有無判定部、１６２６…動き領域取得部、１６２７…領域表示画像生成部、１６２８…重畳画像生成部、１６２９…画像出力部
【図１】
2010098534.tif 000003
【図２】
2010098534.tif 000004
【図３】
2010098534.tif 000005
【図４】
2010098534.tif 000006
【図５】
2010098534.tif 000007
【図６】
2010098534.tif 000008
【図７】
2010098534.tif 000009
【図８】
2010098534.tif 000010
【図９】
2010098534.tif 000011
【図１０】
2010098534.tif 000012
【図１１】
2010098534.tif 000013