(57)【要約】【課題】動画像において移動する移動体の全体像を容易に把握することが可能な技術を提供することを目的とする。【解決手段】画像処理装置１は、通信部２１と、断片静止画像抽出部２４ａと、画像合成部２４ｂとを備える。通信部２１は、動画像の入力を受け付ける。断片静止画像抽出部２４ａは、動画像から、当該動画像において移動する移動体の断片像のみを示す、時系列順に序列付けられた複数の断片静止画像を抽出する。画像合成部２４ｂは、複数の断片静止画像を合成して、移動体の全体像を示す合成静止画像を生成する。【選択図】図１
2010278600.tif 000002
【特許請求の範囲】
【請求項１】
動画像の入力を受け付ける画像入力部と、
前記動画像から、当該動画像において移動する移動体の断片像のみを示す、時系列順に序列付けられた複数の断片静止画像を抽出する断片静止画像抽出部と、
前記複数の断片静止画像を合成して、前記移動体の全体像を示す合成静止画像を生成する画像合成部と
を備える、画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記画像合成部で生成された前記合成静止画像を表示する表示部をさらに備える、画像処理装置。
【請求項３】
請求項１及び請求項２のいずれか一つに記載の画像処理装置であって、
前記断片静止画像抽出部は、
前記動画像から、前記移動体が現れない第１静止画像と、前記移動体が断片的に現れる、時系列順に序列付けられた複数の第２静止画像とを抽出し、前記第１静止画像と、前記複数の第２静止画像のそれぞれとの差分に基づいて、前記複数の断片静止画像を抽出する、画像処理装置。
【請求項４】
請求項１乃至請求項３のいずれか一つに記載の画像処理装置であって、
前記画像合成部で生成された前記合成静止画像と、前記動画像を管理するために用いられる管理情報とを互いに関連付けて記憶する記憶部
をさらに備える、画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された画像に画像処理を行う画像処理装置に関する。
【背景技術】
【０００２】
従来から、画像に画像処理を行う画像処理装置に関して様々な技術が提案されている。画像処理装置には、不審者や不審車両を撮影することを目的として設置された監視カメラが撮影した画像に、画像処理を行うものもある。特許文献１には、監視カメラが撮影した画像を記憶する技術が記載されている。監視カメラで撮影された画像を記憶する記憶装置として、デジタルレコーダが用いられる場合がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−３０９３５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
監視カメラが撮影した動画像において移動する移動体が、不審者や不審車両であることを特定するためには、当該移動体の全体像を正確に把握することが望まれる。しかし、移動体の全体像を正確に把握するために、動画像を一時停止させて静止画像を表示しても、当該静止画像には移動体が部分的にしか現れない場合がある。つまり、当該静止画像には移動体の断片像しか現れない場合がある。この場合において、ユーザが、移動体が現れる動画像をコマ送り表示しながら移動体の全体像を把握しようとしたとしても、ユーザは移動体の断片像しか視認できないため、移動体の全体像の把握が困難であった。また、動画像から抽出された、移動体が示されている複数の静止画像を一画面において同時に表示しても、個々の静止画像には移動体の断片像しか表示されないため、移動体の全体像の把握が困難であった。
【０００５】
そこで、本発明は、上記のような問題点を鑑みてなされたものであり、動画像において移動する移動体の全体像を容易に把握することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、動画像の入力を受け付ける画像入力部と、前記動画像から、当該動画像において移動する移動体の断片像のみを示す、時系列順に序列付けられた複数の断片静止画像を抽出する断片静止画像抽出部と、前記複数の断片静止画像を合成して、前記移動体の全体像を示す合成静止画像を生成する画像合成部とを備える。
【発明の効果】
【０００７】
本発明によれば、動画像において移動する移動体の断片像のみを示す、時系列順に序列付けられた複数の断片静止画像から、移動体の全体像を示す合成静止画像を生成する。したがって、移動体の全体像を容易に把握することができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態に係る画像処理装置の構成を示すブロック図である。
【図２】実施の形態に係る画像処理装置の動作を示す図である。
【図３】実施の形態に係る画像処理装置の動作を示すフローチャートである。
【図４】実施の形態に係る画像処理装置の動作を示す図である。
【図５】実施の形態に係る画像処理装置の動作を示す図である。
【発明を実施するための形態】
【０００９】
図１は、本発明の実施の形態に係る画像処理装置１の構成を示す図である。本実施の形態に係る画像処理装置１は、防犯上の観点から設置された複数の監視カメラ２を備え、複数の監視カメラ２のそれぞれが撮影した動画像の画像処理、解析、表示及び記憶を行う。複数の監視カメラ２は、互いに離れた場所に設置されている。
【００１０】
図１に示すように、画像処理装置１は、デジタルレコーダ３と、ＰＣ（パーソナルコンピュータ）本体４と、入力装置５と、表示装置６とを備える。ＰＣ本体４は、キーボード及びマウスなどで構成される入力装置５、及び、液晶ディスプレイなどの表示装置６とともに、一般的なパーソナルコンピュータを構成している。入力装置５及び表示装置６のそれぞれは、ＵＳＢ（Universal Serial Bus）などの通信線を介してＰＣ本体４に接続されている。デジタルレコーダ３及びＰＣ本体４は、ＬＡＮ（Local Area Network）ケーブルなどの伝送網を介して互いに接続されている。
【００１１】
複数の監視カメラ２のそれぞれは、動画像を撮影し、当該動画像を示す動画像データを生成する。ここで、動画像は複数の静止画像（複数のフレーム画像）で構成されることから、動画像データは、それぞれが静止画像を示す複数の静止画像データで構成される。デジタルレコーダ３は、内蔵のハードディスク（図示せず）に、複数の監視カメラ２でそれぞれ生成された複数の動画像データをＭＰＥＧ４などの画像圧縮処理を用いて圧縮し、圧縮後の当該複数の動画像データを記憶する。また、デジタルレコーダ３は、各動画像データについて、当該動画像データを管理するために用いられる画像データ管理情報を、当該動画像データに関連付けて記憶している。画像データ管理情報は、例えば、当該画像データ管理情報が関連付けられている動画像データが生成された監視カメラ２を識別するためのカメラ番号と、当該監視カメラ２が当該動画像データを生成した時刻、つまり当該動画像データが示す動画像を撮影した時刻とを含んでいる。デジタルレコーダ３は、ＰＣ本体４からの命令に応じて、動画像データと、それに関連付けられた画像データ管理情報をＰＣ本体４に出力する。
【００１２】
ＰＣ本体４は、デジタルレコーダ３から出力される動画像データの画像処理、解析、記憶を行う。また、ＰＣ本体４は、表示装置６が動画像や静止画像を表示するように、表示装置６を制御する。入力装置５は、ユーザからの入力操作を受け付ける装置であり、ユーザからの入力操作をＰＣ本体４に出力する。ＰＣ本体４は、入力装置５から出力される入力操作に応じた動作を行う。したがって、ユーザは、入力装置５において入力操作を行うことにより、ＰＣ本体４に所望の動作を実行させることができる。
【００１３】
次に、ＰＣ本体４の構成について説明する。ＰＣ本体４は、通信部２１と、表示ドライバー２２と、記憶装置２３と、ＰＣ本体４全体での動作を統括的に制御する制御部２４とを備える。
【００１４】
通信部２１は、デジタルレコーダ３から出力される、動画像データなどの情報の入力を受け付ける。通信部２１は、デジタルレコーダ３からの情報を制御部２４に出力するとともに、制御部２４からの要求等をデジタルレコーダ３に出力する。通信部２１には、例えば、ＬＡＮカードが用いられる。表示ドライバー２２は、表示装置６が動画像や静止画像を表示するように、表示装置６を制御する。制御部２４は、表示ドライバー２２を制御する。つまり、制御部２４は、表示ドライバー２２を介して、表示装置６を制御する。
【００１５】
記憶装置２３は、例えば、ハードディスクが用いられ、制御部２４からの制御により、各種情報を記憶する。一方、この記憶装置２３には制御部２４が実行する動作プログラムＰが記憶されている。制御部２４は、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などのメモリーとから構成される。制御部２４が、動作プログラムＰを実行することにより、当該制御部２４には、機能ブロックとして、断片静止画像抽出部２４ａと、画像合成部２４ｂとが形成される。
【００１６】
また、制御部２４が動作プログラムＰを実行した場合には、図２に示すように、デジタルレコーダ３で記憶される動画像が表示される操作画像表示エリア３１、当該動画像を構成する複数の静止画像が表示される静止画像表示エリア３２及び当該動画像中の移動体が表示される移動体表示エリア３３が表示装置６にＧＵＩ（Graphical User Interface）表示される。また、制御部２４が動作プログラムＰを実行した場合には、図２に示すように、画像検索ボタン３４、表示設定ボタン３５、複数のボタンから成る画像操作ボタン群３６、ファイルメニューボタン３７、及び、ユーザが入力装置５を用いてそれらボタンに入力操作を行うためのポインタ３８が表示装置６にＧＵＩ表示される。
【００１７】
制御部２４は、デジタルレコーダ３に対して、再生データ要求を行う。デジタルレコーダ３は、再生データ要求を受けた場合には、自身に記憶している動画像データを構成する、時系列順に序列付けられた複数の静止画像データを、時系列において前側から１コマずつ（１フレームずつ）、制御部２４に出力する。制御部２４は、デジタルレコーダ３から１コマの静止画像データを受けるごとに、操作画像表示エリア３１に表示する静止画像を、デジタルレコーダ３から受けた１コマの静止画像データが示す静止画像に切り替える。デジタルレコーダ３は、微小時間ごとに１コマの静止画像データを出力し、操作画像表示エリア３１に表示される静止画像が微小時間ごとに切り替わる結果、操作画像表示エリア３１には、動画像が再生状態で表示される。表示装置６でのその他の表示エリア、及び表示装置６に表示される各種ボタンについては後で詳細に説明する。
【００１８】
図３は、本実施の形態に係る画像処理装置１の動作を示すフローチャートである。本実施の形態に係る画像処理装置１は、デジタルレコーダ３に記憶されている動画像に基づいて、当該動画像において移動する移動体の全体像を示す静止画像を生成することができる。以下、図３を用いて画像処理装置１の動作を説明する。
【００１９】
まず、表示設定ボタン３５が、ポインタ３８の入力操作を受け付けた場合には、制御部２４は、表示設定画面（図示しない）を表示装置６に表示させる。この表示設定画面において、静止画像表示エリア３２に関する設定を行うための入力操作が行われる（ステップｓ１）。具体的には、２以上１５以下の範囲での「表示コマ数（整数）」の入力操作、０以上１０以下の範囲での「コマ飛び間隔（整数）」の入力操作、１以上（表示コマ数−１）以下の範囲での「移動体検知前コマ数（整数）」の入力操作、及び、移動体の全体像を示す静止画像を生成するか否かについての入力操作が行われる。
【００２０】
後述のステップにおいて、断片静止画像抽出部２４ａは、通信部２１が受け付けた動画像、つまり、通信部２１に入力されたデジタルレコーダ３からの動画像データを構成する、時系列順に序列付けられた複数の静止画像データのそれぞれが示す複数の静止画像から、「表示コマ数」が示すコマ数だけ、「コマ飛び間隔」が示す間隔で、静止画像を抽出する。例えば、表示コマ数が“１５”であって、コマ飛び間隔が“２”である場合には、当該複数の静止画像から、２コマおきに合計１５コマの静止画像が抽出される。このように抽出される各静止画像を「抽出静止画像」と呼ぶ。そして、断片静止画像抽出部２４ａは、動画像から抽出した複数の抽出静止画像を、表示装置６が静止画像表示エリア３２において表示するように表示装置６を制御する。つまり、表示コマ数は、静止画像表示エリア３２において表示される複数の静止画像のコマ数を示し、コマ飛び間隔は、通信部２１が受け付けた、時系列順に序列付けられた複数の静止画像から静止画像を抽出する間隔を示す。本実施の形態では、このステップｓ１において、ユーザの入力操作により、表示コマ数が１０コマに設定され、コマ飛び間隔が１コマに設定されたものとする。
【００２１】
また、後述のステップにおいて、断片静止画像抽出部２４ａは、制御部２４に入力された動画像データが示す動画像に移動体が現れるかを判定する。静止画像表示エリア３２に表示される複数の抽出静止画像には、当該複数の抽出静止画像において初めて移動体が現れたと静止画像抽出部２４ａで判断された１コマの静止画像（以下、「移動体検知静止画像」と呼ぶ）が含まれている。また、当該複数の抽出静止画像には、時系列において移動体検知静止画像よりも前側の静止画像（以下、「移動体検知前静止画像」）も含まれている。上述の移動体検知前コマ数は、当該複数の抽出静止画像に含まれる移動体検知前静止画像のコマ数を示す。つまり、移動体検知前コマ数は、静止画像表示エリア３２に表示される複数の抽出静止画像において、時系列において移動体検知静止画像よりも前側の静止画像が何コマあるかを示す。本実施の形態では、このステップｓ１において、ユーザの入力操作により、移動体検知前コマ数が２コマに設定されたものとする。
【００２２】
さらに、静止画像表示エリア３２に表示される複数の抽出静止画像には、時系列において移動体検知静止画像よりも後側の静止画像（以下、「移動体検知後静止画像」と呼ぶ）が含まれている。このように、静止画像表示エリア３２に表示される複数の抽出静止画像は、移動体検知前静止画像と、移動体検知静止画像と、移動体検知後静止画像とで構成されている。移動体検知前静止画像のコマ数は、移動体検知前コマ数が示すコマ数であり、移動体検知静止画像のコマ数は１コマであり、移動体検知後静止画像のコマ数は、（表示コマ数が示すコマ数−移動体検知前コマ数が示すコマ数−１コマ）である。本実施の形態では、移動体検知コマ数は１０コマに設定され、移動体検知前コマ数は２コマに設定されているため、１０コマの抽出静止画像は、２コマの移動体検知前静止画像と、１コマの移動体検知静止画像と、７コマ（＝１０コマ−２コマ−１コマ）の移動体検知後静止画像とから構成される。
【００２３】
ステップｓ１の後、画像検索ボタン３４が、ポインタ３８の入力操作を受け付けた場合には、制御部２４は、動画像検索画面（図示しない）を表示装置６に表示させる。この動画像検索画面において、デジタルレコーダ３に記憶されている複数の動画像から、所望の動画像を検索するための検索情報の入力操作、及び、検索実行の入力操作が行われる（ステップｓ２）。
【００２４】
本実施の形態では、例えば、ステップｓ２において、ユーザにより、所望の動画像の撮影が行われた監視カメラ２を特定するためのカメラ番号の入力操作、及び、当該所望の動画像の撮影時刻の入力操作が、検索情報の入力操作として行われたものとする。
【００２５】
制御部２４は、検索情報の入力操作後に、検索実行の入力操作をユーザから受け付けた場合には、デジタルレコーダ３に対して、当該検索情報を入力して、当該検索情報で特定される動画像の先頭の１コマの静止画像を制御部２４に出力するように命令する。デジタルレコーダ３は、制御部２４からこの命令を受けると、入力された検索情報で特定される動画像の先頭の１コマの静止画像を示す静止画像データを、通信部２１を介して制御部２４に出力する。
【００２６】
制御部２４は、デジタルレコーダ３から静止画像データを受けた場合には、表示装置６が、当該静止画像データが示す静止画像を操作画像表示エリア３１に表示するように、表示装置６を制御する（ステップｓ３）。これにより、操作画像表示エリア３１には、ユーザによって入力された検索情報で特定される動画像が一時停止状態で表示される。このように、ユーザは、入力装置５を利用してポインタ３８を操作することにより、デジタルレコーダ３に記憶されている複数の動画像から、不審者等の移動体が現れると想定される動画像を検索し、その動画像を表示装置６に表示することができる。
【００２７】
ここで、画像操作ボタン群３６は、再生・停止・コマ送り・早送り・巻戻し・一時停止等の複数の操作にそれぞれ対応する複数のボタンを含む。画像操作ボタン群３６に含まれる複数のボタンのいずれか１つのボタンが、ポインタ３８の入力操作を受け付けた場合には、制御部２４は、表示装置６が、操作画像表示エリア３１において一時停止状態で表示されている動画像を、当該１つのボタンに対応する操作状態で表示するように、表示装置６を制御する。
【００２８】
ステップｓ３の後、制御部２４は、画像操作ボタン群３６に含まれる再生ボタンでの入力操作の待ち受け状態となる。画像操作ボタン群３６に含まれる再生ボタンが、ポインタ３８の入力操作を受け付けた場合には（ステップｓ４）、制御部２４は、操作画像表示エリア３１において表示されている動画像を一時停止状態から再生状態に切り替える（ステップｓ５）。具体的には、制御部２４は、デジタルレコーダ３に再生データ要求を行う。デジタルレコーダ３は、その再生データ要求を受けた場合には、動画像データを構成する、時系列順に序列付けられた複数の静止画像データを、時系列の前側から後側に向かって順に１コマずつ、制御部２４に出力する。この際、デジタルレコーダ３は、当該複数の静止画像データのうち、時系列において、操作画像表示エリア３１に表示されている静止画像直後の静止画像を示す静止画像データを、制御部２４に対して最初に出力する。制御部２４は、デジタルレコーダ３から１コマの静止画像データを受けるごとに、操作画像表示エリア３１に表示する静止画像を、デジタルレコーダ３から受けた１コマの静止画像データが示す静止画像に切り替える。これにより、操作画像表示エリア３１には動画像が再生状態で表示される。
【００２９】
断片静止画像抽出部２４ａは、操作画像表示エリア３１において動画像が再生状態で表示されている際に、当該動画像での移動体を検知し、移動体が現れたか否かを判断する（同ステップｓ５）。なお、断片静止画像抽出部２４ａは、ステップｓ１で、移動体の全体像を示す静止画像を生成するという入力操作が入力装置５で受け付けられた場合に、この検知及び判断を行う。
【００３０】
このステップｓ５において、断片静止画像抽出部２４ａは、再生ボタンが操作された後の１コマ目の静止画像データが制御部２４に入力されると、当該静止画像データが示す静止画像と、その後に続けて制御部２５に入力される２コマ目の静止画像データが示す静止画像との差分を求めて、その差分が所定基準よりも大きいかを判定する。そして、断片静止画像抽出部２４ａは、求めた差分が所定基準よりも小さいと判定すると、２コマ目の静止画像データが示す静止画像と、その後に続けて制御部２４に入力される３コマ目の静止画像データが示す静止画像との差分を求めて、その差分が所定基準よりも大きいかを判定する。断片静止画像抽出部２４ａは、求めた差分が所定基準よりも小さいと判定すると、３コマ目の静止画像データが示す静止画像と、その後に続けて制御部２４に入力される４コマ目の静止画像データが示す静止画像との差分を求めて、その差分が所定基準よりも大きいかを判定する。以後、断片生成画像抽出部２４ａは、求めた差分が所定基準よりも大きいと判定するまで、同様にして時系列的に連続する２コマの静止画像の差分を求める。
【００３１】
断片静止画像抽出部２４ａは、求めた差分が所定基準よりも大きいと判定すると、判定の対象となった２つの静止画像のうち、時系列において後側の静止画像に移動体が現れたと判断し、当該後側の静止画像を一の抽出静止画像とする（ステップｓ６）。この一の抽出静止画像が移動体検知静止画像となる。そして、断片静止画像抽出部２４ａは、コマ飛び間隔を考慮して、制御部２４に入力される動画像データから、移動体検知静止画像を示す静止画像データよりも時系列的に前の静止画像データを移動体検知前コマ数だけ、つまり２コマだけ抽出する。この抽出された静止画像データが示す静止画像が移動体検知前静止画像となる。さらに、断片静止画像抽出部２４ａは、コマ飛び間隔を考慮して、制御部２４に入力される動画像データから、移動体検知静止画像を示す静止画像データよりも時系列的に後の静止画像データを７コマだけ抽出する。この抽出された静止画像データが示す静止画像が移動体検知後静止画像となる。これにより、制御部２４では、表示コマ数の抽出静止画像、つまり１０コマの抽出静止画像が得られる。
【００３２】
その後、制御部２４は、デジタルレコーダ３に対して再生停止要求を行うとともに、表示装置６が、操作画像表示エリア３１に現在表示している静止画像を表示し続けるように、表示装置６を制御する。デジタルレコーダ３は、制御部２４から再生停止要求を受け付けると、制御部２４への動画像データの出力を停止する。
【００３３】
次に、制御部２４は、入力された動画像から断片静止画像抽出部２４ａが抽出した複数の抽出静止画像を、表示装置６が静止画像表示エリア３２に表示するように、表示装置６を制御する（ステップｓ７）。本実施の形態では、ステップｓ１で表示コマ数が１０コマに設定されている。図２に示すように、制御部２４は、表示装置６に対して、静止画像表示エリア３２に表示されている枠Ａ〜Ｏのうち、静止画像表示エリア３２の上側に配置される１０個の枠Ａ〜Ｊ内のそれぞれに１コマの抽出静止画像を表示させ、枠Ａ〜Ｊ以外の残りの枠、つまり、下側に配置される５個の枠Ｋ〜Ｏ内のそれぞれには、図２の砂地ハッチングで示されるブランクを表示させる。また、枠Ａ〜Ｊの枠内にそれぞれ表示される１０コマの抽出静止画像は、上述したように、２コマの移動体検知前静止画像と、１コマの移動体検知静止画像と、７コマの移動体検知後静止画像とから構成される。
【００３４】
図４は、上述の抽出動作により、静止画像表示エリア３２に表示される抽出静止画像を示す図である。図に示すように、制御部２４は、枠Ａから枠Ｊに進むにつれて撮影された時刻が後になるように表示装置６が１０コマの抽出静止画像を１０個の枠Ａ〜Ｊ内にそれぞれ表示するように、表示装置６を制御する。
【００３５】
この図４において、枠Ｃ内には、移動体検知静止画像が表示されている。枠Ａ及び枠Ｂ内のそれぞれには、断片静止画像抽出部２４ａが移動体４１が現れていると判断しなかった、移動体検知前静止画像が表示されている。枠Ｂ内の静止画像において移動体４１が実際に現れているにもかかわらず、断片静止画像抽出部２４ａが、ステップｓ５において、移動体４１が現れていると判断しなかったのは、枠Ｂ内の静止画像に現れている移動体が小さく、当該静止画像と、その前の枠Ａ内の静止画像との差分が、同ステップｓ５での所定基準よりも大きくなかったためである。枠Ｄ〜Ｊ内のそれぞれには、移動体検知後静止画像が表示されている。このうち、枠Ｄ〜Ｉ内の移動体検知後静止画像には、移動体４１が現れている。
【００３６】
ステップｓ７の後、断片静止画像抽出部２４ａは、制御部２４に入力された動画像から、当該動画像において移動する移動体４１の断片像のみを示す複数の断片静止画像を抽出する（ステップｓ８）。
【００３７】
具体的には、断片静止画像抽出部２４ａは、静止画像表示エリア３２の枠Ａ内の移動体検知前静止画像を、背景画像に設定する。つまり、静止画像表示エリア３２に表示されている複数の抽出静止画像のうち、断片静止画像抽出部２４ａが移動体４１が現れていると判断しなかった抽出静止画像であって、時系列において先頭の抽出静止画像が、背景画像として設定される。そして、断片静止画像抽出部２４ａは、当該背景画像と、静止画像表示エリア３２の枠Ｂ内の抽出静止画像との差分を求め、当該差分が、所定基準よりも大きい部分の部分静止画像を、移動体４１の断片像のみを示す断片静止画像として抽出する。断片静止画像抽出部２４ａは、このような抽出を、枠Ｃ〜Ｊ内にそれぞれ表示されている複数の抽出静止画像に対しても同様に行う。つまり、断片静止画像抽出部２４ａは、移動体４１が現れない抽出静止画像と、移動体４１が断片的に現れる、時系列順に序列付けられた複数の抽出静止画像のそれぞれとの差分に基づいて、移動体の断片像のみを示す、時系列順に序列付けられた複数の断片静止画像を抽出する。なお、ステップｓ５で求めた差分と比較される所定基準が、ステップｓ８で求めた差分と比較される所定基準よりも高い場合には、ステップｓ５で移動体４１が現れたと判断されなかった抽出静止画像からも、断片静止画像が抽出される場合がある。
【００３８】
このような抽出動作により、断片静止画像抽出部２４ａは、図４の例に対して、図５（ａ）に示すような、複数の断片静止画像を抽出する。なお、この例において、枠Ｂ，枠Ｇ〜Ｉに表示される静止画像から抽出される断片静止画像は比較的小さいので、説明を簡単にする目的で、それら断片静止画像については無視し、枠Ｃ〜Ｆ内のそれぞれに表示される抽出静止画像からのみ、断片静止画像が抽出されたものとして以下説明する。なお、図５では、断片静止画像には、対応する抽出静止画像が表示される枠の符号にコンマをつけた符号を付している。
【００３９】
ステップｓ８の後、画像合成部２４ｂは、断片静止画像抽出部２４ａが抽出した複数の断片静止画像に対して類似画像データ照合を行って、複数の断片静止画像を適切な位置に配置し、それら複数の断片静止画像を合成して、合成静止画像を生成する（ステップｓ９）。具体的には、画像合成部２４ｂは、時系列で前後する２つの断片静止画像のうち、一方の断片静止画像の位置を固定し、当該一方の断片静止画像及び他方の断片静止画像において互いに類似する部分が重なるように他方の断片静止画像を移動させる。そして、画像合成部２４ｂは、その重なる程度が最も大きくなる位置に他方の断片静止画像を配置する。
【００４０】
次に、画像合成部２４ｂは、配置した２つの断片静止画像の位置を固定し、当該２つの断片静止画像の、時系列において直後の断片静止画像を移動させながら、これらの断片静止画像を上述と同様に配置する。この動作は、合計で、（断片静止画像の数−１）回行われ、断片静止画像全てが配置されるまで行う。
【００４１】
そして、画像合成部２４ｂは、全ての断片静止画像を配置した後、当該全ての断片静止画像を合成して合成静止画像を生成する。ここでの合成では、複数の断片静止画像のいずれか１つにしか現れない部分の画像は、その画像を示す画像データを合成静止画像の画像データとしてそのまま用い、複数の断片静止画像において重複して現れる部分の画像は、その重複する部分を示す画像データの平均値を合成静止画像の画像データとして用いる。この合成処理により、画像合成部２４ｂは、図５（ａ）の例に対して、図５（ｂ）に示すような合成静止画像を生成する。
【００４２】
その後、制御部２４は、表示装置６が、ステップｓ９で生成した合成静止画像を、移動体表示エリア３３に表示するように、表示装置６を制御する（ステップｓ１０）。
【００４３】
ステップｓ１０の後、制御部２４は、合成静止画像を記憶装置２３に記憶するように設定されているかを判定する（ステップｓ１１）。合成静止画像を記憶装置２３に記憶するかについての設定は、ステップｓ１１よりも前の時点（図示しない）において行われる。具体的には、図２に示したファイルメニューボタン３７がポインタ３８の入力操作を受け付けた場合に、制御部２４は、合成静止画像を記憶するディレクトリを指定するためのディレクトリ指定画面（図示しない）を表示装置６に表示させる。制御部２４は、このディレクトリ指定画面において、合成静止画像を記憶するディレクトリを指定する入力操作が、ユーザによりすでに行われていたか否かをステップｓ１１において判定する。
【００４４】
ステップｓ１１において、制御部２４は、ディレクトリを指定する入力操作が行われていないと判定した場合には、ステップｓ４に戻って、再生ボタンの入力操作の待ち状態となる。
【００４５】
一方、制御部２４は、ディレクトリを指定する入力操作がすでに行われていたと判定した場合には、ステップｓ９で生成した合成静止画像と、合成静止画像の元となる動画像を管理するために用いられる画像データ管理情報とを互いに関連付けて、記憶装置２３での指定されたディレクトリに記憶する（ステップｓ１２）。制御部２４は、ユーザからの所定の入力操作を入力装置５で受け付けたと判断した場合には、ディレクトリに記憶した合成静止画像を読み出し、表示装置６が当該合成画像を移動体表示エリア３３に表示するように、表示装置６を制御する。
【００４６】
ステップｓ１２の後、制御部２４は、ステップｓ４に戻って、再生ボタンの入力操作の待ち状態となる。
【００４７】
画像処理装置１では、ステップｓ１１あるいはステップｓ１２の後にステップｓ４が実行されると、その後、ステップｓ５以降の処理が同様にして実行される。ステップｓ６において、制御部２４に入力される動画像中に新たな移動体が検出されると、当該移動体が現れている移動体検知静止画像を含む新たな複数の抽出静止画像が、静止画像表示エリア３２に表示されるようになる。その後、当該移動体の全体像を示す合成静止画像が生成されて、当該合成静止画像が移動体表示エリア３３に表示される。
【００４８】
以上の画像処理装置１の動作は、画像操作ボタン群３６に含まれる停止ボタンが、ポインタ３８の入力操作を受け付けた場合には終了し、画像操作ボタン群３６に含まれる一時停止ボタンが、ポインタ３８の入力操作を受け付けた場合には、一時停止する。
【００４９】
以上のような画像処理装置１によれば、動画像において移動する移動体４１のみを示す、時系列順に序列付けられた複数の断片静止画像を合成することによって、当該移動体の全体像を示す合成静止画像が生成される。したがって、移動体４１の全体像を容易に把握することができる。
【００５０】
なお、移動体４１の複数の断片静止画像を合成して合成静止画像を生成しても、合成に使用する断片静止画像の数が足りない場合などには、その合成静止画像が、移動体４１の全体像を示さない場合がある。そのような場合には、表示コマ数を増やして、画像処理装置１に以上の処理を再度ステップｓ１から実行させる。
【００５１】
また、コマ飛び間隔を増やした場合には、複数の断片静止画像における類似画像の範囲が小さくなるため、精度の高い合成が困難になる。その一方で、コマ飛び間隔を減らした場合には、その場合に生成される合成静止画像が移動体４１の全体像を示さない可能性が高くなる。したがって、コマ飛び間隔は、これらの観点から適当なコマ数に設定されることが望ましい。
【００５２】
また、合成静止画像が、移動体の全体像を示すようにするためには、抽出された複数の抽出静止画像の先頭の抽出静止画像、及び、最後尾の抽出静止画像のそれぞれにおいて、移動体が現れない状態が望ましい。もし、この状態でなければ、ユーザは、表示コマ数、コマ飛び間隔及び移動体検知前コマ数の少なくとも一つを設定し直して、画像処理装置１に再度ステップｓ１以下の処理を実行させる。これにより、移動体の全体像を示す合成生成画像を確実に得ることができる。
【００５３】
また、本実施の形態では、断片静止画像抽出部２４ａは、先頭の抽出静止画像を背景画像として用いたが、最後尾の、移動体が現れていない抽出静止画像を背景画像として用いてもよい。
【００５４】
また、動画像において、複数の移動体が同時に現れることがある。この場合、ステップｓ８において、１つの抽出静止画像から、複数の移動体の断片像をそれぞれ示す複数の断片静止画像が比較的離れた画像位置で抽出される。その一方で、一つの移動体に関して、時間的に前後の２つの抽出静止画像からそれぞれ抽出される２つの断片静止画像の画像位置は比較的近くなる。
【００５５】
そこで、断片静止画像抽出部２４ａは、背景画像と、枠Ｂ〜Ｊ内の抽出静止画像のそれぞれとの差分を求めて、枠Ｂ〜Ｊ内の抽出静止画像のそれぞれについて複数の断片静止画像が抽出されるかどうかを確認する。ここで、枠Ｃ〜枠Ｆ内の抽出静止画像について、複数の断片静止画像が抽出されたとする。断片静止画像抽出部２４ａは、複数の抽出静止画像のうち、時間的に先頭の枠Ｃ内の抽出静止画像についての複数の断片静止画像Ｃ’に対して互いに異なったラベルを付す。次に、断片静止画像抽出部２４ａは、その次の枠Ｄ内の抽出静止画像についての複数の断片静止画像Ｄ’のそれぞれに対して、それと画像位置が最も近い断片静止画像Ｃ’に付されたラベルと同じラベルを付す。次に、断片静止画像抽出部２４ａは、その次の枠Ｅ内の抽出静止画像についての複数の断片静止画像Ｅ’のそれぞれに対して、それと画像位置が最も近い断片静止画像Ｄ’に付されたラベルと同じラベルを付す。そして、断片静止画像抽出部２４ａは、その次の枠Ｆ内の抽出静止画像についての複数の断片静止画像Ｆ’のそれぞれに対して、それと画像位置が最も近断片静止画像Ｅ’に付されたラベルと同じラベルを付す。
【００５６】
その後、画像合成部２４ｂは、断片静止画像抽出部２４ａが抽出した、同じラベルが付された複数の断片静止画像を合成する。これにより、複数の移動体のそれぞれについて合成静止画像が生成される。その結果、動画像において複数の移動体が同時に現れる場合であっても、当該複数の移動体のそれぞれの全体像を把握することができる。
【００５７】
＜変形例＞
本変形例では、デジタルレコーダ３が、監視カメラ２で撮影された動画像中の移動体を検知する。そして、ＰＣ本体４の断片静止画像抽出部２４ａは、自身で移動体を検知する代わりに、デジタルレコード３での移動体の検知結果を利用する。以下の本変形例について詳細に説明する。
【００５８】
デジタルレコーダ３は、記憶する各動画像データについて、当該動画像データが示す動画像に移動体が現れるかどうかを判定する。デジタルレコーダ３での移動体の検知方法は、上述の断片静止画像抽出部２４ａでの移動体の検知方法と同様である。デジタルレコーダ３は、動画像データが示す動画像に少なくとも一つの移動体が現れたと判断すると、当該動画像データに対して固有のアラーム番号を付与する。そして、デジタルレコーダ３は、当該動画像データに付与したアラーム番号を、当該動画像データに関連付けられる画像データ管理情報に含める。ユーザは、デジタルレコーダ３からアラーム番号を取得できるようになっている。
【００５９】
また、デジタルレコーダ３は、移動体が動画像に現れたと判断するごとに、当該移動体が最初に現れた、当該動画像を構成する１コマの静止画像（以下、「アラーム画像」と呼ぶ）を特定する。そして、デジタルレコーダ３は、当該動画像についての各アラーム画像を特定するためのアラーム画像特定情報を、当該動画像を示す動画像データに関連付けられる画像データ管理情報に含める。
【００６０】
制御部２４は、ステップｓ２において、アラーム番号の入力操作を、所望の動画像を検索するための検索情報の入力操作として受け付け、当該アラーム番号をデジタルレコーダ３に出力する。デジタルレコーダ３は、記憶する複数の動画像データから、入力されたアラーム番号を含む画像データ管理情報に関連付けられている動画像データを特定する。この動画像データが示す動画像が表示装置６の操作画像表示エリア３１に表示されるようになる。そして、デジタルレコーダ３は、特定した動画像データが示す動画像の先頭の１コマの静止画像を示す静止画像データを、通信部２１を介して制御部２４に出力する。
【００６１】
その後、画像処理装置１では、上述のステップｓ３，ｓ４が実行される。ステップｓ４において、再生ボタンが操作されると、ステップｓ５において、制御部２４は、上述と同様に、操作画像表示エリア３１において表示されている動画像を一時停止状態から再生状態に切り替える。このとき、デジタルレコーダ３は、アラーム画像を示す静止画像データを制御部２４に出力する際には、それと一緒に当該アラーム画像を特定するためのアラーム画像特定情報を制御部２４に出力する。
【００６２】
断片静止画像抽出部２４ａは、ステップｓ６において、制御部２４にアラーム画像特定情報が入力されると、それとともに入力される静止画像データが示す静止画像、つまり、アラーム画像を、移動体検知静止画像とする。そして、断片静止画像抽出部２４ａは、抽出した、移動体検知静止画像を示す静止画像データを基準にして、上述と同様にして、制御部２４に入力された動画像データから、移動体検知前静止画像及び移動体検知後静止画像を示す静止画像データを抽出する。
【００６３】
その後、制御部２４は、デジタルレコーダ３に対して再生停止要求を行うとともに、表示装置６が、操作画像表示エリア３１に現在表示している静止画像を表示し続けるように、表示装置６を制御する。デジタルレコーダ３は、制御部２４から再生停止要求を受け付けると、制御部２４への動画像データの出力を停止する。
【００６４】
以後、画像処理装置１では上述のステップｓ７〜ｓ１２と同様の処理が行われる。
【００６５】
以上のような本変形例に係る画像処理装置１によれば、上述と同様に、移動体４１の全体像を示す合成静止画像が生成でき、移動体４１の全体像を容易に把握することができる。
【符号の説明】
【００６６】
６  表示装置
２１  通信部
２３  記憶装置
２４ａ  断片静止画像抽出部
２４ｂ  画像合成部
【図１】
2010278600.tif 000003
【図２】
2010278600.tif 000004
【図３】
2010278600.tif 000005
【図４】
2010278600.tif 000006
【図５】
2010278600.tif 000007