(57)【要約】【課題】防犯カメラ等で撮像した動画像を再生して行う、撮像されている人や、車両等のオブジェクトの目視確認作業にかかる、人手、および時間を低減することができる技術を提供する。【解決手段】画像処理部４は、オブジェクト検出機能部４２において、予め定めた複数の検出条件別に、動画像入力部２に入力された動画像に対して、撮像されているオブジェクトを検出する。また、画像処理部４は、再生情報生成機能部４３において、オブジェクト検出機能部４２が検出条件別に検出したオブジェクト毎に、そのオブジェクトが撮像されている動画像の再生位置を示す再生時間情報を生成する。出力部６が、再生情報生成機能部４３が生成した再生時間情報に基づく動画データを出力する。【選択図】図２
2015207945.tif 000002
【特許請求の範囲】
【請求項１】
動画像が入力される動画像入力部と、
予め定めた複数の検出条件別に、前記動画像入力部に入力された動画像に撮像されているオブジェクトを検出するオブジェクト検出部と、
前記オブジェクト検出部が前記検出条件別に検出したオブジェクト毎に、そのオブジェクトが撮像されている動画像の再生位置を示す再生時間情報を生成する再生時間情報生成部と、
前記動画像入力部に入力された動画像にかかる動画データを、この動画像について前記再生時間情報生成部が生成した再生時間情報に基づいて出力する出力部と、を備えた動画像処理装置。
【請求項２】
前記動画像入力部に入力された動画像を、この動画像について前記再生時間情報生成部が生成した再生時間情報に基づいて編集した動画データを生成する動画データ生成部を備え、
前記出力部は、前記動画データ生成部が生成した動画データを出力する、請求項１に記載の画像処理装置。
【請求項３】
前記動画データ生成部は、前記動画像入力部に入力された動画像において、選択された前記検出条件にかかるオブジェクトが撮像されている時間領域をつなぎ合わせた動画データを生成する、請求項２に記載の動画像処理装置。
【請求項４】
前記出力部は、選択されたオブジェクトが撮像されている時間領域の動画データを出力する、請求項１に記載の動画像処理装置。
【請求項５】
前記検出条件別に、前記オブジェクト検出部が検出したオブジェクトにかかる画像を一覧で表示させる一覧表示画像を生成する一覧表示画像生成部を備え、
前記出力部は、選択された検出条件にかかるオブジェクトの一覧表示画像を出力する、請求項４に記載の動画像処理装置。
【請求項６】
前記一覧表示画像生成部は、前記出力部が撮像されている時間領域の動画データを出力したオブジェクトと、撮像されている時間領域の動画データを出力していないオブジェクトと、で表示形態を異ならせた一覧表示画像を生成する、請求項５に記載の動画像処理装置。
【請求項７】
前記オブジェクト検出部は、検出するオブジェクトの種類を異ならせた複数の検出条件が定められている、請求項１〜６のいずれかに記載の動画像処理装置。
【請求項８】
前記オブジェクト検出部は、検出するオブジェクトの種類が人である検出条件が定められている、請求項７に記載の動画像処理装置。
【請求項９】
前記オブジェクト検出部は、オブジェクトの検出位置を異ならせた複数の検出条件が定められている、請求項１〜８のいずれかに記載の動画像処理装置。
【請求項１０】
予め定めた複数の検出条件別に、動画像入力部に入力された動画像に対して、撮像されているオブジェクトを検出するオブジェクト検出ステップと、
前記オブジェクト検出ステップで前記検出条件別に検出したオブジェクト毎に、そのオブジェクトが撮像されている動画像の再生位置を示す再生時間情報を生成する再生時間情報生成ステップと、
前記動画像入力部に入力された動画像にかかる動画データを、この動画像について前記再生時間情報生成ステップで生成した再生時間情報に基づいて出力する出力ステップと、を備えた動画像処理方法。
【請求項１１】
予め定めた複数の検出条件別に、動画像入力部に入力された動画像に対して、撮像されているオブジェクトを検出するオブジェクト検出ステップと、
前記オブジェクト検出ステップで前記検出条件別に検出したオブジェクト毎に、そのオブジェクトが撮像されている動画像の再生位置を示す再生時間情報を生成する再生時間情報生成ステップと、
前記動画像入力部に入力された動画像にかかる動画データを、この動画像について前記再生時間情報生成ステップで生成した再生時間情報に基づいて出力する出力ステップと、をコンピュータに実行させる動画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、防犯カメラ等で撮像した動画像にかかる動画データを出力する技術に関する。
【背景技術】
【０００２】
従来、空港、駅、ショッピングセンター、街角等、様々な場所に防犯カメラが設置されている。防犯カメラが撮像した動画像（防犯映像）は、犯罪捜査等に利用されることがある。
【０００３】
例えば、指名手配中の人物等を検出対象者とし、防犯カメラが撮像した動画像に撮像されている人物の顔と、検出対象者の顔とを照合し、検出対象者が撮像されている映像（動画像の一部）を検出することが提案されている（特許文献１等参照）。
【０００４】
また、防犯カメラの撮像エリア外において、何らかの事件や事故等のトラブルが発生すると、そのトラブルが発生した現場周辺に設置されている複数の防犯カメラが撮像した動画像を再生し、当事者らしき人物を見つけることも行われている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−  ６２５６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、防犯カメラの撮像エリア外において、何らかの事件や事故等のトラブルが発生した場合、発生したトラブルの当事者らしき人物を見つけるには、多数の防犯カメラが撮像した動画像を確認しなければならない。すなわち、大量の動画像を再生し、目視確認を行うことになる。したがって、防犯カメラが撮像した動画像を利用して、発生したトラブルの当事者らしき人物を見つける作業は、人手と時間がかかるものであった。
【０００７】
この発明の目的は、防犯カメラ等で撮像した動画像を再生して行う、撮像されている人や、車両等のオブジェクトの目視確認作業にかかる、人手、および時間を低減することができる技術を提供することにある。
【課題を解決するための手段】
【０００８】
この発明の動画像処理装置は、上記目的を達するために、以下のように構成している。
【０００９】
オブジェクト検出部は、予め定めた複数の検出条件別に、動画像入力部に入力された動画像に対して、撮像されているオブジェクトを検出する。動画像入力部に入力される動画像は、例えば空港、駅、ショッピングセンター、街角等に設置されている防犯カメラが撮像した防犯画像である。また、検出条件は、人、車両等の移動体や、放置された荷物（静止物）等、検出するオブジェクトの種類や、そのオブジェクトが検出された位置等で定められる。
【００１０】
再生時間情報生成部は、検出条件別に、その検出条件にかかるオブジェクトをオブジェクト検出部が検出した動画像の再生位置を示す再生時間情報を生成する。そして、出力部は、動画像入力部に入力された動画像にかかる動画データを、この動画像について再生時間情報生成部が生成した再生時間情報に基づいて出力する。この動画データは、再生した映像データであってもよいし、再生していない圧縮データであってもよい。
【００１１】
例えば、動画像入力部に入力された動画像を、この動画像について再生時間情報生成部が生成した再生時間情報に基づいて編集した動画データを生成する。動画像入力部に入力された動画像の編集は、選択された検出条件で検出されたオブジェクトが撮像されている時間領域をつなぎ合わせる編集であってもよいし、他の手法による編集であってもよい。選択された検出条件で検出されたオブジェクトが撮像されている時間領域をつなぎ合わせる編集を行った動画データであれば、選択された検出条件に合致するオブジェクトが検出された部分が連続して再生され、選択された検出条件に合致するオブジェクトが検出されていない部分が再生されない。したがって、防犯カメラ等で撮像した動画像を再生して行う、人、車両、放置された荷物等のオブジェクト（確認したいオブジェクト）の目視確認作業において、確認したいオブジェクトの検出条件を選択することで、その確認にかかる、人手、および時間を低減することができる。
【００１２】
また、選択されたオブジェクトが撮像されている時間領域の動画データを出力部から出力する構成としてもよい。この場合、検出条件別に、オブジェクト検出部が検出したオブジェクトにかかる画像を一覧で表示させる一覧表示画像を生成し、選択された検出条件にかかるオブジェクトの一覧表示画像を出力部から出力する構成を付加的に設けるのが好ましい。このようにすれば、出力部から出力させる動画データに撮像されているオブジェクトの選択が一覧表示画像で簡単に行える。さらに、出力部が撮像されている時間領域の動画データを出力したオブジェクトと、撮像されている時間領域の動画データを出力していないオブジェクトと、で表示形態を異ならせた一覧表示画像を生成するのが好ましい。このように構成すれば、すでに目視確認したオブジェクトが誤って選択されるのを抑えられる。
【発明の効果】
【００１３】
この発明によれば、防犯カメラ等で撮像した動画像を再生して行う、撮像されている人や、車両等のオブジェクトの目視確認作業にかかる、人手、および時間を低減することができる。
【図面の簡単な説明】
【００１４】
【図１】動画像処理装置の主要部の構成を示すブロック図である。
【図２】画像処理部の機能構成を示す図である。
【図３】再生情報を説明する図である。
【図４】再生情報生成処理を示すフローチャートである。
【図５】再生処理を示すフローチャートである。
【図６】別の検出条件を説明する図である。
【図７】動画像処理装置を用いたネットワークシステムの構成を示す概略図である。
【図８】動画像処理装置の主要部の構成を示すブロック図である。
【図９】画像処理部の機能構成を示すブロック図である。
【図１０】グループＡにかかる一覧表示画像を示す図である。
【図１１】代表画像選択処理を示すフローチャートである。
【図１２】動画データ出力処理を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、この発明の実施形態である動画像処理装置について説明する。
【００１６】
図１は、この例にかかる動画像処理装置の主要部の構成を示すブロック図である。この例にかかる動画像処理装置１は、動画像入力部２と、動画像記憶部３と、画像処理部４と、再生情報記憶部５と、出力部６と、を備えている。この例にかかる動画像処理装置１は、防犯カメラ等で撮像した動画像を再生し、この動画像に撮像されている人や、車両等のオブジェクトを目視確認する作業に用いられる。
【００１７】
動画像入力部２には、防犯カメラ（不図示）等で撮像した動画像（防犯映像）にかかる動画像ファイルが入力される。動画像入力部２は、ＵＳＢメモリや、ＳＤメモリカード、ＤＶＤ等のメディアに記録されている動画像ファイルを読み取る構成であってもよいし、有線で接続された機器から出力された動画像ファイルが入力される構成であってもよい。また、接続されている防犯カメラが撮像した動画像を入力する構成であってもよい。
【００１８】
動画像記憶部３は、動画像入力部２に入力された動画像ファイルを識別可能に記憶する。具体的には、動画像記憶部３は、入力された動画像ファイルに、固有のファイル名を付けて記憶する。
【００１９】
画像処理部４は、動画像記憶部３に記憶した動画像ファイルについて、予め定められている複数の検出条件別に、撮像されている人、車両、放置された荷物等のオブジェクトを検出するオブジェクト検出機能、検出条件別にオブジェクトが検出された動画像の再生位置を示す再生情報を生成する再生情報生成機能、および再生情報に基づき、動画像入力部に入力された動画像を編集した動画データを生成する動画データ生成機能を備えている。これらの機能の詳細については後述する。
【００２０】
この画像処理部４が、この発明にかかる動画像処理方法を実行するコンピュータを備える。また、この発明にかかる動画像処理プログラムは、画像処理部４が備えるコンピュータにインストールされる。
【００２１】
再生情報記憶部５は、画像処理部４が生成した再生情報を記憶する。再生情報記憶部５は、動画像記憶部３に記憶した動画像ファイルのファイル名と、この動画像ファイルにかかる再生情報とを対応付けて記憶する。
【００２２】
出力部６は、画像処理部４において再生された動画像ファイルの再生信号を動画データとして出力する。出力部６には、図示していない表示装置が接続され、この表示装置において動画像ファイルの再生画像が表示される。担当者（操作者）は、この再生画像を目視確認する。
【００２３】
なお、この例にかかる動画像処理装置１は、担当者が操作するキーボードやマウス等の入力操作デバイスを有する操作部（不図示）を有している。
【００２４】
図２は、画像処理部の機能構成を示すブロック図である。画像処理部４は、再生機能部４１と、オブジェクト検出機能部４２と、再生情報生成機能部４３と、を有する。
【００２５】
再生機能部４１は、動画像記憶部３に記憶している動画像ファイルを再生する。再生機能部４１は、動画像記憶部３に記憶している動画像ファイルを編集することなく再生する機能と、動画像記憶部３に記憶している動画像ファイルを、この動画像ファイルにかかる再生情報に基づいて編集して再生する機能と、を有する。この再生機能部４１が、この発明で言う動画データ生成部に相当する構成を有する。
【００２６】
オブジェクト検出機能部４２は、予め定められている複数の検出条件別に、動画像記憶部３に記憶している処理対象の動画像ファイルに対して、撮像されているオブジェクトを検出する。この例では、以下に示す検出条件１〜３を定めている。
【００２７】
検出条件１：撮像されているオブジェクトに少なくとも人が存在する。
検出条件２：撮像されているオブジェクトに人は存在しないが、人以外の移動体（車両、犬、猫等）が存在する。
検出条件３：撮像されているオブジェクトに移動体は存在しないが、放置された荷物等の静止物が存在する。
【００２８】
オブジェクト検出機能部４２は、例えば、公知の背景差分方式や、フレーム間差分方式により、撮像されているオブジェクトの有無を検出する。オブジェクト検出機能部４２は、オブジェクトが検出されると、そのオブジェクトについて、その移動を追跡する所謂トラッキング処理を複数フレームにわたって行い、人や車両等の移動体であるか、放置された荷物等の静止物であるかを検出する。さらに、オブジェクト検出機能部４２は、移動体であると判定したオブジェクトについて、目、鼻、口等の顔部品の検出を行い、顔部品が検出できたかどうかによって人であるか、人でないかを検出する。顔部品の検出は、例えば公知のパターンマッチングで行えばよい。また、移動体であると判定したオブジェクトが人であるかどうかの検出については、上記の例に限らず、他の手法で行ってもよい。例えば、移動体であると判定したオブジェクトの輪郭（外形形状）に対して、頭、首、肩、腕、足等の人体部品の検出を行い、人体部品が検出できたかどうかによって人であるか、人でないかを検出してもよい。また、移動体であると判定したオブジェクトの外形形状から推定した骨格形状（骨組みの形状）に対して、頭、胴、腕、足等の人体部品の検出を行い、人体部品が検出できたかどうかによって人であるか、人でないかを検出してもよい。
【００２９】
なお、上記の例は、一連のオブジェクト検出処理によって、上述の検出条件１〜３別にオブジェクトを検出するものであるが、検出条件１〜３毎に、オブジェクトを検出する手法を異ならせてもよい。例えば、検出条件３にかかるオブジェクト検出処理では、オブジェクトの見逃しを防止するために、背景差分方式において、前景画素であると判定する頻度値（判定レベル）を下げてもよい。また、複数フレームにわたる移動体の追跡処理では、その移動が周期的であるかどうかを検出し、風等によって揺れている草木の影等であるか、移動体であるかを判定するようにしてもよい。
【００３０】
再生情報生成機能部４３は、動画像記憶部３に記憶している動画像ファイルに対する、上述のオブジェクト検出機能部４２によるオブジェクトの検出結果に基づいて、この動画像ファイルにかかる再生情報を生成する。この例では、動画像ファイルを、オブジェクト検出機能部４２によるオブジェクトの検出結果に基づいて、図３に示すように、検出条件１に合致する時間領域Ａと、検出条件２に合致する時間領域Ｂと、検出条件３に合致する時間領域Ｃと、いずれの検出条件にも合致しない（オブジェクトが撮像されていない）時間領域Ｄと、に区分する。
【００３１】
そして、時間領域Ａが属するグループＡ、時間領域Ｂが属するグループＢ、時間領域Ｃが属するグループＣ、および時間領域Ｄが属するグループＤを生成する。各グループＡ〜Ｄについて、そのグループに属する時間領域毎に、動画像ファイルにおける再生開始時刻（再生開始位置）と、再生終了時刻（再生終了位置）とを対にした再生時間情報を登録した再生情報を生成する。例えば、図３に示す例では、グループＡについては、（Ｔｂ（再生開始時刻），Ｔｃ（再生終了時刻））、（Ｔｄ，Ｔｅ）、（Ｔｉ，Ｔｊ）、および（Ｔｍ，Ｔｎ）を再生時間情報として登録し、グループＢについては、（Ｔａ，Ｔｂ）、（Ｔｇ，Ｔｈ）、（Ｔｋ，Ｔｌ）、および（Ｔｎ，Ｔｏ）を再生時間情報として登録し、グループＣについては、（Ｔｃ，Ｔｄ）、（Ｔｆ，Ｔｇ）、（Ｔｈ，Ｔｉ）、および（Ｔｌ，Ｔｍ）を再生時間情報として登録し、グループＤについては、（Ｔ０，Ｔａ）、（Ｔｅ，Ｔｆ）、および（Ｔｊ，Ｔｋ）を再生時間情報として登録したものを、この動画像ファイルにかかる再生情報として生成する。この再生情報生成機能部４３が、この発明で言う再生時間情報生成部に相当する構成を有する。
【００３２】
このように、この例にかかる動画像処理装置１は、３種類の検出条件を予め設定し、動画像ファイルを４つのグループに分ける構成である。
【００３３】
次に、この動画像処理装置１の動作について説明する。
【００３４】
まず、動画像ファイルに対して再生情報を生成する再生情報生成処理について説明する。図４は、再生情報生成処理を示すフローチャートである。
【００３５】
動画像処理装置１は、動画像入力部２に入力され、動画像記憶部３に記憶している動画像（動画像ファイル）の中から、再生情報を生成する動画像を選択する（ｓ１）。ｓ１では、図示していない操作部において、担当者が指定した動画像を選択する。動画像記憶部３に記憶している動画像は、上述したように防犯カメラ等で撮像された防犯映像である。
【００３６】
動画像処理装置１は、画像処理部４の再生機能部４１において、ｓ１で選択した動画像の再生を開始する（ｓ２）。このｓ２は、動画像記憶部３に記憶している動画像ファイルが、エンコードされていればデコードし、撮像されているオブジェクトを検出し、再生情報を生成するために行う処理であるので、この動画像にかかる再生信号を出力部６から出力してもよいし、出力しなくてもよい。
【００３７】
動画像処理装置１は、画像処理部４のオブジェクト検出機能部４２において、ｓ２で再生を開始した動画像のフレーム画像に対して、上述の検出条件１〜３に応じたオブジェクト検出処理を開始する（ｓ３）。オブジェクト検出機能部４２は、ｓ３で検出を開始したオブジェクト検出処理の処理結果に基づいて、この動画像にかかるフレーム画像毎に、ラベルＡ、ラベルＢ、ラベルＣ、またはラベルＤのいずれかを付与するラベリングを行う（ｓ４）。
【００３８】
ｓ４では、ｓ３にかかるオブジェクト検出処理で、撮像されているオブジェクトに少なくとも人が存在していれば（上述の検出条件１に合致していれば）、ラベルＡを付与する。また、ｓ３にかかるオブジェクト検出処理で、撮像されているオブジェクトに人は存在しないが、人以外の移動体（車両、犬、猫等）が存在していれば（上述の検出条件２に合致していれば）、ラベルＢを付与する。また、ｓ３にかかるオブジェクト検出処理で、撮像されているオブジェクトに移動体は存在しないが、放置された荷物等の静止物が存在していれば（上述の検出条件３に合致していれば）、ラベルＣを付与する。さらに、ｓ３にかかるオブジェクト検出処理で、撮像されているオブジェクトが検出されていなければ、ラベルＤを付与する。
【００３９】
なお、この例では、オブジェクト検出機能部４２は、１つのフレーム画像に対して、複数のラベルを付与することはない。
【００４０】
オブジェクト検出機能部４２は、ｓ１で選択した動画像にかかる全てのフレーム画像に対して、ｓ４でラベルＡ、ラベルＢ、ラベルＣ、またはラベルＤのいずれかを付与すると、この動画像を４種類の時間領域Ａ〜Ｄに分割する領域分割を行う（ｓ５）。ｓ５では、同じラベルが付与されている時間的に連続するフレーム画像の固まりを１つの時間領域とする領域分割を行う。具体的には、動画像を図３に示すように時間的に分割する。時間領域毎に、その時間領域に属するフレーム画像は、ｓ４で付与されたラベルが同じである。また、図３では、ラベルＡが付与されたフレーム画像の固まりを時間領域Ａ、ラベルＢが付与されてフレーム画像の固まりを時間領域Ｂ、ラベルＣが付与されてフレーム画像の固まりを時間領域Ｃ、ラベルＤが付与されてフレーム画像の固まりを時間領域Ｄとして示している。
【００４１】
画像処理部４の再生情報生成機能部４３は、図３に示すように、処理対象の動画像をグループＡ〜Ｄの４つに分ける（ｓ６）。グループＡには、ｓ５で分割された時間領域Ａが属する。グループＢには、ｓ５で分割された時間領域Ｂが属する。グループＣには、ｓ５で分割された時間領域Ｃが属する。グループＤには、ｓ５で分割された時間領域Ｄが属する。
【００４２】
画像処理部４の再生情報生成機能部４３は、ｓ５で分割した時間領域Ａ〜Ｄ毎に、再生時間情報を生成する（ｓ７）。ｓ７で生成する各時間領域Ａ〜Ｄの再生時間情報は、その領域の再生開始時刻と、再生終了時刻とを対にしたものである。
【００４３】
再生情報生成機能部４３は、各グループＡ〜Ｄについて、そのグループに属する時間領域の再生時間情報を登録した再生情報を生成し、これを動画像のファイル名に対応付けて再生情報記憶部５に記憶する（ｓ８）。再生情報生成機能部４３は、図３に示す例では、グループＡについては、（Ｔｂ，Ｔｃ）、（Ｔｄ，Ｔｅ）、（Ｔｉ，Ｔｊ）、および（Ｔｍ，Ｔｎ）を再生情報として生成し、グループＢについては、（Ｔａ，Ｔｂ）、（Ｔｇ，Ｔｈ）、（Ｔｋ，Ｔｌ）、および（Ｔｎ，Ｔｏ）を再生情報として生成し、グループＣについては、（Ｔｃ，Ｔｄ）、（Ｔｆ，Ｔｇ）、（Ｔｈ，Ｔｉ）、および（Ｔｌ，Ｔｍ）を再生情報として生成し、グループＤについては、（Ｔ０，Ｔａ）、（Ｔｅ，Ｔｆ）、および（Ｔｊ，Ｔｋ）を再生情報として生成する。
【００４４】
次に、上述の再生情報生成処理で再生情報を生成した動画像の再生処理について説明する。図５は、再生処理を示すフローチャートである。
【００４５】
動画像処理装置１は、動画像入力部２に入力され、動画像記憶部３に記憶している動画像（動画像ファイル）の中から、再生する動画像を選択する（ｓ１１）。ｓ１１では、図示していない操作部において、担当者が指定した動画像を選択する。また、ここで選択する動画像ファイルは、上述の図４に示した再生情報生成処理を行った動画像ファイルであり、再生情報記憶部５に再生情報を記憶している。
【００４６】
また、動画像処理装置１は、ｓ１１で選択した動画像について、再生するグループＡ〜Ｄを選択する（ｓ１２）。ｓ１２では、図示していない操作部において、担当者が指定したグループを選択する。
【００４７】
画像処理部４は、再生機能部４１において、ｓ１１で選択した動画像ファイルを動画像記憶部３から読み出すとともに、ｓ１１で選択した動画像ファイルにかかる再生情報を再生情報記憶部５から読み出す（ｓ１３、ｓ１４）。
【００４８】
再生機能部４１は、ｓ１４で読み出した再生情報から、ｓ１２で選択したグループの再生時間情報を抽出し、この再生時間情報に基づき、ｓ１３で読み出した動画像ファイルを再生する（ｓ１５）。ｓ１５では、再生機能部４１による動画像の再生信号を、出力部６から出力する。これにより、出力部６に接続されている表示装置において、この動画像にかかる再生画像が表示される。
【００４９】
例えば、ｓ１１で図３に示す動画像ファイルが選択され、且つｓ１２で図３に示すグループＡが選択された場合、再生機能部４１は、この動画像ファイルについて、時刻Ｔｂ〜Ｔｃ、Ｔｄ〜Ｔｅ、Ｔｉ〜Ｔｊ、Ｔｍ〜Ｔｎにかかる動画像を再生する。すなわち、再生機能部４１は、この動画像において、オブジェクトして人が撮像されていることが検出されたフレーム画像からなる時間領域を順番に再生し、オブジェクトして人が撮像されていることが検出されなかったフレーム画像からなる時間領域を再生しない。したがって、選択された動画像（防犯カメラが撮像した防犯映像）に撮像されている人を目視確認する作業にかかる、人手、および時間を低減することができる。
【００５０】
また、ｓ１２では、複数のグループを選択することもできる。上述の説明から明らかなように、ラベルＡを付したフレーム画像には、人以外の移動体や静止物がオブジェクトとして撮像されているフレーム画像が存在している可能性がある。担当者が、撮像されている人以外の移動体（車両等）を目視確認したい場合、グループＢに属する時間領域Ｂのみの再生であると、グループＡに属する時間領域Ａにかかるフレーム画像に撮像されている人以外の移動体については、担当者が再生画像による目視確認を行わないことになる。
【００５１】
しかし、担当者は、ｓ１２でグループＡおよびグループＢ（２つのグループ）を選択することによって、選択した動画像にかかるフレーム画像に撮像されている人以外の移動体について、再生画像による目視確認が行える。
【００５２】
なお、グループＢ、やグループＣが選択された場合、選択されたグループに対応する検出条件にかかるオブジェクトが撮像されているフレーム画像が存在している可能性があるグループがあれば、そのグループも含めて再生する構成としてもよい。図３に示した例では、グループＢが選択された場合には、グループＡを含めて再生し、グループＣが選択された場合には、グループＡおよびグループＢを含めて再生する構成としてもよい。ただし、選択したグループに含めて再生する他のグループについて、すでに担当者が再生画像による目視確認を行っている場合、この他のグループにかかる再生画像を繰り返し見ることになる。
【００５３】
また、上述の例では、オブジェクトの種類（人、人以外の移動体、または静止物）によって、オブジェクトの検出条件を異ならせたが、フレーム画像上の画像領域を用いて、オブジェクトの検出条件を異ならせてもよい。例えば、動画像のフレーム画像に対して、図６に示す特定画像領域を設定し、以下に示す検出条件１〜５を定めてもよい。
【００５４】
検出条件１：特定画像領域内に撮像されているオブジェクトに少なくとも人が存在する。
検出条件２：特定画像領域内に撮像されているオブジェクトに人は存在しないが、人以外の移動体（車両、犬、猫等）が存在する。
検出条件３：特定画像領域内に撮像されているオブジェクトに移動体は存在しないが、特定画像領域外に撮像されているオブジェクトに少なくとも人が存在する。
検出条件４：特定画像領域内に撮像されているオブジェクトに移動体は存在せず、特定画像領域外に撮像されているオブジェクトに人は存在しないが、人以外の移動体（車両、犬、猫等）が存在する。
検出条件５：撮像されているオブジェクトに移動体は存在しないが、放置された荷物等の静止物が存在する。
【００５５】
この検出条件を定めれば、特定画像領域内で撮像された人や、車両等の移動体についての再生画像による目視確認にかかる人手や時間を一層低減することができる。
【００５６】
また、フレーム画像上に複数の特定画像領域を設定し、これら複数の特定画像領域を用いて、オブジェクトの検出条件を定めてよい。
【００５７】
また、上記の例では、検出条件１にかかるオブジェクトを検出するために、検出した移動体が人であるかどうかを判定するとしたが、検出した移動体が車両であるかどうかを判定するようにしてもよい。また、検出条件として、オブジェクトの移動速度や移動方向等を用いてもよいし、検出するオブジェクトの種類として普通車、二輪車、トラック等の車種を用いてもよい。
【００５８】
なお、オブジェクトの検出条件は、２つ以上であれば、いくつであってもよい。
【００５９】
次に、別の例について説明する。図７は、この例にかかる動画像処理装置を用いたネットワークシステムの構成を示す概略図である。この例にかかるネットワークシステムは、複数の端末１０が、インタネットや専用回線等のネットワークを介して動画像処理装置１Ａに接続されている。端末１０は、一般的なパーソナルコンピュータであり、ネットワークを介して動画像処理装置１と通信する通信部を有し、動画像処理装置１から受信した一覧表示画像を表示器に表示する機能や、動画像処理装置１から受信した動画データを再生し、この動画データにかかる再生映像を表示器に表示する機能を有する。
【００６０】
図８は、この例にかかる動画像処理装置の主要部の構成を示すブロック図である。この例にかかる動画像処理装置１Ａは、動画像入力部２Ａと、動画像記憶部３Ａと、画像処理部４Ａと、再生情報記憶部５Ａと、通信部６Ａと、を備えている。この例にかかる動画像処理装置１Ａも、上述の例にかかる動画像処理装置１と同様に、防犯カメラ等で撮像した動画像を再生し、この動画像に撮像されている人や、車両等のオブジェクトを担当者が目視確認する作業に用いられる。
【００６１】
動画像入力部２Ａは、上述した動画像処理装置１の動画像入力部２と同様の構成である。また、動画像記憶部３Ａも、上述した動画像処理装置１の動画像記憶部３と同様の構成である。
【００６２】
画像処理部４Ａは、動画像記憶部３Ａに記憶した動画像ファイルについて、オブジェクト検出機能、再生時間情報生成機能、動画データ生成機能、および一覧表示画像生成機能を備えている。これらの機能の詳細については後述する。
【００６３】
この画像処理部４Ａが、この発明にかかる動画像処理方法を実行するコンピュータを備える。また、この発明にかかる動画像処理プログラムは、画像処理部４Ａが備えるコンピュータにインストールされる。
【００６４】
再生情報記憶部５Ａは、画像処理部４Ａが生成した再生時間情報を記憶する。再生情報記憶部５Ａは、動画像記憶部３Ａに記憶した動画像ファイルのファイル名と、この動画像ファイルにかかる再生時間情報とを対応付けて記憶する。
【００６５】
通信部６Ａは、ネットワークを介して接続された端末１０と通信し、後述する一覧表示画像や動画データを端末に送信する。
【００６６】
図９は、画像処理部の機能構成を示すブロック図である。画像処理部４Ａは、再生機能部４１Ａと、オブジェクト検出機能部４２Ａと、再生情報生成機能部４３Ａと、一覧表示画像生成機能部４４Ａと、動画データ生成機能部４５Ａと、を有する。
【００６７】
再生機能部４１Ａは、上述した例の再生機能部４１と同様に、動画像記憶部３Ａに記憶している動画像ファイルを再生する。ただし、再生機能部４１Ａは、動画像記憶部３Ａに記憶している動画像ファイルを編集することなく再生する機能を有していればよく、動画像記憶部３Ａに記憶している動画像ファイルを、この動画像ファイルにかかる再生情報に基づいて編集して再生する機能を有していなくてもよい。
【００６８】
オブジェクト検出機能部４２Ａは、上述した例のオブジェクト検出機能部４２と同様に、予め定められている複数の検出条件別に、動画像記憶部３Ａに記憶している処理対象の動画像ファイルに対して、撮像されているオブジェクトを検出する。この例でも、以下に示す検出条件１〜３を定めているものとして説明する。
【００６９】
検出条件１：撮像されているオブジェクトに少なくとも人が存在する。
検出条件２：撮像されているオブジェクトに人は存在しないが、人以外の移動体（車両、犬、猫等）が存在する。
検出条件３：撮像されているオブジェクトに移動体は存在しないが、放置された荷物等の静止物が存在する。
【００７０】
再生情報生成機能部４３Ａは、上述した例の再生情報生成機能部４３と同様に、オブジェクト検出機能部４２Ａによるオブジェクトの検出結果に基づいて動画像ファイルにかかる再生情報を生成する。この例でも、上述の図３に示した、検出条件１に合致する時間領域Ａと、検出条件２に合致する時間領域Ｂと、検出条件３に合致する時間領域Ｃと、いずれの検出条件にも合致しない（オブジェクトが撮像されていない）時間領域Ｄと、に区分する。
【００７１】
そして、時間領域Ａが属するグループＡ、時間領域Ｂが属するグループＢ、時間領域Ｃが属するグループＣ、および時間領域Ｄが属するグループＤを生成する。各グループＡ〜Ｄについて、そのグループに属する時間領域毎に、動画像ファイルにおける再生開始時刻（再生開始位置）と、再生終了時刻（再生終了位置）とを対にした再生時間情報を登録した再生情報を生成する。例えば、図３に示す例では、グループＡについては、（Ｔｂ（再生開始時刻），Ｔｃ（再生終了時刻））、（Ｔｄ，Ｔｅ）、（Ｔｉ，Ｔｊ）、および（Ｔｍ，Ｔｎ）を再生時間情報として登録し、グループＢについては、（Ｔａ，Ｔｂ）、（Ｔｇ，Ｔｈ）、（Ｔｋ，Ｔｌ）、および（Ｔｎ，Ｔｏ）を再生時間情報として登録し、グループＣについては、（Ｔｃ，Ｔｄ）、（Ｔｆ，Ｔｇ）、（Ｔｈ，Ｔｉ）、および（Ｔｌ，Ｔｍ）を再生時間情報として登録し、グループＤについては、（Ｔ０，Ｔａ）、（Ｔｅ，Ｔｆ）、および（Ｔｊ，Ｔｋ）を再生時間情報として登録したものを、この動画像ファイルにかかる再生情報として生成する。
【００７２】
また、一覧表示画像生成機能部４４Ａは、再生情報生成機能部４３Ａがオブジェクト検出機能部４２Ａによるオブジェクトの検出結果に基づいて分割した時間領域毎に、その時間領域にかかる代表画像と、出力済フラグと、を対応付けて記憶する。各時間領域の代表画像は、その時間領域の先頭のフレーム画像としてもよいし、その時間領域の先頭から所定フレーム数目（例えば５フレーム目）のフレーム画像としてもよいし、その時間領域においてオブジェクトのフレーム画像上の大きさが最大であるフレーム画像としてもよいし、その時間領域においてオブジェクトがフレーム画像上の最も中央に位置するフレーム画像にしてもよい。すなわち、代表画像は、対象である時間領域内のいずれかのフレーム画像である。また、出力済フラグは、代表画像が属する時間領域にかかる動画データを通信部６Ａからいずれかの端末１０に送信（出力）したかどうかを示すフラグである。
【００７３】
一覧表示画像生成機能部４４Ａは、再生情報生成機能部４３Ａが生成したグループ毎に（この例では、上述のグループＡ〜グループＤの４つのグループ）毎に、一覧表示画像を生成する。図１０は、グループＡにかかる一覧表示画像を示す図である。この一覧表示画像は、グループＡに属する各時間領域Ａの代表画像を並べて表示する画像である。また、この一覧表示画像は、対応付けられている出力済フラグの状態に応じて、代表画像の表示形態を異ならせている。この図１０に示す例では、未出力である時間領域Ａにかかる代表画像については太線枠で囲み、出力済である時間領域Ａにかかる代表画像については破線枠で囲むことによって代表画像の表示形態を異ならせている。
【００７４】
動画データ生成機能部４５Ａは、動画像記憶部３Ａに記憶している動画像データから、指定された時間領域の動画データを再生情報記憶部５Ａが記憶する再生情報に基づき切り出す。動画データ生成機能部４５Ａが切り出した動画データを通信部６Ａから出力する。
【００７５】
次に、この例にかかる動画像処理装置１Ａの動作について説明する。
【００７６】
この例にかかる動画像処理装置１Ａも、図４に示した再生情報生成処理を実行する。この再生情報生成処理については、ここでは説明を省略する。
【００７７】
この例にかかる動画像処理装置１Ａは、上述の再生情報生成処理につづけて、代表画像選択処理を行う。図１１は、代表画像選択処理を示すフローチャートである。一覧表示画像生成機能部４４Ａは、図４に示した再生情報生成処理において分割した時間領域毎に、その時間領域の代表画像を選択する（ｓ２１）。ｓ２１では、予め定めた条件に応じて、各時間領域の代表画像を選択する。代表画像を選択する条件は、その時間領域の先頭のフレーム画像、時間領域の先頭から所定フレーム数目（例えば５フレーム目）のフレーム画像、その時間領域においてオブジェクトのフレーム画像上の大きさが最大であるフレーム画像、その時間領域においてオブジェクトがフレーム画像上の最も中央に位置するフレーム画像等である。
【００７８】
なお、ｓ２１では、予め定めたグループに属する時間領域についてのみ、代表画像を選択してもよい。例えば、この例におけるグループＡ，グループＢ，およびグループＣに属する時間領域について代表画像を選択し、グループＤについては代表画像を選択しない構成としてもよい。また、グループ毎に、代表画像を選択する条件を異ならせてもよい。
【００７９】
一覧表示画像生成機能部４４Ａは、ｓ２１で代表画像を選択した各時間領域に対して、未出力を示す出力済フラグを対応付ける（ｓ２２）。
【００８０】
一覧表示画像生成機能部４４Ａは、時間領域毎に、代表画像と出力済フラグとを対応付けて記憶する（ｓ２３）。ｓ２３の時点では、各時間領域の出力済フラグは、未出力を示している。
【００８１】
次に、この例にかかる動画像処理装置１Ａにおける動画データ出力処理について説明する。図１２は、動画データ出力処理を示すフローチャートである。動画像処理装置１Ａは、動画ファイルの選択要求、または時間領域の選択要求がネットワークを介して接続されているいずれかの端末１０から送信されてくるのを待つ（ｓ３１、ｓ３２）。担当者は、端末１０において、撮像されているオブジェクトを確認する動画像のファイル名、およびグループ（検出条件）を指定する操作を行う。動画ファイルの選択要求には、動画像のファイル名、およびグループ（検出条件）が含まれている。
【００８２】
動画像処理装置１Ａは、ｓ３１で動画ファイルの選択要求を受け付けると、一覧表示画像生成機能部４４Ａが該当する動画像ファイルのグループにかかる一覧表示画像を生成する（ｓ３３）。ｓ３３では、該当する動画像ファイルのグループに属する各時間領域の代表画像を一覧で表示する一覧表示画像（図１０参照）を生成する。この一覧表示画像では、上述したように、出力済フラグの状態が未出力であるかどうかに応じて、代表画像の表示形態を異ならせている。
【００８３】
動画像処理装置１Ａは、通信部６Ａにおいて、ｓ３２で生成した一覧表示画像を、今回動画ファイルの選択要求を送信してきた端末１０に送信（出力）し（ｓ３４）、ｓ３１に戻る。
【００８４】
端末１０を操作している担当者は、この端末１０において表示された一覧表示画像（今回受信した一覧表示画像）を確認し、動画像を確認したい時間領域（オブジェクト）を選択する操作を行う。図１０に示したように、出力済フラグの状態に応じて代表画像の表示形態を異ならせている。したがって、端末１０を操作している担当者は、端末１０において表示された一覧表示画像で表示されている代表画像毎に、その代表画像にかかる動画データを、動画像処理装置１Ａがいずれかの端末１０にすでに出力しているかどうかを簡単に判断できる。
【００８５】
動画像処理装置１Ａは、時間領域の選択要求がネットワークを介して接続されているいずれかの端末１０から送信されてくると、動画像記憶部３Ａに記憶しているが移動する動画像ファイルから、今回要求された該当する時間領域の動画データを切り出し（ｓ３５）、通信部６Ａにおいて今回切り出した動画データを端末１０に送信（出力）する（ｓ３６）。端末１０から送信されてくる時間領域の選択要求には、動画像のファイル名、端末１０において選択された代表画像にかかる時間領域を示すデータが含まれている。ｓ３６では、再生信号を動画データとして出力するのではなく、ｓ３５で切り出した動画データを出力する。
【００８６】
端末１０は、動画像処理装置１Ａから送信されてきた動画データを再生し、その動画像を表示する。これにより、端末１０を操作している担当者は、選択した時間領域にかかる動画像を確認することができる。
【００８７】
動画像処理装置１Ａは、一覧表示画像生成機能部４４Ａがｓ３６で出力した時間領域に対応付けて記憶している出力済フラグの状態を出力済に更新し（ｓ３７）、ｓ３１に戻る。ｓ３７では、その時点で、ｓ３６で出力した時間領域に対応付けて記憶している出力済フラグの状態が出力済であれば、この出力済フラグの状態を実質的に変更しない（出力済の状態を保持する。）。
【００８８】
この例にかかる動画像処理装置１では、複数人の担当者がそれぞれの端末１０で、動画ファイルに対する目視確認作業を分担して行うことができる。これにより、目視確認作業の作業効率を向上させることができる。
【符号の説明】
【００８９】
１、１Ａ…動画像処理装置
２、２Ａ…動画像入力部
３、３Ａ…動画像記憶部
４、４Ａ…画像処理部
５、５Ａ…再生情報記憶部
６…出力部
６Ａ…通信部
１０…端末
４１、４１Ａ…再生機能部
４２、４２Ａ…オブジェクト検出機能部
４３、４３Ａ…再生情報生成機能部
４４Ａ…一覧表示画像生成機能部
４５Ａ…動画データ生成機能部
【図１】
2015207945.tif 000003
【図２】
2015207945.tif 000004
【図３】
2015207945.tif 000005
【図４】
2015207945.tif 000006
【図５】
2015207945.tif 000007
【図６】
2015207945.tif 000008
【図７】
2015207945.tif 000009
【図８】
2015207945.tif 000010
【図９】
2015207945.tif 000011
【図１０】
2015207945.tif 000012
【図１１】
2015207945.tif 000013
【図１２】
2015207945.tif 000014