(57)【特許請求の範囲】
【請求項１】
映像を解析して抽出対象となる映像対象シーンを抽出する映像検索システムであって、
外部入力される検索情報に基づいて、作業対象の機器を撮影する映像撮影装置が撮影した映像から抽出対象となる映像の検索起点となる起点映像フレームを設定し、設定した前記起点映像フレームを起点として前記映像撮影装置が撮影した映像を検索して前記映像対象シーンを特定する映像検索特定部を有する、映像検索システム。
【請求項２】
請求項１記載の映像検索システムにおいて、
前記映像検索特定部は、
前記検索情報に基づいて、作業対象の前記機器を撮影した映像撮影装置および前記機器の作業日時からなる検索起点データを生成する検索起点決定部と、
前記検索起点決定部が生成した検索起点データに基づいて、作業対象の機器を撮影する前記映像撮影装置が撮影した映像から抽出対象となる映像の検索起点となる起点映像フレームを設定し、設定した前記起点映像フレームを起点として前記映像撮影装置が撮影した映像を解析して検索し、前記映像対象シーンを特定する映像区間特定部と、
を有する、映像検索システム。
【請求項３】
請求項２記載の映像検索システムにおいて、
前記検索起点決定部が生成する検索起点データは、前記機器に実施した作業日時を有し、
前記映像区間特定部は、前記作業日時に合致する日時のフレーム画像を前記起点映像フレームとして設定する、映像検索システム。
【請求項４】
請求項３記載の映像検索システムにおいて、
前記検索起点決定部は、前記検索情報が有する写真データに付属する撮影日時を前記検索起点データの作業日時として生成し、
前記写真データは、前記機器に対する作業が終了した際に撮影された写真データである、映像検索システム。
【請求項５】
請求項２〜４のいずれか１項に記載の映像検索システムにおいて、
前記映像区間特定部は、前記起点映像フレームに人物が映っているか否かを判定し、前記起点映像フレームに人物が映っている場合、前記起点映像フレームを起点として抽出対象となる前記映像対象シーンを特定する区間特定処理を行い、
前記区間特定処理は、前記起点映像フレームよりも前のフレーム画像において人物が写っていない最初のフレーム画像を検索して作業開始フレームとして設定し、前記起点映像フレームよりも後ろのフレーム画像において人物が写っていない最初のフレーム画像を検索して作業終了フレームとして設定し、設定した前記作業開始フレームから前記作業終了フレームまでのフレーム画像を抽出対象となる前記映像対象シーンとする、映像検索システム。
【請求項６】
請求項５記載の映像検索システムにおいて、
前記映像区間特定部は、前記起点映像フレームに人物が映っていないと判定した際に、前記起点映像フレームよりも前のフレーム画像において人物が写っている第１のフレーム画像および前記起点映像フレームよりも後ろのフレーム画像において人物が写っている第２のフレーム画像をそれぞれ検索し、前記起点映像フレームにより近い位置にある前記第１のフレーム画像または前記第２のフレーム画像のいずれかを前記起点映像フレームとして設定して前記区間特定処理を実行し、抽出対象となる前記映像対象シーンを特定する、映像検索システム。
【請求項７】
請求項５または６記載の映像検索システムにおいて、
前記映像撮影装置が撮影したフレーム画像の人物検知を行う人物検知部と、
前記フレーム画像と前記人物検知部が実行した人物検知結果とが紐付けられた人物検知データを格納する映像蓄積部と、
を有し、
前記映像区間特定部は、前記映像蓄積部に格納されている前記人物検知データを参照して、前記映像対象シーンに人物が映っているか否かを判定する、映像検索システム。
【請求項８】
請求項５〜７のいずれか１項に記載の映像検索システムにおいて、
前記機器に対する作業内容を評価する作業内容評価部を有し、
前記作業内容評価部は、前記映像区間特定部が特定した前記作業開始フレームの日時と前記検索情報が有する前記機器に実施した作業日時とを比較し、設定値以上の時間差がある場合にアラートを出力する、映像検索システム。
【請求項９】
請求項５〜７のいずれか１項に記載の映像検索システムにおいて、
前記機器に対する作業内容を評価する作業内容評価部を有し、
前記映像区間特定部は、前記映像対象シーンに映っている人物数を検出し、
前記作業内容評価部は、前記検索情報から前記機器に対して作業する作業員数を取得し、取得した前記作業員数と映像区間特定部が検出した前記映像対象シーンに映っている人物数とを比較し、人数が一致しない場合にアラートを出力する、映像検索システム。
【請求項１０】
請求項９記載の映像検索システムにおいて、
前記映像撮影装置が撮影したフレーム画像の人物検知を行い、前記フレーム画像に映っている人物数を検出する人物検知部と、
前記フレーム画像と前記人物検知部が実行した人物数とが紐付けられた人物検知データを格納する映像蓄積部と、
を有し、
前記映像区間特定部は、前記映像蓄積部に格納されている前記人物検知データを参照して、前記映像対象シーンに映っている人物数を判定する、映像検索システム。
【請求項１１】
請求項１〜１０のいずれか１項に記載の映像検索システムにおいて、
前記検索情報は、前記機器に対する作業結果を報告する作業報告データである、映像検索システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像検索システムに関し、特に、監視カメラなどによって撮影された映像における重要シーンの検索に有効な技術に関する。
【背景技術】
【０００２】
Ｗｅｂカメラなどのネットワークに接続可能な撮影装置が普及することにより、ＩＰ（Internet Protocol）ネットワークなどを利用した広域で大規模な監視システムを構築することが可能となった。
【０００３】
このような監視システムでは、複数拠点に設置したカメラから大量の監視映像を取得することができ、多角的なモニタリングが可能となる。しかし、一人の監視者が目視で確認できる映像の量には限界がある。
【０００４】
そのため、単純にカメラの台数を増やすだけは監視者が重要シーンを見落としてしまうなどの問題が発生する。したがって、効率的な広域監視を実現するためには、大量の映像を短時間で確認するための技術が必要である。
【０００５】
この種の映像確認技術としては、監視映像における変化の少ない部分、すなわち重要度の低い部分を高速に閲覧して、長時間の監視映像を短時間で閲覧する技術がある（例えば特許文献１参照）。
【０００６】
この技術は、例えば映像の変化が大きい部分と変化が少ない部分とを識別して、変化が少ない部分は高速に再生し、変化が大きい部分は低速または通常の速度で再生するものである。
【０００７】
また、建設現場のように長期間にわたる作業を効率よく確認する技術として、例えば特許文献２が知られている。この特許文献２は、タイマ手段にて設定した時刻のみの画像を撮影するものである。
【０００８】
さらに、上記の特許文献２では、重要度が高い映像のみを撮影することにより、長期間の作業経過を短時間で確認することのできる技術が開示されている。これは、光学系センサにより人物や物の動きを検知し、動きが検知されたときのみに画像を撮影するものである。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００７−３０６３２２号公報
【特許文献２】特開２００２−２４３３０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
上述した特許文献１や特許文献２の技術においては、映像の変化量や作業現場での動体の動きのみを用いて当該シーンが重要かどうかを判定している。そのため、利用する環境によっては、重要度の低いシーンを誤って重要と判定する可能性がある。あるいは、その逆に重要度の高いシーンを誤って重要度が低いと判定する可能性がある。
【００１１】
例えば、プラント施設や建設現場などの作業を監視する監督者は、現場作業員が事前に作成した計画書通りに作業を進めているか、作業員が提出した作業報告書に記載ミスや虚偽の報告がないかなどを確認するために監視映像を利用することがある。
【００１２】
このような用途では、監視映像に映る様々なシーンの中で作業中のシーンのみを重要シーンと判定する必要がある。しかし、上記の技術では、作業以外の動きについても反応してしまう。
【００１３】
そのため、例えば作業員が休憩所に向かって歩行するだけのシーンなど、監督者にとって重要度の低いシーンが重要なシーンと誤判定される恐れがある。監視業務をさらに効率化するためには、動き以外の情報も考慮したシーンの抽出技術が必要となる。
【００１４】
本発明の目的は、監視映像などの長期間記録された映像の中から、監督業務に重要なシーンのみを精度よく抽出することのできる技術を提供することにある。
【００１５】
本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【００１６】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。
【００１７】
すなわち、代表的な映像検索システムは、映像検索特定部を有する。この映像検索特定部は、外部入力される検索情報に基づいて、作業対象の機器を撮影する映像撮影装置が撮影した映像から抽出対象となる映像の検索起点となる起点映像フレームを設定し、設定した起点映像フレームを起点として映像撮影装置が撮影した映像を検索して映像対象シーンを特定する。
【００１８】
また、映像検索特定部は、検索起点決定部および映像区間特定部を有する。検索起点決定部は、検索情報に基づいて、作業対象の機器を撮影した映像撮影装置および前記機器の作業日時からなる検索起点データを生成する。映像区間特定部は、検索起点決定部が生成した検索起点データに基づいて、作業対象の機器を撮影する映像撮影装置が撮影した映像から抽出対象となる映像の検索起点となる起点映像フレームを設定し、設定した起点映像フレームを起点として、映像撮影装置が撮影した映像を解析して検索し、映像対象シーンを特定する。
【００１９】
特に、検索起点決定部が生成する検索起点データは、機器に実施した作業日時を有し、映像区間特定部は、作業日時に合致する日時のフレーム画像を起点映像フレームとして設定する。
【発明の効果】
【００２０】
本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。
【００２１】
（１）監督業務に必要なシーンを短時間で高精度に抽出することができる。
【００２２】
（２）上記（１）により、監督業務の効率を向上させることができる。
【図面の簡単な説明】
【００２３】
【図１】実施の形態１による映像検索システムにおける構成の一例を示す説明図である。
【図２】図１の映像検索システムにおける他の構成例を示す説明図である。
【図３】図２の映像検索システムにおける動作の一例を示すフローチャートである。
【図４】図２の映像検索システムが有する作業情報入力装置に格納される作業情報の説明図である。
【図５】図２の映像検索システムが有する記憶装置に格納される機器撮影データにおけるデータ構成の一例を示す説明図である。
【図６】図３のステップＳ３０２の処理である検索起点決定処理にて作成される検索起点データの構成の一例を示す説明図である。
【図７】図２の映像検索システムが有する映像蓄積部に蓄積されている映像データの構成における一例を示す説明図である。
【図８】図２の映像検索システムが有する作業映像区間特定部による作業映像区間特定処理の概要を示す説明図である。
【図９】図２の映像検索システムが有する作業映像区間特定部による作業映像区間特定処理の一例を示すフローチャートである。
【図１０】図３のステップＳ３０４の処理により表示装置に表示される表示内容の一例を示す説明図である。
【図１１】実施の形態２による映像検索システムにおける構成の一例を示す説明図である。
【図１２】図１１の映像検索システムが有する作業情報入力部が取得する作業リストにおける構成の一例を示す説明図である。
【図１３】図１１の映像検索システムが有する作業内容評価部による差異が大きい際に表示装置に表示される表示内容の一例を示す説明図である。
【図１４】実施の形態３における映像検索システムによる構成の一例を示す説明図である。
【図１５】図１４の映像検索システムが有する映像蓄積部に蓄積されている映像データの構成における一例を示す説明図である。
【発明を実施するための形態】
【００２４】
以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。
【００２５】
また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。
【００２６】
さらに、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。
【００２７】
同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。
【００２８】
また、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
【００２９】
（実施の形態１）
〈概要〉
実施の形態の代表的な映像検索システムは、作業情報１１２を入力すると、施設内の映像撮影装置１０１にて撮影された大量の映像の中から作業情報１１２に関連する映像のみを検索し、その検索した映像を作業情報１１２と紐づけて、表示装置１１１に提示するシステムである。
【００３０】
〈映像検索システムの構成例〉
以下、実施の形態を詳細に説明する。
【００３１】
図１は、本実施の形態１による映像検索システムにおける構成の一例を示す説明図である。
【００３２】
映像検索システムは、図１に示すように、映像撮影装置１０１、作業情報入力装置１０４、表示装置１１１、および映像検索装置１００を有する構成からなる。映像撮影装置１０１は、例えばネットワークカメラやデジタルカメラなどであり、例えば施設内の様々な場所に設けられており、該施設内における映像を撮影する。
【００３３】
作業情報入力装置１０４は、図４に示す作業情報１１２を保持する。作業情報入力装置１０４は、例えばＵＳＢ（Universal Serial Bus）メモリの外部記憶メモリなどであってもよいし、あるいはキーボードやマウスなどの入力装置であってもよい。作業情報１１２は、例えば施設内などにて実施される作業の内容や時間などの情報である。表示装置１１１は、例えば液晶ディスプレイなどであり、処理結果を提示する。
【００３４】
映像検索装置１００は、映像入力部１０２、映像蓄積部１０３、作業情報入力部１０５、検索起点決定部１０６、機器撮影データ格納部１０７、作業映像区間特定部１０８、作業時間帯情報蓄積部１０９、および表示内容生成部１１０を有する。
【００３５】
映像入力部１０２は、映像撮影装置１０１からの映像データを受け取り、フレーム画像、言い換えれば静止画像に変換する。そして、図５に示す映像撮影装置１０１を一意に特定する番号であるカメラＩＤ１１３と図７に示す映像の撮影日時７０１とを紐づけて映像蓄積部１０３に格納する。
【００３６】
作業情報入力部１０５は、作業情報入力装置１０４から作業情報１１２を受け取り、その後の処理に必要な情報のみを選択して検索起点決定部１０６に出力する。検索起点決定部１０６は、作業情報入力部１０５から入力されたデータに基づいて作業員が映る可能性が高い時刻とその作業を映しているカメラＩＤ１１３を求める。
【００３７】
作業映像区間特定部１０８は、映像蓄積部１０３の映像を解析して、作業の開始時刻と終了時刻を特定する。また、検索起点決定部１０６および作業映像区間特定部１０８によって映像検索特定部が構成される。そして、特定した時間帯を作業時間帯情報蓄積部１０９に出力する。表示内容生成部１１０は、作業情報１１２と作業時間帯の映像とを関連付けた出力画面を生成する。
【００３８】
〈映像検索システムの適用例〉
続いて、図１の映像検索システムの適用例について説明する。
【００３９】
図２は、図１の映像検索システムにおける他の構成例を示す説明図である。この図２では、図１の映像検索システムが有する映像検索装置１００を計算機であるパーソナルコンピュータを適用して構成した際の例を示したものである。図２における映像撮影装置１０１、作業情報入力装置１０４、および表示装置１１１は、図１と同様であるので、説明は省略する。
【００４０】
図２において、映像検索装置１００は、上述したように一般的なパーソナルコンピュータなど計算機であり、プロセッサ２５１、メインメモリ２５２、映像入力インタフェース（Ｉ／Ｆ）２５３、文書入力インタフェース２５５、出力インタフェース２５６、および記憶装置２５７を有する。これらは、バスなどによって相互に接続された構成からなる。
【００４１】
プロセッサ２５１は、メインメモリ２５２に格納されたプログラムを実行する。メインメモリ２５２は、例えばフラッシュメモリなどに例示される半導体メモリなどからなり、プロセッサ２５１によって実行されるプログラムおよびプロセッサ２５１によって参照されるデータを格納する。
【００４２】
具体的には、記憶装置２５７に格納されたプログラムおよびデータの少なくとも一部が、必要に応じてメインメモリ２５２にコピーされる。映像入力インタフェース２５３は、映像を取得するためのインタフェースであり、映像撮影装置１０１が接続されている。
【００４３】
文書入力インタフェース２５５は、作業情報を取得するためのインタフェースであり、作業情報入力装置１０４が接続される。出力インタフェース２５６は、表示装置１１１にて表示する画面を出力するインタフェースである。
【００４４】
記憶装置２５７は、例えばハードディスク装置（ＨＤＤ）あるいはフラッシュメモリのような不揮発性の記憶装置である。図２における記憶装置２５７には、少なくとも図１の映像入力部１０２、作業情報入力部１０５、検索起点決定部１０６、作業映像区間特定部１０８、および表示内容生成部１１０による機能を実行するプログラム形式のソフトウェアが格納されている。
【００４５】
また、記憶装置２５７は、上述した映像蓄積部１０３に蓄積されるデータ、作業時間帯情報蓄積部１０９に蓄積されるデータ、および機器撮影データ格納部１０７に格納されるデータをそれぞれ格納する記憶領域をそれぞれ有している。特に、記憶装置２５７における機器撮影データ格納部１０７には、後述する図５に示す機器撮影データ１１５が格納される。
【００４６】
映像入力部１０２、作業情報入力部１０５、検索起点決定部１０６、作業映像区間特定部１０８、および表示内容生成部１１０の各機能を実行するプログラムは、プロセッサ２５１によって実行されるプログラムである。以下の説明において、これらの各機能が実行する処理は、プロセッサ２５１によって実行される。
【００４７】
〈映像検索システムによる動作例〉
続いて、図２の映像検索システムによる動作について説明する。
【００４８】
図３は、図２の映像検索システムにおける動作の一例を示すフローチャートである。この図３では、作業情報入力装置１０４として、例えばＵＳＢメモリを想定している。
【００４９】
まず、作業監督者または現場作業員が作業情報入力装置１０４を映像検索装置１００に接続すると、作業情報入力部１０５による作業情報入力処理が実行される（ステップＳ３０１）。
【００５０】
このステップＳ３０１の処理では、作業情報入力装置１０４に格納された作業情報１１２の中から、次ステップであるステップＳ３０２の処理にて利用するデータを取得する。
【００５１】
〈作業情報の例〉
図４は、図２の映像検索システムが有する作業情報入力装置１０４に格納される作業情報の説明図である。図４（ａ）は、作業情報の一例を示しており、図４（ｂ）は、作業情報入力部１０５が取得する作業リスト１１４の構成例を示している。
【００５２】
検索情報である作業情報１１２は、作業計画書、作業マニュアル、あるいは作業報告書などの作業内容や作業工数が記載された文書であり、例えば電子データなどからなる作業報告データである。
【００５３】
この作業情報１１２は、定められた書式に沿って作成されており、図４（ａ）に示すように、項番２０１、機器ＩＤ２０２、機器名２０３、作業時刻２０４、および結果４０１を項目とする表がある。
【００５４】
その表の上方には、年月日からなる作業日２０５および作業員氏名２０６が記載されている。その他に、作業人数などを記載するようにしてもよい。
【００５５】
機器ＩＤ２０２は、作業対象機器を一意に特定する情報である。機器名２０３は、作業対象となる機器の名称を示す。作業時刻２０４は、作業を行った時刻である。結果４０１は、作業時に撮影した写真などである。例えば、ある機器のメータを読み取る作業の場合には、読み取ったメータの写真データが添付される。
【００５６】
ステップＳ３０１における作業情報入力処理では、作業リスト１１４を生成する。作業リスト１１４は、項番２０１、機器ＩＤ２０２、および作業日時２０７から構成されており、図４（ａ）に示す作業情報から取得する。ここで、取得する作業日時２０７は、図４（ａ）の作業日２０５および作業時刻２０４である。この作業リスト１１４には、作業の個数だけレコードが追加される。
【００５７】
なお、作業日時については、上記したように作業情報１１２の文書に記載された作業時刻２０４および作業日２０５をそのまま採用してもよいし、あるいは作業情報１１２における結果４０１に写真が添付されている場合には、写真の撮影日時のデータを取得するようにしてもよい。
【００５８】
この場合、デジタルカメラが付加した撮影情報であるＥｘｉｆ（Exchangeable image file format）ファイルから、写真の撮影日時を取得する。これにより、作業員が作業日２０５、作業時刻２０４を誤って記入した場合、記入漏れがあった場合、または作業情報１１２に作業時刻を記載する欄がない場合でも、正しい作業日時を取得することができる。
【００５９】
続いて、検索起点決定部１０６による検索起点決定処理が実行される（ステップＳ３０２）。このステップＳ３０２の処理では、ステップＳ３０１の処理にて作成した作業リスト１１４と機器撮影データ１１５とに基づいて、図６に示す検索起点データ６１０を生成する。検索起点データ６１０は、作業員が映る可能性が高い映像撮影装置１０１および作業日時のリストなどからなる。
【００６０】
ここで、機器撮影データ１１５とは、映像検索装置１００の稼働前に監視者や作業員が監視映像を目視確認して作成したデータであり、施設内の機器一覧とその機器を監視できる映像撮影装置１０１との対応関係を示したものである。
【００６１】
〈機器撮影データの構成例〉
図５は、図２の映像検索システムが有する記憶装置２５７に格納される機器撮影データ１１５におけるデータ構成の一例を示す説明図である。
【００６２】
機器撮影データ１１５のデータ構成は、機器ＩＤ２０２、カメラＩＤ１１３、および位置座標５０１からなる。１つの作業対象機器に対して、複数の撮影可能な映像撮影装置１０１が存在する場合は、作業対象機器により近い位置の映像撮影装置１０１を１つ選択して、選択した映像撮影装置１０１のカメラＩＤ１１３を格納する。あるいは、複数のカメラＩＤ１１３を格納してもよい。
【００６３】
また、監視画像における機器の映る領域を特定できている場合は、カメラＩＤ１１３に加えて位置座標５０１を追記する。位置座標５０１は、表示装置１１１に表示される画像平面上における監視機器の位置を示す。
【００６４】
これにより、後述する図３のステップＳ３０３の処理である検索処理にて行う人物検知の処理範囲を狭めることができるため、検索処理における処理時間を短縮することができる。
【００６５】
また、ＰＴＺ(パン、チルト、ズーム)機能を有する映像撮影装置１０１を用いる場合はＰＴＺ機能の設定値によって作業対象の機器を撮影できない場合がある。そのため、作業対象機器を撮影することのできるＰＴＺ値を予め確認し、機器撮影データ１１５にその値を含めるようにしてもよい。
【００６６】
なお、機器撮影データ１１５は、映像検索装置１００を初めて利用する際に一度作成すればよく、映像撮影装置１０１および機器の設置位置が変動しない限り、更新不要なデータである。
【００６７】
〈検索起点データの構成例〉
図６は、図３のステップＳ３０２の処理である検索起点決定処理にて作成される検索起点データ６１０の構成の一例を示す説明図である。
【００６８】
上述したように、検索起点データ６１０は、項番６０１、作業対象の機器ＩＤ６０２、作業日時６０４、および作業風景を撮影できる映像撮影装置１０１のカメラＩＤ６０５からから構成されている。
【００６９】
このうち、機器ＩＤ６０２および作業日時６０４は、図４（ｂ）の作業リスト１１４から機器ＩＤ２０２および作業日時２０７を取得して格納したものである。カメラＩＤ６０５は、機器撮影データ１１５を参照して、機器ＩＤ６０２に対応するカメラＩＤを求めたものである。
【００７０】
以上の作業により、作業員が映る可能性が高い時刻と映像撮影装置１０１とのリストを生成する。
【００７１】
続いて、図３において、作業映像区間特定部１０８による作業映像区間特定処理が実行される（ステップＳ３０３）。この作業映像区間特定処理は、映像蓄積部１０３に蓄積されている映像の中から作業風景が映る映像を特定する区間特定処理である。その際、ステップＳ３０２の処理にて求めたカメラＩＤ６０２と作業日時６０４とを用いてシーン特定の精度を向上する。
【００７２】
〈映像データの構成例〉
図７は、図２の映像検索システムが有する映像蓄積部１０３に蓄積されている映像データの構成における一例を示す説明図である。
【００７３】
映像蓄積部１０３に蓄積されている映像データの構成は、図７に示すように、映像入力部１０２にて取得されたフレーム画像が映像撮影装置１０１毎、撮影日毎に整理されて格納されている。フレーム画像７０２には、撮影時刻のデータが付与されているため特定の時刻の画像を容易に取り出すことが可能である。
【００７４】
〈作業映像区間特定処理の概要〉
続いて、作業映像区間特定処理の概要について、図８を用いて説明する。
【００７５】
図８は、図２の映像検索システムが有する作業映像区間特定部１０８による作業映像区間特定処理の概要を示す説明図である。
【００７６】
図８に示す四角形８０１は、映像蓄積部１０３に蓄積されている映像データのフレーム画像７０２による連続フレーム画像を模式的に表したものである。これらのうち、ハッチングにて示す四角形は、作業員が映っている画像を示しており、白抜きにて示す四角形は、作業員が映っていない画像を示している。
【００７７】
また、ハッチングにて示す四角形の１つである画像８０５は、図６に示す検索起点データ６１０に格納された作業日時６０４の時刻に撮影された起点画像である。作業映像区間特定処理は、起点画像である画像８０５と同時刻帯に撮影されたフレーム画像７０２を解析して作業員が映っている区間である作業区間８０３を求める。
【００７８】
これにより、起点画像である画像８０５のフレーム画像付近の映像のみを検索対象とすることによって、作業と関係のないシーンが誤抽出されることを防ぎ、高精度な映像検索を可能とすることができる。
【００７９】
図８（ａ）および図８（ｂ）に示すように、画像８０５と作業区間８０３との位置関係は、２つのケースがある。１つ目は、図８（ａ）に示すように、作業区間８０３内に画像８０５、すなわち起点映像フレームとなる起点フレームを含む場合である。２つ目は、図８（ｂ）に示すように、作業区間８０３内に起点フレームを含まない場合である。
【００８０】
図８（ａ）に示すケースでは、起点画像の画像８０５付近の狭い範囲のみを探索することで作業区間８０３を特定することができる。一方、図８（ｂ）に示すケースでは、起点の画像８０５の前後に作業員が映っている区間、すなわち作業区間の候補となる区間が存在している。
【００８１】
これらのケースにおいては、いずれも起点フレームである画像８０５により近い区間を選択して、これを作業区間８０３とする。例えば図８（ｂ）に示すケースの場合には、作業区間の候補１と作業区間の候補２とにそれぞれ作業員が映っている区間が存在するが、画像８０５により近い作業区間は、作業区間の候補２であるので、該作業区間の候補２を選択して作業区間８０３とする。
【００８２】
〈作業映像区間特定処理の処理例〉
続いて、作業映像区間特定処理について、図９を用いて詳細に説明する。
【００８３】
図９は、図２の映像検索システムが有する作業映像区間特定部１０８による作業映像区間特定処理の一例を示すフローチャートである。
【００８４】
まず、起点フレームＦ0を決定する（ステップＳ１０２１）。上述の通り、起点フレームＦ0には、映像蓄積部１０３に格納されたフレーム画像７０２のうち、カメラＩＤ６０２と作業日時６０４とに紐づいたフレーム、すなわち画像を設定する。
【００８５】
そして、起点フレームＦ0の画像に対して人物検知処理を実行する（ステップＳ１０２２）。この人物検知処理は、既存の人物検知処理を利用することが可能である。例えば、予め人が居ない状態にて撮影した背景画像と起点フレーム画像との画素値の差を取り、差が大きい領域が事前に決めたしきい値以上になった場合に人が映っていると判定する技術を利用することができる。あるいは、特開２０１３−９２９５５公報に記載されているような、複数のテンプレート画像との照合結果に基づいた物体検出技術などが利用可能である。
【００８６】
この処理にて、起点フレームＦ0に人物が映ると判定された場合は、起点フレームＦ0が作業区間８０３内にあると判断する（ステップＳ１０２３）。これは、例えば図８（ａ）のケースとみなすことができる。その後、作業区間の両端のフレームを探す処理を実行する（ステップＳ１０１０）。
【００８７】
一方、人が映っていないと判定した場合（ステップＳ１０２３）、起点フレームＦ0は、作業区間８０３以外の位置にあるとみなす。これは、図８（ｂ）のケースとみなすことができる。その場合には、まず作業区間８０３のおおよその位置を求め（Ｓ１０１１）、その後、作業区間８０３の両端を求める（Ｓ１０１２）。
【００８８】
続いて、ステップＳ１０１０の処理である作業区間の両端のフレームを探す処理について説明する。
【００８９】
まず、画像解析の対象となる注目フレームＦiを１フレーム前であるＦ0−１に移すことからスタートする。その後注目フレームＦiの画像対して人物検出処理を施す。
【００９０】
人が検知された場合は、さらに１フレーム前の画像を取得して人物検知を実施する。注目フレームの画像中に人が検知されなくなるまでこの処理を繰り返す。人が検知されなくなったフレームを作業区間８０３の開始フレームＦsとする。この開始フレームＦsは、図８における機器に対する作業開始の映像を示す作業開始フレーム８０４となる。
【００９１】
続いて、作業区間８０３の終了フレームＦeを求める。この終了フレームＦeは、図８の機器に対する作業が終了したフレームを示す作業終了フレーム８０６となる。この処理は、開始フレームＦsを算出した際と同様に起点フレームＦ0から順に画像を解析し、人が映っているか否かを判定して、人が映らなくなった最初のフレームを作業区間８０３の終了フレームＦeとする。
【００９２】
以上により、作業区間８０３の開始および終了のフレームを特定することができる。
【００９３】
続いて、図９のステップＳ１０１１の処理について説明する。
【００９４】
これは、前述したように図９のステップＳ１０２３の処理において、図８（ｂ）のケース、すなわち起点フレームＦ0が作業区間８０３以外の位置にあると判定された際の処理である。
【００９５】
まず、注目フレームＦiを１フレームずつ前に動かしながら人物が検知される最初のフレームを探し、検出されたフレームを作業区間候補１の終了フレームＦeとする。そして、注目フレームＦiを１フレームずつ後ろに動かしながら人物が検知される最初のフレームを探し、これを作業区間候補２の開始フレームＦsとする。
【００９６】
その後、起点フレームである画像８０５から、図８（ｂ）に示す作業区間候補１と作業区間候補２までの距離、言い換えれば画像フレーム数を算出し、フレーム数が少ない区間を作業区間８０３とする。この場合、画像フレーム数ではなく、起点フレームである画像８０５から、図８（ｂ）に示す作業区間候補１と作業区間候補２までの時間であってもよい。
【００９７】
真の作業区間８０３が逆方向にあった場合は、上述で求めた作業区間候補１の終了フレームＦeを起点とし、注目フレームを１フレームずつ前に移動させながら人物検知処理を行う。人が検出できなくなったフレームを作業区間８０３の開始フレームＦsとする。
【００９８】
一方、作業区間８０３が順方向にあると判定した場合、作業区間候補２の開始フレームＦsを起点とし、注目フレームを１フレームずつ後ろに移動させながら人物検知処理を行う。人が検出できなくなったフレームを作業区間８０３の終了フレームＦeとする。以上で、作業区間の開始と終了のフレームを特定することができる。
【００９９】
ここで、図３のフローチャートの説明に戻る。
【０１００】
ステップＳ３０３の処理である作業映像区間特定処理を終了すると、表示内容生成部１１０が表示内容を生成して（ステップＳ３０４）、表示装置１１１に出力する。これはステップＳ３０１の処理にて取得した作業情報１１２に、ステップＳ３０３の処理にて検索した作業時の映像の関連付けを行う処理である。
【０１０１】
〈表示装置の表示例〉
図１０は、図３のステップＳ３０４の処理により表示装置に表示される表示内容の一例を示す説明図である。
【０１０２】
ステップＳ３０４の処理により生成されるデータは、図１０に示すように、項番２０１、機器ＩＤ２０２、機器名２０３、点検日時９０１、および映像９０２からなる。項番２０１、機器ＩＤ２０２、および機器名２０３については、図４（ａ）に示す作業情報１１２に記載されたデータを用いている。
【０１０３】
点検日時９０１についても作業情報１１２に記載されている情報をそのまま利用することもできるが、図８（ｂ）に示したように、作業情報１１２に記載された時刻と、監視映像中で人物が検知された時刻に差異が生じた場合は、監視映像から求めた時刻を併記してもよい。
【０１０４】
これにより、監視者が、作業情報１１２の内容と監視映像とに差異があることに気づくことができ、その作業を優先的に閲覧することができる。それによって、差異の原因を調査するなどのその後の対策を迅速にとることが可能となる。
【０１０５】
以上により、大量の監視映像の中から監督業務に必要なシーンを短時間で正確に抽出することができる。それにより、監督者などによる監督業務の効率を向上させることができる。
【０１０６】
（実施の形態２）
〈概要〉
本実施の形態２では、作業情報１１２の内容と監視映像の作業内容との差異を評価して、その評価結果を監督者画面に出力する映像検索システムについて説明する。
【０１０７】
〈映像検索システムの構成例〉
図１１は、本実施の形態２による映像検索システムにおける構成の一例を示す説明図である。
【０１０８】
図１１の映像検索システムが、前記実施の形態１の図１の映像検索システムと異なるところは、作業内容評価部１１０１が新たに設けられた点である。その他の構成については、前記実施の形態１の図１と同様であるので、説明は省略する。
【０１０９】
また、図１２は、図１１の映像検索システムが有する作業情報入力部１０５が取得する作業リスト１１４における構成の一例を示す説明図である。
【０１１０】
〈作業リストの例〉
図１２に示す作業リスト１１４は、図４（ｂ）の作業リスト１１４の内容に、作業を行う作業員の人数を示す作業員数１２０１が加えられた構成からなる。
【０１１１】
作業映像区間特定部１０８は、前記実施の形態１にて説明した作業の開始時刻と終了時刻を特定する作業映像区間特定処理に加えて、映像蓄積部１０３内のフレーム画像７０２に対して人物検出処理を実行する機能を有する。この人物検出処理では、画像中に映っている人物の数を求めることが可能である。
【０１１２】
また、作業映像区間を特定する過程においては、前記実施の形態１にて述べたように映像から各作業の開始および終了のフレームを求めているため、作業の開始時刻、終了時刻、および作業に要した時間を算出することも可能である。
【０１１３】
〈作業内容評価部の処理例〉
作業内容評価部１１０１は、作業映像区間特定部１０８による映像解析の結果得られた作業員数と作業開始時刻、作業終了時刻、および作業に要する時間の情報と、図１２の作業リスト１１４に記載の情報とを比較する。
【０１１４】
比較した結果として、設定時間以上の遅れ、例えば作業開始が１時間以上遅れた、あるいは本来２名で実施予定の作業に対して、監視映像中には１名の作業員しか映っていないなど、差異が大きい場合は、その結果をアラートとして表示内容生成部１１０に出力して表示装置１１１に表示させる。
【０１１５】
〈表示装置の表示例〉
図１３は、図１１の作業内容評価部１１０１による差異が大きい際に表示装置１１１に表示される表示内容の一例を示す説明図である。
【０１１６】
図１３の表示例では、前記実施の形態１の図１０における表示例に加えて、新たに作業員数を示す項目である作業員数９０３が付け加えられている。この作業員数９０３の項目には、映像解析の結果得られた作業員数と図１２の作業リスト１１４の作業員数とを比較した結果、異なる人数である場合に、映像解析の結果得られた作業員数および作業員数が異なる旨のメッセージなどが記載される。
【０１１７】
例えば、図１２の作業リスト１１４に示された作業員数が２人であり、映像解析の結果得られた作業員数が１人である場合には、図１３の作業員数９０３の項目には、「１人（相違あり）」などと表示される。
【０１１８】
また、表示内容生成部１１０は、差異が生じた部分が特に目立つように、差異がある部分のみ色を変える、文字を大きくするなどの処理を施して表示内容を生成するようにしてもよい。
【０１１９】
このように、図４（ａ）の作業情報１１２に記載された作業内容と、監視映像を解析して得られた作業内容の差異を評価して、結果を監視者に提示することによって、監視者が優先的に確認すべき事象を分かりやすくすることができる。その結果、監督者の監視業務の効率を向上させることができる。
【０１２０】
なお、前記実施の形態１においては、図３のステップＳ３０２の検索起点決定処理において、図９のステップＳ１０２２の処理にて起点フレームＦ0を決定する際に、作業日時６０４に対応するフレーム画像をそのまま利用する例を示した。
【０１２１】
しかし、同一日に同一作業員が作業をする際は、先に実施した作業が遅れた場合、次の作業も遅れる可能性がある。よって、作業内容評価部１１０１にて差異を評価した結果、いずれかの作業の終了時刻の差異が大きいと判定した場合は、図８の検索起点データ６１０内の作業データのうち、遅延した可能性の高い作業の作業日時６０４のデータを更新して、再度、ステップＳ３０２の検索起点決定処理を実行する。
【０１２２】
以上のように、映像監視を解析した結果を用いて図４（ａ）の作業情報１１２の内容を更新することによって、より正確なシーンの検索を可能にすることができる。
【０１２３】
（実施の形態３）
〈映像検索システムの構成例〉
図１４は、本実施の形態３における映像検索システムによる構成の一例を示す説明図である。
【０１２４】
本実施の形態３では、前記実施の形態１における図１の構成に、人物検知部１０３１が新たに設けられた構成からなる。人物検知部１０３１以外については、図１と同様であるので、説明は省略する。
【０１２５】
〈人物検知部の処理例〉
図１４において、映像入力部１０２が取得したフレーム画像は、人物検知部１０３１に出力される。人物検知部１０３１は、入力された全ての画像に対して、前記実施の形態１の図９におけるステップＳ１０２２の処理、すなわち人物検知処理を行い、フレーム画像７０２と人物検知の結果とを紐付けて映像蓄積部１０３に出力する。このフレーム画像７０２と人物検知の結果とが紐付けられたデータは、人物検知データとなる。
【０１２６】
〈映像データの構成例〉
図１５は、図１４の映像検索システムが有する映像蓄積部１０３に蓄積されている映像データの構成における一例を示す説明図である。
【０１２７】
映像蓄積部１０３に蓄積されている映像データの構成は、前記実施の形態１の図７に示す内容に加えて、人物検知部１０３１による人物検知の結果を示す人物検知結果１４０１が新たに付け加えられている。
【０１２８】
この人物検知の結果１４０１は、例えば各フレーム（画像）にて検知できた人物の人数を格納してもよいし、あるいは図示するように人物が存在するか否かを１，０などにて表記するようにしてもよい。
【０１２９】
本実施の形態３においても、作業映像区間特定部１０８は、図９にて示す同様のフローに従って人物が映る区間を特定する。このとき、図９のステップＳ１０２２やＳ１０１０，Ｓ１０１１における人物検知の処理については、映像蓄積部１０３に蓄積されている人物検知結果１４０１を参照するのみでよい。
【０１３０】
映像を蓄積するフローにて事前に人物検知を実施することにより、図３に示す作業映像区間特定処理、すなわち図３のステップＳ３０３の処理での画像解析を省略することができる。
【０１３１】
それにより、より高速な映像検索を実現することができ、監督者の監視業務の効率を一層向上させることができる。
【０１３２】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【０１３３】
なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
【０１３４】
また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加、削除、置換をすることが可能である。
【符号の説明】
【０１３５】
１００  映像検索装置
１０１  映像撮影装置
１０２  映像入力部
１０３  映像蓄積部
１０４  作業情報入力装置
１０５  作業情報入力部
１０６  検索起点決定部
１０７  機器撮影データ格納部
１０８  作業映像区間特定部
１０９  作業時間帯情報蓄積部
１１０  表示内容生成部
１１０１  作業内容評価部
１１１  表示装置
１１２  作業情報
１１４  作業リスト
１１５  機器撮影データ
２５１  プロセッサ
２５２  メインメモリ
２５３  映像入力インタフェース
２５５  文書入力インタフェース
２５５  文書入力インタフェース
２５６  出力インタフェース
２５７  記憶装置
【図１】
0006618349.tif 000002
【図２】
0006618349.tif 000003
【図３】
0006618349.tif 000004
【図４】
0006618349.tif 000005
【図５】
0006618349.tif 000006
【図６】
0006618349.tif 000007
【図７】
0006618349.tif 000008
【図８】
0006618349.tif 000009
【図９】
0006618349.tif 000010
【図１０】
0006618349.tif 000011
【図１１】
0006618349.tif 000012
【図１２】
0006618349.tif 000013
【図１３】
0006618349.tif 000014
【図１４】
0006618349.tif 000015
【図１５】
0006618349.tif 000016