(57)【特許請求の範囲】
【請求項１】
監視対象を撮影した監視対象画像から、作業者の作業領域または作業時刻についてユーザにより設定された条件に従って画像を抽出する画像抽出手段と、
前記作業者の作業領域、作業時間、または作業内容についてユーザにより設定された特定のイベントに関連付けられたマークを前記画像抽出手段により抽出された画像に関連付け、リストを生成して記憶装置に記憶するリスト生成手段と、
前記記憶装置に記憶されたリストを読み込み、表示装置に表示させるとともに、前記表示装置に表示された前記リストから前記マークが選択されたとき、前記マークに関連付けられた画像を特定し、前記表示装置に再生表示するように制御する再生制御手段と、
を有する画像記憶再生制御装置。
【請求項２】
請求項１に記載された画像記憶再生制御装置において、
前記画像抽出手段は、予め記憶された画像と監視対象画像との変化量に基づき、画像を抽出する画像記憶再生制御装置。
【請求項３】
請求項２に記載された画像記憶再生制御装置において、
前記予め記憶された画像が、同一の被写体における正常時又は異常時の画像である画像記憶再生制御装置。
【請求項４】
請求項２に記載された画像記憶再生制御装置において、
前記予め記憶された画像と前記監視対象画像は、同じ映像の時間的に前後に位置する画像である画像記憶再生制御装置。
【請求項５】
請求項１に記載された画像記憶再生制御装置において、
前記リスト生成手段は、前記画像抽出手段により抽出された画像の撮影時刻を前記マークとともに当該画像に関連付け、リストを生成して記憶し、前記再生制御手段は、前記表示装置に表示させるリストを日付で絞り込むためのボタンを前記表示装置に表示させる画像記憶再生制御装置。
【請求項６】
請求項２ないし５のいずれかに記載された画像記憶再生制御装置において、
前記監視対象画像の継時的な変化を表示するための表示データを生成する表示データ生成手段を有する画像記憶再生制御装置。
【請求項７】
請求項１ないし６のいずれかに記載された画像記憶再生制御装置において、
前記再生制御手段が、複数の前記画像を、表示画面を分割して、同一の表示画面に再生表示するように表示手段を制御する画像記憶再生制御装置。
【請求項８】
画像抽出手段が、監視対象を撮影した監視対象画像から、作業者の作業領域または作業時刻についてユーザにより設定された条件に従って画像を抽出する画像抽出工程と、
リスト生成手段が、前記作業者の作業領域、作業時間、または作業内容についてユーザにより設定された特定のイベントに関連付けられたマークを前記画像抽出工程で抽出された画像に関連付け、リストを生成して記憶装置に記憶するリスト生成工程と、
再生制御手段が、前記記憶装置に記憶されたリストを読み込み、表示装置に表示させるとともに、前記表示装置に表示された前記リストから前記マークが選択されたとき、前記マークに関連付けられた画像を特定し、前記表示装置に再生表示するように制御する再生制御工程と、
を有する画像記憶再生制御装置における画像記憶再生制御方法。
【請求項９】
請求項１ないし７のいずれかに記載された画像記憶再生制御装置と、
前記画像記憶再生制御装置において記憶する画像を撮影する撮影装置と、
前記条件及び前記イベントを入力する入力装置と、
を有する画像記憶再生制御システム。
【請求項１０】
コンピュータを、請求項１に記載された画像記憶再生制御装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視対象画像から所定の条件に応じて画像を抽出する画像記憶再生制御装置、画像記憶再生制御方法、画像記憶再生制御システム、及びプログラムに関する。
【背景技術】
【０００２】
従来、画像を記憶する装置として、例えば、外部接続機器としてのＰＣ（Personal Computer）と、一又は複数のカメラと接続され、そのカメラで撮影された画像データを記憶／再生するとともに、ＰＣに対して画像データを送信するネットワークビデオレコーダが知られている。
このようなネットワークビデオレコーダは、一又は複数のカメラで撮影された映像を効率的に確認することができるため、作業時の不具合検出、犯罪防止等、様々な状況で用いられている。
【０００３】
しかし、作業時の不具合検出等では、長時間、カメラで撮影し、記憶した映像を個別に再生、早送り、巻き戻し等することで、確認したい映像を探し出す必要があり、カメラの台数、また録画時間によっては、確認に要する時間が膨大となり、また多大な労力を要することになっている。
【０００４】
そこで、赤外線センサ、温度センサ等を用いて、侵入者を検知すると、録画を開始するように制御し、映像を撮影したカメラの番号、録画開始時刻等を管理テーブルに記録することで、映像データの確認時間を短縮させた映像監視システムが提案されている（特許文献１）。
【０００５】
特許文献１では、映像を撮影したカメラの番号、録画開始時刻等を管理テーブルに記録する。しかし、それらの項目より映像データの内容を確認することができない場合もあり、映像データの内容を確認するにはその映像データを再生する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、前記従来の問題に鑑みてなされたものであって、その目的は、撮影された映像から、ユーザの指定した条件に基づく映像を容易に抽出できるようにすることである。
【課題を解決するための手段】
【０００７】
本発明は、監視対象を撮影した監視対象画像から、作業者の作業領域または作業時刻についてユーザにより設定された条件に従って画像を抽出する画像抽出手段と、前記作業者の作業領域、作業時間、または作業内容についてユーザにより設定された特定のイベントに関連付けられたマークを前記画像抽出手段により抽出された画像に関連付け、リストを生成して記憶装置に記憶するリスト生成手段と、前記記憶装置に記憶されたリストを読み込み、表示装置に表示させるとともに、前記表示装置に表示された前記リストから前記マークが選択されたとき、前記マークに関連付けられた画像を特定し、前記表示装置に再生表示するように制御する再生制御手段と、を有する画像記憶再生制御装置である。
【発明の効果】
【０００８】
本発明によれば、ユーザは、撮影された映像から、ユーザの指定した条件に基づく映像を容易に抽出することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る画像記憶再生制御装置の概略ブロック図である。
【図２】本発明の実施形態に係る画像記憶再生制御装置の機能ブロック図である。
【図３】作業者の作業領域を撮影装置により撮影した映像を示す図である。
【図４】実施形態１に係る画像記憶再生制御装置の特徴量の検出に関する図である。
【図５】実施形態１に係る画像記憶再生制御装置により映像データをリスト化して記憶するまでの処理を示すフロー図である。
【図６】マーカーリストの表示例を示す図である。
【図７】映像データの再生例を示す図である。
【図８】映像データに関連付けられたグラフの表示例を示す図である。
【図９】分割画面表示における再生例を示す図である。
【図１０】実施形態１に係る画像記憶再生制御装置による映像データの再生制御処理を示すフロー図である。
【図１１】ネジのインサート加工作業を撮影装置により撮影した映像を示す図である。
【図１２】実施形態２に係る画像記憶再生制御装置の特徴量の検出に関する図である。
【図１３】実施形態２に係る画像記憶再生制御装置により映像データをリスト化して記憶するまでの処理を示すフロー図である。
【図１４】赤色警光灯と緑色作業灯を設置した機械の作業を撮影装置により撮影した映像を示す図である。
【図１５】実施形態３に係る画像記憶再生制御装置の特徴量の検出に関する図である。
【図１６】実施形態３に係る画像記憶再生制御装置により映像データをリスト化して記憶するまでの処理を示すフロー図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について図面を参照して説明する。以下の説明では、画像は映像（動画像）であるとして説明するが、必ずしもこれに限定されず、静止画像であってもよい。
図１は、本発明の画像記憶再生制御装置の一実施形態に係るネットワークビデオレコーダ１００の概略ブロック図である。
ネットワークビデオレコーダ１００は、表示装置２００、撮影装置３００、外部記憶装置４００、入力装置５００及び外部接続機器６００と接続することで、ネットワークビデオシステム１を構成する。
なお、ネットワークビデオシステム１は、本発明における画像記憶再生制御システムに対応する。
【００１１】
ネットワークビデオレコーダ（以下、ＮＶＲ）１００は、図１に示すように、物理的に複数チャンネルの映像ストリームを記憶できる。
また、ＮＶＲ１００は、ユーザにより指定された条件に基づいて映像を監視し、映像が変化した場合に、その映像を、ユーザにより設定された情報（特定のイベント）に関連付けられた付加情報を付与（本実施形態ではマークでマーキング）し、さらに撮影時刻、撮影装置３００のＩＤに関連付け、リスト化して記憶する。
なお、ＮＶＲ１００には、所定のソフトウェアがインストールされ、記憶した映像データ等を表示装置２００に表示させることができる。また、ＮＶＲ１００の機能については、図２を用いて説明する。
【００１２】
表示装置（ここでは、モニタ）２００は、本発明の表示手段に対応し、例えば、液晶表示装置等である。モニタ２００は、現在、ＮＶＲ１００に接続されている撮影装置３００により撮影されている映像、ＮＶＲ１００内の映像データ記憶部１５０（図２）に記憶されている映像等を表示する。
なお、モニタ２００の表示仕様は、外部接続機器６００のディスプレイ又はスクリーンの表示仕様と同様であり、図７等を用いて後述する。
【００１３】
撮影装置３００は、被写対象を撮影するための、例えば、ビデオカメラ、ＩＰ（Internet Protocol）カメラ、ｗｅｂカメラ等である。なお、撮影装置３００により監視のために被写対象を撮影した画像を本発明では監視対象画像という。
撮影装置３００は、撮影時刻を管理する時刻管理部（不図示）と、撮影装置３００に固有なＩＤ（識別情報）を保持する固有ＩＤ部（不図示）とを備え、映像を撮影する際に、撮影時刻と固有ＩＤをメタ情報として映像データに関連付ける。
映像データは、装置間を接続するネットワークデバイスとして機能するハブ（ＨＵＢ）３３０を介して、撮影装置３００をＮＶＲ１００に接続することで、ＮＶＲ１００内部の映像データ記憶部１５０（図２）に記憶される。
なお、撮影装置３００は、ＮＶＲ１００内部の映像データ記憶部１５０とは別に、外部の映像記録手段としても機能し、撮影装置３００自体において撮影時の映像データを記憶することもできる。
【００１４】
外部記憶装置４００は、ハードディスク等の大容量記憶装置であり、撮影装置３００以外の撮影装置により撮影された映像データを記憶する。
また、撮影装置３００以外の撮影装置で撮影し、その撮影装置自体に映像データを記憶させる場合、その撮影装置を外部記憶装置４００とすることもできる。この場合、その撮影装置のメモリカードをメモリスロット１２０（図２）に挿入することで、またＵＳＢケーブルをＵＳＢ等接続インタフェース（Ｉ／Ｆ）１３０（図２）に接続することで、映像データを転送することができる。
入力装置５００は、例えば、キーボード、マウス等であり、ユーザがＮＶＲ１００に対して種々の操作を行うための装置である。
【００１５】
外部接続機器６００は、例えば、ＰＣ（Personal Computer）、タブレット、スマートフォン等である。
外部接続機器６００は、所定のソフトウェアをインストールすることで、ＮＶＲ１００に記憶された映像データ等を視聴することができる。
具体的には、外部接続機器６００は、選択した１つの映像データを再生できる機能、表示画面を分割して複数の映像データを再生できる機能、ＮＶＲ１００に記憶されたリストを表示し、選択されたリストに関連付けられた映像及び／又はグラフを再生できる機能を有する。
また、外部接続機器６００は、ＬＡＮ（Local Area Network）ケーブル等の有線、又は、無線ＬＡＮ、Ｗｉ−Ｆｉ（Wireless Fidelity）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線で、ＮＶＲ１００に接続される。
【００１６】
図２は、本発明の画像記憶再生制御装置の一実施形態に係るネットワークビデオレコーダ１００の機能ブロック図である。
ＮＶＲ１００は、映像データ等の入出力機能として、外部映像入力部１１０、メモリスロット１２０、ＵＳＢ（Universal Serial Bus）等接続インタフェース１３０、ユーザインタフェース１４０、外部映像出力部１６０、ＬＡＮポート１７０、無線インタフェース１８０を備え、また画像記憶再生制御機能として、ＮＶＲ１００内部に、映像データ記憶部１５０、時刻管理部１５１、設定情報取得部１５２、特徴量検出部１５３、特徴映像取得部１５４、グラフ生成部１５５、映像データリスト記憶部１５６、マーカー設定部１５７、表示制御部１５８を備える。
なお、以上の各部のうち、設定情報取得部１５２、特徴量検出部１５３、特徴映像取得部１５４、グラフ生成部１５５、マーカー設定部１５７、表示制御部１５８は、ＮＶＲ１００のコンピュータにプログラムを読み取らせることにより生成される機能実現手段である。
【００１７】
外部映像入力部１１０は、ＮＶＲ１００と撮影装置３００（３００Ａ〜３００Ｆ）とを接続するためのインタフェース（チャンネル）である。ＮＶＲ１００は、図２に示すように、外部映像入力部１１０として、例えば６つのチャンネルを備えており、各々のチャンネルに撮影装置３００Ａ〜３００Ｆを接続している。これにより、６つのチャンネル分の映像データをＮＶＲ１００に同時に記録、及び／又はモニタ２００に表示することができる。
【００１８】
メモリスロット１２０は、撮影装置３００、また撮影装置３００以外の撮影装置により撮影し、その撮影時の映像データを記憶したメモリカードを挿入するためのスロットである。
ＵＳＢ等接続インタフェース１３０は、キーボード、マウス等の入力装置５００をＵＳＢケーブルで接続するためのインタフェースであり、ユーザによるＮＶＲ１００の操作を可能にする。また、ユーザは、ＵＳＢ等接続インタフェース１３０に、外部記憶装置４００をＵＳＢケーブルで接続することにより、外部記憶装置４００に記憶された映像データをＮＶＲ１００に転送することができる。
ユーザインタフェース１４０は、ＮＶＲ１００の電源操作、記憶及び再生の制御等、ユーザがＮＶＲ１００に対して直接、操作するためのインタフェースである。
【００１９】
映像データ記憶部１５０は、ＮＶＲ１００内部の映像記憶手段であり、撮影装置３００Ａ〜３００Ｆで撮影され、外部映像入力部１１０より入力された映像データに対して、撮影時刻等の時刻で時間的に同期させた上で、映像データを記憶する。
また、映像データ記憶部１５０は、外部記憶装置４００よりメモリスロット１２０、又はＵＳＢ等接続インタフェース１３０を介して転送される映像データも記憶する。
時刻管理部１５１は、ＮＶＲ１００内の時刻を管理し、撮影装置３００で撮影され、ＮＶＲ１００に記憶される映像データに関連付ける時刻情報、また映像データを同期させるときに用いられる時刻情報を管理する。
なお、データ通信上の遅延等により、ＮＶＲ１００内の時刻管理部１５１で管理される時刻で映像データの同期を上手く取ることができない場合には、撮影装置３００に備えられた時刻管理部において管理され、映像データに関連付けられた時刻より映像データの同期を取ることもできる。
【００２０】
設定情報取得部１５２は、後述の特徴量検出部１５３により映像データから特徴映像を検出する上で必要な情報を取得する。
例えば、ユーザが、撮影装置３００で撮影されている映像から特定のエリアを監視したい場合に、入力装置５００、又はユーザインタフェース１４０により指定した領域を、設定情報取得部１５２は設定情報として取得する。
また、設定情報取得部１５２は、特徴量検出部１５３により映像データから特徴映像が検出された場合に、ユーザにより設定された特徴映像として記憶する時間（映像データの容量）を設定情報として取得する。
【００２１】
特徴量検出部１５３は、外部映像入力部１１０に接続された撮影装置３００により撮影されているライブ映像データ又は映像データ記憶部１５０に既に記憶された映像データと、これと比較する映像データとの差分（変化量）に基づき、特徴量を検出する。
即ち、本実施形態においては、映像データの差分を検出する上で、ＲＧＢ値を比較することにより差分を計算する。ここでは、ＲＧＢ値で比較する場合、先ず、比較するフレーム１（ｒ１、ｇ１、ｂ１）及びフレーム２（ｒ２、ｇ２、ｂ２）の各画素に関して、ＲＧＢ値の差分の絶対値（即ち、｜ｒ１−ｒ２｜、｜ｇ１−ｇ２｜、｜ｂ１−ｂ２｜）を計算する。次に、各々の計算結果が設定した所定の感度以上となる画素数をカウントし、そのカウントされた画素数が、フレームの総画素数に対して占める割合を計算する。そして、その割合が設定された閾値以上である場合に検出対象となる映像データに特徴量があるとし、映像データ（画像）に変化が生じたものと判定する。
但し、画素の差分を計算する方法としては、各画素のＲＧＢの値を比較する方法に必ずしも限定されず、各画素のＨＳＶ（Hue Saturation Value）の値を比較する方法、映像データ（画像）をグレースケール化して各画素の輝度値を比較する方法、また映像データ（画像）に対してエッジ処理を実行し、各画素のエッジ強度を比較する方法を用いてもよい。
【００２２】
なお、各画素のＲＧＢ値の変化を判定する感度、及びフレームの変化を判定する閾値は、ユーザにより設定される。
具体的には、ユーザは、ＮＶＲ１００又は外部接続機器６００にインストールされたソフトウェアの入力画面において、感度及び閾値を入力することで、設定することができる。
また、ユーザは、監視を開始する前に、サンプルとする映像データから特徴映像取得部１５４により特徴映像を取得し、さらにグラフ生成部１５５によりグラフを生成した上で、その特徴映像及び／又はグラフをモニタ２００、若しくは外部接続機器６００のディスプレイ又はスクリーンに表示し、確認することで、感度及び閾値を調節することができる。
【００２３】
特徴映像取得部１５４は、本発明の画像抽出手段に対応し、特徴量検出部１５３により特徴量（変化）を検出すると、設定情報取得部１５２により取得された情報、即ちユーザにより設定された条件（各種情報）に従って、特徴映像データを取得する。
グラフ生成部１５５は、本発明の表示データ生成手段に対応し、映像データの画素の継時的な変化、例えば、フレームの総画素数に対する所定の感度以上となる画素数の割合の継時的な変化等を示したグラフを生成する。
ユーザは、グラフ生成部１５５により生成されたグラフをモニタ２００に表示することにより、特徴量を検出した正確な時間、また特徴量の程度を視認することができる。
【００２４】
映像データリスト記憶部１５６は、本発明において画像データリストを生成する画像データリスト生成手段に対応し、マーカー設定部１５７により、設定された情報（特定のイベント）に関連付けられた付加情報、ここではマークでマーキングされた、特徴映像取得部１５４により取得された特徴映像、グラフ生成部１５５により生成されたグラフを、さらに撮影時刻、撮影装置３００のＩＤに関連付け、リストを生成して記憶する。
マーカー設定部１５７は、本発明の付加情報設定部に対応し、ユーザにより選択されたマークに従って、映像データリスト記憶部１５６に記憶される映像データにマーキング（マークを設定）する。
なお、ユーザは、映像データリスト記憶部１５６に記憶された映像データに対して、再生確認を行った後に、マーカー設定部１５７を介して、マークを新規に付したり、また既に付されているマークを変更したりすることができる。
【００２５】
表示制御部１５８は、入力装置５００、又は外部接続機器６００からの入力情報に従って、映像データリスト記憶部１５６に記憶されている映像データ等を読み込み、モニタ２００、又は外部接続機器６００の表示領域（例えば、ディスプレイ、スクリーン等）に映像データ等を表示させる。なお、表示制御部１５８が、本発明の再生制御手段に対応する。
【００２６】
外部映像出力部１６０は、ＮＶＲ１００と表示装置２００とを接続するためのインタフェースである。
ＬＡＮポート１７０は、ＮＶＲ１００と外部接続機器６００とをＬＡＮケーブル等の有線通信手段により接続するためのインタフェースである。
無線インタフェース１８０は、ＮＶＲ１００と外部接続機器６００とをＷｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信手段により接続するためのインタフェースである。
【００２７】
（実施形態１）
本実施形態では、撮影装置３００により撮影されている同じ映像（「同じ映像」には、同じ映像データファイルに記憶される映像以外に、同一の設定で撮影された同一の被写体の他の映像データファイルに記憶されたものを含んでもよい。）に変化があった場合に、ＮＶＲ１００は、その映像を特徴映像として取得し、マーカー設定部１５７によりマーキングした上で、映像データリスト記憶部１５６にリスト化して記憶する。
即ち、例えば、図３に示すように、ユーザが設定した条件（ここでは作業者の作業領域、作業時刻等）に従って撮影装置３００により撮影した映像から所定のエリアを選択すると（図中 破線枠）、ＮＶＲ１００は、特徴映像取得部１５４により、選択したエリアに作業者が進入してから退出するまでの映像（即ち、ＲＧＢ値に変化が生じた映像）を特徴映像として取得し、マーカー設定部１５７により作業者の作業領域、作業時刻等のユーザが設定した条件に関連付けてマーキングした上で、作業時刻、作業名等で特徴映像をリスト化して、映像データリスト記憶部１５６に記憶する。
【００２８】
また、この場合、ＮＶＲ１００は、特徴映像の取得と同時に、選択したエリアに作業者が進入した時刻及び退出した時刻を記憶し、作業時間（作業効率）を計測することができる。さらに、ＮＶＲ１００は、計測した作業時間等を、グラフ生成部１５５によりグラフ化することもできる。
なお、作業時間等は、映像データリスト記憶部１５６にリスト化して記憶された特徴映像からも計測することができる。
【００２９】
図３において、ユーザにより選択される監視対象エリアの形状を四角形（長方形）で示しているが、選択可能なエリアの形状は必ずしもこれに限定されず、ユーザは、円、楕円、歪多角形等でエリアを選択することもできる。
また、ユーザは、撮影装置３００により撮影した映像から、監視対象エリアを複数選択することができる。例えば、図３において、ユーザは、画面の左下において選択したエリア（図中 破線枠）以外に、画面中央の人物周辺を監視対象エリアとして選択することもできる。この場合、ＮＶＲ１００は、選択したエリア毎に、画像記憶等に関する処理を独立して実行する。
なお、監視対象として選択可能なエリアの形状、また監視対象エリアの複数選択時における選択エリア毎の独立処理については、実施形態２及び実施形態３においても同様である。
【００３０】
次に、特徴量の検出に関して、図４を用いて説明する。
図４は、フレームの総画素数に対する所定の感度以上となる画素数の割合の継時的な変化を示したグラフである。
図４において、横軸は時間、縦軸はフレームの総画素数に対する予め定めた所定の感度以上となる画素数の割合を示している。
また、図中の破線は、特徴量の検出有無を判定する閾値を示しており、本実施形態では、２０％に設定している。
【００３１】
本実施形態では、時間的に前後に位置するフレームの各画素に関して、ＲＧＢ値の差分の絶対値を計算し、フレームの総画素数に対する所定の感度以上となる画素数の割合を算出する。この計算を、フレームを時間的にカウントアップすることで、繰り返し実行する。
そして、所定の感度以上となる画素数の割合が閾値以上であるフレームが、例えば３フレーム以上、連続する場合に、特徴量が検出された（即ち、画像が変化した）ものと判定する。
なお、図４において、最初に、所定の感度以上となる画素数の割合が閾値以上になる時点では、２フレームしか閾値以上になっておらず、特徴量が検出されたものと判定されない。これは、映像データにノイズが含まれることを考慮したものであり、所定フレーム数、例えば３フレーム以上、連続して所定の感度以上となる画素数の割合が閾値以上にならない限り、特徴量が検出されないようにするためである。
【００３２】
次に、図５を用いて、本実施形態に係るネットワークビデオレコーダ１００において、映像データをリスト化して記憶するまでの処理手順を説明する。
ＮＶＲ１００は、撮影装置３００、又は映像データ記憶部１５０から監視対象とする映像データを取得する（Ｓ１０１）。
【００３３】
取得された映像データはモニタ２００に表示され、ユーザは、入力装置５００を用いて、表示画面よりユーザが設定する条件である監視対象とするエリアを指定する（Ｓ１０２）。
なお、モニタ２００に表示されるエリア（領域）全体を監視対象とする場合には、ステップＳ１０２における処理は不要となる。
【００３４】
ユーザは、監視対象エリアを指定すると（Ｓ１０２）、各画素のＲＧＢ値の変化を判定する所定の感度、及びフレームの変化を判定する閾値を設定する（Ｓ１０３）。
なお、監視対象エリア、並びに感度及び閾値の設定は、ＮＶＲ１００に接続される外部接続機器６００からも行うことができる。
【００３５】
ＮＶＲ１００は、監視対象エリア、並びに感度及び閾値が設定されているか、監視設定の有無を確認する（Ｓ１０４）。
監視設定がなされていない場合には（Ｓ１０４ Ｎｏ）、ＮＶＲ１００は、監視を開始することができないため、監視設定に関する入力画面を継続して表示する。
ＮＶＲ１００は、設定項目が入力されていることを確認すると（Ｓ１０４ Ｙｅｓ）、監視を開始する。
【００３６】
ＮＶＲ１００は、ステップＳ１０１で取得した監視対象とする映像データの最初のフレームと、時間的に次に位置するフレームを取得し（Ｓ１０５）、フレーム内の各画素に対してＲＧＢ値の差分の絶対値を計算する（Ｓ１０６）。
ＮＶＲ１００は、次に、計算された絶対値の各々が設定した所定の感度以上となる画素数を算出し（Ｓ１０７）、その画素数のフレーム全体の画素数に対する割合が設定した閾値以上であるか否かを判定する（Ｓ１０８）。
なお、ステップＳ１０８においては、ステップＳ１０７において計算される画素数のフレーム全体の画素数に対する割合が閾値以上になる回数をカウントし、そのカウントした回数が所定の回数以上になるか否かを同時に判定する。この場合において、ステップＳ１０７において計算される画素数のフレーム全体の画素数に対する割合が設定した閾値より小さくなると、カウントした回数をリセットする。
【００３７】
ステップＳ１０７において計算される画素数のフレーム全体の画素数の割合が閾値未満になる場合（Ｓ１０８ Ｎｏ）、またステップＳ１０７において計算される画素数のフレーム全体の画素数の割合が閾値以上になる場合であっても、その閾値以上になる回数が所定の回数以上にならない場合（Ｓ１０８ Ｎｏ）には、ＮＶＲ１００は、ステップＳ１０５において取得したフレームの次のフレームを取得するために、フレームをカウントアップし（Ｓ１０９）、再度ステップＳ１０５からの処理を実行する。
例えば、ステップＳ１０５において時間的に前後に位置するフレームＦ１、Ｆ２を取得していた場合、ＮＶＲ１００は、ステップＳ１０９においてフレームをカウントアップしながら、ステップＳ１０５〜Ｓ１０８までの処理を、ステップＳ１０７において計算される画素数のフレーム全体の画素数に対する割合が設定した閾値以上になる回数をカウントし、その回数が所定の回数以上（Ｓ１０８ Ｙｅｓ）になるまで繰り返す。
なお、ステップＳ１０９において実行する、フレームのカウントアップの度合い（＋１、＋２、＋３・・・＋ｎ・・・）は、監視対象とする映像データの内容、また画像制御記録装置の処理性能を考慮して決定する。
【００３８】
そして、ステップＳ１０８で「Ｙｅｓ」になると、ＮＶＲ１００は、設定情報取得部１５２において設定された情報（記憶時間）に従って映像データをトリミングし、設定情報取得部１５２において設定された情報（特定のイベント、例えば、選択したエリアへの作業者の進入）に関連付けられたマークでマーキングし、さらに時刻、撮影装置３００のＩＤに関連付け、リスト化して映像データリスト記憶部１５６に記憶する（Ｓ１１０）。
ＮＶＲ１００は、映像データをリスト化して記憶すると（Ｓ１１０）、ユーザからの停止命令の有無、又は設定情報取得部１５２において設定された情報を確認し、映像データの記憶を終了するか否かを判定する（Ｓ１１１）。
ユーザからの停止命令等により映像データの記憶を終了する場合（Ｓ１１１ Ｙｅｓ）、監視を終了し、映像データの記憶を継続する場合（Ｓ１１１ Ｎｏ）、ＮＶＲ１００は、ステップＳ１０９においてフレームをカウントアップさせ、ステップＳ１０５からの処理を繰り返し実行する。
【００３９】
次に、リスト化して記憶した映像データの再生表示制御に関して説明する。
図６は、映像データリスト記憶部１５６に記憶されたマーカーリストの表示例を示している。
マーカーリストは、図６に示すように、撮影装置３００の撮影時刻及び固有ＩＤが関連付けられた映像データのリストに所定のマークでマーキングしたリストであり、マーカーリストウィンドウ２１０としてモニタ２００に表示される。
【００４０】
マーカーリストウィンドウ２１０のリストボックス２１１には、映像データリスト記憶部１５６に記憶された映像データが、マーカー２１２、日時２１３、撮影装置３００の固有ＩＤ２１４に関連付けられて表示される。
マーカー２１２は、図６において、ここでは★、▼、●、◆等で示される。
★は、警告対象となる映像データを示しており、例えば、作業者が進入してはいけない領域に進入した場合の映像データにマーキングされる。
▼は、タクト（タクトタイム；工程作業時間）の基準となる映像データにマーキングされる。
●、◆は、ユーザが、映像データの種別に応じて、設定したマーカーを示しており、例えば、作業者が特定の領域において予定される時間を超過して作業を行っている場合、作業者が特定の領域において異なる作業を行っている場合等にマーキングされる。
また、リストボックスの日時２１３は、撮影装置３００により撮影された時刻、又はＮＶＲ１００の映像データ記憶部１５０に記憶された時刻を示している。
【００４１】
図６の例では、マーカーリストウィンドウ２１０の上部のチェックボックスとして、警告のチェックボックス２１５及びタクトのチェックボックス２１６を設定している。
例えば、警告のチェックボックス２１５にチェックを入れると、リストボックスに警告の対象とした映像データを表示することができ、警告のチェックボックスからチェックを外すと、警告の対象とした映像データを非表示にすることができる。
タクトのチェックボックス２１６に関しても、警告のチェックボックス２１５と同様に、チェックを入れたり、外したりすることで、表示／非表示を設定することができる。
【００４２】
マーカーリストウィンドウ２１０の下部には、日付で映像データを絞り込むことができるように、日付指定ボタン２１７及びＴｏｄａｙボタン２１８を設定している。
ユーザは、日付指定ボタン２１７を選択することで、リストボックス２１１に表示する映像データをカレンダー形式で絞り込むことができる。また、Ｔｏｄａｙボタン２１８を選択することで、その日（現在の日付）に撮影した映像データを絞り込むことができる。
【００４３】
ユーザは、リストボックス２１１に表示される映像データを選択することで、その映像データをモニタ２００に表示させることができる。
図７は、リストボックスにおいて選択された映像データの再生例を示す図である。
図７に示すように、映像再生ウィンドウ２２０は、主に、映像データ再生領域２２１、マーカーリスト表示領域２２２、各種操作を行うための操作領域２２３から構成される。
【００４４】
映像データ再生領域２２１は、ユーザにより選択された映像データを再生表示する領域である。映像データ再生領域２２１には、後述のように、撮影装置３００Ａ〜３００Ｆで撮影された映像データ、及び／又は映像データ記憶部１５０に記憶されている映像データを、表示画面を必要に応じて全画面表示又は分割画面表示にして、再生することができる。
マーカーリスト表示領域２２２は、前述のマーカーリストを表示する領域であり、再生中の映像データをハイライトすることで、どの映像データを映像データ再生領域２２１に再生表示しているのかを示す。
【００４５】
操作領域２２３は、再生制御（操作）に関するボタン及びスライドバー、並びにその他の設定ボタンより構成される。
再生制御に関するボタン２２４は、映像データの再生をスタートさせるスタートボタン、再生を停止する停止ボタン、早送り、巻き戻し等のボタンで構成される。また、ユーザは再生制御に関するスライドバー２２５を入力装置５００でスライドさせることで、所望の位置から再生することができる。
【００４６】
設定ボタン２２６としては、図７に示すように、例えば、マーカーリスト表示ボタン２２６（１）、表示エリア変更ボタン２２６（２）、グラフ表示ボタン２２６（３）等がある。
ユーザは、マーカーリスト表示ボタン２２６（１）を選択することでマーカーリストの表示／非表示を設定することができ、表示エリア変更ボタン２２６（２）を選択することで映像データ再生領域２２１の表示エリアを拡大／縮小することができる（全画面表示／分割画面表示にすることができる）。
【００４７】
また、グラフ表示ボタン２２６（３）を選択すると、図８に示すような画面が表示される。ユーザは、表示される、例えば図４に関連して説明したグラフより任意のポイント（時点）を選択することで、選択されたポイントから映像を再生することができる。
逆に、ユーザは、再生表示している映像において異常を確認した場合に、映像データ再生領域２２１の表示エリアを選択することで、映像の再生位置をグラフ上に矢印で表示させることができる。
なお、映像再生ウィンドウ２２０に関して、映像データ再生領域２２１の表示エリアを選択することで、グラフを立ち上げる仕様としてもよい。また、表示されるグラフは、再生される映像データと同様に、全画面で表示させることもできる。
【００４８】
さらに、ユーザは、映像再生ウィンドウ２２０のマーカーリスト表示領域２２２に表示される映像データリストから複数の映像データを選択することで、図９に示すように、選択された映像データの数に応じて、映像データ再生領域２２１を分割して再生することができる。
即ち、ユーザは、同時刻に撮影装置３００Ａ〜３００Ｆで撮影された複数の映像データを時間的に同期させて再生させることができる。
例えば、作業工程において不具合が発生した場合に、その作業状況を、様々な角度から撮影した映像をモニタ２００に再生表示して確認することで、不具合の解析に要する時間を短縮、また解析の精度を向上させることができる。
また、映像データリストから、異なる撮影時刻、また異なる撮影装置（３００Ａ〜３００Ｆ）で撮影された複数の映像データがユーザにより選択された場合も、選択された映像データの数に応じて、映像データ再生領域２２１を分割して再生表示することができる。
【００４９】
次に、図１０のフロー図を用いて、本実施形態に係る画像記憶再生制御装置のリスト化された映像データの再生制御に関する処理手順を示す。
ＮＶＲ１００は、ユーザから映像データの再生命令を受けると（Ｓ２０１ Ｙｅｓ）、映像データリスト記憶部１５６からマーカーリストを読み込み、表示制御部１５８により図６に示すマーカーリストウィンドウ２１０をモニタ２００に表示させる（Ｓ２０２）。
【００５０】
ＮＶＲ１００は、ユーザからの映像データの選択命令があるまでマーカーリストウィンドウ２１０を表示する（Ｓ２０３ Ｎｏ）。そして、ユーザから映像データの選択命令があると（Ｓ２０３ Ｙｅｓ）、ＮＶＲ１００は、表示制御部１５８により映像データリスト記憶部１５６から選択された映像データを取得し（Ｓ２０４）、モニタ２００に映像データを再生表示させる（Ｓ２０５）。
【００５１】
その後に、映像データを分析するために、ユーザによりグラフ表示ボタン２２６（３）が選択されると（Ｓ２０６ Ｙｅｓ）、ＮＶＲ１００は、表示制御部１５８により、選択された映像データに関連付けられたグラフ、即ち、例えば図４に示すフレームの総画素数に対する所定の感度以上となる画素数の割合の継時的な変化を示したグラフをモニタ２００に表示させる（Ｓ２０７）。
さらに、ユーザによりグラフ上の任意のポイント、例えば、問題が発生した箇所（画素数の割合の変曲点）等が選択されると（Ｓ２０８ Ｙｅｓ）、ＮＶＲ１００は、表示制御部１５８により、選択されたポイントに再生位置を調整し（Ｓ２０９）、調整した再生位置より映像データをモニタ２００に再生表示させる（Ｓ２１０）。
【００５２】
（実施形態２）
本実施形態では、映像データ記憶部１５０に記憶されている比較対象とする同一の被写体における正常時の映像と、撮影装置３００により撮影されている監視対象とする映像とを、所定の時間間隔、又は所定の時刻で比較し、映像データの差分を検出し、フレームの総画素数に対する所定の感度以上となる画素数の割合が閾値以上であるフレームが、例えば３フレーム以上、連続する場合に、ＮＶＲ１００は、その監視対象とする映像を特徴映像として取得し、マーカー設定部１５７によりマーキングした上で、映像データリスト記憶部１５６にリスト化して記憶する。
例えば、図１１に示すように、ネジのインサート加工作業において、ユーザが撮影装置３００により撮影した映像から所定のエリア（所定のネジの挿入孔）を選択すると、ＮＶＲ１００は、映像データ記憶部１５０に記憶されている比較対象とする正常時のインサート加工映像と、撮影装置３００により撮影されている監視対象とする映像とを所定の時間間隔、又は所定の時刻で比較し、映像データに差分を検出した場合に、その差分に基づいて特徴量を検出した映像を特徴映像として取得し、マーカー設定部１５７によりマーキングした上で、作業時刻、作業名等でリスト化して、映像データリスト記憶部１５６に記憶する。
【００５３】
なお、例えば、ネジのインサート不良を、ネジの挿入孔にネジが挿入されていないことに限定する場合等では、映像データ記憶部１５０に記憶する比較対象とする映像を、同一の被写体における異常時の映像（この例では、ネジが挿入されていない映像）としてもよい。
この場合、ＮＶＲ１００は、撮影装置３００により撮影されている監視対象とする映像と、所定の時間間隔、又は所定の時刻で比較し、映像データの差分を検出し、フレームの総画素数に対する所定の感度以上となる画素数の割合が閾値以上となれば、ネジの未挿入による異常は発生していないと判定する。逆に、フレームの総画素数に対する所定の感度以上となる画素数の割合が閾値未満となる場合、ＮＶＲ１００は、その監視対象とする映像を異常時の映像（即ち、ネジが挿入されていない映像）として取得し、マーカー設定部１５７によりマーキングした上で、映像データリスト記憶部１５６にリスト化して記憶する。
【００５４】
また、既存の設備として設置されているセンサとＮＶＲ１００を接続することで、センサからの信号により、異常が発生した時刻を特定し、その時刻前後の映像を取得し、マーカー設定部１５７によりマーキングした上で、作業時刻、作業名等でリスト化して、映像データリスト記憶部１５６に記憶することもできる。また、センサを撮影している映像の変化、つまり、センサの例えば正常表示から異常表示への変化に基づき上記と同様に異常が発生した時刻を特定し、その時刻前後の映像を取得して映像データリスト記憶部１５６に記憶することもできる。
【００５５】
次に、実施形態２における特徴量の検出に関して、図１２を用いて説明する。
図１２Ａは、ＲＧＢ値の継時的な変化を示したグラフである。図１２Ａにおいて、横軸は時間、縦軸はＲＧＢ値を示している。
図１２Ｂは、ＲＧＢ値の継時的な変化の差分を示したグラフである。図１２Ｂにおいて、横軸は時間、縦軸はＲＧＢ値の差分を示している。
図１２Ｃは、フレームの総画素数に対する、所定の感度以上となる画素数の割合の継時的な変化を示したグラフである。図１２Ｃにおいて、横軸は時間、縦軸はフレームの総画素数に対する所定の感度以上となる画素数の割合を示している。
なお、図１２Ａ及びＢのＲＧＢ値は、Ｒ値、Ｇ値、Ｂ値のいずれか一つの値（例えば、Ｇ値）を示している。また、図１２Ｃ中の破線は、特徴量の検出有無を判定する閾値を示しており、本実施形態では、２０％に設定している。
【００５６】
本実施形態では、正常時の映像データと、撮影装置３００により撮影されている映像データに関して、所定の時刻Ｔｎにおけるフレームを取得し、フレーム内の各画素のＲＧＢ値を計算する（図１２Ａ）。次に、前記各映像データのＲＧＢ値の差分の絶対値を計算し（図１２Ｂ）、フレームの総画素数に対する所定の感度以上となる画素数の割合を算出する（図１２Ｃ）。この計算処理を所定の時間間隔（Ｔｎ＋１−Ｔｎ、Ｔｎ＋２−Ｔｎ＋１、・・・）で実行する。
そして、所定の感度以上となる画素数の割合が閾値以上であるフレームが、例えば３フレーム以上、連続する場合に、特徴量が検出されたものと判定する（即ち、映像データ（画像）が変化したと判定する）。
【００５７】
次に、図１３を用いて、本実施形態に係るネットワークビデオレコーダ１００により映像データをリスト化して記憶するまでの処理を説明する。
ＮＶＲ１００は、撮影装置３００、又は映像データ記憶部１５０から監視対象とする映像データを取得する（Ｓ３０１）。
【００５８】
取得された映像データはモニタ２００に表示され、ユーザは、入力装置５００を用いて、表示画面よりユーザが設定した条件、ここでは監視対象とするエリアを指定する（Ｓ３０２）。
なお、モニタ２００に表示されるエリア（領域）全体を監視対象とする場合には、ステップＳ３０２における処理は不要となる。
【００５９】
ユーザは、監視対象エリアを指定すると（Ｓ３０２）、各画素のＲＧＢ値の差分を判定する所定の感度、及びフレームの差分を判定する閾値を設定する（Ｓ３０３）。
なお、監視対象エリア、並びに感度及び閾値の設定は、ＮＶＲ１００に接続される外部接続機器６００からも行うことができる。
【００６０】
ＮＶＲ１００は、監視対象エリア、並びに感度及び閾値が設定されているか、監視設定の有無を確認する（Ｓ３０４）。
監視設定がなされていない場合には（Ｓ３０４ Ｎｏ）、ＮＶＲ１００は、監視を開始することができないことから、監視設定の入力画面を継続して表示する。
【００６１】
ＮＶＲ１００は、設定項目が入力されていることを確認すると（Ｓ３０４ Ｙｅｓ）、映像データ記憶部１５０に格納されている映像データの一覧をモニタ２００上に表示する。
そして、ユーザが比較対象となる映像データを選択すると（Ｓ３０５）、ＮＶＲ１００は映像データ記憶部１５０から比較対象とする映像データ（例えば、正常時の映像データ）を取得し（Ｓ３０６）、監視を開始する。
【００６２】
ＮＶＲ１００は、ステップＳ３０１で取得した監視対象とする映像データの最初のフレームを取得する（Ｓ３０７）。
次に、ＮＶＲ１００は、ステップＳ３０６で取得した比較対象とする映像データの最初のフレームを取得する（Ｓ３０８）。
そして、監視対象とする映像データのフレームと、比較対象とする映像データのフレームを取得すると（Ｓ３０７、Ｓ３０８）、各フレーム内の画素毎のフレーム間におけるＲＧＢ値の差分の絶対値を計算する（Ｓ３０９）。
【００６３】
ＮＶＲ１００は、次に、計算された絶対値の各々が所定の感度以上となる画素数を算出し（Ｓ３１０）、その画素数のフレーム全体の画素数に対する割合が設定した閾値以上であるか否かを判定する（Ｓ３１１）。
なお、ステップＳ３１１においては、ステップＳ３１０において計算される画素数のフレーム全体の画素数に対する割合が設定した閾値以上になる回数をカウントし、そのカウントした回数が所定の回数以上になるか否かを同時に判定する。この場合において、ステップＳ３１０において計算される画素数のフレーム全体の画素数に対する割合が設定した閾値より小さくなると、カウントした回数をリセットする。
【００６４】
ステップＳ３１０において計算される画素数のフレーム全体の画素数に対する割合が設定した閾値未満である場合（Ｓ３１１ Ｎｏ）、またステップＳ３１０において計算される画素数のフレーム全体の画素数に対する割合が設定した閾値以上になる場合であっても、その閾値以上になる回数が所定の回数以上にならない場合（Ｓ３１１ Ｎｏ）には、ＮＶＲ１００は、ステップＳ３０７においてフレームを取得した時刻から所定時間、経過させた時刻を再設定して（Ｓ３１２）、再度ステップＳ３０７からの処理を実行する。
【００６５】
例えば、ステップＳ３０７において設定した時刻Ｔｎにおける監視対象とする映像データのフレームを取得し、次に、時刻Ｔｎにおける比較対象とする映像データのフレームを取得した場合（Ｓ３０８）であって、かつ、ステップＳ３０９、Ｓ３１０の処理が実行され、ステップＳ３１１において「Ｎｏ」が選択されると、ＮＶＲ１００は、ステップＳ３１２において、フレーム取得の設定時刻を所定時間、経過させた時刻Ｔｎ＋１を再設定して、ステップＳ３０７〜Ｓ３１０の処理を、ステップＳ３１０で算出した画素数のフレーム全体の画素数に対する割合が閾値以上になる回数をカウントし、その回数が所定の回数以上になるまで（Ｓ３１１ Ｙｅｓ）繰り返す。
なお、ステップＳ３１２において、経過させる時間の長さは、監視対象とする映像データの内容、また画像制御記録装置の処理性能を考慮して決定する。
【００６６】
そして、ステップＳ３１１で「Ｙｅｓ」になると、ＮＶＲ１００は、設定情報取得部１５２において設定された情報（記憶時間）に従って映像データをトリミングし、設定情報取得部１５２において設定された情報（特定のイベント、例えば、ネジのインサート不良）に関連付けられたマークでマーキングし、さらに時刻、撮影装置３００のＩＤに関連付け、リスト化して映像データリスト記憶部１５６に記憶する（Ｓ３１３）。
【００６７】
ＮＶＲ１００は、映像データをリスト化して記憶すると（Ｓ３１３）、ユーザからの停止命令の有無、又は設定情報取得部１５２において設定された情報を確認し、映像データの記憶を終了するか否かを判定する（Ｓ３１４）。
ユーザからの停止命令等により、映像データの記憶を終了する場合（Ｓ３１４ Ｙｅｓ）、監視を終了し、映像データの記憶を継続する場合（Ｓ３１４ Ｎｏ）、ＮＶＲ１００は、ステップＳ３１２においてフレーム取得の設定時刻を所定時間経過させて、ステップＳ３０７からの処理を繰り返し実行する。
【００６８】
（実施形態３）
本実施形態では、撮影装置３００により撮影されている映像において、ＮＶＲ１００は、所定の時間間隔でフレーム内の画素のＲＧＢ値を算出し、その算出されたＲＧＢ値が予め設定した所定の感度以上になる画素をカウントする。そして、そのカウントされた画素数が閾値以上になる場合に、ＮＶＲ１００は、その閾値以上になる映像を特徴映像として取得し、マーカー設定部１５７によりマーキングした上で、映像データリスト記憶部１５６にリスト化して記憶する。
例えば、図１４に示すように、機械に赤色警光灯と緑色作業灯を設置している場合において、ユーザが撮影装置３００により撮影した映像からユーザが設定する条件である所定のエリアとして赤色警光灯及び緑色作業灯を選択すると、ＮＶＲ１００は、撮影されている映像データより、Ｒ値及びＧ値を算出し、その算出したＲ値及びＧ値が予め設定されたＲ値及びＧ値の所定の感度以上となる画素数をカウントし、そのカウントされる画素数の、フレームの総画素数に対する割合が閾値以上となる映像を特徴映像として取得し、マーカー設定部１５７によりマーキングした上で、作業時刻、作業名等でリスト化して、映像データリスト記憶部１５６に記憶する。
【００６９】
次に、特徴映像の検出に関して、図１５を用いて説明する。
図１５Ａは、ＲＧＢ値の継時的な変化を示したグラフである。図１５Ａにおいて、横軸は時間、縦軸はＲＧＢ値を示している。
図１５Ｂは、フレームの総画素数に対する所定の感度以上となる画素数の割合の継時的な変化を示したグラフである。図１５Ｂにおいて、横軸は時間、縦軸はフレームの総画素数に対する所定の感度以上となる画素数の割合を示している。
なお、図１５Ａ及びＢのＲＧＢ値は、Ｒ値、Ｇ値、Ｂ値のいずれか一つの値（例えば、Ｇ値）を示している。また、図１５Ｂ中の破線は、特徴量の検出有無を判定する閾値を示しており、本実施形態では、２０％に設定している。
【００７０】
本実施形態では、所定の時刻Ｔｎにおけるフレームを取得し、フレームの各画素のＲ値、Ｇ値、Ｂ値を計算する（図１５Ａ）。
次に、各画素に関して、Ｒ値、又はＧ値が、予め設定した所定の感度以上になるか判定し、所定の感度以上となる画素の数をカウントし、そのカウントされる画素数の、フレームの総画素数に対する割合を算出する（図１５Ｂ）。この計算処理を所定の時間間隔（Ｔｎ＋１−Ｔｎ、Ｔｎ＋２−Ｔｎ＋１、・・・）で実行する。
【００７１】
次に、図１６を用いて、本発明の画像記憶再生制御装置の一実施形態に係るネットワークビデオレコーダ１００により映像データをリスト化して記憶するまでの処理を説明する。
ＮＶＲ１００は、撮影装置３００、又は映像データ記憶部１５０から監視対象とする映像データを取得する（Ｓ４０１）。
取得された映像データはモニタ２００に表示され、ユーザは、入力装置５００を用いて、表示画面よりユーザが設定する条件である監視対象エリアとして、機械に設置されている赤色警光灯と緑色作業灯を指定する（Ｓ４０２）。
【００７２】
ユーザは、監視対象エリアを指定すると（Ｓ４０２）、画素のＲ値、又はＧ値が、所定の値以上になるか否かを判定する所定の感度、及びフレームの差分を判定する閾値を設定する（Ｓ４０３）。
なお、監視対象エリア、感度及び閾値の設定は、ＮＶＲ１００に接続される外部接続機器６００からも行うことができる。
【００７３】
ＮＶＲ１００は、監視対象エリア、並びに感度及び閾値が設定されているか、監視設定の有無を確認する（Ｓ４０４）。
監視設定がなされていない場合には（Ｓ４０４ Ｎｏ）、ＮＶＲ１００は、監視を開始することができないことから、監視設定に関する入力画面を継続して表示する。
ＮＶＲ１００は、設定項目が入力されていることを確認すると（Ｓ４０４ Ｙｅｓ）、監視を開始する。
【００７４】
ＮＶＲ１００は、ステップＳ４０１で取得した監視対象とする映像データの最初のフレームを取得し（Ｓ４０５）、フレーム内の各画素のＲ値、Ｇ値、Ｂ値を計算する（Ｓ４０６）。
ＮＶＲ１００は、次に、Ｒ値が所定の感度以上となる画素数、またＧ値が所定の感度以上となる画素数を算出し（Ｓ４０７）、その画素数のフレーム全体の画素数に対する割合が設定した閾値以上であるか否かを各々、判定する（Ｓ４０８）。
【００７５】
そして、Ｒ値が所定の感度以上となる画素数のフレーム全体の画素数に対する割合が閾値未満であり、かつＧ値が所定の感度以上となる画素数のフレーム全体の画素数に対する割合が設定した閾値未満である場合には（Ｓ４０８ Ｎｏ）、ＮＶＲ１００は、設定情報取得部１５２において設定された情報（記憶時間）に従って映像データをトリミングし、設定情報取得部１５２において設定された情報（特定のイベント、ここでは、機械の段取り換え）に関連付けられたマークでマーキングし、さらに時刻、撮影装置３００のＩＤに関連付け、リスト化して映像データリスト記憶部１５６に記憶する（Ｓ４０９）。
ＮＶＲ１００は、映像データをリスト化して記憶すると（Ｓ４０９）、ユーザからの停止命令の有無、又は設定情報取得部１５２において設定された情報を確認し、映像データの記憶を終了するか否かを判定する（Ｓ４１０）。
ユーザからの停止命令等により映像データの記憶を終了する場合（Ｓ４１０ Ｙｅｓ）、監視を終了し、映像データの記憶を継続する場合（Ｓ４１０ Ｎｏ）、ＮＶＲ１００は、ステップＳ４１６においてフレーム取得の時刻を所定時間経過させて、ステップＳ４０５からの処理を繰り返し実行する。
【００７６】
また、ステップＳ４０８において、Ｒ値が所定の感度以上となる画素数のフレーム全体の画素数に対する割合、又は、Ｇ値が所定の感度以上となる画素数のフレーム全体の画素数に対する割合のいずれかが閾値以上になる場合には（Ｓ４０８ Ｙｅｓ）、ＮＶＲ１００は、Ｒ値、又はＧ値のどちらが閾値以上であるかを判定する（Ｓ４１１）。
判定の結果、Ｒ値が所定の感度以上となる画素数のフレーム全体の画素数に対する割合が閾値以上である場合には（Ｓ４１１ Ｒ値）、ＮＶＲ１００は、警告を発報する（Ｓ４１２）。
なお、図１６のステップＳ４１１では、実施形態１のステップＳ１０８及び実施形態２のステップＳ３１０において適用したノイズ対策に関する処理を組み入れていないが、実施形態１及び実施形態２と同様に、当該処理を実行してもよい。
【００７７】
ＮＶＲ１００は、警告を発報すると（Ｓ４１２）、設定情報取得部１５２において設定された情報（記憶時間）に従って映像データをトリミングし、設定情報取得部１５２において設定された情報（特定のイベント、ここでは、機械の故障）に関連付けられたマークでマーキングし、さらに時刻、撮影装置３００のＩＤに関連付け、リスト化して映像データリスト記憶部１５６に記憶する（Ｓ４１３）。
ＮＶＲ１００は、映像データをリスト化して記憶すると（Ｓ４１３）、ユーザからの停止命令の有無、又は設定情報取得部１５２において設定された情報を確認し、映像データの記憶を終了するか否かを判定する（Ｓ４１０）。
ユーザからの停止命令等により映像データの記憶を終了する場合（Ｓ４１０ Ｙｅｓ）、監視を終了し、映像データの記憶を継続する場合（Ｓ４１０ Ｎｏ）、ＮＶＲ１００は、ステップＳ４１６においてフレーム取得の時刻を所定時間経過させて、ステップＳ４０５からの処理を繰り返し実行する。
【００７８】
また、ステップＳ４１１において、Ｇ値が所定の感度以上となる画素数のフレーム全体の画素数に対する割合が閾値以上であると判定された場合には（Ｓ４１１ Ｇ値）、ＮＶＲ１００は、時刻管理部１５１より現在時刻、又は映像データに関連付けられた時刻を取得する。
なお、図１６には図示していないが、ステップＳ４１１において、Ｇ値が所定の感度以上となる画素数のフレーム全体の画素数に対する割合が閾値以上であると判定された後に、処理が継続され、ステップＳ４０８、又はステップＳ４１１において、Ｇ値が所定の感度以上となる画素数のフレーム全体の画素数に対する割合が設定した閾値未満となった場合にも（Ｓ４０８ Ｎｏ又はＳ４１１ Ｒ値）、ＮＶＲ１００は、時刻管理部１５１より現在時刻、又は映像データに関連付けられた時刻を取得する。このように、ＮＶＲ１００では、作業灯の点灯時刻と消灯時刻を取得することで、機械の稼働率を自動的に計算することができる。また、算出された稼働率は、映像データに関連付けられて、記憶される。
【００７９】
ＮＶＲ１００は、時刻を取得すると（Ｓ４１４）、設定情報取得部１５２において設定された情報（記憶時間）に従って映像データをトリミングし、設定情報取得部１５２において設定された情報（特定のイベント、ここでは、機械の正常動作）に関連付けられたマークでマーキングし、さらに時刻、撮影装置３００のＩＤに関連付け、リスト化して映像データリスト記憶部１５６に記憶する（Ｓ４１５）。
ＮＶＲ１００は、映像データをリスト化して記憶すると（Ｓ４１５）、ユーザからの停止命令の有無、又は設定情報取得部１５２において設定された情報を確認し、監視を継続するか否かを判定する（Ｓ４１０）。
ユーザからの停止命令等により映像データの記憶を終了する場合（Ｓ４１０ Ｙｅｓ）、監視を終了し、映像データの記憶を継続する場合（Ｓ４１０ Ｎｏ）、ＮＶＲ１００は、ステップＳ４１６においてフレーム取得の時刻を所定時間経過させて、ステップＳ４０５からの処理を繰り返し実行する。
【００８０】
以上説明したように、本発明の実施形態に係るＮＶＲによれば、撮影された映像（映像データ）の差分を検出することで、ユーザの指定した条件に基づく映像を抽出し、その抽出された映像にユーザにより設定された情報（イベント）に関連付けられたマークでマーキングし、リスト化して記憶することで、ユーザは容易に特徴的な映像を確認することができる。
したがって、本発明の実施形態に係るＮＶＲを、例えば、製造ラインの監視システムに用いることで、製造ラインにおける不具合等を容易に検知、確認することができ、不具合解析にかかる作業工数を短縮することができる。
【符号の説明】
【００８１】
１００…ネットワークビデオレコーダ、１１０…外部映像入力部、１２０…メモリスロット、１３０…ＵＳＢ等接続インタフェース、１４０…ユーザインタフェース、１５０…映像データ記憶部、１５１…時刻管理部、１５２…設定情報取得部、１５３…特徴量検出部、１５４…特徴映像取得部、１５５…グラフ生成部、１５６…映像データリスト記憶部、１５７…マーカー設定部、１５８…表示制御部、１６０…外部映像出力部、１７０…ＬＡＮポート、１８０…無線インタフェース、２００…表示装置、３００…撮影装置、４００…外部記憶装置、５００…入力装置、６００…外部接続機器。
【先行技術文献】
【特許文献】
【００８２】
【特許文献１】特許公開２００６−１９７２２３号公報
【図１】
0006459256.tif 000002
【図２】
0006459256.tif 000003
【図３】
0006459256.tif 000004
【図４】
0006459256.tif 000005
【図５】
0006459256.tif 000006
【図６】
0006459256.tif 000007
【図７】
0006459256.tif 000008
【図８】
0006459256.tif 000009
【図９】
0006459256.tif 000010
【図１０】
0006459256.tif 000011
【図１１】
0006459256.tif 000012
【図１２】
0006459256.tif 000013
【図１３】
0006459256.tif 000014
【図１４】
0006459256.tif 000015
【図１５】
0006459256.tif 000016
【図１６】
0006459256.tif 000017