(57)【要約】【課題】  侵入者などの移動物体として検出される変化領域が複数に分割されても、変化領域の全体の特徴を表す特徴量を記録して、侵入者などの移動物体が現れている映像を精度よく検索することができるようにする。【解決手段】  イベント検出部４が侵入者である可能性が高い変化領域を複数特定すると、個々の変化領域を特徴量の抽出候補領域に設定するとともに、各変化領域を相互に組み合わせて、その組み合わせ領域を特徴量の抽出候補領域に設定する抽出候補領域設定部５を設け、その抽出候補領域設定部５により設定された抽出候補領域の特徴量を抽出し、その特徴量を映像と関連付けて記録する。【選択図】        図１
2006186808.tif 000002
【特許請求の範囲】
【請求項１】
映像の変化領域を検出する変化領域検出手段と、上記変化領域検出手段により複数の変化領域が検出された場合、個々の変化領域を特徴量の抽出候補領域に設定するとともに、各変化領域を相互に組み合わせて、その組み合わせ領域を特徴量の抽出候補領域に設定する抽出候補領域設定手段と、上記抽出候補領域設定手段により設定された抽出候補領域の特徴量を抽出する特徴量抽出手段と、上記特徴量抽出手段により抽出された特徴量を映像と関連付けて記録する記録手段とを備えた映像記録装置。
【請求項２】
抽出候補領域設定手段は、変化領域検出手段により検出された変化領域が検出対象の移動物体である可能性を判定し、その変化領域が検出対象の移動物体である可能性が高いと認定する場合に限り、その変化領域を特徴量の抽出候補領域に設定することを特徴とする請求項１記載の映像記録装置。
【請求項３】
抽出候補領域設定手段は、変化領域検出手段により検出された変化領域の個数が規定数を上回る場合、各変化領域の属性を選択基準にして規定数の変化領域を選択し、未選択の変化領域を廃棄することを特徴とする請求項１または請求項２記載の映像記録装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、映像から侵入者などの移動物体を検出し、その移動物体の色ヒストグラムなどの特徴量を抽出して、その特徴量を映像と関連付けて記録する映像記録装置に関するものである。
【背景技術】
【０００２】
従来の映像記録装置は、動画像のフレーム中から動体部分の画像データである変化領域を検出し、その変化領域の特徴量を抽出する特徴量抽出手段を備えている。
即ち、映像記録装置の特徴量抽出手段は、動画像の中から変化領域を検出すると、所定数の色彩を基準にして変化領域を１以上の色領域に分割し、各色領域の大きさや色彩を特徴量として抽出する。
そして、映像記録装置は、変化領域が現れている前後の映像と関連付けて、各色領域の特徴量を記録する。
【０００３】
また、従来の映像記録装置は、侵入者が現れている映像を検索する際、ユーザが検索キーとして特徴量を入力すると、その検索キーである特徴量と過去に記録されている特徴量とのマッチング処理を実施して、その検索キーと一致する特徴量を検索する検索手段を備えており、その検索手段は、検索キーと一致する特徴量が存在する場合、その特徴量と関連付けられている映像を再生する（例えば、特許文献１参照）。
【０００４】
【特許文献１】特開平１０−２０７８９７号公報（段落番号［００２２］、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来の映像記録装置は以上のように構成されているので、例えば、カメラにより撮影される映像は、日照条件、情景の変動、背景とのコントラストの変動など、諸条件の変動により変化する。このため、侵入者などの移動物体として検出される変化領域の全体の特徴量が記録されず、例えば、頭部と胴体、あるいは、上半身と下半身など、変化領域が複数の色領域に分割されて、各色領域の特徴量が記録される状況が多く発生する。各色領域の特徴量だけが記録された場合、ユーザが侵入者の全体の特徴を表す検索キーを入力しても、その侵入者が現れている映像を検索することができず、映像の検索精度が劣化するなどの課題があった。
【０００６】
この発明は上記のような課題を解決するためになされたもので、侵入者などの移動物体として検出される変化領域が複数に分割されても、変化領域の全体の特徴を表す特徴量を記録して、侵入者などの移動物体が現れている映像の検索精度を高めることができる映像記録装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る映像記録装置は、変化領域検出手段により複数の変化領域が検出された場合、個々の変化領域を特徴量の抽出候補領域に設定するとともに、各変化領域を相互に組み合わせて、その組み合わせ領域を特徴量の抽出候補領域に設定する抽出候補領域設定手段を設け、その抽出候補領域設定手段により設定された抽出候補領域の特徴量を抽出し、その特徴量を映像と関連付けて記録するようにしたものである。
【発明の効果】
【０００８】
この発明によれば、変化領域検出手段により複数の変化領域が検出された場合、個々の変化領域を特徴量の抽出候補領域に設定するとともに、各変化領域を相互に組み合わせて、その組み合わせ領域を特徴量の抽出候補領域に設定する抽出候補領域設定手段を設け、その抽出候補領域設定手段により設定された抽出候補領域の特徴量を抽出し、その特徴量を映像と関連付けて記録するように構成したので、侵入者などの移動物体として検出される変化領域が複数に分割されても、変化領域の全体の特徴を表す特徴量を記録して、侵入者などの移動物体が現れている映像の検索精度を高めることができる効果がある。
【発明を実施するための最良の形態】
【０００９】
実施の形態１．
図１はこの発明の実施の形態１による映像記録装置を示す構成図であり、図において、映像入力部１は例えばカメラにより撮影される映像を入力する。
変化領域検出部２は映像入力部１により今回入力された映像（現スキャン時の映像）と前回入力された映像（前スキャン時の映像）の差分を求めて無変化領域を除去することにより、変化領域を検出する。
領域統合処理部３は変化領域検出部２により検出された変化領域毎に異なるラベルを付加する一方、各変化領域の移動方向や移動速度などを監視して、各変化領域の統合処理を実施する。また、統合処理後の変化領域のラベル情報（例えば、面積、重心位置、縦横の寸法など）を算出する。
なお、映像入力部１、変化領域検出部２及び領域統合処理部３から変化領域検出手段が構成されている。
【００１０】
イベント検出部４は領域統合処理部３により算出されたラベル情報を参照して、当該変化領域が侵入者などの移動物体である可能性を判定し、統合処理後の変化領域のうち、侵入者などの移動物体である可能性が高い変化領域のみを出力する。
抽出候補領域設定部５はイベント検出部４から複数の変化領域が出力された場合、個々の変化領域を特徴量の抽出候補領域に設定するとともに、各変化領域を相互に組み合わせて、その組み合わせ領域を特徴量の抽出候補領域に設定する。
なお、イベント検出部４及び抽出候補領域設定部５から抽出候補領域設定手段が構成されている。
【００１１】
特徴量抽出部６はＮ台実装され、抽出候補領域設定部５により設定された抽出候補領域の個数分だけ起動し、個々の変化領域の特徴量、または、組み合わせ領域の特徴量を抽出する。なお、特徴量抽出部６は特徴量抽出手段を構成している。
特徴量記録部７は特徴量抽出部６により抽出された特徴量を記録する。映像記録部８は侵入者などの移動物体が現れている映像を記録する。
関連付けインデックス記録部８は特徴量記録部７に記録された特徴量と映像記録部８に記録された映像の関連付けを示すインデックスを記録する。
なお、特徴量記録部７、映像記録部８及び関連付けインデックス記録部９から記録手段が構成されている。
図２はこの発明の実施の形態１による映像記録装置の処理内容を示すフローチャートである。
【００１２】
次に動作について説明する。
映像入力部１は、例えばカメラにより撮影される静止画の映像を所定時間おきに入力する。あるいは、動画像の映像を連続的に入力する（ステップＳＴ１）。
変化領域検出部２は、映像入力部１により今回入力された映像（現スキャン時の映像）と、前回入力された映像（前スキャン時の映像）との差分処理を実施する。
これにより、現スキャン時の映像と前スキャン時の映像の同じ位置に映され、かつ、形状や大きさが変化していない無変化領域が除去され、変化領域のみが検出される（ステップＳＴ２）。
【００１３】
領域統合処理部３は、変化領域検出部２が変化領域を検出すると、その変化領域毎に異なるラベルを付加する。
また、領域統合処理部３は、各変化領域の移動方向や移動速度などを監視し、例えば、移動方向や移動速度などが一致しており、かつ、隣り合う変化領域の隙間が例えば３ドット未満であれば、隣り合う変化領域は一塊の変化領域であると認定し、隣り合う変化領域を統合する（ステップＳＴ３）。
ただし、領域統合処理部３が上記の統合処理を実施しても、日照条件などの影響により、同一の侵入者の変化領域であっても、複数の変化領域に分割されたまま統合されないことがある。
領域統合処理部３は、各変化領域の統合処理を実施したのち、統合処理後の変化領域のラベル情報（例えば、面積、重心位置、縦横の寸法など）を算出する。
【００１４】
イベント検出部４は、領域統合処理部３が統合処理後の変化領域のラベル情報を算出すると、そのラベル情報を参照して、当該変化領域が侵入者などの移動物体である可能性を判定する。
例えば、変化領域の面積が所定の基準面積Ｓｍｉｎより小さい場合、その変化領域は人間である可能性が低いので、侵入者である可能性は低いものと判断する。また、変化領域の面積が所定の基準面積Ｓｍａｘより大きい場合も、その変化領域は人間である可能性が低いので、侵入者である可能性は低いものと判断する。
また、変化領域の縦横の比が所定の基準比ＸＹと比べて、著しく異なるような場合にも、その変化領域は人間である可能性が低いので、侵入者である可能性は低いものと判断する。
したがって、イベント検出部４は、変化領域が予め用意されている基準の全てを満足するとき、侵入者である可能性が高いと判断し、当該変化領域のみを抽出候補領域設定部５に出力する（ステップＳＴ４）。
【００１５】
抽出候補領域設定部５は、例えば、図４のスクリーンＳ１のように、イベント検出部４から１つの変化領域のみが出力された場合、１つの変化領域Ａを特徴量の抽出候補領域に設定して、１台の特徴量抽出部６を起動する（ステップＳＴ５）。
抽出候補領域設定部５は、イベント検出部４から複数の変化領域が出力された場合、個々の変化領域を特徴量の抽出候補領域に設定するとともに、各変化領域を相互に組み合わせて、その組み合わせ領域を特徴量の抽出候補領域に設定する。そして、設定数分の特徴量抽出部６を起動する（ステップＳＴ５）。
例えば、図４のスクリーンＳ２のように、２つの変化領域が出力された場合（首の部分の変化領域、首より下の部分の変化領域）、２つの変化領域Ａ，Ｂをそれぞれ特徴量の抽出候補領域に設定し、また、２つの変化領域Ａ，Ｂの組み合わせ領域Ａ＋Ｂを特徴量の抽出候補領域に設定する。
【００１６】
また、例えば、図４のスクリーンＳ３のように、３つの変化領域が出力された場合（首の部分の変化領域、胴体の部分の変化領域、足の部分の変化領域）、３つの変化領域Ａ，Ｂ，Ｃをそれぞれ特徴量の抽出候補領域に設定し、また、３つの変化領域Ａ，Ｂ，Ｃの組み合わせ領域Ａ＋Ｂ，Ａ＋Ｃ，Ｂ＋Ｃ，Ａ＋Ｂ＋Ｃをそれぞれ特徴量の抽出候補領域に設定する。
また、例えば、図４のスクリーンＳ４のように、４つの変化領域が出力された場合（首の部分の変化領域、胴体の部分の変化領域、手の部分の変化領域、足の部分の変化領域）、４つの変化領域Ａ，Ｂ，Ｃ，Ｄをそれぞれ特徴量の抽出候補領域に設定し、また、４つの変化領域Ａ，Ｂ，Ｃ，Ｄの組み合わせ領域Ａ＋Ｂ，Ａ＋Ｃ，Ａ＋Ｄ，Ｂ＋Ｃ，Ｂ＋Ｄ，Ｃ＋Ｄ，Ａ＋Ｂ＋Ｃ，Ａ＋Ｂ＋Ｄ，Ａ＋Ｃ＋Ｄ，Ｂ＋Ｃ＋Ｄ，Ａ＋Ｂ＋Ｃ＋Ｄをそれぞれ特徴量の抽出候補領域に設定する。
【００１７】
特徴量抽出部６は、抽出候補領域設定部５から起動指令を受けて、特徴量の抽出候補領域を受けると、抽出候補領域設定部５により設定された抽出候補領域の特徴量を抽出する（ステップＳＴ６）。
例えば、図４のスクリーンＳ３のように、３つの変化領域が出力された場合（首の部分の変化領域、胴体の部分の変化領域、足の部分の変化領域）、３つの変化領域Ａ，Ｂ，Ｃの特徴量と、４つの組み合わせ領域Ａ＋Ｂ，Ａ＋Ｃ，Ｂ＋Ｃ，Ａ＋Ｂ＋Ｃの特徴量とを抽出する。
【００１８】
ここで、図３は特徴量の抽出例を示す説明図である。
図３の抽出例（１）では、侵入者などの変化領域の面積、幅、高さ、重心の位置（ｘ座標、ｙ座標）などのモーメントデータからなる形状特徴の組を抽出し、これら形状特徴の組を特徴量として抽出している。
また、図３の抽出例（２）では、侵入者などの変化領域の色情報であるＲＧＢ３原色のＲ値、Ｇ値、Ｂ値を抽出し、そのＲ値、Ｇ値、Ｂ値から３次元空間中でのヒストグラムを特徴量として算出している。
【００１９】
図３の抽出例（３）では、侵入者などの変化領域内の小領域でフレーム間の動きベクトルのｘ成分、ｙ成分を抽出し、その動きベクトルのｘ成分、ｙ成分から３次元空間中でのヒストグラムを特徴量として算出している。
また、図３の抽出例（４）では、侵入者などの変化領域の輪郭の曲率を輪郭線上でのサンプリングレートを変化させながら算出し、その輪郭線上でのサンプリングにより算出した曲率の列を特徴量としている。
【００２０】
特徴量記録部７は、１以上の特徴量抽出部６が変化領域の特徴量を抽出すると、その変化領域の特徴量を記録する（ステップＳＴ７）。
映像記録部８は、イベント検出部４が侵入者である可能性が高い変化領域を特定すると、その変化領域が含まれている映像と、その前後の映像を記録する（ステップＳＴ８）。
関連付けインデックス記録部８は、特徴量記録部７に記録された特徴量と映像記録部８に記録された映像の関連付けを示すインデックスを記録する（ステップＳＴ９）。
上記ステップＳＴ１〜ＳＴ２の処理を映像の入力が終了するまで繰り返し実施する（ステップＳＴ１０）
【００２１】
これにより、侵入者が現れている映像を検索する際、ユーザが侵入者の全体の特徴を表す特徴量（複数の変化領域が組み合わされている組み合わせ領域の特徴量）を検索キーとして入力すれば、その侵入者の全体の特徴量と関連付けられている映像を検索して再生することができる。
【００２２】
以上で明らかなように、この実施の形態１によれば、イベント検出部４が侵入者である可能性が高い変化領域を複数特定すると、個々の変化領域を特徴量の抽出候補領域に設定するとともに、各変化領域を相互に組み合わせて、その組み合わせ領域を特徴量の抽出候補領域に設定する抽出候補領域設定部５を設け、その抽出候補領域設定部５により設定された抽出候補領域の特徴量を抽出し、その特徴量を映像と関連付けて記録するように構成したので、侵入者などの移動物体として検出される変化領域が複数に分割されても、変化領域の全体の特徴を表す特徴量を記録して、侵入者などの移動物体が現れている映像の検索精度を高めることができる効果を奏する。
【００２３】
また、この実施の形態１によれば、変化領域検出部２により検出された変化領域が侵入者の移動物体である可能性を判定し、その変化領域が侵入者の移動物体である可能性が高いと認定する場合に限り、その変化領域を特徴量の抽出候補領域に設定するように構成したので、侵入者の移動物体である可能性が低い変化領域を排除して、不要な特徴量の記録を防止することができる効果を奏する。
【００２４】
実施の形態２．
上記実施の形態１では、イベント検出部４が侵入者である可能性が高い変化領域を複数特定すると、イベント検出部４により特定された変化領域の全てを特徴量の抽出候補領域に設定するものについて示したが、イベント検出部４により特定された変化領域の全てを特徴量の抽出候補領域に設定すると、特徴量の抽出時間等が増大して、実用的でなくなることがある。
そこで、この実施の形態２では、イベント検出部４により特定された変化領域の個数が規定数を上回る場合、抽出候補領域設定部５が各変化領域の属性を選択基準にして規定数の変化領域を選択し、未選択の変化領域を廃棄するようにしている。
【００２５】
例えば、抽出候補領域設定部５は、イベント検出部４により特定された変化領域の個数が規定数（例えば、４個）を上回る場合、各変化領域の属性（例えば、ラベル情報に含まれている面積）を相互に比較し、面積が大きい変化領域から順番に４個選択し、４個の変化領域を特徴量の抽出候補領域に設定する。また、４個の変化領域の組み合わせ領域を特徴量の抽出候補領域に設定する。
一方、面積が小さい５番目以下の変化領域を廃棄して、その変化領域を特徴量の抽出候補領域から除外するようにする。
【００２６】
以上で明らかなように、この実施の形態２によれば、イベント検出部４により特定された変化領域の個数が規定数を上回る場合、抽出候補領域設定部５が各変化領域の属性を選択基準にして規定数の変化領域を選択し、未選択の変化領域を廃棄するように構成したので、検索精度の劣化を最小限に抑制しつつ、特徴量の抽出時間等の増加を防止することができる効果を奏する。
【００２７】
実施の形態３．
上記実施の形態１では、侵入者などの変化領域の色情報であるＲＧＢ３原色のＲ値、Ｇ値、Ｂ値を抽出し、そのＲ値、Ｇ値、Ｂ値から３次元空間中でのヒストグラムを特徴量として算出する抽出例を示したが（図３の抽出例（２）を参照）、図５に示すように、簡単化のためにヒストグラムを１次元で表現するようにしてもよい。
例えば、図５のスクリーンＳ１のように、イベント検出部４から１つの変化領域のみが出力された場合、１つの変化領域Ａに対応するヒストグラムが特徴量として抽出される。
また、図５のスクリーンＳ２のように、イベント検出部４から２つの変化領域が出力された場合、２つの変化領域Ａ，Ｂに対応するヒストグラムと、変化領域Ａ，Ｂの組み合わせ領域に対応するヒストグラムとが特徴量として抽出される。したがって、合計３個のヒストグラムが特徴量として抽出される。
【００２８】
図５のスクリーンＳ３のように、イベント検出部４から３つの変化領域が出力された場合、３つの変化領域Ａ，Ｂ，Ｃに対応するヒストグラムと、変化領域Ａ，Ｂ，Ｃの組み合わせ領域に対応するヒストグラムとが特徴量として抽出される。したがって、合計７個のヒストグラムが特徴量として抽出される。
また、図５のスクリーンＳ４のように、イベント検出部４から４つの変化領域が出力された場合、４つの変化領域Ａ，Ｂ，Ｃ，Ｄに対応するヒストグラムと、変化領域Ａ，Ｂ，Ｃ，Ｄの組み合わせ領域に対応するヒストグラムとが特徴量として抽出される。したがって、合計１５個のヒストグラムが特徴量として抽出される。
【図面の簡単な説明】
【００２９】
【図１】この発明の実施の形態１による映像記録装置を示す構成図である。
【図２】この発明の実施の形態１による映像記録装置の処理内容を示すフローチャートである。
【図３】特徴量の抽出例を示す説明図である。
【図４】特徴量の抽出候補領域の設定例を示す説明図である。
【図５】特徴量の抽出例を示す説明図である。
【符号の説明】
【００３０】
１  映像入力部（変化領域検出手段）、２  変化領域検出部（変化領域検出手段）、３  領域統合処理部（変化領域検出手段）、４  イベント検出部（抽出候補領域設定手段）、５  抽出候補領域設定部（抽出候補領域設定手段）、６  特徴量抽出部（特徴量抽出手段）、７  特徴量記録部（記録手段）、８  映像記録部（記録手段）、９  関連付けインデックス記録部（記録手段）。
【図１】
2006186808.tif 000003
【図２】
2006186808.tif 000004
【図３】
2006186808.tif 000005
【図４】
2006186808.tif 000006
【図５】
2006186808.tif 000007