(57)【要約】時刻ｔにおけるマクロブロックｉのエネルギー量をＰｉ（ｌ、ｔ）とすると、時刻（ｔ＋Ｔ）におけるマクロブロックｉのエネルギー量は、Ｐｉ（ｌ、ｔ＋Ｔ）と表せる。エネルギー量Ｐｉ（ｌ、ｔ）と、Ｐｉ（ｌ、ｔ＋Ｔ）とを比較すれば、時刻ｔから時間Ｔだけ経過したときのエネルギー量の変化がわかる。この変化の状態から、被写体の状態を監視することができる。
2004079681.tif 000002
【特許請求の範囲】
【請求項１】
被写体を認識してエネルギー量に変換する視覚センサと、
前記視覚センサからのエネルギー量を監視し、前記エネルギー量の経時変化と閾値とに基づいて警報を発する解析手段とを有することを特徴とする監視装置。
【請求項２】
前記視覚センサは、被写体像を分割した分割領域ごとにエネルギー量を求めることを特徴とする請求項１に記載の監視装置。
【請求項３】
オリジナルイメージに対応するデジタルデータにおける所定領域のエネルギー量を演算し、且つ比較対象イメージに対応するデジタルデータにおける所定領域のエネルギー量を演算する演算手段と、
前記演算手段により演算された２つのエネルギー量を比較することによって、前記比較対象イメージが前記オリジナルイメージに基づいて形成されたものか否かを判定する判定手段を有することを特徴とする監視装置。
【発明の詳細な説明】
【技術分野】  本発明は、監視装置に関し、特に人間の目の機能に近いセンサを有する監視装置に関する。
【背景技術】  近年において、監視装置は、工場のラインに配置されて不良品チェックに用いられたり、店舗・住居に配置されてセキュリティ用途など幅広い分野で利用されている。ここで、従来の監視装置では、通常ＣＣＤなどの撮像素子を用いて被写体を撮像し、得られた画像信号に基づいて画像認識を行って異常があるか否かを判定している。
しかるに、従来の監視装置における撮像素子から得られた画像信号に基づく画像認識は、監視対象となる被写体の時系列的な変化をとらえ、例えば過去の画像と現在の画像とが一致するか否か判定するものであり、一致しない場合に警報を出すなどの処置を執っている。ところが、無人の倉庫などはともかくとして、街中などに撮像素子を設置した場合、過去の画像と現在の画像とが完全に一致する場合はほとんどないため、得られた画像信号から異常か否かを判定することが困難であった。
このような問題に対して、特開２０００−３４１６７９号公報においては、監視画像を複数のタイミングで撮像することにより背景画像を取得して登録し、それと現在の画像とを比較することで、例えば背景に存在するイルミネーションの点滅などが行われた場合でも、それを異常と判断することを回避している。
しかるに、イルミネーションは固定され、その点滅は定期的に行われるものであるため、それを背景画像として登録することは容易である。ところが、雑踏などのように、刻一刻と被写体が変わるため二度と同じ光景に遭遇することがないような状況では、上述の技術を用いて背景画像を登録できたとしても、それを用いて異常か否かを判断することは困難である。一方、人間の目は、例えば雑踏などをぼんやり眺めていても、大きな変化がなければそれをバックグラウンドノイズとして見逃すことができるが、例えば奇妙な格好をした人が通り過ぎると、直ちにそれを認識し注目できるという特性を有している。
又、違法なコピーを防止するために、映像信号に、商標などのすかし（ｗａｔｅｒｍａｒｋｉｎｇ）を入れる技術が知られている。しかるに、すかしを入れるということは、本来あるべき映像信号を他の信号に置き換えるということであり、その量が多いほどオリジナル映像を損なう恐れがある。又、すかしを入れた映像信号に、繰り返しの圧縮、アナログ変換、フォーマット変換等の処理を加えることで、すかしが破損し、識別信号として機能しなくなる恐れもある。特に、動画信号にすかしを入れる場合には、静止画のすかしと差別化ができず、すかし技術は常に有効ではないという問題がある。
【発明の開示】
本発明は、このような従来の問題を解決するためになされたもので、より人間の目の特性に近似したセンサを備えた監視装置を提供することを目的とする。
本発明の別な目的は、オリジナルの画像信号もしくは映像信号を毀損することなく、他の画像もしくは映像がコピーされたものかどうか判定できる監視装置を提供することを目的とする。
本発明の監視装置は、被写体を認識してエネルギー量に変換する視覚センサと、
前記視覚センサからのエネルギー量を監視し、前記エネルギー量の経時変化が閾値を越えた場合に警報を発する解析手段とを有することを特徴とする。
本発明の監視装置によれば、被写体を認識してエネルギー量に変換する視覚センサと、前記視覚センサからのエネルギー量を監視し、前記エネルギー量の経時変化と閾値とに基づいて警報を発する解析手段とを有するので、被写体の小さな変化は見逃し、大きな変化のみをとらえて警報を発することができる。
更に、前記視覚センサは、被写体像を分割した分割領域（例えばマクロブロック）ごとにエネルギー量を求めると好ましい。
本発明の監視装置は、オリジナルイメージに対応するデジタルデータにおける所定領域のエネルギー量を演算し、且つ比較対象イメージに対応するデジタルデータにおける所定領域のエネルギー量を演算する演算手段と、
前記演算手段により演算された２つのエネルギー量を比較することによって、前記比較対象イメージが前記オリジナルイメージに基づいて形成されたものか否かを判定する判定手段を有することを特徴とする。
本発明の監視装置によれば、前記演算手段により演算された２つのエネルギー量を比較することによって、前記比較対象イメージが前記オリジナルイメージに基づいて形成されたものか否かを判定する判定手段を有することを特徴とするので、前記オリジナルイメージを構成するデジタルデータにすかしなどを入れる必要がなく、オリジナルイメージを損なうことがない。又、エネルギー量の特性は、デジタルデータの圧縮等の処理によってはあまり変化しないので、前記比較対照イメージが高度に処理されたものであっても、前記オリジナルイメージとの相関関係を明らかにできる。
【図面の簡単な説明】  図１は、第１の実施の形態にかかる監視装置の概略構成図である。
図２は、撮像素子２によって撮像された画面を模式的に示す図である。
図３は、各ブロックのエネルギー量を模式的に示す図である。
図４は、エネルギー量の時間的変化を示す図である。
図５は、第２の実施の形態にかかる監視装置の概略構成図である。
図６は、エネルギー量の時間的変化を比較して示す図である。
【発明を実施するための最良の形態】  本発明の第１の実施の形態を、図面を参照しながら説明する。図１は、第１の実施の形態にかかる監視装置の概略構成図である。図１において、光学系１により被写体像が撮像素子（ＣＣＤ等）２の受光面に結像され、ここで電気信号に変換される。かかる電気信号は、ＣＰＵ３に入力され解析される。解析手段であるＣＰＵ３は、所定の条件下で警報装置（モニタやスピーカ等）４を駆動して警報を発令させる。尚、撮像素子２とＣＰＵ３とで視覚センサを構成する。
ＣＰＵ３の具体的な解析内容を説明する。図２は、撮像素子２によって撮像された画面を模式的に示す図である。図２に示す画面には、横方向にＭｏ個の画素、縦方向Ｎｏ個の画素が並んでいる。この画面をＩ個のマクロブロックで分割する。マクロブロックによる分割の仕方としては、マクロブロック同士が互いにその大きさが異なっても良く、互いに重なりあっても良い。但し、縦×横＝ｎ×ｍ画素サイズの小ブロックで、均等に分割される。すなわち、ａｉとｂｉを整数とするとＭｉ＝ａｉｍ，Ｎｉ＝ｂｉｎ（ｉ＝０，・・・，Ｉ）となる。この時、もともとの画面も小ブロックで均等に分割されることが必要である。
ここで、小ブロックＳＢのエネルギー量Ｐは、以下の式１で表される。
2004079681.tif 000003
2004079681.tif 000004
ただし、Ｓ（ｘ、ｙ）は小ブロックＳＢ内の各サンプル値（画素値）である。
又、マクロブロックｉのエネルギー量Ｐｉは、そのマクロブロックｉに含まれる小ブロックの平均値とする。画面のエネルギー量Ｐｏは、その画面Ｐに含まれる小ブロックの平均値とする（図３参照）。
次に、各エネルギー量Ｐｉの経時変化を監視する。より具体的には、ＣＰＵ３は、一定時間ごとに撮像を行うことで撮像素子２から得られた画像について各エネルギー量Ｐｉを求め、内蔵メモリに記憶する。
ここで、例えば時刻ｔにおけるのマクロブロックｉのエネルギー量をＰｉ（ｌ、ｔ）とすると、時刻（ｔ＋Ｔ）におけるマクロブロックｉのエネルギー量は、Ｐｉ（ｌ、ｔ＋Ｔ）と表せる。エネルギー量Ｐｉ（ｌ、ｔ）と、Ｐｉ（ｌ、ｔ＋Ｔ）とを比較すれば、時刻ｔから時間Ｔだけ経過したときのエネルギー量の変化がわかる。この変化の状態から、被写体の状態を監視することができる。
ここでは、監視対象を、「静止」、「穏やかな変化」、「激しい変化」、「周期的な変化」の４つの状態に分類して監視するとする。横軸に時間、縦軸にマクロブロックｉのエネルギー量Ｐｉをプロットした例を図４に示す。ここでは、図４のグラフにおいて、▲１▼の範囲が「静止」に相当し、▲２▼の範囲が「穏やかな変化」に相当し、▲３▼の範囲が「激しい変化」相当し、▲４▼の範囲が「周期的な変化」に相当する。これは、例えば商品販売店の監視装置に本発明を適用した場合、「静止」は開店前の無人状態に相当し、「穏やかな変化」は開店後に顧客が通常の買い物をしている状態に相当し、「激しい変化」は強盗などが侵入し店内の人間に急速な動きが生じた状態に相当する。また、イルミネーションや、車のハザードランプ等は▲４▼の「周期的な変化」に相当する。従って、図４で▲３▼に対応するエネルギー量Ｐｉの変化量を閾値として記憶し、撮像素子２から出力された電気信号に基づいてＣＰＵ３が解析を行った結果、その変化量が閾値を超えた場合、自動的に警報を発するようにすれば、人間の目と同様な機能を有する無人監視システムが構築されることとなる。
尚、エネルギー量Ｐｉの変化は、複数箇所のマクロブロックｉにおいて行われるので、一つのマクロブロックｉが▲３▼に対応するエネルギー量Ｐｉの変化パターンを出力したとしても、他のマクロブロックｉは▲２▼に対応するエネルギー量Ｐｉの変化パターンを示している場合、警報を発しないようにもできる。このとき、レジ周囲の画像を特定のマクロブロックｉ内に含む場合、そのマクロブロックのエネルギー量Ｐｉに重み付けして、他のマクロブロックｉのエネルギー量Ｐｉとから総合的に判断すれば、より精度良く警報を発することもできる。
以下に、監視対象を分類する態様について述べる。
▲１▼  静止
一定時間Ｔにおいて、以下の条件が成立することで、マクロブロックｉに含まれる監視対象が静止していると判断する。より具体的には、含まれる小ブロックのエネルギー量の変化を、
ΔＰ（ｌ、ｔ）＝｜Ｐ（ｌ、ｔ）−Ｐ（ｌ、ｔ−１）｜
として求めたとき、マクロブロックｉに含まれる全ての小ブロックに対し、
｜ΔＰ（ｌ、ｔ）｜≦Ｔｈ１、ｆｏｒ  ａｌｌ  ｔ＝１，・・・・Ｔ
且つ
2004079681.tif 000005
が成立した場合、マクロブロックｉに含まれる監視対象が静止していると判断する。閾値Ｔｈ１、Ｔｈ２は実験等により定めうる。
▲２▼  穏やかな変化
一定時間Ｔにおいて、静止条件が不成立となれば、監視対象が穏やかに変化していると判断する。ここではマクロブロックｉのエネルギー量を用いる。より具体的には、マクロブロックｉのエネルギー量Ｐｉの変化を、
ΔＰｉ（ｌ、ｔ）＝｜Ｐｉ（ｌ、ｔ）−Ｐｉ（ｌ、ｔ−１）｜
として求めたときに、
2004079681.tif 000006
が成立した場合、監視対象が穏やかに変化していると判断する。閾値Ｔｈ３は実験等により定めうる。
▲３▼  激しい変化
一定時間Ｔにおいて、以下の条件を満たす場合、監視対象が激しく変化していると判断する。ここでは、マクロブロックｉのエネルギー量を用いる。時刻ｔにおけるマクロブロックｉのエネルギー密度ｄＰｉ（ｌ、ｔ）を以下の式で定義する。
2004079681.tif 000007
ここで、ｄＰｉ（ｌ、ｔ）≧Ｔｈｄのとき、監視対象が激しく変化していると判断する。閾値Ｔｈｄは実験等により定めうる。
▲４▼  周期的変化
マクロブロックｉのエネルギー量Ｐｉに対してフーリエ変換処理を行い、特定の周波数にパルス上のエネルギーの偏りが認められる場合、周期的な変化であると、判断する。
本発明は上記実施の形態に限定して解釈されるべきではなく、適宜変更・改良が可能であることはもちろんである。例えば、本発明の監視装置は、防犯用の監視装置以外に、病院で患者の様子を監視するのに用いたり、車両に搭載して外の交通状態を監視することで、交通事故を未然に回避できるようになる。
本発明の第２の実施の形態を、図面を参照しながら説明する。図５は、第２の実施の形態にかかる監視装置の概略構成図である。図５において、第１の演算装置１１は不図示のインタフェースを介してオリジナル映像信号を入力する。一方、第２の演算装置１２は不図示のインタフェースを介して比較対象映像信号を入力する。
演算装置（演算手段）１１，１２は、同じ位置の特定ブロック（全画面でも良い）を抽出し、その中でのエネルギー量を、上記式１により同じ時間間隔で繰り返し計算する。その後、演算装置１１，１２は、得られた演算結果を判定装置（判定手段）１３に入力する。
判定装置１３は、オリジナル映像信号のエネルギー量ＰＡ（ｉ、ｔ）と、比較対象映像信号のエネルギー量ＰＢ（ｉ、ｔ）とを比較する。エネルギー量を縦軸に、時間軸を横軸にとったとき、演算されたエネルギー量を時間ごとにプロットしてゆくと、例えば図６に示すようなグラフが得られる。
ここで、判定装置１３は、それぞれの時間ごとに、オリジナル映像信号のエネルギー量ＰＡ（ｉ、ｔ）と、比較対象映像信号のエネルギー量ＰＢ（ｉ、ｔ）との差分を求め、それを合計した値Δを以下の式５で求める。
2004079681.tif 000008
尚、Ｗは重み付け関数であり、例えばＷ（ＰＡ、ＰＢ）＝ｌｏｇ１０（ＰＡ＋ＰＢ）を用いることができる。
ここで、判定装置１３は、Δ＝０であれば、オリジナル映像信号と比較対象映像信号とが完全一致（Ｐｅｒｆｅｃｔ  ｍａｔｃｈ）し、すなわち同じ映像信号であると判定する。一方、０＜Δ＜ＴＨ（閾値）であれば、オリジナル映像信号（例えば図６のグラフＡ）に対して比較対象映像信号（例えば図６のグラフＢ）は略一致（Ｎｅａｒｌｙ  ｍａｔｃｈ）し、オリジナル映像信号に対して何らかの処理を施されたものと判定する。更に、ＴＨ（閾値）＜Δであれば、オリジナル映像信号（例えば図６のグラフＡ）に対して比較対象映像信号（例えば図６のグラフＣ）は不一致（Ｎｏｔｍａｔｃｈ）であり、オリジナル映像信号とは無関係であると判定できる。かかる判定結果は、判定装置１３からモニタ１４に入力されるので、ユーザーは、モニタ１４を見ることで、判定１３の判定結果を認識できる。
本発明の監視装置によれば、例えばＤＶＤ等に記録された映像信号が、オリジナル映像信号に対して処理を施されたものであっても、エネルギー量の差分を閾値Δと比較することで、オリジナル映像信号との関連性を客観的に導くことができ、それにより違法にコピーされたものであるかどうかの一つの判断基準を提供できる。
【図１】
2004079681.tif 000009
【図２】
2004079681.tif 000010
【図３】
2004079681.tif 000011
【図４】
2004079681.tif 000012
【図５】
2004079681.tif 000013
【図６】
2004079681.tif 000014
【国際調査報告】
2004079681.tif 000015
2004079681.tif 000016
2004079681.tif 000017
2004079681.tif 000018