(57)【特許請求の範囲】
【請求項１】
時間的に連続する複数の画像に、時定数の最も小さい第一のローパスフィルタと、時定数が次に小さい第二のローパスフィルタと、時定数が最も大きい第三のローパスフィルタとをそれぞれ適用した各画像を生成する画像生成部と、
前記第一のローパスフィルタの処理画像における画素と、該画素に対応する前記第二のローパスフィルタの処理画像における画素との輝度値の差分値が閾値を超えるかの判定と、前記第一のローパスフィルタの処理画像における画素と、該画素に対応する前記第三のローパスフィルタの処理画像における画素との輝度値の差分値が閾値を超えるかの判定と、に基づいて撮影した画像中に追加・撤去された物体があるか否かを判定する判定部と
を有することを特徴とする画像処理装置。 
【請求項２】
前記判定部の判定結果に基づいて画像を記憶する記憶部をさらに有することを特徴とする請求項１に記載の画像処理装置。 
【請求項３】
前記判定部の判定結果に基づいて警報を出力する出力部をさらに有することを特徴とする請求項１に記載の画像処理装置。 
【請求項４】
前記判定部は、前記画像生成部が生成した各画像を複数の領域に分割し、分割した領域毎に画像を記録するか否かを判定することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記判定部は、前記分割した各領域のうち、所定時間における輝度値の変化回数が所定回数未満となる領域を特定し、特定した領域の輝度値の変化にあわせてその他の領域の輝度値を調整することを特徴とする請求項４に記載の画像処理装置。 
【請求項６】
前記判定部は、前後の画像の輝度値が所定値以上変化する領域を、画像を記録するか否かの判定対象の領域から除外することを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。 
【請求項７】
コンピュータに、
時間的に連続する複数の画像に、時定数の最も小さい第一のローパスフィルタと、時定数が次に小さい第二のローパスフィルタと、時定数が最も大きい第三のローパスフィルタとをそれぞれ適用した各画像を生成する画像生成手順と、
前記第一のローパスフィルタの処理画像における画素と、該画素に対応する前記第二のローパスフィルタの処理画像における画素との輝度値の差分値が閾値を超えるかの判定と、前記第一のローパスフィルタの処理画像における画素と、該画素に対応する前記第三のローパスフィルタの処理画像における画素との輝度値の差分値が閾値を超えるかの判定と、に基づいて撮影した画像中に追加・撤去された物体があるか否かを判定する判定手順と
を実行させることを特徴とする画像処理プログラム。
【請求項８】
画像処理装置が、
時間的に連続する複数の画像に、時定数の最も小さい第一のローパスフィルタと、時定数が次に小さい第二のローパスフィルタと、時定数が最も大きい第三のローパスフィルタとをそれぞれ適用した各画像を生成する画像生成ステップと、
前記第一のローパスフィルタの処理画像における画素と、該画素に対応する前記第二のローパスフィルタの処理画像における画素との輝度値の差分値が閾値を超えるかの判定と、前記第一のローパスフィルタの処理画像における画素と、該画素に対応する前記第三のローパスフィルタの処理画像における画素との輝度値の差分値が閾値を超えるかの判定と、に基づいて撮影した画像中に追加・撤去された物体があるか否かを判定する判定ステップと
を含んだことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理プログラムおよび画像処理方法に関する。
【背景技術】
【０００２】
人は日常生活を送っている間に、本、雑誌、文房具等の日用品を何処かに放置して紛失させてしまう場合がある。例えば、カメラを部屋の一角に設置し、部屋の様子を常時撮影すれば、人が何処で日用品を放置したのかを特定することが可能であり、紛失した日用品を見つけ出すことができる。しかし、監視カメラを利用する方法は、日用品以外に人物も撮影するため、撮影された人物の心理的な抵抗感が強くなるという問題がある。また、監視カメラが撮影した全ての画像を人が視認することで紛失した日用品を探す場合、利用者にかかる負担が大きいという問題がある。
【０００３】
そのため、人物を画像に記録することなく、人が全ての画像を視認しなくても、放置された日用品の場所を特定することが求められている。
【０００４】
例えば、画像内に物体の出入りが発生した場合に、時間的に連続する前後の画像の輝度値が変化することを利用して、物体が出入りしたタイミングを特定する技術が存在する。そして、カメラが撮影した各画像の中で、一箇所に留まっていない物体を除去するフィルタを用いれば、部屋を動き回る人物を画像から除去した画像を生成できる。すなわち、上記した技術を組合せれば、物体の出入りしたタイミングを物体が放置されたタイミングとして特定し、特定したタイミングにより、フィルタを用いて人物を除去した画像を記録できる。したがって、人物を画像に残すことなく、放置された日用品の場所を特定することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−３２７５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した技術は、物体が放置されていない場合でも、画像を記録してしまう場合があるため、記録される画像の数が増え、データ量が大きくなってしまうという問題があった。例えば、人がテーブルの上に物体を置き、この物体をすぐに持ち去った場合には、テーブルの上に置かれた物体および持ち去られた物体は放置されておらず、記録する必要はない。
【０００７】
従来の技術では、時間的に連続する前後の画像の輝度値が変化したことのみに基づいて、画像を記録するタイミングをはかっている。したがって、上記したような放置されていない物体であっても物体が置かれた時点および持ち去られた時点で、輝度値が変化してしまうので画像を記録してしまう。
【０００８】
開示の技術は、上記に鑑みてなされたものであって、放置された物体の画像のみを記録することできる画像処理装置、画像処理プログラムおよび画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本願の開示する画像処理装置は、一つの態様において、時間的に連続する複数の画像に時定数が異なる複数のローパスフィルタを適用した各画像を生成する画像生成部と、前記画像生成部が生成した複数の画像の輝度値の相互関係に基づいて画像を記録するか否かを判定する判定部と、前記判定部の判定結果に基づいて画像を記憶する記憶部とを有することを要件とする。
【発明の効果】
【００１０】
この画像処理装置によれば、放置された物体の画像のみを記録することできる。
【図面の簡単な説明】
【００１１】
【図１】図１は、本実施例１にかかる画像処理装置の構成を示す図である。
【図２】図２は、画像のしくみを説明するための図である。
【図３】図３は、動画のしくみを説明するための図である。
【図４】図４は、ブロックを細分化した画像の一例を示す図である。
【図５】図５は、時定数の異なるローパスフィルタを用いた場合の放置物の出現の様子を示す図である。
【図６】図６は、放置物が置かれた場合の時間変化に伴う輝度値の変化を示す図である。
【図７】図７は、短時間の間に物体が追加・撤去された場合の画像（ａ）〜（ｃ）の輝度値の変化を示す図である。
【図８】図８は、本実施例２にかかる画像処理装置の構成を示す図である。
【図９】図９は、画像取得部から出力される画像と画像（ａ）〜（ｃ）の輝度値の変化を示す図である。
【図１０】図１０は、判定部が画像Ｑａ、Ｑｂを画像Ｑｚに一致させる処理を説明するための図である。
【図１１】図１１は、本実施例２にかかる画像処理装置の処理手順を示すフローチャートである。
【図１２】図１２は、フィルタリング処理の処理手順を示すフローチャートである。
【図１３】図１３は、Ｑｚに格納された画像に対するフィルタリング処理の処理手順を示すフローチャートである。
【図１４】図１４は、Ｑａに格納された画像に対するフィルタリング処理の処理手順を示すフローチャートである。
【図１５】図１５は、Ｑｂに格納された画像に対するフィルタリング処理の処理手順を示すフローチャートである。
【図１６】図１６は、Ｑｃに格納された画像に対するフィルタリング処理の処理手順を示すフローチャートである。
【図１７】図１７は、Ｃａｂ算出処理の処理手順を示すフローチャートである。
【図１８】図１８は、Ｃａｃ算出処理の処理手順を示すフローチャートである。
【図１９】図１９は、本実施例３にかかる画像処理装置の構成を示す図である。
【図２０】図２０は、Ｃａｂ[ｊ]を算出する処理手順を示すフローチャートである。
【図２１】図２１は、Ｃａｃ[ｊ]を算出する処理手順を示すフローチャートである。
【図２２】図２２は、本実施例４にかかる画像処理装置の構成を示す図である。
【図２３】図２３は、本実施例４にかかる画像処理装置の処理手順を示すフローチャート（１）である。
【図２４】図２４は、本実施例４にかかる画像処理装置の処理手順を示すフローチャート（２）である。
【図２５】図２５は、永久にマスクする領域および基準領域を説明するための図である。
【図２６】図２６は、実施例にかかる画像処理装置を構成するコンピュータのハードウェア構成を示す図である。
【発明を実施するための形態】
【００１２】
以下に、本願の開示する画像処理装置、画像処理プログラムおよび画像処理方法の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
【実施例１】
【００１３】
本実施例１にかかる画像処理装置１０の構成について説明する。図１は、本実施例１にかかる画像処理装置１０の構成を示す図である。図１に示すように、この画像処理装置１０は、画像生成部１１と、判定部１２と、記憶部１３を有する。
【００１４】
画像生成部１１は、時間的に連続する複数の画像に時定数が異なる複数のローパスフィルタを適用した各画像を生成する処理部である。判定部１２は、画像生成部１１が生成した複数の画像の輝度値の相互関係に基づいて画像を記録するか否かを判定する処理部である。記憶部１３は、判定部１２の判定結果に基づいて画像を記憶する記憶部である。
【００１５】
本実施例１にかかる画像処理装置１０は、複数の画像に時定数の異なる複数のローパスフィルタを適用した各画像の輝度値の相互関係に基づいて画像記録の有無を判定する。したがって、動的物体の画像を外した放置物の画像のみを記録することができる。
【実施例２】
【００１６】
本実施例２にかかる画像処理装置の説明を行う前に、本明細書で使用する画像、動画、フィルタリング、画像比較、放置物を検出する方法について説明する。まず、画像について説明する。図２は、画像のしくみを説明するための図である。図２に示すように、カメラが取得する画像は、複数のピクセルを含む。ここでは一例として、画像に含まれる各ピクセルは、単体の輝度で表現されているものとする。
【００１７】
画像の中のｉ番目のピクセルの輝度をｐ（ｉ）と表現する。ｉは０以上の数である。複数のピクセルからなる画像をＰと表現する。ピクセルｐ（ｉ）と画像Ｐは、
【数１】
0005381524.tif 000002
によって表される。
【００１８】
続いて、動画について説明する。図３は、動画のしくみを説明するための図である。図３に示すように、動画は、連続する複数の画像からなる。連続する各画像をフレームと呼ぶ。時刻ｔにおけるフレームをＰｔ、時刻ｔ−１におけるフレームをＰｔ−１、時刻ｔ−２におけるフレームをＰｔ−２と表現する。
【００１９】
続いて、フィルタリングについて説明する。ここで画像Ｐに対して時間軸でローパスフィルタをかける場合について説明する。ローパスフィルタは、例えば、
【数２】
0005381524.tif 000003
によって表される。式（２）に含まれるｋは、０〜１の実数である。ｋの値が０に近ければ近いほど、時間的に連続する各画像にローパスフィルタを適用した場合に、直前の画像の輝度値の変化が直後の画像の輝度値に反映されにくくなるため、動的な物体が画像に残りにくくなる。
【００２０】
ｋの値を小さく設定して、ローパスフィルタを画像に適用すると、画像の時定数が大きくなる。一方、ｋの値を大きく設定して、ローパスフィルタを画像に適用すると、画像の時定数が小さくなる。時定数が大きい画像と小さい画像の違いは後述する。
【００２１】
続いて、画像比較について説明する。ここでは一例として、画像Ｐと画像Ｑとを比較する場合について説明する。画像Ｐと画像Ｑがどの程度違うのかを評価する方法には様々な手法がある。例えば、画像Ｐと画像Ｑに含まれるピクセル毎に輝度値の差を算出し、ピクセル毎の差を合計することで、画像Ｐと画像Ｑがどの程度違うのかを評価する方法がある。上記の方法は、
【数３】
0005381524.tif 000004
によって表される。式（３）に含まれるｐ（ｉ）は、画像Ｐに含まれるピクセルであり、ｑ（ｉ）は、画像Ｑに含まれるピクセルである。式（３）を用いてＣの値を計算し、Ｃの値が所定の閾値よりも大きい場合、画像Ｐと画像Ｑは異なる画像であると判定する。
【００２２】
また、図４に示すように、画像全体を小さなブロックで細分化し、ブロック毎に式（３）を用いてＣを算出する方法も存在する。図４は、ブロックを細分化した画像の一例を示す図である。ブロック毎にＣを算出することで、画像全体のどのあたりが変化したのかを判定することができる。
【００２３】
続いて、放置物を検出する方法について説明する。図５は、時定数の異なるローパスフィルタを用いた場合の放置物の出現の様子を示す図である。図５では、ローパスフィルタを適用していない画像（ａ）と、ローパスフィルタの時定数の異なる画像（ｂ）、（ｃ）が時間と共にどのように表れていくのかを示している。ここでは一例として、画像（ｂ）の時定数が、画像（ｃ）の時定数よりも大きい場合を示している。言い換えると、画像（ｂ）のローパスフィルタのｋの値が、画像（ｃ）のローパスフィルタのｋの値よりも大きい場合を示している。
【００２４】
図５に示すように、放置物が出現した後に、画像（ａ）では、放置物がすぐにあらわれるが、画像（ｂ）、（ｃ）では、放置物が徐々にあらわれてくる。また、時定数の違いにより、放置物が表れるまでの時間が異なる。図６は、放置物が置かれた場合の時間変化に伴う輝度値の変化を示す図である。図６の横軸を時間とし、縦軸を輝度値とする。
【００２５】
図６に示すように、物体が追加されると、画像（ａ）の輝度値は、放置物の輝度値にあわせてステップ状に変化する。画像（ｂ）、（ｃ）の輝度値は、画像（ａ）の輝度値に徐々に近付いていく。図６に示すように、時定数が異なると、所定時間後の画像（ａ）、（ｂ）の輝度値の差と、画像（ａ）、（ｃ）の輝度値の差が異なる。画像（ａ）、（ｂ）の輝度値の差をＣａｂとし、画像（ａ）、（ｃ）の輝度値の差をＣａｃとすると、例えば、時刻ＴにおけるＣａｂは、時刻ＴにおけるＣａｃよりも小さくなっている。
【００２６】
画像（ｃ）を十分大きな時定数にしておくと、時刻ｔで物体が追加されても、画像（ｃ）は、時刻ｔ以前の画像とほとんど変らない。一方、画像（ｂ）を小さな時定数にしておくと、画像（ｂ）の輝度値は、徐々に画像（ａ）の輝度値に近付く。しかし、時刻ｔの直後は、画像（ｃ）と同様にして以前の画像と変らない。したがって、画像中に物体が現れた時点において、画像（ａ）の輝度値は、画像（ｂ）、（ｃ）の輝度値と大きく異なる。
【００２７】
ここで、画像（ｃ）の時定数に対して十分小さな時間をΔｔとする。時刻ｔにおいて、物体が追加され、時刻ｔ＋Δｔに物体が撤去された場合を考える。図７は、短時間の間に物体が追加・撤去された場合の画像（ａ）〜（ｃ）の輝度値の変化を示す図である。図７に示すように、ｔ＋Δｔ以降の画像（ａ）は、理想状態では、時刻ｔ以前の輝度値と同じになる。
【００２８】
時刻ｔ＋Δｔにおいて物体が撤去されると、画像（ｂ）、（ｃ）の輝度値は、変化した画像（ａ）の輝度値に近付く。画像（ｂ）の時定数は小さい値なので、時刻ｔ＋Δｔの直前では、画像（ｂ）の輝度値は、画像（ａ）の輝度値に近い値となっている。一方、画像（ｃ）の時定数は十分大きな値なので、時刻ｔ＋Δｔの直前であっても、画像（ｃ）の輝度値は、画像（ｂ）の輝度値から遠い値となっている。言い換えると、画像（ｃ）の輝度値は、時刻ｔ以前の画像（ａ）の輝度値に近い値となっている。
【００２９】
このため、時刻ｔ＋Δｔにおいて物体が撤去され、画像（ａ）の輝度値が、物体が追加される前の輝度値に戻ると、時刻ｔ＋Δｔにおける画像（ａ）の輝度値と画像（ｂ）の輝度値の差は大きな値となる。一方、時刻ｔ＋Δｔにおける画像（ａ）の輝度値と画像（ｃ）の輝度値の差は小さな値となる。すなわち、時定数の異なる複数の画像の輝度値の相互関係を利用すれば、物体が追加された後に、物体が撤去されたことを判定することができ、かかる物体を放置物から除外することができる。
【００３０】
なお、ここで言う物体が「追加される」、「撤去される」というのは言葉上の表現でしかない。例えば、上記のΔｔが十分大きいと、画像（ｂ）の輝度値だけでなく、画像（ｃ）の輝度値も、画像（ａ）の輝度値に漸近し、一致する。この段階で、物体を撤去すると、時刻ｔ＋Δｔにおける画像（ａ）の輝度値と画像（ｃ）の輝度値との差も大きな値となり、ここでは物体が追加されたと扱われる。これは、物体で隠れていた背景が追加されたと考えることができる。
【００３１】
すなわち、厳密に考えると、「追加される」とは前後の画像が急激に変化したことを意味する。また、「撤去される」とは、急激に変化した画像が元の画像にすぐ戻ったことを意味する。
【００３２】
次に、本実施例２にかかる画像処理装置の構成について説明する。図８は、本実施例２にかかる画像処理装置１００の構成を示す図である。図８に示すように、この画像処理装置１００は、画像取得部１１０、フィルタリング部１２０、画像比較部１３０、判定部１４０、記憶部１５０、出力部１６０を有する。
【００３３】
画像取得部１１０は、画像を取得する処理部である。画像取得部１１０は、取得した画像を順次フィルタリンク部１２０に出力する。画像取得部１１０は、カメラのように画像を撮影する装置に対応する。
【００３４】
フィルタリング部１２０は、時間的に連続する画像に対して時定数の異なる複数のローパスフィルタを適用し、複数の画像を生成する処理部である。フィルタリング処理部１２０は、生成した複数の画像を画像比較部１３０に出力する。フィルタリング部１２０は、ＡＳＩＣ（Application  Specific  Integrated  Curcuit）、ＦＰＧＡ（Field  Programmable  Gate  Array）に対応する。
【００３５】
画像比較部１３０は、フィルタリング部１２０から、複数の画像を取得し、各画像の輝度値を比較して、各画像の輝度値の差を算出する処理部である。画像比較部１３０は、各画像と、各画像の輝度値の差の情報を判定部１４０に出力する。画像比較部１３０は、コンピュータ上で動作するソフトウェアで実現しても良く、あるいは、ＡＳＩＣ、ＦＰＧＡ等のハードウェアを用いて実現してもよい。
【００３６】
判定部１４０は、各画像の輝度値の差に基づいて、放置された物体を判定し、放置された物体の画像を記憶部１５０に格納する処理部である。判定部１４０は、例えば、各画像の輝度値の相互関係に基づいて、放置された物体を判定する処理を行うものであり、コンピュータ上で動作するソフトウェアで実現しても良く、あるいは、ＡＳＩＣ、ＦＰＧＡ等のハードウェアを用いて実現しても良い。
【００３７】
記憶部１５０は、各種の情報を記憶する記憶部である。本実施例２にかかる記憶部１５０は、画像データ１５０ａを記憶する。この画像データ１５０ａは、判定部１４０から出力される画像を含む。記憶部１５０は、例えば、ＲＡＭ（Random  Access  Memory）、ＲＯＭ（Read  Only  Memory）、フラッシュメモリ（flash  memory）などの半導体メモリ素子、またはハードディスク、光ディスクなどの記憶装置に対応する。
【００３８】
出力部１６０は、判定部１４０の判定結果に基づいて警報を出力する処理部である。例えば、判定部１４０が、物体が放置されたと判定した場合に、出力部１６０は、警報を出力する。
【００３９】
ところで、図７で説明した例では、フィルタを適用していない画像（ａ）とローパスフィルタを適用した画像（ｂ）、（ｃ）を比較していた。しかし、画像取得部１１０から出力される画像は、人間の活動による画像劣化や、ノイズが含まれる。この画像劣化やノイズの影響を画像（ａ）から取り除くため、フィルタリング部１２０は、画像（ｂ）、（ｃ）の時定数よりもさらに小さい時定数のローパスフィルタを利用して、画像（ａ）を生成する。
【００４０】
図９は、画像取得部１１０から出力される画像と画像（ａ）〜（ｃ）の輝度値の変化を示す図である。図９に示すように、画像取得部１１０から出力される画像に時定数の小さなローパスフィルタを適用することで、画像に含まれるノイズの影響を除去することができる。また、フィルタリング部１２０は、判定部１４０の誤判定を防止するために、画像（ａ）の時定数よりも更に小さい時定数のローパスフィルタを用いて画像（ｚ）を生成する。判定部１４０の誤判定に関する説明は後述する。
【００４１】
したがって、本実施例２にかかるフィルタリング部１２０は、画像取得部１１０から画像を取得し、取得した画像に時定数の異なる４つの画像を生成する。以下において、フィルタリング部１２０の処理を具体的に説明する。まず、フィルタリング部１２０は、画像取得部１１０から画像Ｐを取り込む。画像Ｐを、縦ｍピクセル、横ｎピクセルの画像とすると、画像Ｐはｍ×ｎの大きさの配列となる。
【００４２】
フィルタリング部１２０は、画像Ｐと同じデータ量を記録するメモリ領域Ｑｚ、Ｑａ、Ｑｂ、Ｑｃを有している。フィルタリング部１２０は、画像Ｐを異なる時定数のフィルタで処理し、メモリ領域Ｑｚ、Ｑａ、Ｑｂ、Ｑｃに格納する。メモリ領域Ｑｚ、Ｑａ、Ｑｂ、Ｑｃに格納される画像は、上述した画像（ｚ）、（ａ）、（ｂ）、（ｃ）に対応する。
【００４３】
フィルタリング部１２０は、初めて画像取得部１１０から画像Ｐを取得した場合、画像Ｐを初期値としてメモリ領域Ｑｚ、Ｑａ、Ｑｂ、Ｑｃに格納する。フィルタリング部１２０は、２回目以降、画像取得部１１０から画像Ｐを取得し、下記の式（４）〜（７）を利用して、ローパスフィルタの処理を実行する。
【数４】
0005381524.tif 000005
【数５】
0005381524.tif 000006
【数６】
0005381524.tif 000007
【数７】
0005381524.tif 000008
【００４４】
式（４）〜式（７）に含まれるｋｚ、ｋａ、ｋｂ、ｋｃは、０〜１の値が代入される。ただし、ｋｚ、ｋａ、ｋｂ、ｋｃの大小関係は、０＜ｋｚ＜ｋａ＜ｋｂ＜ｋｃ＜１となる。フィルタリング部１２０は、式（４）〜（７）の算出結果により、メモリ領域Ｑｚ、Ｑａ、Ｑｂ、Ｑｃに格納された画像データをそれぞれ更新する。また、フィルタリング部１２０は、メモリ領域Ｑｚ、Ｑａ、Ｑｂ、Ｑｃに格納された画像データを画像比較部１３０に出力する。以下の説明において、メモリ領域Ｑｚ、Ｑａ、Ｑｂ、Ｑｃに格納された画像を、画像Ｑｚ、Ｑａ、Ｑｂ、Ｑｃとして説明する。
【００４５】
次に、画像比較部１３０の処理を具体的に説明する。画像比較部１３０は、フィルタリングした画像Ｑａと画像Ｑｂとの差Ｃａｂおよび画像Ｑａと画像Ｑとの差Ｃａｃを算出する。画像比較部１３０は、画像Ｑａに含まれるｉ番目のピクセルの輝度値と、画像Ｑｂに含まれるｉ番目のピクセルの輝度値の差を算出し、算出した各ピクセルの差を合計することで、Ｃａｂを算出する。
【００４６】
また、画像比較部１３０は、画像Ｑａに含まれるｉ番目のピクセルの輝度値と、画像Ｑｃに含まれるｉ番目のピクセルの輝度値の差を算出し、算出した各ピクセルの差を合計することで、Ｃａｃを算出する。画像比較部１３０は、算出したＣａｂ、Ｃａｃの情報を判定部１４０に出力する。
【００４７】
次に、判定部１４０の処理を具体的に説明する。まず、判定部１４０は、Ｃａｂと閾値Ｔａｂを比較し、Ｃａｂが閾値Ｔａｂよりも大きいか否かを判定する。また、判定部１４０は、Ｃａｃと閾値Ｔａｃを比較し、Ｃａｃが閾値Ｔａｃよりも大きいか否かを判定する。
【００４８】
判定部１４０は、Ｃａｂが閾値Ｔａｂよりも大きく、かつ、Ｃａｃが閾値Ｔａｃよりも大きい場合、物体が「追加された」と判定する。判定部１４０は、物体が追加されたと判定した場合、画像Ｑｂを画像データ１５０ａに格納する。
【００４９】
判定部１４０は、Ｃａｂが閾値Ｔａｂよりも大きく、かつ、Ｃａｃが閾値Ｔａｃ以下の場合、物体が「撤去された」と判定する。判定部１４０は、物体が撤去されたと判定した場合、直前に画像データ１５０ａに記録した画像Ｑｂを削除する。
【００５０】
物体が追加された後に撤去された場合、かかる物体は放置されていないので画像として残す必要がない。判定部１４０は、物体が追加された後に撤去された場合、追加された時点で格納した画像を画像データ１５０ａから削除するので、記憶部１５０が記憶する画像のデータ量を削減することができる。
【００５１】
なお、判定部１４０は、物体が「追加された」または「撤去された」と判定したフレームの、次のフレームにおいて、画像Ｑｂの輝度値が画像Ｑａの輝度値に近付いていないことがある。画像Ｑｂの輝度値をそのままにしておくと、再度、判定部１４０は、物体が「追加された」または「撤去された」と誤判定する場合がある。したがって、判定部１４０は、物体が「追加された」または「撤去された」と判定した後、一時的に、画像Ｑａおよび画像Ｑｂを画像Ｑｚに一致させる。図１０は、判定部が画像Ｑａ、Ｑｂを画像Ｑｚに一致させる処理を説明するための図である。図１０に示すように、判定部１４０は、物体が追加されたと判定した時点で、画像Ｑａおよび画像Ｑｂを画像Ｑｚに一致させている。
【００５２】
また、判定部１４０は、物体が「撤去された」と判定したフレームの次のフレームにおいて、画像Ｑｃの輝度値が画像Ｑａの輝度値に近付いていないことがある。画像Ｑｃの輝度値をそのままにしておくと、再度、判定部１４０は、物体が「撤去された」と誤判定する場合がある。したがって、判定部１４０は、物体が「撤去された」と判定した後、一時的に、画像Ｑｃを画像Ｑｚに一致させる。
【００５３】
次に、本実施例２にかかる画像処理装置１００の処理手順について説明する。図１１は、本実施例２にかかる画像処理装置１００の処理手順を示すフローチャートである。図１１に示すように、画像処理装置１００は、画像を取得し（ステップＳ１０１）、フィルタリング部１２０が、フィルタリング処理を実行する（ステップＳ１０２）。
【００５４】
画像比較部１３０が、Ｃａｂ算出処理を実行し（ステップＳ１０３）、Ｃａｃ算出処理を実行する（ステップＳ１０４）。判定部１４０は、ＣａｂがＴａｂよりも大きいか否かを判定する（ステップＳ１０５）。判定部１４０は、ＣａｂがＴａｂ以下の場合（ステップＳ１０６，Ｎｏ）、処理を終了する。
【００５５】
一方、判定部１４０は、ＣａｂがＴａｂよりも大きい場合（ステップＳ１０６，Ｙｅｓ）、ＣａｃがＴａｃよりも大きいか否かを判定する（ステップＳ１０７）。判定部１４０は、ＣａｃがＴａｃよりも大きい場合（ステップＳ１０８，Ｙｅｓ）、物体が「追加された」と判定する（ステップＳ１０９）。判定部１４０は、ステップＳ１０９において、物体が「追加された」と判定した場合に、画像Ｑｂを画像データ１５０ａに格納する。判定部１４０は、画像Ｑｚを画像Ｑａに設定し（ステップＳ１１０）、画像Ｑｚを画像Ｑｂに設定し（ステップＳ１１１）、処理を終了する。
【００５６】
一方、ステップＳ１０８において、判定部１４０は、ＣａｃがＴａｃ以下の場合（ステップＳ１０８，Ｎｏ）、物体が「撤去された」と判定する（ステップＳ１１２）。判定部１４０は、物体が「撤去された」と判定した場合に、画像データ１５０ａに記録した一つ前の画像Ｑｂを削除する。判定部１４０は、画像Ｑｚを画像Ｑｃに設定し（ステップＳ１１３）、ステップ１１０に移行する。
【００５７】
次に、図１１のステップＳ１０２に示したフィルタリング処理について説明する。図１２は、フィルタリング処理の処理手順を示すフローチャートである。図１２に示すように、フィルタリング部１２０は、画像Ｐの取得が初回であるか否かを判定する（ステップＳ１２１）。
【００５８】
フィルタリング部１２０は、画像Ｐの取得が初回である場合（ステップＳ１２２，Ｙｅｓ）、画像ＰをＱｚ、Ｑａ、Ｑｂ、Ｑｃに格納し（ステップＳ１２３）、フィルタリング処理を終了する。
【００５９】
一方、フィルタリング部１２０は、画像Ｐの取得が初回でない場合（ステップＳ１２２，Ｎｏ）、Ｑｚに格納された画像に対するフィルタリング処理を実行し（ステップＳ１２４）、Ｑａに格納された画像に対するフィルタリング処理を実行する（ステップＳ１２５）。また、フィルタリング部１２０は、Ｑｂに格納された画像に対するフィルタリング処理を実行し（ステップＳ１２６）、Ｑｃに格納された画像に対するフィルタリング処理を実行する（ステップＳ１２７）。そして、フィルタリング部１２０は、フィルタリング処理を終了する。
【００６０】
次に、図１２のステップＳ１２４で示した、Ｑｚに格納された画像に対するフィルタリング処理の処理手順について説明する。図１３は、Ｑｚに格納された画像に対するフィルタリング処理の処理手順を示すフローチャートである。図１３に示すように、フィルタリング部１２０は、ｉの値を０に設定し（ステップＳ１３１）、ｉの値が画素数以上であるか否かを判定する（ステップＳ１３２）。
【００６１】
フィルタリング部１２０は、ｉの値が画素数以上の場合（ステップＳ１３３，Ｙｅｓ）、処理を終了する。一方、フィルタリング部１２０は、ｉの値が画素数未満の場合（ステップＳ１３３，Ｎｏ）、ｋｚＰ（ｉ）＋（１−ｋｚ）Ｑｚ（ｉ）を算出し、算出結果をＱｚ（ｉ）に格納する（ステップＳ１３４）。フィルタリング部１２０は、ｉの値に１を加算した値で、ｉの値を更新し（ステップＳ１３５）、ステップＳ１３２に移行する。
【００６２】
次に、図１２のステップＳ１２５で示した、Ｑａに格納された画像に対するフィルタリング処理の処理手順について説明する。図１４は、Ｑａに格納された画像に対するフィルタリング処理の処理手順を示すフローチャートである。図１４に示すように、フィルタリング部１２０は、ｉの値を０に設定し（ステップＳ１４１）、ｉの値が画素数以上であるか否かを判定する（ステップＳ１４２）。
【００６３】
フィルタリング部１２０は、ｉの値が画素数以上の場合（ステップＳ１４３，Ｙｅｓ）、処理を終了する。一方、フィルタリング部１２０は、ｉの値が画素数未満の場合（ステップＳ１４３，Ｎｏ）、ｋａＰ（ｉ）＋（１−ｋａ）Ｑａ（ｉ）を算出し、算出結果をＱａ（ｉ）に格納する（ステップＳ１４４）。フィルタリング部１２０は、ｉの値に１を加算した値で、ｉの値を更新し（ステップＳ１４５）、ステップＳ１４２に移行する。
【００６４】
次に、図１２のステップＳ１２６で示した、Ｑｂに格納された画像に対するフィルタリング処理の処理手順について説明する。図１５は、Ｑｂに格納された画像に対するフィルタリング処理の処理手順を示すフローチャートである。図１５に示すように、フィルタリング部１２０は、ｉの値を０に設定し（ステップＳ１５１）、ｉの値が画素数以上であるか否かを判定する（ステップＳ１５２）。
【００６５】
フィルタリング部１２０は、ｉの値が画素数以上の場合（ステップＳ１５３，Ｙｅｓ）、処理を終了する。一方、フィルタリング部１２０は、ｉの値が画素数未満の場合（ステップＳ１５３，Ｎｏ）、ｋｂＰ（ｉ）＋（１−ｋｂ）Ｑｂ（ｉ）を算出し、算出結果をＱｂ（ｉ）に格納する（ステップＳ１５４）。フィルタリング部１２０は、ｉの値に１を加算した値で、ｉの値を更新し（ステップＳ１５５）、ステップＳ１５２に移行する。
【００６６】
次に、図１２のステップＳ１２７で示した、Ｑｃに格納された画像に対するフィルタリング処理の処理手順について説明する。図１６は、Ｑｃに格納された画像に対するフィルタリング処理の処理手順を示すフローチャートである。図１６に示すように、フィルタリング部１２０は、ｉの値を０に設定し（ステップＳ１６１）、ｉの値が画素数以上であるか否かを判定する（ステップＳ１６２）。
【００６７】
フィルタリング部１２０は、ｉの値が画素数以上の場合（ステップＳ１６３，Ｙｅｓ）、処理を終了する。一方、フィルタリング部１２０は、ｉの値が画素数未満の場合（ステップＳ１６３，Ｎｏ）、ｋｃＰ（ｉ）＋（１−ｋｃ）Ｑｃ（ｉ）を算出し、算出結果をＱｃ（ｉ）に格納する（ステップＳ１６４）。フィルタリング部１２０は、ｉの値に１を加算した値で、ｉの値を更新し（ステップＳ１６５）、ステップＳ１６２に移行する。
【００６８】
次に、図１１に示したＣａｂ算出処理の処理手順について説明する。図１７は、Ｃａｂ算出処理の処理手順を示すフローチャートである。図１７に示すように、画像比較部１３０は、Ｃａｂの値を０に設定し（ステップＳ１７１）、ｉの値を０に設定する（ステップＳ１７２）。
【００６９】
画像比較部１３０は、ｉの値が画素数以上であるか否かを判定する（ステップＳ１７３）。画像比較部１３０は、ｉの値が画素数以上の場合（ステップＳ１７４，Ｙｅｓ）、処理を終了する。
【００７０】
一方、画像比較部１３０は、ｉの値が画素数未満の場合（ステップＳ１７４，Ｎｏ）、｜Ｑａ（ｉ）−Ｑｂ（ｉ）｜＋Ｃａｂを算出し、算出結果をＣａｂに格納する（ステップＳ１７５）。画像比較部１３０は、ｉの値に１を加算した値で、ｉの値を更新し（ステップＳ１７６）、ステップＳ１７３に移行する。
【００７１】
次に、図１１に示したＣａｃ算出処理の処理手順について説明する。図１８は、Ｃａｃ算出処理の処理手順を示すフローチャートである。図１８に示すように、画像比較部１３０は、Ｃａｃの値を０に設定し（ステップＳ１８１）、ｉの値を０に設定する（ステップＳ１８２）。
【００７２】
画像比較部１３０は、ｉの値が画素数以上であるか否かを判定する（ステップＳ１８３）。画像比較部１３０は、ｉの値が画素数以上の場合（ステップＳ１８４，Ｙｅｓ）、処理を終了する。
【００７３】
一方、画像比較部１３０は、ｉの値が画素数未満の場合（ステップＳ１８４，Ｎｏ）、｜Ｑａ（ｉ）−Ｑｃ（ｉ）｜＋Ｃａｃを算出し、算出結果をＣａｃに格納する（ステップＳ１８５）。画像比較部１３０は、ｉの値に１を加算した値で、ｉの値を更新し（ステップＳ１８６）、ステップＳ１８３に移行する。
【００７４】
上述してきたように、本実施例２にかかる画像処理装置１００は、画像取得部１１０から出力される画像に対して、時定数の異なるローパスフィルタを適用して複数の画像を生成する。そして、画像処理装置１００は、各画像の輝度値の相互関係に基づいて、放置された物体のみを記憶部１５０に記録する。したがって、放置物に該当しない物体の画像が記憶部１５０に記憶されることを防止することができ、記憶部１５０の記憶すべきデータ量を削減することができる。また、記憶部１５０に記録する画像は、ローパスフィルタを適用した画像であるため、人物を画像から取り除いた状態で、記憶部１５０に記録することができる。
【実施例３】
【００７５】
次に、本実施例３にかかる画像処理装置について説明する。本実施例３にかかる画像処理装置は、画像を複数の領域に分け、領域毎に、放置された物体が含まれるか否かを判定する。例えば、画像処理装置は、放置された物体を含む領域の画像のみを記録することで、記憶量を更に削減することもできる。
【００７６】
図１９は、本実施例３にかかる画像処理装置の構成を示す図である。図１９に示すように、この画像処理装置２００は、画像取得部２１０、フィルタリング部２２０、画像比較部２３０、判定部２４０、記憶部２５０を有する。このうち、画像取得部２１０、フィルタリング部２２０、記憶部２５０に関する説明は、実施例１で説明した画像取得部１１０、フィルタリング部１２０、記憶部２５０と同様である。
【００７７】
画像比較部２３０は、画像Ｑａ、Ｑｂ、ＱｃをＲ個の領域に分割し、分割した領域毎に、各画像の輝度値の差を算出する。以下の説明において、画像Ｑａの分割された領域のうち、ｊ番目の領域に含まれる画像を画像Ｑａ[ｊ]とする。画像Ｑｂの分割された領域のうち、ｊ番目の領域に含まれる画像を画像Ｑｂ[ｊ]とする。画像Ｑｃの分割された領域のうち、ｊ番目の領域に含まれる画像を画像Ｑｃ[ｊ]とする。なお、画像Ｑｚの説明は省略する。
【００７８】
画像比較部２３０は、画像Ｑａ[ｊ]と画像Ｑｂ[ｊ]の輝度値の差Ｃａｂ[ｊ]を算出し、算出したＣａｂ[ｊ]を判定部２４０に出力する。また、画像比較部２３０は、画像Ｑａ[ｊ]と画像Ｑｃ[ｊ]の輝度値の差Ｃａｃ[ｊ]を算出し、算出したＣａｃ[ｊ]を判定部２４０に出力する。例えば、画像比較部２３０が、画像を６つの領域に分割した場合、Ｒの値は５となり、ｊの値は０〜５の値となる。
【００７９】
判定部２４０は、Ｃａｂ[ｊ]、Ｃａｃ[ｊ]に基づいて、領域毎に、放置された物体が含まれるか否かを判定する。判定部２４０は、放置された物体が含まれる領域の画像を記憶部２５０に登録する。以下において、判定部２４０の処理を具体的に説明する。
【００８０】
判定部２４０は、Ｃａｂ[ｊ]と閾値Ｔａｂとを比較し、Ｃａｂ[ｊ]が閾値Ｔａｂよりも大きいか否かを判定する。また、判定部２４０は、Ｃａｃ[ｊ]と閾値Ｔａｃとを比較し、Ｃａｃ[ｊ]が閾値Ｔａｃよりも大きいか否かを判定する。
【００８１】
判定部２４０は、Ｃａｂ[ｊ]が閾値Ｔａｂよりも大きく、かつ、Ｃａｃ[ｊ]が閾値Ｔａｃよりも大きい場合、物体が「追加された」と判定する。判定部２４０は、物体が追加されたと判定した場合、画像Ｑｂ[ｊ]を画像データ２５０ａに格納する。
【００８２】
判定部２４０は、Ｃａｂ［ｊ]が閾値Ｔａｂよりも大きく、かつ、Ｃａｃ[ｊ]が閾値Ｔａｃ以下の場合、物体が「撤去された」と判定する。判定部２４０は、物体が撤去されたと判定した場合、直前に画像データ１５０ａに記録した画像Ｑｂ［ｊ］を削除する。
【００８３】
次に、画像比較部２３０が、Ｃａｂ[ｊ]を算出する処理、Ｃａｃ[ｊ]を算出する処理の処理手順について説明する。図２０は、Ｃａｂ[ｊ]を算出する処理手順を示すフローチャートである。図２０に示すように、画像比較部２３０は、ｊの値を０に設定し（ステップＳ２０１）、ｊの値がＲの値未満であるか否かを判定する（ステップＳ２０２）。
【００８４】
画像比較部２３０は、ｊの値がＲの値以上である場合（ステップＳ２０３，Ｎｏ）、Ｃａｂ[ｊ]を算出する処理を終了する。一方、画像比較部２３０は、ｊの値がＲの値未満の場合（ステップＳ２０３，Ｙｅｓ）、Ｃａｂ[ｉ]の値を０に設定する（ステップＳ２０４）。
【００８５】
画像比較部２３０は、ｉの値を０に設定し（ステップＳ２０５）、ｉの値が画素数以上であるか否かを判定する（ステップＳ２０６）。画像比較部２３０は、ｉの値が画素数以上の場合（ステップＳ２０７，Ｙｅｓ）、ステップＳ２０２に移行する。
【００８６】
一方、画像比較部２３０は、ｉの値が画素数未満の場合（ステップＳ２０７，Ｎｏ）、Ｃａｂ[ｊ]＝｜Ｑａ（ｉ）−Ｑｂ（ｉ）｜を算出し、算出結果をＣａｂ[ｊ]に代入する（ステップＳ２０８）。画像比較部２３０は、ｉの値に１を加算した値で、ｉの値を更新し（ステップＳ２０９）、ステップＳ２０６に移行する。
【００８７】
図２１は、Ｃａｃ[ｊ]を算出する処理手順を示すフローチャートである。図２１に示すように、画像比較部２３０は、ｊの値を０に設定し（ステップＳ３０１）、ｊの値がＲの値未満であるか否かを判定する（ステップＳ３０２）。
【００８８】
画像比較部２３０は、ｊの値がＲの値以上である場合（ステップＳ３０３，Ｎｏ）、Ｃａｃ[ｊ]を算出する処理を終了する。一方、画像比較部２３０は、ｊの値がＲの値未満の場合（ステップＳ３０３，Ｙｅｓ）、Ｃａｃ[ｊ]の値を０に設定する（ステップＳ３０４）。
【００８９】
画像比較部２３０は、ｉの値を０に設定し（ステップＳ３０５）、ｉの値が画素数以上であるか否かを判定する（ステップＳ３０６）。画像比較部２３０は、ｉの値が画素数以上の場合（ステップＳ３０７，Ｙｅｓ）、ステップＳ３０２に移行する。
【００９０】
一方、画像比較部２３０は、ｉの値が画素数未満の場合（ステップＳ３０７，Ｎｏ）、Ｃａｃ[ｊ]＝｜Ｑａ（ｉ）−Ｑｃ（ｉ）｜を算出し、算出結果をＣａｃ[ｊ]に代入する（ステップＳ３０８）。画像比較部２３０は、ｉの値に１を加算した値で、ｉの値を更新し（ステップＳ３０９）、ステップＳ３０６に移行する。
【００９１】
上述してきたように、本実施例３にかかる画像処理装置２００は、画像比較部２３０が画像を複数の領域に分割し、判定部２４０が領域毎に放置物が含まれるか否かを判定して、放置物を含む領域の画像を画像データ２５０ａに格納する。実施例１の画像処理装置１００は、放置物を含む画像を格納していたが、画像処理装置２００は、放置物を含む一部の画像を格納するので、保存する画像のデータ量を実施例２の画像処理装置１００よりも削減することができる。なお、画像処理装置２００は、分割した領域に放置物が含まれていると判定した場合、実施例２と同様にして、画像全体を記憶部２５０に記憶してもよい。
【実施例４】
【００９２】
次に、本実施例４にかかる画像処理装置について説明する。本実施例４にかかる画像処理装置は、画像を複数の領域に分割し、輝度値が大きく変化する領域を特定する。人物の大きさに対して放置物が小さいとすれば、輝度値が大きく変化する領域は、人が一時的に通っている領域と考えられるため、かかる領域を放置物の検出対象から外す。このように、放置物の検出対象となる領域を絞り込むことで、処理負荷を軽減する。
【００９３】
図２２は、本実施例４にかかる画像処理装置の構成を示す図である。図２２に示すように、この画像処理装置３００は、画像取得部３１０、マスク設定部３２０、フィルタリング部３３０、画像比較部３４０、判定部３５０、記憶部３６０を有する。
【００９４】
画像取得部３１０は、画像を取得する処理部である。画像取得部３１０は、取得した画像を順次マスク設定部３２０に出力する。画像取得部３１０は、カメラのように画像を撮影する装置に対応する。
【００９５】
マスク設定部３２０は、画像を複数の領域に分割し、放置物を検索しない領域を設定する処理部である。以下の説明において、放置物を検索しない領域をマスク領域と表記する。マスク設定部３２０は、マスク領域の情報をフィルタリング部３３０に出力する。また、マスク設定部３２０は、画像取得部３１０から取得した画像をフィルタリング部３３０に出力する。
【００９６】
以下において、マスク設定部３２０の処理を具体的に説明する。マスク設定部３２０は、Ｒ個のメモリ領域を有し、ｊ番目のメモリ領域をＳ[ｊ]とする。マスク設定部３２０は、画像取得部３１０から取得する画像の領域をＲ個の領域に分割する。分割した各領域をＮ[ｊ]とする。マスク設定部３２０は、画像取得部３１０から初めて画像を取得した場合、領域Ｎ[ｊ]に含まれる画像を、Ｓ[ｊ]に格納する。
【００９７】
マスク設定部３２０は、画像取得部３１０から２回目以降の画像を取得した場合、領域Ｎ[ｊ］の画像とメモリ領域Ｓ[ｊ]の画像とを比較して、領域毎に輝度値の差Ｃｐ[ｊ]を算出する。マスク設定部３２０は、Ｃｐ[ｊ]の値が閾値Ｔよりも大きいか否かを判定する。
【００９８】
マスク設定部３２０は、Ｃｐ[ｊ]の値が閾値Ｔよりも大きいと判定した場合、領域Ｎ［ｊ］を、マスク領域と判定する。そして、マスク設定部３２０は、領域Ｎ[ｊ]の画像で、メモリ領域Ｓ[ｊ]の画像を更新する。
【００９９】
一方、マスク設定部３２０は、Ｃｐ[ｊ]の値が閾値Ｔ以下の場合、領域Ｎ[ｊ]を、通常の領域と判定する。そして、マスク設定部３２０は、領域Ｎ[ｊ]の画像で、メモリ領域Ｓ[ｊ]の画像を更新する。マスク設定部３２０は、Ｎ[ｊ]がマスク領域であるか否かの情報を、フィルタリング部３４０に出力する。
【０１００】
フィルタリング部３３０は、マスク領域以外の各領域に対して、時定数の異なる複数のローパスフィルタを適用し、領域毎に複数の画像を生成する処理部である。フィルタリング部３３０は、領域毎の複数の画像を画像比較部３４０に出力する。
【０１０１】
以下において、フィルタリング部３３０の処理を具体的に説明する。フィルタリング部３３０は、領域Ｎ[ｊ]に含まれる画像Ｐ[ｊ]と同じデータ量を記録するメモリ領域Ｑｚ[ｊ]、Ｑａ[ｊ]、Ｑｂ[ｊ]、Ｑｃ[ｊ]を領域毎に有している。フィルタリング部３３０は、画像Ｐ[ｊ]を異なる時定数のフィルタで処理し、メモリ領域Ｑｚ[ｊ]、Ｑａ[ｊ]、Ｑｂ[ｊ]、Ｑｃ[ｊ]に格納する。
【０１０２】
フィルタリング部３３０は、初めて画像Ｐ[ｊ]を取得した場合、画像Ｐ[ｊ]を初期値としてメモリ領域Ｑｚ[ｊ]、Ｑａ[ｊ]、Ｑｂ[ｊ]、Ｑｃ[ｊ]に格納する。フィルタリング部３３０は、２回目以降、マスク設定部３２０から画像Ｐ[ｊ]を取得し、下記の式（８）〜（１１）を利用して、ローパスフィルタの処理を実行する。
【数８】
0005381524.tif 000009
【数９】
0005381524.tif 000010
【数１０】
0005381524.tif 000011
【数１１】
0005381524.tif 000012
【０１０３】
式（８）〜式（１１）に含まれるｋｚ、ｋａ、ｋｂ、ｋｃは、０〜１の値が代入される。ただし、ｋｚ、ｋａ、ｋｂ、ｋｃの大小関係は、０＜ｋｚ＜ｋａ＜ｋｂ＜ｋｃ＜１となる。フィルタリング部３３０は、式（８）〜（１１）の算出結果により、メモリ領域Ｑｚ[ｊ]、Ｑａ[ｊ]、Ｑｂ[ｊ]、Ｑｃ[ｊ]に格納された画像データをそれぞれ更新する。また、フィルタリング部３３０は、メモリ領域Ｑｚ[ｊ]、Ｑａ[ｊ]、Ｑｂ[ｊ]、Ｑｃ[ｊ]に格納された画像データを画像比較部３４０に出力する。
【０１０４】
なお、フィルタリング部３３０は、領域Ｎ[ｊ]がマスク領域の場合、領域Ｎ[ｊ]に含まれる画像Ｐ[ｊ]にローパスフィルタを適用する処理を一時的に停止する。例えば、フィルタリング部３３０は、領域Ｎ[ｊ]に所定の値を設定し、画像取得部３１０が画像を取得するたびに領域Ｎ[ｊ]に設定した値から１を減算する。そして、領域Ｎ[ｊ]に設定した値が０になった時点で、領域Ｎ[ｊ]にローパスフィルタを適用する処理を再開する。
【０１０５】
画像比較部３４０は、フィルタリング部３３０から、領域毎の複数の画像Ｑｚ[ｊ]、Ｑａ[ｊ]、Ｑｂ[ｊ]、Ｑｃ[ｊ]を取得し、各画像の輝度値の差を算出する処理部である。画像比較部３４０は、領域毎の画像と、各画像の輝度値の差の情報を判定部３５０に出力する。
【０１０６】
以下において、画像比較部３４０の処理を具体的に説明する。画像比較部３４０は、領域Ｎ[ｊ]の画像Ｐ[ｊ]にローパスフィルタを適用した各画像Ｑａ[ｊ]、Ｑｂ[ｊ]、Ｑｃ[ｊ]の輝度値の差を算出する。
【０１０７】
画像比較部３４０は、画像Ｑａ[ｊ]に含まれるｉ番目のピクセルの輝度値と、画像Ｑｂ[ｊ]に含まれるｉ番目のピクセルの輝度値の差を算出し、算出した各ピクセルの差を合計することで、画像Ｑａ[ｊ]と、画像Ｑｂ[ｊ]の差Ｃａｂ[ｊ]を算出する。
【０１０８】
画像比較部３４０は、画像Ｑａ[ｊ]に含まれるｉ番目のピクセルの輝度値と、画像Ｑｃ[ｊ]に含まれるｉ番目のピクセルの輝度値の差を算出し、算出した各ピクセルの差を合計することで、画像Ｑａ[ｊ]と、画像Ｑｃ[ｊ]の差Ｃａｃ[ｊ]を算出する。画像比較部３４０は、算出したＣａｂ[ｊ]、Ｃａｃ[ｊ]の情報を判定部３５０に出力する。
【０１０９】
判定部３５０は、各画像の輝度値の差に基づいて、放置された物体を領域毎に判定し、放置された物体が存在する領域の画像を記憶部１５０に格納する処理部である。以下において、判定部３５０の処理を具体的に説明する。
【０１１０】
まず、判定部３５０は、Ｃａｂ[ｊ]と閾値Ｔａｂを比較し、Ｃａｂ[ｊ]が閾値Ｔａｂよりも大きいか否かを判定する。また、判定部３５０は、Ｃａｃ[ｊ]と閾値Ｔａｃを比較し、Ｃａｃ[ｊ]が閾値Ｔａｃよりも大きいか否かを判定する。
【０１１１】
判定部３５０は、Ｃａｂ[ｊ]が閾値Ｔａｂよりも大きく、かつ、Ｃａｃ[ｊ]が閾値Ｔａｃよりも大きい場合、領域Ｎ[ｊ]に物体が「追加された」と判定する。判定部３５０は、物体が追加されたと判定した場合、Ｍ[ｊ]に「追加フラグ」を立てる。
【０１１２】
判定部３５０は、Ｃａｂ[ｊ]が閾値Ｔａｂよりも大きく、かつ、Ｃａｃ[ｊ]が閾値Ｔａｃ以下の場合、領域Ｎ[ｊ]から物体が「撤去された」と判定する。判定部３５０は、物体が撤去されたと判定した場合、Ｍ[ｊ]に「撤去フラグ」を立てる。
【０１１３】
判定部３５０は、Ｃａｂ[ｊ]が閾値Ｔａｂ以下の場合、領域Ｎ[ｊ]の画像が「変化していない」と判定する。判定部３５０は、変化していないと判定した場合、Ｍ[ｊ]に「変化無しフラグ」を立てる。なお、判定部３５０は、Ｎ[ｊ]がマスク領域の場合、Ｍ[ｊ]に「マスク中フラグ」を立てる。
【０１１４】
判定部３５０は、Ｍ[０]〜Ｍ[Ｒ−１]を参照し、「追加フラグ」が一つでも立っているか否かを判定する。例えば、Ｍ[ｊ]に追加フラグが立っていた場合、判定部３５０は、Ｑａ[ｊ]の画像と、Ｑｃ[０]〜Ｑｃ[ｊ−１]、Ｑｃ[ｊ＋１]〜Ｑｃ[Ｒ]の画像を合成し、合成した画像を画像データ３６０ａに格納する。
【０１１５】
また、判定部３５０は、Ｍ[０]〜Ｍ[Ｒ−１]を参照し、「撤去フラグ」が一つでも立っているか否かを判定する。判定部３５０は、撤去フラグが一つでも立っている場合、直前に画像データ３６０ａに記録した画像を削除する。
【０１１６】
領域Ｎ[ｊ]に物体が追加された後に撤去された場合、かかる物体は放置されていないので、画像として残す必要がない。判定部３５０は、物体が追加された後に撤去された場合、追加された時点で格納した画像を画像データ３６０ａから削除するので、記憶部３６０が記憶する画像のデータ量を削減することができる。
【０１１７】
次に、本実施例４にかかる画像処理装置３００の処理手順について説明する。図２３および図２４は、本実施例４にかかる画像処理装置３００の処理手順を示すフローチャートである。図２３に示すように、画像処理装置３００は、画像を取得し（ステップＳ４０１）、ｊの値を０に設定する（ステップＳ４０２）。
【０１１８】
画像処理装置３００は、ｊの値がＲの値未満であるか否かを判定する（ステップＳ４０３）。画像処理装置３００は、ｊの値がＲの値未満の場合（ステップＳ４０４，Ｙｅｓ）、Ｃｐ[ｊ]を算出し（ステップＳ４０５）、Ｃｐ[ｊ]が閾値Ｔ以上であるか否かを判定する（ステップＳ４０６）。画像処理装置３００は、Ｃｐ[ｊ]が閾値Ｔ以上の場合（ステップＳ４０７，Ｙｅｓ）、Ｎ［ｊ]に数値ＮＮを設定し（ステップＳ４０８）、ステップＳ４０９に移行する。なお、Ｎ[ｊ]の初期値を０とする。
【０１１９】
画像処理装置３００は、Ｃｐ[ｊ]が閾値Ｔ未満の場合（ステップＳ４０７，Ｎｏ）、Ｓ[ｊ]の画像をＮ[ｊ]に含まれる画像Ｐ［ｊ］に更新する（ステップＳ４０９）。画像処理装置３００は、ｊの値に１を加算した値をｊに設定し（ステップＳ４１０）、ステップＳ４０３に移行する。
【０１２０】
ところで、画像処理装置３００は、ｊの値がＲの値以上の場合（ステップＳ４０４，Ｎｏ）、ｊの値を０に設定し（ステップＳ４１１）、ｊの値がＲの値未満であるか否かを判定する（ステップＳ４１２）。画像処理装置３００は、ｊの値がＲの値以上の場合（ステップＳ４１３，Ｎｏ）、Ｍ[０]〜Ｍ[Ｒ−１]のフラグに応じて画像を記録・削除する（ステップＳ４１４）。
【０１２１】
一方、画像処理装置３００は、ｊの値がＲの値未満の場合（ステップＳ４１３，Ｙｅｓ）、図２４のステップＳ４１５に移行する。図２４において、画像処理装置３００は、Ｎ[ｊ]の値が０より大きいか否かを判定する（ステップＳ４１５）。
【０１２２】
画像処理装置３００は、Ｎ[ｊ]の値が０よりも大きい場合（ステップＳ４１６，Ｙｅｓ）、Ｎ[ｊ]の値から１を減算した値をＮ[ｊ]の値に設定する（ステップＳ４１７）、画像処理装置３００は、Ｍ[ｊ]に「マスク中フラグ」を立て（ステップＳ４１８）、ステップＳ４３２に移行する。
【０１２３】
一方、画像処理装置３００は、Ｎ[ｊ]の値が０以下の場合（ステップＳ４１６，Ｎｏ）、フィルタリングを実行し（ステップＳ４１９）、Ｃａｂ[ｊ]を算出し（ステップＳ４２０）、Ｃａｃ[ｊ]を算出する（ステップＳ４２１）。
【０１２４】
画像処理装置３００は、Ｃａｂ[ｊ]の値がＴａｂよりも大きいか否かを判定する（ステップＳ４２２）。画像処理装置３００は、Ｃａｂ[ｊ]の値がＴａｂ以下の場合（ステップＳ４２３，Ｎｏ）、Ｍ[ｊ]に「変化なしフラグ」を立て（ステップＳ４２４）、ステップＳ４３２に移行する。
【０１２５】
一方、画像処理装置３００は、Ｃａｂ[ｊ]の値がＴａｂよりも大きい場合（ステップＳ４２３，Ｙｅｓ）、Ｃａｃ[ｊ]がＴａｃよりも大きいか否かを判定する（ステップＳ４２５）。画像処理装置３００は、Ｃａｃ[ｊ]がＴａｃ以下の場合（ステップＳ４２６，Ｎｏ）、Ｍ［ｊ］に「撤去フラグ」を立てる（ステップＳ４２７）。画像処理装置３００は、Ｑｚ[ｊ]の画像をＱｃ[ｊ]の画像に設定し（ステップＳ４２８）、ステップＳ４３０に移行する。
【０１２６】
一方、画像処理装置３００は、Ｃａｃ[ｊ]がＴａｃより大きい場合（ステップＳ４２６，Ｙｅｓ）、Ｍ[ｊ]に「追加フラグ」を立てる（ステップＳ４２９）。画像処理装置３００は、Ｑｚ[ｊ]の画像をＱａ[ｊ]の画像に設定し（ステップＳ４３０）、Ｑｚ[ｊ]の画像をＱｂ[ｊ]の画像に設定する（ステップＳ４３１）。画像処理装置３００は、ｊの値に１を加算した値をｊに設定し（ステップＳ４３２）、図２３のステップＳ４１３に移行する。
【０１２７】
上述してきたように、本実施例４にかかる画像処理装置３００は、画像を複数の領域に分割し、輝度が大きく変化する領域をマスク領域として特定し、マスク領域を放置物の検出対象から外す。したがって、放置物の検出対象となる領域を絞り込むことができ、処理負荷を軽減することができる。
【０１２８】
なお、本実施例４にかかる画像処理装置３００は、マスク領域を特定した場合、一定時間経過後、マスク領域を解除しているがこれに限定されるものではない。例えば、マスク設定部３２０は、Ｃｐ[ｊ]の値が閾値Ｔよりも大きくなる回数をカウントする。そして、マスク設定部３２０は、カウントした回数が所定回数以上となった場合に、領域Ｎ[ｊ]を永久にマスク領域として設定してもよい。例えば、マスク設定部３２０は、領域Ｎ[ｊ]の値を限りなく大きな数値に設定する。
【０１２９】
また、Ｃｐ[ｊ]の値が閾値Ｔよりも大きくなる回数が所定回数を下回る領域は、人の手が届かず、壁や天井のように物理的に放置物が置かれない領域であると考えられる。ここで、物理的に放置物がおかれない領域を基準領域と表記する。この基準領域の輝度値や色合いの変化に応じて、他の領域の輝度値や色合いを調整してもよい。例えば、部屋に明かりが灯った場合、画像全体の輝度値が変化してしまうので、各領域において物体が追加されたと誤判定する恐れがある。
【０１３０】
したがって、画像処理装置３００は、基準領域の輝度値がΔＨ高くなった場合に、各領域の画像の輝度値をΔＨだけ低くすれば、画像全体の輝度値が変化した場合の誤判定を防止することができる。図２５は、永久にマスクする領域および基準領域を説明するための図である。
【０１３１】
図２５に示すように、床や廊下は人が通過する領域であり、変化が激しいブロックに相当するため、永久にマスクする。壁や天井は、人がとおらず、物体も放置されないため、変化が無なく基準領域に相当する。テーブルが存在する領域は、各種の物体が放置される可能性が高いため、かかる領域を監視対象とする。
【０１３２】
また、本実施例４にかかる画像処理装置３００は、閾値Ｔａｂ、Ｔａｃの値を固定して用いていたがこれに限定されるものではない。画像処理装置３００は、領域ごとに異なる閾値Ｔａｂ、Ｔａｃを設定してもよい。
【０１３３】
例えば、物体が追加された回数をカウントし、カウントした回数に応じて、閾値Ｔａｂ、Ｔａｃの値を調整してもよい。例えば、物体が追加された回数が所定回数未満となる領域は、滅多に物体が放置されない領域である。このような領域に物体が放置される可能性が低いので、画像処理装置３００は、かかる領域において物体が追加されたと判定しにくくなるように閾値Ｔａｂ、Ｔａｃを調整する。具体的に、物体が追加された回数が所定回数未満となる領域をＮ[ｊ]とすると、Ｃａｂ[ｊ」と比較する閾値Ｔａｂに所定値を加算し、Ｃａｃ[ｊ」と比較する閾値Ｔａｃに所定値を加算する。
【０１３４】
また、画像処理装置３００は、人物を検出する焦電センサを利用して、画像を記録するか否かを判定してもよい。焦電センサが人を検出していない間は、物体が追加されることは考えにくい。したがって、画像処理装置３００は、焦電センサが人を検出している間に、物体が追加されたと判定した場合に、追加された物体の画像を記憶するようにしてもよい。または、画像処理装置３００は、焦電センサが人を検出していない場合、画像Ｑｃを画像ＰやＱｚに上書きしてもよい。
【０１３５】
ところで、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、画像取得部１１０、フィルタリング部１２０、画像比較部１３０を画像処理装置１００の外部装置としてネットワーク経由で接続するようにしてもよい。
【０１３６】
なお、画像処理装置１００は、既知のパーソナルコンピュータ、ワークステーション、携帯電話、ＰＨＳ端末、移動体通信端末またはＰＤＡなどの情報処理装置に、上記した各部１１０〜１５０の各機能を搭載することによって実現することもできる。
【０１３７】
図２６は、実施例にかかる画像処理装置を構成するコンピュータのハードウェア構成を示す図である。図２６に示すように、このコンピュータ４００は、各種演算処理を実行するＣＰＵ（Central  Processing  Unit）４１０と、ユーザからのデータの入力を受け付ける入力装置４２０と、モニタ４３０を有する。また、コンピュータ４００は、記憶媒体からプログラム等を読取る媒体読み取り装置４４０と、ネットワークを介して他のコンピュータとの間でデータの授受を行うネットワークインターフェース装置４５０を有する。また、コンピュータ４００は、画像を撮影するカメラ４６０と、各種情報を一時記憶するＲＡＭ（Random  Access  Memory）４７０と、ハードディスク装置４８０を有する。各装置４１０〜４８０は、バス４９０に接続される。
【０１３８】
そして、ハードディスク装置４８０には、図８に示したフィルタリング部１２０、画像比較部１３０、判定部１４０と同様の機能を有する画像処理プログラム４８１と、図８の記憶部１５０に記憶される画像データ１５０ａに対応する画像データ４８２とが記憶される。なお、画像データ４８２を、適宜分散させ、ネットワークを介して接続された他のコンピュータに記憶させておくこともできる。
【０１３９】
ＣＰＵ４１０が画像処理プログラム４８１をハードディスク装置４８０から読み出してＲＡＭ４７０に展開することにより、画像処理プログラム４８１は、画像処理プロセス４７１として機能するようになる。そして、画像処理プロセス４７１は、画像データ４８２に対する画像の登録・削除を実行する。
【０１４０】
なお、上記の画像処理プログラム４８１は、必ずしもハードディスク装置４８０に格納されている必要はなく、ＣＤ−ＲＯＭ等の記憶媒体に記憶されたプログラムを、コンピュータ４００が読み出して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ（Local  Area  Network）、ＷＡＮ（Wide  Area  Network）等にこのプログラムを記憶させておき、コンピュータ２００がこれらからプログラムを読み出して実行するようにしてもよい。
【符号の説明】
【０１４１】
１０，１００，２００，３００    画像処理装置
１１    画像生成部
１２    判定部
１３，１５０，２５０，３６０    記憶部
１１０，２１０，３１０    画像取得部
１２０，２２０，３３０    フィルタリング部
１３０，２３０，３４０    画像比較部
１４０，２４０，３５０    判定部
１５０ａ，２５０ａ，３６０ａ  画像データ
３２０    マスク設定部
【図１】
0005381524.tif 000013
【図２】
0005381524.tif 000014
【図３】
0005381524.tif 000015
【図４】
0005381524.tif 000016
【図５】
0005381524.tif 000017
【図６】
0005381524.tif 000018
【図７】
0005381524.tif 000019
【図８】
0005381524.tif 000020
【図９】
0005381524.tif 000021
【図１０】
0005381524.tif 000022
【図１１】
0005381524.tif 000023
【図１２】
0005381524.tif 000024
【図１３】
0005381524.tif 000025
【図１４】
0005381524.tif 000026
【図１５】
0005381524.tif 000027
【図１６】
0005381524.tif 000028
【図１７】
0005381524.tif 000029
【図１８】
0005381524.tif 000030
【図１９】
0005381524.tif 000031
【図２０】
0005381524.tif 000032
【図２１】
0005381524.tif 000033
【図２２】
0005381524.tif 000034
【図２３】
0005381524.tif 000035
【図２４】
0005381524.tif 000036
【図２５】
0005381524.tif 000037
【図２６】
0005381524.tif 000038