(57)【要約】【課題】照明変動やノイズに頑健で、過剰検出と検出漏れを抑制した変動領域抽出を行うことができる変動領域検出装置を提供する。【解決手段】第１の変動検出部１１０と、第２の変動検出部１１１と、これら２つの変動検出結果を統合する変動領域統合部１０７とからなり、第１の変動検出部１１０は、注目画素と周辺画素の輝度差を判定して符号化する注目画像・周辺画素輝度差符号化部１０１と、学習画像における輝度差符号を記憶する輝度差符号記憶部１０２と、学習画像と入力画像における輝度差符号に基づいて入力画像における変動を判定する変動判定部１０３とからなり、第２の変動検出部１１１は、学習画像において注目画素から複数方向にある輝度差をもつ画素を探索する参照画素探索部１０４と、その参照画素の位置を記憶する参照画素位置記憶部１０５と、入力画像において注目画素と前記参照画素の輝度差が一定以内に保存されているかどうかに基づいて変動を検出する変動判定部１０６とからなる。【選択図】      図１
2007241479.tif 000002
【特許請求の範囲】
【請求項１】
学習画像と入力画像とを比較して、その変動領域を検出する変動領域検出装置において、
前記学習画像中の注目画素とその周辺にある周辺画素の各々との輝度差を、閾値ＴＨ１より小さい場合、閾値ＴＨ１以上閾値ＴＨ２以下の場合、及び、閾値ＴＨ２より大きい場合の各々を表す３値の輝度差符号で符号化して記憶する第１輝度差符号化手段と、
前記入力画像中の注目画素とその周辺にある周辺画素の各々との輝度差を、閾値ＴＨ１より小さい場合、閾値ＴＨ１以上閾値ＴＨ２以下の場合、及び、閾値ＴＨ２より大きい場合の各々を表す３値の輝度差符号で符号化する第２輝度差符号化手段と、
前記学習画像中の前記注目画素の前記各周辺画素の輝度差符号と、前記入力画像中の前記注目画素の前記各周辺画素の輝度差符号の差に基づいて、前記入力画像の前記周辺画素毎の変動の有無を第１変動結果として求める第１変動判定手段と、
前記学習画像中の注目画素から複数方向に輝度差が閾値ＴＨ３以下である画素及び輝度差が閾値ＴＨ４以上である画素を探索し、学習参照画素としてそれぞれ記憶する第１参照画素探索手段と、
前記学習画像中の前記注目画素と前記学習参照画素の輝度差と、前記入力画像中の前記注目画素と前記入力画像中で前記学習参照画素に対応する画素である前記入力参照画素の輝度差とに変化があるか否かに基づいて、前記入力画像の前記周辺画素毎の変動の有無を第２変動結果として求める第２変動判定手段と、
前記第１変動結果と前記第２変動結果に基づいて、前記入力画像中の前記周辺画素毎の変動を判断する統合手段と、
を備える
ことを特徴とする変動領域検出装置。
【請求項２】
前記統合手段は、前記第１変動結果と前記第２変動結果のどちらか一方で変動有りのときに、前記周辺画素に変動有りと判断する
ことを特徴とする請求項１記載の変動領域検出装置。
【請求項３】
前記統合手段は、前記第１変動結果に第１の重みをかけ、前記第２変動結果に第２の重みをかけて合計して、所定値以上であれば前記周辺画素に変動有りと判断する
ことを特徴とする請求項１記載の変動領域検出装置。
【請求項４】
学習画像と入力画像とを比較して、その変動領域を検出する変動領域検出方法において、
前記学習画像中の注目画素とその周辺にある周辺画素の各々との輝度差を、閾値ＴＨ１より小さい場合、閾値ＴＨ１以上閾値ＴＨ２以下の場合、及び、閾値ＴＨ２より大きい場合の各々を表す３値の輝度差符号で符号化して記憶し、
前記入力画像中の注目画素とその周辺にある周辺画素の各々との輝度差を、閾値ＴＨ１より小さい場合、閾値ＴＨ１以上閾値ＴＨ２以下の場合、及び、閾値ＴＨ２より大きい場合の各々を表す３値の輝度差符号で符号化し、
前記学習画像中の前記注目画素の前記各周辺画素の輝度差符号と、前記入力画像中の前記注目画素の前記各周辺画素の輝度差符号の差に基づいて、前記入力画像の前記周辺画素毎の変動の有無を第１変動結果として求め、
前記学習画像中の注目画素から複数方向に輝度差が閾値ＴＨ３以下である画素及び輝度差が閾値ＴＨ４以上である画素を探索し、学習参照画素としてそれぞれ記憶し、
前記学習画像中の前記注目画素と前記学習参照画素の輝度差と、前記入力画像中の前記注目画素と前記入力画像中で前記学習参照画素に対応する画素である前記入力参照画素の輝度差とに変化があるか否かに基づいて、前記入力画像の前記周辺画素毎の変動の有無を第２変動結果として求め、
前記第１変動結果と前記第２変動結果に基づいて、前記入力画像中の前記周辺画素毎の変動を判断する
ことを特徴とする変動領域検出方法。
【請求項５】
前記第１変動結果と前記第２変動結果のどちらか一方で変動有りのときに、前記周辺画素に変動有りと判断する
ことを特徴とする請求項４記載の変動領域検出方法。
【請求項６】
前記第１変動結果に第１の重みをかけ、前記第２変動結果に第２の重みをかけて合計して、所定値以上であれば前記周辺画素に変動有りと判断する
ことを特徴とする請求項４記載の変動領域検出方法。
【請求項７】
学習画像と入力画像とを比較して、その変動領域をコンピュータによって検出する変動領域検出プログラムにおいて、
前記学習画像中の注目画素とその周辺にある周辺画素の各々との輝度差を、閾値ＴＨ１より小さい場合、閾値ＴＨ１以上閾値ＴＨ２以下の場合、及び、閾値ＴＨ２より大きい場合の各々を表す３値の輝度差符号で符号化して記憶する第１輝度差符号化機能と、
前記入力画像中の注目画素とその周辺にある周辺画素の各々との輝度差を、閾値ＴＨ１より小さい場合、閾値ＴＨ１以上閾値ＴＨ２以下の場合、及び、閾値ＴＨ２より大きい場合の各々を表す３値の輝度差符号で符号化する第２輝度差符号化機能と、
前記学習画像中の前記注目画素の前記各周辺画素の輝度差符号と、前記入力画像中の前記注目画素の前記各周辺画素の輝度差符号の差に基づいて、前記入力画像の前記周辺画素毎の変動の有無を第１変動結果として求める第１変動判定機能と、
前記学習画像中の注目画素から複数方向に輝度差が閾値ＴＨ３以下である画素及び輝度差が閾値ＴＨ４以上である画素を探索し、学習参照画素としてそれぞれ記憶する第１参照画素探索機能と、
前記学習画像中の前記注目画素と前記学習参照画素の輝度差と、前記入力画像中の前記注目画素と前記入力画像中で前記学習参照画素に対応する画素である前記入力参照画素の輝度差とに変化があるか否かに基づいて、前記入力画像の前記周辺画素毎の変動の有無を第２変動結果として求める第２変動判定機能と、
前記第１変動結果と前記第２変動結果に基づいて、前記入力画像中の前記周辺画素毎の変動を判断する統合機能と、
を実現する
ことを特徴とする変動領域検出プログラム。
【請求項８】
前記統合機能は、前記第１変動結果と前記第２変動結果のどちらか一方で変動有りのときに、前記周辺画素に変動有りと判断する
ことを特徴とする請求項７記載の変動領域検出プログラム。
【請求項９】
前記統合機能は、前記第１変動結果に第１の重みをかけ、前記第２変動結果に第２の重みをかけて合計して、所定値以上であれば前記周辺画素に変動有りと判断する
ことを特徴とする請求項７記載の変動領域検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、学習した通常時の画像と現在の入力画像を比較して、変動が生じている領域を抽出する変動領域検出装置及びその方法に関するものである。
【背景技術】
【０００２】
従来の変動領域検出技術としては、以下のようなものが挙げられる。
【０００３】
まず、学習された平均背景画像と入力画像の輝度差に基づいて変動領域を検出する背景差分方法（非特許文献１参照）がある。
【０００４】
また、学習された背景テクスチャと入力画像テクスチャとの差に基づいて変動領域を検出する周辺増分符号相関法がある（非特許文献２参照）。
【０００５】
さらに、注目画像との輝度差が正負に一定以上ある参照画素を８方向に探索し、その輝度差の正負が入力画像でも保存されているかに基づいて変動領域を抽出するＢＰＲＲＣ（Bi-polar radial reach correlation）法がある（非特許文献３参照）。
【非特許文献１】Kentaro Toyama, John Krumm, Barry Brumitt, and Brian Meyrrs.Wallflower: Principles and practice of background maintenance. Proceedings of the 7th IEEE International Conference on Computer Vision(ICCV 1999),pp.255-261,September 1999.
【非特許文献２】佐藤雄隆，金子俊一，五十嵐悟．周辺増分符号相関画像に基づくロバスト物体検出及び分離．電子情報通信学会論文誌，Vol.J84-D-II,No.12,pp.2585-2594,December 2001.
【非特許文献３】佐藤雄隆，坂上勝彦．Bi-polar radial reach correlation によるロバスト背景差分．信学技報 PRMU2004-224,PP.73-78,March 2005.
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記非特許文献１の背景差分方法では、照明変動による全体的な輝度変化を人物などによる変動として誤検出してしまう問題点がある。
【０００７】
また、非特許文献２の周辺増分符号相関法は、注目画像と周辺の参照画素との輝度差が小さく照明変動やノイズで輝度差が反転しやすい場合に誤検出が多くなるという問題点がある。
【０００８】
さらに、非特許文献３のＢＰＲＲＣ法は、注目画像と参照画素の輝度差が反転するような大きな変動しか検出しないため、検出漏れが生じやすいという問題点がある。
【０００９】
そこで本発明は、上記問題点に鑑み、照明変動やノイズに頑健で、過剰検出と検出漏れを抑制した変動領域抽出を行うことができる変動領域検出装置及びその方法を提供する。
【課題を解決するための手段】
【００１０】
本発明は、学習画像と入力画像とを比較して、その変動領域を検出する変動領域検出装置において、前記学習画像中の注目画素とその周辺にある周辺画素の各々との輝度差を、閾値ＴＨ１より小さい場合、閾値ＴＨ１以上閾値ＴＨ２以下の場合、及び、閾値ＴＨ２より大きい場合の各々を表す３値の輝度差符号で符号化して記憶する第１輝度差符号化手段と、前記入力画像中の注目画素とその周辺にある周辺画素の各々との輝度差を、閾値ＴＨ１より小さい場合、閾値ＴＨ１以上閾値ＴＨ２以下の場合、及び、閾値ＴＨ２より大きい場合の各々を表す３値の輝度差符号で符号化する第２輝度差符号化手段と、前記学習画像中の前記注目画素の前記各周辺画素の輝度差符号と、前記入力画像中の前記注目画素の前記各周辺画素の輝度差符号の差に基づいて、前記入力画像の前記周辺画素毎の変動の有無を第１変動結果として求める第１変動判定手段と、前記学習画像中の注目画素から複数方向に輝度差が閾値ＴＨ３以下である画素及び輝度差が閾値ＴＨ４以上である画素を探索し、学習参照画素としてそれぞれ記憶する第１参照画素探索手段と、前記学習画像中の前記注目画素と前記学習参照画素の輝度差と、前記入力画像中の前記注目画素と前記入力画像中で前記学習参照画素に対応する画素である前記入力参照画素の輝度差とに変化があるか否かに基づいて、前記入力画像の前記周辺画素毎の変動の有無を第２変動結果として求める第２変動判定手段と、前記第１変動結果と前記第２変動結果に基づいて、前記入力画像中の前記周辺画素毎の変動を判断する統合手段と、を備えることを特徴とする変動領域検出装置である。
【発明の効果】
【００１１】
本発明によれば、照明変動やノイズに頑健で、過剰検出と検出漏れを抑制した変動領域抽出を行うことができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の一実施形態の変動領域検出装置について図１から図６に基づいて説明する。
【００１３】
（１）変動領域検出装置の構成
図１は、本実施形態の変動領域検出装置の全体構成を示すブロック図である。
【００１４】
変動領域検出装置は、第１の変動検出部１１０と、第２の変動検出部１１１と、これら２つの変動検出結果を統合する変動領域統合部１０７とからなる。
【００１５】
第１の変動検出部１１０は、注目画素と周辺画素の輝度差を判定して符号化する注目画像・周辺画素輝度差符号化部１０１と、学習画像における輝度差符号を記憶する輝度差符号記憶部１０２と、学習画像と入力画像における輝度差符号に基づいて入力画像における変動を判定する変動判定部１０３とからなる。
【００１６】
第２の変動検出部１１１は、学習画像において注目画素から複数方向にある輝度差をもつ画素を探索する参照画素探索部１０４と、その参照画素の位置を記憶する参照画素位置記憶部１０５と、入力画像において注目画素と前記参照画素の輝度差が一定以内に保存されているかどうかに基づいて変動を検出する変動判定部１０６とからなる。
【００１７】
なお、この変動領域検出装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、第１の変動検出部１１０、第２の変動検出部１１１、変動領域統合部１０７は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。
【００１８】
（２）学習処理
図２は学習処理の流れの概要図である。以下、図２に基づいて学習の処理を説明する。この学習処理を行う場合は、検出対象である入力画像と比較される学習画像をビデオカメラなどの画像入力装置から第１の変動検出部１１０と第２の変動検出部１１１にそれぞれ入力する。この学習画像としては、例えば、侵入者がない状態の部屋の背景画像である。
【００１９】
まず、ステップＳ１０１において、注目画素・周辺画素輝度差符号化部１０１が、学習画像における注目画素と周辺画素の輝度差に基づいて符号化を行う。
【００２０】
注目画素の座標を（ｘ，ｙ）とし、その輝度値をＩ（ｘ，ｙ）としたとき、周辺画素は例えば図４のように注目画素から２画素離れた座標（ｘ＋２，ｙ−２），（ｘ＋２，ｙ−１），・・・（ｘ＋１，ｙ−２）の画素とすればよい。注目画素・周辺画素輝度差符号化部１０１は、１６個の周辺画素それぞれに対し、注目画素との輝度差がＴＨ１未満のときに−１、ＴＨ１以上ＴＨ２以下のときに０、ＴＨ２より大きいときに１として符号化し、ｂｉ（ｘ，ｙ）（但し、ｉ＝０，・・・，１５である）とする。
【数１】
2007241479.tif 000003
【００２１】
次に、ステップＳ１０２において、輝度差符号記憶部１０２は、これらの輝度差符号ｂｉ（ｘ，ｙ）を記憶する。複数枚の学習画像がある場合は、それぞれの画像から得られた輝度差符号ｂｉ（ｘ，ｙ）の平均値を記憶すればよい。ここで、注目画素Ｉ（ｘ，ｙ）に対するステップＳ１０１とＳ１０２の処理は、学習画像の全画素に対して行う。
【００２２】
次に、ステップＳ１０３において、参照画素探索部１０４は、非特許文献３の方法と同様に、学習画像における参照画素の探索を行う。注目画素Ｉ（ｘ，ｙ）から複数の方向（例えば８方向）に対し、注目画素と閾値ＴＨ３以下の輝度差を持つ参照画素ｃｉ−（ｘ，ｙ）（但し、ｉ＝０，・・・，７である）と、閾値ＴＨ４以上の輝度差を持つ参照画素ｃｉ＋（ｘ，ｙ）（但し、ｉ＝０，・・・，７である）を探索する（図５参照）。
【００２３】
次に、ステップＳ１０４において、参照画素位置記憶部１０５は、これらの参照画素ｃｉ−（ｘ，ｙ），ｃｉ＋（ｘ，ｙ）の位置を記憶する。ここで、注目画素Ｉ（ｘ，ｙ）に対するステップＳ１０３とＳ１０４の処理を、学習画像の全画素に対して行う。
【００２４】
（３）検出処理
図３は検出処理の流れの概要図である。以下、図３に基づいて検出の処理を説明する。この検出処理を行う場合は、検出対象である入力画像をビデオカメラなどの画像入力装置から第１の変動検出部１１０と第２の変動検出部１１１にそれぞれ入力する。この入力画像としては、例えば、現時点の状態の部屋の画像であり、検出対象としてこの部屋への侵入者である。
【００２５】
まず、ステップＳ２０１において、注目画素・周辺画素輝度差符号化部１０１が、入力画像における注目画素と周辺画素の輝度差に基づいて符号化を行う。符号化処理は、学習処理と同様の処理を行う。
【００２６】
次に、ステップＳ２０２において、変動判定部１０３は、注目画素Ｉ（ｘ，ｙ）に対し、ステップＳ２０１で得られた符号ｂｉｉｎ（ｘ，ｙ）（但し、ｉ＝０，・・・，１５である）と、輝度差符号記憶部１０２が記憶していた学習画像の符号ｂｉｂｇ（ｘ，ｙ）（但し、ｉ＝０，・・・，１５である）とを比較する。これらの符号の不一致度Ｂ（ｘ，ｙ）の合計がある閾値ＴＨｂ以上であれば、注目画素Ｉ（ｘ，ｙ）は変動領域であるとする。
【数２】
2007241479.tif 000004
【００２７】
次に、ステップＳ２０３において、変動判定部１０６は、参照画素位置記憶部１０５が記憶している参照画素位置に基づいて、入力画像における注目画素と参照画素の輝度差を抽出する。
【００２８】
次に、ステップＳ２０４において、参照画素ｃｉ−（ｘ，ｙ）（但し、ｉ＝０，・・・，７である）との輝度差がＴＨ５以上であるか、ｃｉ＋（ｘ，ｙ）（但し、ｉ＝０，・・・，７である）との輝度差がＴＨ６以下であるような組の数Ｃ（ｘ，ｙ）がある閾値ＴＨｃ以上であれば、注目画素Ｉ（ｘ，ｙ）は変動領域であるとする（ステップＳ２０４）。
【数３】
2007241479.tif 000005
【００２９】
数３の第２式においてｃｉ−（ｘ，ｙ）＝１となるのは、学習画像でｃｉ−（ｘ，ｙ）−Ｉ（ｘ，ｙ）＜＝ＴＨ３であったのが入力画像でｃｉ−（ｘ，ｙ）−Ｉ（ｘ，ｙ）＝＞ＴＨ５となった場合であり、輝度差の関係が大きく変化していることから、変動があったと判定するものである。例えば、ＴＨ３＝ＴＨ５＝０とした場合、ｃｉ−（ｘ，ｙ）とＩ（ｘ，ｙ）の輝度差が反転するような大きな変動があった組を数３の第２式でカウントすることになる。
【００３０】
次に、ステップＳ２０５において、変動領域統合部１０７は、ステップＳ２０２で得られた結果Resultｂ（ｘ，ｙ）とステップＳ２０４で得られた結果Resultｃ（ｘ，ｙ）を統合する。例えば、
【数４】
2007241479.tif 000006
【００３１】
とすればよい。
【００３２】
（４）２つの変動検出部１１０，１１１の効果
第１の変動検出部１１０は、注目画素と周辺画素の輝度差、つまりテクスチャ（輝度の変化をともなう模様）に基づいて変動を検出するため、学習画像か入力画像の少なくとも一方にテクスチャがある場合に検出性能が高いが、学習画像と入力画像の両方にテクスチャが少ない場合には検出漏れが多く生じてしまう。一方、第２の変動検出部１１１は８方向に輝度差のある参照画素を探索するため、学習画像と入力画像の両方にテクスチャが少ない場合でも比較的遠方の参照画素と比較することで検出性能を維持できるが、輝度差が反転するような大きな変動しか検出できないため、検出漏れが生じやすい。つまり両手段を単独で用いた場合は、検出漏れが増大しやすいという問題がある。
【００３３】
しかし、第１の変動検出部１１０は学習画像か入力画像の少なくとも一方にテクスチャがある場合に検出性能が高く、第２の変動検出部１１１は学習画像と入力画像の両方にテクスチャが少ない場合に比較的高い検出性能が得られるため、両手段は補完性が高い。すなわち、一方で検出できない領域を他方が検出できる。また、両手段はともに過剰検出（変動のない領域を変動として検出してしまう）が少ないため、両者を組み合わせても過剰検出は増大しにくい。つまり両者を統合することによって、過剰検出を抑制しながら、検出漏れも抑制することができるという利点がある。
【００３４】
（５）３値符号化による安定化の効果
ステップＳ１０１、Ｓ２０１における、注目画素・周辺画素輝度差符号化部１０１による符号化の際、従来の周辺増分符号相関法（非特許文献２参照）のように０／１で２値化するのではなく、本実施形態のように３値化することによってノイズなどの変動に対して頑健になることを図６を用いて示す。
【００３５】
入力画像が図６（ａ−１）でようであった場合、中央の注目画素とその周辺画素（ここでは隣接した周辺８画素を考える）との大小関係を見ることで、周辺増分符号相関では（ｂ−１）のように０／１符号化される。
【００３６】
一方、本実施形態の方法では３値符号化によって（ｃ−１）のように符号化される。ここで、画像にノイズなどのわずかな変動が加わって注目画素の輝度が変動し（ａ−２）のような入力となった場合、注目画素と周辺画素の大小関係が反転するため、周辺増分符号相関では（ｂ−２）のようになる。
【００３７】
（ｂ−２）でハッチで示した領域で符号に変化が生じるため、本来であれば変動が生じていないはずの領域に変動が生じた（人物の侵入などで変動領域が生じた）と判定されてしまう。一方、本実施形態の方法では（ｃ−２）のようになり、符号化結果に変動は生じず、過剰検出は発生しない。
【００３８】
つまり周辺増分符号相関では、図６のように輝度差が０／１の判定基準に近い（輝度差が０に近い）画素間で、ノイズなどのわずかな変動によって符号が反転しやすい（（ｂ−２）のハッチの領域）のに対して、本実施形態の方法では安定して符号０が割り当てられるため、変動に対して頑健になる。
【００３９】
（６）変更例
なお、本発明は上記各実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。
【００４０】
例えば、変動領域統合部１０７において、Resultｂ（ｘ，ｙ）とResultｃ（ｘ，ｙ）とを所定の重みをかけて合計してもよい。そして、その合計値が基準値を超えていると変動があったと判定してもよい。
【産業上の利用可能性】
【００４１】
本発明は、例えば、画像監視において侵入者の領域を検出したり、モーションキャプチャ・ジェスチャ認識のために人物の領域を検出したりするために用いることができる。
【図面の簡単な説明】
【００４２】
【図１】本発明の一実施形態を示す変動領域検出装置のブロック図である。
【図２】同じく学習処理の流れの例である。
【図３】同じく検出処理の流れの例である。
【図４】注目画素と周辺画素である。
【図５】参照画素の探索である。
【図６】３値符号化による安定化を説明する図である。
【符号の説明】
【００４３】
１０１    注目画像・周辺画素輝度差符号化部
１０２    輝度差符号記憶部
１０３    変動判定部
１０４    参照画素探索部
１０５    参照画素位置記憶部
１０６    変動判定部
１０７    変動領域統合部
１１０    第１の変動検出部
１１１    第２の変動検出部
【図１】
2007241479.tif 000007
【図２】
2007241479.tif 000008
【図３】
2007241479.tif 000009
【図４】
2007241479.tif 000010
【図５】
2007241479.tif 000011
【図６】
2007241479.tif 000012