(57)【特許請求の範囲】
【請求項１】
２  枚の画像の２  次元濃度ヒストグラムを元にして変化抽出を行う変化抽出方法において、
濃度値(I1(x),I2(x))を２  軸として両画像の同じ座標値ｘにおける濃度値(I1,I2)  組み合わせの頻度分布を表す２  次元濃度ヒストグラムを作成し、
前記２次元濃度ヒストグラム上に形成される各クラスタの尾根線の(I1,I2)平面への投影の平均傾きを算出し、その中でもっとも長い尾根線の平均傾きD0と大きくかけ離れない閾値D1以内の傾きの尾根線を持つクラスタがカバーする濃度値(I1,I2)の組み合わせを「重要でない」変化とし、残りの「重要な」変化とに分け、これを記した２次元テーブルSig(I1,I2)を作成し、
座標値xにおける各画素の濃度値(I1(x),I2(x))をこのテーブルと参照して重要と重要でない画素に分けることにより、「重要でない」変化を取り除くことで、変化領域を抽出する、
ことから成る変化抽出方法。
【請求項２】
上記重要な変化として抽出された連結画素領域における２画像間のグラディエント画像の類似性を算出し、類似性の低い領域を変化領域と決定する請求項１に記載の変化抽出方法。
【請求項３】
２  枚の画像の２  次元濃度ヒストグラムを元にして変化抽出を行う変化抽出システムにおいて、
濃度値(I1(x),I2(x))を２  軸として両画像の同じ座標値ｘにおける濃度値(I1,I2)  組み合わせの頻度分布を表す２  次元濃度ヒストグラムを作成する手段と、
前記２次元濃度ヒストグラム上に形成される各クラスタの尾根線の(I1,I2)平面への投影の傾きを算出し、その中でもっとも長い尾根線の平均傾きD0と大きくかけ離れない閾値D1以内の傾きの尾根線を持つクラスタがカバーする濃度値(I1,I2)の組み合わせを「重要でない」変化とし、残りの「重要な」変化とに分け、これを記した２次元テーブルSig(I1,I2)を作成する手段と、
座標値xにおける各画素の濃度値(I1(x),I2(x))をこのテーブルと参照して重要と重要でない画素に分けることにより、「重要でない」変化を取り除くことで変化領域を抽出する手段と、
から成る変化抽出システム。
【請求項４】
上記重要な変化として抽出された連結画素領域における２画像間のグラディエント画像の類似性を算出し、類似性の低い領域を変化領域と決定する請求項３に記載の変化抽出システム。
【請求項５】
２  枚の画像の２  次元濃度ヒストグラムを元にして変化抽出を行う変化抽出プログラムにおいて、
濃度値(I1(x),I2(x))を２  軸として両画像の同じ座標値ｘにおける濃度値(I1,I2)  組み合わせの頻度分布を表す２  次元濃度ヒストグラムを作成する手順と、
前記２次元濃度ヒストグラム上に形成される各クラスタの尾根線の(I1,I2)平面への投影の傾きを算出し、その中でもっとも長い尾根線の平均傾きD0と大きくかけ離れない閾値D1以内の傾きの尾根線を持つクラスタがカバーする濃度値(I1,I2)の組み合わせを「重要でない」変化とし、残りの「重要な」変化とに分け、これを記した２次元テーブルSig(I1,I2)を作成する手順と、
座標値xにおける各画素の濃度値(I1(x),I2(x))をこのテーブルと参照して重要と重要でない画素に分けることにより、「重要でない」変化を取り除くことで変化領域を抽出する手順と、
から成る各手順を実行させるための変化抽出プログラム。
【請求項６】
上記重要な変化として抽出された連結画素領域における２画像間のグラディエント画像の類似性を算出し、類似性の低い領域を変化領域と決定する手順をさらに含む請求項５に記載の変化抽出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、同一物体の濃淡値の変化ではなく、新しい物体の出現、もしくは存在した物体の消失を検出する２ 次元濃度ヒストグラムを用いた変化抽出方法、システム、及びプログラムに関する。
【背景技術】
【０００２】
異なる時間に撮影された同一シーンの画像間の変化抽出は、監視画像からのイベント検出、医用、マシンビジョンにおける異常検出、航空・衛星画像からの変化抽出など、様々な応用において重要性を増している（非特許文献１）。もし、比較する２ 画像が異なる視点から撮影された場合には、まず、両画像を位置あわせする処理が必要である（非特許文献２）が、本発明は、観測画像が同一視点から撮影、もしくは、既に位置あわせ前処理が行われていることを前提とし、変化抽出処理に集中する。
【０００３】
もし、入力画像がフレームレートのような非常に短い時間間隔で撮影されている場合には、前後何枚かの時系列画像を用いた適用背景差分（非特許文献３，４）のアプローチが効果的である。しかし、実応用においては、変化を抽出したい画像間がもっと大きな時間空いて撮影されている場合も多く、この場合には、新しい物体の出現など真に抽出したい変化を撮影時の照明条件の違いによる同一物体の濃度変化から識別して抽出することが難しくなる。とりわけ、天候により太陽光の影響が大きく異なる屋外シーンの場合に特に大きな問題となる。
【０００４】
特許文献１〜３は、欠陥や異物などの変化を抽出する技術を開示するが、しかし、これら特許文献に記載の技術はいずれも、撮影時間や天候により太陽光の影響が大きく異なる屋外において用いることを想定しておらず、それ故に、真に検出すべき変化なのか、或いは単なる環境光の変動による濃度値変化なのかを識別することができない。
【０００５】
【特許文献１】特開２００４−２９６５９２号公報
【特許文献２】特開２００４−３０１７４８号公報
【特許文献３】特開２００２−３４５８０７号公報
【非特許文献１】R.J. Radke, S. Andra, O. Al-Kofahi and B. Roysam:“ Image change detection algorithms: a systematic survey”, IEEE Trans. on Image Processing, Vol. 14, No.3, pp. 294-307, 2005.
【非特許文献２】B. Zitov´a and J. Flusser:“ Image registration methods: a survey ”, Image and Vison Computing, Vol.21, No.11, pp.977-1000, 2003.
【非特許文献３】K. Toyama, J. Krumm, B. Brumit, and B. Meyers: “ Wallflower: principles and practice of background maintenance ”, In Proc. of International Conference on Computer Vision, pp. 255-261, 1999.
【非特許文献４】M. Pic, L. Berthouze, and T. Kurita B:“Adaptive background estimation: computing a pixel-wise learning rate from local confidence and global correlation values”, IEICE Trans. on Information and System, Vol. E87-D, No.1, pp.50-57, 2004.
【非特許文献５】F. Maes, A. Collignon, D. Vandermeulen, G. Marchal, and P. Suetens: “ Multimodality Image Registration by Maximization of Mutual Information”, IEEE Trans. on Medical Imaging, Vol. 16, No. 2, pp. 187-198, 1997.
【非特許文献６】http://model.job.affrc.go.jp/FieldServer/FieldServerEn/default.htm:
【非特許文献７】T. Fukatsu and M. Hirafuji:“ Field Monitoring Using Sensor-Nodes with a Web Server”, Journal of Robotics and Mechatronics, Vol. 17, No.2, pp. 164-172, 2005.
【非特許文献８】P.A. Bromiley, N.A. Thacker, and P. Courtney: “Non-parametric Image Subtraction using Grey Level Scattergrams”, Image and Vison Computing, Vol. 20, pp. 609-617, 2002.
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、同一物体の濃淡値の変化ではなく、新しい物体の出現、もしくは存在した物体の消失を検出する。図２，図３は異なる時間に撮影された同一シーンの２ 枚の画像の変化が、単純な明るさ変化だけですまない一例である。これらはセンサネットワークの１ ノードであるフィールドモニタリングサーバ( Field Monitoring Server,以下FMSと略記） （非特許文献６，７参照）のカメラによって、同一位置で両画像それぞれ、朝7時６ 分、昼１１ 時５９ 分に撮影された画像である。図４は、２ 枚の画像それぞれの平均明るさを考慮した絶対値差分画像で、具体的には、｜I1(x)−aI2(x)｜である。ただし、
【数１】
0004817318.tif 000002
で、Ｉk,xとnは、それぞれ、ｋ 画像の濃度値(0〜255)、座標値と総画素数である。図５の白い領域は、この差分画像において３０ 以上の値を持つ画素を変化画素として抽出したものである。今、新規物体の表出と既存物体の消失が課題であるとすると、実際には、手前にある道路上に新しく１台設置されたFMSのカメラのみ(図中グレイの丸で囲む)が抽出すべき領域であるが、この２ 値化の結果からこの領域変化を検出するのは非常に難しい。
【０００７】
そこで、本発明は、係る問題を解決して、異なる時間に撮影された同一シーンの画像間の変化を抽出する際に、屋外シーンから新しい物体が出現したり、それまであった物体がなくなるような変化を、環境光の変動による濃度値変化とは区別して検出することを目的としている。
【課題を解決するための手段】
【０００８】
本発明の２ 次元濃度ヒストグラムを用いた変化抽出方法、システム、及びプログラムは、２ 枚の画像の２ 次元濃度ヒストグラムを元にして変化抽出を行う。本発明は、濃度値(I1,I2)を２ 軸として両画像の同じ座標値ｘにおける濃度値のペア(I1(x),I2(x))の頻度分布を表す２ 次元濃度ヒストグラムを作成し、この濃度ヒストグラム上に形成される頻度分布クラスタがカバーする濃度値(I1,I2)の組み合わせを、そのクラスタの特性により「重要でない」変化と、残りの「重要な」変化に分け、これを記した２次元テーブルSig(I1,I2)を作成し、座標値xにおける各画素の濃度値(I1(x),I2(x))をこのテーブルと参照して重要と重要でない画素に分けることにより、変化領域を抽出することを特徴としている。
【発明の効果】
【０００９】
本発明によれば、医用画像処理において、差分前に片方の画像を適切に変換する式を決定する目的に２ 次元ヒストグラム(散布図） を用いるような従来手法に対比すれば、２ 次元ヒストグラムのもっと多くの情報を利用し、直接的に(I1,I2)のペアを重要か重要でない濃度値変化に分類することができる。本発明は、(I1,I2)のペアを自由に重要/非重要に切り分けられる柔軟性と、比較画像ペアごとへの適応性により、屋外シーンの難しい変化検出において、良好な性能を示した。
【発明を実施するための最良の形態】
【００１０】
以下、例示に基づき本発明を説明する。図１は、本発明の概略構成を示す図である。本発明は、２ 枚の画像の２ 次元濃度ヒストグラムを元に、画像間の濃度変化の組み合わせのうち、抽出したい「重要な」変化とそうでない変化を推定することにより、変化抽出を行う手法を提案する。
まず、図中のステップＳ１において、２枚の画像の２次元濃度ヒストグラムを作成する。２次元濃度ヒストグラムとは、両画像の濃度値(I1,I2)を２ 軸とする座標値ｘにおける濃度値のペア(I1(x),I2(x))の頻度分布である。ここで、Ik は、座標値xにおける画像k の濃度値(0〜255)とする。２ 次元濃度ヒストグラムは、２ 枚の画像の位置あわせの際によく使われる（特許文献１，非特許文献５参照）。
【００１１】
ステップＳ２において、２ 次元濃度ヒストグラム上の各クラスタの尾根線の性質から背景クラスタを選択する。画像間で同一物体が存在する背景領域が大半を占める場合、背景領域に含まれる画素は、I2＝ I1の近傍に大きなクラスタを構成する。このことを利用して、２ 次元ヒストグラム上の尾根線を調べることにより、背景領域に対応するクラスタを推定することが可能である。具体的には、ピークの連なる尾根線の(I1, I2)平面への投影がI2=I1とそれに近いクラスタだけを選択する。
ステップＳ３において、選択した背景クラスタがカバーする濃度値(I1,I2)の組み合わせを「重要でない」変化、残りを「重要な」変化とし、これを記した２ 次元テーブル,  Sig(I1,I2)を作成する。
【００１２】
ステップＳ４において、座標値xにおける各画素の濃度値(I1(x),I2(x))をこのテーブルと参照し、重要な変化画素を抽出する。
【００１３】
ステップＳ５において、抽出された画素の連結領域から、変化抽出の対象とするサイズを満たす領域を変化候補領域とし、その領域における、２ 画像間のグラディエント相関を算出し相関値の低い領域を変化領域と最終決定する。この際、風による枝のゆれなど、２ 画像間でわずかに場所を変化させる領域も抽出して取り除く。このような場所では、ぴったりと対応した位置ではないが、その近傍に同様なグラディエント画像が存在する。従って、対応する領域間で片方を近傍でずらしながら各位置で類似度、Se を算出し、最大値をその領域間の類似性の指標とすることにより、このような領域を抽出したい変化から識別することができる。以下、本発明についてさらに詳細に説明する。
【００１４】
（２ 次元濃度ヒストグラム内のクラスタ）
図６は、図２及び図３に示す画像の２ 次元濃淡ヒストグラムで、頻度を明るさで表している。この２次元濃度ヒストグラムは、両画像の濃度値(I1,I2)を２ 軸とする座標値ｘにおける濃度値のペア(I1(x),I2(x))の頻度分布である。ここで、I1(x),I2(x)は、座標値xにおける各画像の濃度値(0〜255)とする。所定値以上の頻度を有する高い頻度部分の集まりを「クラスタ」と称している。また、このクラスタ内の頻度ピークの形成する線を尾根線と称している。両画像に変化が無ければ、２枚の画像の同じ座標値に位置する濃度値Ｉ1と、濃度値Ｉ2は等しくなるので、原点を通る対角線上のみに頻度分布することになる。
【００１５】
［０００６］で述べた絶対値差分はこの２ 次元濃淡ヒストグラムを用いて次のように考えることができる。もし、I1(x)が、(aI2(x)−30)以上で、(aI2(x)＋30)以下であれば、重要でない変化と捉える。すなわち、図７にグレイで記した対角線領域に含まれる(I1,I2)のペアは重要でない変化と捉える。これは、別の捉え方をすれば、(I1,I2)のペアを図８のような２ 次元テーブルを使って重要と重要でない変化に分けたと考えることができる。ここで、(I1,I2)のペアを重要と重要でない変化に分けるこのテーブルをSig(I1, I2)とし、Sig(I1, I2)=1、Sig(I1, I2)=0がそれぞれ重要と重要でない変化と定義する。その上で、入力画像の２ 次元濃淡ヒストグラムの頻度分布を利用し、より適応的にこのテーブルを決定する。
【００１６】
図６の２ 次元ヒストグラムからわかるように、いくつかのクラスタが存在する。もし、２ 枚の画像間で全く濃度変化がなければ、すべての画素は、I2=I1上に並ぶ。全体的な画像の明るさ変化がある場合、大半の画素がそれぞれの位置から同様な平行移動を生じる。したがって、もしそうした全体的な明るさ変化だけを受ける画素が大半であれば、こうした画素は、I2=I1の近傍で、その尾根線の(I1, I2)平面への投影が、I2=I1と同様な傾きを持つクラスタを構成する。反対に、それと異なるクラスタは、全体的な明るさ変化とは異なる種類の濃度値変化をもつ画素に対応する。例えば、図２，図３の例では、濡れた路面の鏡面反射、木の幹の湿り具合、新しいカメラ(FMS)の出現などの要因である。
【００１７】
図９，図１０は、標準偏差σ =3.0の２ 次元ガウス関数によって平滑化した２ 次元ヒストグラムとその断面図である。図９上に示した点線位置の断面図を、図１０に示している。図１０に示す断面図において、クラスタのピークを矢印で、そのピークを持つクラスタの境界を求めた結果を点線で示す。ここで、境界は、隣のクラスタとの谷、もしくは、値が初めて1.0以下になる位置である。同様な処理をI2=−I1＋b(b =0〜512)のすべての断面において繰り返して得られたピークとその境界を、図９にそれぞれ濃いグレイと薄いグレイで付加している。
【００１８】
もし、ピークの連なる尾根線の(I1, I2)平面への投影がI2=I1と近いクラスタだけを選択し、そのクラスタがカバーする(I1, I2)のペアだけを重要でない変化とすると、図１１にグレイで示した領域がSig(I1, I2)=0(insignificant)となる。この領域だけを0としたテーブルSig(I1, I2)を用いて変化領域を抽出した結果が図１２の白い領域である。図から読み取れるように、全体的な明るさ変化による濃度値変化以外を示す領域はほぼすべて得られている。どのような変化を「重要」と捉えるかは目的によって変化する。しかし、多くの応用課題において、この例における路面や木の幹の変化など同一物体の濃淡値変化は無視したいことが一般的である。そこで、次に、このような変化に対応するクラスタを選択する一手法を示す。
【００１９】
（変化抽出手法Ｉ）
屋外シーンでは、影や正反射の影響が、しばしば同一物体の大きな濃度値変化を生じ、抽出したい変化との識別が難しいが、この識別は、こうした原因によるクラスタの抽出で実現できる。影や正反射による影響が非常に強力である場合を除くと、これらの影響により画素の濃度値が変化した後でも、変化する前の濃度分布をある程度保った形で(I1, I2)平面を平行移動する。ただし、こうした影響を受けない画素とは異なる成分の平行移動となる。もし、同様な影や正反射の影響を受けた領域がある程度の濃度分布を持った広い領域であれば、その領域の画素はある程度のクラスタを構成する。また、その尾根線の(I1, I2)平面への投影の傾きは、I2=I1と大きくかけ離れない傾きとなる。（ 以後、このような２ 次元ヒストグラム上のクラスタの尾根線の(I1, I2)平面への投影線の傾きを、「尾根線の傾き」と略して呼ぶ。） これらの特性を考慮して、次のようなアルゴリズムで「重要でない」変化を示す画素を取り除く。
【００２０】
（１） ２ 次元濃度ヒストグラムのピーク検出を、比較する２ 枚の入力画像の２ 次元ヒストグラム上から、上述した手法でピークとそのピークに属するクラスタの境界の(I1, I2)平面上での位置を求める。連結ピーク点からなる尾根線を抽出し、もっとも長い尾根線の平均傾き、D0を算出する。
（２） クラスタの選出閾値L1より長い尾根線を持つクラスタを抽出する。これらのクラスタから尾根線の平均傾きがD0に近い、具体的にはD0から±D1のクラスタだけ選択する。ただし、濃度値0,255近傍における濃度値飽和の影響を考慮するため、(0, 0),(255, 255)近傍で、水平、垂直な尾根線を持つクラスタも選択する。
（３） 濃度値ペア(I1, I2)を重要/非重要変化に分類するテーブルSig(I1, I2)を、次のように作成する。
Sig(I1, I2)=0  if (I1, I2)is included in selected clusters. 
{
Sig(I1, I2)=1  else 
【００２１】
入力画像上の各画素の(I1(x), I2(x))の値をこの表と照会し、重要変化を示す画素を抽出する。
以上で用いる３ つのパラメータσ,L1、D1は、各応用における、目的と入力画像画質に応じて調整すべきである。しかし、本明細書で扱った３ つの異なる屋外シーンの実験を通じ、これらパラメータを細かく調整する必要性は感じられなかったため、この実験ではすべてに同じパラメータ、3.0,  20(pixels)  and  15(deg)を用いている。
【００２２】
このアルゴリズムにしたがって、図１３にグレイで示される領域が背景クラスタと選択され、これがSig(I1, I2)=0の領域となる。図１４に、この表に従って抽出された変化画素を白く示す。ほとんどの望ましくない濃度変化は無視され、除かれている。結果として、新しく加わったFMSカメラは他領域から独立して抽出されている。
【００２３】
（変化抽出手法II）
屋外シーンでは、影や鏡面反射の影響が、しばしば同一物体の大きな濃度値変化を引き起こし、抽出したい変化との識別が難しい。影や鏡面反射が非常に強力である場合を除くと、これらの影響もI2＝ N(C,σ)I1の形で近似できると考える。ただし、ここで、N(C,σ)は、Cを平均値、σを分散とするガウス関数を表す。また、先の例では、雨により木肌表面の色合いが大きく暗くなった部分が、I2＝ 0.6I1上にピークを持つクラスタを構成している。以上のように、同一要因により画素の濃度値が変化した場合、要因、物体の特質によりその係数Cは異なるが、図２０に示すように、I2＝ CI1(C > 0)に尾根線を持ち、その垂直方向に広がりを持つクラスタを形成する確率が高いと考えられる。
【００２４】
一方、２ 画像間で物体の消失、出現があった場合の濃度値ペアの分布を次のように考えてみる。２ 画像の順序を入れ換えれば消失は出現となるので、出現のみを考える。問題を単純化して、
（１） 単一輝度値背景に単一輝度値の新規物体、
（２） 単一輝度値背景に複数輝度値の新規物体、
（３） 複数輝度値背景に単一輝度値の新規物体、
（４） 複数輝度値背景に複数輝度値の新規物体
の４ つの場合に分類すると、各場合の濃度値ペアの分布模式図は図２１に示すようになる。図２０、図２１の観測から、（１） は背景クラスタと離れた位置にあれば分離可能、（ ２ ）、（ ３ ） はクラスタの尾根線の傾きより分離可能、（４） は、大部分が背景クラスタと離れた位置にあれば分離可能、と考えられる。そこで、この考察に基づき、背景クラスタ推定を基本とする、次のような変化画素抽出アルゴリズムを提案する。
【００２５】
I）２ 次元濃度ヒストグラム上からクラスタとその尾根線を算出する。
II)  尾根線に基づき背景クラスタを推定する。
III） 背景クラスタが覆う(I1, I2)ペアを「重要でない変化」、それ以外のペアを「重要な変化」とするテーブルを作成し、それに基づき、各画素を判定、「重要な変化」を示す画素を抽出する。
【００２６】
以下、上記アルゴリズムを実現する実装例を示す。
ｉ)２ 次元濃度ヒストグラムのクラスタ検出
まず、２ 次元ヒストグラムを２ 次元ガウス関数によって平滑化する。図２２は、σ =3.0の２ 次元ガウス関数によって平滑化した図２，図３の入力画像の２ 次元ヒストグラムの(I1, I2)平面への投影図である。図２０に示したI2=CI1上の尾根線を鋭敏に抽出するため、I1I2平面を極座標(r, θ)で表し、r一定でθ :0〜 90度に走査した断面形状からピークを検出する。図２２にr =240の走査線の位置をグレイの線で、図２３にその断面図を示す。後者の図中、矢印と点線は、それぞれ抽出されたピークとその境界の位置を示す。ここで、境界位置は、隣のピークとの谷、もしくは、1.0未満となる所として抽出しているが、ピーク近傍分布をガウス関数で近似して分散値を求め、その分散幅に基づいて決定する方法も考えられる。同様な処理をr =1〜 256√2のすべての断面で繰り返して得られたピークとその境界の(I1, I2)平面上での位置を、図２２にそれぞれ示す。(I1, I2)平面上での、ラベリング処理など２ 次元画像処理を適用し、隣接するピーク群を抽出し、ピークが連続する尾根線を求める。同じ尾根線に属するピーク内の画素を一つのクラスタとし、クラスタの境界は、属するピークの境界点列で表す。
【００２７】
ii)クラスタの選出
閾値L1より長い尾根線を持つクラスタに対して、原点からクラスタ重心までのベクトルとその尾根線の平均傾きの角度差を算出し、これが閾値D1以下のクラスタを背景クラスタとする。ただし、濃度値0,255における濃度値飽和の影響を考慮するため、(0, 0),(255, 255)近傍では、水平、垂直な尾根線を持つクラスタも選択する。
【００２８】
iii)重要な変化を示す画素の抽出
(I1, I2)のペアを重要と重要でない変化に分けるテーブルSig(I1, I2)を次のように作成する。
Sig(I1, I2)=0  if (I1, I2)is included in selected clusters. 
{
Sig(I1, I2)=1  else 
【００２９】
入力画像上の各画素の(I1(x), I2(x))の値をこの表と照会し、重要変化を示す画素を抽出する。以上の処理で用いる３ つのパラメータσ,L1、D1は、各応用における目的と入力画像画質に応じて調整が必要である。しかし、本明細書で扱った３ つの異なる屋外シーンの実験において、これらパラメータを調整する必要はなく、本明細書の実験ではすべてに同じパラメータを用いた。このアルゴリズムにしたがって、図２４に示される領域が背景クラスタと選択され、これがSig(I1, I2)=0の領域となる。図２５に、このテーブルに従って抽出された変化画素を白く示す。ほとんどの望ましくない濃度変化は無視され、除かれている。結果として、新しく出現した全方位カメラが背景領域から切り出されて抽出できている。
【００３０】
（グラディエント相関による識別）
上述の処理では、小さな領域でおきている重要でない濃度変化は除かれない。しかし、いったん、図９〜図１４に示すようにして、変化候補領域が大半を占める背景から分離されれば、真に抽出したい変化をその他のものから識別することは、候補領域ごとの識別処理により実現可能である。本発明者はグラディエント相関を用いる例を図１５〜図１９を用いて説明する。この識別処理は、抽出された画素の連結領域から、変化抽出の対象とするサイズを満たす領域を変化候補領域とし、その領域における、２ 画像間のグラディエント相関を算出し、相関値の低い領域を変化領域と最終決定する。以下、さらに例示に基づき説明する。
【００３１】
変化画素として抽出された２ 値画像に領域ラベリング処理を適用し、面積N 1画素以上の連結領域を候補領域とする。この実験では、N 1=300とした。図１５の例では、グレイで囲まれた領域が候補領域である。ソーベルオペレータを用いて、これらの領域におけるｘ 、ｙ 両方向のグラディエント画像を算出する。図１６は１枚目の画像のｘ 方向のグラディエントの大きさを濃度で示したものである。
【００３２】
図１７は２枚目の画像のｘ 方向のグラディエントの大きさを濃度で示したものである。ここで、グラディエントの類似性を
【数２】
0004817318.tif 000003
と定義する。ただし、μi,k とσi,k は、それぞれ、各候補領域におけるi 画像のk 方向のグラディエント画像の平均と標準偏差である。各候補領域は、その領域のSe に従って、「重要な変化」(0.0<Se < 0.1),「重要な変化かもしれない」(0.1< Se < 0.3),「重要な変化ではない」 (0.3< Se < 1.0)の３ つに分類される。図１８、図１９は、それぞれの入力画像に、「重要な変化」「重要な変化かもしれない」「重要な変化ではない」領域をそれぞれ、太線、中線、細線で囲んだものである。
【００３３】
風による枝のゆれなど、２ 画像間でわずかに場所を変化させる領域が存在し、かつこれを変化と数え上げたくない場合がしばしば存在する。このような場所では、ぴったりと対応した位置ではないが、その近傍に同様なグラディエント画像が存在する。従って、対応する領域間で片方を近傍でずらしながら各位置で上記類似度、Se を算出し、最大値をその領域間の類似性の指標とすることにより、このような領域を抽出したい変化から識別することができる。ずれの許容量(T 1)は、無視したい部分移動の状況に応じて決定すべきであるが、本実験では、T 1を５ 画素とした。
【実施例】
【００３４】
FMSによって撮影された３ つのシーンの１００ 枚以上の時系列画像を用いて、本発明手法の性能実験を行った。時系列画像間の撮影間隔は２ 分から３０ 分である。
【００３５】
（大きな影に対する頑健性）
図２６，図２７は５ 分間隔で撮影された画像で、急激な環境光の変化が変化抽出を難しくする例である。図２８は、図５と同様に絶対値差分後、30の閾値で２ 値化した結果である。大きな影の部分が変化として抽出され、抽出したい人物の出入りなどの変化を見わけにくくしている。図２９は、これらの画像の２ 次元ヒストグラムからピークとそれに対応する境界を選んだ結果であるが、影や正反射による濃度値変化によりいくつかの大きなクラスタが観測される。図３０のグレイの領域は提案手法により選択されたクラスタで、図３１がここに含まれる(I1, I2 )のペアだけを0とした重要/非重要テーブル、Sig(I1, I2)に基づき、抽出された変化画素を示す。大きな影領域が背景として排除されることにより、抽出したい人の退出を含む少ない候補領域だけが残り、各候補領域のグラディエント画像類似度を調べることにより人の変化だけを変化(太線）、変化の可能性あり（中線） として抽出できている。
【００３６】
（部分平行移動に対する頑健性）
図３２，図３３は１４ 時３２ 分と１４ 時４２ 分に撮影された連続フレームである。両画像間では、太陽の位置の変化により影も移動している。これによる影領域の変化は、検出したい異常事象の想定面積と同程度であるため、２次元ヒストグラム上で大きなクラスタとはならず、重要変化画素として抽出される。もし、部分ずれを許容しない、すなわち、T1=0とすると影を含む候補領域がすべて変化領域として抽出されてしまうが、部分ずれを許すことによって影による変化を取り除くことができ、人の出現、退出の部分だけが検出できた。  
【００３７】
（大きな明るさ変化に対する頑健性）
さらに、夕方、１ 時間おきに撮影された駐車場の４ 枚の画像について実験を行った。このシーンにおいては、ビル、路面、木、車と多種の材質の物体を含むため、環境光の変化が様々な画素の濃度値変化を引き起こし変化抽出が難しい例である。この画素の濃度値の変化の多様性は、各画像間の２ 次元濃度ヒストグラムの散逸性に表れた。本発明手法による変化抽出結果によれば、望ましくない領域もいくつか過検出されたが、ほぼ確実に車の入退出を検出できた。
【図面の簡単な説明】
【００３８】
【図１】本発明の概略構成を示す図。
【図２】図３とは異なる時間に撮影された同一シーンの画像。
【図３】図２とは異なる時間に撮影された同一シーンの画像。
【図４】２枚の画像それぞれの平均明るさを考慮した絶対値差分画像。
【図５】差分画像において３０以上の値を持つ画素を変化画素として抽出した図。
【図６】図２及び図３の２次元濃淡ヒストグラム。
【図７】重要でない変化を識別した図。
【図８】重要と重要でない変化に分けるための２次元テーブル。
【図９】２次元ガウス関数によって平滑化した２次元ヒストグラム。
【図１０】図９に示す２次元ヒストグラムの断面図。
【図１１】重要でない変化を示す図。
【図１２】変化領域を抽出した結果を示す図。
【図１３】背景クラスタとして選択した結果を示す図。
【図１４】抽出された変化画素を示す図。
【図１５】連結領域を候補領域として示す図。
【図１６】１枚目のｘ方向のグラディエント画像。
【図１７】２枚目のｘ方向のグラディエント画像。
【図１８】図２の画像に変化領域の識別結果を記した図。
【図１９】図３の画像に変化領域の識別結果を記した図。
【図２０】I2＝ CI1(C > 0)に尾根線を持ち、その垂直方向に広がりを持つクラスタを示す図。
【図２１】各場合の濃度値ペアの分布模式図。
【図２２】図２，図３の入力画像の２ 次元ヒストグラムの(I1, I2)平面への投影図。
【図２３】図２２に示したr =240の走査線の位置の断面図。
【図２４】背景クラスタと選択されたSig(I1, I2)=0の領域。
【図２５】テーブルに従って抽出された変化画素を白く示す図。
【図２６】図２７とは５分間隔で撮影された画像。
【図２７】図２６とは５分間隔で撮影された画像。
【図２８】絶対値差分後、３０の閾値で２値化した結果を示す図。
【図２９】２次元ヒストグラムからピークとそれに対応する境界を選んだ結果を示す図。
【図３０】選択されたクラスタを示す図。
【図３１】変化領域の識別結果を記した図。
【図３２】図３３と連続して撮影された連続フレーム。
【図３３】図３２と連続して撮影された連続フレーム。
【図１】
0004817318.tif 000004
【図２０】
0004817318.tif 000005
【図２１】
0004817318.tif 000006
【図２】
0004817318.tif 000007
【図３】
0004817318.tif 000008
【図４】
0004817318.tif 000009
【図５】
0004817318.tif 000010
【図６】
0004817318.tif 000011
【図７】
0004817318.tif 000012
【図８】
0004817318.tif 000013
【図９】
0004817318.tif 000014
【図１０】
0004817318.tif 000015
【図１１】
0004817318.tif 000016
【図１２】
0004817318.tif 000017
【図１３】
0004817318.tif 000018
【図１４】
0004817318.tif 000019
【図１５】
0004817318.tif 000020
【図１６】
0004817318.tif 000021
【図１７】
0004817318.tif 000022
【図１８】
0004817318.tif 000023
【図１９】
0004817318.tif 000024
【図２２】
0004817318.tif 000025
【図２３】
0004817318.tif 000026
【図２４】
0004817318.tif 000027
【図２５】
0004817318.tif 000028
【図２６】
0004817318.tif 000029
【図２７】
0004817318.tif 000030
【図２８】
0004817318.tif 000031
【図２９】
0004817318.tif 000032
【図３０】
0004817318.tif 000033
【図３１】
0004817318.tif 000034
【図３２】
0004817318.tif 000035
【図３３】
0004817318.tif 000036