(57)【要約】【課題】侵入者監視などで用いられる２画像間の物体変化抽出方法として、外乱光による影響を受けずに、より安定的に物体変化の抽出が可能な２画像間の物体変化抽出方法の提供。【解決手段】同一の場所を異なる時刻に撮像して得られる第１、第２の２つの画像を比較し、この両画像間での物体の変化を抽出する２画像間の物体変化抽出方法において、近傍画素間の濃度勾配に着目して第１の画像と第２の画像を比較することにより、第２の画像で新たに出現した物体を当該画像から抽出して濃度勾配比較物体変化抽出画像を取得する工程と、この濃度勾配比較物体変化抽出画像を所定数の画素単位で分割した格子に区切り、この格子ごとに、濃度勾配について変化を有する画素の割合を判定し、その割合が一定値より大きければ格子内の全画素を濃度勾配変化画素とすることにより、情報補完画像を取得する工程とを含んでいる。【選択図】        図１
2004348425.tif 000002
【特許請求の範囲】
【請求項１】
同一の場所を異なる時刻に撮像して得られる第１、第２の２つの画像を比較し、この両画像間での物体の変化を抽出する２画像間の物体変化抽出方法において、
近傍画素間の濃度勾配に着目して前記第１の画像と第２の画像を比較することにより、前記第２の画像で新たに出現した物体を当該画像から抽出して濃度勾配比較物体変化抽出画像を取得する工程と、前記濃度勾配比較物体変化抽出画像を所定数の画素単位で分割した格子に区切り、この格子ごとに、前記濃度勾配について変化を有する画素の割合を判定し、その割合が一定値より大きければ前記格子内の全画素を前記濃度勾配変化画素とすることにより、情報補完画像を取得する工程とを含んでいることを特徴とする２画像間の物体変化抽出方法。
【請求項２】
対応する画素間の濃度に着目して前記第１の画像と第２の画像を比較することにより、前記第２の画像で新たに出現した物体を当該画像から抽出して濃度比較物体変化抽出画像を取得する工程と、前記濃度比較物体変化抽出画像と前記情報補完画像との論理積をとることにより、濃度比較・濃度勾配比較合成物体変化抽出画像を取得する工程をさらに含んでいる請求項１に記載の２画像間の物体変化抽出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、同一の場所を異なる時刻に撮像して得られる２つの画像を比較して両画像間での写っている物体の変化を抽出する２画像間の物体変化抽出方法に関する。
【０００２】
【従来の技術】
２画像間での物体変化の抽出は、例えば侵入者の監視や交通量の計測などの環境監視において用いられる。すなわち、同一の場所をある時刻において撮像した画像を基準画像（第１の画像）、そして基準画像撮像後一定時間経過して撮像した画像を取得画像（第２の画像）として、基準画像には写っていなかった物体が取得画像において新たに出現している場合に、この新たな物体を基準画像と取得画像の比較によって抽出し、それが予め定めてある監視対象の物体であるか否かを判断することで、例えば侵入者を発見する。
【０００３】
このような２画像間の物体変化抽出の手法については、濃度比較法と濃度勾配比較法が主なものとして知られている。濃度比較法では、対応する画素間の濃度に着目して２つの画像を比較することより基準画像に対する取得画像の物体変化を抽出する（例えば特許文献１、特許文献２）。一方、濃度勾配比較法では、近傍画素間の濃度勾配に着目して２つの画像を比較することより基準画像に対する取得画像の物体変化を抽出する（例えば非特許文献１）。すなわち基準画像と取得画像のそれぞれについて濃度勾配情報を取得して比較し、それに変化があれば物体変化として抽出する。その濃度勾配情報の取得は以下のようにしてなされる。例えば画像の左上隅の画素をまず一つの基準画素とし、この基準画素から予め定めてある範囲にある画素を近傍画素とする。そして基準画素と近傍画素の間の濃度変化傾向、つまり基準画素に対して近傍画素の濃度が高くなっているか低くなっているかという傾向に応じて各近傍画素に例えば１または０の値を与える。そしてこの処理を最初の基準画素である左上隅の画素から開始して画像全体に行うことで画像全体の濃度勾配情報が得られる。
【０００４】
【特許文献１】
特開２０００−３２４４７７号公報
【特許文献２】
特開平７−３７０６４号公報
【非特許文献１】
電子情報通信学会論文ＶＯＬ．Ｊ８４−ＤＩＩ  Ｎｏ．１２  Ｄｅｃｅｍｂｅｒ２００１「周辺増分符号相関画像に基づくロバスト物体検出及び分離」
【０００５】
【発明が解決しようとする課題】
環境監視において２画像間の物体変化抽出を用いる場合には、監視対象場所（撮像対象場所）に、例えば照明灯の点滅や近くを通過する車のヘッドライト光の照射などによる外乱光のある場合が少なくない。しかるに濃度比較法は、この外乱光に弱いという問題がある。すなわち外乱光により２つの画像に濃度差を生じると、物体には変化がないのに、その外乱光による濃度変化を物体変化として誤って抽出する場合があるという問題である。
【０００６】
一方、濃度勾配比較法にはそのような問題はない。しかし濃度勾配比較法には別な問題がある。それは物体変化に関する情報が欠落し、そのために監視対象の物体を抽出できない場合を生じるということである。すなわち、例えば侵入者の監視の場合であれば、抽出した変化物体を侵入者と判断するために変化物体に、それが占める画素数として、大きさを予め定めておき、この基準の大きさの範囲であれば、侵入者と判断する処理をなすのが一般的である。このような侵入者判断を前提にした場合に、濃度勾配情報で変換した画像では、濃度勾配のある部分の画素だけ変化物体の画素となり、濃度勾配のない部分の画素は変化物体の画素にならずに欠落する。そのため、本来ならばその変化物体が侵入者と判断されるべきであるのに、侵入者と判断されない場合を生じるということである。
【０００７】
本発明は、以上のような従来の事情を背景になされたものであり、外乱光による影響を受けずに、より安定的に物体変化の抽出が可能な２画像間の物体変化抽出方法の提供を目的としている。
【０００８】
【課題を解決するための手段】
上記目的を達成するために本発明では、同一の場所を異なる時刻に撮像して得られる第１、第２の２つの画像を比較し、この両画像間での物体の変化を抽出する２画像間の物体変化抽出方法において、近傍画素間の濃度勾配に着目して前記第１の画像と第２の画像を比較することにより、前記第２の画像で新たに出現した物体を当該画像から抽出して濃度勾配比較物体変化抽出画像を取得する工程と、前記濃度勾配比較物体変化抽出画像を所定数の画素単位で分割した格子に区切り、この格子ごとに、前記濃度勾配について変化を有する画素の割合を判定し、その割合が一定値より大きければ前記格子内の全画素を前記濃度勾配変化画素とすることにより、情報補完画像を取得する工程とを含んでいることを特徴としている。
【０００９】
また本発明では上記のような２画像間の物体変化抽出方法について、対応する画素間の濃度に着目して前記第１の画像と第２の画像を比較することにより、前記第２の画像で新たに出現した物体を当該画像から抽出して濃度比較物体変化抽出画像を取得する工程と、前記濃度比較物体変化抽出画像と前記情報補完画像との論理積をとることにより、濃度比較・濃度勾配比較合成物体変化抽出画像を取得する工程をさらに含むものとしている。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。図１は一実施形態による２画像間の物体変化抽出方法における処理の流れを示す図である。まず処理１として、濃度比較法により物体変化を抽出して濃度比較物体変化抽出画像を取得する（濃度比較物体変化抽出画像取得工程）。濃度比較法による物体変化の抽出は上述のようにして行う。すなわち、第１の画像と第２の画像の２画像について対応する画素間の濃度比較を行うことにより、第２の画像で新たに出現した物体を抽出する。その具体的な手法としては、既によく知られている背景差分法やフレーム間差分法などを用いることができる。
【００１１】
次いで処理２として、濃度勾配比較法により物体変化を抽出して濃度勾配比較物体変化抽出画像を取得する（濃度勾配比較物体変化抽出画像取得工程）。濃度勾配比較法による物体変化の抽出は上述のようにして行う。すなわち、まず第１の画像と第２の画像のそれぞれについて濃度勾配情報を取得する。それには、例えば画像の左隅の画素をまず一つの基準画素とし、この基準画素から予め定めてある範囲にある画素を近傍画素とする。そして基準画素と近傍画素の間の濃度変化傾向、つまり基準画素に対して近傍画素の濃度が高くなっているか低くなっているかという傾向に応じて各近傍画素に例えば１または０の値を与える。そしてこの処理を最初の基準画素である左上隅の画素から開始して画像全体に行うことで画像全体の濃度勾配情報が得られる。このようにして両画像について濃度勾配情報を取得したら、それを比較して変化があれば物体変化として抽出する。このような濃度勾配比較法の具体的な手法としては、非特許文献１に記載されている手法を適用することができる。
【００１２】
次いで処理３〜処理８を経て情報補完画像を取得する（情報補完画像取得工程）。情報補完画像を取得するには、まず濃度勾配比較物体変化抽出画像を所定数の画素単位、例えば４０×４０画素単位で分割した格子に区切り、その一つを判定対象の格子とする（処理３）。それから判定対象とした格子について、基準画像との比較で濃度勾配について変化を有する画素の割合を判定する（処理４）。その判定は濃度勾配変化画素の割合にしきい値を設けておき、それを超えるか否かとして行う。判定結果が肯定であれば、つまり濃度勾配変化画素の割合が例えば３割というしきい値を超えていれば、その格子内を塗りつぶして全画素を濃度勾配変化画素とする（処理５）。一方、判定結果が否定であれば、つまり濃度勾配変化画素の割合がしきい値を超えていなければ、その格子内の濃度勾配変化画素を削除して全画素を濃度勾配変化無し画素とする（処理６）。以上の処理５と処理６を全ての格子について繰り返して（処理７）、情報補完画像を取得する（処理８）。この情報補完画像は、濃度勾配変化画素が密集した部分について濃度勾配変化画素の欠落を補い、逆に画素が疎らである部分についてはそれをノイズとして削除した画像といえる。
【００１３】
それから最後に、濃度比較物体変化抽出画像と情報補完画像との論理積をとり（処理９）、濃度比較・濃度勾配比較合成物体変化抽出画像を取得する（処理１０）。
【００１４】
以下では本発明による２画像間の物体変化抽出方法を侵入者の監視に用いる場合の例について説明する。図２は侵入者監視の様子を模式化して示す図である。監視カメラ１１は監視領域を撮像領域１２として撮像しており、一定時間間隔で画像を取り込む。取り込まれた画像は、図外の監視装置に送られて２画像間の物体変化抽出の処理を受ける。そして侵入者１３があればそれを抽出して、記録したり警報を発したりする。ここでは本発明の有用性を説明するために、撮像領域１２の近傍には照明灯１４が設置されており、それが点滅を繰り返しているものとする。なお侵入者の監視の場合は、第１、第２の２つの画像として基準画像と取得画像を使用する。この基準画像と取得画像は何れも一定時間間隔で取り込まれた画像であるが、基準画像は一定の要件の下に順次更新され、その基準画像の後に取り込まれた画像が取得画像となる。以下では図３に示す画像１５が基準画像であり、画像１６が取得画像であるとして説明する。
【００１５】
２画像間の物体変化抽出処理では上で説明したように、まず濃度比較法により２画像間の物体変化を抽出する。図４に、濃度比較による抽出処理の流れを示す。まず処理１７として取得画像の入力がなされる。次いで、処理１８として、入力された取得画像と既に保存されている基準画像との間で濃度比較がなされる。その結果、濃度比較物体変化抽出画像が得られる（処理１９）。図５に濃度比較物体変化抽出画像２０を示す。白い部分が変化部分であり、基準画像では写っていなかった照明灯１４による照明光と侵入者の像が抽出されている。このように濃度比較法では、撮像領域に部分的な光量変化があると、それを物体変化として抽出してしまう。したがって濃度比較による抽出処理だけでは照明光に変化があった場合にそれを誤って侵入者として判断してしまう可能性がある。
【００１６】
次に濃度勾配比較法により２画像間の物体変化を抽出する。図６に、濃度勾配比較による抽出処理の流れを示す。まず処理２１として基準画像の濃度勾配情報を作成する。次いで処理２２として取得画像の濃度勾配情報を作成する。それから処理２３として基準画像の濃度勾配情報と取得画像の濃度勾配情報の比較を行う。その結果、濃度勾配比較物体変化抽出画像が得られる（処理２４）。図７に濃度勾配比較物体変化抽出画像２５を示す。この濃度勾配比較物体変化抽出画像２５では照明光の影響をほとんど受けていない。ただ侵入者の像について濃度勾配が無い部分では情報の欠落を生じている。そのためこの濃度勾配比較物体変化抽出画像２５だけによると、上で説明したような理由から、侵入者の存在を見落とす可能性がある。
【００１７】
そこで、欠落情報を補う処理を行う。それは情報補完画像を取得する処理としてなされる。図８に情報補完画像取得処理の流れを示す。まず、図７の濃度勾配比較物体変化抽出画像２５を例えば４０×４０画素単位で分割した格子に区切り、左上の格子から順番に判定する格子とする（処理２６）。次いで判定対象とした格子内の変化画素の割合がしきい値、例えば３割以上あるかどうかを判断する（処理２７）。その結果が肯定であれば、格子内を塗りつぶして格子内すべての画素を変化画素とする（処理２８）。一方、処理２７の結果が否定であれば、格子内の濃度勾配変化画素を削除して全画素を濃度勾配変化無し画素とする（処理２９）。以上の処理２７と処理２８を全ての格子について繰り返して（処理３０）、情報補完画像を取得する（処理３１）。図９に情報補完画像３２を示す。この情報補完画像３２では図７の濃度勾配比較物体変化抽出画像２５における侵入者の像で欠落していた情報が補われている。その一方で、図７の濃度勾配比較物体変化抽出画像２５においてあった照明光によるノイズ的な像は、密集していないために上記の格子ごとの判定を通じて削除されている。
【００１８】
この情報補完画像３２を用いることにより、外乱光による影響を受けずに、しかも濃度勾配比較法に特有な情報の欠落もない物体変化抽出画像が得られる。したがって侵入者検出をより安定的になすことが可能となる。ただ、情報補完画像３２だけであると、侵入者が画像中から消えた場合をも変化として検出してしまう。そこでこれを避けるための処理を行うことで、より高精度な侵入者検出が可能となる。そのような処理を経て侵入者有無を判断する処理の流れを図１０に示す。侵入者が画像中から消えた場合を変化として検出するのを避けるための処理とし、図５の濃度比較物体変化抽出画像２０と図９の情報補完画像３２との論理積を取って濃度比較・濃度勾配比較合成物体変化抽出画像を取得する（処理３３）。図１１にその濃度比較・濃度勾配比較合成物体変化抽出画像３６を示す。それから濃度比較・濃度勾配比較合成物体変化抽出画像３６について変化物体の大きさを判定する（処理３４）。それは、人の像の大きさとして例えば１００００画素〜２４０００画素という範囲を設定しておき、この範囲にあれば変化物体が侵入者である判定する。侵入者ありと判定された場合には侵入者検知を通知する（処理３５）。
【００１９】
図１２に示すのは監視領域の近くに道路がありそこを走行する車３７のヘッドライトが撮像領域１２を照射することがある場合の侵入者監視の様子である。このような状況における基準画像と取得画像の例を図１３に示す。画像３８が基準画像で画像３９が取得画像であり、基準画像３８では侵入者は現れておらず、ヘッドライト光が撮像領域１２の端を照射した状態にあり、取得画像３９では侵入者が現れており、ヘッドライト光が撮像領域１２の別の位置を照射した状態にある。この場合、基準画像３８に対して取得画像３９を濃度比較法で処理して得られる濃度比較物体変化抽出画像は図１４に示す画像４０のようになる。一方、基準画像３８に対して取得画像３９を濃度勾配比較法で処理して得られる濃度勾配比較物体変化抽出画像は図１５に示す画像４１のようになり、この濃度勾配比較物体変化抽出画像４１に欠落情報補完処理を行って得られる情報補完画像は図１６に示す画像４２のようになる。そして情報補完画像４２と濃度比較物体変化抽出画像４０の論理積をとった濃度比較・濃度勾配比較合成物体変化抽出画像は図１７に示す画像４３のようになり、ヘッドライト光の影響が排除されている。
【００２０】
図１８に示すのは図２の場合と同様な侵入者監視の様子である。この侵入者監視で例えば２００ミリ秒という短い時間間隔で画像を取り込み、前回取得した画像を基準画像とする。また図１９示すような基準画像４４と取得画像４５が得られるものとする。この場合、基準画像４４に対して取得画像４５を濃度比較法で処理して得られる濃度比較物体変化抽出画像は図２０に示す画像４６のようになる。なお基準画像４４と取得画像４５の両方に侵入者が写っており、その位置が侵入者の移動に応じて異なっている。この場合にそのまま処理すると、基準画像４４で侵入者が写っていた位置から取得画像４５では侵入者が消えていることも物体変化として抽出され、濃度比較物体変化抽出画像において侵入者の像が２つになる。これについて、濃度比較法ではフレーム間差分法を用いることにより基準画像での侵入者と取得画像の侵入者を切り分ける処理が可能で、その処理を行うことにより濃度比較物体変化抽出画像において侵入者の像が２つになるのを避けることができる。図２０の濃度比較物体変化抽出画像４６は、そのような処理がなされた画像である。
【００２１】
一方、基準画像４４に対して取得画像４５を濃度勾配比較法で処理して得られる濃度勾配比較物体変化抽出画像は図２１に示す画像４７のようになる。濃度勾配比較では濃度比較法におけるような切り分ける処理が行えないので、濃度勾配比較物体変化抽出画像４７では侵入者の像が２つ現れている。この濃度勾配比較物体変化抽出画像４７に欠落情報補完処理を行って得られる情報補完画像は図２２に示す画像４８のようになる。そして情報補完画像４８と濃度比較物体変化抽出画像４６の論理積をとった濃度比較・濃度勾配比較合成物体変化抽出画像は図２３に示す画像４９のようになる。この濃度比較・濃度勾配比較合成物体変化抽出画像４９では、侵入者の像を実際より大きく抽出しているが、その程度は人の像の大きさとして設定されている例えば１００００画素〜２４０００画素という範囲に収まっており、侵入者の検知として十分である。
【００２２】
【発明の効果】
以上説明したように本発明では、２画像間の物体変化抽出を濃度勾配比較法でなすについて、情報の欠落を補えるようにしている。このため本発明によれば、外乱光による影響を受けることなく、より安定的に物体変化の抽出をなすことができ、例えば侵入者の監視などにおいて、より精度の高い監視とすることが可能となる。
【図面の簡単な説明】
【図１】一実施形態による２画像間の物体変化抽出方法における処理の流れを示す図である。
【図２】侵入者監視の様子を模式化して示す図である。
【図３】図２の侵入者監視における基準画像と取得画像の例を示す図である。
【図４】濃度比較法における処理の流れを示す図である。
【図５】濃度比較物体変化抽出画像の例を示す図である。
【図６】濃度勾配比較法における処理の流れを示す図である。
【図７】濃度勾配比較物体変化抽出画像の例を示す図である。
【図８】情報補完画像取得処理の流れを示す図である。
【図９】情報補完画像の例を示す図である。
【図１０】侵入者有無を判断する処理の流れを示す図である。
【図１１】濃度比較・濃度勾配比較合成物体変化抽出画像の例を示す図である。
【図１２】侵入者監視の様子を模式化して示す図である。
【図１３】図１２の侵入者監視における基準画像と取得画像の例を示す図である。
【図１４】濃度比較物体変化抽出画像の例を示す図である。
【図１５】濃度勾配比較物体変化抽出画像の例を示す図である。
【図１６】情報補完画像の例を示す図である。
【図１７】濃度比較・濃度勾配比較合成物体変化抽出画像の例を示す図である。
【図１８】侵入者監視の様子を模式化して示す図である。
【図１９】図１８の侵入者監視における基準画像と取得画像の例を示す図である。
【図２０】濃度比較物体変化抽出画像の例を示す図である。
【図２１】濃度勾配比較物体変化抽出画像の例を示す図である。
【図２２】情報補完画像の例を示す図である。
【図２３】濃度比較・濃度勾配比較合成物体変化抽出画像の例を示す図である。
【符号の説明】
１１  カメラ
１２  撮像領域
１３  侵入者
１４  照明灯
【図１】
2004348425.tif 000003
【図２】
2004348425.tif 000004
【図３】
2004348425.tif 000005
【図４】
2004348425.tif 000006
【図５】
2004348425.tif 000007
【図６】
2004348425.tif 000008
【図７】
2004348425.tif 000009
【図８】
2004348425.tif 000010
【図９】
2004348425.tif 000011
【図１０】
2004348425.tif 000012
【図１１】
2004348425.tif 000013
【図１２】
2004348425.tif 000014
【図１３】
2004348425.tif 000015
【図１４】
2004348425.tif 000016
【図１５】
2004348425.tif 000017
【図１６】
2004348425.tif 000018
【図１７】
2004348425.tif 000019
【図１８】
2004348425.tif 000020
【図１９】
2004348425.tif 000021
【図２０】
2004348425.tif 000022
【図２１】
2004348425.tif 000023
【図２２】
2004348425.tif 000024
【図２３】
2004348425.tif 000025