(57)【要約】【課題】正確に動物体のエッジを抽出することのできる動物体のエッジ画像取得方法を提供する。【解決手段】Δｔだけ時刻の異なる、時刻（ｔ−Δｔ）の画像と時刻ｔの画像とを取得する。そして、それらの動き差分を算出して動き差分画像（画像ア）を作成する。また、どちらか一方の画像（図６においては時刻ｔの画像）の空間差分を算出して空間差分画像（画像イ）を作成する。そして、画像アと画像イとの論理積を算出し論理積画像（画像ウ）を作成することでエッジを抽出し、出力する。【選択図】　　　　図６
2004046565.tif 000002
【特許請求の範囲】
【請求項１】
第１画像に基づいて得た第１差分画像と、前記第１差分画像と異なる差分画像であって、前記第１画像と背景を同じくし取得された時刻が異なる第２画像を含む、少なくとも１つの画像に基づいて得た第２差分画像とに基づいて演算を行なうことにより、動物体のエッジ画像を得る、動物体のエッジ画像取得方法。
【請求項２】
前記第１差分画像は、前記第１画像の空間差分をとった画像であり、
前記第２差分画像は、前記第１画像と前記第２画像との動き差分をとった画像である、請求項１に記載の動物体のエッジ画像取得方法。
【請求項３】
前記第２差分画像は、前記第１画像と前記第２画像との動き差分をとった画像の、さらに空間差分をとった画像である、請求項１に記載の動物体のエッジ画像取得方法。
【請求項４】
前記第１差分画像および前記第２差分画像の各々を、前記演算に先だって２値化する、請求項１〜３のいずれかに記載の動物体のエッジ画像取得方法。
【請求項５】
前記演算は、前記第１差分画像と前記第２差分画像との論理積を算出する演算と、論理和を算出する演算とのいずれか一方である、請求項１〜４のいずれかに記載の動物体のエッジ画像取得方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は動物体のエッジ画像取得方法に関し、特に、正確に動物体のエッジを抽出することのできる動物体のエッジ画像取得方法に関する。
【０００２】
【従来の技術】
近年、侵入者を検知する、侵入者を追尾する、侵入者の存在を通知するといった、画像認識技術を応用した監視カメラの需要が高まっている。このような監視カメラにおいては、侵入者の存在を知ることが重要な技術である。
【０００３】
侵入者を検知する１つの方法として、動画像中の動き領域を検出する方法が挙げられる。しかし、動き領域を検出するたけでは、人物でない動物体、例えば風に揺れる木の枝、窓のカーテン、車なども検出してしまい、誤検出が増えるという問題があった。
【０００４】
ところで、人の存在を検出する１つの方法として、人頭部を検出する方法が挙げられる。人頭部は楕円柱状の形状をしており、そのエッジは人頭部の方向に依存せず、常に楕円形状となることが期待できる。そのため、画像中から楕円形のエッジを抽出することで人頭部の検出を行なうことができる。つまり、動き領域中から楕円形のエッジを抽出することで、上述の人物以外の動物体を侵入者と誤検出することを防ぐことができる。
【０００５】
このようにエッジを抽出する際には、取得した画像の空間差分もしくは動き差分をとって得た差分画像を用いることが多い。例えば、特開平９−１３８４７１号公報は、取得した画像の空間差分をとって差分画像を１つ準備し、この空間差分を用いてエッジを抽出して、抽出したエッジをトレースすることで目的とする形状のエッジを検出できる特定形状領域の抽出方法について開示している。
【０００６】
また、特開２００１−２２２７１９号公報は、空間差分と動き差分とのどちらか一方を用いて差分画像を１つ準備し、これを用いてエッジを抽出する顔抽出方法について開示している。
【０００７】
【発明が解決しようとする課題】
しかしながら、上述の特開平９−１３８４７１号公報あるいは特開２００１−２２２７１９号公報において開示されている抽出方法のように、１つの空間差分画像のみを用いてエッジを抽出する場合には、動物体以外の静止物体のエッジも検出してしまい、結果としてエッジの量が多くなり、処理時間がかかるという問題がある。また、検出したい形状と似た形状のエッジを誤検出してしまう可能性も多いという問題がある。
【０００８】
また、上述の特開２００１−２２２７１９号公報において開示されている顔抽出方法のように、１つの動き差分画像のみを用いてエッジを抽出する場合には、動物体の動く速度によっては、１つの物体から２つのエッジが検出されてしまうという問題がある。
【０００９】
本発明はこのような問題に鑑みてなされたものであり、正確に動物体のエッジを抽出することのできる動物体のエッジ画像取得方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、本発明のある局面に従うと、動物体のエッジ画像取得方法は、第１画像に基づいて得た第１差分画像と、第１差分画像と異なる差分画像であって、第１画像と背景を同じくし取得された時刻が異なる第２画像を含む、少なくとも１つの画像に基づいて得た第２差分画像とに基づいて演算を行なうことにより、動物体のエッジ画像を得る。
【００１１】
また、第１差分画像は、第１画像の空間差分をとった画像であり、第２差分画像は、第１画像と第２画像との動き差分をとった画像であることが望ましい。
【００１２】
また、第２差分画像は、第１画像と第２画像との動き差分をとった画像の、さらに空間差分をとった画像であることが望ましい。
【００１３】
また、動物体のエッジ画像取得方法は、第１差分画像および第２差分画像の各々を、演算に先だって２値化することが望ましい。
【００１４】
また、上述の演算は、第１差分画像と第２差分画像との論理積を算出する演算と、論理和を算出する演算とのいずれか一方であることが望ましい。
【００１５】
【発明の実施の形態】
以下に、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。
【００１６】
図１に、本実施の形態における監視システムの構成の具体例を示す。図１を参照して、監視システムは、画像処理機能を備えるパーソナルコンピュータ等のコンピュータ（以下、ＰＣと言う）１と、動画像を取込む撮像装置であるカメラ２とから構成される。
【００１７】
さらに図１を参照して、ＰＣ１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０１によって制御され、カメラＩ／Ｆ（インタフェース）１０７（画像キャプチャ部とも言われる）を介してカメラ２から受付けた動画像の処理を行なう。ＣＰＵ１０１で実行されるプログラムは、記憶部であるＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）１０２またはＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１０３に記憶される。そして、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１０４は、ＣＰＵ１０１でプログラムが実行される際の一時的な作業領域となる。ユーザは、キーボードやマウス等の入力部（Ｉｎｐｕｔ　Ｕｎｉｔ）１０５から情報や指示を入力する。また、カメラ２から受付けた動画像やその処理結果等はディスプレイ１０６に表示される。なお、図１に示される構成は一般的なパーソナルコンピュータの構成であって、ＰＣ１の構成は図１に示される構成に限定されない。また、カメラ２は、動画像を取得してＰＣ１に入力する手段を備える一般的な装置であって、ビデオ等のその他の装置であっても構わない。
【００１８】
このような監視システムにおいては、以下の処理が実行されて不審者の侵入が監視される。図２は、監視システムにおいて実行される処理を示すフローチャートであって、ＰＣ１のＣＰＵ１０１が、ＨＤＤ１０２またはＲＯＭ１０３に記憶されているプログラムを読込んで、ＲＡＭ１０４上で実行することによって実現される。
【００１９】
図２を参照して、ＰＣ１のＣＰＵ１０１は、カメラＩ／Ｆ１０７を介してカメラ２から得られる画像系列から、時刻の異なる２枚の画像を取込む（Ｓ２０１）。取込む画像の時間的間隔は、数１００ミリ秒〜数秒くらいが適当あるが、それ以外の間隔であっても構わない。また、背景のみの画像を得られる状況ならば、一方の画像を背景のみの背景画像として取得してもよい。
【００２０】
次に、ＣＰＵ１０１は、取得した２枚の画像から頭部を検出する（Ｓ２０２）。ステップＳ２０２における頭部の検出処理については、後にサブルーチンを挙げて詳細な説明を行なう。頭部の検出処理の結果が出力されると（Ｓ２０３）、頭部が検出されていない場合には（Ｓ２０４でＮｏ）、２枚の画像の他の位置に関して再び頭部検出処理を行なう。頭部が検出された場合には（Ｓ２０４でＹｅｓ）、侵入者ありと判断し（Ｓ２０５）、ユーザに通知する処理を行なう（Ｓ２０６）。また、ステップＳ２０６において、通知する処理以外に、取得した画像から当該侵入者の顔を発見して個人認証する処理や、追尾撮影等その他の処理を行なってもよい。
【００２１】
以上で本実施の形態における監視システムでの処理を終了する。
さらに、上述のステップＳ２０２で実行される頭部の検出処理について図３にフローチャートを挙げる。図３を参照して、始めに、初期化処理を実行し（Ｓ３０１）、全投票空間の投票値をクリアする。投票操作については後に説明を行なう。そして、取得した２枚の画像が等しいか否かを判断する（Ｓ３０２）。ステップＳ３０２においては、グレースケール画像（無彩色のグレーで表現された画像）を比較して２枚の画像が等しいか否かを判断する。そのため、ＣＰＵ１０１は、頭部検出処理を実行するに先だって、必要に応じて取得した画像をグレースケール画像に変換する。
【００２２】
ステップＳ３０２において、２枚の画像が等しければ（Ｓ３０２でＹｅｓ）、動物体がないものと判断して頭部検出処理を終了する。等しくなければ（Ｓ３０２でＮｏ）、投票操作を実行する（Ｓ３０３）。そして、その投票値に基づいて後述するパラメータを取得して出力する（Ｓ３０４）。
【００２３】
以上で頭部検出処理を終了し、図２に示されるメインルーチンに処理を戻す。さらに上述のステップＳ３０３で実行される投票操作について図４にフローチャートを挙げる。図４を参照して、投票操作は一般化Ｈｏｕｇｈ変換によって実行される。ＣＰＵ１０１は、取得した２枚のグレースケール画像からＨｏｕｇｈ変換用の二値化されたエッジ画像を作成する（Ｓ４０１）。そして、そのエッジ画像に基づいて一般化Ｈｏｕｇｈ変換を行なう（Ｓ４０２）。このとき、検出対象の頭部の大きさを変化させながらステップＳ４０１およびＳ４０２の処理を繰返し行なってもよい。
【００２４】
以上で投票操作を終了し、図３に示されるサブルーチンに処理を戻す。
さらに上述のステップＳ４０１で実行されるエッジ画像の作成について、図５にフローチャートを示す。図５を参照して、ＣＰＵ１０１は、取得した２枚の画像の動き差分を算出する。そして、その結果を、所定のしきい値を用いて二値化して、動き差分画像を作成する（Ｓ５０１）。
【００２５】
また、読込んだ２枚の画像のうちの１枚の画像を用いて空間差分を算出する。そして、その結果を、所定のしきい値を用いて、二値化して空間差分画像を作成する（Ｓ５０２）。ステップＳ５０２においては、読込んだ２枚の画像のうちのどちらの画像から空間差分を算出しても構わないが、動物体の最新の位置を知るためには、時刻の新しい方の画像から空間差分画像を作成することが望ましい。また、空間差分画像は、物体の輪郭を抽出する画像であればよいので、ＳｏｂｅｌオペレータやＣａｎｎｙオペレータ等のオペレータ（フィルタ）を用いて作成した画像であっても構わない。
【００２６】
そして、ＣＰＵ１０１は、このようにして作成した二値化された差分画像の論値積を算出し、論理積画像を作成する（Ｓ５０３）。すなわち、ステップＳ５０３において、二値化されたエッジ画像が作成される。
【００２７】
以上でエッジ画像の作成処理を終了し、図４に示されるサブルーチンに処理を戻す。なお、上述のステップＳ５０１およびＳ５０２においては、二値化した差分画像を作成してステップＳ５０３で論理積を算出しているが、ステップＳ５０１およびＳ５０２において差分画像の二値化が行なわれなくてもよい。
【００２８】
図３のステップＳ３０３において上述のＨｏｕｇｈ変換での投票操作が行なわれることで、ステップＳ３０４においては、投票値である論理積から頭部候補領域のパラメータ（頭部の中心座標および半径）を求め、得られたパラメータを出力する。すなわち、動物体のエッジの位置を抽出して出力する。なお、投票値からパラメータを得る方法としては、投票結果（論理積画像）を投票値の多い順に出力する方法や、投票結果をクラスタリングする方法等がある。また、その他の方法であってもよい。
【００２９】
以上の、本実施の形態の監視システムにおける動物体の抽出処理の流れは、図６のブロック図に示される。すなわち、監視システムでは、Δｔだけ時刻の異なる、時刻（ｔ−Δｔ）の画像と時刻ｔの画像とを取得する。そして、それらの動き差分を算出して動き差分画像（画像ア）を作成する。また、どちらか一方の画像（図６においては時刻ｔの画像）の空間差分を算出して空間差分画像（画像イ）を作成する。そして、画像アと画像イとの論理積を算出し論理積画像（画像ウ）を作成することでエッジを抽出し出力する。
【００３０】
上述の処理の流れを、具体的に画像を挙げて説明する。
図７の（ａ）および（ｂ）は、カメラＩ／Ｆ１０７を介して入力された時刻（ｔ−Δｔ）の画像と、それより０．５秒後（Δｔ＝０．５秒）の時刻ｔの画像との具体例を示す図である。そして、図８に、これらの２画像の動き差分画像を二値化した画像を示す。図８に示される画像が、図６において画像アに該当する。また、図９に、図７（ｂ）に示される画像にＳｏｂｅｌオペレータを適用して得られる空間差分画像を二値化した画像を示す。図９に示される画像が、図６において画像イに該当する。
【００３１】
人物の動きが速い場合、図８に示されるように、動き差分画像では人物のエッジが２箇所に検出されてしまう場合がある。また、図９に示されるＳｏｂｅｌオペレータを適用して得られる空間差分画像では、人物のエッジ以外にも背景のエッジが多く検出されてしまう。
【００３２】
次に、図８および図９に示される画像の論理積を算出して得られる論理積画像を、図１０に示す。このように動き差分画像と空間差分画像とから論理積画像を得ることで、動き差分画像および空間差分画像共にエッジと判定された画素のみがエッジとして残留する。その結果、人物のエッジが２つ検出されることがない。また、背景のエッジも大幅に抑圧される。
【００３３】
本実施の形態における監視システムで、上述のエッジ抽出処理が実行されることで、動物体のエッジのみを背景のエッジから分離して正確に検出することができる。また、動物体の移動速度に関わらず、１つの物体から得られるエッジを２つ検出することもない。このため、動画像から正確に動物体のエッジを抽出することができる。
【００３４】
なお、図１１に示すように、さらに上述のエッジ抽出処理で得られたエッジ画像に対して、細線化処理や、膨張および縮小によるノイズ除去等の処理を行なってから出力してもよい。このことで、より明確に動物体のエッジを得ることができる。
【００３５】
また、図１２に示すように、時刻（ｔ−Δｔ）の画像と時刻ｔの画像とから得られた動き差分画像に対してさらに空間差分を算出して作成した空間差分画像と、どちらか一方の画像（図１２においては時刻ｔの画像）から作成した空間差分画像との論理積を算出してエッジを抽出しても構わない。また、図１３に示すように、さらに上述のエッジ抽出処理で得られたエッジ画像に対して、細線化処理や、膨張および縮小によるノイズ除去等の処理を行なってから出力してもよい。このようにすることで、よりノイズが軽減され、より正確に動物体のエッジを検出することができる。
【００３６】
なお、以上において、カメラ２から動画像を取得したＰＣ１において上述のエッジの抽出処理が実行されるものとして説明を行なったが、カメラ２が上述のエッジの抽出処理を実行するためのプログラムを記憶して処理能力を有するＣＰＵを備える場合、あるいは上述の処理を実行するＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　ＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）を有している場合は、カメラ２が上述のエッジの抽出処理を実行してもよい。
【００３７】
また、上述のエッジの抽出処理においては、動き差分と空間差分とを算出してエッジを抽出する処理について説明したが、時間と空間以外のパラメータに依存する差分を算出することによって、同様にエッジの抽出処理がなされてもよい。また、上述のエッジの抽出処理においては、得られた差分画像の論理積を算出することによってエッジの抽出を行なっているが、論理積に替えて論理和を算出することで同様にしてエッジの抽出を行なってもよい。
【００３８】
さらに、上述のエッジ抽出処理においては、取得した時間がΔｔだけ異なる２枚の画像を用いて空間差分、動き差分の双方を算出したが、本発明はこのような形態に限られるものではない。例えば、２枚の画像のうち一方が背景画像であってもよい点については先に触れたが、この場合、背景画像は予め取得しておき、この背景画像自体、背景画像の空間差分画像、あるいはこれら両者をＨＤＤ１０２あるいはＲＡＭ１０４に記憶させておいてもよい。背景画像を記憶する場合、背景画像および実際の監視時に取得した画像（以下、取得画像と称す。）のいずれか一方を用いて空間差分画像を作成し、背景画像および取得画像から動き差分画像を作成し、これら空間差分画像、動き差分画像から動物体のエッジ抽出を行なうことができる。背景画像を取得するタイミングとしては、例えば抽出処理を実行するためのプログラムが立上げられた直後が挙げられる。所定の時間間隔ごとに背景画像を更新取得するようにしてもよい。
【００３９】
さらにいえば、予め取得した背景画像、取得した時間がΔｔだけ異なる２枚の取得画像の合計３枚の画像を元に複数の差分画像を得て、動物体のエッジ抽出を行なうことも可能である。例えば、背景画像から空間差分画像を得、２枚の取得画像から動き差分画像を得て、これら空間差分画像および動き差分画像から動物体のエッジ抽出を行なえばよい。
【００４０】
さらに、上述のエッジの抽出方法を、プログラムとして提供することもできる。このようなプログラムは、コンピュータに付属するフレキシブルディスク、ＣＤ−ＲＯＭ、ＲＯＭ、ＲＡＭおよびメモリカードなどのコンピュータ読取り可能な記録媒体にて記録させて、プログラム製品として提供することもできる。あるいは、コンピュータに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、ネットワークを介したダウンロードによって、プログラムを提供することもできる。
【００４１】
提供されるプログラム製品は、ハードディスクなどのプログラム格納部にインストールされて実行される。なお、プログラム製品は、プログラム自体と、プログラムが記録された記録媒体とを含む。
【００４２】
また、上述した本発明のある局面に従えば、発明の他の構成例として、以下のものが考えられる。
（１）第１画像に基づいて得た第１差分画像と、第１差分画像と異なる差分画像であって、第１画像と背景を同じくし取得された時刻が異なる第２画像を含む、少なくとも１つの画像に基づいて得た第２差分画像とに基づいて演算を行なうことにより、動物体のエッジ画像を得る、動物体のエッジ取得装置。
（２）第１画像に基づいて得た第１差分画像と、第１差分画像と異なる差分画像であって、第１画像と背景を同じくし取得された時刻が異なる第２画像を含む、少なくとも１つの画像に基づいて得た第２差分画像とに基づいて演算を行なうことにより、動物体のエッジ画像を得る処理をコンピュータに実行させる、動物体のエッジ取得プログラム。
（３）上記（２）に記載のプログラムを記録したコンピュータ読取可能な記録媒体。
【００４３】
なお、上述の本発明の他の局面に従った、あるいは別の側面に従った、動物体のエッジ取得装置、動物体のエッジ取得プログラム、および該プログラムを記録したコンピュータ読取り可能な記録媒体といった構成例も考えられる。
【００４４】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【図１】本実施の形態における監視システムの構成の具体例を示す図である。
【図２】監視システムにおいて実行される処理を示すフローチャートである。
【図３】ステップＳ２０２で実行される頭部の検出処理について示すフローチャートである。
【図４】ステップＳ３０３で実行される投票操作について示すフローチャートである。
【図５】ステップＳ４０１で実行されるエッジ画像の作成について示すフローチャートである。
【図６】本実施の形態の監視システムにおける処理の流れを示すブロック図である。
【図７】入力された画像の具体例を示す図である。
【図８】入力された２画像の動き差分画像を二値化した画像を示す図である。
【図９】入力された画像にＳｏｂｅｌオペレータを適用して得られる空間差分画像を二値化した画像を示す図である。
【図１０】図８および図９に示される画像の論理積を算出して得られる論理積画像を示す図である。
【図１１】本実施の形態の監視システムにおける処理の流れを示すブロック図である。
【図１２】本実施の形態の監視システムにおける処理の流れを示すブロック図である。
【図１３】本実施の形態の監視システムにおける処理の流れを示すブロック図である。
【符号の説明】
１　ＰＣ、２　カメラ、１０１　ＣＰＵ、１０２　ＨＤＤ、１０３　ＲＯＭ、１０４　ＲＡＭ、１０５　入力部、１０６　ディスプレイ、１０７　カメラＩ／Ｆ。
【図１】
2004046565.tif 000003
【図２】
2004046565.tif 000004
【図３】
2004046565.tif 000005
【図４】
2004046565.tif 000006
【図５】
2004046565.tif 000007
【図６】
2004046565.tif 000008
【図７】
2004046565.tif 000009
【図８】
2004046565.tif 000010
【図９】
2004046565.tif 000011
【図１０】
2004046565.tif 000012
【図１１】
2004046565.tif 000013
【図１２】
2004046565.tif 000014
【図１３】
2004046565.tif 000015