(57)【要約】【課題】虚像を検出することにより適切に動物体を検出する画像処理装置及び画像処理方法を提供すること。【解決手段】画像監視装置１００は、現画像と背景画像から、所定の手順により抽出オブジェクトを抽出するオブジェクト抽出処理と、所定の手順により抽出オブジェクトと、前認識オブジェクト及び前背景オブジェクトとの比較を行い、認識オブジェクトと背景オブジェクトを生成するオブジェクト分類処理と、背景オブジェクトから背景画像を生成する背景画像生成処理と、を実行する機能を有する。【選択図】図１
2007164690.tif 000002
【特許請求の範囲】
【請求項１】
現画像と背景画像からオブジェクトを抽出するオブジェクト抽出部と、
前記オブジェクト抽出部により抽出された抽出オブジェクトと前認識オブジェクト及び前背景オブジェクトとの比較を行い、検出オブジェクト、認識オブジェクト及び背景オブジェクトを生成するオブジェクト分類部と、
前記背景オブジェクトから背景画像を生成する背景画像生成部と、
前記認識オブジェクトを記憶し、次の前認識オブジェクトとして前記オブジェクト分類部に出力する認識オブジェクト記憶部と、
前記背景オブジェクトを記憶し、次の前背景オブジェクトとして前記オブジェクト分類部に出力する背景オブジェクト記憶部と、
を具備することを特徴とする画像処理装置。
【請求項２】
現画像と背景画像からオブジェクトを抽出するオブジェクト抽出部と、
前記オブジェクト抽出部により抽出された抽出オブジェクトと前認識オブジェクト及び前背景オブジェクトとの比較を行い、検出オブジェクト、認識オブジェクト及び背景オブジェクトを生成するオブジェクト分類部と、
前記現画像と前記背景オブジェクトから更新背景オブジェクトを生成する背景オブジェクト更新部と、
前記更新背景オブジェクトから背景画像を生成する背景画像生成部と、
前記認識オブジェクトを記憶し、次の前認識オブジェクトとして前記オブジェクト分類部に出力する認識オブジェクト記憶部と、
前記更新背景オブジェクトを記憶し、次の前背景オブジェクトとして前記オブジェクト分類部に出力する背景オブジェクト記憶部と、
を具備することを特徴とする画像処理装置。
【請求項３】
前記オブジェクト抽出部は、前記現画像と前記背景画像から背景差分画像を生成し、該背景差分画像を２値化処理して背景差分マスクを生成し、該背景差分マスクを領域分割して分割領域毎の前記現画像から特徴量を抽出して抽出オブジェクトを出力し、
前記オブジェクト分類部は、前記抽出オブジェクトと一致する前記前背景オブジェクトを選択し、前記選択した前背景オブジェクトの前記背景差分マスク及び前記分割領域と前記抽出オブジェクトの前記背景差分マスク及び前記分割領域が一致するオブジェクトを虚像オブジェクトとし、前記虚像オブジェクトと一致しない前記抽出オブジェクトを検出オブジェクトとし、前記前認識オブジェクトと一致する前記検出オブジェクトを仮認識オブジェクトとして保持し、保持回数が所定の回数になったとき、前記仮認識オブジェクトを新規背景化オブジェクトとし、前記新規背景化オブジェクトと一致しない前記検出オブジェクトを認識オブジェクトとし、前記新規背景化オブジェクトと前記継続背景オブジェクトを統合して背景オブジェクトとして出力することを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記背景オブジェクト更新部は、前記背景オブジェクトを合成して背景オブジェクトマップを生成し、前記検出オブジェクトのオブジェクトマスクを合成して合成検出オブジェクトマスクを生成し、前記現画像と、前記背景オブジェクトと、前記背景オブジェクトマップと、前記合成検出オブジェクトマスクと、から背景オブジェクトを更新して更新背景オブジェクトとして出力することを特徴とする請求項２記載の画像処理装置。
【請求項５】
現画像と背景画像からオブジェクトを抽出するオブジェクト抽出ステップと、
抽出された前記抽出オブジェクトと前認識オブジェクト及び前背景オブジェクトとの比較を行い、検出オブジェクト、認識オブジェクト及び背景オブジェクトを生成するオブジェクト分類ステップと、
前記背景オブジェクトから背景画像を生成する背景画像生成ステップと、
前記認識オブジェクトを認識オブジェクト記憶部に記憶し、次の前認識オブジェクトとして出力する認識オブジェクト記憶ステップと、
前記背景オブジェクトを背景オブジェクト記憶部に記憶し、次の前背景オブジェクトとして出力する背景オブジェクト記憶ステップと、
を有することにより画像から物体を検出することを特徴とする画像処理方法。
【請求項６】
現画像と背景画像からオブジェクトを抽出するオブジェクト抽出ステップと、
抽出された前記抽出オブジェクトと前認識オブジェクト及び前背景オブジェクトとの比較を行い、検出オブジェクト、認識オブジェクト及び背景オブジェクトを生成するオブジェクト分類ステップと、
前記現画像と前記背景オブジェクトから更新背景オブジェクトを生成する背景オブジェクト更新ステップと、
前記更新背景オブジェクトから背景画像を生成する背景画像生成ステップと、
前記認識オブジェクトを認識オブジェクト記憶部に記憶し、次の前認識オブジェクトとして出力する認識オブジェクト記憶ステップと、
前記更新背景オブジェクトを背景オブジェクト記憶部に記憶し、次の前背景オブジェクトとして出力する背景オブジェクト記憶ステップと、
を有することにより画像から物体を検出することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及び画像処理方法に関し、入力画像と自動的に更新される背景画像との比較により監視を行う画像監視に好適な画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、特許文献１に記載された物体監視追跡装置では、背景差分法と動的２値化法とテンプレートマッチングを用いて動物体を検出し、検出された動物体の特徴量を抽出して予め抽出しておいた特定したい物体の特徴量と比較することで動物体を認識するようにしている。
【０００３】
また、特許文献２に記載された動物体検出装置について図１８を参照して説明する。図１８において、動物体検出装置は、変化領域抽出部１８０１と、継続判定部１８０２と、背景画像更新部１８０３と、継続情報記憶部１８０４と、背景画像記憶部１８０５とを備えた構成となっている。
【０００４】
変化領域抽出部１８０１は、入力される現画像と背景画像との画素毎の差分絶対値を計算し、所定の閾置により２値化し、この２値化画像を変化領域情報として継続判定部１８０２に出力する。ここで変化領域情報は動領域であり、検出動物体を示す。
【０００５】
継続判定部１８０２は、変化領域抽出部１８０１から入力される変化領域情報に従って各画素の変化の継続フレーム数をカウントアップと、継続フレーム数が所定の閾置以上になった画素位置を取り込み領域として背景画像更新部１８０３に出力すると共に、カウントアップした継続情報から継続フレーム数が閾値を越えない認識情報を更新継続情報として継続情報記憶部１８０４に出力する。
【０００６】
背景画像更新部１８０３は、継続判定部１８０２から入力される取り込み領域の背景画像を現画像の画素値に置換して更新背景画像として背景画像記憶部１８０５に出力する。
【０００７】
継続情報記憶部１８０４は、継続判定部１８０２から入力される更新継続情報を記憶し、記憶した更新継続情報を次の継続情報として継続判定部１８０２に出力する。
【０００８】
背景画像記憶部１８０５は、背景画像更新部１８０３から入力される更新背景画像を記憶し、記憶した更新背景画像を次の背景画像として変化領域抽出部１８０１に出力する。
【０００９】
この動物体検出装置の動作について、図１９及び図２０を参照して説明する。
【００１０】
まず、変化領域抽出部１８０１において、図１９（ａ）現画像と同図（ｂ）背景画像とから同図（ｃ）背景差分画像が生成される。次に、変化領域抽出部１８０１において、（ｃ）背景差分画像を２値化して、同図（ｄ）変化領域情報を生成した後、この（ｄ）変化領域情報に対応する同図（ｅ）継続情報（継続フレーム数＝４）の継続フレーム数をカウントアップした同図（ｆ）カウントアップ継続情報を生成する。
【００１１】
図１９では、変化領域情報と継続情報において車の領域が一致しており、継続フレーム数がカウントアップされて「５」となり、人の領域は新たに追加されて継続フレーム数は「１」となる。
【００１２】
次いで、継続フレーム数が閾値を越えた画素位置を同図（ｇ）取り込み領域として背景画像更新部１８０３に出力し、閾値を越えなかった画素位置を同図（ｈ）更新継続情報として継続情報記憶部１８０４に出力する。ここでは、閾値を「５」と設定しており、継続フレーム数が「５」となった車の領域は取り込み領域として出力され、更新継続情報からは削除されて、継続フレーム数が「１」の人の領域のみが更新継続情報として出力される。
【００１３】
そして、図２０に示すように、背景画像更新部１８０３は、同図（ｂ）背景画像の同図（ｇ）背景更新領域を置換することにより同図（ｉ）更新背景画像を生成して背景画像記憶部１８０５に出力する。
【００１４】
以上のような動物体検出装置の構成によれば、動物体が画面内で静止した場合でも、静止した動物体がすぐに背景画像として取り込まれることなく、連続的に動物体を検出することができる。
【特許文献１】特開２００２−１５７５９９号公報
【特許文献２】特開２００３−１２３０７４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１５】
しかしながら、上記特許文献２の動物体検出装置のように背景更新を行う場合、一旦背景画像に取り込まれた動物体が再び動き出すと背景差分に虚像を生じてしまい、虚像部分の背景が再び更新されるまで虚像を生じ続けることになり、虚像部分まで動物体であると誤検出するという問題が発生する。
【００１６】
例えば、図２１に示すような一旦、（ｂ）背景画像に取り込まれた動物体が再び動き出した場合を考えると、同図（ｄ）変化領域情報には動物体の領域だけでなく動物体が静止していた領域も含まれており、同図（ｅ）検出動物体画像に示されるように動物体だけでなく虚像が検出される。
【００１７】
また、背景差分に虚像が生じても誤検出しないものには、特許文献１の物体監視追跡装置がある。すなわち、背景差分を生じた領域から予め想定していた検出対象を特定することにより、虚像が生じても誤検出しない。しかし、検出対象を探索するための情報を予め準備しておく必要があり、不特定の動物体を検出することはできない。
【００１８】
本発明はかかる点に鑑みてなされたものであり、虚像を検出することにより適切に動物体を検出する画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１９】
本発明の画像処理装置は、現画像と背景画像からオブジェクトを抽出するオブジェクト抽出部と、前記オブジェクト抽出部により抽出された抽出オブジェクトと前認識オブジェクト及び前背景オブジェクトとの比較を行い、検出オブジェクト、認識オブジェクト及び背景オブジェクトを生成するオブジェクト分類部と、前記背景オブジェクトから背景画像を生成する背景画像生成部と、前記認識オブジェクトを記憶し、次の前認識オブジェクトとして前記オブジェクト分類部に出力する認識オブジェクト記憶部と、前記背景オブジェクトを記憶し、次の前背景オブジェクトとして前記オブジェクト分類部に出力する背景オブジェクト記憶部と、を具備する構成を採る。
【００２０】
この構成によれば、画像内の変化部と背景に取り込まれた物体とを比較して背景に取り込まれた物体が再び動き出したことを検出できるため、変化部から虚像を排除するとともに適切に背景を更新することができる。
【００２１】
また、本発明の画像処理装置は、現画像と背景画像からオブジェクトを抽出するオブジェクト抽出部と、前記オブジェクト抽出部により抽出された抽出オブジェクトと前認識オブジェクト及び前背景オブジェクトとの比較を行い、検出オブジェクト、認識オブジェクト及び背景オブジェクトを生成するオブジェクト分類部と、前記現画像と前記背景オブジェクトから更新背景オブジェクトを生成する背景オブジェクト更新部と、前記更新背景オブジェクトから背景画像を生成する背景画像生成部と、前記認識オブジェクトを記憶し、次の前認識オブジェクトとして前記オブジェクト分類部に出力する認識オブジェクト記憶部と、前記更新背景オブジェクトを記憶し、次の前背景オブジェクトとして前記オブジェクト分類部に出力する背景オブジェクト記憶部と、を具備する構成を採る。
【００２２】
この構成によれば、画像内の変化部と背景に取り込まれた物体とを比較して背景に取り込まれた物体が再び動き出したことを検出でき、背景を構成する物体の特徴量変化にも追従できるため、変化部から虚像を排除するとともにより適切な背景を生成することができる。
【００２３】
また、本発明の画像処理装置は、請求項１又は２記載の画像処理装置において、前記オブジェクト抽出部は、前記現画像と前記背景画像から背景差分画像を生成し、該背景差分画像を２値化処理して背景差分マスクを生成し、該背景差分マスクを領域分割して分割領域毎の前記現画像から特徴量を抽出して抽出オブジェクトを出力し、前記オブジェクト分類部は、前記抽出オブジェクトと一致する前記前背景オブジェクトを選択し、前記選択した前記背景オブジェクトの前記背景差分マスク及び前記分割領域と前記抽出オブジェクトの前記背景差分マスク及び前記分割領域が一致するオブジェクトを虚像オブジェクトとし、前記虚像オブジェクトと一致しない前記抽出オブジェクトを検出オブジェクトとし、前記前認識オブジェクトと一致する前記検出オブジェクトを仮認識オブジェクトとして保持し、保持回数が所定の回数になったとき、前記仮認識オブジェクトを新規背景化オブジェクトとし、前記新規背景化オブジェクトと一致しない前記検出オブジェクトを認識オブジェクトとし、前記新規背景化オブジェクトと前記継続背景オブジェクトを統合して背景オブジェクトとして出力する構成を採る。
【００２４】
この構成によれば、背景に取り込む領域の特徴量を記憶しておき、変化を生じた領域の特徴量と比較することで背景化した領域の変化を検出し、その領域に生じた変化をマスクすることで虚像を排除することができる。
【００２５】
また、本発明の画像処理装置は、請求項２記載の画像処理装置において、前記背景オブジェクト更新部は、前記背景オブジェクトを合成して背景オブジェクトマップを生成し、前記検出オブジェクトのオブジェクトマスクを合成して合成検出オブジェクトマスクを生成し、前記現画像と、前記背景オブジェクトと、前記背景オブジェクトマップと、前記合成検出オブジェクトマスクと、から背景オブジェクトを更新して更新背景オブジェクトとして出力する構成を採る。
【００２６】
この構成によれば、更新背景オブジェクトを現画像の微小な変化に追従させることができ、更新背景オブジェクトを用いて生成する背景画像をより適切なものとすることができる。また、同一物体の特徴量の類似性は時間的に近接しているほうが強い傾向があり、背景オブジェクトが更新されていくことで、動き出す直前の物体の特徴量と比較することができるので、虚像の検出精度を向上することができる。
【００２７】
また、本発明の画像処理方法は、現画像と背景画像からオブジェクトを抽出するオブジェクト抽出ステップと、抽出された前記抽出オブジェクトと前認識オブジェクト及び前背景オブジェクトとの比較を行い、検出オブジェクト、認識オブジェクト及び背景オブジェクトを生成するオブジェクト分類ステップと、前記背景オブジェクトから背景画像を生成する背景画像生成ステップと、前記認識オブジェクトを認識オブジェクト記憶部に記憶し、次の前認識オブジェクトとして出力する認識オブジェクト記憶ステップと、前記背景オブジェクトを背景オブジェクト記憶部に記憶し、次の前背景オブジェクトとして出力する背景オブジェクト記憶ステップと、を有するにより画像から物体を検出する方法を採る。
【００２８】
この方法によれば、画像内の変化部と背景に取り込まれた物体とを比較して背景に取り込まれた物体が再び動き出したことを検出できるため、変化部から虚像を排除するとともに適切に背景を更新することができる。
【００２９】
また、本発明の画像処理方法は、現画像と背景画像からオブジェクトを抽出するオブジェクト抽出ステップと、抽出された前記抽出オブジェクトと前認識オブジェクト及び前背景オブジェクトとの比較を行い、検出オブジェクト、認識オブジェクト及び背景オブジェクトを生成するオブジェクト分類ステップと、前記現画像と前記背景オブジェクトから更新背景オブジェクトを生成する背景オブジェクト更新ステップと、前記更新背景オブジェクトから背景画像を生成する背景画像生成ステップと、前記認識オブジェクトを認識オブジェクト記憶部に記憶し、次の前認識オブジェクトとして出力する認識オブジェクト記憶ステップと、前記更新背景オブジェクトを背景オブジェクト記憶部に記憶し、次の前背景オブジェクトとして出力する背景オブジェクト記憶ステップと、を有することにより画像から物体を検出する方法を採る。
【００３０】
この方法によれば、画像内の変化部と背景に取り込まれた物体とを比較して背景に取り込まれた物体が再び動き出したことを検出でき、背景を構成する物体の特徴量変化にも追従できるため、変化部から虚像を排除するとともにより適切な背景を生成することができる。
【発明の効果】
【００３１】
本発明によれば、画像内の変化部と背景に取り込まれた物体とを比較して背景に取り込まれた物体が再び動き出したことを検出できるため、変化部から虚像を排除するとともに適切に背景を更新することができ、適切に動物体を検出することができる。
【発明を実施するための最良の形態】
【００３２】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００３３】
（実施の形態１）
図１は、本実施の形態１の画像監視装置１００の構成を示すブロック図である。図１において、画像監視装置１００は、オブジェクト抽出部１０１と、オブジェクト分類部１０２と、背景画像生成部１０３と、認識オブジェクト記憶部１０４と、背景オブジェクト記憶部１０５と、から構成される。
【００３４】
本実施の形態１の画像監視装置１００は、図４に示すフローチャートのように、現画像と背景画像から、所定の手順により抽出オブジェクトを抽出するオブジェクト抽出処理と（ステップＳ１０１）、所定の手順により抽出オブジェクトと、前認識オブジェクト及び前背景オブジェクトとの比較を行い、認識オブジェクトと背景オブジェクトを生成するオブジェクト分類処理と（ステップＳ１０２）、背景オブジェクトから背景画像を生成する背景画像生成処理と（ステップＳ１０３）、を実行する機能を有する。
【００３５】
まず、オブジェクト抽出部１０１の構成及び機能について、図２に示すブロック構成図と、図５に示すフローチャートを参照して説明する。
【００３６】
オブジェクト抽出部１０１は、図２に示すように、背景差分処理部２０１と、２値化部２０２と、領域分割部２０３と、特徴量抽出部２０４と、から構成される。
【００３７】
まず、背景差分処理部２０１は、入力される現画像と背景画像の画素単位の差分絶対値を計算し、その差分絶対値を画素値とする背景差分画像を２値化部２０２に出力する（ステップＳ２０１）。
【００３８】
次に、２値化部２０２は、背景差分処理部２０１から入力された背景差分画像を所定の閾値で２値化して背景差分マスクを生成する。ここで、背景差分マスクは、差分絶対値が所定の閾値以上の画素の画素値を「１」とし、それ以外の画素の画素値を「０」とした２値画像を背景差分マスクとして領域分割部２０３に出力する（ステップＳ２０２）。
【００３９】
次に、領域分割部２０３は、２値化部２０２から入力された差分背景マスクから画素値が「１」の画素の部分を分割し、画素値「１」と「０」について０個以上の分割領域を生成する。ここでは、同一画素値が連続している部分を同一の領域として分割し、その面積が所定の閾値よりも小さい領域は削除する。この場合、面積は領域内の画素値が「１」の画素の数である（ステップＳ２０３）。
【００４０】
次に、特徴量抽出部２０４は、領域分割部２０３から入力された分割領域毎の現画像から特徴量を抽出し、抽出オブジェクトとしてオブジェクト分類部１０２に出力する（ステップＳ２０４）。
【００４１】
特徴量としては、面積、色ヒストグラム等を抽出する。面積は、分割領域内の面積である。色ヒストグラムは、分割領域内を色空間で分割し、同一色空間に属する画素の数を集計したものである。また、本実施の形態１では、分割領域、分割領域内の背景差分マスク、分割領域の画像を、それぞれ矩形領域、オブジェクトマスク、矩形領域画像とし、それぞれ特徴量とあわせたものを抽出オブジェクトとして出力する。
【００４２】
以上の構成により、オブジェクト抽出部１０１は、現画像と背景画像から抽出オブジェクトを生成する機能を有する。
【００４３】
次に、図１のオブジェクト分類部１０２の構成及び機能について、図３に示すブロック構成図と、図６に示すフローチャートを参照して説明する。
【００４４】
オブジェクト分類部１０２は、図３に示すように、虚像判定部３０１と、認識オブジェクト更新部３０２と、背景オブジェクト統合部３０３と、から構成される。
【００４５】
虚像判定部３０１は、図３に示すように、オブジェクト抽出部１０１から入力される抽出オブジェクトと、図１の背景オブジェクト記憶部１０５から入力される前背景オブジェクトの比較・対応付けを行い、抽出オブジェクトと一致した前背景オブジェクトを選択する。そして、この一致した前背景オブジェクトの矩形領域、及びオブジェクトマスクが一致するオブジェクトを抽出オブジェクトから探索して虚像オブジェクトとする。さらに、抽出オブジェクトの中で、この虚像オブジェクト以外の抽出オブジェクトを検出オブジェクトとして認識オブジェクト更新部３０２と外部に出力する（ステップＳ３０１）。
【００４６】
抽出オブジェクトと前背景オブジェクトの比較は、オブジェクトマスク、面積、色ヒストグラムを用いて行う。
【００４７】
オブジェクトマスクとの一致判定については、抽出オブジェクト及び前背景オブジェクトのオブジェクトマスクとの各画素間で差分絶対値をとり、これら差分絶対値を合計し、合計値が所定の閾値以下となった場合に、オブジェクトマスクと一致したと判定する。
【００４８】
面積の一致判定については、抽出オブジェクト及び前背景オブジェクトの面積が所定の閾値以下となった場合に、面積が一致したと判定する。
【００４９】
色ヒストグラムの一致判定については、抽出オブジェクト及び前背景オブジェクトの色ヒストグラム間でユークリッド距離を計算し、そのユークリッド距離が所定の閾値以下となった場合に、色ヒストグラムが一致したと判定する。
【００５０】
また、矩形領域の比較については、抽出オブジェクト及び前背景オブジェクトの矩形領域左上座標間の距離が所定の閾値以下、かつ、幅が所定の閾値以下、かつ、高さが所定の閾値以下であった場合に、矩形領域は一致したと判定する。
【００５１】
また、虚像判定部３０１は、抽出オブジェクトと前背景オブジェクトが、オブジェクトマスク、面積、色ヒストグラムの全てが一致していた場合には、抽出オブジェクトと前背景オブジェクトが一致したとみなし、前背景オブジェクトの中で、この一致した前背景オブジェクト以外を継続背景オブジェクトとして背景オブジェクト統合部３０３に出力する。
【００５２】
次に、認識オブジェクト更新部３０２は、虚像判定部３０１から入力される検出オブジェクトと、図１の認識オブジェクト記憶部１０４から入力される前認識オブジェクトとの比較・対応付けを行い、対応付けされたオブジェクトを仮認識オブジェクトとする。そして、所定フレーム数以上仮認識オブジェクトとして認識された検出オブジェクトを新規背景化オブジェクトとして背景オブジェクト統合部３０３に出力する。また、所定フレーム数以上連続で認識されなかった前認識オブジェクト及び新規背景化オブジェクトとならなかった前認識オブジェクト以外の前認識オブジェクトを、検出オブジェクトを用いて更新して認識オブジェクトを生成して認識オブジェクト記憶部１０４に出力する（ステップＳ３０２）。
【００５３】
検出オブジェクトと前認識オブジェクトの比較は、矩形領域、オブジェクトマスク、面積及び色ヒストグラムを用いて行う。
【００５４】
矩形領域の比較については、検出オブジェクト及び前認識オブジェクトの矩形領域左上座標間の距離が所定の閾値以下、かつ、幅が所定の閾値以下、かつ、高さが所定の閾値以下であった場合に、矩形領域は一致したと判定する。
【００５５】
オブジェクトマスクとの比較については、抽出オブジェクト及び前背景オブジェクトのオブジェクトマスクとの各画素間で差分絶対値をとり、これら差分絶対値を合計し、合計値が所定の閾値以下となった場合に、オブジェクトマスクと一致したと判定する。
【００５６】
面積の比較については、抽出オブジェクト及び前背景オブジェクトの面積が所定の閾値以下となった場合に、面積は一致したと判定する。
【００５７】
色ヒストグラムの比較については、抽出オブジェクト及び前背景オブジェクトの色ヒストグラム間でユークリッド距離を計算し、そのユークリッド距離が所定の閾値以下となった場合に、色ヒストグラムが一致したと判定する。
【００５８】
認識オブジェクト更新部３０２は、矩形領域、オブジェクトマスク、面積及び色ヒストグラムの全てが一致していた場合に、抽出オブジェクトと前背景オブジェクトが一致したとみなす。
【００５９】
認識オブジェクト更新部３０２は、一致した検出オブジェクトに対しては、対応する前認識オブジェクトの認識フレーム数、非認識フレーム数、連続認識フレーム数、連続非認識フレーム数を更新して（認識フレーム数と連続認識フレーム数をインクリメント、連続非認識フレーム数をリセット）付加し、連続認識フレーム数が所定の閾値以上となったものは新規背景化オブジェクトとし、背景化時刻を付加して背景オブジェクト統合部３０３に出力する。
【００６０】
また、認識オブジェクト更新部３０２は、一致しなかった検出オブジェクトに対しては、初期化した認識フレーム数、非認識フレーム数、連続非認識フレーム数を付加して、認識オブジェクトとして認識オブジェクト記憶部１０４に出力する。
【００６１】
さらに、認識オブジェクト更新部３０２は、一致しなかった前認識オブジェクトに対しては、非認識フレーム数、連続非認識フレーム数、連続認識フレーム数を更新し（非認識フレーム数と連続非認識フレーム数をインクリメント、連続認識フレーム数をリセット）、連続非認識フレーム数が所定の閾値以下のものを認識オブジェクトとして認識オブジェクト記憶部１０４に出力する。
【００６２】
次に、背景オブジェクト統合部３０３は、虚像判定部３０１から入力された継続背景オブジェクトと、認識オブジェクト更新部３０２から入力された新規背景化オブジェクトを統合し、背景オブジェクトを生成して背景画像生成部１０３と背景オブジェクト記憶部１０５に出力する（ステップＳ３０３）。
【００６３】
以上の構成により、オブジェクト分類部１０２は、抽出オブジェクトと、前認識オブジェクトと、前背景オブジェクトと、から認識オブジェクトと、背景オブジェクトを生成する機能を有する。
【００６４】
次に、図１の背景画像生成部１０３は、オブジェクト分類部１０２から入力される背景オブジェクトから背景画像を生成する（ステップＳ１０３）。背景画像生成部１０３は、入力された背景オブジェクトを背面から前面へと、背景化時刻が早いものから順に並べ、背面のオブジェクトを前面のオブジェクトで上書きしていくことでオブジェクトの重なりを考慮する。また、背景画像生成部１０３は、矩形領域に配置した矩形領域画像に対して、オブジェクトマスクの画素値が「１」の部分の画像を書き込む。
【００６５】
次に、図１の認識オブジェクト記憶部１０４は、オブジェクト分類部１０２から入力される認識オブジェクトを記憶し、記憶した認識オブジェクトを次の前認識オブジェクトとしてオブジェクト分類部１０２に出力する。
【００６６】
次に、図１の背景オブジェクト記憶部１０５は、オブジェクト分類部１０２から入力される背景オブジェクトを記憶し、記憶した背景オブジェクトを次の前背景オブジェクトとしてオブジェクト分類部１０２に出力する。
【００６７】
以上の構成により、本実施の形態１の画像監視装置１００は、背景に取り込まれた物体と変化部分を比較することで虚像を検出することができ、動物体を適切に検出するとともに、背景画像を適切に更新する。
【００６８】
以上のように構成された画像監視装置１００の動作について、図７〜図１１を参照して説明する。
【００６９】
図７〜図９は、画像監視画面内に人が侵入してきて静止し、画面内で静止していた車が動き出したときの画像監視装置１００内の各部の動作例を示したものである。この動作例では、人と車を動物体として検出するとともに、人を背景として取り込み、停止していた車が背景から削除される場合について説明する。
【００７０】
まず、オブジェクト抽出部１０１の動作について図７を参照して説明する。図７は、オブジェクト抽出部１０１内の各ブロックにおける入出力画像の例を示した図である。
【００７１】
図７（ｂ）の背景画像は、初期背景と車、自転車の背景オブジェクトにより生成された背景画像であり、画面内に進入・停止した車及び自転車が既に背景化していることを想定している。これに対して、同図（ａ）に示した現画像は、画面内に進入・静止している人と再始動した車、及び画面内に進入した犬が映っていることを想定した画像である。
【００７２】
背景差分処理部２０１では、入力された（ａ）現画像と（ｂ）背景画像の画素単位の差分絶対値が計算され、その差分絶対値を画素値とする背景差分処理が行われ、同図（ｃ）の背景差分画像が生成されて２値化部２０２に出力される。
【００７３】
次いで、２値化部２０２では、背景差分処理部２０１から入力された（ｃ）背景差分画像が所定の閾値で２値化処理され、同図（ｄ）の背景差分マスクが生成されて領域分割部２０３に出力される。
【００７４】
次いで、領域分割部２０３では、２値化部２０２から入力された（ｄ）背景差分マスクから同一画素値が連続している部分が同一の領域として領域分割され、同図（ｅ）の領域１〜４が分割領域として生成されて特徴量抽出部２０４に出力される。
【００７５】
次いで、特徴量抽出部２０４では、入力された（ａ）現画像と、領域分割部２０３から入力された分割領域からの特徴量抽出処理により、分割領域１〜４毎に特徴量が抽出され、分割領域１〜４に対応する同図（ｆ）の抽出オブジェクト１〜４として生成されてオブジェクト分類部１０２に出力される。
【００７６】
ここでは、人、車、車の虚像、及び犬がそれぞれ抽出オブジェクト１〜４として抽出される。
【００７７】
次に、オブジェクト分類部１０２の動作について図８を参照して説明する。図８は、オブジェクト分類部１０２内の各ブロックにおける入出力画像の例を示した図である。
【００７８】
まず、虚像判定部３０１では、オブジェクト抽出部１０１から入力された（ａ）の抽出オブジェクト１〜４と、背景オブジェクト記憶部１０５から入力された同図（ｂ）の前背景オブジェクト１，２との虚像判定により、同図（ｄ）の検出オブジェクト１〜３が生成されて認識オブジェクト更新部３０２に出力されるとともに、同図（ｅ）の継続背景オブジェクト１が生成されて背景オブジェクト統合部３０３に出力される。
【００７９】
すなわち、抽出オブジェクト１〜４と前背景オブジェクト１，２との比較・対応付けが行われた結果、抽出オブジェクト２と前背景オブジェクト１が一致し、この前背景オブジェクト１と矩形領域及びオブジェクトマスクが一致する抽出オブジェクト３が虚像オブジェクトと判定される。したがって、虚像オブジェクト以外の抽出オブジェクト１，２，４がそれぞれ、同図（ｄ）の検出オブジェクト１〜３として認識オブジェクト更新部３０２と外部に出力され、前背景オブジェクト２が同図（ｅ）の継続背景オブジェクト１として背景オブジェクト統合部３０３に出力される。
【００８０】
次に、認識オブジェクト更新部３０２では、認識オブジェクト記憶部１０４から入力された同図（ｃ）の前認識オブジェクトと、虚像判定部３０１から入力された（ｄ）検出オブジェクト１〜３から認識オブジェクト更新処理が行われることにより、同図（ｆ）の認識オブジェクト１，２が生成されて認識オブジェクト記憶部１０４に出力されるとともに、同図（ｇ）の新規背景化オブジェクト１が生成されて背景オブジェクト統合部３０３に出力される。
【００８１】
すなわち、前認識オブジェクト１と検出オブジェクト１が一致し、認識フレーム数、連続認識フレーム数、連続非認識フレーム数が更新される。ここで、背景化の閾値を「１０」と想定すると、連続認識フレーム数が閾値以上となるので、前認識オブジェクト１と検出オブジェクト１から（ｇ）新規背景化オブジェクト１が生成される。
【００８２】
次に、背景オブジェクト統合部３０３では、虚像判定部３０１から入力された（ｅ）継続背景オブジェクト１と、認識オブジェクト更新部３０２から入力された（ｇ）新規背景化オブジェクト１が統合されて、同図（ｈ）の背景オブジェクト１，２が生成されて背景画像生成部１０３と背景オブジェクト記憶部１０５に出力される。
【００８３】
すなわち、（ｅ）継続背景オブジェクト１と（ｇ）新規背景化オブジェクト１が、それぞれ（ｈ）の背景オブジェクト１，２となる。
【００８４】
以上のように、オブジェクト分類部１０２では、以上のような動作を行うことにより、虚像を排除し、検出オブジェクト、背景オブジェクト及び認識オブジェクトを生成する。
【００８５】
次に、背景画像生成部１０３の動作について図９を参照して説明する。図９は、背景画像生成部１０３の入出力画像の例を示した図である。
【００８６】
背景画像生成部１０３では、オブジェクト分類部１０２から入力された（ｂ）背景オブジェクト１，２から背景画像生成処理により同図（ｃ）の背景画像が生成されてオブジェクト抽出部１０１に出力される。ここでは、背景化時刻の早い順、背景オブジェクト１，２の順で、（ａ）初期背景画像を（ｂ）背景オブジェクト１，２で上書きし、（ｃ）背景画像となる。
【００８７】
以上のように、図７〜図９を用いて説明したような動作により、虚像を含まない検出オブジェクトの抽出と、虚像を適切に更新した背景画像の生成が可能になる。
【００８８】
なお、上記オブジェクト分類部１０２で処理される抽出オブジェクト、前背景オブジェクト、検出オブジェクト、継続背景オブジェクト、新規背景化オブジェクト、認識オブジェクト及び背景オブジェクトのデータ例を図１０に示す。また、図１０のオブジェクトデータの構成例を図１１に示す。
【００８９】
以上のように、本実施の形態１の画像監視装置によれば、一旦背景画像に取り込まれた動物体が再び動き出したことを確実に検出し、虚像を生じない画像に背景画像を更新するとともに、適切に監視画面内に進入する動物体を検出することができる。
【００９０】
なお、本実施の形態１の領域分割部においては、画素値が連続しない部分で領域分割を行うようにしたが、矩形位置が近い場合はこれらを統合するようにしてもよいし、類似の特徴量をもつものを統合するようにしてもよい。また、本実施の形態１の画像監視装置では、抽出や比較に用いる特徴量を面積と色ヒストグラムとしたが、これらに限るものではない。
【００９１】
（実施の形態２）
本発明の実施の形態２について、図１２〜図１７を参照して説明する。
【００９２】
図１２は、本実施の形態２の画像監視装置１２００の構成を示すブロック図であり、実施の形態１の図１に示した画像監視装置１００と同一の構成部分にと同一符号を付している。図１２において、画像監視装置１２００は、オブジェクト抽出部１０１と、オブジェクト分類部１０２と、背景画像生成部１０３と、認識オブジェクト記憶部１０４と、背景オブジェクト記憶部１０５と、背景オブジェクト更新部１２０１と、から構成される。
【００９３】
オブジェクト抽出部１０１と、オブジェクト分類部１０２と、認識オブジェクト記憶部１０４については、上記実施の形態１に示したものと同様の機能を有する。背景画像生成部１０３と、背景オブジェクト記憶部１０５については、背景オブジェクトではなく更新背景オブジェクトを扱うが、データ構造に違いはなく、その動作は上記実施の形態１に示したものと同様である。
【００９４】
また、本実施の形態２の画像監視装置１２００は、図１４に示すフローチャートのように、上記実施の形態１の画像監視装置１００と同様に、オブジェクト抽出処理と（ステップＳ１０１）、オブジェクト分類処理と（ステップＳ１０２）、背景画像生成処理と（ステップＳ１０３）、を実行する機能を有するとともに、背景オブジェクト更新部１２０１が所定の手順により更新背景オブジェクトを生成する背景オブジェクト更新処理と（ステップＳ１４０３）、を更に実行する機能を有する。
【００９５】
背景オブジェクト更新部１２０１は、現画像と、オブジェクト分類部１０２から入力される背景オブジェクト及び検出オブジェクトとから、所定の手順により更新背景オブジェクトを生成する。
【００９６】
次に、背景オブジェクト更新部１２０１の構成及び機能について、図１３に示すブロック構成図と、図１５に示すフローチャートを参照して説明する。
【００９７】
背景オブジェクト更新部１２０１は、図１３に示すように、背景オブジェクト合成部１３０１と、検出オブジェクトマスク合成部１３０２と、オブジェクトデータ更新部１３０３と、から構成される。
【００９８】
まず、背景オブジェクト合成部１３０１は、オブジェクト分類部１０２から入力される背景オブジェクトを合成し、各画素と背景オブジェクトを対応付けた背景オブジェクトマップを生成してオブジェクトデータ更新部１３０３に出力する（ステップＳ１５０１）。
【００９９】
ここでは、最背面から背景化時刻昇順で背景オブジェクトが並べられる。つまり、背景オブジェクトが重なっていた場合は、背景化時刻が遅い背景オブジェクトに画素は対応付けられる。
【０１００】
次いで、検出オブジェクトマスク合成部１３０２は、オブジェクト分類部１０２から入力された検出オブジェクトのオブジェクトマスクを合成して、合成検出オブジェクトマスクを生成してオブジェクトデータ更新部１３０３に出力する（ステップＳ１５０２）。
【０１０１】
次いで、オブジェクトデータ更新部１３０３は、入力される現画像と、オブジェクト分類部１０２から入力される背景オブジェクトと、背景オブジェクト合成部１３０１から入力される背景オブジェクトマップと、検出オブジェクトマスク合成部１３０２から入力される合成検出オブジェクトマスクと、から背景オブジェクトを更新し、更新背景オブジェクトとして背景画像生成部１０３と背景オブジェクト記憶部１０５に出力する（ステップＳ１５０３）。
【０１０２】
合成検出オブジェクトマスクまたは他の背景オブジェクトによりマスクされていない画素が、背景オブジェクトの面積に対して第１の所定の閾値以上の割合を占める背景オブジェクトについては、矩形領域画像を現画像から抽出し直し、これを用いて特徴量も抽出し直す。
【０１０３】
また、背景オブジェクトの面積に対して第２の所定の閾値以上の割合を占める背景オブジェクトについては、対応付けられている画素の平均輝度値及び背景オブジェクトの平均輝度値を算出し、これらの差分だけ背景オブジェクトの矩形画像の全画素をシフトし、これを用いて特徴量を抽出し直す。
【０１０４】
それ以外の背景オブジェクトについては、背景オブジェクトの更新は行わない。
【０１０５】
以上のような背景オブジェクト更新部１２０１の構成により、背景オブジェクト更新部１２０１は現画像と検出オブジェクトと背景オブジェクトから更新背景オブジェクトを生成する。
【０１０６】
上記のように構成された画像監視装置１２００は、背景に取り込まれた物体と変化部分を比較することで虚像を検出することができ、動物体を適切に検出するとともに、背景画像をより適切に更新する。
【０１０７】
以上のように構成された画像監視装置１２００の動作について、図１６，１７を参照して説明する。ここでは、特に、背景オブジェクト更新部１２０１の動作について説明する。図１６は、背景オブジェクト更新部１２０１内の各ブロックにおける入出力画像の例を示した図である。
【０１０８】
まず、同図に示すような（ａ）現画像と、（ｂ）背景オブジェクトと、（ｃ）検出オブジェクトが背景オブジェクト更新部１２０１に入力されたとする。背景オブジェクト合成部１３０１では、（ｂ）背景オブジェクトから、背景オブジェクト合成処理により、背景オブジェクト１，２の背景オブジェクトマスクが、矩形位置に配置されてマッピングが行われ、同図（ｄ）に示す背景オブジェクトマップが生成されてオブジェクトデータ更新部１３０３に出力される。
【０１０９】
次いで、検出オブジェクトマスク合成部１３０２では、（ｃ）検出オブジェクトから、検出オブジェクト合成処理により、検出オブジェクト１〜３のオブジェクトマスクが矩形位置に配置され、同図（ｅ）の合成検出オブジェクトマスクが生成されてオブジェクトデータ更新部１３０３に出力される。
【０１１０】
次いで、オブジェクトデータ更新部１３０３では、（ａ）現画像と、オブジェクト分類部１０２から入力された（ｂ）背景オブジェクトと、背景オブジェクト合成部１３０１から入力された（ｄ）背景オブジェクトマップと、検出オブジェクトマスク合成部１３０２から入力された（ｅ）合成検出オブジェクトマスクとから、オブジェクトデータ更新処理により、（ｂ）の背景オブジェクト１，２をそれぞれ更新背景オブジェクト１，２に更新した同図（ｇ）の更新背景オブジェクトが生成されて背景画像生成部１０３に出力される。
【０１１１】
この場合、背景オブジェクト１は、（ｅ）合成検出オブジェクトマスクにより全くマスクされず、他の背景オブジェクトとも重なっていないので、全画素の対応付けができているので、（ａ）現画像から矩形画像が抽出し直されて、特徴量が更新される。
【０１１２】
ここでは、現画像の自転車の微小変化が取り込まれた更新背景オブジェクト１が生成される。
【０１１３】
背景オブジェクト２は、（ｅ）合成検出オブジェクトマスクにより完全にマスクされるので、更新は行われずに更新背景オブジェクト２となる。
【０１１４】
図１７は、オブジェクトデータ更新部１３０３において背景オブジェクトが部分的にマッピングされる例を示す図である。
【０１１５】
こでは、（ｆ）更新前の背景画像に対して、（ａ）現画像の車の色が微小変化したことを想定している。
【０１１６】
（ｃ）背景オブジェクトマップに示すように、背景オブジェクト１と背景オブジェクト２は重なっており、背景オブジェクト１は全画素対応付けされているが、背景オブジェクト２は部分的な対応付けとなり、背景オブジェクト２については平均輝度値を用いた背景オブジェクト更新を行う。
【０１１７】
背景オブジェクト２の平均輝度値と背景オブジェクト２がマッピングされている現画像の画素の平均輝度値との差分だけ、背景オブジェクト２の矩形画像をシフトし、これを用いて特徴量を抽出し直して、更新背景オブジェクト２とする。
【０１１８】
このように画面から抽出できる特徴量を、画面から抽出できない領域に反映させることで、背景オブジェクトを現在の物体に近いものにする。
【０１１９】
以上のように、図１６、図１７に示したオブジェクトデータ更新部１３０３の動作により、更新背景オブジェクトを現画像の微小な変化に追従させることができる。これにより、背景画像生成部１０３が更新背景オブジェクトを用いて生成する背景画像をより適切なものとすることができる。
【０１２０】
また、同一物体の特徴量の類似性は時間的に近接しているほうが強い傾向があり、背景オブジェクトが更新されていくことで、動き出す直前の物体の特徴量と比較することができるので、虚像の検出精度を向上することができる。
【０１２１】
以上のように、本実施の形態２の画像監視装置によれば、一旦背景画像に取り込まれた物体が微小変化した場合であっても、再び動き出したことを検出し、虚像を生じない画像に背景画像を更新するとともに、適切に侵入物体を検出することができる。
【０１２２】
なお、本実施の形態２のオブジェクトデータ更新部において、検出オブジェクトを合成した合成検出オブジェクトマスクで背景オブジェクトにマスクをかけたが、オブジェクト抽出部の２値化部において生成される背景差分マスクを代わりに用いても良い。
【０１２３】
また、本実施の形態２のオブジェクトデータ更新部において、平均輝度値を用いているが、オブジェクト抽出時に抽出する特徴量に平均輝度値を使用するようにし、これを利用するようにしても良い。
【０１２４】
また、本実施の形態２のオブジェクトデータ更新部において、隣接する背景オブジェクト同士の特徴量が近い場合は、これらを統合して１つの背景オブジェクトとしても良い  また、本実施の形態２のオブジェクトデータ更新部において、十分に長い時間背景となり続けている背景オブジェクトについては、初期背景に統合し、この背景オブジェクトを削除するようにしても良い。
【０１２５】
また、本実施の形態２のオブジェクトデータ更新部において、背景オブジェクトが部分的にマッピングされた場合に、輝度値をシフトした矩形画像から特徴量を抽出し直すこととしたが、特定の特徴量については更新しないようにしても良い。
【０１２６】
また、本実施の形態２のオブジェクトデータ更新部において、背景オブジェクトが部分的にマッピングされた場合に、輝度値をシフトした矩形画像を作成したが、マッピングされている画素は現画像から抽出するようにしても良い。
【産業上の利用可能性】
【０１２７】
本発明に係る画像処理装置及び画像処理方法は、背景差分に虚像を生じないように適切な背景画像に更新でき、精度の高い監視を行うことができるため、入力画像と背景画像を比較して監視を行う画像監視装置として有用である。
【図面の簡単な説明】
【０１２８】
【図１】本発明の実施の形態１に係る画像監視装置の構成を示すブロック図
【図２】本実施の形態１に係るオブジェクト抽出部の構成を示すブロック図
【図３】本実施の形態１に係るオブジェクト分類部の構成を示すブロック図
【図４】本実施の形態１に係る画像監視装置の動作及び機能を示すフローチャート
【図５】本実施の形態１に係るオブジェクト抽出部の動作及び機能を示すフローチャート
【図６】本実施の形態１に係るオブジェクト分類部の動作及び機能を示すフローチャート
【図７】本実施の形態１に係るオブジェクト抽出部内の各ブロックにおける入出力画像の例を示した図
【図８】本実施の形態１に係るオブジェクト分類部内の各ブロックにおける入出力画像の例を示した図
【図９】本実施の形態１に係る背景画像生成部における入出力画像の例を示した図
【図１０】本実施の形態１に係るオブジェクト分類部で処理されるオブジェクトデータのデータ例を示す図
【図１１】本実施の形態１に係るオブジェクトデータの構成例を示す図
【図１２】本発明の実施の形態２に係る画像監視装置の構成を示すブロック図
【図１３】本実施の形態２に係る背景オブジェクト更新部の構成を示すブロック図
【図１４】本実施の形態２に係る画像監視装置の動作及び機能を示すフローチャート
【図１５】本実施の形態２に係る背景オブジェクト更新部の動作及び機能を示すフローチャート
【図１６】本実施の形態２に係る背景オブジェクト更新部内の各ブロックにおける入出力画像の例を示した図
【図１７】本実施の形態２に係るオブジェクトデータ更新部における入出力画像の例を示した図
【図１８】従来の動物体検出装置の構成を示すブロック図
【図１９】従来の動物体検出装置の動作を示す図
【図２０】従来の動物体検出装置の動作を示す図
【図２１】従来の動物体検出装置の動作の課題を示す図
【符号の説明】
【０１２９】
１００、１２００  画像監視装置
１０１  オブジェクト抽出部
１０２  オブジェクト分類部
１０３  背景画像生成部
１０４  認識オブジェクト記憶部
１０５  背景オブジェクト記憶部
２０１  背景差分処理部
２０２  ２値化部
２０３  領域分割部
２０４  特徴量抽出部
３０１  虚像判定部
３０２  認識オブジェクト更新部
３０３  背景オブジェクト統合部
１２０１  背景オブジェクト更新部
１３０１  背景オブジェクト合成部
１３０２  検出オブジェクトマスク合成部
１３０３  オブジェクトデータ更新部
【図１】
2007164690.tif 000003
【図２】
2007164690.tif 000004
【図３】
2007164690.tif 000005
【図４】
2007164690.tif 000006
【図５】
2007164690.tif 000007
【図６】
2007164690.tif 000008
【図７】
2007164690.tif 000009
【図８】
2007164690.tif 000010
【図９】
2007164690.tif 000011
【図１０】
2007164690.tif 000012
【図１１】
2007164690.tif 000013
【図１２】
2007164690.tif 000014
【図１３】
2007164690.tif 000015
【図１４】
2007164690.tif 000016
【図１５】
2007164690.tif 000017
【図１６】
2007164690.tif 000018
【図１７】
2007164690.tif 000019
【図１８】
2007164690.tif 000020
【図１９】
2007164690.tif 000021
【図２０】
2007164690.tif 000022
【図２１】
2007164690.tif 000023