(57)【要約】【課題】抽出結果画像に影が残ったり画素が欠けたり、画像中の物体の位置やサイズが影によって変化しない物体画像抽出装置および物体画像抽出方法を提供する。【解決手段】対象画像ＤＢ３から人物の撮影された対象画像を入力する。人物抽出処理部１０は、入力した対象画像をグレースケールに変換し、ガボール関数を用いたフィルタ処理を行ない、画像のエッジ情報を維持し影の情報が消えた画像を得る。人物の写っていない背景画像を、背景画像ＤＢ４から入力し、グレースケール画像に変換し、ガボール関数を用いたフィルタ処理を行い、背景のエッジ情報を維持し影の情報が消えた画像を得る。ガボール関数処理を行った対象画像と背景画像に対して、背景差分処理を行い、次に結果残された画素に対して凸包を形成する処理を行う。制御部６は、表示形式が全体表示の場合には、対象画像に凸包の多角形を重ね書きしてディスプレイ２に表示する。【選択図】図１
2006004041.tif 000002
【特許請求の範囲】
【請求項１】
背景画像を取得する背景画像取得手段と、前記背景画像に抽出する対象物体が含まれた現画像を取得する現画像取得手段と、前記背景画像取得手段で取得した背景画像に対しガボール関数を用いたフィルタ処理によりフィルタ処理背景画像を取得する背景画像ガボール処理手段と、前記現画像取得手段で取得した現画像に対し前記ガボール関数を用いたフィルタ処理によりフィルタ処理現画像を取得する現画像ガボールフィルタ処理手段と、前記背景画像ガボール処理手段で取得したフィルタ処理背景画像と前記現画像ガボールフィルタ処理手段で取得したフィルタ処理現画像との差分画素を取得する差分画素取得手段と、前記差分画素取得手段で取得した差分画素の凸包を形成する凸包形成手段と、前記凸包形成手段が形成した凸包により物体画像を抽出し出力する出力手段と、を含むことを特徴とする物体画像抽出装置。
【請求項２】
前記出力手段は、前記差分画素の表示か、前記差分画素と前記凸包の画像との表示を行う手段であることを特徴とする請求項１記載の物体画像抽出装置。
【請求項３】
前記差分画素取得手段が差分画素を取得する場合に参照する閾値を入力する閾値入力手段と、前記閾値入力手段で入力された閾値を調節する閾値調節手段とを含むことを特徴とする請求項１または請求項２記載の物体画像抽出装置。
【請求項４】
前記閾値調節手段は、前記凸包内の差分画素の数が最大となるように前記閾値を自動的に調節する手段であることを特徴とする請求項３記載の物体画像抽出装置。
【請求項５】
前記出力手段は、前記物体画像を抽出して出力する際に、前記物体画像を切り出して表示する表示様式と、切り出した物体画像を多角形で囲んで表示する表示様式の少なくとも一方を備えることを特徴とする請求項１乃至請求項４のいずれかに記載の物体画像抽出装置。
【請求項６】
背景画像を取得する背景画像取得ステップと、前記背景画像に抽出する対象物体が含まれた現画像を取得する現画像取得ステップと、前記背景画像取得ステップで取得した背景画像に対しガボール関数を用いたフィルタ処理によりフィルタ処理背景画像を取得する背景画像ガボール処理ステップと、前記現画像取得ステップで取得した現画像に対し前記ガボール関数を用いたフィルタ処理によりフィルタ処理現画像を取得する現画像ガボールフィルタ処理ステップと、前記背景画像ガボール処理ステップで取得したフィルタ処理背景画像と前記現画像ガボールフィルタ処理ステップで取得したフィルタ処理現画像との差分画素を取得する差分画素取得ステップと、前記差分画素取得ステップで取得した差分画素の凸包を形成する凸包形成ステップと、前記凸包形成ステップで形成した凸包により物体画像を抽出し出力する出力ステップと、を含むことを特徴とする物体画像抽出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
監視カメラ等により取得した画像から、歩行等の動いている対象物体画像を抽出する物体画像抽出装置および物体画像抽出方法に関する。
【背景技術】
【０００２】
人物領域画像といった対象物体画像を抽出するには、従来、特許文献１に示すように背景差分方式が利用される。特許文献１に示す方式では、例えば以下のように背景差分処理を行い、物体領域画像を取得する。
【０００３】
背景画像と、人物が背景の中に撮影された現画像とを取得する。現画像の各画素の輝度値から背景画像の対応する画素の輝度値を差し引いた値が、閾値以上であれば画素の値を元のまま残し、閾値以下であれば画素の値を灰色等の一定の値に変換する。このような処理を全ての画素について行うと、人物領域の画像を取り出すことができる。
【特許文献１】特開２００１−２６８６５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら特許文献１に示すような従来の背景差分法では、以下のような二つの課題を有していた。
【０００５】
課題１：標本画像を用いて服装認識等を行う際には、標本画像上の人物の画像情報と、現画像における人物の画像情報のマッチングをとるので、標本画像または現画像上の人物抽出処理においてはできる限り正確に人物を撮影した部分を切り出し、人物部分の画素を多く取れるのが好ましい。
【０００６】
しかしながら特許文献１に示す背景差分法では以下の不都合により認識率が落ちてしまう。
・人物だけを取り出したいにも関わらず、図１６の円（影の領域）で囲んだ部分のように抽出結果画像に影が残ってしまう場合がある。
・人物の画素が、処理の過程で図１６の円（画素が落ちている領域）で囲んだ部分のように画素が欠けてしまう場合がある。
【０００７】
課題２：結果を一覧表示する際に、特許文献１に示す背景差分法では、どの画素が人物を示す画素なのかを特定できないので、一定の値に変換されずに残った画素をすべて含む矩形を元の画像から切り出して表示する等の方法が考えられるが、この方法では以下の不都合により表示結果数が少なくなる。また、携帯端末などの小さい画面で結果を参照することができない場合がある。
・図１７に示すように影が残っている場合には、影の位置によって切り出した画像中の人物の位置が変化する。
・図１７に示すように画像サイズが変化し一様でない。
【０００８】
本発明は、従来の問題を解決するためになされたもので、抽出結果画像に影が残ってしまったり画素が欠けてしまったりせず、画像中の物体の位置やサイズが影によって変化することのない物体画像抽出装置および物体画像抽出方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の物体画像抽出装置は、背景画像を取得する背景画像取得手段と、背景画像に抽
出する対象物体が含まれた現画像を取得する現画像取得手段と、背景画像取得手段で取得した背景画像に対しガボール（Ｇａｂｏｒ）関数を用いたフィルタ処理によりフィルタ処理背景画像を取得する背景画像ガボール処理手段と、現画像取得手段で取得した現画像に対しガボール関数を用いたフィルタ処理によりフィルタ処理現画像を取得する現画像ガボールフィルタ処理手段と、背景画像ガボール処理手段で取得したフィルタ処理背景画像と現画像ガボールフィルタ処理手段で取得したフィルタ処理現画像との差分画素を取得する差分画素取得手段と、差分画素取得手段で取得した差分画素の凸包を形成する凸包形成手段と、凸包形成手段が形成した凸包により物体画像を抽出し出力する出力手段とを含む構成を有する。
【００１０】
この構成により、抽出結果画像に影が残ってしまったり画素が欠けてしまったりせず、画像中の物体の位置やサイズが影によって変化することなく物体画像を抽出できる。
【００１１】
また、本発明の物体画像抽出装置は、出力手段が、差分画素の表示か、差分画素と凸包の画像との表示を行う手段である構成を有する。この構成により差分画素のみの確認と凸包画像を含めた画像のいずれも表示させることができる。
【００１２】
また、本発明の物体画像抽出装置は、差分画素取得手段が差分画素を取得する場合に参照する閾値を入力する閾値入力手段と、閾値入力手段で入力された閾値を調節する閾値調節手段とを含む構成を有している。この構成により閾値を必要に応じて入力し調節することができる。
【００１３】
また、本発明の物体画像抽出装置は、閾値調節手段が、凸包内の差分画素の数が最大となるように閾値を自動的に調節する手段である構成を有している。この構成により適切な状態に凸包を自動的に調節することができる。
【００１４】
さらに、本発明の物体画像抽出装置は、出力手段が、物体画像を抽出して出力する際に、物体画像を切り出して表示する表示様式と、切り出した物体画像を多角形で囲んで表示する表示様式の少なくとも一方を備える構成を有している。この構成により切り出した物体画像のみを明確に表示、あるいは適切かどうかを判断容易に表示することができる。
【発明の効果】
【００１５】
本発明は、背景画像取得手段で取得した背景画像に対しガボール関数を用いたフィルタ処理によりフィルタ処理背景画像を取得する背景画像ガボール処理手段と、現画像取得手段で取得した現画像に対しガボール関数を用いたフィルタ処理によりフィルタ処理現画像を取得する現画像ガボールフィルタ処理手段と、フィルタ処理背景画像とフィルタ処理現画像との差分画素を取得する差分画素取得手段と、差分画素取得手段で取得した差分画素の凸包を形成する凸包形成手段と、凸包形成手段が形成した凸包により物体画像を抽出し出力する出力手段とを設けることにより、抽出結果画像に影が残ってしまったり画素が欠けてしまったりせず、画像中の物体の位置やサイズが影によって変化することなく物体画像を抽出できるという効果を有する物体画像抽出装置および物体画像抽出方法を提供することができるものである。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態の物体画像抽出装置および物体画像抽出方法について、図面を用いて説明する。
【００１７】
（第１の実施の形態）
本発明の第１の実施の形態における物体画像抽出装置の構成図を図１に示す。
【００１８】
図１において、物体画像抽出装置は、画像を撮影するカメラ５と、カメラ５で取得した画像のうち対象物体が含まれる画像を蓄積する対象画像ＤＢ３と、カメラ５で取得した画像のうち背景画像を蓄積する背景画像ＤＢ４と、ガボールフィルタ処理に用いる閾値（パラメタとも記す）および背景差分処理に使用する閾値を保存するパラメタデータ部７と、ガボールフィルタ処理に用いる閾値を調節するパラメタ調節部８と、差分処理を行った結果残された画素に対して凸包処理を行い得られた凸包を保存する凸包データ部１１と、パラメタデータ部７が示す表示形式により表示を調整する表示調整部９と、これらを制御して画像抽出処理を行う人物抽出処理部１０と、抽出結果の画像を表示するディスプレイ２と、これらの各部を制御する制御部６を備える。
【００１９】
以上のように構成された物体画像抽出装置について、図２乃至図２０を用いてその動作を説明する。図２は本発明の第１の実施の形態における物体画像抽出装置の人物抽出処理の動作を示す流れ図であり、図３は同装置の表示調節処理の動作を示す流れ図であり、図４は同装置の人物抽出結果表示処理の動作を示す流れ図であり、図５乃至図１２は本発明の第１の実施の形態における物体画像抽出装置の人物抽出処理の画像を示す模式図である。
【００２０】
本実施の形態は、読み込んだ背景差分画像と対象画像に対して夫々ガボール関数を用いたフィルタ処理を行い、ガボール関数を用いたフィルタ処理がかけられた両画像の差分を取り、人物のエッジを検出し、検出したエッジ画素に対して凸包を形成する処理と凸包内部復元処理を行い、処理結果を表示するものである。
【００２１】
制御部６により人物抽出結果表示処理は起動される。人物抽出結果表示処理が起動されると、人物抽出処理が起動され（ステップ５０１）、まず対象画像ＤＢ３から図６に示すような人物の撮影されたカラー画像の対象画像を入力する（ステップ２０１）。
【００２２】
人物抽出処理部１０は、入力した対象画像に対して、カラー画像をグレースケールに変換し、グレースケールに変換した画像に対してガボール関数を用いたフィルタ処理を行うと、画像のエッジ情報を維持し影の情報が消えたグレースケール画像が得られる（ステップ２０２）。最も最近の背景として蓄積されている図５のような人物の写っていないカラーの背景画像を、背景画像ＤＢ４から入力する（ステップ２０３）。
【００２３】
入力した図５に示す背景画像に対して、まず、カラー画像をグレースケール画像に変換し、グレースケールに変換した画像に対してガボール関数を用いたフィルタ処理を行い、背景のエッジ情報を維持し影の情報が消えたグレースケール画像を得る（ステップ２０４）。
【００２４】
ガボール関数を用いたフィルタ処理を行った対象画像とガボール関数を用いたフィルタ処理を行った背景画像に対して、まずパラメタデータ部７にあり、背景差分処理に使用する閾値を読み込み、背景差分処理を行うことにより閾値以上であった画素だけを背景画像の基のＲＧＢ値に戻して表示する（ステップ２０５）と図７に示す画像が得られる。差分処理を行った結果残された画素に対して凸包を形成する処理を行い図８に示す凸包を得て凸包データ部１１に格納する（ステップ２０６）。
【００２５】
次に、人物抽出処理（ステップ５０１）の引数として、凸包の頂点を示す座標の配列を渡して、表示調節処理を起動する（ステップ５０２）。表示調節処理が起動されると、まずパラメタデータ部７にある、パラメタデータの表示形式を読み込み、表示形式を参照し、表示形式が人物のみを表示する場合にはステップ４０２へ、表示形式が全体を表示する場合にはステップ４０３へ処理を移す（ステップ４０１）。
【００２６】
表示形式が全体表示の場合には、対象画像である図６に引数として渡された凸包の多角形を重ね書きして図１２を得る（ステップ４０３）。表示形式が人物のみの場合には、図８の実線の多角形で示す多角形の内部に存在する画素を全て抽出し、図９で示す人物のみを抽出した画像を得る（ステップ４０２）。ステップ４０２またはステップ４０３で生成した画像を制御部６に返して終了する。
【００２７】
人物抽出結果表示処理も終了する。
【００２８】
このような本発明の第１の実施の形態の物体画像抽出装置によれば、抽出結果画像に影が残ってしまったり画素が欠けてしまったりせず、画像中の物体の位置やサイズが影によって変化することなく物体画像を抽出できる。さらに、図１０に示すように携帯端末のような小画面でも出力結果が表示できる。また、一覧表示において人物単位で出力結果が表示できるので、図１１に示すように、従来例よりも多くの出力結果を表示できるようになる。
【００２９】
（第２の実施の形態）
本発明の第２の実施の形態の物体画像抽出装置における動作を示す流れ図を図１３および図１４に、表示例を示す図を図１５に示す。本実施の形態に関わる背景差分処理に使用する閾値を設定する処理を、具体的には、人物抽出処理を行った結果をディスプレイに表示し、その出力結果をユーザが確認して、不満な場合には背景差分処理に使用する閾値の値を換えて再度人物抽出処理を実行し、満足な場合にはパラメタ調節処理を終了する動作を説明する。
【００３０】
図１５は、ユーザとインタラクティブにパラメタ調節を行うパラメタ調節ウィンドウを示す図であり、人物抽出処理を実行するＧＯボタン３１と、パラメタ調節処理を終了するＯＫボタン３２と、凸包内に入る人物のエッジ画素を最大とする背景差分の閾値を自動的に求める閾値自動調節ボタン３３と、パラメタ値を入力する背景差分用の閾値入力欄３４とを備える。画面の構成は本実施の形態にあるものに限らない。
【００３１】
ＧＯボタン３１を押すと図７または図８に示したような人物のエッジを抽出した画像をウィンドウに表示する。図１３は、本実施の形態のパラメタ入力処理を示す流れ図であり、図１４は、閾値自動調節処理の流れ図である。
【００３２】
制御部６によりパラメタ調節処理が起動されると、人物抽出処理を行い（ステップ３０１）、結果をディスプレイ２に、図１５に示すパラメタ調節ウィンドウの形態で、表示し、現行の背景差分用の閾値をパラメタ調節ウィンドウの閾値覧に表示し（ステップ３０２）、ユーザ入力を待つ（ステップ３０３）。ユーザは、ウィンドウに表示されたエッジ画像を確認して、背景差分用の閾値を調節する場合には閾値入力欄３４に新しい値を入力してＧＯボタン３１を押すと、入力されたパラメタをパラメタデータ７に入力して（ステップ３０４）、人物抽出処理を行う（ステップ３０１）。
【００３３】
ステップ３０３で、閾値自動調節ボタン３３を押すと、現行の背景差分処理用の閾値と現行の凸包データを引数として、閾値自動調節処理を起動する（ステップ３０５）。閾値自動調節処理がパラメタ入力処理から起動されると、閾値をインクリメントする（ステップ６０１）。インクリメントされた閾値を引数として人物抽出処理を起動する（ステップ６０２）。人物抽出処理を行った結果、抽出されたエッジ画素全てについて、閾値自動調節処理の引数として渡された凸包内にあるかどうかを判定する（ステップ６０３）。すべてのエッジ画素が凸包内にあった場合はステップ６０１に戻る。無かった場合は新しい閾値を返して終了する。ステップ３０３で、ＯＫボタン３２を押すと終了する。
【００３４】
以上のように、本発明の第２の実施の形態の物体画像抽出装置によれば、人物抽出処理を行った結果をディスプレイに表示し、その出力結果をユーザが確認して、不満な場合には背景差分処理に使用する閾値の値を換えて再度人物抽出処理を実行し、満足な場合にはパラメタ調節処理を終了することができる。
【産業上の利用可能性】
【００３５】
以上のように、本発明にかかる物体画像抽出装置および物体画像抽出方法は、抽出結果画像に影が残ってしまったり画素が欠けてしまったりせず、画像中の物体の位置やサイズが影によって変化することなく物体画像を抽出できるという効果を有する物体画像抽出装置等として有用である。
【図面の簡単な説明】
【００３６】
【図１】本発明の第１の実施の形態における物体画像抽出装置の構成図
【図２】本発明の第１の実施の形態における物体画像抽出装置の人物抽出処理の動作を示す流れ図
【図３】本発明の第１の実施の形態における物体画像抽出装置の表示調節処理の動作を示す流れ図
【図４】本発明の第１の実施の形態における物体画像抽出装置の人物抽出結果表示処理の動作を示す流れ図
【図５】本発明の第１の実施の形態における物体画像抽出装置の人物抽出処理の画像を示す模式図
【図６】本発明の第１の実施の形態における物体画像抽出装置の人物抽出処理の画像を示す模式図
【図７】本発明の第１の実施の形態における物体画像抽出装置の人物抽出処理の画像を示す模式図
【図８】本発明の第１の実施の形態における物体画像抽出装置の人物抽出処理の画像を示す模式図
【図９】本発明の第１の実施の形態における物体画像抽出装置の人物抽出処理の画像を示す模式図
【図１０】本発明の第１の実施の形態における物体画像抽出装置の人物抽出処理の画像を示す模式図
【図１１】本発明の第１の実施の形態における物体画像抽出装置の人物抽出処理の画像を示す模式図
【図１２】本発明の第１の実施の形態における物体画像抽出装置の人物抽出処理の画像を示す模式図
【図１３】本発明の第２の実施の形態における物体画像抽出装置の動作を示す流れ図
【図１４】本発明の第２の実施の形態における物体画像抽出装置の動作を示す流れ図
【図１５】本発明の第２の実施の形態における物体画像抽出装置の画像を示す模式図
【図１６】従来の物体画像抽出装置で人物抽出を行う際に起きる課題を示す模式図
【図１７】従来の物体画像抽出装置で一覧表示の際に起きる課題を示す模式図
【符号の説明】
【００３７】
２  ディスプレイ
３  対象画像データベース（ＤＢ）
４  背景画像データベース（ＤＢ）
５  カメラ
６  制御部
７  パラメタデータ部
８  パラメタ調節部
９  表示調節部
１０  人物抽出処理部
１１  凸包データ部
３１  ＧＯボタン
３２  ＯＫボタン
３３  閾値自動調節ボタン
３４  閾値入力欄
【図１】
2006004041.tif 000003
【図２】
2006004041.tif 000004
【図３】
2006004041.tif 000005
【図４】
2006004041.tif 000006
【図５】
2006004041.tif 000007
【図６】
2006004041.tif 000008
【図７】
2006004041.tif 000009
【図８】
2006004041.tif 000010
【図９】
2006004041.tif 000011
【図１０】
2006004041.tif 000012
【図１１】
2006004041.tif 000013
【図１２】
2006004041.tif 000014
【図１３】
2006004041.tif 000015
【図１４】
2006004041.tif 000016
【図１５】
2006004041.tif 000017
【図１６】
2006004041.tif 000018
【図１７】
2006004041.tif 000019