(57)【要約】【課題】パターン判別結果のマージ処理を途中で打ち切った場合にも、パターン判別結果の一部がマージされた出力を得られるようにする。【解決手段】それぞれが画像上に存在するパターンの場所を示す、複数のパターン判別結果を取得する。複数のパターン判別結果から選択された所定数のパターン判別結果を統合するか否かを、所定数のパターン判別結果が表す場所の類似度に基づいて判定し、統合すると判定された前記所定数のパターン判別結果を統合する。【選択図】図１
2019101741.tif 000002
【特許請求の範囲】
【請求項１】
それぞれが画像上に存在するパターンの場所を示す、複数のパターン判別結果を取得する取得手段と、
前記複数のパターン判別結果から選択された所定数のパターン判別結果を統合するか否かを、前記所定数のパターン判別結果が表す場所の類似度に基づいて判定し、統合すると判定された前記所定数のパターン判別結果を統合する統合手段と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記情報処理装置はメモリを備え、
前記取得手段は、前記複数のパターン判別結果をそれぞれ前記メモリの異なる領域に格納し、
前記統合手段は、統合により得られたパターン判別結果で、前記メモリに格納された前記所定数のパターン判別結果のうち１つを置き換えることを特徴とする、請求項１に記載の情報処理装置。
【請求項３】
前記パターン判別結果は、前記パターンの場所を示す領域情報を有し、
前記類似度は、前記所定数のパターン判別結果のそれぞれが有する領域情報により示される領域の重複度に従って求められ、
前記統合手段は、前記類似度が閾値以上であるか否かを判定し、前記類似度が閾値以上であると判定された前記所定数のパターン判別結果を統合する
ことを特徴とする、請求項１又は２に記載の情報処理装置。
【請求項４】
前記パターン判別結果は、前記パターンの場所を示す第１の情報と、前記パターンの場所とは無関係な第２の情報と、を含み、
前記統合手段は、前記所定数のパターン判別結果についての前記第１の情報を統合し、及び前記所定数のパターン判別結果についての前記第２の情報を統合することを特徴とする、請求項１から３のいずれか１項に記載の情報処理装置。
【請求項５】
前記第２の情報は、前記第１の情報に示される場所に特定のパターンが存在する可能性を示す情報と、前記第１の情報に示される場所に存在するパターンの特性を示す情報と、のうち少なくとも一方であることを特徴とする、請求項４に記載の情報処理装置。
【請求項６】
前記統合手段は、さらに前記所定数のパターン判別結果についての前記第２の情報を考慮して、前記所定数のパターン判別結果を統合するか否かを判定することを特徴とする、請求項４又は５に記載の情報処理装置。
【請求項７】
前記統合手段は、それぞれのパターン判別結果を得るために行われた統合回数を用いて、統合されたパターン判別結果を生成することを特徴とする、請求項４から６のいずれか１項に記載の情報処理装置。
【請求項８】
前記統合手段は、前記所定数のパターン判別結果についての前記第２の情報を用いて、統合されたパターン判別結果を生成することを特徴とする、請求項４から７のいずれか１項に記載の情報処理装置。
【請求項９】
前記統合手段は、前記所定数のパターン判別結果の異なる組み合わせを統合して新しいパターン判別結果を生成し、前記パターン判別結果の数を減少させる処理を繰り返すことを特徴とする、請求項１から８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記統合手段は、前記取得手段が取得した前記複数のパターン判別結果を用いた処理時間が閾値を超えた場合に、繰り返しを中止することを特徴とする、請求項９に記載の情報処理装置。
【請求項１１】
前記統合手段は、前記取得手段が取得した前記複数のパターン判別結果を用いた処理において、統合回数が閾値に達した場合に繰り返しを終了することを特徴とする、請求項９又は１０に記載の情報処理装置。
【請求項１２】
前記所定数は２であることを特徴とする、請求項１から１１のいずれか１項に記載の情報処理装置。
【請求項１３】
前記画像上に存在する特定のパターンを判別する処理を用いて、前記画像上に存在する前記特定のパターンの場所を示すパターン判別結果を生成する判別手段をさらに備えることを特徴とする、請求項１から１２のいずれか１項に記載の情報処理装置。
【請求項１４】
情報処理装置が行う情報処理方法であって、
それぞれが画像上に存在するパターンの場所を示す、複数のパターン判別結果を取得する取得工程と、
前記複数のパターン判別結果から選択された所定数のパターン判別結果を統合するか否かを、前記所定数のパターン判別結果が表す場所の類似度に基づいて判定し、統合すると判定された前記所定数のパターン判別結果を統合する統合工程と、
を有することを特徴とする情報処理方法。
【請求項１５】
コンピュータを、請求項１から１３のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、及びプログラムに関し、特に画像に対するパターン判別処理により得られたパターン判別結果を統合する処理に関する。
【背景技術】
【０００２】
画像中の人体又は顔のような特定のパターンを判別する技術が提案されている。特に、近年、携帯端末又は車載機器等の組み込みシステム向けのパターン判別手法が注目されている。
【０００３】
非特許文献１では、パターン判別処理を高速化するためのアルゴリズムが提案されている。非特許文献１では、ブースティング学習によってパターン判別処理用のパラメータが生成される。そして、画像から抽出されたサブウィンドウのそれぞれについて、カスケード接続された弱判別器を用いてパターンを含むか否かが判別される。こうして、所定のパターンを含む領域の情報が、パターン判別結果として生成される。この手法では、同じ位置にあるパターンを表す複数の異なるパターン判別結果が得られる可能性がある。そこで、非特許文献１では、領域が重なっているパターン判別結果が同じサブセット（部分集合）に入るように、パターン判別結果が分類される。そして、サブセット毎にパターン判別結果が統合され、１つのパターン判別結果が生成される。具体的には、領域の４つのコーナーの平均座標値がサブセット毎に計算され、統合されたパターン判別結果における４つのコーナーの座標値として用いられる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】P. Viola, M. Jones, “Rapid Object Detection using a Boosted Cascade of Simple Features”, Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Vol. 1, pp. 511-518, December 2001.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
組み込みシステム向けの用途の場合等、パターン判別において、リアルタイムに結果を出力することが求められる場合がある。複数のパターン判別結果をマージすることにより、誤検出を抑制し、パターン判別結果の精度を向上することができるが、このような状況においては、途中でマージ処理を打ち切らなければならない可能性がある。
【０００６】
非特許文献１に記載の方法では、領域が重なっているパターン判別結果を全て発見した後で、領域が重なっているパターン判別結果を統合する。このような手法では、処理に時間のかかる、領域が重なっているパターン判別結果を全て発見する処理の途中で、統合処理を打ち切った場合、パターン判別結果の統合が行われないという課題があった。
【０００７】
本発明は、パターン判別結果のマージ処理を途中で打ち切った場合にも、パターン判別結果の一部がマージされた出力を得ることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の目的を達成するために、例えば、本発明の情報処理装置は以下の構成を備える。すなわち、
それぞれが画像上に存在するパターンの場所を示す、複数のパターン判別結果を取得する取得手段と、
前記複数のパターン判別結果から選択された所定数のパターン判別結果を統合するか否かを、前記所定数のパターン判別結果が表す場所の類似度に基づいて判定し、統合すると判定された前記所定数のパターン判別結果を統合する統合手段と、
を備えることを特徴とする。
【発明の効果】
【０００９】
パターン判別結果のマージ処理を途中で打ち切った場合にも、パターン判別結果の一部がマージされた出力を得ることができる。
【図面の簡単な説明】
【００１０】
【図１】パターン判別結果を統合する情報処理方法の一例を示すフローチャート。
【図２】重なっているパターン判別結果の例を示す図。
【図３】統合処理における初期状態を示す図。
【図４】統合処理における１回目のマージ処理後の状態を示す図。
【図５】統合処理における２回目のマージ処理後の状態を示す図。
【図６】統合処理における３回目のマージ処理後の状態を示す図。
【図７】統合処理における４回目のマージ処理後の状態を示す図。
【図８】パターン判別結果を表す情報の一例を示す図。
【図９】パターン判別装置として働く情報処理装置の一例を示すブロック図。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態を図面に基づいて説明する。ただし、本発明の範囲は以下の実施例に限定されるものではない。
【００１２】
＜パターン判別装置の構成例＞
図９は、本発明の一実施形態に係る情報処理装置９００の構成例を示すブロック図である。図９に示す情報処理装置は、画像に対してパターン判別処理を行うことにより、顔又は人体のような特定のパターンを有する領域を検出するパターン判別装置である。以下、こうして検出された領域を表す情報をパターン判別結果と呼ぶ。また、図９に示す情報処理装置９００は、こうして検出されたパターン判別結果を統合する統合処理を行う、パターン判別結果統合装置、又は領域統合装置として動作することができる。既に説明したように、パターン判別処理においては、画像上の同一のパターンについて、同一のパターンを包含するが互いに異なる領域を表す複数のパターン判別結果が得られることがある。統合処理においては、同一のパターンを表すパターン判別結果を、１つのパターン判別結果にまとめることを目的として、処理が行われる。統合処理の詳細については後に詳しく説明する。
【００１３】
データ保存部９０２は、画像データを保持するユニットであり、メモリでありうる。一実施形態において、データ保存部９０２は、複数のフレーム画像で構成される動画像を保持する。データ保存部９０２は、例えば、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、メモリーカード、ＣＦカード、スマートメディア、ＳＤカード、メモリスティック、ｘＤピクチャーカード、又はＵＳＢメモリ等でありうる。情報処理装置９００は、後述するＲＡＭ９０８の一部をデータ保存部９０２として用いてもよい。
【００１４】
表示部９０４は画像を表示する装置であり、画像処理前の画像、画像処理後の画像、又はＧＵＩ等を表示することができる。表示部９０４は、例えばＣＲＴ又は液晶ディスプレイ等でありうる。
【００１５】
入力部９０１は、ユーザからの指示、又はデータを取得する装置である。入力部９０１は、例えばキーボード、ポインティング装置、又はボタンでありうる。また、表示部９０４と入力部９０１とは、タッチスクリーン装置のような同一装置であってもよい。この場合に、タッチスクリーンからの入力を入力部９０１への入力として扱うことができる。
【００１６】
ＣＰＵ９０６は、情報処理装置９００全体の動作を制御するプロセッサである。ＲＯＭ９０７及びＲＡＭ９０８は、処理に必要なプログラム、データ、及び作業領域等をＣＰＵ９０６に提供するメモリである。後述する統合処理に必要なプログラムがデータ保存部９０２又はＲＯＭ９０７に格納されている場合、これらのプログラムは一旦ＲＡＭ９０８に読み込まれる。また、通信部９０３を経由して情報処理装置９００がプログラムを受信する場合には、プログラムは一旦データ保存部９０２に記録された後にＲＡＭ９０８に読み込まれるか、又は通信部９０３からＲＡＭ９０８に直接読み込まれる。そして、ＣＰＵ９０６が、ＲＡＭ９０８上のこれらのブログラムに従って動作することにより、動作制御が行われる。
【００１７】
判別処理部９０９は、ＣＰＵ９０６からのコマンドを受け、データ保存部９０２に書き込まれた画像データを読み出し、画像データに対してパターン判別処理を実行する。パターン判別処理としては、顔判別処理又は人体判別処理のような、所定のパターンを有する特定種類の物体を検出する処理が挙げられるが、特に限定されない。判別処理部９０９はまた、得られた判別結果をＲＡＭ９０８に書き込む。もっとも、情報処理装置９００が判別処理部９０９を有することは必須ではなく、情報処理装置９００は外部の判別処理部から判別結果を取得してもよい。
【００１８】
統合処理部９０５は、ＲＡＭ９０８に書き込まれた判別結果の統合処理を行う。統合処理の詳細については後述する。また、統合処理部９０５は、統合された判別結果をデータ保存部９０２又はＲＡＭ９０８に書き込む。
【００１９】
画像処理部９１０は、統合された判別結果に従い、画像に対して画像処理を行うことができる。画像処理は、例えば、判別結果に従う所定領域に対する画像補正処理、判別結果に従う所定領域を抽出する画像抽出処理、判別結果に従う所定領域を解析する画像解析処理、又は判別結果に従う所定領域に写る物体を特定する画像認識処理等でありうる。また、画像処理の具体例としては、人物を特定する処理、又は顔色を補正する処理等が挙げられる。もっとも、行われる画像処理の種類は特に限定されない。画像処理部９１０による処理結果は、データ保存部９０２又はＲＡＭ９０８に書き込まれる。もっとも、情報処理装置９００が画像処理部９１０を有することは必須ではなく、統合された判別結果を取得した外部の処理装置がこのような画像処理を行うこともできる。
【００２０】
判別処理部９０９、統合処理部９０５、及び画像処理部９１０は、複数の画像を次々と処理することができる。例えば、判別処理部９０９、統合処理部９０５、及び画像処理部９１０は、動画像を構成する複数のフレーム画像を順次処理することができる。なお、図９に示す情報処理装置９００は１つのＣＰＵ９０６を有しているが、ＣＰＵを複数有していてもよい。また、判別処理部９０９、統合処理部９０５、及び画像処理部９１０のうちの１以上は、ＣＰＵ９０６により実現されてもよい。すなわち、ＣＰＵ９０６がＲＡＭ９０８上のブログラムに従って動作することにより、これらの各部の機能は実現されうる。
【００２１】
通信部９０３は、機器間の通信を行うためのインタフェースである。情報処理装置９００は、通信部９０３を介して、外部装置からデータを取得することができる。図９に示す情報処理装置９００は、入力部９０１、データ保存部９０２、及び表示部９０４を備えているが、これらを備えることは必須ではない。例えば、情報処理装置は、通信部９０３を介して、又はケーブルを介して、これらの装置と接続されていてもよい。例えば、情報処理装置９００は、通信部９０３を介して接続された記憶装置（不図示）を、仮想的なデータ保存部として用いてもよい。
【００２２】
情報処理装置９００は、上記以外にも様々な構成要素を有することができるが、その説明は省略する。
【００２３】
＜パターン判別結果の統合処理＞
まず、判別処理部９０９が生成するパターン判別結果について説明する。本実施形態について、判別処理部９０９は、画像から所定のパターンを検出し、パターンが検出された領域を示す情報をパターン判別結果として生成する。判別処理部９０９は、１つの画像（例えば動画像を構成する１つのフレーム画像）のうち、複数の領域から所定のパターンを検出することができる。一例として、判別処理部９０９は、画像の様々な位置及び様々な大きさの領域から抽出されたサブウィンドウのそれぞれについて、所定のパターンが含まれるかどうかを判定することができる。また、判別処理部は、複数の異なる方法を用いてパターン判別処理を行うこともできる。このような場合、判別処理部９０９は、１つの画像について複数のパターン判別結果を得ることができるが、それぞれのパターン判別結果は、同一の物体を指しているかもしれないし、異なる物体を指しているかもしれない。本実施形態において、統合処理部９０５は、同一の物体を指しているパターン判別結果を統合する。
【００２４】
例えば、図２の例では、パターン判別結果は２つあり、それぞれ入力画像２０４にある笑顔パターンを含んでいる。長方形２０１は判別結果Ａが示す領域であり、笑顔パターンを中心部分に有している。長方形２０２は判別結果Ｂが示す領域であり、笑顔パターンを左上部分に有している。これらの判別結果Ａ及び判別結果Ｂは、入力画像２０４にある同一の笑顔パターンを含んでいるため、統合処理部９０５により統合される。
【００２５】
以下の説明において、１つのパターン判別結果は、パターンが検出された場所を示す。パターン判別結果は、画像上に存在するパターンの場所を示すデータセットを用いて表すことができる。パターン判別結果を表すデータセットは、パターンの場所を示す領域情報を有することができる。例えば、１つの判別結果を示すデータセットは、パターンが検出された領域の情報を有することができる。具体例として、１つの判別結果を示すデータセットは、パターンが検出された領域の位置情報（例えば座標値）と、パターンが検出された領域のサイズ情報（例えば領域の幅及び高さ）とを含むことができる。以下、このようなデータセットのことを、単にパターン判別結果と呼ぶことがある。
【００２６】
また、パターン判別結果を表すデータセットは、パターンの場所を示す情報（第１の情報）の他に、パターンの場所とは無関係な情報（第２の情報）を含むことができる。パターンの場所とは無関係な情報は、例えば、パターンの場所を示す情報により示される場所に特定のパターンが存在する可能性を示す情報と、パターンの場所を示す情報により示される場所に存在するパターンの特性を示す情報と、の少なくとも一方でありうる。特定のパターンが存在する可能性を示す情報とは、例えば、パターン判別結果の信頼度（パターンらしさ）でありうる。このようなパターンらしさは、公知の機械学習技術を用いてパターン判別を行う際に得ることができる。また、パターンの特性を示す情報とは、例えば、パターンの向き若しくは角度、又はパターンのサイズのような情報でありうる。
【００２７】
図８（Ａ）〜（Ｃ）は、パターン判別結果の例を示す。長方形１００１は、判別しようとするパターン（パターン判別対象）であり、笑顔パターンが中心にある。図８（Ａ）（Ｂ）には、それぞれ第１判別結果及び第２判別結果が示されており、それぞれ図２で説明した判別結果Ａと判別結果Ｂとに対応する。第１判別結果は、パターン判別対象を含んでいることの信頼度と、パターンが抽出された長方形２０１の幅及び高さと、長方形２０１の左上の座標とを含んでいる。図８（Ｃ）に示すように、判別結果Ａが示す領域において、笑顔パターンは長方形２０１の中心にあり、パターン判別対象と似ているため、信頼度は高い。判別結果Ｂも同様に、信頼度と、パターンが抽出された長方形２０２の幅及び高さと、長方形２０２の左上の座標とを含んでいる。図８（Ｃ）に示すように、判別結果Ｂが示す領域において、笑顔パターンは長方形２０２の左上にあり、中心からずれているため、信頼度は判別結果Ａよりも低い。この例では、笑顔パターンの位置により、信頼度が異なっている。
【００２８】
以下、図１のフローチャートを参照して、本発明の一実施形態に係るパターン判別結果の統合処理について説明する。以下の処理において、判別処理部９０９は、統合処理で用いるために、図８（Ａ）（Ｂ）に示されるように、パターン判別結果にマージ回数（初期値＝１）を示す情報を追加する。
【００２９】
ステップＳ１０１で、判別処理部９０９は、それぞれが画像上に存在するパターンの場所を示す、複数のパターン判別結果を取得する。判別処理部９０９は、画像上に存在する特定のパターンを判別する処理を用いて、画像上に存在する特定のパターンの場所を示すパターン判別結果を生成することができる。もっとも、判別処理部９０９は、パターン判別結果を他のユニット又は他の装置から取得してもよい。判別処理部９０９は、取得されたパターン判別結果をＲＡＭ９０８に設けられたワークエリアに保存する。ここで、判別処理部９０９は、それぞれのパターン判別結果を、ＲＡＭ９０８の異なる領域に格納することができる。
【００３０】
ステップＳ１０２で、ＣＰＵ９０６は、繰り返し処理のループを開始する。
【００３１】
ステップＳ１０３で、統合処理部９０５は、マージ処理を行う。マージ処理の詳細（ステップＳ１０４〜ステップＳ１１２）は後述する。
【００３２】
ステップＳ１１３で、ＣＰＵ９０６は、繰り返し処理のループを強制終了する条件が満たされたかどうかを判定する。強制終了する条件としては、判別処理部９０９が取得した複数のパターン判別結果を用いた処理時間が閾値を超えた場合、例えば繰り返し処理を開始してからの処理時間が所定の制限時間を超えた場合、が挙げられる。強制終了する別の条件としては、ユーザ若しくは処理部から強制停止信号を受けた場合が挙げられる。強制終了条件が満たされると、統合処理部９０５による繰り返し処理が中止され、処理はステップＳ１１５に進む。そうでない場合、処理はステップＳ１１４に進む。
【００３３】
ステップＳ１１４で、ＣＰＵ９０６は、繰り返し処理のループを通常終了する条件が満たされたかどうかを判定する。通常終了する条件としては、マージできる判別結果がなくなった場合が挙げられる。通常終了する別の条件としては、判別処理部９０９が取得した複数のパターン判別結果を用いた処理において、統合回数が閾値に達した場合が挙げられる。通常終了条件が満たされると、統合処理部９０５による繰り返し処理は終了する。また、通常終了条件が満たされない場合、繰り返し処理のループが継続し、処理はステップＳ１０３に戻る。
【００３４】
ステップＳ１１５で、ＣＰＵ９０６は、ＲＡＭ９０８に保存されたパターン判別結果をデータ保存部９０２に出力するか、又は、ＲＡＭ９０８のワークエリア以外の領域にコピーする。こうして、統合処理が終了する。
【００３５】
以下、ステップＳ１０３のマージ処理について説明する。ステップＳ１０４で、統合処理部９０５は、マージ処理の第１ループを開始する。ステップＳ１０５で、統合処理部９０５は、ＲＡＭ９０８から、判別結果を１つ読み出す。ステップＳ１０５で統合処理部９０５が読み出した判別結果のことを第１判別結果と呼ぶ。ステップＳ１０６で、統合処理部９０５は、マージ処理の第２ループを開始する。ステップＳ１０７で、統合処理部９０５は、ＲＡＭ９０８から、判別結果を１つ読み出す。ステップＳ１０５で統合処理部９０５が読み出す判別結果は、第１判別結果とは異なるものであり、読み出された判別結果を第２判別結果と呼ぶ。
【００３６】
ステップＳ１０５及びＳ１０７において読み出される判別結果の選択方法は、特に限定されない。例えば、ループ中にまだ選択されていない判別結果をランダムに選択することができる。一方で、制御された順序でパターン選択結果を選択することができる。例えば、一実施形態において、統合処理部９０５は、直前のマージ処理（Ｓ１０３）で統合されなかった判別結果を、第１判別結果又は第２判別結果として優先的に選択することができる。例えば、統合処理部９０５は、マージ処理（Ｓ１０３）の最初の第１ループでは、直前のマージ処理（Ｓ１０３）で統合されなかった判別結果を、第１判別結果として選択することができる。また、統合処理部９０５は、マージ処理（Ｓ１０３）の最初の第２ループでは、直前のマージ処理（Ｓ１０３）で統合されなかった判別結果を、第２判別結果として選択することができる。このような構成によれば、マージ処理の対象が特定の判別結果に集中しにくくなるため、後述するように安定な統合処理結果が得られやすくなる。
【００３７】
さらに、それぞれのパターン判別結果に順序を設定し、設定された順序でパターン判別結果を選択することもできる。具体例として、マージ処理（Ｓ１０３）において最初に第１判別結果として選択される判別結果は、前回のマージ処理（Ｓ１０３）で統合された第１判別結果の次の判別結果でありうる。また、マージ処理（Ｓ１０３）において２回目以降に選択される第１判別結果は、同じマージ処理（Ｓ１０３）において直前に第１判別結果として選択された判別結果の次の判別結果でありうる。さらに、第２ループが開始した後に最初に選択される第２判別結果は、第１判別結果として選択された判別結果の次の判別結果でありうる。また、第２ループが開始した後に２回目以降に選択される第２判別結果は、直前に第２判別結果として選択された判別結果の次の判別結果でありうる。このような構成によれば、安定な統合処理結果がさらに得られやすくなる。このような選択方法の具体例については、図３〜７を参照して後述する。
【００３８】
このように、ステップＳ１０５，Ｓ１０７において、統合処理部９０５は、パターン判別結果をそれぞれ表す複数のパターン判別結果から、第１判別結果と第２判別結果とを選択する。一方、統合処理部９０５が選択するパターン判別結果の数は特に限定されず、任意の所定数でありうる。この所定数は、本実施形態においては２であるが、３以上であってもよく、また、判別処理部９０９が取得したパターン判別結果の数未満でありうる。
【００３９】
ステップＳ１０８で、統合処理部９０５は、複数のパターン判別結果から選択された所定数のパターン判別結果を統合するか否かを、所定数のパターン判別結果が表す場所の類似度に基づいて判定する。そして、統合処理部９０５は、統合すると判定された所定数のパターン判別結果を統合する。例えば、統合処理部９０５は、類似度が閾値以上であるか否かを判定し、類似度が閾値以上であると判定された所定数のパターン判別結果を統合することができる。本実施形態の場合、統合処理部９０５は、複数のパターン判別結果から選択された２つのパターン判別結果（第１判別結果及び第２判別結果）について、第１判別結果と第２判別結果が表す場所の類似度が閾値以上であるか否かを判定する。そして、類似度が閾値以上であると判定された第１判別結果と第２判別結果とが統合される。
【００４０】
本実施形態において統合処理部９０５は、所定数のパターン判別結果のそれぞれが有する領域情報により示される領域の重複度に従って、所定数のパターン判別結果を統合するか否かを判定する。より具体的には、第１判別結果が示すパターンが検出された領域と、第２判別結果が示すパターンが検出された領域と、の重なり度合いが閾値より大きい場合に、第１判別結果と第２判別結果とが統合される。したがって、一実施形態において、ステップＳ１０８で算出される類似度は、所定数のパターン判別結果のそれぞれが有する領域情報により示される領域の重複度を表す。また、一実施形態において、ステップＳ１０８で算出される類似度は、第１判別結果が示すパターンが検出された領域と、第２判別結果が示すパターンが検出された領域と、の重なり度合いを表す。
【００４１】
例えば、類似度Ｓ１，２は、下式に従って計算することができる。下式において、Ａ１は第１判別結果が示す領域の面積であり、Ａ２は第２判別結果が示す領域の面積である。Ａ１，２は、第１判別結果が示す領域と、第２判別結果が示す領域と、の重複部分の面積である。図２の例では、長方形２０３は、判別結果Ａが示す領域である長方形２０１と、判別結果Ｂが示す領域である長方形２０２との重複領域であり、長方形２０３の面積が判別結果Ａと判別結果Ｂとの類似度となる。この例において、類似度は、長方形２０１と長方形２０２の重なり具合を意味している。
Ｓ１，２＝Ａ１，２／ｍｉｎ（Ａ１，Ａ２）
【００４２】
この例において、閾値Ｔのレンジは［０，１］（０以上１以下）でありうる。類似度Ｓ１，２が閾値Ｔ以上の場合に処理はステップＳ１０９に進み、そうでない場合に処理はステップＳ１１１に進む。
【００４３】
ステップＳ１０９で、統合処理部９０５は、第１判別結果と第２判別結果とをマージする。本実施形態で統合処理部９０５は、第１判別結果と第２判別結果とをマージすることにより第１’判別結果を生成する。判別結果のマージ方法は特に限定されない。例えば、統合処理部９０５は、第１判別結果が示す領域の場所と、第２判別結果が示す領域の場所とに基づいて、第１判別結果が示す領域の場所と第２判別結果が示す領域の場所との双方を示す１つの場所情報を生成することができる。具体例としては、第１判別結果と第２判別結果とがそれぞれ示す領域の座標、幅、又は高さの平均値を、第１’判別結果が示す領域の座標、幅、又は高さとして用いることができる。また、第１判別結果と第２判別結果とがそれぞれ示す領域を包含する領域を示す情報を第１’判別結果としてもよい。統合処理部９０５は、所定数のパターン判別結果についての、例えば領域の座標、幅、又は高さのようなパターンの場所を示す情報（第１の情報）を統合し、さらに例えば信頼度のようなパターンの場所とは無関係な情報（第２の情報）も統合することができる。
【００４４】
統合処理部９０５は、それぞれのパターン判別結果を得るために行われた統合回数（マージ回数）を用いて、統合されたパターン判別結果を生成することができる。第１判別結果についてのマージ回数とは、第１判別結果を得るために行われたマージ処理の回数であり、第１判別結果を得るために統合された、判別処理部９０９により取得されたパターン判別結果の数から１を引いたものに相当する。第２判別結果についてのマージ回数も同様に求めることができる。そして、判別処理部９０９は、マージ回数を用いた加重平均を行うことにより、統合されたパターン判別結果を生成することができる。
【００４５】
一例として、統合処理部９０５は、下式に従って第１’判別結果を生成することができる。下式において、（Ｘ１，Ｙ１）は第１判別結果が示す領域の左上の頂点の座標（水平方向及び垂直方向）であり、（Ｗ１，Ｈ１）は第１判別結果が示す領域の幅及び高さである。Ｎ１は、第１判別結果についてのマージ回数であり、下式に従って更新される。Ｓ１は、第１判別結果についての信頼度である。同様に、（Ｘ２，Ｙ２）は第２判別結果が示す領域の左上の頂点の座標（水平方向及び垂直方向）であり、（Ｗ２，Ｈ２）は第２判別結果が示す領域の幅及び高さである。また、Ｎ２は第２判別結果についてのマージ回数であり、Ｓ２は第２判別結果についての信頼度である。
【００４６】
Ｎ’１＝Ｎ１＋Ｎ２
Ｘ’１＝（Ｘ１×Ｎ１＋Ｘ２×Ｎ２）Ｎ’１
Ｙ’１＝（Ｙ１×Ｎ１＋Ｙ２×Ｎ２）Ｎ’１
Ｗ’１＝（Ｗ１×Ｎ１＋Ｗ２×Ｎ２）Ｎ’１
Ｈ’１＝（Ｈ１×Ｎ１＋Ｈ２×Ｎ２）Ｎ’１
Ｓ’１＝ｍａｘ（Ｓ１，Ｓ２）
【００４７】
（Ｘ’１，Ｙ’１）はマージにより得られた第１’判別結果が示す領域の左上の頂点の座標（水平方向及び垂直方向）であり、（Ｗ’１，Ｈ’１）は第１’判別結果の幅及び高さである。Ｎ’１は第１’判別結果についてのマージ回数であり、Ｓ’１は第１’判別結果についての信頼度である。ここで、Ｘ’１はＸ１とＸ２の加重平均である。Ｙ’１、Ｗ’１、及びＨ’１も同様である。
【００４８】
ステップＳ１１０で、統合処理部９０５は、マージにより得られた第１’判別結果をＲＡＭ９０８に書き込む。この際、統合処理部９０５は、統合により得られた判別結果を示すパターン判別結果で、ＲＡＭ９０８に格納されている、統合される所定数のパターン判別結果のうち１つを置き換えることができる。例えば、本実施形態において、統合処理部９０５は、第１’判別結果で第１判別結果を置き換えることができる。一方、マージ前の第２判別結果が、マージにより得られた第１’判別結果で更新されてもよい。いずれにせよ、マージ前の判別結果を保存する領域が再利用されるため、マージされた判別結果を保存するために使用するメモリ量を増加させる必要はない。もっとも、マージされた判別結果を新しいメモリ領域に格納してもよい。以降のマージ処理では、第１’判別結果が用いられる一方、第１判別結果及び第２判別結果は用いられない。
【００４９】
ステップＳ１１１で、統合処理部９０５は、マージ処理の第２ループを終了するか否かを判定する。第２ループにおいて全ての判別結果が第２判別結果として読み出された場合、第２ループが終了し、処理はステップＳ１１２に進む。そうでない場合、第２ループが継続し、処理はステップＳ１０７に戻る。ステップＳ１１２で、統合処理部９０５は、マージ処理の第１ループを終了するか否かを判定する。第１ループにおいて全ての判別結果が第１判別結果として読み出された場合、第１ループが終了し、マージできる判別結果がなかったと判定され、ステップＳ１０３の処理は終了する。そうでない場合、第１ループが継続し、処理はステップＳ１０５に戻る。
【００５０】
このように、ステップＳ１０３の処理を繰り返すことにより、統合処理部９０５は、所定数のパターン判別結果の異なる組み合わせを統合して新しいパターン判別結果を生成し、パターン判別結果の数を減少させる処理を繰り返すことができる。その結果として、判別処理部９０９により取得された判別結果の数よりも少ない、統合された判別結果が得られる。その後、画像処理部９１０は、統合された判別結果を用いて画像処理を行うことができる。例えば、画像処理部９１０は、統合された判別結果のそれぞれにより表される場所に存在する顔等のパターンに対して、認識処理を行うことができる。また、本実施形態では統合された判別結果の信頼度も得られるため、信頼度を用いて認識処理結果を重み付けすることもできる。
【００５１】
＜処理例＞
６つのパターン判別結果を２つの判別結果に統合する処理例を用いて、本発明に係る統合処理についてさらに説明する。図３は、１回目の繰り返し処理を説明する図である。初期状態において、入力画像２０４からは６つのパターン判別結果Ｒ１〜Ｒ６が得られており、図３にはそれぞれの判別結果Ｒ１〜Ｒ６が示す領域３０２が表されている。メモリ３０１はＲＡＭ９０８の一部であり、パターン判別結果Ｒ１〜Ｒ６を格納している。
【００５２】
１回目のマージ処理では、判別結果Ｒ１が第１判別結果として選択される。また、判別結果Ｒ１に続く判別結果Ｒ２〜Ｒ６が順に第２判別結果として選択され、類似度Ｓ１，２が計算される。この例では、判別結果Ｒ１とＲ２との類似度は閾値Ｔを下回るが、判別結果Ｒ１とＲ３との類似度は閾値Ｔ以上となるため、判別結果Ｒ１とＲ３とがマージされる（ステップＳ１０９）。具体的には、マージにより得られた第１’判別結果で、メモリ３０１に格納されたマージ前の判別結果Ｒ１が更新される（ステップＳ１１０、以下、マージにより得られた第１’判別結果を判別結果Ｒ１’と呼ぶ）。また、判別結果Ｒ１’へとマージされた判別結果Ｒ３は、以降用いられない。
【００５３】
図４は、１回目の繰り返し処理が終わった際の、５つのパターン判別結果（Ｒ１’，Ｒ２，Ｒ４〜Ｒ６）が存在する状態を表している。図４にはまた、それぞれの判別結果が示す領域４０２が表されている。なお、この際に強制終了条件が満たされた場合、繰り返し処理が強制的に終了される。この場合には、統合処理の中間結果である５つのパターン判別結果が得られることとなる。
【００５４】
図４を参照して、２回目の繰り返し処理を説明する。ここでは、１回目のマージ処理で判別結果Ｒ１が第１判別結果として選択されたため、次の判別結果Ｒ２が第１判別結果として選択されている。また、判別結果Ｒ２に続く判別結果Ｒ４以降が順に第２判別結果として選択され、類似度Ｓ１，２が計算される。この例では、判別結果Ｒ２と判別結果Ｒ５との類似度Ｓ１，２が閾値Ｔ以上となるため、判別結果Ｒ２とＲ５とがマージされる。そして、マージにより得られた判別結果Ｒ２’で、メモリ３０１に格納されたマージ前の判別結果Ｒ２が更新される。図５は、２回目の繰り返し処理が終わった際の、４つのパターン判別結果（Ｒ１’，Ｒ２’，Ｒ４，Ｒ６）が存在する状態を表し、またそれぞれの判別結果が示す領域５０２を表している。ここで強制終了条件が満たされた場合、４つのパターン判別結果が統合処理の中間結果として得られることとなる。
【００５５】
図５を参照して、３回目の繰り返し処理を説明する。同様に、２回目のマージ処理で選択された判別結果Ｒ２の次にある判別結果Ｒ４が第１判別結果として選択される。また、続く判別結果Ｒ６以降が順に第２判別結果として選択される。この例では、判別結果Ｒ４と判別結果Ｒ６との類似度Ｓ１，２が閾値Ｔ以上となるため、判別結果Ｒ４とＲ６とがマージされ、マージにより得られた判別結果Ｒ４’で、メモリ３０１の判別結果Ｒ４が更新される。図６は、３回目の繰り返し処理が終わった際の、３つのパターン判別結果（Ｒ１’，Ｒ２’，Ｒ４’）が存在する状態を表し、またそれぞれの判別結果が示す領域７０２を表している。ここで強制終了条件が満たされた場合、３つのパターン判別結果が統合処理の中間結果として得られることとなる。
【００５６】
図６を参照して、４回目の繰り返し処理を説明する。同様に、３回目のマージ処理で選択された判別結果Ｒ４の次にある判別結果Ｒ１’が第１判別結果として選択される。また、続く判別結果Ｒ２’以降が順に第２判別結果として選択される。この例では、どの判別結果を第２判別結果として選択した場合も、類似度Ｓ１，２が閾値Ｔを下回るため、判別結果Ｒ１’はマージされない。次に、判別結果Ｒ１’の次にある判別結果Ｒ２’が第１判別結果として選択され、続く判別結果Ｒ４’以降が順に第２判別結果として選択される。この例では、判別結果Ｒ２’と判別結果Ｒ４’との類似度Ｓ１，２が閾値Ｔ以上となるため、判別結果Ｒ２’とＲ４’とがマージされ、マージにより得られた判別結果Ｒ２’’で、メモリ３０１の判別結果Ｒ２’が更新される。図７は、４回目の繰り返し処理が終わった際の、２つのパターン判別結果（Ｒ１’，Ｒ２’’）が存在する状態を表し、またそれぞれの判別結果が示す領域８０２を表している。ここで強制終了条件が満たされた場合、２つのパターン判別結果が統合処理の中間結果として得られることとなる。
【００５７】
図７を参照して、５回目の繰り返し処理を説明する。同様に、４回目のマージ処理で選択された判別結果Ｒ２’’の次にある判別結果Ｒ１’が第１判別結果として選択され、続く判別結果Ｒ２’’が第２判別結果として選択される。しかしながら、類似度Ｓ１，２が閾値Ｔを下回るため、判別結果Ｒ１’はマージされない。次に判別結果Ｒ２’’を第１判別結果として選択した場合も同様であるから、マージは行われずにステップＳ１０３の処理が終了する。これは、マージできる判別結果がなくなった場合に相当するから、ステップＳ１１４で通常終了条件が満たされたと判定され、繰り返し処理は終了する。
【００５８】
本実施形態では、選択された２つのパターン判別結果を、類似度が閾値以上である場合にマージする処理が繰り返される。このため、非特許文献１のように領域が重なっている判別結果を全て発見してから統合を行う場合と比較して、ＲＡＭ等のワークメモリの使用量を削減することができる。
【００５９】
また、それぞれの繰り返し処理の負荷は非特許文献１の処理と比較して小さいため、少ない回数のマージ処理は短時間で行うことができる。このため、統合処理を強制終了した場合であっても、いくつかの判別結果が統合された中間結果を得ることができる。このような本実施形態に係る統合処理は、処理時間が限られるリアルタイム処理に適用することができ、とりわけ動画像に対してパターン判別を行って抽出された領域に画像処理又は画像識別を行う場合に適用することができる。
【００６０】
一実施形態においては、類似度が所定の閾値以上になるパターン判別結果がマージされるため、繰り返し処理が進むと共に、パターン判別結果の数が１つずつ減る。このような構成によれば、マージ処理を繰り返している間における、１つのパターン判別対象を示すパターン判別結果の数を、異なるパターン判別対象の間で均等にしやすい。このため、類似度が所定の閾値以上になるパターン判別結果のセットが残っている状態で、繰り返し処理を途中で中止又は終了した場合であっても、安定した統合処理結果を出力することが可能になる。ここで、「安定」とは、画像中に複数のパターン判別対象がある場合に、それぞれのパターン判別対象を示すパターン判別結果の数に偏りが少ないことを意味する。統合処理結果が安定することにより、統合されて出力されたパターン判別結果の精度を維持することができ、出力されたパターン判別結果を使用する後段処理の精度又は効率を維持することができる。
【００６１】
一例として、動画像に対する物体認識処理を行う場合について説明する。この場合、連続するフレーム画像のそれぞれに対して、顔又は人体等のパターンを判別する処理を行い、さらにパターン判別結果を統合することができる。さらに、統合されたパターン判別結果を用いて、物体の認識を行うことができる。ここで、各人物についてのパターン判別結果に偏りがある、すなわち統合処理結果が不安定である場合、物体認識処理の計算量が増加する傾向があり、また精度が低下する傾向がある。例えば、前のフレーム画像についての認識結果を用いて後のフレーム画像についての認識処理を行う場合、フレーム画像間での人物の対応付けを行うことができる。しかしながら、フレーム画像間で同じ人物を示すパターン判別結果の数が大きく異なっていると、この対応付けが難しくなり、計算量が増加してしまう。本実施形態によれば、安定した統合処理結果を得ることが容易になるため、特に後段で動画像に対する物体認識処理を行う際に計算量を削減し、精度を向上させることができる。
【００６２】
［その他の実施形態］
ステップＳ１１１では、マージ処理の第２ループで全ての判別結果が第２の判別結果として読み出された場合に、第２ループが終了した。しかしながら、処理はこの方法に限定されない。例えば、１回のマージ処理（ステップＳ１０３）において、第１ループで第１判別結果として既に読み出されている判別結果を除いた全ての判別結果が、第２ループで第２判別結果として読み出された場合に、第２ループが終了してもよい。
【００６３】
上述の実施形態では、類似度Ｓ１，２の計算式において、分母として面積Ａ１，Ａ２の最小値を用いたが、類似度の算出方法はこの方法に限定されない。例えば、分母として面積Ａ１，Ａ２の最大値又は平均値を用いてもよい。また、類似度Ｓ１，２は、パターン判別結果を用いて計算した、類似度を反映した任意のメトリクス（非類似度、距離）でありうる。この場合、ステップＳ１０６において、類似度Ｓ１，２が閾値以下であるかどうかを判定してもよい。
【００６４】
上述の実施形態では、判別結果を統合するか否かは、パターンの場所を示す情報（第１の情報）を用いて決定され、具体的には第１の情報を用いて得られた領域の重複度が類似度として算出された。しかしながら、判別結果を統合するか否かは、パターンの場所を示す情報（第１の情報）と、パターンの場所とは無関係な情報（第２の情報）との双方を用いて決定することができる。すなわち、統合処理部９０５は、さらに所定数のパターン判別結果についての第２の情報を考慮して、所定数のパターン判別結果を統合するか否かを判定することができる。例えば、類似度を第１の情報と第２の情報との双方を用いて算出することができる。具体例としては、パターンの信頼性が高い場合に類似度がより高くなるように類似度を算出したり、パターンの向きが類似している場合等、第２の情報がより類似している場合に、類似度がより高くなるように類似度を算出したりすることができる。
【００６５】
判別結果のマージ方法も特に限定されない。例えば、上述の実施形態では、マージされた判別結果として、マージ回数を用いて加重平均された頂点座標、幅、及び高さが用いられた。一方で、所定数のパターン判別結果についての、パターンの場所とは無関係な情報（第２の情報）を用いて、統合されたパターン判別結果を生成することもできる。例えば、マージされた判別結果として、信頼度を用いて加重平均された頂点座標、幅、及び高さを用いてもよい。また、加重平均を求める必要はなく、任意の関数（例えば最大値等）に従って各判別結果から算出された値を、マージされた判別結果として用いることができる。さらに、上述の実施形態では、マージされた判別結果の信頼度として２つの判別結果の信頼度の最大値が用いられたが、信頼度の加重平均又は平均のようなその他の関数に従う値を用いることもできる。
【００６６】
上述の実施形態では、マージ処理の後に、ステップＳ１１３において強制終了条件が満たされるかどうかが判定されたが、この判定を行うタイミングは特に限定されない。例えば、ステップＳ１１１とＳ１１２との間で強制終了条件が満たされるかどうかの判定を行ってもよい。この場合、強制終了条件が満たされたならば処理はステップＳ１１５にジャンプすることができる。
【００６７】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６８】
９００：画像処理装置、９０１：入力部、９０５：統合処理部、９０９：判別処理部
【図１】
2019101741.tif 000003
【図２】
2019101741.tif 000004
【図３】
2019101741.tif 000005
【図４】
2019101741.tif 000006
【図５】
2019101741.tif 000007
【図６】
2019101741.tif 000008
【図７】
2019101741.tif 000009
【図８】
2019101741.tif 000010
【図９】
2019101741.tif 000011