(57)【要約】【課題】物体を含む画像から視認対象物体を検出する場合に客観的な検出結果を得ることが可能な画像の物体検出装置の提供。【解決手段】  画像の物体検出装置は、複数の物体を含む画像をパルスニューラルネットワークに入力することによって、画像内で経時的に変遷する看者の注視点を時系列データとして検出する注視点検出部７と、注視点検出部７が検出した注視点を基準として画像内に注視点視野領域を設定する注視点視野領域設定部８と、複数の物体のうち注視点視野領域設定部８が設定した注視点視野領域に含まれる物体を視認対象物体として検出する物体検出部１１と、物体検出部１１が視認対象物体を検出する毎に検出された視認対象物体に関する所定の検出情報を蓄積して記憶する検出情報記憶部１２と、を備える。【選択図】図１
2015210695.tif 000002
【特許請求の範囲】
【請求項１】
複数の物体を含む画像から視認対象物体を検出する画像の物体検出装置であって、
前記画像をパルスニューラルネットワークに入力することによって、前記画像内で経時的に変遷する看者の注視点を時系列データとして検出する注視点検出手段と、
前記注視点検出手段が検出した前記注視点を基準として前記画像内に注視点視野領域を設定する注視点視野領域設定手段と、
前記複数の物体のうち前記注視点視野領域設定手段が設定した前記注視点視野領域に含まれる物体を視認対象物体として検出する物体検出手段と、
前記物体検出手段が前記視認対象物体を検出する毎に、検出された前記視認対象物体に関する所定の検出情報を蓄積して記憶する記憶手段と、を備える
ことを特徴とする画像の物体検出装置。
【請求項２】
請求項１に記載の画像の物体検出装置であって、
前記記憶手段が記憶した前記所定の検出情報に基づいて、前記視認対象物体として検出された検出回数を前記複数の物体毎に集計する物体集計手段を備える
ことを特徴とする画像の物体検出装置。
【請求項３】
請求項１又は請求項２に記載の画像の物体検出装置であって、
前記画像から輪郭を抽出する輪郭抽出手段と、
輪郭のいずれの側が物体であるかを判定するために用いる周囲結合領域を、前記輪郭抽出手段が抽出した前記輪郭に応じて前記画像内に設定する周囲結合領域設定手段と、
前記注視点視野領域設定手段が設定した前記注視点視野領域に含まれる注視点視野輪郭を、前記輪郭抽出手段が抽出した前記輪郭から抽出し、抽出した前記注視点視野輪郭のいずれの側が物体であるかを、前記周囲結合領域設定手段が設定した前記周囲結合領域を用いて判定する物体方向判定手段と、を備え、
前記物体検出手段は、前記注視点視野輪郭によって囲まれた領域であって前記注視点視野輪郭に対して前記注視点視野輪郭の内側が物体であると前記物体方向判定手段が判定した領域を前記視認対象物体として検出する
ことを特徴とする画像の物体検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から物体を検出するが画像の物体検出装置に関する。
【背景技術】
【０００２】
特開２００４−２８０５９７号公報には、レイアウト評価システム及びレイアウト評価プログラム、並びにレイアウト評価方法が記載されている。レイアウト評価システムでは、人が注目すると思われる注目領域の抽出基準として「誘目度」という概念を用いる。誘目度は、人間の主観にあったパラメータをいい、領域の色の異質度、テクスチュアの異質度、形の異質度、及び面積の異質度に基づく異質性等の物理的特徴から算出される。つまり、注目領域の評価の際は、物理的特徴に従って人間の主観にあった評価をするので、人間の主観に適合した注目領域を抽出することができる。具体的には、原画像を領域分割して図領域を抽出し、各図領域の誘目度を算出し、算出した誘目度に基づいて注目領域を抽出する。複数の注目領域を抽出した時は、誘目度の高い上位Ｎ個の注目領域を抽出する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２８０５９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１に記載のシステムでは、図領域の物理的特徴である誘目度を用いて、画像から抽出した全ての図領域の注目度を順位付けしている。しかし、注目領域の抽出は人間の主観に適合した物理的特徴を基準としているので、抽出された領域の注目度の評価には看者の主観によって差異が生じるおそれがある。また、看者が画像を視認する場合、まず画像上の注意を引く部分（注視点）を注視し、続いて注視点を経時的に移動させることによって画像全体を視認し、視認性の高い領域については繰返し注視するという視覚特性を示す傾向にあり、上記文献１に記載のシステムのように全ての図領域の注目度を同時に判断することは困難である。このため、物体を含む画像から視認の対象となる物体（視認対象物体）を検出する際に、注目領域を視認対象物体であるとして、上記特許文献１に記載のシステムを用いた場合には、視認対象物体の抽出や注目度の順位付けなどに対して看者の主観による個人差が生じ、客観的な検出結果が得られないおそれがある。
【０００５】
そこで本発明は、物体を含む画像から視認対象物体を検出する場合に客観的な検出結果を得ることが可能な画像の物体検出装置の提供を目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成すべく、本発明の画像の物体検出装置は、複数の物体を含む画像から視認対象物体を検出する画像の物体検出装置であって、注視点検出手段と、注視点視野領域設定手段と、物体検出手段と、記憶手段とを備える。注視点検出手段は、画像をパルスニューラルネットワークに入力することによって、画像内で経時的に変遷する看者の注視点を時系列データとして検出する。注視点視野領域設定手段は、注視点検出手段が検出した注視点を基準として画像内に注視点視野領域を設定する。物体検出手段は、複数の物体のうち注視点視野領域設定手段が設定した注視点視野領域に含まれる物体を視認対象物体として検出する。記憶手段は、物体検出手段が視認対象物体を検出する毎に、検出された視認対象物体に関する所定の検出情報を蓄積して記憶する。
【０００７】
上記構成では、注視点検出手段が画像をパルスニューラルネットワークに入力すると、画像の所定の部分に対応したニューロンからの強い反応がパルス出力される。その後、強い反応を示すニューロンの位置が時間の経過とともに変遷し、パルスニューラルネットワークからはニューロンの反応が時系列データとして出力される。ニューロンが強い反応を示す画像の所定の部分を、画像の看者が視覚的注意を向ける部分（注視点）と見做すことによって、注視点検出手段が検出する時系列データは、看者の注意点の経時的な変遷を表すデータとなる。注視点視野領域設定手段は、注視点検出手段が検出した注視点を中心として、例えば注視点から離間するほど画像の輝度が減衰する注視点視野領域を設定し、物体検出手段は、設定された注視点視野領域に含まれる物体を視認対象物体として検出する。物体検出手段が検出する注視点の経時的な変遷に応じて、注視点視野領域も経時的に変遷し、注視点視野領域に含まれる視認対象物体が物体検出手段によって経時的に検出される。そして、記憶手段は視認対象物体が検出される毎に、検出された視認対象物体に関する所定の検出情報、例えば視認対象物体の画像上の位置や形状等を蓄積して記憶する。
【０００８】
この結果、画像に含まれる物体のうち、まず看者の注意が向けられた注視点視野領域に存在する物体が視認対象物体として検出され、さらに注視点の経時的な変遷に応じた注視点視野領域内の視認対象物体が検出されるという看者の視覚特性に基づいて視認対象物体が検出される。このため、視認対象物体の検出に対する看者の主観の影響が抑制され客観的な検出結果を得ることが可能となる。また、客観的な検出結果が得られることによって、検出結果について被験者等を用いた検証の必要性が低減され、例えば物体を含む画像からの物体検出に関わる技術開発等の開発期間の大幅な短縮や開発費用の削減が可能となる。
【０００９】
また、上記画像の物体検出装置は物体集計手段を備えてもよい。物体集計手段は、記憶手段が記憶した所定の検出情報に基づいて、視認対象物体として検出された検出回数を複数の物体毎に集計する。
【００１０】
上記構成では、物体集計手段が、画像に含まれる複数の物体毎に視認対象物体として検出された検出回数を集計する。視認対象物体は、注視点の経時的な変遷に伴って注視点視野領域内で検出されるので、注視点検出手段が注視点の出力を開始してから視認対象物体の検出を継続して検出回数を集計すると、集計された視認対象物体毎の検出回数に差異が生じる可能性がある。これは、看者は視認し易い物体を繰り返し注視するという看者の視覚特性に基づく結果であり、視認し易さの度合いである視認性の高い物体ほど検出回数が増大する。このように、視認対象物体の検出回数の集計結果を用いることによって、検出された視認対象物体同士の視認性についての客観的評価が可能となる。このため、例えば画像内に配置した物体が看者から適切な視認を受けられるか否かの評価を行なうなど、看者の注意を考慮に入れた画像デザインの検討等に活用することができる。
【００１１】
また、上記画像の物体検出装置は、輪郭抽出手段と、周囲結合領域設定手段と、物体方向判定手段とを備えてもよい。輪郭抽出手段は、画像から輪郭を抽出する。周囲結合領域設定手段は、輪郭のいずれの側が物体であるかを判定するために用いる周囲結合領域を、輪郭抽出手段が抽出した輪郭に応じて画像内に設定する。物体方向判定手段は、注視点視野領域設定手段が設定した注視点視野領域に含まれる注視点視野輪郭を、輪郭抽出手段が抽出した輪郭から抽出し、抽出した注視点視野輪郭のいずれの側が物体であるかを、周囲結合領域設定手段が設定した周囲結合領域を用いて判定する。物体検出手段は、注視点視野輪郭によって囲まれた領域であって注視点視野輪郭に対して注視点視野輪郭の内側が物体であると物体方向判定手段が判定した領域を視認対象物体として検出する。
【００１２】
上記構成では、輪郭抽出手段が抽出した輪郭に応じて、周囲結合領域設定手段が画像内に設定した周囲結合領域を用いて、物体方向判定手段が、注視点視野輪郭のいずれの側が物体であるかを判定し、物体検出手段が、注視点視野輪郭によって囲まれた領域であって注視点視野輪郭に対して注視点視野輪郭の内側にある物体を視認対象物体として検出する。このように、注視点視野領域に含まれる注視点視野輪郭と周囲結合領域とを用いることによって、注視点視野輪郭に対して物体が存在する方向を判定するだけで、物体を含む画像から視認対象物体を検出することができる。このため、例えば人間の主観に合った物理的特徴を用いて注目領域を抽出する場合等と比べて看者の主観の影響を受け難く、視認対象物体をより客観的に検出することが可能となる。
【発明の効果】
【００１３】
本発明の画像の物体検出装置によれば、物体を含む画像から視認対象物体を検出する場合に客観的な検出結果を得ることが可能となる。
【図面の簡単な説明】
【００１４】
【図１】物体検出装置のブロック図である。
【図２】物体検出処理を説明するフローチャートである。
【図３】複数の物体を含む画像の模式図である。
【図４】画像内に設定された注視点視野領域の模式図である。
【図５】注視点視野領域に含まれる注視点視野輪郭の模式図である。
【図６】視認対象物体の検出例の模式図である。
【図７】注視点の経時的な変遷を示す模式図である。
【図８】図３の画像に含まれる物体の配置を変更した画像の模式図である。
【図９】図８の画像における視認対象物体の検出例の模式図である。
【図１０】パルスニューラルネットワークの構造の模式図である。
【図１１】周囲結合領域の説明図である。
【発明を実施するための形態】
【００１５】
以下、本発明の一実施形態を、図面に基づいて説明する。図１に示すように、物体検出装置１は、撮像部２と、ＥＣＵ３と、表示部４とを備える。
【００１６】
撮像部２は、ＣＣＤカメラ等によって画像を撮像し、画像をＥＣＵ３へ出力する。
【００１７】
ＥＣＵ３は、ＣＰＵ（Central Processing Unit）とＲＯＭ(Read Only Memory)とＲＡＭ(Random Access Memory)とを備える。ＣＰＵは、ＲＯＭに格納された物体検出処理プログラムを読み出して物体検出処理を実行し、注視点検出部７、注視点視野領域設定部８、輪郭抽出部６、周囲結合領域設定部９、物体方向判定部１０、物体検出部１１、物体集計部１３として機能する。ＲＡＭは、撮像部２が出力した画像を記憶する画像記憶部５と、後述の視認対象物体に関する所定の検出情報を記憶する検出情報記憶部（記憶手段）１２として機能する。また、ＲＡＭは、後述の各種係数の設定領域、及びＣＰＵ演算結果の一時記憶領域としても機能する。
【００１８】
注視点検出部７は、画像をパルスニューラルネットワーク（以下ＰＣＮＮと称す）に入力して注視点を検出するとともに、注視点の時間的な変遷を時系列データとして出力する。すなわち、注視点検出部７は注視点検出手段として機能する。ＰＣＮＮは、視覚刺激に対するニューロン群の発火現象をモデル化した公知のニューラルネットワークであり、図１０に模式的な構造を示す。入力される画像がｒ×ｒの二次元画像の場合、ＰＣＮＮには入力に応じたｒ×ｒ個のニューロンが二次元配置される。ニューロンはＦｅｅｄｉｎｇ部とＬｉｎｋｉｎｇ部とから構成され、Ｆｅｅｄｉｎｇ部は内部からの刺激Ｙｉｊと外部からの刺激Ｓｉｊとを入力として受け取り、Ｌｉｎｋｉｎｇ部は内部からの刺激のみを入力として受け取る。入力によるＦｅｅｄｉｎｇ部の応答をＦｉｊ、Ｌｉｎｋｉｎｇ部の応答をＬｉｊとすると、Ｆｉｊ及びＬｉｊはそれぞれ式（１）及び式（２）で表される。
【００１９】
【数１】
2015210695.tif 000003
【００２０】
【数２】
2015210695.tif 000004
【００２１】
ニューロンは前時点での自身の状態を保持しており、減衰項ｅ−αにより時間とともに減衰する。また、Ｍ、ＷはそれぞれＦｅｅｄｉｎｇ部及びＬｉｎｋｉｎｇ部のニューロン同士を結合するシナプスの重み行列である。ニューロンの出力Ｙｉｊは、ニューロンの内部状態Ｕｉｊ（式（３））と動的な閾値Θｉｊ（式（４））との比較によって決定され、式（５）のように表される。
【００２２】
【数３】
2015210695.tif 000005
【００２３】
【数４】
2015210695.tif 000006
【００２４】
【数５】
2015210695.tif 000007
【００２５】
なお、本実施形態では、ＰＣＮＮの出力ＹｉｊはＳｉｇｍｏｉｄ関数を用いて連続値として出力される。ニューロンが発火すると閾値Θは一旦増加しその後指数関数的に減少し、ある時刻において再びニューロンが発火する。時刻ｎにニューロンが発火した場合、前の発火時刻との時間感覚τｉｊは式（６）のように表される。
【００２６】
【数６】
2015210695.tif 000008
【００２７】
このように、注視点検出部７のパルスニューラルネットワークに画像が入力されると、画像の所定の部分に対応したニューロンからの強い反応（発火）がパルス出力される。その後、強い反応を示すニューロンの位置が時間の経過とともに変遷し、パルスニューラルネットワークからはニューロンの反応が時系列データとして出力される。ニューロンの反応が最大値を示す画像の所定の部分を、画像の看者が視覚的注意を向ける部分（注視点）と見做すことによって、注視点検出部７が検出する時系列データは、看者の注意点の経時的な変遷を表すデータとなる。
【００２８】
注視点視野領域設定部８は、注視点検出部７から出力される注視点（ｉｊ）を中心に、大きさｂ×ｂのガウシャンフィルタを生成し、ガウシャンフィルタとＰＣＮＮの出力値との畳み込み処理をすることによって、画像内に注視点を中心として注視点から離間するほど画像の輝度が減衰する注視点視野領域を設定する。注視点視野領域は式（７）のように表される。
【００２９】
【数７】
2015210695.tif 000009
【００３０】
すなわち、注視点視野領域設定部８は注視点検出部７が検出した注視点を基準として画像内に注視点視野領域を設定する注視点視野領域設定手段として機能する。
【００３１】
輪郭抽出部６は、撮像部２から出力される画像とガボールフィルタとの畳み込み処理をすることによって画像のコンストラスト情報を検出し、コンストラスト情報から輪郭を抽出する。すなわち輪郭抽出部６は、輪郭抽出手段として機能する。
【００３２】
周囲結合領域設定部９は、輪郭のいずれの側が物体であるかを判定するために用いる周囲結合領域を、輪郭抽出部６が抽出した輪郭に応じて画像内に設定し、周囲結合領域設定手段として機能する。輪郭は物体に属しているので輪郭のいずれの側が物体であるかを判定できれば、画像から物体を検出することができる。周囲結合領域設定部９は、輪郭抽出部６によって検出された画像のコントラスト情報に基づき、コントラスト情報から抽出された輪郭に応じて周囲結合領域を画像内に設定する。周囲結合領域は、物体の存在する方向を肯定的に示す興奮性結合領域、及び物体の存在する方向を否定的に示す抑制性結合領域を有しており、興奮性結合係数、及び抑制性結合係数を介して輪郭と結合する。
【００３３】
物体方向判定部１０は、注視点視野領域設定部８が画像内に設定した注視点視野領域に含まれる注視点視野輪郭を、輪郭抽出部６が抽出した輪郭から抽出し、抽出した注視点視野輪郭のいずれの側が物体であるかを、周囲結合領域設定部９が設定した周囲結合領域を用いて判定し、物体方向判定手段として機能する。例えば図１１に示すように、輪郭上の点Ｓに対して左側方向に興奮性結合領域が、右側方向に抑制性結合される領域が設定されている場合は、輪郭上の点Ｓにおいては左側方向（図中の矢印方向）が物体の方向であると判定される。物体方向判定部１０は、判定結果を物体検出部１１へ出力する。
【００３４】
物体検出部１１は、画像に含まれる物体のうち、注視点視野輪郭によって囲まれた領域であって注視点視野輪郭に対して注視点視野輪郭の内側方向が物体であると物体方向判定部１０が判定した領域を視認対象物体として検出し、検出結果を物体集計部１３へ出力する。すなわち、物体検出部１１は、画像に含まれる複数の物体から視認対象物体を検出する物体検出手段として機能する。
【００３５】
物体集計部１３は、検出情報記憶部１２が記憶した所定の検出情報に基づいて、視認対象物体として検出された検出回数を画像に含まれる複数の物体毎に集計し、集計結果を表示部４へ出力する。すなわち、物体集計部１３は、物体集計手段として機能する。
【００３６】
表示部４は、物体集計部１３から出力する視認対象物体の集計結果を液晶ディスプレイ等によって表示する。
【００３７】
次に、本実施形態に係る物体検出装置１の動作を図２に示すフローチャートに基づいて説明する。ＥＣＵ３は、まずカウンタｎ及びｔをそれぞれ初期値ゼロにリセットする（ステップＳ１）。カウンタｎは、ＰＣＮＮのニューロンの発火（出力）の回数をカウントし、カウンタｔは、ＰＣＮＮが稼動を開始してからの経過時間をそれぞれカウントする。次にＥＣＵ３は撮像部２から画像を取得し、画像記憶部５に記憶する（ステップＳ２）。本実施形態では図３に示すように模式的にａ〜ｄの４種類の物体が含まれている画像を例として説明する。次にＥＣＵ３は取得した画像からガボールフィルタ処理によって輪郭を抽出し（ステップＳ３）ステップＳ４へ進む。ステップＳ４では、画像をＰＣＮＮに入力してＰＣＮＮの稼動を開始させステップＳ５へ進む。ステップＳ５では、ＰＣＮＮから出力があったか否かを判定する。ＰＣＮＮから出力があった場合はステップＳ６へ進み、カウンタｎに１を加算しステップＳ７へ進む。ステップＳ７では、ＰＣＮＮの出力から注視点（図３のＰ１）を検出し、検出された注視点Ｐ１を中心として注視点から離間するほど画像の輝度が減衰する注視点視野領域Ｑ１（図４の鎖線円で表される領域）を設定する（ステップＳ７）。注視点視野領域Ｑ１を設定することによって、図５に示すように注視点Ｐ１に関する視認対象物体の探索の範囲が注視点視野領域Ｑ１に含まれる物体に限定される。次にＥＣＵ３は、周囲結合領域を設定しステップＳ９へ進む。ステップＳ９では、注視点視野領域Ｑ１に含まれる注視点視野輪郭Ｒ１のいずれの側が物体であるかを、周囲結合領域を用いて判定する。次にＥＣＵ３は、図５に示すように注視点視野輪郭Ｒ１によって囲まれた領域であって注視点視野輪郭Ｒ１に対して注視点視野輪郭Ｒ１の内側が物体であると判定された領域を視認対象物体として検出する（ステップＳ１０）。すなわち、図３の注視点Ｐ１の注視点視野輪郭Ｒ１内の物体ａが視認対象物体として検出される（図６）。次にＥＣＵ３は、視認対象物体に関する検出情報、例えば視認対象物体が検出された注視点の位置や視認対象物体の形状等を画像に含まれる物体毎に検出情報記憶部１２に蓄積して記憶し（ステップＳ１１）ステップＳ１２へ進む。ステップＳ１２では、カウンタｎのカウント値が所定回数ｎｍａｘを超えているか否かを判定する。カウンタｎのカウント値がｎｍａｘ以下の場合は、ステップＳ５に戻り、ＰＣＮＮから次の出力があったか否かを判定し、次の出力があった場合は、ステップＳ６からステップＳ１１までを繰返し、新たに検出された視認対象物体の検出情報を検出情報記憶部１２に蓄積して記憶する。
【００３８】
ステップＳ１２でカウンタｎのカウント値がｎｍａｘを超えたと判定された場合は、所定回数の視認対象物体の検出が終了したのでステップＳ１３へ進む。また、ステップＳ５で、ＰＣＮＮから出力がないと判定された場合はステップＳ１４へ進み、カウンタｔのカウント値に１を加算してステップＳ１５へ進む。ステップＳ１５では、カウンタｔのカウント値が所定時間ｔｍａｘを超えているか否かを判定する。カウンタｔのカウント値がｔｍａｘ以下の場合はステップＳ５へ戻り、ＰＣＮＮからの出力の有無を判定する。ステップＳ１５でカウンタｔのカウント値がｔｍａｘを超えたと判定された場合は、物体検出の時間が所定時間を超えたのでステップＳ１３へ進む。すなわち、検出回数が所定回数ｎｍａｘを超えた時、又は検出時間が所定時間ｔｍａｘを超えた時のいずれか早いタイミングで視認性物体の検出を終了しステップＳ１３へ進む。
【００３９】
ステップＳ１３では、検出情報記憶部１２に記憶された視認対象物体の検出情報から画像に含まれる物体ごとに、視認性物体として検出された検出回数を集計する。さらに、画像記憶部５に記憶された取得画像を表示部４に表示し、画像に含まれる物体のうち視認対象物体として検出された回数が多い物体ほど輝度を高くする等の方法によって物体を強調して表示する。
【００４０】
本実施形態では、画像をＰＣＮＮに入力し、ＰＣＮＮからの出力を画像の看者が視覚的注意を向ける部分（注視点）と見做すことによって、看者の視覚的注意点の経時的な変遷を検出する。図３に示すように例えばａ、ｂ、ｃ、ｄの４個の物体を含む画像に対してＰＣＮＮから最初の注視点Ｐ１が出力されると、Ｐ１を中心とした注視点視野領域Ｑ１が設定される（図４）。注視点視野領域Ｑ１内に含まれる注視点視野輪郭Ｒ１について何れの側が物体であるかが判定され（図５）、注視点視野輪郭Ｒ１によって囲まれた領域であって、注視点視野輪郭Ｒ１に対して注視点視野輪郭Ｒ１の内側にある物体ａが視認対象物体として検出される。注視点Ｐ１を出力した後に、ＰＣＮＮが次の注視点Ｐ２を出力すると、注視点Ｐ１における物体検出と同様に、注視点Ｐ２を中心とした注視点視野内の物体ｂが視認対象物体として検出される。注視点Ｐ２を出力した後で、ＰＣＮＮがさらに次の注視点Ｐ３を出力した場合は、同様に物体ｃが視認対象物体として検出される。また、図３に示す例において、物体ｄは、他の物体と比べて小型であるという物理的特徴のために注視されず視認対象物体として検出されにくいが、図８に示す例のように、物体ｄが注視点Ｐ１の注視点視野領域Ｑ１に含まれている場合には、物体ａとともに物体ｄも視認対象物体として検出される可能性がある（図９）。
【００４１】
この結果、画像に含まれる物体ａ〜ｄのうち、まず看者の注意が向けられた注視点視野領域に存在する物体ａが視認対象物体として検出され、さらに注視点の経時的な変遷（図７の鎖線矢印）に従って変遷する注視点視野領域内の視認対象物体ｂ、ｃが検出されるという看者の視覚特性に基づく客観的な検出結果を得ることが可能となる。
【００４２】
また、注視点Ｐ１を基準とした注視点視野領域Ｑ１に含まれる注視点視野輪郭Ｒ１及び周囲結合領域を用いることによって、注視点視野輪郭Ｒ１に対して物体が存在する方向を判定するだけで、物体ａ〜ｄを含む画像から視認対象物体ａを検出することができる。このため、例えば人間の主観に基づいた物理的特徴を用いて注目領域を抽出する場合等と比べて看者の主観の影響を受け難く、視認対象物体をより客観的に検出することが可能となる。
【００４３】
また、ＰＣＮＮは入力されている画像についての反応を時系列的に継続し、図３に示す画像の例では注視点Ｐ１、Ｐ２、Ｐ３を出力した後に、図７に示すように注視点Ｐ１を再び出力する可能性がある。この場合は、物体ａが視認対象物体として再び検出されることになる。このように、視認対象物体は、注視点の経時的な変遷に伴って注視点視野領域内で検出されるので、注視点検出手段が注視点の出力を開始してから所定時間ｔｍａｘ又は所定回数ｎｍａｘに達するまで視認対象物体の検出を継続して検出回数を集計すると、集計された視認対象物体毎の検出回数に差異が生じる可能性がある。これは、看者は視認し易い物体を繰り返し注視するという看者の視覚特性に基づく結果であり、検出回数が大きい物体ほど視認性が高いと判断できる。
【００４４】
例えば、図３に示す画像に含まれる４個の物体ａ、ｂ、ｃ、ｄについての視認性を評価する場合、視認対象物体としての検出回数が、それぞれ１５回、５回、９回、１回であったとすると、物体の視認性は物体ａが最も高く、ａ、ｃ、ｂ、ｄの順に視認性が低下すると客観的に評価することができる。また、物体の視認性を客観的に評価できるので、同一の画像を入力した場合には、物体の視認性について同一の評価結果を得ることができる。従って、物体検出装置１による判定結果と、看者が実際に画像を視認して得られる視認性判定の実験結果等とを比較して物体検出処理プログラムを調整することによって、物体検出装置１が出力する視認性評価結果を看者による視認性評価結果に近づけることが可能である。このため、例えば画像に含まれる物体同士の視認性についての客観的評価が可能となり、看者の視認性を考慮にいれた画像デザインの検討等に活用することができる。
【００４５】
また、画像に含まれる物体の視認性の評価では、客観的な評価を得るまでに多くの被験者や実験時間を要したが、物体検出装置１を用いることによって、被験者を用いずに客観的で再現性のよい評価結果を短時間に得ることが可能となる。このため、画像からの物体検出に関わる技術開発等に物体検出装置１を活用することによって開発期間の大幅な短縮や開発費用の削減が可能となる。
【００４６】
なお、視認対象物体の検出結果の表示は、視認対象物体の検出回数に応じた物体の画像上の強調表示に限定されず、例えば横軸を視認対象物体の種類、縦軸を視認対象物体毎の検出回数とするヒストグラム等によって表示してもよい。
【００４７】
また、視認対象物体の検出は本実施形態の、注視点視野領域の輪郭に対する物体の方向を判定する方法に限定されず、例えば注視点視野領域の輪郭に囲まれた領域の形状や大きさ等の物理的特徴等に基づいて視認対象物体を検出してもよい。
【００４８】
また、画像の輪郭抽出は本実施形態で用いたガボールフィルタに限定されず、画像の明暗コントラストを抽出できるものであればよく、例えばラプラシアンフィルタ等を用いてもよい。
【００４９】
また、看者を年齢や性別などの特性によってグループ分けし、各グループの看者が画像を視認して得られる物体の視認性判定の実験結果と、物体検出装置１の判定結果とを比較して物体検出処理プログラムを調整することによって、物体検出装置１に看者の特性に応じた物体の視認性判定の機能を持たせてもよい。
【００５０】
以上、本発明者によってなされた発明を適用した実施形態について説明したが、この実施形態による本発明の開示の一部をなす論述及び図面により本発明は限定されることはない。すなわち、この実施形態に基づいて当業者等によりなされる他の実施形態、実施例及び運用技術等は全て本発明の範疇に含まれることは勿論である。
【産業上の利用可能性】
【００５１】
本発明は、物体を含む画像からの視認対象物体の検出装置として広く適用可能である。
【符号の説明】
【００５２】
１  物体検出装置
３  ＥＣＵ
６  輪郭抽出部（輪郭抽出手段）
７  注視点検出部（注視点検出手段）
８  注視点視野領域設定部（注視点視野領域設定手段）
９  周囲結合領域設定部（周囲結合領域設定手段）
１０  物体方向判定部（物体方向判定手段）
１１  物体検出部（物体検出手段）
１２  検出情報記憶部（記憶手段）
１３  物体集計部（物体集計手段）
【図１】
2015210695.tif 000010
【図２】
2015210695.tif 000011
【図３】
2015210695.tif 000012
【図４】
2015210695.tif 000013
【図５】
2015210695.tif 000014
【図６】
2015210695.tif 000015
【図７】
2015210695.tif 000016
【図８】
2015210695.tif 000017
【図９】
2015210695.tif 000018
【図１０】
2015210695.tif 000019
【図１１】
2015210695.tif 000020