(57)【要約】      （修正有）【課題】入力画像に対して注目領域を適切に選択できる注目領域検出装置、注目領域検出方法及びプログラムを提供する。【解決手段】入力画像に対するユーザの視線位置に関する情報を取得する取得手段１１と、入力画像において、複数の候補領域を設定する設定手段１２と、設定された複数の候補領域と取得したユーザの視線位置の統計的分布とに基づいて注目領域を検出する検出手段１３と、を有する。【選択図】図１
2016162234.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に対するユーザの視線位置に関する情報を取得する取得手段と、
前記入力画像において、複数の候補領域を設定する設定手段と、
前記設定された複数の候補領域と前記取得したユーザの視線位置の統計的分布とに基づいて注目領域を検出する検出手段と、
を有することを特徴とする注目領域検出装置。
【請求項２】
前記検出手段は、前記設定された複数の候補領域の中から、ユーザの視線位置の停留時間に基づいて、１つの候補領域を選択することを特徴とする請求項１に記載の注目領域検出装置。
【請求項３】
前記検出手段は、前記選択した候補領域の重心位置と前記ユーザの視線位置の時間平均位置とに基づいて、前記注目領域の位置を決定することを特徴とする請求項２に記載の注目領域検出装置。
【請求項４】
前記検出手段は、前記選択した候補領域の重心位置と前記ユーザの視線位置の歪度とに基づいて、前記注目領域に位置を決定することを特徴とする請求項２に記載の注目領域検出装置。
【請求項５】
前記検出手段は、前記選択した候補領域の大きさと前記ユーザの視線位置の分散とに基づいて、前記注目領域の大きさを決定することを特徴とする請求項２から４のいずれか１項に記載の注目領域検出装置。
【請求項６】
前記検出手段は、前記選択した候補領域の大きさと前記ユーザの視線位置の尖度とに基づいて、前記注目領域の大きさを決定することを特徴とする請求項２から４のいずれか１項に記載の注目領域検出装置。
【請求項７】
入力画像に注目するユーザを検出するユーザ検出手段を更に有し、
前記検出手段は、前記検出されたユーザのうち特定のユーザが注目する前記注目領域を検出することを特徴とする請求項１から６のいずれか１項に記載の注目領域検出装置。
【請求項８】
前記ユーザ検出手段は、顔領域を検出することによって入力画像に注目するユーザを検出することを特徴とする請求項７に記載の注目領域検出装置。
【請求項９】
前記設定部は、前記入力画像の各位置における低次特徴量から顕著度を算出し、該顕著度に基づいて複数の候補領域を設定することを特徴とする請求項１から８のいずれか１項に記載の注目領域検出装置。
【請求項１０】
前記設定部は、前記入力画像に含まれる１つのコンテンツをなす領域を１つの候補領域として設定することを特徴とする請求項１から８のいずれか１項に記載の注目領域検出装置。
【請求項１１】
前記検出手段によって検出された注目領域を、入力画像に重畳して表示させることを特徴とする請求項１から１０のいずれか１項に記載の注目領域検出装置。
【請求項１２】
前記検出手段によって検出された注目領域を、高画質化して表示させることを特徴とする請求項１から１０のいずれか１項に記載の注目領域検出装置。
【請求項１３】
入力画像に対するユーザの視線位置に関する情報を取得するステップと、
前記入力画像において、複数の候補領域を設定するステップと、
前記設定された複数の候補領域と前記取得したユーザの視線位置の統計的分布とに基づいて注目領域を検出するステップと、
を有することを特徴とする注目領域検出方法。
【請求項１４】
コンピュータを、請求項１から１２のいずれか１項に記載の注目領域検出装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの視線に関する情報に基づいて、画像から注目領域を検出する技術に関する。
【背景技術】
【０００２】
従来から、ユーザの視線を検出し、そのユーザ視線情報を用いて、ユーザが注目している領域を検出する種々の方法が知られている。特許文献１に記載の方法では、カメラのファインダー面のどの位置に注目しているかを検出するために、ファインダー面に複数の局所領域を設定し、局所領域ごとにユーザの視線の停留時間を計測する。そして、停留時間が最大となる局所領域をユーザが注目している注目領域として設定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−１３１５９９号公報
【特許文献２】特開平１−２４１５１１号公報
【非特許文献】
【０００４】
【非特許文献１】竹上  健、後藤  敏行、大山  玄、“視線方向計測のための高精度瞳孔検出アルゴリズム”、電子情報通信学会論文誌．Ｄ−ＩＩ、情報・システム、ＩＩ−パターン処理．
【非特許文献２】Ｄｏｎｇ  Ｈｙｕｎ  Ｙｏｏ  ａｎｄ  Ｍｙｕｎｇ  Ｊｉｎ  Ｃｈｕｎｇ，  “Ｎｏｎ−ｉｎｔｒｕｓｉｖｅ  Ｅｙｅ  Ｇａｚｅ  Ｅｓｔｉｍａｔｉｏｎ  ｗｉｔｈｏｕｔ  Ｋｎｏｗｌｅｄｇｅ  ｏｆ  Ｅｙｅ  Ｐｏｓｅ”，  Ｐｒｏｃ．  ＩＥＥＥ  ＦＧ  ２００４．
【非特許文献３】Ｒ．  Ａｃｈａｎｔａ，  Ｓ．  Ｈｅｍａｍｉ，  Ｆ．  Ｅｓｔｒａｄａ，  ａｎｄ  Ｓ．  Ｓｕｓｓｔｒｕｎｋ，  “Ｆｒｅｑｕｅｎｃｙ−ｔｕｎｅｄ  ｓａｌｉｅｎｔ  ｒｅｇｉｏｎ  ｄｅｔｅｃｔｉｏｎ”，  ＣＶＰＲ２００９．
【非特許文献４】大津展之、“判別および最小２  乗法に基づく自動しきい値選定法”、電子通信学会論文誌、Ｊ６３−Ｄ−４（１９８０−４）、３４９．３５６．
【非特許文献５】Ｌ．  Ｉｔｔｉ，  Ｃ．  Ｋｏｃｈ，ａｎｄ  Ｅ．  Ｎｉｅｂｕｒ，  “Ａ  ｍｏｄｅｌ  ｏｆ  ｓａｌｉｅｎｃｙ−ｂａｓｅｄ  ｖｉｓｕａｌ  ａｔｔｅｎｔｉｏｎ  ｆｏｒ  ｒａｐｉｄ  ｓｃｅｎｅ  ａｎａｌｙｓｉｓ”，  ＴＰＡＭＩ１９９８．
【非特許文献６】Ｄ．  Ｋｌｅｉｎ  ａｎｄ  Ｓ．  Ｆｒｉｎｔｒｏｐ，  “Ｃｅｎｔｅｒ−ｓｕｒｒｏｕｎｄ  ｄｉｖｅｒｇｅｎｃｅ  ｏｆ  ｆｅａｔｕｒｅ  ｓｔａｔｉｓｔｉｃｓ  ｆｏｒ  ｓａｌｉｅｎｔ  ｏｂｊｅｃｔ  ｄｅｔｅｃｔｉｏｎ”，  ＩＣＣＶ２０１１．
【非特許文献７】Ｍ．  Ｙａｍａｎａｋａ，Ｍ．  Ｍａｔｓｕｇｕ，ａｎｄ  Ｍ．  Ｓｕｇｉｙａｍａ，  “Ｓａｌｉｅｎｔ  ｏｂｊｅｃｔ  ｄｅｔｅｃｔｉｏｎ  ｂａｓｅｄ  ｏｎ  ｄｉｒｅｃｔ  ｄｅｎｓｉｔｙ−ｒａｔｉｏ  ｅｓｔｉｍａｔｉｏｎ”，  ＩＰＳＪ２０１３．
【非特許文献８】Ｐａｕｌ  Ｖｉｏｌａ  ａｎｄ  Ｍｉｃｈａｅｌ  Ｊ．  Ｊｏｎｅｓ．  “Ｒａｐｉｄ  Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｉｏｎ  ｕｓｉｎｇ  ａ  Ｂｏｏｓｔｅｄ  Ｃａｓｃａｄｅ  ｏｆ  Ｓｉｍｐｌｅ  Ｆｅａｔｕｒｅｓ”，  ＣＶＰＲ２００１．
【非特許文献９】御手洗  裕輔、森  克彦、真継  優和  “選択的モジュール起動を用いたＣｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓによる変動にロバストな顔検出システム”  ＦＩＴ２００３
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、非特許文献１に記載の方法では、ユーザ視線を検出するための複数の局所領域は所定の位置に決められているため、複数の局所領域の中に注目領域が含まれていない場合、注目領域を適切に選択できないという問題があった。
【課題を解決するための手段】
【０００６】
以上の課題を解決するために、本発明は、入力画像に対するユーザの視線位置に関する情報を取得する取得手段と、前記入力画像において、複数の候補領域を設定する設定手段と、前記設定された複数の候補領域と前記取得したユーザの視線位置の統計的分布とに基づいて注目領域を検出する検出手段と、を有することを特徴とする。
【発明の効果】
【０００７】
以上の構成によれば、本発明は、ユーザの視線に関する情報に基づいてユーザの注目する注目領域を精度よく検出することができる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に関わる注目領域検出装置の構成を示す概略ブロック図。
【図２】第１の実施形態において候補領域設定部の機能を説明する図。
【図３】第１の実施形態に関わる注目領域検出部の機能構成を示す概略ブロック図。
【図４】第１の実施形態において候補領域設定部の処理の例を示す図。
【図５】第１の実施形態において時刻ｔ’に対するｍ次関数ｋ（ｔ’）のグラフを示す図。
【図６】第１の実施形態において領域設定部による注目領域の設定処理の一例を示す図。
【図７】第１の実施形態において時間の経過にともなう注目領域の変化を示す図。
【図８】第１の実施形態に関わる注目領域検出方法のフロー図。
【図９】第２の実施形態に関わる注目領域検出装置の構成を示す概略ブロック図。
【図１０】第２の実施形態において顔検出部による顔領域検出の処理を説明する図。
【図１１】第２の実施形態において注目領域の候補領域の設定処理を説明する図。
【図１２】第２の実施形態において領域設定部による注目領域の設定処理を示す図。
【図１３】第２の実施形態に関わる注目領域検出方法のフロー図。
【発明を実施するための形態】
【０００９】
［第１の実施形態］
以下、図面を参照して本発明の実施形態を詳細に説明する。図１は、本実施形態に係る注目領域検出装置の構成を示す概略ブロック図である。注目領域検出装置１は、視線情報取得部１１、候補領域設定部１２、注目領域検出部１３を有する。
【００１０】
本実施形態に係る注目領域検出装置１は、半導体集積回路（ＬＳＩ）を用いて実現される。または、注目領域検出装置１が、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等のハードウェア構成を備えるようにしてもよい。その場合、ＣＰＵがＲＯＭやＨＤ等に格納されたプログラムを実行することにより、例えば、後述する各機能構成やフローチャートの処理が実現される。ＲＡＭは、ＣＰＵがプログラムを展開して実行するワークエリアとして機能する記憶領域を有する。ＲＯＭは、ＣＰＵが実行するプログラム等を格納する記憶領域を有する。ＨＤは、ＣＰＵが処理を実行する際に要する各種のプログラム、閾値に関するデータ等を含む各種のデータを格納する記憶領域を有する。
【００１１】
視線情報取得部１１は、時刻ｔにおける、入力画像に対するユーザの視線位置（ｘ（ｔ），ｙ（ｔ））に関する情報を取得する。ユーザの視線位置（ｘ（ｔ），ｙ（ｔ））は、例えば、非特許文献１に記載された高精度瞳孔検出アルゴリズムを用いた手法や、非特許文献２に記載された画像処理を用いた非接触な視線検出手法により検出できる。これらの手法を用い、視線情報取得部１１自体が、ユーザの映る写真（画像）からユーザの視線位置を検出、取得するようにしてもよい。
【００１２】
候補領域設定部１２は、外部から入力される入力画像を取得し、その入力画像に注目領域の候補領域Ｒｎ（ｎ＝１，２，．．．，Ｎ）を設定する。その方法としては、例えば、非特許文献３に記載された、低次特徴量（輝度値、エッジ強度、テクスチャ等）から求められる顕著度を利用する方法を採用することができる。図２は、候補領域設定部１２が、非特許文献３の方法により、注目領域の候補領域Ｒｎ（ｎ＝１，２，．．．，Ｎ）を設定する処理を説明する図である。図２（ａ）に示されるような入力画像を取得したとすると、候補領域設定部１２は、入力画像中の各位置の点（ｘ，ｙ）における顕著度Ｓを算出し、顕著度画像を作成する（図２（ｂ））。そして、顕著度画像において顕著度Ｓが所定閾値Ｔｈ以上の一塊の領域を全て抽出する（図２（ｃ））。さらに、抽出した各領域を包含する矩形領域を注目領域の候補領域Ｒｎ（ｎ＝１，２，．．．，Ｎ）として設定する（図２（ｄ））。
【００１３】
なお、顕著度Ｓに対する閾値Ｔｈは、例えば、非特許文献４に記載されている２値化処理の手法（クラス内分散を最小化し、クラス間分散を最大化することにより適応的に閾値を設定する手法）により算出すればよい。また、Ｎは注目領域の候補領域の個数を表しており、図２の場合はＮ＝２で与えられる。また、顕著度Ｓの算出方法としては、非特許文献５〜７に記載の方法等を用いればよい。このようにして設定した候補領域Ｒｎ（ｎ＝１，２，．．．，Ｎ）は、後段の注目領域検出部１３による注目領域の設定処理において、視線位置の統計的分布（停留時間の合計値など）を算出する際の画像空間上の範囲（位置および大きさ）の初期値として用いられる。
【００１４】
注目領域検出部１３は、視線情報取得部１１により取得したユーザの視線位置に関する情報と、候補領域設定部１２により設定された注目領域の候補領域Ｒとに基づいて注目領域を検出する。図３は、注目領域検出部１３の機能構成を示す図である。同図に示されるように、注目領域検出部１３は、領域選択部１３１、統計量算出部１３２、領域重心算出部１３３、領域サイズ算出部１３４、領域設定部１３５によって構成される。
【００１５】
領域選択部１３１は、候補領域設定部１２により設定された候補領域Ｒｎ（ｎ＝１，２，．．．，Ｎ）それぞれについて、時刻ｔ＝０〜Ｔまでのユーザの視線位置（ｘ（ｔ），ｙ（ｔ））の停留時間の合計値を算出する。そして、領域選択部１３１は、その最大値を有する候補領域Ｒ∈Ｒｎ（ｎ＝１，２，．．．，Ｎ）を選択し、その重心位置（Ｘ，Ｙ）および大きさ（Ｗ，Ｈ）を取得する。ここで、（Ｘ，Ｙ）は選択した候補領域Ｒの重心の水平方向座標および垂直方向座標を表す。また、（Ｗ，Ｈ）は選択した候補領域Ｒの水平方向サイズおよび垂直方向サイズを表す。
【００１６】
図４は、領域選択部１３１の処理の例を示す図である。同図の例では、全ての候補領域Ｒｎ（ｎ＝１，２，．．．，Ｎ）のうち、候補領域Ｒ２がユーザの視線位置（ｘ（ｔ），ｙ（ｔ））の停留時間の合計値が最大であることから、領域選択部１３１はその重心（Ｘ，Ｙ）および大きさ（Ｗ，Ｈ）を取得する。領域選択部１３１は、選択した候補領域Ｒの重心（Ｘ，Ｙ）および大きさ（Ｗ，Ｈ）を取得すると、その情報を統計量算出部１３２、領域重心算出部１３３、領域サイズ算出部１３４に出力する。
【００１７】
統計量算出部１３２は、領域選択部１３１により選択された候補領域Ｒにおいて、時刻ｔ＝０〜Ｔまでのユーザの視線位置（ｘ（ｔ），ｙ（ｔ））の時間平均位置（ｇｘ，ｇｙ）を数１式より算出する。
【００１８】
【数１】
2016162234.tif 000003
【００１９】
さらに、統計量算出部１３２は、領域選択部１３１により選択された候補領域Ｒにおいて、時刻ｔ＝０〜Ｔまでのユーザの視線位置（ｘ（ｔ），ｙ（ｔ））の分散（σｘ２，σｙ２）を数２式より算出する。
【００２０】
【数２】
2016162234.tif 000004
【００２１】
領域重心算出部１３３は、候補領域Ｒの重心（Ｘ，Ｙ）とユーザの視線位置（ｘ（ｔ），ｙ（ｔ））の時間平均位置（ｇｘ，ｇｙ）とに基づいて、時刻ｔ’（＞Ｔ）における注目領域Ｒ’の重心（Ｘ’，Ｙ’）を算出する。注目領域Ｒ’の重心（Ｘ’，Ｙ’）は、候補領域Ｒの重心（Ｘ，Ｙ）とユーザの視線位置（ｘ（ｔ），ｙ（ｔ））の重心が，時間の経過とともに徐々に接近する位置に設定される。具体的には、領域重心算出部１３３は、以下の数３式に基づき注目領域Ｒ’の重心（Ｘ’，Ｙ’）を算出する。
【００２２】
【数３】
2016162234.tif 000005
【００２３】
ここで、ｋｇ（ｔ’）は、時刻ｔ’に対するｍ次の関数として与えられ、以下の数４式として表わされる。図５には、時刻ｔ’に対するｍ次の関数ｋ（ｔ’）のグラフを示しており、同図（ａ）〜（ｄ）は、ｍ＝１〜４のときの関数ｋ（ｔ’）グラフである。本実施形態における関数ｋｇ（ｔ’）は、図５のような時刻ｔ’に対するｍ次の関数として与えられている。
【００２４】
【数４】
2016162234.tif 000006
【００２５】
ここで、数４式における係数ａｇは所定の実数値であり、システムの処理速度や視線検出精度などに応じて予め決定される。なお、ｋｇ（ｔ’）は、時刻ｔ’に対する多次元の関数であれば、他の関数として与えてもよい。
【００２６】
領域サイズ算出部１３４は、候補領域Ｒの大きさ（Ｗ，Ｈ）と、ユーザの視線位置（ｘ（ｔ），ｙ（ｔ））の分散（σｘ２，σｙ２）とに基づいて、時刻ｔ’（＞Ｔ）における注目領域Ｒ’の大きさ（Ｗ’，Ｈ’）を算出する。注目領域Ｒ’の大きさ（Ｗ’，Ｈ’）は、候補領域Ｒの大きさ（Ｗ，Ｈ）に対してユーザの視線位置（ｘ（ｔ），ｙ（ｔ））の空間的分布の幅が大きい場合、時間の経過とともに候補領域Ｒの大きさ（Ｗ，Ｈ）が徐々に拡大するように設定される。一方、候補領域Ｒの大きさ（Ｗ，Ｈ）に対してユーザの視線位置（ｘ（ｔ），ｙ（ｔ））の空間的分布の幅が小さい場合は、時間の経過とともに候補領域Ｒの大きさ（Ｗ，Ｈ）が徐々に縮小するように設定される。具体的には、領域サイズ算出部１３４は、以下の数５式により、時刻ｔ’（＞Ｔ）における注目領域Ｒ’の大きさ（Ｗ’，Ｈ’）を算出する。
【００２７】
【数５】
2016162234.tif 000007
【００２８】
ここで、ｋｓ（ｔ’）は、時刻ｔ’に対するｍ次の関数として与えられ、以下の数６式として表わされる。この関数ｋｓ（ｔ’）も、図５（ａ）〜（ｄ）に示されるような時刻ｔ’に対するｍ次の関数である。
【００２９】
【数６】
2016162234.tif 000008
【００３０】
ここで、数６式における係数ａｓは所定の実数値であり、システムの処理速度や視線検出精度などに応じて予め決定される。なお、ｋｓ（ｔ’）は、時刻ｔ’に対する多次元の関数であれば、他の関数として与えてもよい。
【００３１】
領域設定部１３５は、領域重心算出部１３３で算出された時刻ｔ’における注目領域Ｒ’の重心（Ｘ’，Ｙ’）と、領域サイズ算出部１３４で算出された時刻ｔ’における注目領域Ｒ’の大きさ（Ｗ’，Ｈ’）に基づいて、時刻ｔ’における注目領域Ｒ’を設定する。図６は、領域設定部１３５による注目領域Ｒ’の設定処理の一例を示す図である。同図に示されるように、本実施形態では、座標（Ｘ’，Ｙ’）を重心位置とし、大きさ（Ｗ’，Ｈ’）の矩形領域を注目領域Ｒ’として設定する。なお、このように設定された注目領域Ｒ’を、注目領域検出装置外部に設けられた表示手段（ディスプレイ等）において、入力画像に重畳して表示させるようにしてもよい。
【００３２】
図７は、時間の経過にともなう注目領域Ｒ’の変化の例を示す図である。同図に示されるように、注目領域Ｒ’は時刻ｔ’におけるｋｇ（ｔ’）およびｋｓ（ｔ’）の値に応じて、時間的に連続に拡大、縮小、平行移動される。そして、時刻ｔ’＝Ｔｉｎｔにおいて、ユーザからの割込み操作（例えば、ボタンが押される等）が行われた場合、注目領域検出装置はその情報を取得して、領域設定部１３５は、時刻ｔ’＝Ｔｉｎｔ以降の拡大、縮小、平行移動を中止する。また、領域設定部１３５は、時刻ｔ’＝Ｔｉｎｔ時点での注目領域Ｒ’の重心（Ｘ’，Ｙ’）と大きさ（Ｗ’，Ｈ’）に基づいて、最終的な注目領域Ｒ’を設定する。一方、ｋｇ（ｔ’）＝ｋｓ（ｔ’）＝１を満たす時刻ｔ’＝Ｔｅｎｄまで、ユーザの割込み操作が行われなかった場合は、時刻ｔ’＝Ｔｅｎｄにおける注目領域Ｒ’の重心（Ｘ’，Ｙ’）と大きさ（Ｗ’，Ｈ’）に基づいて、最終的な注目領域Ｒ’を設定する。
【００３３】
このようにして検出された注目領域は、注目領域検出結果を用いて処理を行う装置へと出力される。例えば、デジタルカメラのような撮像装置においては、検出された注目領域にフォーカスを合わせ、当該領域を高画質化するような処理に供される。また、デジタルカメラのような撮像装置に備えられた半導体集積回路が前述の注目領域検出装置としての機能を実現するようにしてもよく、この場合、撮像装置自体が本実施形態の注目領域検出装置に相当する。また、このように撮像装置自体が注目領域検出装置として機能する場合には、ユーザの視線に関する情報は、例えば特許文献２に開示されるような方法により、ファインダーから注目領域検出装置自体が測定、取得するようにしてもよい。
【００３４】
図８は、本実施形態に係る注目領域検出方法のフロー図を示している。本処理が開始されると、まず、ステップＳ１０１において、視線情報取得部１１は、ユーザの視線位置（ｘ（ｔ），ｙ（ｔ））に関する情報を取得する。次に、ステップＳ１０２では、候補領域設定部１２が、入力画像に注目領域の候補領域Ｒｎ（ｎ＝１，２，．．．，Ｎ）を設定する。
【００３５】
続くステップＳ１０３−１〜Ｓ１０３−５は、注目領域検出部１３による注目領域を検出する工程である。まず、ステップＳ１０３−１において、領域選択部１３１は、設定された候補領域Ｒｎ（ｎ＝１，２，．．．，Ｎ）それぞれについて、ユーザの視線位置（ｘ（ｔ），ｙ（ｔ））の停留時間の合計値を算出する。そして、ステップＳ１０３−２において、統計量算出部１３２は、時刻ｔ＝０〜Ｔのユーザの視線位置（ｘ（ｔ），ｙ（ｔ））の時間平均位置（ｇｘ，ｇｙ）と、時刻ｔ＝０〜Ｔのユーザの視線位置（ｘ（ｔ），ｙ（ｔ））の分散（σｘ２，σｙ２）とを算出する。
【００３６】
ステップＳ１０３−３では、領域重心算出部１３３が、候補領域Ｒの重心（Ｘ，Ｙ）とユーザの視線位置の時間平均位置（ｇｘ，ｇｙ）とに基づいて、時刻ｔ’（＞Ｔ）における注目領域Ｒ’の重心（Ｘ’，Ｙ’）を算出する。また、ステップＳ１０３−４では、領域サイズ算出部１３４が、候補領域Ｒの大きさ（Ｗ，Ｈ）と、ユーザの視線位置の分散（σｘ２，σｙ２）とに基づいて、時刻ｔ’（＞Ｔ）における注目領域Ｒ’の大きさ（Ｗ’，Ｈ’）を算出する。
【００３７】
ステップＳ１０３−５において、領域設定部１３５は、算出された時刻ｔ’における注目領域Ｒ’の重心（Ｘ’，Ｙ’）と、時刻ｔ’における注目領域Ｒ’の大きさ（Ｗ’，Ｈ’）とに基づいて、時刻ｔ’における注目領域Ｒ’を設定する。
【００３８】
以上、本実施形態によれば、ユーザの視線位置（ｘ（ｔ），ｙ（ｔ））の統計的分布である、ユーザの視線位置の停留時間に基づいて注目領域Ｒ’の重心（Ｘ’，Ｙ’）と大きさ（Ｗ’，Ｈ’）を設定するようにした。このような構成により、本実施形態では、ユーザの注目する注目領域を精度よく検出することができる。
【００３９】
［第２の実施形態］
次に、本発明の第２の実施形態として、検出した人物の顔領域に基づいて、ｍ番目の人物が注目する注目領域を検出する構成について説明を行う。なお、第１の実施形態において既に説明をした構成については、同一の符号を付し、その説明を省略する。
【００４０】
図９は、本実施形態に係る注目領域検出装置の構成を示す概略ブロック図である。本実施形態の注目領域検出装置１は、本実施形態の注目領域検出装置１は、第１の実施形態で説明をした各機能部に加えて、顔検出部２１を備える。顔検出部２１は、まず、注目領域検出装置が処理対象とする入力画像を表示する表示手段に注目する人物の顔を検出すするための画像を取得する。ここでは、例えば、処理対象の入力画像を表示させるデジタルサイネージに取り付けられたカメラによって撮影された画像等を取得する。
【００４１】
そして、顔検出部２１は、取得した画像からすべての人物の顔領域Ｆｍ（ｍ＝１，２，．．．，Ｍ）を検出する。図１０は、顔検出部２１による顔領域Ｆｍ（ｍ＝１，２，．．．，Ｍ）の検出の例を示している。なお、Ｍは人物の顔領域の個数（図１０の場合、Ｍ＝４）を表している。なお、人物の顔領域を検出する手法としては、例えば、非特許文献８、９に開示された方法を用いればよい。また、入力画像に注目するユーザを検出するユーザ検出の手法としては、前述したような顔領域に基づく方法に限られず、他の人体パーツに基づいて行うようにしてもよい。
【００４２】
視線情報取得部１１は、時刻ｔにおける、ｍ番目の人物（ユーザ）の視線位置（ｘ（ｔ），ｙ（ｔ））に関する情報を取得する。ユーザの視線位置を検出する手法は、第１の実施形態で説明したように、非特許文献１、２等の方法を採用することができる。また、視線情報取得部１１自体がユーザの視線位置を検出、取得するようにしてもよい。
【００４３】
候補領域設定部１２は、外部から入力される入力画像を取得し、その入力画像に注目領域の候補領域Ｒｎ（ｎ＝１，２，．．．，Ｎ）を設定する。図１１は、本実施形態における候補領域設定部１２による注目領域の候補領域Ｒｎ（ｎ＝１，２，．．．，Ｎ）の設定処理を説明する図である。同図（ａ）は、本実施形態の入力画像の例を示しており、ここでは、不特定多数の人物を対象とした画像やテキストなどから構成される広告（デジタルサイネージ）である。候補領域設定部１２は、このような入力画像に対して、図１１（ｂ）に示すように、コンテンツとして意味をなす一塊の領域の各々（位置と大きさは既知である）を注目領域の候補領域Ｒｎ（ｎ＝１，２，．．．，Ｎ）として設定する。
【００４４】
注目領域検出部１３は、第１の実施形態と同様の機能部で構成されており、領域選択部１３１、統計量算出部１３２、領域重心算出部１３３、領域サイズ算出部１３４、領域設定部１３５を有する。
【００４５】
領域選択部１３１は、候補領域設定部１２が設定したすべての候補領域Ｒｎ（ｎ＝１，２，．．．，Ｎ）において、時刻ｔ＝０〜Ｔまでのｍ番目の人物の視線位置（ｘｍ（ｔ），ｙｍ（ｔ））の停留時間の合計値を算出する。そして、その合計値の最大値を有する候補領域Ｒｍ∈Ｒｎ（ｎ＝１，２，．．．，Ｎ）を選択する。
【００４６】
統計量算出部１３２は、領域選択部１３１により選択された、ｍ番目の人物の候補領域Ｒｍにおいて、時刻ｔ＝０〜Ｔまでのｍ番目の人物の視線位置（ｘｍ（ｔ），ｙｍ（ｔ））の時間平均位置（ｇｘ，ｇｙ）を数７式より算出する。
【００４７】
【数７】
2016162234.tif 000009
【００４８】
さらに、統計量算出部１３２は、領域選択部１３１により選択されたｍ番目の人物の候補領域Ｒｍにおいて、時刻ｔ＝０〜Ｔまでのｍ番目の人物の視線位置（ｘｍ（ｔ），ｙｍ（ｔ））の分散（σｘ２，σｙ２）を数８式より算出する。
【００４９】
【数８】
2016162234.tif 000010
【００５０】
領域重心算出部１３３は、ｍ番目の人物の候補領域Ｒの重心（Ｘｍ，Ｙｍ）と視線位置（ｘｍ（ｔ），ｙｍ（ｔ））の時間平均位置（ｇｘ，ｇｙ）とに基づいて、時刻ｔ’（＞Ｔ）におけるｍ番目の人物の注目領域Ｒｍ’の重心（Ｘｍ’，Ｙｍ’）を算出する。具体的には、領域重心算出部１３３は、以下の数９式に基づきｍ番目の人物の注目領域Ｒ’の重心（Ｘｍ’，Ｙｍ’）を算出する。
【００５１】
【数９】
2016162234.tif 000011
【００５２】
また、領域サイズ算出部１３４は、ｍ番目の人物の候補領域Ｒｍと視線位置（ｘｍ（ｔ），ｙｍ（ｔ））の分散（σｘ２，σｙ２）とに基づいて、時刻ｔ’（＞Ｔ）におけるｍ番目の人物の注目領域Ｒｍ’の大きさ（Ｗｍ’，Ｈｍ’）を数１０式より算出する。
【００５３】
【数１０】
2016162234.tif 000012
【００５４】
領域設定部１３５は、時刻ｔ’におけるｍ番目の人物の注目領域Ｒｍ’の重心（Ｘｍ’，Ｙｍ’）と、時刻ｔ’におけるｍ番目の人物の注目領域Ｒｍ’の大きさ（Ｗｍ’，Ｈｍ’）に基づいて、時刻ｔ’におけるｍ番目の人物の注目領域Ｒｍ’を設定する。
【００５５】
図１２は、領域設定部１３５による注目領域Ｒｍ’の設定処理の一例を示す図である。同図に示されるように、本実施形態では、座標（Ｘｍ’，Ｙｍ’）を重心として、大きさ（Ｗｍ’，Ｈｍ’）の矩形領域を注目領域Ｒｍ’として設定する。なお、このように設定された注目領域Ｒｍ’を、注目領域検出装置外部に設けられた表示手段（ディスプレイ等）において、入力画像に重畳して表示させるようにしてもよい。図１０に示すように複数の顔領域が検出された場合には、重要度が最も高いと検出された顔領域の人物に対応する注目領域のみ表示するようにしてもよし、複数の注目領域すべてを表示するようにしてもよい。
【００５６】
このようにして検出された注目領域は、注目領域検出結果を用いて処理を行う装置へと出力される。例えば、デジタルサイネージのような電子表示装置においては、検出された注目領域のみビットレートを上げて高画質化するなどの処理に供される。また、電子表示装置のような撮像装置に備えられた半導体集積回路が前述の注目領域検出装置としての機能を実現するようにしてもよく、この場合、電子表示装置自体が本実施形態の注目領域検出装置に相当する。また、電子表示装置がカメラ（撮像手段）を備え、電子表示装置に注目する人物の画像を撮影するようにしてもよい。
【００５７】
図１３は、本実施形態に係る注目領域検出方法のフロー図を示している。本処理が開始されると、まず、ステップＳ２０１において、顔検出部２１は画像からすべての人物の顔領域Ｆｍ（ｍ＝１，２，．．．，Ｍ）を検出する。そして、ステップＳ１０１では、視線情報取得部１１が、ｍ番目の人物の視線位置（ｘ（ｔ），ｙ（ｔ））に関する情報を取得する。以降のステップＳ１０２〜Ｓ１０３−５では、第１の実施形態で説明した処理と同様の処理を、ｍ番目の人物の視線位置情報に基づいて実行する。また、検出された顔領域Ｆｍ（ｍ＝１，２，．．．，Ｍ）すべてについて注目領域を検出するのであれば、本フローを繰り返し実行すればよい。
【００５８】
以上、本実施形態によれば、人物の顔領域を抽出し、特定の人物が注目する注目領域を検出する構成とすることにより、特定の人物が注目する注目領域を精度よく検出することが可能となる。
【００５９】
［第３の実施形態］
次に、本発明の第３の実施形態について説明を行う。本実施形態では、ユーザの視線位置（ｘ（ｔ），ｙ（ｔ））の空間的分布の特性を表す尖度（Ｓｘ，Ｓｙ）および歪度（Ｋｘ，Ｋｙ）に基づいて注目領域Ｒ’の重心（Ｘ’，Ｙ’）と大きさ（Ｗ’，Ｈ’）を設定する。なお、第１、第２の実施形態において既に説明をした構成については、同一の符号を付し、その説明を省略する。本実施形態の注目領域検出装置１およびその処理フローは、第１の実施形態と同様であるが、統計量算出部１３２、領域重心算出部１３３、領域サイズ算出部１３４による処理の内容が第１の実施形態とは異なっている。
【００６０】
まず、本実施形において、統計量算出部１３２は、領域選択部１３１が選択した候補領域Ｒにおいて、時刻ｔ＝０〜Ｔまでのユーザの視線位置（ｘ（ｔ），ｙ（ｔ））の時間平均位置（ｇｘ，ｇｙ）を数１１式により算出する。
【００６１】
【数１１】
2016162234.tif 000013
【００６２】
また、統計量算出部１３２は、領域選択部１３１が選択した候補領域Ｒにおいて、時刻ｔ＝０〜Ｔまでのユーザの視線位置（ｘ（ｔ），ｙ（ｔ））の分散（σｘ２，σｙ２）を数１２式より算出する。
【００６３】
【数１２】
2016162234.tif 000014
【００６４】
また、統計量算出部１３２は、領域選択部１３１が選択した候補領域Ｒにおいて、時刻ｔ＝０〜Ｔまでのユーザの視線位置（ｘ（ｔ），ｙ（ｔ））の歪度（Ｓｘ，Ｓｙ）を数１３式より算出する。ここで、歪度（Ｓｘ，Ｓｙ）は、時刻ｔ＝０〜Ｔまでのユーザの視線位置（ｘ（ｔ），ｙ（ｔ））の統計的分布の特性を表しており、歪度が正（負）の場合、統計的分布が正（負）の方向に偏っていることを表す。
【００６５】
【数１３】
2016162234.tif 000015
【００６６】
また、統計量算出部１３２は、領域選択部１３１が選択した候補領域Ｒにおいて、時刻ｔ＝０〜Ｔまでのユーザの視線位置（ｘ（ｔ），ｙ（ｔ））の尖度（Ｋｘ，Ｋｙ）を数１４式より算出する。ここで、尖度（Ｋｘ，Ｋｙ）は、時刻ｔ＝０〜Ｔまでのユーザの視線位置（ｘ（ｔ），ｙ（ｔ））の統計的分布の特性を表しており、尖度が正（負）の場合、統計的分布が先鋭（偏平）であることを表す。
【００６７】
【数１４】
2016162234.tif 000016
【００６８】
領域重心算出部１３３は、候補領域Ｒの重心（Ｘ，Ｙ）と、ユーザの視線位置（ｘ（ｔ），ｙ（ｔ））の歪度（Ｓｘ，Ｓｙ）に基づいて、時刻ｔ’（＞Ｔ）における注目領域Ｒ’の重心（Ｘ’，Ｙ’）を算出する。具体的には、領域重心算出部１３３は、注目領域Ｒ’の重心（Ｘ’，Ｙ’）を数１５式に基づいて算出する。これにより、注目領域Ｒ’の重心（Ｘ’，Ｙ’）は、候補領域Ｒの重心（Ｘ，Ｙ）とユーザの視線位置（ｘ（ｔ），ｙ（ｔ））の重心が時間の経過とともに徐々に接近する位置として設定される。
【００６９】
【数１５】
2016162234.tif 000017
【００７０】
また、領域サイズ算出部１３４は、候補領域Ｒの大きさ（Ｗ，Ｈ）と、ユーザの視線位置（ｘ（ｔ），ｙ（ｔ））の尖度（Ｋｘ，Ｋｙ）に基づいて、時刻ｔ’（＞Ｔ）における注目領域Ｒ’の大きさ（Ｗ’，Ｈ’）を算出する。具体的には、領域サイズ算出部１３４は、注目領域Ｒ’の大きさ（Ｗ’，Ｈ’）を数１６式に基づいて算出する。注目領域Ｒ’の大きさ（Ｗ’，Ｈ’）は、候補領域Ｒの大きさ（Ｗ，Ｈ）に対してユーザの視線位置（ｘ（ｔ），ｙ（ｔ））の統計的分布の幅が大きい（小さい）場合、候補領域Ｒの大きさ（Ｗ，Ｈ）が時間とともに徐々に拡大（縮小）するように設定される。
【００７１】
【数１６】
2016162234.tif 000018
【００７２】
以上、本実施形態によれば、ユーザの視線位置（ｘ（ｔ），ｙ（ｔ））の空間的分布の特性を表す尖度（Ｓｘ，Ｓｙ）および歪度（Ｋｘ，Ｋｙ）に基づいて注目領域Ｒ’の重心（Ｘ’，Ｙ’）と大きさ（Ｗ’，Ｈ’）を設定するようにした。このような構成により、本実施形態では、ユーザの注目する注目領域を精度よく検出することができる。
【００７３】
［その他の実施形態］
また、本発明は、上記実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【００７４】
１  注目領域検出装置
１１  視線情報取得部
１２  候補領域設定部
１３  注目領域検出部
【図１】
2016162234.tif 000019
【図３】
2016162234.tif 000020
【図５】
2016162234.tif 000021
【図８】
2016162234.tif 000022
【図９】
2016162234.tif 000023
【図１３】
2016162234.tif 000024
【図２】
2016162234.tif 000025
【図４】
2016162234.tif 000026
【図６】
2016162234.tif 000027
【図７】
2016162234.tif 000028
【図１０】
2016162234.tif 000029
【図１１】
2016162234.tif 000030
【図１２】
2016162234.tif 000031