(57)【要約】【課題】対象者の聴覚的な注意を推定する技術を提供する。【解決手段】対象者が左右の耳で知覚される音に注意を向けていない状態における瞳孔の大きさの時系列情報である第１生体情報と、対象者が左右の何れかの耳で知覚される音に注意を向けている状態における瞳孔の大きさの時系列情報である第２生体情報を取得する生体情報取得部と、対象者の視野に含まれる２以上の領域について、領域の明るさを示す指標値である領域情報を取得する領域情報取得部と、第１生体情報と第２生体情報と領域情報を用いて、第２生体情報を取得した際における対象者の聴覚的注意方向を推定する聴覚的注意推定部とを含む。【選択図】図５
2019126423.tif 000002
【特許請求の範囲】
【請求項１】
対象者が左右の耳で知覚される音に注意を向けていない状態における瞳孔の大きさの時系列情報である第１生体情報と、対象者が左右の何れかの耳で知覚される音に注意を向けている状態における瞳孔の大きさの時系列情報である第２生体情報を取得する生体情報取得部と、
対象者の視野に含まれる２以上の領域について、領域の明るさを示す指標値である領域情報を取得する領域情報取得部と、
前記第１生体情報と前記第２生体情報と前記領域情報を用いて、前記第２生体情報を取得した際における対象者の聴覚的注意方向を推定する聴覚的注意推定部と
を含む聴覚的注意推定装置。
【請求項２】
請求項１に記載の聴覚的注意推定装置であって、
前記聴覚的注意推定部は、
前記第１生体情報と前記第２生体情報から計算した第１生体情報を基準とする第２生体情報の相対的変化量が、対象者の瞳孔が縮瞳していることに対応する場合は、前記２以上の領域のうち、相対的に明るい領域情報に対応する方向を、前記相対的変化量が、対象者の瞳孔が散瞳していることに対応する場合は、前記２以上の領域のうち、相対的に暗い領域情報に対応する方向を、前記聴覚的注意方向として推定する
ことを特徴とする聴覚的注意推定装置。
【請求項３】
請求項１に記載の聴覚的注意推定装置であって、
第１生体情報、第２生体情報と領域情報の間の所定の関連性を、
第１生体情報と第２生体情報から計算される第１生体情報を基準とする第２生体情報の相対的変化量が、第２生体情報を取得した際における対象者の瞳孔径が小さくなることを示すほど、対象者の視野に含まれる２以上の領域のうち、より相対的に明るい領域情報に対応する方向が聴覚的注意方向であることを示すもの、または、
前記相対的変化量が、第２生体情報を取得した際における対象者の瞳孔径が大きくなることを示すほど、対象者の視野に含まれる２以上の領域のうち、より相対的に暗い領域情報に対応する方向が聴覚的注意方向であることを示すものの何れかであるとし、
前記聴覚的注意推定部は、
前記所定の関連性を用いて、前記聴覚的注意方向を推定する
ことを特徴とする聴覚的注意推定装置。
【請求項４】
請求項１に記載の聴覚的注意推定装置であって、
第１生体情報、第２生体情報と領域情報の間の所定の関連性を、
１以上の被験者から取得した第１生体情報と第２生体情報、当該被験者の視野に含まれる領域の明るさを示す指標値である領域情報、当該第２生体情報を取得した際における被験者の聴覚的注意方向の正解に基づいて得られる学習用データの集合を用いて学習した、第１生体情報と第２生体情報とに基づく情報と、領域情報を入力とし、聴覚的注意方向を出力する聴覚的注意方向推定モデルにより与えられるものであるとし、
前記聴覚的注意推定部は、
前記所定の関連性を用いて、前記聴覚的注意方向を推定する
ことを特徴とする聴覚的注意推定装置。
【請求項５】
対象者に対して２以上の異なる方向からそれぞれ異なる音を提示する音響情報提示部と、
前記音響情報提示部から音が提示されていない状態における対象者の瞳孔の大きさの時系列情報である第１生体情報と、前記音響情報提示部から音が提示されている状態における対象者の瞳孔の大きさの時系列情報である第２生体情報を取得する生体情報取得部と、
対象者の視野に含まれる２以上の領域について、領域の明るさを示す指標値である領域情報を取得する領域情報取得部と、
前記第１生体情報と前記第２生体情報と前記領域情報を用いて、前記音響情報提示部が提示した音のうち、最も聴覚的注意をひきつけやすい音を推定する聴覚的注意推定部と
を含む聴覚的注意推定装置。
【請求項６】
請求項５に記載の聴覚的注意推定装置であって、
前記聴覚的注意推定部は、
前記第１生体情報と前記第２生体情報から計算した第１生体情報を基準とする第２生体情報の相対的変化量が、対象者の瞳孔が縮瞳していることに対応する場合は、前記２以上の領域のうち、相対的に明るい領域情報に対応する方向から提示した音を、前記相対的変化量が、対象者の瞳孔が散瞳していることに対応する場合は、前記２以上の領域のうち、相対的に暗い領域情報に対応する方向から提示した音を、前記最も聴覚的注意をひきつけやすい音として推定する
ことを特徴とする聴覚的注意推定装置。
【請求項７】
請求項５に記載の聴覚的注意推定装置であって、
第１生体情報、第２生体情報と領域情報の間の所定の関連性を、
第１生体情報と第２生体情報から計算される第１生体情報を基準とする第２生体情報の相対的変化量が、第２生体情報を取得した際における対象者の瞳孔径が小さくなることを示すほど、対象者の視野に含まれる２以上の領域のうち、より相対的に明るい領域情報に対応する方向から提示した音が最も聴覚的注意をひきつけやすい音であることを示すもの、または、
前記相対的変化量が、第２生体情報を取得した際における対象者の瞳孔径が大きくなることを示すほど、対象者の視野に含まれる２以上の領域のうち、より相対的に暗い領域情報に対応する方向から提示した音が最も聴覚的注意をひきつけやすい音であることを示すものの何れかであるとし、
前記聴覚的注意推定部は、
前記所定の関連性を用いて、前記最も聴覚的注意をひきつけやすい音を推定する
ことを特徴とする聴覚的注意推定装置。
【請求項８】
請求項５に記載の聴覚的注意推定装置であって、
第１生体情報、第２生体情報と領域情報の間の所定の関連性を、
１以上の被験者から取得した第１生体情報と第２生体情報、当該被験者の視野に含まれる領域の明るさを示す指標値である領域情報、当該第２生体情報を取得した際における被験者の聴覚的注意方向の正解に基づいて得られる学習用データの集合を用いて学習した、第１生体情報と第２生体情報とに基づく情報と、領域情報を入力とし、聴覚的注意方向を出力する聴覚的注意方向推定モデルにより与えられるものであるとし、
前記聴覚的注意推定部は、
前記所定の関連性を用いて、前記最も聴覚的注意をひきつけやすい音を推定する
ことを特徴とする聴覚的注意推定装置。
【請求項９】
対象者の左右の何れか一方の耳に音を提示し、他方の耳には音を提示しない音響情報提示部と、
前記音響情報提示部から対象者の左右の何れの耳にも音が提示されていない状態における対象者の瞳孔の大きさの時系列情報である第１生体情報と、前記音響情報提示部から対象者の左右の何れか一方の耳に音が提示されている状態における対象者の瞳孔の大きさの時系列情報である第２生体情報を取得する生体情報取得部と、
対象者の視野に含まれる左側の領域と右側の領域について、領域の明るさを示す指標値である領域情報を取得する領域情報取得部と、
前記音響情報提示部から音が提示される耳を第１の耳とし、
前記第１生体情報と前記第２生体情報と前記領域情報を用いて、前記第１の耳に提示された音が対象者に聞こえているか否かを推定する聴覚的注意推定部と
を含む聴覚的注意推定装置であって、
前記聴覚的注意推定部は、
前記第１生体情報と前記第２生体情報から計算した第１生体情報を基準とする第２生体情報の相対的変化量に変化が見られる場合は、前記第１の耳に提示された音が対象者に聞こえていると推定する
聴覚的注意推定装置。
【請求項１０】
聴覚的注意推定装置が、対象者が左右の耳で知覚される音に注意を向けていない状態における瞳孔の大きさの時系列情報である第１生体情報と、対象者が左右の何れかの耳で知覚される音に注意を向けている状態における瞳孔の大きさの時系列情報である第２生体情報を取得する生体情報取得ステップと、
前記聴覚的注意推定装置が、対象者の視野に含まれる２以上の領域について、領域の明るさを示す指標値である領域情報を取得する領域情報取得ステップと、
前記聴覚的注意推定装置が、前記第１生体情報と前記第２生体情報と前記領域情報を用いて、前記第２生体情報を取得した際における対象者の聴覚的注意方向を推定する聴覚的注意推定ステップと
を含む聴覚的注意推定方法。
【請求項１１】
聴覚的注意推定装置が、対象者に対して２以上の異なる方向からそれぞれ異なる音を提示する音響情報提示ステップと、
前記聴覚的注意推定装置が、前記音響情報提示部から音が提示されていない状態における対象者の瞳孔の大きさの時系列情報である第１生体情報と、前記音響情報提示部から音が提示されている状態における対象者の瞳孔の大きさの時系列情報である第２生体情報を取得する生体情報取得ステップと、
前記聴覚的注意推定装置が、対象者の視野に含まれる２以上の領域について、領域の明るさを示す指標値である領域情報を取得する領域情報取得ステップと、
前記聴覚的注意推定装置が、前記第１生体情報と前記第２生体情報と前記領域情報を用いて、前記音響情報提示部が提示した音のうち、最も聴覚的注意をひきつけやすい音を推定する聴覚的注意推定ステップと
を含む聴覚的注意推定方法。
【請求項１２】
聴覚的注意推定装置が、対象者の左右の何れか一方の耳に音を提示し、他方の耳には音を提示しない音響情報提示ステップと、
前記聴覚的注意推定装置が、前記音響情報提示部から対象者の左右の何れの耳にも音が提示されていない状態における対象者の瞳孔の大きさの時系列情報である第１生体情報と、前記音響情報提示部から対象者の左右の何れか一方の耳に音が提示されている状態における対象者の瞳孔の大きさの時系列情報である第２生体情報を取得する生体情報取得ステップと、
前記聴覚的注意推定装置が、対象者の視野に含まれる左側の領域と右側の領域について、領域の明るさを示す指標値である領域情報を取得する領域情報取得ステップと、
前記音響情報提示部から音が提示される耳を第１の耳とし、
前記聴覚的注意推定装置が、前記第１生体情報と前記第２生体情報と前記領域情報を用いて、前記第１の耳に提示された音が対象者に聞こえているか否かを推定する聴覚的注意推定ステップと
を含む聴覚的注意推定方法であって、
前記聴覚的注意推定ステップは、
前記第１生体情報と前記第２生体情報から計算した第１生体情報を基準とする第２生体情報の相対的変化量に変化が見られる場合は、前記第１の耳に提示された音が対象者に聞こえていると推定する
聴覚的注意推定方法。
【請求項１３】
請求項１ないし９のいずれか１項に記載の聴覚的注意推定装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の音が提示された対象者の聴覚的注意を推定する技術に関する。
【背景技術】
【０００２】
空間中の様々な位置に存在する情報のうち、対象者がどの位置にある情報に注意を向けているかを客観的に計測しようとする場合、例えば、「注意を向けたい方向へ眼や耳を動かす」といった意識的な動作を伴うときは、その動作から注意の方向を推定することは比較的容易である。しかし、そのような外観から把握可能な動きが表出されない場合は、「意識が特定の方向に集中している」ことを推定することは難しい。
【０００３】
非特許文献１では、方向的な動作として表出しない場合において、眼の瞳孔の大きさの情報から視覚的な注意を向けている方向が推定できることが開示されている。非特許文献１では、被験者に対して右半分と左半分で輝度の異なる画像を提示し、中央部分の１点を見つめるよう指示した状況下で、右側または左側の何れかに意識的な注意を向けるよう指示したときに、注意を向けようとする方向の画像の輝度に応じて、瞳孔の大きさが変化することが報告されている。例えば、右半分が黒色の画像、左半分が白色の画像である場合、右側に注目しようとすると瞳孔の大きさが大きくなり、左側に注目しようとすると瞳孔の大きさが小さくなる。
【０００４】
従来から、瞳孔の大きさは、暗い場所では大きくなり（散瞳という）、明るい場所では小さくなる（縮瞳という）ことが知られている。非特許文献１では、実際に眼を暗い方向または明るい方向に動かしたわけではないが、これから暗い方向に動かそう（注目しよう）と意識することで、事前に瞳孔の大きさが暗さに適応した大きさ変化しようとする準備行動のようなものが現れていると考えられる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Sebastiaan Mathot, Lotje van der Linden, Jonathan Grainger, Francoise Vitu, “The Pupillary Light Response Reveals the Focus of Covert Visual Attention”, PLOS ONE, Vol. 8, Issue 10, e78168, 2013.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献１を用いると、２次元情報として提示される視覚情報の中で注意を向けている位置（あるいは方向）を推定することはできる。つまり、視覚的に注意を向けている方向を推定することはできる。しかし、聴覚的に注意を向けている方向を推定する方法は知られていないため、聴覚的に注意を向けている方向を推定することができないという問題がある。
【０００７】
また、聴覚的に注意を向けている方向の推定に限らず、そもそも注意を向けていない、あるいは聞こえていない、といったことを客観的に評価することも困難である。例えば、従来の聴力検査方法として、音が聞こえている間、対象者がボタンを押し続けるタスクを行う方法が知られているが、この場合、対象者に音が聞こえていても、対象者が意図的にボタンを押さないことで聞こえていないかのように振舞うことが可能であり、本当に聞こえているのか否かを評価することは難しい。また、乳幼児など、タスクの意味を理解することが難しい対象者の聞こえの評価においても同様の問題がある。
【０００８】
以下、「聴覚的な注意」を、聴覚的に注意を向けている方向、および、聴覚的に注意を向けているか否か（聞こえていない場合を含む）を意味するものとして用いることにすると、上記２つの問題は、聴覚的な注意を推定する問題であると言える。
【０００９】
そこで本発明では、対象者の聴覚的な注意を推定する技術を提供することを目的にする。
【課題を解決するための手段】
【００１０】
本発明の一態様は、対象者が左右の耳で知覚される音に注意を向けていない状態における瞳孔の大きさの時系列情報である第１生体情報と、対象者が左右の何れかの耳で知覚される音に注意を向けている状態における瞳孔の大きさの時系列情報である第２生体情報を取得する生体情報取得部と、対象者の視野に含まれる２以上の領域について、領域の明るさを示す指標値である領域情報を取得する領域情報取得部と、前記第１生体情報と前記第２生体情報と前記領域情報を用いて、前記第２生体情報を取得した際における対象者の聴覚的注意方向を推定する聴覚的注意推定部とを含む。
【００１１】
本発明の一態様は、対象者に対して２以上の異なる方向からそれぞれ異なる音を提示する音響情報提示部と、前記音響情報提示部から音が提示されていない状態における対象者の瞳孔の大きさの時系列情報である第１生体情報と、前記音響情報提示部から音が提示されている状態における対象者の瞳孔の大きさの時系列情報である第２生体情報を取得する生体情報取得部と、対象者の視野に含まれる２以上の領域について、領域の明るさを示す指標値である領域情報を取得する領域情報取得部と、前記第１生体情報と前記第２生体情報と前記領域情報を用いて、前記音響情報提示部が提示した音のうち、最も聴覚的注意をひきつけやすい音を推定する聴覚的注意推定部とを含む。
【００１２】
本発明の一態様は、対象者の左右の何れか一方の耳に音を提示し、他方の耳には音を提示しない音響情報提示部と、前記音響情報提示部から対象者の左右の何れの耳にも音が提示されていない状態における対象者の瞳孔の大きさの時系列情報である第１生体情報と、前記音響情報提示部から対象者の左右の何れか一方の耳に音が提示されている状態における対象者の瞳孔の大きさの時系列情報である第２生体情報を取得する生体情報取得部と、対象者の視野に含まれる左側の領域と右側の領域について、領域の明るさを示す指標値である領域情報を取得する領域情報取得部と、前記音響情報提示部から音が提示される耳を第１の耳とし、前記第１生体情報と前記第２生体情報と前記領域情報を用いて、前記第１の耳に提示された音が対象者に聞こえているか否かを推定する聴覚的注意推定部とを含み、前記聴覚的注意推定部は、前記第１生体情報と前記第２生体情報から計算した第１生体情報を基準とする第２生体情報の相対的変化量に変化が見られる場合は、前記第１の耳に提示された音が対象者に聞こえていると推定する。
【発明の効果】
【００１３】
本発明によれば、対象者の聴覚的な注意を推定することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】実験の手順を示す図。
【図２】実験のタスクの様子を示す図。
【図３】実験結果を示す図。
【図４】左右で輝度が異なる静止画像の一例を示す図。
【図５】聴覚的注意推定装置１００／１０１／１０２の構成の一例を示すブロック図。
【図６】聴覚的注意推定装置１００／１０１／１０２の動作の一例を示すフローチャート。
【図７】聴覚的注意推定装置１０３の構成の一例を示すブロック図。
【図８】聴覚的注意推定装置１０３の動作の一例を示すフローチャート。
【図９】聴覚的注意推定装置２００の構成の一例を示すブロック図。
【図１０】聴覚的注意推定装置２００の動作の一例を示すフローチャート。
【図１１】聴覚的注意推定装置２０１の構成の一例を示すブロック図。
【図１２】聴覚的注意推定装置２０１の動作の一例を示すフローチャート。
【図１３】聴覚的注意推定装置３００の構成の一例を示すブロック図。
【図１４】聴覚的注意推定装置３００の動作の一例を示すフローチャート。
【図１５】聴覚的注意推定装置３０１の構成の一例を示すブロック図。
【図１６】聴覚的注意推定装置３０１の動作の一例を示すフローチャート。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【００１６】
＜技術的背景＞
本発明の実施の形態、つまりヒトの聴覚的な注意を推定する聴覚的注意推定装置は、聴覚的な注意とヒトの瞳孔の大きさとの間に相関関係があるという自然法則の発見に基づくものである。
【００１７】
そこでここでは、本発明の実施形態の前提となる聴覚的な注意とヒトの瞳孔の大きさとの間の相関関係の発見について説明する。
【００１８】
実験の手順は以下の通りである（図１参照）。
（１）対象者の前にディスプレイを置き、画像を提示する。提示する画像として、図１のように右側の領域と左側の領域でそれぞれ輝度が異なるものを用いる。また、対象者にはヘッドホンを装着させておく。
（２）対象者には画像の中央付近を見るように指示しておく。その後、両耳から異なる音（図１では「犬の鳴き声」と「電話の音」）が同時に再生されるので、右耳または左耳のいずれか指示したほうの耳から聞こえてきた音に対応するボタンを、できるだけ早く押すように指示しておく。
（３）対象者に右耳または左耳を指示し、所定時間（図１では５秒）を空けて、ヘッドホンの右と左からそれぞれ異なる音を発生させる。この間の対象者の瞳孔の大きさ(pupil diameter)を計測する。
【００１９】
図２は、対象者が実施するタスクの様子を示す図である。図２（Ａ）のタスクでは、例えば、次のような指示が出される。
（指示）まず、「右」もしくは「左」の指示が聞こえてきます。次に両耳から違う音が聞こえてくるので、指示があった方の耳に提示された音のボタンをできる限り早く押してください。「犬の鳴き声」の場合は、「Ｍ」ボタンを、「電話の音」の場合は、「Ｎ」ボタンを押してください。
【００２０】
このタスクでは、「右」という指示の後、「犬の鳴き声」が右耳に、「電話の音」が左耳に提示されるので、対象者は「Ｍ」ボタンを押すことになる。
【００２１】
また、図２（Ｂ）のタスクでは、例えば、次のような指示が出される。
（指示）まず、「右」もしくは「左」の指示が聞こえてきます。次に両耳から違う音が聞こえてくるので、指示があった方の耳に提示された音のボタンをできる限り早く押してください。「犬の鳴き声」の場合は、「Ｎ」ボタンを、「電話の音」の場合は、「Ｍ」ボタンを押してください。
【００２２】
このタスクでは、「右」という指示の後、「犬の鳴き声」が右耳に、「電話の音」が左耳に提示されるので、対象者は「Ｎ」ボタンを押すことになる。
【００２３】
つまり、図２（Ａ）のタスクと図２（Ｂ）のタスクでは、押すボタンが入れ替えられている。このようなタスクの組を対象者に所定の回数実施してもらい、瞳孔の大きさを計測する。
【００２４】
図３は、上記の実験の結果を示す図である。図３（Ａ）及び図３（Ｂ）の上図の横軸は時刻であり、「指示」が右耳または左耳の指示を出した時刻、「再生音」が両耳から音を再生した時刻である。また、縦軸は瞳孔の大きさを示す指標値であり、瞳孔の大きさをz-scoreで表したものである。また、図３（Ａ）は、左半分が黒、右半分が白の画像（つまり、右側のほうが左側よりも明るい画像）を提示したときの結果であり、図３（Ｂ）は、左半分が白、右半分が黒の画像（つまり、左側のほうが右側よりも明るい画像）を提示したときの結果を示す。
【００２５】
この結果から、以下の傾向があることが分かる。
（１）右耳に聴覚的な注意を傾けているときに、右側の画像のほうが左側の画像よりも暗い場合には、眼の瞳孔の大きさは大きくなる。
（２）右耳に聴覚的な注意を傾けているときに、右側の画像のほうが左側の画像よりも明るい場合には、眼の瞳孔の大きさは小さくなる。
（３）左耳に聴覚的な注意を傾けているときに、左側の画像のほうが右側の画像よりも暗い場合には、眼の瞳孔の大きさは大きくなる。
（４）左耳に聴覚的な注意を傾けているときに、左側の画像のほうが右側の画像よりも明るい場合には、眼の瞳孔の大きさは小さくなる。
【００２６】
つまり、聴覚的な注意を傾けている側の画像が暗いときの瞳孔の大きさのほうが、聴覚的な注意を傾けている側の画像が明るいときの瞳孔の大きさよりも大きくなる傾向があることが分かる。また、注意を傾けるよう指示があった時刻から約２秒経過すれば、画像の明るさに応じた瞳孔の大きさの変化が識別可能な程度に表出されることも分かる。
【００２７】
この結果から、聴覚的な注意を傾けようとする方向の明るさに応じて、（実際に眼をその方向に向けているわけではないにもかかわらず）瞳孔の大きさが変化することが分かる。本発明の実施形態では、この自然法則の発見を利用する。
【００２８】
なお、この実験では、画像の右半分と左半分で白色、黒色に塗り分けた画像を用いたが、提示する画像はこれに限られるものではない。つまり、右側と左側とで輝度が異なる画像であればどのようなものでもよい。例えば、図４のような画像でもよく、この画像では、左側の領域のほうが、右側の領域よりも明るい。また、画像を２分割するのではなく、輝度の異なる３以上の領域に分割してもよい。
【００２９】
また、この実験では白黒の単純な静止画像を用いているが、提示する画像は静止画像に限られるものではなく、位置ごとに異なる明るさ（例えば、輝度）が一定の領域で近い値にできる（つまり、領域ごとに暗めの領域、明るめの領域などとできる）のであれば、動画像であってもよいし、実環境であってもよい。
【００３０】
以下、静止画像、動画像、実環境のことを視覚情報という。
【００３１】
＜第一実施形態＞
第一実施形態の聴覚的注意推定装置は、対象者が左右の耳のうちどちらの耳に注意を傾けているかなど、対象者の聴覚的な注意が向いている方向を推定する。
【００３２】
以下、図５〜図６を参照して、聴覚的注意推定装置１００を説明する。図５は、聴覚的注意推定装置１００の構成を示すブロック図である。図６は、聴覚的注意推定装置１００の動作を示すフローチャートである。図５に示すように聴覚的注意推定装置１００は、視覚情報提示部１１０と、音響情報提示部１２０と、生体情報取得部１３０と、領域情報取得部１４０と、聴覚的注意推定部１５０と、記録部１９０を含む。記録部１９０は、処理に必要な情報を適宜記録する構成部である。
【００３３】
以下、図６を参照して、聴覚的注意推定装置１００の動作について説明する。
【００３４】
［視覚情報提示部１１０］
ステップＳ１１０において、視覚情報提示部１１０は、明るさを示す指標値（例えば、輝度）が異なる２以上の領域からなる静止画像を対象者に提示する。したがって、対象者の視野には、明るさを示す指標値が異なる２以上の領域が含まれる。なお、静止画像の提示には、ディスプレイ等の表示装置を用いればよい。
【００３５】
［音響情報提示部１２０］
ステップＳ１２０において、音響情報提示部１２０は、対象者に対して２以上の異なる方向からそれぞれ異なる音を提示する。また、各方向から提示された音を特定するための情報（特定情報）を聴覚的注意推定部１５０に出力する。例えば、音響情報提示部１２０は、右耳側と左耳側の２つの方向からそれぞれ異なる音を提示し、右耳側と左耳側の各方向から提示した音を特定するための情報（音特定情報）を聴覚的注意推定部１５０に出力する。
【００３６】
［生体情報取得部１３０］
ステップＳ１３０において、生体情報取得部１３０は、対象者が左右の耳で知覚される音に注意を向けていない状態における瞳孔の大きさの時系列情報である第１生体情報と、対象者が左右の何れかの耳で知覚される音に注意を向けている状態における瞳孔の大きさの時系列情報である第２生体情報を取得する。ここで、対象者が左右の耳で知覚される音に注意を向けていない状態とは、左右の耳で知覚されるどのような音に対しても対象者の注意がニュートラルになっている状態であり、例えば、音響情報提示部１２０から対象者に対して音が提示されていない状態である。また、対象者が左右の何れかの耳で知覚される音に注意を向けている状態とは、例えば、音響情報提示部１２０から対象者に対して音が提示されている状態である。生体情報取得部１３０は、対象者の眼の瞳孔の大きさを計測するものであり、具体的には、音響情報提示部１２０から対象者に対して音が提示されていない状態における所定の時間区間の時刻ごとの対象者の瞳孔の大きさの時系列情報である第１生体情報と、音響情報提示部１２０から対象者に対して音が提示されている状態における所定の時間区間の時刻ごとの対象者の瞳孔の大きさの時系列情報である第２生体情報をそれぞれ計測し、聴覚的注意推定部１５０に出力する。
【００３７】
［領域情報取得部１４０］
ステップＳ１４０において、領域情報取得部１４０は、Ｓ１１０で提示した静止画像の領域、つまり対象者の視野に含まれる各領域について、領域の明るさを示す指標値である領域情報を取得し、当該領域情報を聴覚的注意推定部１５０に出力する。
【００３８】
［聴覚的注意推定部１５０］
ステップＳ１５０において、聴覚的注意推定部１５０は、Ｓ１３０で取得した第１生体情報と第２生体情報、Ｓ１４０で取得した領域情報を用いて、第２生体情報を取得した際における対象者の聴覚的な注意が向いている方向（聴覚的注意方向）を推定する。具体的には、以下の手順を実行する。
【００３９】
まず、第１生体情報と第２生体情報を用いて、第１生体情報を基準とする第２生体情報の相対的変化量を計算する。相対的変化量は、瞳孔径の変化の大きさを示す指標（以下、瞳孔径変化情報という）である。例えば、第１生体情報から、対象者が左右の耳で知覚される音に注意を向けていない状態（音が提示されていない状態）における対象者の瞳孔の大きさを示す統計情報（ここでは、平均値と標準偏差を用いる）を計算しておき、当該情報（つまり、平均値と標準偏差）を用いて、第２生体情報に含まれる瞳孔の大きさのz-scoreを瞳孔径変化情報として計算する。第２生体情報に複数の時刻における瞳孔の大きさが含まれる場合には、各時刻におけるz-scoreを計算し、当該z-scoreの代表値（例えば、平均値や中央値）を瞳孔径変化情報とするとよい。
【００４０】
次に、領域情報を用いて、相対的変化量（瞳孔径変化情報）から聴覚的注意方向を推定し、出力する。具体的には、瞳孔径変化情報が正の値であれば、視覚情報提示部１１０が提示した静止画像の領域うち、相対的に暗い領域、つまり領域情報が小さい（例えば輝度が低い）領域から定まる方向を聴覚的注意方向と推定する。一方、瞳孔径変化情報が負の値であれば、視覚情報提示部１１０が提示した静止画像の領域のうち、相対的に明るい領域、つまり領域情報が大きい（例えば、輝度が高い）領域から定まる方向を聴覚的注意方向と推定する。このように推定すればよいのは、対象者が左右の耳で知覚される音に注意を向けていない状態における瞳孔の大きさと比較して、相対的に明るい領域の方向に聴覚的注意を向けているときは、瞳孔の大きさが小さくなるため、z-scoreは負の値になり、相対的に暗い領域の方向に聴覚的注意を向けているときは、瞳孔の大きさが大きくなるため、z-scoreは正の値になるからである。
【００４１】
なお、瞳孔径変化情報が正の値であるか負の値であるかにより聴覚的注意方向を推定するのではなく、ある程度の誤差を許容して、瞳孔径変化情報が所定の閾値θ1以上のときに相対的に暗い領域から定まる方向を聴覚的注意方向とし、瞳孔径変化情報が所定の閾値θ2（ただし、θ2<θ1）以下のときに相対的に明るい領域から定まる方向を聴覚的注意方向と推定してもよい。
【００４２】
視覚情報提示部１１０が提示する静止画像が３つ以上の領域を含む場合も、同様に、複数の閾値を用いて、瞳孔径変化情報と閾値の大小関係に基づいて聴覚的注意方向を推定することができる。つまり、瞳孔径変化情報が大きくなる（瞳孔が大きくなることを示す）ほど、より暗い領域から定まる方向が聴覚的注意方向となるように推定すればよい。例えば、明るさの異なる領域を３つ含む静止画像である場合、２つの閾値θ1, θ2（ただし、θ1＞θ２）を用いて、瞳孔径変化情報がθ1以上であれば最も暗い領域から定まる方向を聴覚的注意方向と推定し、θ2以上かつθ1未満であれば２番目に暗い領域から定まる方向を聴覚的注意方向と推定し、θ2未満であれば３番目に暗い（すなわち、最も明るい）領域から定まる方向を聴覚的注意方向と推定する。
【００４３】
〔変形例１〕
視覚情報提示部１１０は、対象者に静止画像を提示したが、対象者が、自身がいる実際の環境（実環境）を視ることにしてもよい。
【００４４】
以下、図５〜図６を参照して、聴覚的注意推定装置１０１を説明する。図５は、聴覚的注意推定装置１０１の構成を示すブロック図である。図６は、聴覚的注意推定装置１０１の動作を示すフローチャートである。図５に示すように聴覚的注意推定装置１０１は、音響情報提示部１２０と、生体情報取得部１３０と、領域情報取得部１４１と、聴覚的注意推定部１５１と、記録部１９０を含む。つまり、聴覚的注意推定装置１０１は、視覚情報提示部１１０、領域情報取得部１４０、聴覚的注意推定部１５０の代わりに領域情報取得部１４１、聴覚的注意推定部１５１を含む点において聴覚的注意推定装置１００と異なる。
【００４５】
以下、図６を参照して、聴覚的注意推定装置１０１の動作について説明する。ここでは、領域情報取得部１４１、聴覚的注意推定部１５１について説明する。
【００４６】
ただし、対象者が視ることになる実環境は、地点ごとに異なる明るさを示す指標値が近い値をとる一定の連続した範囲、つまり領域を２以上含むものとする。なお、明るさを示す指標値として、例えば、照度計で計測される照度、輝度計で計測される輝度を用いることができる。
【００４７】
［領域情報取得部１４１］
ステップＳ１４１において、領域情報取得部１４１は、対象者が視ている実環境の領域、つまり対象者の視野に含まれる各領域について、領域の明るさを示す指標値である領域情報を取得し、当該領域情報を聴覚的注意推定部１５０に出力する。領域情報取得部１４１は、領域に含まれる、当該領域を代表する地点（代表地点）の明るさを計測し、当該代表地点の明るさを領域の明るさ、つまり領域情報とする。
【００４８】
［聴覚的注意推定部１５１］
ステップＳ１５１において、聴覚的注意推定部１５１は、Ｓ１３０で取得した第１生体情報と第２生体情報、Ｓ１４１で取得した領域情報を用いて、第２生体情報を取得した際における対象者の聴覚的な注意が向いている方向（聴覚的注意方向）を推定する。具体的には、以下の手順を実行する。
【００４９】
まず、第１生体情報と第２生体情報を用いて、第１生体情報を基準とする第２生体情報の相対的変化量を計算する。計算方法は第一実施形態と同様でよい。
【００５０】
次に、領域情報を用いて、相対的変化量（瞳孔径変化情報）から聴覚的注意方向を推定し、出力する。具体的には、瞳孔径変化情報が大きくなる（瞳孔が大きくなることを示す）ほど、より暗い領域から定まる方向が聴覚的注意方向となるように推定すればよい。例えば、３つの領域を代表する地点で明るさを計測している場合に、暗い順に第１地点P1、第２地点P2、第３地点P3とし、２つの閾値θ1, θ2（ただし、θ1＞θ２）を用いて、瞳孔径変化情報がθ1以上であれば最も暗い地点P1を含む領域から定まる方向を聴覚的注意方向と推定し、θ2以上かつθ1未満であれば２番目に暗い地点P2を含む領域から定まる方向を聴覚的注意方向と推定し、θ2未満であれば３番目に暗い（すなわち、最も明るい）地点P3を含む領域から定まる方向を聴覚的注意方向と推定する。
【００５１】
〔変形例２〕
視覚情報提示部１１０は対象者に静止画像を提示したが、静止画像の代わりに動画像を提示してもよい。
【００５２】
以下、図５〜図６を参照して、聴覚的注意推定装置１０２を説明する。図５は、聴覚的注意推定装置１０２の構成を示すブロック図である。図６は、聴覚的注意推定装置１０２の動作を示すフローチャートである。図５に示すように聴覚的注意推定装置１０２は、視覚情報提示部１１２と、音響情報提示部１２０と、生体情報取得部１３０と、領域情報取得部１４２と、聴覚的注意推定部１５２と、記録部１９０を含む。つまり、聴覚的注意推定装置１０２は、視覚情報提示部１１０、領域情報取得部１４０、聴覚的注意推定部１５０の代わりに視覚情報提示部１１２、領域情報取得部１４２、聴覚的注意推定部１５２を含む点において聴覚的注意推定装置１００と異なる。
【００５３】
以下、図６を参照して、聴覚的注意推定装置１０２の動作について説明する。ここでは、視覚情報提示部１１２、領域情報取得部１４２、聴覚的注意推定部１５２について説明する。
【００５４】
［視覚情報提示部１１２］
ステップＳ１１２において、視覚情報提示部１１２は、明るさを示す指標値（例えば、輝度）の異なる、２以上の領域を含む動画像を対象者に提示する。提示する動画像は、領域ごとに異なる明るさが知覚されるような動画像であればどのようなものでもよい。
【００５５】
［領域情報取得部１４２］
ステップＳ１４２において、領域情報取得部１４２は、Ｓ１２２で提示した動画像の領域、つまり対象者の視野に含まれる各領域について、領域の明るさを示す指標値である領域情報を取得し、当該領域情報を聴覚的注意推定部１５０に出力する。領域情報取得部１４２は、動画像を構成する各フレームの画像の領域ごとの明るさを示す指標値を取得する。この場合、領域情報は当該指標値の時系列情報となる。なお、領域情報を聴覚的注意推定部１５０に直接出力する代わりに、いったん記録部１９０に記録した後、聴覚的注意推定部１５０が処理に際して適宜読み出すようにしてもよい。
【００５６】
［聴覚的注意推定部１５２］
ステップＳ１５２において、聴覚的注意推定部１５２は、Ｓ１３０で取得した第１生体情報と第２生体情報、Ｓ１４２で取得した領域情報を用いて、第２生体情報を取得した際における対象者の聴覚的な注意が向いている方向（聴覚的注意方向）を推定する。具体的には、以下の手順を実行する。
【００５７】
まず、第１生体情報と第２生体情報を用いて、第１生体情報を基準とする第２生体情報の相対的変化量を計算する。計算方法は第一実施形態と同様でよい。
【００５８】
次に、領域情報を用いて、相対的変化量（瞳孔径変化情報）から聴覚的注意方向を推定し、出力する。ここでは、２つの方法について説明する。
（方法１）
フレームごとに、当該フレームの時刻に対応する瞳孔径変化情報から聴覚的注意方向を推定する。フレームごとに聴覚的注意方向を推定するので、第一実施形態で用いた方法と同様の方法で聴覚的注意方向を推定することができる。フレームごとの聴覚的注意方向の時系列情報をそのまま聴覚的注意方向としてもよいし、所定の時間区間に含まれるフレームごとの聴覚的注意方向の統計値（例えば、多数決で決定される方向）を聴覚的注意方向としてもよい。
（方法２）
ここでは、視覚情報提示部１１２で提示される動画像は、領域ごとに異なる時間パターンで明るさが変化するような動画像であるものとする。例えば、動画像の左半分の領域の明るさの変化の時間パターンと、右半分の領域の明るさの変化の時間パターンとが異なるような動画像である。
【００５９】
この場合、＜技術的背景＞で説明した知見に基づけば、聴覚的に左側に注意を向けている場合は、瞳孔径変化情報の時間パターンと動画像の左半分の領域の明るさの変化の時間パターンとの相関性（または類似度）のほうが、瞳孔径変化情報の時間パターンと動画像の右半分の領域の明るさの変化の時間パターンとの相関性（または類似度）よりも高くなると考えられる。同様に、聴覚的に右側に注意を向けている場合は、瞳孔径変化情報の時間パターンと動画像の右半分の領域の明るさの変化の時間パターンとの相関性（または類似度）のほうが、瞳孔径変化情報の時間パターンと動画像の左半分の領域の明るさの変化の時間パターンとの相関性（または類似度）よりも高くなると考えられる。
【００６０】
そこで、瞳孔径変化情報の時間パターンと動画像の各領域の明るさの変化の時間パターン（領域情報の時間パターン）との相関性に基づいて、瞳孔径変化情報の時間パターンと最も相関性の高い動画像の領域から定まる方向を、聴覚的注意方向と推定する。
【００６１】
例えば、瞳孔径変化情報を周波数解析して得られるパターンと相関性が高い時間パターンで明るさが変動する領域から定まる方向を、聴覚的注意方向と推定する。
【００６２】
あるいは、別の方法として、瞳孔径変化情報（瞳孔径の系列）と、動画像のある領域の領域情報（明るさを示す指標値の系列）との相互相関関数を計算する。一般に、２つの系列（系列Ａと系列Ｂとする）の相互相関関数が時間差０近傍に高いピークを持つほど、系列Ａと系列Ｂの相関性が高い。そこで、ここでは、相互相関関数が時間差０近傍に高いピークを持つ領域情報の領域から定まる方向を、聴覚的注意方向と推定する。
【００６３】
上記例示した方法に限らず、２つの系列の相関性や類似度を評価できる方法であればどのような方法を用いてもよい。
【００６４】
〔変形例３〕
上述の通り、第１生体情報と第２生体情報から計算される相対的変化量と閾値を比較することにより、聴覚的注意方向を推定することができるが、相対的変化量（または、第１生体情報と第２生体情報）と領域情報を入力とし、聴覚的注意方向を出力するように、機械学習やニューラルネットワーク等を用いて学習したモデルを用いても、聴覚的注意方向を推定することができる。
【００６５】
以下、第一実施形態、変形例１、変形例２について、聴覚的注意方向推定モデルを構成する方法について説明する。聴覚的注意方向推定モデルとは、１以上の被験者から取得した第１生体情報と第２生体情報、当該被験者の視野に含まれる領域の明るさを示す指標値である領域情報、当該第２生体情報を取得した際における被験者の聴覚的注意方向の正解に基づいて得られる学習用データの集合を用いて学習した、第１生体情報と第２生体情報とに基づく情報と、領域情報を入力とし、聴覚的注意方向を出力するモデルである。ここで、第１生体情報と第２生体情報、当該被験者の視野に含まれる領域の明るさを示す指標値である領域情報、当該第２生体情報を取得した際における被験者の聴覚的注意方向の正解に基づいて得られる学習用データとは、第１生体情報、第２生体情報、領域情報、聴覚的注意方向の正解の組、または、第１生体情報と第２生体情報から計算される相対的変化量、領域情報、聴覚的注意方向の正解の組のことである。また、第１生体情報と第２生体情報とに基づく情報とは、第１生体情報と第２生体情報の組、または、第１生体情報と第２生体情報から計算される相対的変化量のことである。
【００６６】
学習用データは、＜技術的背景＞で説明した実験と同様の実験を複数の被験者に対して行い、用意すればよい。変形例１については、静止画像の代わりに実環境を視るように、変形例２については、静止画像の代わりに動画像を提示するようにして、実験を行うとよい。
【００６７】
以下、図７〜図８を参照して、聴覚的注意推定装置１０３を説明する。図７は、聴覚的注意推定装置１０３の構成を示すブロック図である。図８は、聴覚的注意推定装置１０３の動作を示すフローチャートである。図７に示すように聴覚的注意推定装置１０３は、視覚情報提示部１１０／１１２と、音響情報提示部１２０と、生体情報取得部１３０と、領域情報取得部１４０／１４１／１４２と、聴覚的注意推定部１５３と、記録部１９０を含む。記録部１９０には、予め学習しておいた聴覚的注意方向推定モデルを記録しておいてもよい。なお、聴覚的注意推定装置１０３は、学習用データの生成に用いた実験が、静止画像を用いたものである場合は視覚情報提示部１１０と領域情報取得部１４０を、実環境を用いたものである場合は領域情報取得部１４１を、動画像を用いたものである場合は視覚情報提示部１１２と領域情報取得部１４２を含むものとする。
【００６８】
以下、図８を参照して、聴覚的注意推定装置１０３の動作について説明する。ここでは、聴覚的注意推定部１５３について説明する。
【００６９】
［聴覚的注意推定部１５３］
ステップＳ１５３において、聴覚的注意推定部１５３は、Ｓ１３０で取得した第１生体情報と第２生体情報、Ｓ１４０／Ｓ１４１／Ｓ１４２で取得した領域情報を用いて、第２生体情報を取得した際における対象者の聴覚的な注意が向いている方向（聴覚的注意方向）を推定する。具体的には、以下のようになる。
（聴覚的注意方向推定モデルの入力が第１生体情報と第２生体情報と領域情報の組である場合）
聴覚的注意推定部１５３は、聴覚的注意方向推定モデルを用いて、第１生体情報と第２生体情報と領域情報から聴覚的注意方向を推定する。
（聴覚的注意方向推定モデルの入力が相対的変化量と領域情報の組である場合）
まず、聴覚的注意推定部１５３は、第１生体情報と第２生体情報を用いて、第１生体情報を基準とする第２生体情報の相対的変化量を計算する。計算方法は第一実施形態と同様でよい。次に、聴覚的注意推定部１５３は、聴覚的注意方向推定モデルを用いて、相対的変化量と領域情報から聴覚的注意方向を推定する。
【００７０】
第一実施形態、変形例１、変形例２、変形例３についてまとめると、以下のようになる。聴覚的注意推定部１５０／１５１／１５２は、第１生体情報と第２生体情報から計算した第１生体情報を基準とする第２生体情報の相対的変化量が、対象者の瞳孔が縮瞳していることに対応する場合は、対象者の視野に含まれる２以上の領域のうち、相対的に明るい領域情報に対応する方向を、当該相対的変化量が、対象者の瞳孔が散瞳していることに対応する場合は、対象者の視野に含まれる２以上の領域のうち、相対的に暗い領域情報に対応する方向を、聴覚的注意方向として推定する。
【００７１】
また、聴覚的注意推定部１５０／１５１／１５２／１５３は、第１生体情報、第２生体情報と領域情報の間の所定の関連性を用いて、聴覚的注意方向を推定する。ここで、上記所定の関連性とは、聴覚的注意推定部１５０／１５１／１５２については、第１生体情報と第２生体情報から計算される第１生体情報を基準とする第２生体情報の相対的変化量が、第２生体情報を取得した際における対象者の瞳孔径が小さくなることを示すほど、対象者の視野に含まれる２以上の領域のうち、より相対的に明るい領域情報に対応する方向が聴覚的注意方向であることを示すもの、または、当該相対的変化量が、第２生体情報を取得した際における対象者の瞳孔径が大きくなることを示すほど、対象者の視野に含まれる２以上の領域のうち、より相対的に暗い領域情報に対応する方向が聴覚的注意方向であることを示すものの何れかであり、聴覚的注意推定部１５３については、聴覚的注意方向推定モデルにより与えられるものである。
【００７２】
本実施形態の発明によれば、対象者の聴覚的な注意を推定することが可能となる。具体的には、２以上の異なる音が提示された対象者の聴覚的な注意が向いている方向を推定することが可能となる。
【００７３】
＜第二実施形態＞
【００７４】
＜技術的背景＞で説明した現象は、対象者が意識的に左右何れかの耳に注意を傾ける場合に限らず、無意識に左右何れかの側に注意をひきつけられてしまう場合にも見られる現象である。第一実施形態では、対象者が意識的に注意を傾けようとした方向を推定する聴覚的注意推定装置について説明したが、ここでは対象者が無意識に注意をひきつけられた方向を推定する聴覚的注意推定装置について説明する。無意識に注意をひきつけられてしまうということは、注意をひきつけられた側で提示された音のほうが、それ以外の音よりも聴覚的注意をひきつけやすい音であると推定できる。つまり、第二実施形態の聴覚的注意推定装置は、２以上の音のうち、最も聴覚的注意をひきつけやすい音を推定する。
【００７５】
以下、図９〜図１０を参照して、聴覚的注意推定装置２００を説明する。図９は、聴覚的注意推定装置２００の構成を示すブロック図である。図１０は、聴覚的注意推定装置２００の動作を示すフローチャートである。図９に示すように聴覚的注意推定装置２００は、視覚情報提示部１１０と、音響情報提示部１２０と、生体情報取得部１３０と、領域情報取得部１４０／１４１と、聴覚的注意推定部２５０と、記録部１９０を含む。なお、聴覚的注意推定装置２００は、視覚情報提示部１１０と領域情報取得部１４０か、領域情報取得部１４１の何れかを含む。
【００７６】
以下、図１０を参照して、聴覚的注意推定装置２００の動作について説明する。ここでは、聴覚的注意推定部２５０について説明する。
【００７７】
［聴覚的注意推定部２５０］
ステップＳ２５０において、聴覚的注意推定部２５０は、Ｓ１３０で取得した第１生体情報と第２生体情報、Ｓ１４０／Ｓ１４１で取得した領域情報を用いて、音響情報提示部１２０が提示した音のうち、最も対象者の聴覚的注意をひきつけやすい音を推定する。具体的には、以下の手順を実行する。
【００７８】
まず、第１生体情報と第２生体情報を用いて、第１生体情報を基準とする第２生体情報の相対的変化量を計算する。計算方法は第一実施形態と同様でよい。
【００７９】
次に、領域情報を用いて、相対的変化量（瞳孔径変化情報）から最も聴覚的注意をひきつけやすい音を推定し、当該音を特定するための情報（特定情報）を出力する。具体的には、瞳孔径変化情報が正の値であれば、視覚情報の領域のうち、相対的に暗い領域、つまり領域情報が小さい領域から定まる方向から提示した音を最も聴覚的注意をひきつけやすい音と推定する。一方、瞳孔径変化情報が負の値であれば、視覚情報の領域のうち、相対的に明るい領域、つまり領域情報が大きい領域から定まる方向から提示した音を最も聴覚的注意をひきつけやすい音と推定する。なお、第１生体情報と第２生体情報とに顕著な差がみられない場合は、対象者がいずれの音にも注意を払っていない、言い換えれば、いずれの音とも同様に聞こえている状態であると推定することもできる。
【００８０】
〔変形例１〕
第一実施形態の変形例３と同様、機械学習やニューラルネットワーク等を用いて学習したモデルを用いて、最も聴覚的注意をひきつけやすい音を推定することもできる。ここで用いるモデルは、第一実施形態の変形例３で説明した聴覚的注意方向推定モデルである。
【００８１】
以下、図１１〜図１２を参照して、聴覚的注意推定装置２０１を説明する。図１１は、聴覚的注意推定装置２０１の構成を示すブロック図である。図１２は、聴覚的注意推定装置２０１の動作を示すフローチャートである。図１１に示すように聴覚的注意推定装置２０１は、視覚情報提示部１１０と、音響情報提示部１２０と、生体情報取得部１３０と、領域情報取得部１４０／１４１と、聴覚的注意推定部２５１と、記録部１９０を含む。記録部１９０には、予め学習しておいた聴覚的注意方向推定モデルを記録しておいてもよい。なお、聴覚的注意推定装置２０１は、学習用データの生成に用いた実験が、静止画像を用いたものである場合は視覚情報提示部１１０と領域情報取得部１４０を、実環境を用いたものである場合は領域情報取得部１４１を含むものとする。
【００８２】
以下、図１２を参照して、聴覚的注意推定装置２０１の動作について説明する。ここでは、聴覚的注意推定部２５１について説明する。
【００８３】
［聴覚的注意推定部２５１］
ステップＳ２５１において、聴覚的注意推定部２５１は、Ｓ１３０で取得した第１生体情報と第２生体情報、Ｓ１４０／Ｓ１４１で取得した領域情報を用いて、音響情報提示部１２０が提示した音のうち、最も対象者の聴覚的注意をひきつけやすい音を推定する。具体的には、以下のようになる。
（聴覚的注意方向推定モデルの入力が第１生体情報と第２生体情報と領域情報の組である場合）
聴覚的注意推定部２５１は、聴覚的注意方向推定モデルを用いて、第１生体情報と第２生体情報と領域情報から聴覚的注意方向を推定し、当該方向から提示した音を最も聴覚的注意をひきつけやすい音として推定する。
（聴覚的注意方向推定モデルの入力が相対的変化量と領域情報の組である場合）
まず、聴覚的注意推定部２５１は、第１生体情報と第２生体情報を用いて、第１生体情報を基準とする第２生体情報の相対的変化量を計算する。計算方法は第一実施形態と同様でよい。次に、聴覚的注意推定部２５１は、聴覚的注意方向推定モデルを用いて、相対的変化量と領域情報から聴覚的注意方向を推定し、当該方向から提示した音を最も聴覚的注意をひきつけやすい音として推定する。
【００８４】
第二実施形態、変形例１についてまとめると、以下のようになる。聴覚的注意推定部２５０は、第１生体情報と第２生体情報から計算した第１生体情報を基準とする第２生体情報の相対的変化量が、対象者の瞳孔が縮瞳していることに対応する場合は、対象者の視野に含まれる２以上の領域のうち、相対的に明るい領域情報に対応する方向から提示した音を、当該相対的変化量が、対象者の瞳孔が散瞳していることに対応する場合は、対象者の視野に含まれる２以上の領域のうち、相対的に暗い領域情報に対応する方向から提示した音を、最も聴覚的注意をひきつけやすい音として推定する。
【００８５】
また、聴覚的注意推定部２５０／２５１は、第１生体情報、第２生体情報と領域情報の間の所定の関連性を用いて、最も聴覚的注意をひきつけやすい音を推定する。ここで、上記所定の関連性とは、聴覚的注意推定部２５０については、第１生体情報と第２生体情報から計算される第１生体情報を基準とする第２生体情報の相対的変化量が、第２生体情報を取得した際における対象者の瞳孔径が小さくなることを示すほど、対象者の視野に含まれる２以上の領域のうち、より相対的に明るい領域情報に対応する方向から提示した音が最も聴覚的注意をひきつけやすい音であることを示すもの、または、当該相対的変化量が、第２生体情報を取得した際における対象者の瞳孔径が大きくなることを示すほど、対象者の視野に含まれる２以上の領域のうち、より相対的に暗い領域情報に対応する方向から提示した音が最も聴覚的注意をひきつけやすい音であることを示すものの何れかであり、聴覚的注意推定部２５１については、聴覚的注意方向推定モデルにより与えられるものである。
【００８６】
本実施形態の発明によれば、対象者の聴覚的な注意を推定することが可能となる。具体的には、対象者に提示された２以上の異なる音のうち、対象者にとって最も聴覚的注意をひきつけやすい音を推定することが可能となる。
【００８７】
＜第三実施形態＞
対象者の左右の何れか一方の耳にのみ音を提示し、対象者に当該音が聞こえているか否かを推定することも可能である。ここでは、対象者の左右の何れか一方の耳に提示した音が聞こえているか否かを推定する聴覚的注意推定装置について説明する。
【００８８】
以下、図１３〜図１４を参照して、聴覚的注意推定装置３００を説明する。図１３は、聴覚的注意推定装置３００の構成を示すブロック図である。図１４は、聴覚的注意推定装置３００の動作を示すフローチャートである。図１３に示すように聴覚的注意推定装置３００は、視覚情報提示部１１０と、音響情報提示部３２０と、生体情報取得部１３０と、領域情報取得部１４０／１４１と、聴覚的注意推定部３５０と、記録部１９０を含む。なお、聴覚的注意推定装置３００は、視覚情報提示部１１０と領域情報取得部１４０か、領域情報取得部１４１の何れかを含む。
【００８９】
以下、図１４を参照して、聴覚的注意推定装置３００の動作について説明する。ここでは、視覚情報提示部１１０、音響情報提示部３２０、領域情報取得部１４０／１４１、聴覚的注意推定部３５０について説明する。
【００９０】
［視覚情報提示部１１０］
ステップＳ１１０において、視覚情報提示部１１０は、明るさを示す指標値（例えば、輝度）の異なる２つの領域（左側の領域と右側の領域）からなる静止画像を対象者に提示する。
【００９１】
［音響情報提示部３２０］
ステップＳ３２０において、音響情報提示部３２０は、対象者の左右の何れか一方の耳に音を提示し、他方の耳には音を提示しない（つまり、無音状態を提示する）。提示する音として、任意の音を用いることができるが、例えば、聴覚的注意推定装置２００／２０１により聴覚的注意をひきつけやすいと推定された音を用いてもよい。
【００９２】
［生体情報取得部１３０］
ステップＳ１３０において、生体情報取得部１３０は、音響情報提示部３２０から対象者の左右の何れの耳にも音が提示されていない状態における瞳孔の大きさの時系列情報である第１生体情報と、音響情報提示部３２０から対象者の左右の何れか一方の耳に音が提示されている状態における瞳孔の大きさの時系列情報である第２生体情報を取得する。
【００９３】
［領域情報取得部１４０／１４１］
ステップＳ１４０／１４１において、領域情報取得部１４０／１４１は、Ｓ１１０で提示した静止画像の領域または対象者が視ている実環境の領域、つまり対象者の視野に含まれる各領域について、領域の明るさを示す指標値である領域情報を取得し、当該領域情報を聴覚的注意推定部１５０に出力する。
【００９４】
ただし、対象者が視ることになる実環境は、地点ごとに異なる明るさを示す指標値が近い値をとる一定の連続した範囲、つまり領域を２つ含むものとし、この２つの領域は左側の領域、右側の領域と認識できるものとする。
【００９５】
［聴覚的注意推定部３５０］
ステップＳ３５０において、聴覚的注意推定部３５０は、Ｓ１３０で取得した第１生体情報と第２生体情報、Ｓ１４０／Ｓ１４１で取得した領域情報を用いて、音響情報提示部３２０から音が提示される耳（以下、第１の耳という）に提示された音が対象者に聞こえているか否かを推定する。具体的には、第１生体情報と第２生体情報から計算した第１生体情報を基準とする第２生体情報の相対的変化量に変化が見られない場合は、第１の耳に提示した音が対象者に聞こえていないと推定し、変化が見られる場合は、対象者に第１の耳に提示した音が聞こえていると推定する。
【００９６】
この変化は、＜技術的背景＞で説明した傾向（１）〜（４）に合致するものであってもよいし、＜技術的背景＞で説明した傾向（１）〜（４）とは逆の傾向を示すものであってもよい。本来、音が聞こえていれば、対象者は音が提示された方向に聴覚的注意が向くはずであるので、その聴覚的注意の方向に応じた瞳孔径の変化が生じるはずである。そのため、瞳孔径の変化が＜技術的背景＞で説明した傾向（１）〜（４）に合致するものである場合には、第１の耳に聴覚的注意が向いていると判断できる。また、瞳孔径の変化が＜技術的背景＞で説明した傾向（１）〜（４）とは逆の傾向を示すものである場合、つまり、本来は音を提示した方向と同じ方向が明るければ縮瞳し、音を提示した方向と同じ方向が暗ければ散瞳するはずであるが、音を提示した方向と同じ方向が明るいのに散瞳する、または、音を提示した方向と同じ方向が暗いのに縮瞳する傾向が見られる場合には、対象者が第１の耳に抗って意識的に逆の耳に注意を向けようとしている可能性があると推定できる。言い換えれば、音を提示しない方の耳（以下、第２の耳という）には音が提示されていないにもかかわらず、瞳孔径の変化が＜技術的背景＞で説明した傾向（１）〜（４）に従えば第２の耳に聴覚的注意を向けていると判断できるような場合には、対象者が第１の耳に抗って意識的に逆の耳に注意を向けようとしていると推定される。つまり、対象者が「聞こえていない」と申告していても、実は聞こえている（つまり、聞こえていないふりをしている）と推定できるのである。
【００９７】
〔変形例１〕
第一実施形態の変形例３と同様、機械学習やニューラルネットワーク等を用いて学習したモデルを用いて、対象者に音が聞こえているか否かを推定することもできる。ここで用いるモデルは、第一実施形態の変形例３で説明した聴覚的注意方向推定モデルである。
【００９８】
以下、図１５〜図１６を参照して、聴覚的注意推定装置３０１を説明する。図１５は、聴覚的注意推定装置３０１の構成を示すブロック図である。図１６は、聴覚的注意推定装置３０１の動作を示すフローチャートである。図１５に示すように聴覚的注意推定装置３０１は、視覚情報提示部１１０と、音響情報提示部３２０と、生体情報取得部１３０と、領域情報取得部１４０／１４１と、聴覚的注意推定部３５１と、記録部１９０を含む。記録部１９０には、予め学習しておいた聴覚的注意方向推定モデルを記録しておいてもよい。なお、聴覚的注意推定装置３０１は、学習用データの生成に用いた実験が、静止画像を用いたものである場合は視覚情報提示部１１０と領域情報取得部１４０を、実環境を用いたものである場合は領域情報取得部１４１を含むものとする。
【００９９】
以下、図１６を参照して、聴覚的注意推定装置３０１の動作について説明する。ここでは、聴覚的注意推定部３５１について説明する。
【０１００】
［聴覚的注意推定部３５１］
ステップＳ３５１において、聴覚的注意推定部３５１は、Ｓ１３０で取得した第１生体情報と第２生体情報、Ｓ１４０／Ｓ１４１で取得した領域情報を用いて、音響情報提示部３２０から音が提示される耳（以下、第１の耳という）に提示された音が対象者に聞こえているか否かを推定する。具体的には、以下のようになる。
（聴覚的注意方向推定モデルの入力が第１生体情報と第２生体情報と領域情報の組である場合）
聴覚的注意推定部３５１は、聴覚的注意方向推定モデルを用いて、第１生体情報と第２生体情報と領域情報から聴覚的注意方向を推定し、当該方向と第１の耳の方向が一致する場合は、対象者に第１の耳に提示した音が聞こえていると推定し、一致しない場合は対象者に第１の耳に提示した音が聞こえていないと推定する。
（聴覚的注意方向推定モデルの入力が相対的変化量と領域情報の組である場合）
まず、聴覚的注意推定部３５１は、第１生体情報と第２生体情報を用いて、第１生体情報を基準とする第２生体情報の相対的変化量を計算する。計算方法は第一実施形態と同様でよい。次に、聴覚的注意推定部３５１は、聴覚的注意方向推定モデルを用いて、相対的変化量と領域情報から聴覚的注意方向を推定し、当該方向と第１の耳の方向が一致する場合は、対象者に第１の耳に提示した音が聞こえていると推定し、一致しない場合は対象者に第１の耳に提示した音が聞こえていないと推定する。
【０１０１】
第三実施形態、変形例１についてまとめると、以下のようになる。聴覚的注意推定部３５０は、第１生体情報と第２生体情報から計算した第１生体情報を基準とする第２生体情報の相対的変化量に変化が見られる場合は、第１の耳に提示された音が対象者に聞こえていると推定する。
【０１０２】
また、聴覚的注意推定部３５０／３５１は、第１生体情報、第２生体情報と領域情報の間の所定の関連性を用いて、第１の耳に提示された音が対象者に聞こえているか否かを推定する。ここで、上記所定の関連性とは、聴覚的注意推定部３５０については、第１生体情報と第２生体情報から計算される第１生体情報を基準とする第２生体情報の相対的変化量が、大きくなるほど、対象者に第１の耳に提示した音が聞こえていることを示すもの、または、当該相対的変化量が、小さくなるほど、対象者に第１の耳に提示した音が聞こえていないことを示すものの何れかであり、聴覚的注意推定部３５１については、聴覚的注意方向推定モデルにより与えられるものである。
【０１０３】
本実施形態の発明によれば、対象者の聴覚的な注意を推定することが可能となる。具体的には、対象者に音が聞こえているか否かを推定することが可能となる。
【０１０４】
＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ−ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
【０１０５】
ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
【０１０６】
ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
【０１０７】
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【０１０８】
既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
【０１０９】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【０１１０】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【０１１１】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【０１１２】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
2019126423.tif 000003
【図２】
2019126423.tif 000004
【図３】
2019126423.tif 000005
【図４】
2019126423.tif 000006
【図５】
2019126423.tif 000007
【図６】
2019126423.tif 000008
【図７】
2019126423.tif 000009
【図８】
2019126423.tif 000010
【図９】
2019126423.tif 000011
【図１０】
2019126423.tif 000012
【図１１】
2019126423.tif 000013
【図１２】
2019126423.tif 000014
【図１３】
2019126423.tif 000015
【図１４】
2019126423.tif 000016
【図１５】
2019126423.tif 000017
【図１６】
2019126423.tif 000018