(57)【特許請求の範囲】
【請求項１】
被験者の視点を検出する視点検出部と、
被験者が観察する対象を分割した複数の分割領域間での前記視点の移動パターンを検出するパターン検出部と、
前記移動パターンと、前記視点の予め定められた移動のパターンを表す基準パターンとを比較することにより、発達障害の程度を表す評価情報を算出する算出部と、
を備えることを特徴とする診断支援装置。
【請求項２】
前記複数に分割した領域は、前記被験者が観察する対象の動作する動作部分を含む動作領域と、前記対象の動作しない非動作部分を含む非動作領域と、を含む領域である
ことを特徴とする請求項１に記載の診断支援装置。
【請求項３】
前記基準パターンは、前記非動作領域から前記動作領域に前記視点が移動するパターンを表し、
前記算出部は、前記基準パターンと一致する前記移動パターンが多いほど、発達障害の程度が小さいことを表す前記評価情報を算出する、
ことを特徴とする請求項２に記載の診断支援装置。
【請求項４】
前記算出部は、前記移動パターンと、前記動作部分の動作パターンに応じて定められた前記基準パターンとを比較することにより前記評価情報を算出する、
ことを特徴とする請求項２に記載の診断支援装置。
【請求項５】
前記基準パターンは、前記動作部分が動作しないことを表す動作パターンから前記動作部分が動作することを表す動作パターンに変化したときに、前記非動作領域から前記動作領域に前記視点が移動するパターンを表し、
前記算出部は、前記基準パターンと一致する前記移動パターンが多いほど、発達障害の程度が小さいことを表す前記評価情報を算出する、
ことを特徴とする請求項４に記載の診断支援装置。
【請求項６】
前記動作部分は、人物の目および前記人物の口の少なくとも一方である、
ことを特徴とする請求項２に記載の診断支援装置。
【請求項７】
前記動作部分は、人物の目および前記人物の口であり、
前記動作領域は、前記人物の目を含む目領域と、前記人物の口を含む口領域とを含み、
前記基準パターンは、前記口が動作したことを表す動作パターンが発生したときに、前記口領域から前記目領域に前記視点が移動するパターンを表し、
前記算出部は、前記基準パターンと一致する前記移動パターンが多いほど、発達障害の程度が小さいことを表す前記評価情報を算出する、
ことを特徴とする請求項２に記載の診断支援装置。
【請求項８】
前記パターン検出部は、前記分割領域のうち第１領域から前記分割領域のうち第２領域に前記視点が移動した後の経過時間が予め定められた閾値を超えた場合に、前記第１領域から前記第２領域に前記視点が移動したことを検出する、
ことを特徴とする請求項１に記載の診断支援装置。
【請求項９】
前記算出部は、前記経過時間が大きいほど、発達障害の程度が小さいことを表す前記評価情報を算出する、
ことを特徴とする請求項８に記載の診断支援装置。
【請求項１０】
被験者の視点を検出するステップと、
被験者が観察する対象を分割した複数の分割領域間での前記視点の移動パターンを検出するステップと、
前記移動パターンと、前記視点の予め定められた移動のパターンを表す基準パターンとを比較することにより、発達障害の程度を表す評価情報を算出するステップと、
を含むことを特徴とする診断支援方法。
【請求項１１】
前記複数に分割した領域は、前記被験者が観察する対象の動作する動作部分を含む動作領域と、前記対象の動作しない非動作部分を含む非動作領域と、を含む領域である
ことを特徴とする請求項１０に記載の診断支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、診断支援装置および診断支援方法に関する。
【背景技術】
【０００２】
最近、発達障害者が増加傾向にあると言われている。発達障害は、早期に発見し療育を開始することで症状を軽減し、社会に適応できる効果が高くなることがわかっている。我が国でも、１歳半検診時の問診などにより早期発見を目指している。しかし、精神科医不足や、問診に時間が掛かるなどの問題があり、その効果は十分とはいえない。そこで、客観的で効率的な発達障害の診断支援装置が求められている。
【０００３】
発達障害早期発見のためには、例えば１歳半検診時に診断できることが理想的である。また、検診時の使用について配慮することが必要である。発達障害児の特徴として、対面する相手の目を見ない（視線をそらす）ことが挙げられる。カメラで人の顔を撮影して、角膜反射と瞳孔の位置を計算することにより注視点を検出する方法などを応用して、発達障害を診断支援する方法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２０６５４２号公報
【特許文献２】特開２００８−１２５６１９号公報
【特許文献３】特開２００５−１９８７４３号公報
【特許文献４】特開２００７−２１３３７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１では、目領域と、確実に観察対象者の口が含まれる口領域とを特定し、目領域に注視点座標が検出された動画像のフレーム数、口領域に注視点座標が検出された動画像のフレーム数、目領域の外に注視点座標が検出された動画像のフレーム数、および、計算対象の全フレーム数を算出する方法が提示されているが、さらに高精度の検出方法が求められていた。
【０００６】
本発明は、上記に鑑みてなされたものであって、診断の精度を向上できる診断支援装置および診断支援方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明は、被験者の視点を検出する視点検出部と、前記対象の動作する動作部分を含む動作領域と、前記対象の動作しない非動作部分を含む非動作領域と、を含む、被験者が観察する対象を分割した複数の分割領域間での前記視点の移動パターンを検出するパターン検出部と、前記移動パターンと、前記視点の予め定められた移動のパターンを表す基準パターンとを比較することにより、発達障害の程度を表す評価情報を算出する算出部と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明にかかる診断支援装置および診断支援方法は、診断の精度を向上できるという効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】図１は、第１の実施形態で用いる表示部、ステレオカメラ、および光源の配置の一例を示す図である。
【図２】図２は、第１の実施形態の診断支援装置の機能の概要を示す図である。
【図３】図３は、図２に示す各部の詳細な機能の一例を示すブロック図である。
【図４】図４は、被験者の瞳孔の位置を検出する方法を模式的に示す説明図である。
【図５】図５は、対象画像のエリア分割の一例を示す説明図である。
【図６】図６は、視点の移動パターンの一例を示す図である。
【図７】図７は、第１の実施形態における診断支援処理の一例を示すフローチャートである。
【図８】図８は、第１の実施形態における診断支援処理の別の例を示すフローチャートである。
【図９】図９は、検出された視点と移動パターンとの関係の一例を示すタイムチャートである。
【図１０】図１０は、動作パターンと移動パターンとの関係の一例を示すタイムチャートである。
【図１１】図１１は、評価結果の一例を示す図である。
【図１２】図１２は、評価結果の一例を示す図である。
【図１３】図１３は、第２の実施形態の診断支援装置の外観構成の一例を示す斜視図である。
【図１４】図１４は、第２の実施形態の診断支援装置の詳細な機能の一例を示すブロック図である。
【図１５】図１５は、対象者の目の位置と被験者の視点検出を説明するための図である。
【発明を実施するための形態】
【００１０】
以下に、本発明にかかる診断支援装置および診断支援方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。
【００１１】
（第１の実施形態）
第１の実施形態は、被験者の観察する対象（観察対象）となる画像（対象画像）を表示部（モニタ）に表示して被験者の発達障害を診断する例である。図１は、第１の実施形態で用いる表示部、ステレオカメラ、および光源の配置の一例を示す図である。図１に示すように、第１の実施形態では、表示部１０１の下側に、１組のステレオカメラ１０２を配置する。ステレオカメラ１０２は、赤外線によるステレオ撮影が可能な撮像部であり、右カメラ２０２と左カメラ２０４とを備えている。
【００１２】
右カメラ２０２および左カメラ２０４の各レンズの直前には、円周方向に赤外ＬＥＤ（Light  Emitting  Diode）光源２０３および２０５がそれぞれ配置される。赤外ＬＥＤ光源２０３および２０５は、発光する波長が相互に異なる内周のＬＥＤと外周のＬＥＤとを含む。赤外ＬＥＤ光源２０３および２０５により被験者の瞳孔を検出する。瞳孔の検出方法としては、例えば特許文献２に記載された方法などを適用できる。
【００１３】
視線を検出する際には、空間を座標で表現して位置を特定する。本実施形態では、表示部１０１の画面の中央位置を原点として、上下をＹ座標（上が＋）、横をＸ座標（向かって右が＋）、奥行きをＺ座標（手前が＋）としている。
【００１４】
図２は、診断支援装置１００の機能の概要を示す図である。図２では、図１に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図２に示すように、診断支援装置１００は、右カメラ２０２と、左カメラ２０４と、赤外ＬＥＤ光源２０３および２０５と、スピーカ１０５と、駆動・ＩＦ部２０８と、制御部３００と、表示部１０１と、表示部２１０と、を含む。
【００１５】
スピーカ１０５は、キャリブレーション時などに、被験者に注意を促すための音声などを出力する。
【００１６】
駆動・ＩＦ部２０８は、ステレオカメラ１０２に含まれる各部を駆動する。また、駆動・ＩＦ部２０８は、ステレオカメラ１０２に含まれる各部と、制御部３００とのインタフェースとなる。
【００１７】
表示部１０１は、対象画像を表示する。表示部２１０は、装置の操作や、診断支援結果を表示する。
【００１８】
図３は、図２に示す各部の詳細な機能の一例を示すブロック図である。図３に示すように、制御部３００には、表示部１０１と、表示部２１０と、駆動・ＩＦ部２０８が接続される。駆動・ＩＦ部２０８は、カメラＩＦ３１４、３１５と、ＬＥＤ駆動制御部３１６と、スピーカ駆動部３２２と、を備える。
【００１９】
駆動・ＩＦ部２０８には、カメラＩＦ３１４、３１５を介して、それぞれ、右カメラ２０２、左カメラ２０４が接続される。駆動・ＩＦ部２０８がこれらのカメラを駆動することにより、被験者を撮像する。
【００２０】
右カメラ２０２からはフレーム同期信号が出力される。フレーム同期信号は、左カメラ２０４とＬＥＤ駆動制御部３１６とに入力される。これにより、第１フレームで、タイミングをずらして左右の波長１の赤外線光源（波長１−ＬＥＤ３０３、波長１−ＬＥＤ３０５）を発光させ、それに対応して左右カメラ（右カメラ２０２、左カメラ２０４）による画像を取り込み、第２フレームで、タイミングをずらして左右の波長２の赤外線光源（波長２−ＬＥＤ３０４、波長２−ＬＥＤ３０６）を発光させ、それに対応して左右カメラによる画像を取り込んでいる。
【００２１】
赤外ＬＥＤ光源２０３は、波長１−ＬＥＤ３０３と、波長２−ＬＥＤ３０４と、を備えている。赤外ＬＥＤ光源２０５は、波長１−ＬＥＤ３０５と、波長２−ＬＥＤ３０６と、を備えている。
【００２２】
波長１−ＬＥＤ３０３、３０５は、波長１の赤外線を照射する。波長２−ＬＥＤ３０４、３０６は、波長２の赤外線を照射する。
【００２３】
波長１および波長２は、それぞれ例えば９００ｎｍ未満の波長および９００ｎｍ以上の波長とする。９００ｎｍ未満の波長の赤外線を照射して瞳孔で反射された反射光を撮像すると、９００ｎｍ以上の波長の赤外線を照射して瞳孔で反射された反射光を撮像した場合に比べて、明るい瞳孔像が得られるためである。
【００２４】
スピーカ駆動部３２２は、スピーカ１０５を駆動する。
【００２５】
制御部３００は、診断支援装置１００全体を制御して、結果を表示部２１０およびスピーカ１０５などに出力する。制御部３００は、視点検出部３５１と、パターン検出部３５２と、算出部３５３と、表示制御部３５４と、を備えている。
【００２６】
視点検出部３５１は、被験者の視点を検出する。本実施形態では、視点検出部３５１は、例えば、被験者の母親の画像などを含む表示部１０１に表示された対象画像のうち、被験者が注視する点である視点を検出する。視点検出部３５１による視点検出方法としては、従来から用いられているあらゆる方法を適用できる。以下では、特許文献３と同様に、ステレオカメラを用いて被験者の視点を検出する場合を例に説明する。
【００２７】
この場合、まず視点検出部３５１は、ステレオカメラ１０２で撮影された画像から、被験者の視線方向を検出する。視点検出部３５１は、例えば、特許文献１および２に記載された方法などを用いて、被験者の視線方向を検出する。具体的には、視点検出部３５１は、波長１の赤外線を照射して撮影した画像と、波長２の赤外線を照射して撮影した画像との差分を求め、瞳孔像が明確化された画像を生成する。視点検出部３５１は、左右のカメラ（右カメラ２０２、左カメラ２０４）で撮影された画像それぞれから上記のように生成された２つの画像を用いて、ステレオ視の手法により被験者の瞳孔の位置を算出する。また、視点検出部３５１は、左右のカメラで撮影された画像を用いて被験者の角膜反射の位置を算出する。そして、視点検出部３５１は、被験者の瞳孔の位置と角膜反射位置とから、被験者の視線方向を表す視線ベクトルを算出する。
【００２８】
視点検出部３５１は、例えば図１のような座標系で表される視線ベクトルとＸＹ平面との交点を、被験者の視点として検出する。両目の視線方向が得られた場合は、被験者の左右の視線の交点を求めることによって視点を計測してもよい。
【００２９】
なお、被験者の視点の検出方法はこれに限られるものではない。例えば、赤外線ではなく、可視光を用いて撮影した画像を解析することにより、被験者の視点を検出してもよい。
【００３０】
図４は、被験者の瞳孔の位置を検出する方法を模式的に示す説明図である。右カメラ２０２で検出した瞳孔の位置と角膜反射の位置関係とから、右カメラ２０２から見た被験者２０１の視線の方向が求められる。また、左カメラ２０４で検出した瞳孔の位置と角膜反射の位置関係とから、左カメラ２０４から見た被験者２０１の視線の方向が求められる。求められた２つの視線の方向の交点から、図１の座標上の被験者２０１の注視点の位置が計算される。
【００３１】
図３に戻る。パターン検出部３５２は、観察対象を分割した複数のエリア（分割領域）間での、被験者の視点が移動するパターン（移動パターン）を検出する。パターン検出部３５２は、まず、観察対象を複数のエリアに分割する。本実施形態では、対象画像を表示して診断するため、対象画像が複数のエリアに分割される。
【００３２】
図５は、対象画像のエリア分割の一例を示す説明図である。パターン検出部３５２は、対象画像を、例えば、対象画像の動作する部分（動作部分）を含むエリア（動作領域）と、対象画像の動作しない部分（非動作部分）を含むエリア（非動作領域）とを含む、複数のエリアに分割する。動作部分は、例えば、対象画像に映される対象者の目および口である。なお、動作部分はこれに限られるものではない。例えば、顔の近くにある玩具などのように、対象者の顔の外側に存在する動作物体であってもよい。
【００３３】
以下では、対象画像が、目を含む目エリア（目領域）、口を含む口エリア（口領域）、目と口以外の顔を含む顔エリア（顔領域）、および、その他のエリアに分割される場合を例に説明する。
【００３４】
この場合、パターン検出部３５２は、まず対象画像における目の位置、および、口の位置を検出する。画像から目および口を検出する方法としては、特許文献４の方法など、従来から用いられているあらゆる方法を適用できる。これにより、パターン検出部３５２は、右目の中心座標Ｐ０１、左目の中心座標Ｐ０２、および、口の中心座標Ｐ０３を求める。パターン検出部３５２は、Ｐ０１に対して片側の幅Ｌ０１、片側の高さＬ０２の長方形を右目付近のエリアとする。左目についても同様にして左目付近のエリアが求められる。パターン検出部３５２は、右目付近のエリアと左目付近のエリアとを合わせて目エリア（エリアＡ１）とする。
【００３５】
口については、パターン検出部３５２は、Ｐ０３に対して片側の幅Ｌ０３、片側の高さＬ０４の長方形を口エリア（エリアＡ２）とする。また、パターン検出部３５２は、Ｐ０１よりＬ０５右を顔エリアの右端、Ｐ０２よりＬ０５左を顔エリアの左端、Ｐ０１よりＬ０６上を顔エリアの上端、Ｐ０３よりＬ０７下を顔エリアの下端としている。パターン検出部３５２が、顔の輪郭を抽出して顔エリアを決めてもよい。
【００３６】
これにより、目エリアであるエリアＡ１、口エリアであるエリアＡ２、エリアＡ１とエリアＡ２を除いた顔エリア（エリアＡ３）、その他のエリア（エリアＡ４）が確定する。
【００３７】
この方法は、動画で対象者を表示して、その動画に対して、順次エリアを計測して決めていく方法である。すなわち、例えば母親を撮像した画像をそのまま対象画像とする場合などにも対応可能である。しかし、所定の動画像を対象画像とする場合などは、フレームごとのエリアが事前にわかっているので、これを保存しておいて、そのデータを用いる方法でもよい。
【００３８】
パターン検出部３５２は、このようにして分割されたエリア間の被験者の視点の移動パターンを検出する。パターン検出部３５２は、例えば、分割された各エリアの図１の座標系での座標値と、視点検出部３５１により検出された視点の図１の座標系での座標値と、を比較することにより、視点の移動パターンを検出することができる。
【００３９】
図６は、視点の移動パターンの一例を示す図である。例えば、エリアＡ１→エリアＡ２の視点の移動パターンが移動パターンＭ１として付番される。他の移動パターンも同様に付番される。
【００４０】
算出部３５３は、検出された移動パターンと基準パターンとを比較することにより、発達障害の程度に関連する値を表す評価情報を算出する。基準パターンは、視点の予め定められた移動のパターンを表す。例えば、目エリア以外のエリアから、目エリア（エリアＡ１）に移動するパターンを基準パターンとすることができる。図６の例では、移動パターンＭ４、Ｍ７、Ｍ１０が、このような基準パターンに相当する。上述のように、発達障害者の特徴の１つとして、対面する相手の目を見ないことが挙げられる。従って、目エリア以外のエリアから目エリアに移動する基準パターンに適合する場合は、算出部３５３は、発達障害に関連する値の程度が低くなるように評価情報を算出する。
【００４１】
このように、例えば、検出された移動パターンと基準パターンとが一致する場合、算出部３５３は、当該基準パターンに応じて定められた数値を加算または減算した評価値を評価情報として算出する。評価値（評価情報）としては、値が大きいほど発達障害の程度が低いことを示す情報を用いてもよいし、逆に値が大きいほど発達障害の程度が高いことを示す情報を用いてもよい。
【００４２】
また、基準パターンとしては、健常者の視点の移動を表すパターン、および、発達障害者の視点の移動を表すパターンのいずれを用いてもよい。移動パターンが前者の基準パターンに適合する場合は、算出部３５３は、発達障害の程度が低いことを示すように評価値を算出すればよい。逆に、移動パターンが後者の基準パターンに適合する場合は、算出部３５３は、発達障害の程度が高いことを示すように評価値を算出すればよい。
【００４３】
また、基準パターンは、２つのエリア間の視点の移動のパターンに限られるものではない。３つ以上のエリア間の視点の移動のパターンを基準パターンとしてもよい。また、対象の動作部分が動作するパターン（動作パターン）に応じて定められる基準パターンを用いてもよい。
【００４４】
例えば、発達障害者は、対象者の目が動作した場合に、目を注視するが、目から視点を逸らして他の部分を注視する傾向がある。また、発達障害者は、口が動作した場合に、口を注視するが、再び目を注視することが少ないという傾向がある。従って、例えば、「口が動作する動作パターンの対象画像が表示されたときに、口エリアに視点が移動し、さらに移動後の所定時間以内に目エリアに視点が移動する」という基準パターンを用いてもよい。算出部３５３は、検出された移動パターンが、この基準パターンに適合する場合に、発達障害の程度が低いことを示す評価値を算出すればよい。
【００４５】
また、動作パターンに対する視点移動のタイミングも含めた基準パターンを用いてもよい。例えば、対象者の目が動作した後、所定時間経過までに視点が目エリアに移動した場合の評価値を、所定時間経過後に視点が目エリアに移動した場合より大きく（または小さく）するように構成してもよい。
【００４６】
表示制御部３５４は、表示部１０１に対する各種情報の表示を制御する。例えば、表示制御部３５４は、対象画像を表示部１０１に表示する。
【００４７】
制御部３００および制御部３００内の各部の一部または全部は、ハードウェアにより実現してもよいし、ＣＰＵなどにより実行されるソフトウェア（プログラム）により実現してもよい。
【００４８】
本実施形態の診断支援装置１００で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【００４９】
また、本実施形態の診断支援装置１００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の診断支援装置１００で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、本実施形態の診断支援装置１００で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【００５０】
本実施形態の診断支援装置１００で実行されるプログラムは、上述した各部を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部が主記憶装置上に生成されるようになっている。
【００５１】
次に、このように構成された第１の実施形態にかかる診断支援装置１００による診断支援処理について説明する。図７は、第１の実施形態における診断支援処理の一例を示すフローチャートである。
【００５２】
まず、制御部３００は、診断のための予め定められた計測期間を設定して、計測期間を監視するためのタイマ１と、停留時間を計測するタイマ２をクリアする（ステップＳ１０１）。次に、パターン検出部３５２は、対象画像の目の位置を検出し、目エリア（エリアＡ１）を決定する（ステップＳ１０２）。次に、パターン検出部３５２は、対象画像の口の位置を検出し、口エリア（エリアＡ２）を決定する（ステップＳ１０３）。パターン検出部３５２は、対象画像の顔エリア（エリアＡ３）を決定する（ステップＳ１０４）。
【００５３】
次に、視点検出部３５１は、被験者の視点検出を行う（ステップＳ１０５）。
【００５４】
次に、パターン検出部３５２は、ステップＳ１０５で検出された視点がいずれのエリアに存在するかを座標より決定する（ステップＳ１０６）。以下では、視点が存在するエリアを停留エリアともいう。
【００５５】
次に、パターン検出部３５２は、ＲＡＭ（Random  Access  Memory）などの記憶部（図示せず）に保存されていた前回の停留エリア（前回エリア）を読み出す（ステップＳ１０７）。初回の場合（前回エリアが保存されていない場合）は、今回視点が検出されたエリア（現エリア）を前回エリアとする。
【００５６】
パターン検出部３５２は、現エリアと前回エリアとが一致するか否かを判断する（ステップＳ１０８）。一致する場合は（ステップＳ１０８：Ｙｅｓ）、ステップＳ１１６に移る。一致しない場合は（ステップＳ１０８：Ｎｏ）、パターン検出部３５２は、タイマ２のスタートからの経過時間を保存する（ステップＳ１０９）。フレーム数を時間とする場合は、パターン検出部３５２は、フレーム数を経過時間として保存する。
【００５７】
次に、パターン検出部３５２は、停留時間（経過時間）が、所定値（閾値）を超えているかを判断する（ステップＳ１１０）。所定値以下の場合、すなわち注視とは言えない時間の場合は（ステップＳ１１０：Ｎｏ）、停留エリアであると判断しないようにするため、ステップＳ１１５に進む。図５の例では、例えば、口エリアから、目エリアへの移動中に横切った顔エリアを停留エリアから除外するための処理である。
【００５８】
所定値を超えた場合（ステップＳ１１０：Ｙｅｓ）、パターン検出部３５２は、前々回の停留エリア（前々回エリア）を読出す（ステップＳ１１１）。次に、パターン検出部３５２は、前々回エリア→前回エリアの移動パターンを、被験者の視点の移動パターンとして検出し、検出した移動パターンを保存する（ステップＳ１１２）。
【００５９】
次に、パターン検出部３５２は、タイマ２の経過時間を、前回エリアの停留時間として保存する（ステップＳ１１３）。次に、パターン検出部３５２は、次回の判断のために、前回エリアを前々回エリアとして、また、現エリアを前回エリアとして保存する（ステップＳ１１４）。
【００６０】
次に、制御部３００は、停留時間を計測しているタイマ２をクリアする（ステップＳ１１５）。制御部３００は、タイマ１と計測期間とを比較して、全体の計測が終了したか否かを判断する（ステップＳ１１６）。終了していない場合には（ステップＳ１１６：Ｎｏ）、ステップＳ１０２に戻る。
【００６１】
計測が終了した場合（ステップＳ１１６：Ｙｅｓ）、算出部３５３は、動作パターン、移動パターン、および停留時間による評価値算出処理を実行する（ステップＳ１１７）。評価値算出処理の詳細は後述する。最後に、算出部３５３は、評価値を保存して診断支援処理を終了する（ステップＳ１１８）。
【００６２】
図８は、第１の実施形態における診断支援処理の別の例を示すフローチャートである。図８の例は、図７と異なり、２フレームごとに各エリアの座標データ、視点の座標データ、経過時間、および、動作パターンを記憶部（図示せず）に保存しておいて、計測が終了してから、保存されていたデータを解析するものである。これにより、例えば処理能力の不足等で図７の処理（リアルタイムの処理）が実行できない場合であっても診断支援が可能となる。
【００６３】
まず、制御部３００は、診断のための計測期間を設定して、計測期間を監視するためのタイマ１をクリアする（ステップＳ２０１）。次に、パターン検出部３５２は、対象画像の目の位置を検出し、目エリア（エリアＡ１）を決定し、目エリアの座標データを保存する（ステップＳ２０２）。次に、パターン検出部３５２は、対象画像の口の位置を検出し、口エリア（エリアＡ２）を決定し、口エリアの座標データを保存する（ステップＳ２０３）。パターン検出部３５２は、対象画像の顔エリア（エリアＡ３）を決定し、顔エリアの座標データを保存する（ステップＳ２０４）。
【００６４】
次に、視点検出部３５１は、被験者の視点検出を行い、視点の座標データを保存する（ステップＳ２０５）。また、パターン検出部３５２は、タイマ１のスタートからの経過時間を保存する（ステップＳ２０６）。パターン検出部３５２は、２フレームの画像の比較等により、目エリアで目が動作したか否かを表す動作パターン、および、口エリアで口が動作したか否かを表す動作パターンを検出し、検出した動作パターンを保存する（ステップＳ２０７）。
【００６５】
制御部３００は、タイマ１と計測期間とを比較して、全体の計測が終了したか否かを判断する（ステップＳ２０８）。終了していない場合には（ステップＳ２０８：Ｎｏ）、ステップＳ２０２に戻る。終了した場合には（ステップＳ２０８：Ｙｅｓ）、ステップＳ２０９に進む。この時点で計測は終了する。
【００６６】
次に、制御部３００は、データ読出し期間を設定する（ステップＳ２０９）。そして、パターン検出部３５２は、対象画像の目エリアの座標データを読出し（ステップＳ２１０）、口エリアの座標データを読出し（ステップＳ２１１）、顔エリアの座標データを読出し（ステップＳ２１２）、視点の座標データを読出す（ステップＳ２１３）。
【００６７】
次に、パターン検出部３５２は、読み出した各座標データを用いて、視点が含まれるエリア（現エリア）を決定する（ステップＳ２１４）。そして、パターン検出部３５２は、前回エリアを読み出し（ステップＳ２１５）、現エリアと前回エリアとが一致するか否かを判断する（ステップＳ２１６）。一致する場合は（ステップＳ２１６：Ｙｅｓ）、ステップＳ２２２に進む。一致しない場合は（ステップＳ２１６：Ｎｏ）、パターン検出部３５２は、停留時間が所定値を超えているかを判断する（ステップＳ２１７）。停留時間は、例えば、前回エリアの最初のフレームから現エリアのフレームまでのフレーム数、または、このフレーム数に対応する時間として算出できる。
【００６８】
所定値以下の場合（ステップＳ２１７：Ｎｏ）、ステップＳ２２２に進む。所定値を超えていた場合（ステップＳ２１７：Ｙｅｓ）、パターン検出部３５２は、前々回エリアを読出す（ステップＳ２１８）。この時点で、パターン検出部３５２は、前々回エリア→前回エリアの移動パターンを、被験者の視点の移動パターンとして決定し、決定した移動パターンを保存する（ステップＳ２１９）。
【００６９】
また、パターン検出部３５２は、前回エリアの停留時間を保存する（ステップＳ２２０）。パターン検出部３５２は、次回の判断のために、前回エリアを前々回エリアとして、また、現エリアを前回エリアとして保存する（ステップＳ２２１）。この時点で、データの保存が終わる。
【００７０】
次に、制御部３００は、一連の処理が終わったか（データ読出し期間のデータの処理が完了したか）を判断し（ステップＳ２２２）、未終了の場合は（ステップＳ２２２：Ｎｏ）、ステップＳ２１０に戻る。終了した場合（ステップＳ２２２：Ｙｅｓ）、算出部３５３は、動作パターン、移動パターン、および停留時間による評価値算出処理を実行する（ステップＳ２２３）。算出部３５３は、評価値を保存して診断支援処理を終了する（ステップＳ２２４）。
【００７１】
図９は、検出された視点と移動パターンとの関係の一例を示すタイムチャートである。図９を用いて、停留時間が所定値を超えないときには注視と判断しない例について説明する（図７のステップＳ１１０および図８のステップＳ２１７）。
【００７２】
上のタイムチャートが、視点が検出されたエリアの動きを表す。横軸が時間を表す。視点が、その他→顔→口→顔・・・と移動している。ここで、時間軸の１メモリを、Δｔとして、所定値（閾値）をΔｔの２倍とする。この時、ｔ０１付近の視点の停留時間は、Δｔとなっており、所定値を超えていない。この動きは、注視とは言えないので除外する。
【００７３】
図７および図８のフローチャートでは、連続してΔｔの２倍以上の時間、同じエリアで視点が検出された時に、そのエリアを視点が停留した停留エリアとして確定させている。下のタイムチャートが、確定された停留エリアを表している。
【００７４】
図１０は、動作パターンと移動パターンとの関係の一例を示すタイムチャートである。図１０を用いて、評価値算出処理について説明する。横軸は時間を表すが、図９より時間軸は圧縮されて表示されている。
【００７５】
上のタイムチャートは、動作パターンを表す。動作パターンは、対象画像における各部分の動きのパターンである。図１０の動作パターンは、対象画像が動画である場合、または、観察対象が実物の母親などの場合のパターンである。
【００７６】
動作パターンＣ１は、目の部分が動くパターンである。例えば瞬きやウインクなどである。動作パターンＣ２は、口の部分が動くパターンである。例えば、話しかける動作や、口を任意に開けたり閉じたりする動作である。動作パターンＣ０は、いずれの部分も動いていない状態である。その他、背景に存在する物体（玩具など）の動作パターンを用いてもよい。
【００７７】
また、動作パターンは、既知の映像を使用する場合には経過時間ごとに決められるため、決められた動作パターンを使えばよい。任意の映像等の場合には、数フレームごとの差分画像などにより動作を検出してそれを使用してもよい。
【００７８】
上のタイムチャートは、まず、変化なしの状態（動作パターンＣ０）から、目の変化が起きて（動作パターンＣ１）、また変化がなくなり（動作パターンＣ０）、その後口の変化が起こったこと（動作パターンＣ２）を示している。
【００７９】
中段および下段の２つのタイムチャートは、このような動作パターンを含む映像に対して、注視点がどのように移動したかを示している。中段のタイムチャートは、健常者の注視点の移動の一例を模式化したタイムチャートである。図１０は、図９の下のタイムチャートのように、細かい動きを排除したタイムチャートとなっている。
【００８０】
図１０では、上からエリアＡ１〜エリアＡ４が並んでいる。対象の目が変化した動作パターンが発生したとき、被験者は、目を注視して、目の動きが止まった後も、また目を注視することを示す視点の移動パターンが発生する。また、口が変化した動作パターンが発生したとき、被験者は、口を注視するが、再び目を注視することを示す視点の移動パターンが発生する。また、口が変化した動作パターンが発生したとき、被験者は、口の変化が止まった後、所定時間（ｔ０）以内に目を注視することを示す視点の移動パターンが発生する。
【００８１】
本実施形態では、このような健常者の移動パターンが発生したときに、発達障害の程度が低いことを表す評価値が算出される。例えば、このような健常者の移動パターンを基準パターンとして定めておき、検出された移動パターンが基準パターンと一致したときに、発達障害の程度が低いことを表す評価値が算出される。
【００８２】
下段のタイムチャートは、発達障害の傾向のある被験者の注視点の移動の一例を模式化したタイムチャートである。このような被験者の場合、対象の目が変化した動作パターンが発生したとき、目を注視するが、目から視点を逸らして他の部分を注視する傾向がある。また、口が変化した動作パターンが発生したとき、口を注視するが、再び目を注視することが少なくなる傾向がある。
【００８３】
図１１および図１２は、評価結果の一例を示す図である。なお、図１１および図１２では、値が大きいほど発達障害の程度が低いことを示す評価値を用いる例が示される。
【００８４】
図１１は、健常者の評価結果の例を示す。図１１は、図１０の中段の移動パターンに対応する評価結果の例を表している。図１０の中段には、視点の移動パターン（Ｍ１０、Ｍ２、Ｍ７、Ｍ２、Ｍ７・・・）が１５個含まれる。図１１は、移動パターンが検出された順番と、移動パターンと、停留時間と、動作パターンと、４つの評価値（評価１〜評価４）とを対応づけた評価結果を示している。停留時間は、各移動パターンに対して求められた停留時間である。図１１では説明の便宜上、停留時間を整数で表しているが、停留時間の単位は任意である。動作パターンは、移動パターンが発生したときの動作パターンである。
【００８５】
評価１は、移動パターンが、目エリア以外のエリアから目エリアに移動する基準パターンに適合する場合に１が設定され、それ以外の場合は０が設定される。すなわち、移動パターンがＭ４、Ｍ７、および、Ｍ１０の場合に評価１＝１が設定される。
【００８６】
評価２は、動作パターンで変化（動作）したことが示されるエリアと移動後の視点のエリアとが一致していない場合、評価１の値を２倍した値が設定される。すなわち、算出部３５３は、検出された移動パターンが、「動作部分が動作する動作パターンが発生したときに、当該動作部分を含まないエリアに視点が移動する」ことを示す基準パターンに適合する場合に、発達障害の程度が低いことを示す評価値を算出する。動いている部分に対して、その部分を見るのは、障害の影響を受け難い。逆に、発達障害者は、動いている部分を見ずに他の部分に視点を移動する可能性が低い。このため、変化した部分を含むエリアと視点の移動後のエリアとが一致しない場合の評価を２倍としている。
【００８７】
評価３は、目以外（口）が変化したあと、所定時間（ｔ０）以内に目エリアに視点が移動した場合に、値３が設定される。
【００８８】
評価４は、評価２＋評価３に停留時間を加算した値である。目に対して注視する時間（停留時間）が長いほど、障害が少ないと考えられるためである。
【００８９】
図１２は、発達障害の可能性がある被験者の評価結果の例を示す。図１２は、図１０の下段の移動パターンに対応する評価結果の例を表している。健常者に対して、下記の差が生じている。
評価１：７→２
評価２：１２→３
評価３：６→０
評価４：４５→７
【００９０】
評価値の間に、閾値を設け、評価値が閾値を超えたか否かにより、診断支援を行うことが可能になる。なお、評価値ごとに閾値を設けてもよいし、合計値に相当する評価４のみに対して閾値を設けてもよい。
【００９１】
（第２の実施形態）
第１の実施形態では、観察対象の画像（対象画像）を表示部に表示して被験者の発達障害を診断する例を説明した。第２の実施形態では、表示部に表示される対象画像ではなく、直接観察対象（対象者）の目を見るか否かにより診断支援する例を説明する。この方法でも、対象者を撮影した映像と、被験者の視点より、エリア設定および視点の移動などの判断が可能である。
【００９２】
図１３は、第２の実施形態の診断支援装置の外観構成の一例を示す斜視図である。図１３に示すように、第２の実施形態の診断支援装置１００−２は、筐体１３１と、ステレオカメラ１０２ａ、１０２ｂと、較正用ＬＥＤ１０４ａ〜１０４ｃと、スピーカ１０５と、ボタン１０６と、赤外線通信部１０７と、コネクタ１０８と、を備えている。
【００９３】
ステレオカメラ１０２ａ、１０２ｂは、赤外線によるステレオ撮影が可能な撮像部である。ステレオカメラ１０２ａ、１０２ｂは、それぞれ第１の実施形態のステレオカメラ１０２と同様の構成を備える。２組のステレオカメラ１０２ａ、１０２ｂは、互いに撮像面が反対方向となるように設置される。これにより、ステレオカメラ１０２ａ、１０２ｂが、それぞれ対面する被験者（例えば幼児）と対象者（例えば母親）の顔を撮影できるようになっている。以下、区別する必要がない場合は、ステレオカメラ１０２ａ、１０２ｂを単にステレオカメラ１０２という場合がある。
【００９４】
較正用ＬＥＤ１０４ａ〜１０４ｃは、較正用の注視点となるＬＥＤである。なお、このＬＥＤを用いる較正処理は、個人ごとの目の特性に応じて視線検出のための計算パラメータを修正するための較正処理（視線検出用較正）であり、ステレオカメラ１０２の内部パラメータおよび外部パラメータの較正処理（カメラ較正）とは異なる。視線検出用較正時に被験者に注視させる必要があるため、較正用ＬＥＤ１０４ａ〜１０４ｃは、可視光を発光するＬＥＤ光源である。
【００９５】
スピーカ１０５は、視線検出用較正時に被験者に注意を促すための音声、および、測定結果を示す音声などを出力する。ボタン１０６は、例えば診断支援装置１００−２の操作者が、測定開始を指示するためのボタンである。なお、ボタン１０６は操作のためのインタフェースの一例であり、操作インタフェースとしては他のあらゆるインタフェースを適用できる。例えば、複数のボタンを備えるように構成してもよい。また、タッチパネル、キーボード、およびマウスなどのインタフェースを適用してもよい。
【００９６】
赤外線通信部１０７は、外部装置との間で赤外線通信を行うためのインタフェースである。赤外線通信部１０７は、例えば、較正装置を用いてステレオカメラ１０２を較正（カメラ較正）するときに、較正装置との間でデータを送受信するときに利用される。なお、通信は赤外線通信に限られるものではなく、他の無線通信方式、および、有線通信方式などを用いてもよい。
【００９７】
コネクタ１０８は、測定結果の数値および画像などを表示するモニタ（表示部２１０）を接続する場合のコネクタである。
【００９８】
図１４は、診断支援装置１００−２の詳細な機能の一例を示すブロック図である。図１４に示すように、制御部３００−２には、表示部２１０と駆動・ＩＦ部２０８−２が接続される。駆動・ＩＦ部２０８−２は、カメラＩＦ３１４、３１５、３１７、３１８と、ＬＥＤ駆動制御部３１６−２と、ＬＥＤ駆動部３２０ａ〜３２０ｃと、スピーカ駆動部３２２と、を含む。図１４に示すように、第２の実施形態では、対象画像を表示する表示部１０１を備える必要がない。
【００９９】
ＬＥＤ駆動制御部３１６−２は、赤外ＬＥＤ光源２０３ａ、２０５ａ、２０３ｂ、２０５ｂを駆動する。赤外ＬＥＤ光源２０３ａ、２０５ａ、２０３ｂ、２０５ｂは、それぞれ波長が異なるＬＥＤを含んでいる。
【０１００】
赤外ＬＥＤ光源２０３ａは、波長１−ＬＥＤ３０３と、波長２−ＬＥＤ３０４と、を備えている。赤外ＬＥＤ光源２０５ａは、波長１−ＬＥＤ３０５と、波長２−ＬＥＤ３０６と、を備えている。赤外ＬＥＤ光源２０３ｂは、波長１−ＬＥＤ３０７と、波長２−ＬＥＤ３０８と、を備えている。赤外ＬＥＤ光源２０５ｂは、波長１−ＬＥＤ３０９と、波長２−ＬＥＤ３１０と、を備えている。
【０１０１】
波長１−ＬＥＤ３０３、３０５、３０７、３０９は、波長１の赤外線を照射する。波長２−ＬＥＤ３０４、３０６、３０８、３１０は、波長２の赤外線を照射する。
【０１０２】
ＬＥＤ駆動部３２０ａ〜３２０ｃは、それぞれ較正用ＬＥＤ１０４ａ〜１０４ｃを駆動する。スピーカ駆動部３２２は、スピーカ１０５を駆動する。
【０１０３】
駆動・ＩＦ部２０８−２には、カメラＩＦ３１４、３１５、３１７、３１８を介して、それぞれ、右カメラ２０２ａ、左カメラ２０４ａ、右カメラ２０２ｂ、左カメラ２０４ｂが接続される。駆動・ＩＦ部２０８−２がこれらのカメラを駆動することにより、被験者や対象者を撮像する。
【０１０４】
右カメラ２０２ａからはフレーム同期信号が出力される。フレーム同期信号は、左カメラ２０４ａと、ＬＥＤ駆動制御部３１６−２とに入力される。これにより、第１フレームで、タイミングをずらして左右の波長１の赤外線光源（波長１−ＬＥＤ３０３、波長１−ＬＥＤ３０５）を発光させ、それに対応して左右カメラ（右カメラ２０２ａ、左カメラ２０４ａ）による画像を取り込み、第２フレームで、タイミングをずらして左右の波長２の赤外線光源（波長２−ＬＥＤ３０４、波長２−ＬＥＤ３０６）を発光させ、それに対応して左右カメラ（右カメラ２０２ａ、左カメラ２０４ａ）による画像を取り込むように制御できる。
【０１０５】
例えば、右カメラ２０２ａ、左カメラ２０４ａ、赤外ＬＥＤ光源２０３ａ、赤外ＬＥＤ光源２０５ａが、被験者用のモジュールであり、右カメラ２０２ｂ、左カメラ２０４ｂ、赤外ＬＥＤ光源２０３ｂ、赤外ＬＥＤ光源２０５ｂが、対象者用のモジュールである。
【０１０６】
対象者用のモジュールでは、発光および撮像は、第３フレームおよび第４フレームで実施する。このように、４フレームをサイクルとして撮像を行っていく。また、１フレーム内において、カメラの高速シャッター機能と赤外線短時間発光を組み合わせて、２種類の波長それぞれが干渉しないようにして撮像することも可能である。
【０１０７】
制御部３００−２は、第１の実施形態と同様の視点検出部３５１、パターン検出部３５２、および、算出部３５３に加えて、位置検出部３５４と、変換部３５５と、較正部３５６と、を備えている。
【０１０８】
位置検出部３５４は、対象者用のモジュール（ステレオカメラ１０２ｂ）で撮影された画像から、対象者の目の位置を検出する。対象者の目の位置は、例えば、視点検出部３５１が瞳孔の位置を算出する方法と同様の方法により検出できる。
【０１０９】
なお、対象者の目の位置の検出方法はこれに限られるものではない。例えば、赤外線ではなく、可視光を用いて撮影した画像を解析することにより、対象者の目の位置を検出してもよい。
【０１１０】
変換部３５５は、２組のステレオカメラ１０２ａ、１０２ｂそれぞれが用いる座標系間の変換を行う。被験者の視線方向および対象者の目の位置は、それぞれ座標系が異なるステレオカメラ（ステレオカメラ１０２ａ、ステレオカメラ１０２ｂ）で撮影された画像から検出され、異なる座標系の座標値で表される。このため、変換部３５５が、両座標系間の座標値の変換を行う。
【０１１１】
較正部３５６は、視線方向を検出するために用いる計算パラメータを較正（視線検出用較正）する。一般に個人ごとに目の光軸と視線方向とが異なる。このため、光軸と視線方向が一致するように補正する必要があるためである。視線検出用較正処理では、所定の座標系上で既知である所定の位置（例えば較正用ＬＥＤ１０４ａ〜１０４ｃ）を被験者に注視させて、その時の瞳孔の中心（瞳孔の位置）と角膜反射位置とを測定する。そして、較正部３５６は、測定された瞳孔の位置と角膜反射位置とから求められる視線方向が、所定の位置に向くように、視線検出のための計算パラメータを修正する。
【０１１２】
所定の位置は、例えば１点、２点、および３点のいずれかが設定される。本実施形態の例では、例えば較正用ＬＥＤ１０４ａのみ（１点）、較正用ＬＥＤ１０４ａおよび１０４ｂ（２点）、および、較正用ＬＥＤ１０４ａ〜１０４ｃ（３点）などが設定される。点数が少ないほど、較正時間が短く、点数が多いほど高精度となる傾向がある。
【０１１３】
なお、対象者については、目の位置検出だけでよいので視線検出用較正は不要である。また、較正部３５６は、ステレオカメラ１０２の内部パラメータおよび外部パラメータの較正処理（カメラ較正）を行う。
【０１１４】
図１５は、対象者の目の位置と被験者の視点検出を説明するための図である。上述のように、視点検出部３５１は、被験者の瞳孔位置および角膜反射位置から、被験者の視線方向を検出する。位置検出部３５４は、対象者の目の位置（瞳孔位置）を検出する。瞳孔位置は、ステレオカメラ１０２ａおよび１０２ｂが共通に用いる座標系（共通座標系）で表現される。また、被験者の目の位置（瞳孔位置）および視線方向（視線ベクトルなど）も、共通座標系で表現される。このため、パターン検出部３５２は、各エリアの共通座標系での座標値と、視点検出部３５１により検出された視点の共通座標系での座標値と、を比較することにより、視点の移動パターンを検出することができる。なお、本実施形態では、パターン検出部３５２が、対象者を撮像した画像を対象画像とし、この対象画像を複数のエリアに分割するように構成すればよい。
【０１１５】
このように、第２の実施形態では、対象者用のモジュール（ステレオカメラ１０２ｂ）で撮像された画像を、第１の実施形態の対象画像として用いて、第１の実施形態と同様の方法で診断支援処理を実行することができる。
【０１１６】
以上のように、第１および第２の実施形態によれば、例えば以下のような効果が得られる。
（１）視点の位置だけでなく、視点の移動も判断することにより高精度の発達障害診断を実現することができる。
（２）目の動作、および、目以外の部分の動作に対応した視点の移動も判断することにより高精度の発達障害診断を実現することができる。
（３）注視と解釈すべきでない細かい視点の動きを排除できる。
【符号の説明】
【０１１７】
１００  診断支援装置
１０１  表示部
１０２  ステレオカメラ
１０５  スピーカ
１０６  ボタン
１０７  赤外線通信部
１０８  コネクタ
１３１  筐体
２０２  右カメラ
２０３、２０５  赤外ＬＥＤ光源
２０４  左カメラ
２０８  駆動・ＩＦ部
２１０  表示部
３００  制御部
３５１  視点検出部
３５２  パターン検出部
３５３  算出部
【図１】
0005838894.tif 000002
【図２】
0005838894.tif 000003
【図３】
0005838894.tif 000004
【図４】
0005838894.tif 000005
【図５】
0005838894.tif 000006
【図６】
0005838894.tif 000007
【図７】
0005838894.tif 000008
【図８】
0005838894.tif 000009
【図９】
0005838894.tif 000010
【図１０】
0005838894.tif 000011
【図１１】
0005838894.tif 000012
【図１２】
0005838894.tif 000013
【図１３】
0005838894.tif 000014
【図１４】
0005838894.tif 000015
【図１５】
0005838894.tif 000016