(57)【要約】【課題】回想療法に必要な事前準備や実施の時間を自動化によって低減する。【解決手段】制御装置１は、ユーザＵにより使用される画像提示装置２およびロボット３を制御する制御装置であって、ユーザＵによる発話およびユーザＵが向ける注意の方向に基づいて、制御装置１の動作モードを回想促進モード、対話モードおよび表示画像対話モードの中で切り替え、画像提示装置２およびロボット３を連動させて制御する。【選択図】図１
2016093279.tif 000002
【特許請求の範囲】
【請求項１】
ユーザにより使用される画像提示装置およびロボットを制御する制御装置であって、
前記ユーザによる発話および前記ユーザが向ける注意の方向に基づいて、前記制御装置の動作モードを回想促進モード、対話モードおよび表示画像対話モードの中で切り替え、前記画像提示装置および前記ロボットを連動させて制御する手段
を備えることを特徴とする制御装置。
【請求項２】
前記回想促進モードのときは、前記ロボットが前記ユーザに向くように制御し、前記ユーザに回想を開始させるための質問文を前記ロボットが発話するように制御し、
前記対話モードのときは、前記ユーザの発話から得た検索単語列により検索した画像を前記画像提示装置が切り替えて表示するように制御し、前記ロボットが前記ユーザに向くように制御し、前記ユーザに傾聴している動作を前記ロボットが実行するように制御し、
前記表示画像対話モードのときは、前記ユーザの発話から得た検索単語列により検索した画像を前記画像提示装置が継続して表示するように制御し、前記継続して表示される前記画像を表示する前記画像提示装置の方に前記ロボットが向くように制御し、前記検索単語列に応じた発話テキストを前記ロボットが発話するように制御する
ことを特徴とする請求項１記載の制御装置。
【請求項３】
前記回想促進モードのときは、前記ユーザの発話を検知した場合は、前記対話モードに遷移し、
前記対話モードのときは、前記ユーザが前記画像提示装置に注意を向けることを開始したと検知した場合は、前記表示画像対話モードに遷移する一方、前記ユーザの発話が一定時間以上ないことを検知した場合は、前記回想促進モードに遷移し、
前記表示画像対話モードのときは、前記ユーザが前記画像提示装置に注意を向けることを終了したと検知した場合は、前記対話モードに遷移する一方、前記ユーザの発話が一定時間以上ないことを検知した場合は、前記回想促進モードに遷移する
ことを特徴とする請求項１または２記載の制御装置。
【請求項４】
前記対話モードにおいて、
前記ユーザによる対話が停止している区間の長さが、予め定められた第１の閾値より長いという第１の条件と、前記ユーザの顔または視線の少なくとも一方が前記画像提示装置に向いており且つ前記ユーザによる対話が継続している区間の長さが、予め定められた第２の閾値より長いという第２の条件とが充足した場合に、前記ユーザが前記画像提示装置に注意を向けることを開始したと判定する
ことを特徴とする請求項３記載の制御装置。
【請求項５】
前記表示画像対話モードにおいて、
前記ユーザの顔または視線の少なくとも一方が前記画像提示装置に向いている状態が終了したことを検知してからの時間の長さが、予め定められた閾値より長いという条件が充足した場合に、前記ユーザが前記画像提示装置に注意を向けることを終了したと判定する
ことを特徴とする請求項３記載の制御装置。
【請求項６】
ユーザにより使用される画像提示装置およびロボットを制御する制御装置の動作方法であって、
前記制御装置が、前記ユーザによる発話および前記ユーザが向ける注意の方向に基づいて、前記制御装置の動作モードを回想促進モード、対話モードおよび表示画像対話モードの中で切り替え、前記画像提示装置および前記ロボットを連動させて制御する
ことを特徴とする制御装置の動作方法。
【請求項７】
請求項１ないし５のいずれかに記載の制御装置としてコンピュータを機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、回想療法に必要な事前準備や実施の時間を自動化によって低減することを目的としてなされた画像提示装置およびロボットの制御技術に関するものである。
【背景技術】
【０００２】
従来、回想療法を実施する際は、療法を行う高齢者に対して適切な質問を投げかけたり、高齢者の会話を促すきっかけとなる写真を提示したり、高齢者の対話に対して適切な頷きや相槌を打ったりなどを行うことで、高齢者が対話を継続しやすい状態を演出する必要があった。そのため、回想療法を実施するスキルを持った人材（セラピスト）の形成、回想療法を実施するためのセラピストの稼働の確保、高齢者の会話を促すための写真の準備など、実施のために多くの人的リソースを必要としていた。
【０００３】
従来技術において、回想療法を支援する方法の１つとして非特許文献1のような、思い出ビデオと遠隔TV電話による回想療法支援が提案されている。非特許文献１の手法では、高齢者の昔の写真をスライドショーにした思い出ビデオを遠隔地からセラピストが操作しながら回想療法を実施することで、セラピストが直接対面することなく離れた場所からの回想療法を実現している。しかしながら、本手法に必要な思い出ビデオの作成には、あらかじめ高齢者と関係のある写真を選び、写真をPCに取り込んだあとで写真の地名や人名、撮影日時などをアノテーションデータとして取り込む必要がある。そのため、回想療法を実施する各個人に向けた思い出ビデオの作成は容易ではなく実施における課題の１つとなっていた。また遠隔TV電話による回想療法の実施は、セラピストが直接高齢者宅に訪れる必要が無くなった点で移動に必要な時間を削減できる一方、回想療法実施時には遠隔地でセラピストが療法を実施する必要があり、依然として人的稼働を必要にする点で課題が残っていた。
【０００４】
また特許文献１では、回想療法を受ける各ユーザに対して、”いつ”を示す時間属性と、”どこで”を示す空間属性と、”何を”を示す対象属性と、”どうしたのか”を示す行動属性とのそれぞれの値をイベントデータベースとして登録することで、イベントデータベースから質問文を生成し、質問をユーザに実施することで回想療法を実施する方法が提案されている。しかしながら、本手法は各ユーザの行動をイベントデータベースに登録する必要があり、自動取得のためには各種センサをユーザや環境に取り付けるなどの方法を取る必要がある。さらに、自動取得する場合においても“何を”を示す対象属性と“どうしたのか”を示す行動属性を自動取得することは一般に容易ではない。そのため、ユーザまたは環境にイベント自動抽出のためのセンサ機器などの設備を十分に整えるか、介護者による日々のイベントの登録を各ユーザ毎に行う必要があり、課題が残っていた。
【０００５】
また従来技術では人間同士における対話の内容に応じて画像表示装置で表示する画像を切り替える[特許文献2]のような発明の提案が行われていた。しかしながら、これら従来技術を回想療法に適用する場合、回想を行いやすくする画像刺激を予め用意せずとも会話に応じて高齢者に画像刺激が提供できる利点があるが、回想療法の実施中はセラピストが高齢者に付き添う必要があり、また高齢者が表示された画像に対して話を展開したい場合にも画像表示が切り替わってしまうため、付添者または高齢者自身が端末を操作する必要があり、どちらかが装置の利用方法を覚え、会話の流れを停止しないように適切に各々が操作をする必要があった。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−９２３５８号公報
【特許文献２】特開２００９−２９４８６６号公報
【非特許文献】
【０００７】
【非特許文献１】TV電話とコンテンツ共有を用いた高齢者への遠隔からの対話や回想法を可能とするシステムの実現と評価．ヒューマンインタフェース学会論文誌 9(2), 111-122, 2007．
【非特許文献２】Dirichlet事前分布を用いた音声区間検出の検討．電子情報通信学会技術研究報告. NLC, 言語理解とコミュニケーション 109(355), 65-70, 2009．
【非特許文献３】日本語文章に含まれる固有用語の自動抽出方式．全国大会講演論文集第41回平成2年後期，227-228，1990
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、回想療法に必要な事前準備や実施の時間を自動化によって低減することにある。
【課題を解決するための手段】
【０００９】
上記の課題を解決するために、第１の本発明は、ユーザにより使用される画像提示装置およびロボットを制御する制御装置であって、前記ユーザによる発話および前記ユーザが向ける注意の方向に基づいて、前記制御装置の動作モードを回想促進モード、対話モードおよび表示画像対話モードの中で切り替え、前記画像提示装置および前記ロボットを連動させて制御する手段を備えることを特徴とする。
【００１０】
例えば、前記回想促進モードのときは、前記ロボットが前記ユーザに向くように制御し、前記ユーザに回想を開始させるための質問文を前記ロボットが発話するように制御し、前記対話モードのときは、前記ユーザの発話から得た検索単語列により検索した画像を前記画像提示装置が切り替えて表示するように制御し、前記ロボットが前記ユーザに向くように制御し、前記ユーザに傾聴している動作を前記ロボットが実行するように制御し、前記表示画像対話モードのときは、前記ユーザの発話から得た検索単語列により検索した画像を前記画像提示装置が継続して表示するように制御し、前記継続して表示される前記画像を表示する前記画像提示装置の方に前記ロボットが向くように制御し、前記検索単語列に応じた発話テキストを前記ロボットが発話するように制御する。
【００１１】
例えば、前記回想促進モードのときは、前記ユーザの発話を検知した場合は、前記対話モードに遷移し、前記対話モードのときは、前記ユーザが前記画像提示装置に注意を向けることを開始したと検知した場合は、前記表示画像対話モードに遷移する一方、前記ユーザの発話が一定時間以上ないことを検知した場合は、前記回想促進モードに遷移し、前記表示画像対話モードのときは、前記ユーザが前記画像提示装置に注意を向けることを終了したと検知した場合は、前記対話モードに遷移する一方、前記ユーザの発話が一定時間以上ないことを検知した場合は、前記回想促進モードに遷移する。
【００１２】
例えば、前記対話モードにおいて、前記ユーザによる対話が停止している区間の長さが、予め定められた第１の閾値より長いという第１の条件と、前記ユーザの顔または視線の少なくとも一方が前記画像提示装置に向いており且つ前記ユーザによる対話が継続している区間の長さが、予め定められた第２の閾値より長いという第２の条件とが充足した場合に、前記ユーザが前記画像提示装置に注意を向けることを開始したと判定する。
【００１３】
例えば、前記表示画像対話モードにおいて、前記ユーザの顔または視線の少なくとも一方が前記画像提示装置に向いている状態が終了したことを検知してからの時間の長さが、予め定められた閾値より長いという条件が充足した場合に、前記ユーザが前記画像提示装置に注意を向けることを終了したと判定する。
【００１４】
第２の本発明は、ユーザにより使用される画像提示装置およびロボットを制御する制御装置の動作方法であって、前記制御装置が、前記ユーザによる発話および前記ユーザが向ける注意の方向に基づいて、前記制御装置の動作モードを回想促進モード、対話モードおよび表示画像対話モードの中で切り替え、前記画像提示装置および前記ロボットを連動させて制御する。
【００１５】
第３の本発明は、第１の本発明に係る制御装置としてコンピュータを機能させるためのコンピュータプログラムである。
【発明の効果】
【００１６】
本発明によれば、回想療法に必要な事前準備や実施の時間を自動化によって低減することができる。
【図面の簡単な説明】
【００１７】
【図１】本実施の形態に係る制御装置の概略構成を示すブロック図である。
【図２】制御装置１および他の機器の配置を示す図である。
【図３】回想促進モードでの動作例を示す図である。
【図４】対話モードでの動作例を示す第１の図である。
【図５】対話モードでの動作例を示す第２の図である。
【図６】対話モードでの動作例を示す第３の図である。
【図７】表示画像対話モードでの動作例を示す図である。
【図８】動作モードの遷移例を示す図である。
【図９】動作モードの遷移図である。
【図１０】ユーザＵが画像提示装置２に注意を向けることを開始したことの検知に用いる変数を示す図である。
【図１１】ユーザＵが画像提示装置２に注意を向けることを終了したことの検知に用いる変数を示す図である。
【図１２】回想開始質問文記憶装置１０８の情報の構成を示す図である。
【図１３】収集画像記憶装置１０９の情報の構成を示す図である。
【図１４】現在動作モード記憶装置１１１の情報の構成を示す図である。
【図１５】注意対象結果記憶装置１１０の情報の構成を示す図である。
【図１６】音声認識器１０１の処理のフローチャートである。
【図１７】検索単語抽出器１０２の処理のフローチャートである。
【図１８】注意対象判定器１０５の処理のフローチャートである。
【図１９】動作モード判定器１０６の処理のフローチャートである。
【図２０】対話関連画像検索器１０３の処理のフローチャートである。
【図２１】ロボット動作生成器１０７の処理のフローチャートである。
【図２２】表示画像操作器１０４の処理のフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態について図面を参照して説明する。
【００１９】
本実施の形態では、少ない事前準備で、かつ回想療法実施時にセラピストを必要せず注意に応じて適切に表示内容を切り替える手法を提案する。
【００２０】
図１は、本実施の形態に係る制御装置１の概略構成を示すブロック図である。図２は、制御装置１および他の機器の配置を示す図である。
【００２１】
制御装置１は、ユーザＵにより使用される画像提示装置２およびロボット３を制御する装置であって、ユーザＵによる発話およびユーザＵが向ける注意の方向に基づいて、制御装置１の動作モードを回想促進モード、対話モードおよび表示画像対話モードの中で切り替え、画像提示装置２およびロボット３を連動させて制御する。
【００２２】
制御装置１は、その制御を行うために、マイク４、画像提示装置側のカメラ５、ロボット側のカメラ６、外部画像検索装置７に対し、ケーブルや通信回線（インターネットなど）を介して接続される。カメラ５は、画像提示装置２に十分近い位置に配置されるものとする。カメラ６は、ロボット３に十分近い位置に配置されるものとする。マイク４は、指向性を持ち、ロボット３が発話する音声は計測しないものとする。外部画像検索装置７は、１台に限定しないものとする。
【００２３】
マイク４は、ユーザＵの音声を取得するものである。カメラ５、６は、ユーザＵの顔・視線方向を計測するためのものであり、Ｗｅｂカメラや、深度計測可能なカメラなどである。ロボット３は、音声出力および顔の向きの調整が可能なものである。なお、制御装置１、画像提示装置２、マイク４、カメラ５、６は、ロボット３に含まれていてもよい。また、カメラ５、６は、顔の方向と視線方向の一方を計測するために用いてもよい。また、ロボット３の音声は別の装置から出力してもよい。
【００２４】
制御装置１は、取得されたユーザの音声に対し音声認識を行う音声認識器１０１と、音声認識結果に対して検索単語を抽出する検索単語抽出器１０２と、外部画像検索装置７に対して検索単語による画像検索を行い結果を取得する対話関連画像検索器１０３と、検索結果の画像を画像提示装置２に表示する表示画像操作器１０４と、ユーザＵの注意対象を判定する注意対象判定器１０５と、入力に応じて画像提示装置２とロボット３の動作を変更する動作モード判定器１０６と、ロボット３を操作するロボット動作生成器１０７と、ロボット３が質問を行う際に参照する回想開始質問文記憶装置１０８と、外部画像検索装置７から取得した画像が記憶される収集画像記憶装置１０９と、注意対象結果を記憶する注意対象結果記憶装置１１０と、現在の動作モードを記憶する現在動作モード記憶装置１１１とを備える。
【００２５】
音声認識器１０１からロボット動作生成器１０７までは、ソフトウェアモジュールであり、その他は、制御装置１内の記憶装置（ハードウェア）である。検索単語抽出器１０２は、例えば、音声認識結果の文章から固有名詞を抽出する機能を有する。
【００２６】
制御装置１は、動作モードを回想促進モード、対話モード、表示画像対話モードのいずれかに切り替えて動作し、各動作モードに応じて画像提示装置２、ロボット３の動作を変更する。
【００２７】
図３は、回想促進モードでの動作例を示す図である。図４、図５、図６は、対話モードでの動作例を示す図である。図７は、表示画像対話モードでの動作例を示す図である。図８は、動作モードの遷移例を示す図である。図９は、動作モードの遷移図である。
【００２８】
回想促進モードの際、制御装置１は、ロボット３の顔がユーザＵに向くように制御し、前記ユーザに回想を開始させるための質問文をロボット３が発話するように制御する。
【００２９】
回想促進モードは、ユーザＵの発話が検知されていない限り継続し、ロボット３はユーザＵの顔・視線の存在を検知し、ユーザＵに対して回想のきっかけとなる質問の発話を行う（図３（１））。
【００３０】
回想促進モードでは、ロボット３は例えば、「子供の頃旅に行った場所で１番楽しかった場所について教えてよ」のような質問対話をユーザＵに投げかける。ロボット３の質問に対してユーザＵが返答の発話を行った場合は、動作モードを対話モードに推移させる。
【００３１】
対話モードでは、制御装置１が、ユーザＵの発話により得た検索単語列により検索した画像を画像提示装置２が切り替えて表示するように制御し、ロボット３の顔がユーザＵに向くように制御し、ユーザに傾聴している動作をロボット３が実行するように制御する。
【００３２】
対話モードは、ユーザＵの発話が検知されている限り継続し、ユーザＵの発話文から検索単語を抽出し（図４（２））、検索単語を元に画像検索を実施（図５（４））、検索結果の画像を画像提示装置２に一定時間表示する。1つの検索単語から複数の画像が検索結果として得られた場合は、一定時間で複数の検索結果の画像を切り替える（図６（５））。発話文中に複数の検索単語が抽出された場合は、其々で画像検索を実施、得られた複数の検索単語による複数の検索結果の画像を一定時間で切り替え表示する（図６（５））。
【００３３】
また、対話モードでは、ロボット３はユーザＵの発話に対してうなずきや相槌、認識した単語のオウム返しから構成される傾聴動作を実施する（図４（３））。
【００３４】
対話モードにおいて、一定時間以上のユーザＵによる発話停止を検知した場合は動作モードを回想促進モードに戻す（図8（１０））。また、対話モードにおいて、ユーザＵが画像提示装置２に注意を向けたことを検知した場合は、動作モードを表示画像対話モードに移行する。
【００３５】
表示画像対話モードでは、制御装置１は、ユーザＵの発話により得た検索単語列により検索した画像を画像提示装置２が継続して表示するように制御し、継続して表示される画像を表示する画像提示装置２にロボット３の顔が向くように制御し、検索単語列に応じた発話テキストをロボット３が発話するように制御する。
【００３６】
表示画像対話モードは、ユーザＵの表示画像に対する注意を検知する限り継続する。表示画像対話モードでは、画像提示装置２の画像切り替えを停止し、注意が画像提示装置２に向いたと判定されたタイミングでの画像提示を維持する（図７（６））。
【００３７】
また、表示画像対話モードでは、ロボット３も表示画像に応じた発話、動作を実施する。表示画像に応じた発話、動作では、ロボット３の視線方向（顔やロボット全体）を画像提示装置２に向ける、ロボット３が現在表示されている画像の検索単語「Ｎ」を用いて“これはＮなの？ もっとこれのお話聞きたい”のような質問文を生成し、ロボット３に発話させる。
【００３８】
表示画像対話モードでは、提示内容が停止した時は提示内容に応じた発話動作に切り替える（図７（７））。
【００３９】
また、表示画像対話モードでは、ユーザＵの画像提示装置２への注意の終了を検知した場合は、動作モードを対話モードに戻し、画像の切り替えを再開する（図8（８））。また、対話モードでは、うなずきや相槌やオウム返しなどの傾聴動作を実施する（図８（９））。
【００４０】
また、表示画像対話モードでは、ユーザＵの会話が一定時間停止したことを検知した場合は、動作モードを回想促進モードに戻し、回想のきっかけとなる質問の発話を行う（図8（１０））。
【００４１】
上記のように、回想促進モードのときは、ユーザＵの発話を検知した場合は、対話モードに遷移する。
【００４２】
また、対話モードのときは、ユーザＵが画像提示装置２に注意を向けることを開始したと検知した場合は、表示画像対話モードに遷移する一方、ユーザＵの発話が一定時間以上ないことを検知した場合は、回想促進モードに遷移する。
【００４３】
また、表示画像対話モードのときは、ユーザＵが画像提示装置２に注意を向けることを終了したと検知した場合は、対話モードに遷移する一方、ユーザＵの発話が一定時間以上ないことを検知した場合は、回想促進モードに遷移する。
【００４４】
制御装置１は、上記の各動作モードとモード遷移に加えて、ユーザＵの注意対象が表示画像に向けられたことを判定するアルゴリズムを持つ。一般的に人は対話中に対話内容の思考や、対話相手との親密度の調整や、会話番を保持するため、視線を対話相手から外す行為を行うことが知られている。そのため、単純に視線方向がロボット３から外れ画像提示装置２に向けられたか否かを注意対象判断の基準とすると、ユーザＵが表示画像に対して注意を向けていないのにもかかわらず表示画像に注意が向けられたと誤判定してしまう可能性が高まる。そこで、ユーザＵの表示画像への注意遷移検知の精度を向上させるためのアルゴリズムを用いる。
【００４５】
図１０は、ユーザＵが画像提示装置２に注意を向けることを開始したことの検知に用いる変数を示す図である。
【００４６】
本アルゴリズムには、２つのスレッショルド値（閾値）と2つの変数を用いる。対話切り替え区間判定スレッショルドｔＴｎｅｘｔと、表示画像注意遷移判定スレッショルドｔｔｏＶは0以上の実数であり、一方の変数である対話停止区間の長さｔＴｓｔｏｐは対話検知停止から次の対話検知が始まるまでの区間の長さであり、他方の変数である対話開始からの表示画像への顔・視線方向検知兼対話検知継続区間の長さｔＶａｎｄＴは、対話開始が検出されてから表示画像への顔・視線検知または対話検知のいずれかが停止するまでの区間の長さである。つまり、ｔＶａｎｄＴは、ユーザＵの顔・視線方向が画像提示装置２に向いており且つユーザＵによる対話が継続している区間の長さである。対話開始の検出にはｔＴｎｅｘｔとｔＴｓｔｏｐを用いる。ｔＴｎｅｘｔ＜ｔＴｓｔｏｐである場合、ｔＴｓｔｏｐの最後の時刻を対話開始時刻とする。続いて、対話開始時刻からｔＶａｎｄＴを検出する。ｔｔｏＶ＜ｔＶａｎｄＴを満たす場合、ユーザＵが画像提示装置２に注意を向けることを開始したと判定する。
【００４７】
また、制御装置１は、上記のように、ユーザＵが画像提示装置２に注意を向けることを開始したと検知する際の判定のアルゴリズムに加え、同様にユーザの注意対象判定器に関して、ユーザＵが画像提示装置２に注意を向けることを終了したと検知する際の判定のアルゴリズムを持つ。
【００４８】
図１１は、ユーザＵが画像提示装置２に注意を向けることを終了したことの検知に用いる変数を示す図である。
【００４９】
本アルゴリズムには、1つのスレッショルド値（閾値）と1つの変数を用いる。表示画像注意終了判定スレッショルドｔｎｏＶは0以上の実数であり、変数である表示画像への顔・視線検知が停止してからの時間の長さｔＶｓｔｏｐつまり、ユーザＵの顔・視線方向が画像提示装置２に向いている状態が終了したことを検知してからの時間の長さｔＶｓｔｏｐが、ｔｎｏＶに対してｔｎｏＶ＜ｔＶｓｔｏｐを満たす場合、ユーザＵが画像提示装置２に注意を向けることを終了したと判定する。
【００５０】
ここで、図１に示す制御装置１内でやり取りされるデータについて述べる。
（１）音声入力は、マイク４により計測された時刻と結びついた音の波形データのストリームである。
（２）顔・視線方向入力は、カメラ５、６により取得された画像から得られる、最大1人の各カメラに対する.顔・視線方向であり、顔の水平方向角θｆａｃｅ＿ｘ、顔の垂直方向角θｆａｃｅ＿ｙ、視線の水平方向角θｅｙｅ＿ｘ、視線の垂直方向角θｅｙｅ＿ｙから構成される。ユーザＵの顔と視線が共に正面がカメラの方向を向きカメラ光軸と水平である場合は、θｆａｃｅ＿ｘ＝０、θｆａｃｅ＿ｙ＝０、θｅｙｅ＿ｘ＝０、θｅｙｅ＿ｙ＝０であるものとし、それぞれ角度に応じて-90~90までの値をとる。人の顔・視線方向を取る方法としては、例えばオムロン社のOkao-Visionなどが挙げられる。
（３）注意対象結果は、“画像提示装置への注意”、“ロボットへの注意”、“注意対象該当無し”の３つの何れかの文字列と時刻が結びついた情報とする。
（４）注意対象結果ログは、注意対象結果を1つ以上まとめた情報とする。
（５）動作モード結果と前回動作モード結果は、“表示画像対話モード”、“対話モード“、”回想促進モード“の何れかの文字列情報とする。
（６）質問文文字列は、会話内容を記述した文字列とする。
（７）参照情報更新は、回想開始質問文記憶装置１０８の中の指定したIDの最終呼び出し時刻を書き換える命令情報である。
（８）発話文字列は、音声入力結果から生成した文字列情報とする。
（９）検索単語列は、固有名詞の文字列情報である。
（１０）画像データは、写真やイラストを表す画像ファイルとする。
（１１）画像検索単語ペアは、画像関連単語と画像データの組とする。
（１２）収集画像情報は、１組の画像表示時刻、画像記憶時刻、画像関連単語、画像データとする。
（１３）画像情報更新命令は、収集画像記憶装置１０９内の現在表示フラグと画像表示時刻を書き換え更新するための命令とする。
（１４）画像表示命令は、画像データを画像提示装置２に表示させる命令とする。
（１５）ロボット制御情報は、ロボット３に実行させるモーション指示と発話テキストから構成され、ロボット３は画像提示装置２に顔を向ける動作、ユーザ方向に顔を向ける動作、首を縦に振る動作が予め設定されており、ロボット制御情報で何れか１つを指定することで動作を実行でき、またロボット制御情報の発話テキストを受け取ると、テキストに対し音声合成を行い、音声出力を実行できるものとする。
【００５１】
図１２は、回想開始質問文記憶装置１０８の情報の構成を示す図である。
【００５２】
回想開始質問文記憶装置１０８は、ユーザＵに回想を開始させるべくユーザＵに対して発せられる複数の回想開始質問文のそれぞれにつき、その識別情報であるID、最終呼び出し時刻、回想開始質問文を含むレコードを備える。IDは、各回想開始質問文に固有の数値データである。最終呼び出し時刻は、時刻情報から構成され、回想開始質問文記憶装置１０８から各回想開始質問文が最後に参照された時刻を示す。１度も呼び出しが無い回想開始質問文においては、最終呼び出し時刻はnullとなる。回想開始質問文は例に示す様な対話のテキスト情報である。
【００５３】
図１３は、収集画像記憶装置１０９の情報の構成を示す図である。
【００５４】
収集画像記憶装置１０９は、各画像データにつき、その識別情報であるID、現在表示フラグ、画像表示時刻、画像関連単語、画像データを含む収集画像情報を記憶する。現在表示フラグは、画像提示装置２に現在表示されている画像を表し、１つの収集画像情報の現在表示フラグだけがtrueとなる。画像表示時刻は、現在表示フラグがtrueになった時刻を表す。画像記録時刻は、画像検索単語ペアが収集画像記憶装置１０９に登録された時間を表す。画像関連単語は、画像検索単語と一致する文字列である。
【００５５】
図１４は、現在動作モード記憶装置１１１の情報の構成を示す図である。
【００５６】
現在動作モード記憶装置１１１は、現在の動作モードを示す現在動作モードを記憶する。図では、現在動作モードが表示画像対話モードを示すが、対話モードや回想促進モードを示す場合もある。
【００５７】
図１５は、注意対象結果記憶装置１１０の情報の構成を示す図である。
【００５８】
注意対象結果記憶装置１１０は、ユーザＵによる注意の対象を時系列で検出した結果のそれぞれにつき、注意対象結果と更新時刻を含む情報を記憶する。注意対象結果は、注意の対象が画像提示装置２である場合は、”画像提示装置への注意”であり、注意の対象がロボット３である場合は、”ロボットへの注意”であり、注意の対象がない場合は、”注意対象該当無し”である。更新時刻は、各注意対象結果が注意対象結果記憶装置１１０に追加された時刻を示す。
【００５９】
図１６は、音声認識器１０１の処理のフローチャートである。
【００６０】
音声認識器１０１は、音声入力を受ける限り、以下の処理を繰り返し実施する。
【００６１】
S101では、音声入力を受信する。音声入力が受信されていたら処理をS102に進める。
【００６２】
S102では、S101で取得した音声入力において発話区間が継続しているか否かを判定する。音における人の発話区間を識別する手法としては様々な手法が一般に知られており、例えば非特許文献2の方法が挙げられる。音声入力の中で発話区間として区切られる部分がある場合は、音声入力開始から区切り部分までをS103へ送り、残りの音声入力はキューとして保持し次回の音声入力取得の際は保持した音声入力に続く形で情報を追加し、発話区間の継続は無いものとして処理をS103に進める。発話区間として区切られる部分が無い場合は全ての音声入力をキューとして保持し、処理をS101に戻し追加の音声入力受信を待つ。
【００６３】
S103では、S102から送られた発話区間の音声入力に対して音声認識によるテキスト化を行い、テキスト化を行ったら処理をS104に進める。
【００６４】
S104では、音声認識結果が文字列を含むか否かを判定する。テキスト化されたデータに文字列が含まれていなかった場合は処理をS101に戻す。文字列が含まれていた場合は処理をS105に進める。
【００６５】
S105では、検索単語抽出器１０２に対し、音声認識結果（テキスト化された文字列）を発話文字列として送信する。発話文字列を送信したら処理を終了する。
【００６６】
図１７は、検索単語抽出器１０２の処理のフローチャートである。
【００６７】
検索単語抽出器１０２は、音声認識器１０１から発話文字列を受信した際に、以下の処理を開始する。
【００６８】
S201では、音声認識器１０１から発話文字列を受信する。受信が完了したら処理をS202に進める。
【００６９】
S202では、S201において受信した発話文字列が固有名詞を含むか否かを判定する。テキストから固有名詞を抽出する方式には様々な方式が提案されており、非特許文献3などを用いることができる。固有名詞が1つ以上含まれていた場合は、処理をS203に進める。固有名詞が１つも含まれていなかった場合は処理をS201に戻す。
【００７０】
S203では、発話文字列に含まれる固有名詞からランダムで１つ選択し、選択された固有名詞を検索単語列として対話関連画像検索器１０３に送信する。送信を行ったら処理を終了する。
【００７１】
図１８は、注意対象判定器１０５の処理のフローチャートである。
【００７２】
S301では、画像提示装置側のカメラ５から顔・視線方向入力θｆａｃｅ＿ｘ、θｆａｃｅ＿ｙ、θｅｙｅ＿ｘ、θｅｙｅ＿ｙを受信する。これらは、カメラ５に対し顔・視線共に正面を向いた時に0度となる値である。θｆａｃｅ＿ｘ、θｅｙｅ＿ｘはそれぞれカメラ５の正面から水平方向に顔方向と視線方向が何度傾いているかを表し、θｆａｃｅ＿ｙ、θｅｙｅ＿ｙはそれぞれカメラ５の正面から垂直方向に顔方向と視線方向が何度傾いているかを表す。受信が完了したら処理をS302に進める．
S302では、ユーザの顔・視線方向が画像提示装置２に向いているか否かを判定する。判定には視線と顔が顔・視線方向を取得したカメラの方向を向いているか否かを判定するスレッショルドをθＴＨＲＥＡＳＨＯＬＤ＿ｘ、θＴＨＲＥＡＳＨＯＬＤ＿ｙの値を設定する。これら値は0~90までの正の実数とする。２つの条件式
【００７３】
【数１】
2016093279.tif 000003
【００７４】
を共に満たす場合、ユーザの顔・視線方向が画像提示装置を向いていると判定し処理をS303に進める。２つの条件式のうち何れか、または両方の条件を満たしていない場合は処理をS304に進める。なお、２つの条件式の一方のみを用いてもよい。つまり、ユーザの顔の方向が画像提示装置２
を向いているか否かのみを判定してもよく、ユーザの視線の方向が画像提示装置２を向いているか否かのみを判定してもよい。
【００７５】
S303では、注意対象結果記憶装置１１０に対し、注意対象結果として、”画像提示装置への注意”を追加する。追加の際は、追加の際の時刻を更新時刻として利用する。追加を行ったら処理を終了する。
【００７６】
S304では、ユーザ側のカメラ６からユーザの顔・視線方向入力θ’ｆａｃｅ＿ｘ、θ’ｆａｃｅ＿ｙ、θ’ｅｙｅ＿ｘ、θ’ｅｙｅ＿ｙを受信する。これらはカメラ６に対し顔・視線共に正面を向いた時に0度となる値である。θ’ｆａｃｅ＿ｘ、θ’ｅｙｅ＿ｘはそれぞれカメラ６の正面から水平方向に顔方向と視線方向が何度傾いているかを表し、θ’ｆａｃｅ＿ｙ、θ’ｅｙｅ＿ｙはそれぞれカメラ６の正面から垂直方向に顔方向と視線方向が何度傾いているかを表す。受信が完了したら処理をS305に進める。
【００７７】
S305では、ユーザの顔・視線方向がロボット３に向いているか否かを判定する。ここでは、２つの条件式
【００７８】
【数２】
2016093279.tif 000004
【００７９】
を満たすか否かを判定する。2つの条件式を共に満たす場合は、ユーザの顔・視線方向がロボット３に向いていると判定し、処理をS306に進める。２つの条件式のうち何れか、または両方の条件を満たしていない場合は処理をS307に進める。なお、２つの条件式の一方のみを用いてもよい。つまり、ユーザの顔の方向が画像提示装置２を向いているか否かのみを判定してもよく、ユーザの視線の方向が画像提示装置２を向いているか否かのみを判定してもよい。
【００８０】
S306では、注意対象結果記憶装置１１０に対し、注意対象結果として、”ロボットへの注意”を追加する。追加の際は、追加の際の時刻を更新時刻として利用する。追加を行ったら処理を終了する。
【００８１】
S307では、注意対象結果記憶装置１１０に対し、注意対象結果として、”注意対象該当無し”を追加する。追加の際は、追加の際の時刻を更新時刻として利用する。追加を行ったら処理を終了する。
【００８２】
図１９は、動作モード判定器１０６の処理のフローチャートである。
【００８３】
動作モード判定器１０６は、音声入力がある場合、以下の処理を繰り返し実行する。
【００８４】
S401では、マイク４から新しい音声入力を一定時間分受信する。受信が完了したら処理をS402に進める。
【００８５】
S402では、注意対象結果記憶装置１１０から注意対象判定結果ログを読み出す。取得が完了したら処理をS403に進める。
【００８６】
S403では、現在動作モード記憶装置１１１に記憶された動作モードを読み出す。以下、この動作モードを前回動作モード結果という。前回動作モード結果を読み出したら、処理をS404に進める
S404では、マイク４から受信した一定時間分の音声入力に発話区間があるか否かを判定する。発話区間がない場合は処理をS411に進める。ある場合は処理をS405に進める。
【００８７】
S405では、S403において受信した前回動作モード結果の動作モードが表示画像対話モードであるか否かを判定する。表示画像対話モードである場合は処理をS407に進める。表示画像対話モードでなかった場合は処理をS406に進める。
【００８８】
S406では、S403において前回動作モード結果の動作モードが対話モードであるか否かを判定する。対話モードである場合は処理をS408に進める。対話モードでなかった場合は処理をS410に進める。
【００８９】
S407では、注意判定結果ログに基づいてユーザの画像提示装置への注意終了を検知する。注意判定結果ログにおける各注意対象結果の更新時刻の中で、最も時刻が新しく注意対象結果が画像提示装置への注意であるものの更新時刻をｔ０とする。このとき、本計算時の時刻をｔｎｏｗとすると直近の表示画像への顔・視線検知が停止してからの時間ｔＶｓｔｏｐは時刻ｔｎｏｗとｔ０の差としてｔＶｓｔｏｐ＝ｔｎｏｗ−ｔ０のように計算される。そして、表示画像注意終了判定スレッショルドｔｎｏＶに対してｔｎｏＶ＜ｔＶｓｔｏｐを満たす場合、ユーザの表示画像に対する注意が終了したと判定する。注意が終了したと判定された場合は処理をS408に進める。それ以外の場合は処理をS409に進める．
S408では、注意判定結果ログと一定時間の音声入力とに基づいてユーザの画像提示装置への注意開始を検知する。
【００９０】
まず一定時間の音声入力内の発話区間の抽出を行い、非発話区間から発話区間へ変化のあった箇所を抽出し、その各時刻をｔｓｔ＿ｉとする（ｉは抽出された箇所が音声入力の開始からみて何か所目にあたるかを示す整数値）、１か所も抽出が行われなかった場合は処理をS410に進める。次に、音声入力において各時刻ｔｓｔ＿ｉの直前の非発話区間の長さをそれぞれｔｓｔｏｐ＿ｉとする。各ｔｓｔｏｐ＿ｉと対話切り替え区間判定スレッショルドｔＴｎｅｘｔを比較した際に、ｔＴｎｅｘｔ＜ｔｓｔｏｐ＿ｉとなる非発話区間から発話区間へ変化のあった箇所ｉの時刻ｔｓｔ＿ｉをＴｓｔ＿ｊとする（ｊは抽出された箇所の中で更にｔＴｎｅｘｔ＜ｔｓｔｏｐ＿ｉを満たす箇所が、音声入力の開始からみて何か所目にあたるかを示す整数値）。Ｔｓｔ＿ｊに該当する箇所が１か所もなかった場合は処理をS410に進める。
【００９１】
次に注意判定結果ログからＴｓｔ＿ｊより前の時刻で最も新しい更新時刻を持つ注意対象結果を起点のＤｊ０として、注意判定結果ログ内で最新の更新結果をもつ注意対象結果までを古い順にＤｊ０、Ｄｊ１、…、Ｄｊｎとする。更にＤｊ０、Ｄｊ１、…、Ｄｊｎに対して、注意対象結果が”画面提示装置への注意”であるという条件を満たすか否かを、Ｄｊ０から更新時刻の古い順に調査し始めて条件を満たさなかったログをＤｊｋとする。この時、全て条件を満たす場合はｋ＝ｎ、条件を満たすものが１つもない場合はｋ＝０とする。更に、非発話区間から発話区間へ変化のあった箇所の各時刻Ｔｓｔ＿ｊに対して、次に発話区間から非発話区間に変化する時刻をＴｅｔ＿ｊとする。この時、Ｔｓｔ＿ｊの次に発話区間から非発話区間に変化することなく音声入力が終了した場合は音声入力の終了時刻をＴｅｔ＿ｊとする。最後にＤｊｋの更新時刻Ｔｊｋとしたとき、ＴｊｋとＴｅｔ＿ｊで時刻の新しい方をＴｊ＿ｅｎｄとし、表示画像注意遷移判定スレッショルドｔｔｏＶに対してｔｔｏＶ＜Ｔｓｔ＿ｊ−Ｔｊ＿ｅｎｄとなる抽出箇所ｊがある場合、処理をS409に進める。該当する抽出箇所が無い場合、処理をS410に進める。
【００９２】
S409では、現在動作モード記憶装置１１１の現在動作モードを表示画像対話モードに更新し、ロボット動作生成器１０７と表示画像操作器１０４に動作モード結果を送信する。更新および送信が終了したら処理を終了する。
【００９３】
S410では、現在動作モード記憶装置１１１の現在動作モードを対話モードに更新し、ロボット動作生成器１０７と表示画像操作器１０４に動作モード結果を送信する。更新および送信が終了したら処理を終了する。
【００９４】
S411では、現在動作モード記憶装置１１１の現在動作モードを回想促進モードに更新し、ロボット動作生成器１０７と表示画像操作器１０４に動作モード結果を送信し、更新および送信が終了したら処理を終了する。
【００９５】
図２０は、対話関連画像検索器１０３の処理のフローチャートである。
【００９６】
対話関連画像検索器１０３は、検索単語列を受信した際に以下の処理を実行する。
【００９７】
S501では、検索単語抽出器１０２から検索単語列を受信する。受信が完了したら処理をS502に進める．
S502では、検索単語列を外部画像検索装置７に送信する。送信が完了したら処理をS503に進める。
【００９８】
S503では、外部画像検索装置７から、検索単語列により検索された画像の画像データを受信する。受信が完了したら処理をS504に進める。
【００９９】
S504では、対話関連画像検索器１０３から受信した各画像データと検索単語列をペア（画像検索単語ペア）として収集画像記憶装置１０９に保存する。保存が完了したら処理を終了する。
【０１００】
図２１は、ロボット動作生成器１０７の処理のフローチャートである。
【０１０１】
ロボット動作生成器１０７は、動作モード結果を受信した場合、以下の処理を実行する。
【０１０２】
S601では、動作モード判定器１０６から動作モード結果を受信する。受信が完了したら処理をS602に進める。
【０１０３】
S602では、S601で受信した動作モード結果が表示画像対話モードか否かを判定する。結果が表示画像対話モードであった場合は処理をS605に進める。それ以外の場合は処理をS603に進める。
【０１０４】
S603では、ロボット３の顔がユーザＵに向くようにロボット３を制御するためのロボット制御情報をロボット３に送信する。送信が完了したら処理をS604に進める。なお、ロボット３自体またはロボット３の視線がユーザＵに向くようにしてもよい。
【０１０５】
S604では、S601で受信した動作モード結果が対話モードか否かを判定する。動作モード結果が対話モードであった場合は処理をS611に進める。それ以外の場合は処理をS615に進める。
【０１０６】
S605では、ロボット３の顔が画像提示装置２の方を向くようにロボット３を制御するためのロボット制御情報をロボット３に送信する。送信が完了したら処理をS606に進める。なお、ロボット３自体またはロボット３の視線が画像提示装置２の方に向くようにしてもよい。
【０１０７】
S606では、マイク４から音声入力を一定時間受信する。音声入力の受信が終了したら処理をS607に進める。
【０１０８】
S607では、まず、音声入力中の発話区間を求める処理を実行する。更に、正の実数で表される発話継続を判定する時間を表すスレッショルドｔｋｅｅｐ＿ｔａｌｋを予め設定しておき、受信した音声入力の最後からｔｋｅｅｐ＿ｔａｌｋ以上の非発話区間が存在する場合は処理をS609に進める。それ以外の場合は処理をS608に進める。
【０１０９】
S608では、首を縦に振る（うなずく）動作をロボット３にさせるためのロボット制御情報をロボット３に送信する。送信が完了したら処理を終了する。
【０１１０】
S609では、表示画像操作器１０４から表示画像検索単語を受信し、受信が完了したら処理をS610に進める。
【０１１１】
S610では、S609で受信した表示画像検索単語Ｗｏｒｄｎｏｗ＿ｖを用いて発話テキストを作成する。発話テキスト作成には定型文に表示画像検索単語を当てはめることで実現でき例えば、“ねぇねぇ、ぼくはＷｏｒｄｎｏｗ＿ｖについて凄い興味があるから、もう少し教えて欲しいな。”のように作成することができる。発話テキスト作成が終了したら、発話テキストを音声合成して出力するようにロボット３を動作させるための発話テキストを含むロボット制御情報をロボット３に送信する。送信が終了したら処理を終了する。
【０１１２】
S611では、マイク４から音声入力を一定時間受信する。音声入力の受信が終了したら処理をS612に進める。
【０１１３】
S612では、S607と同様にまず音声入力中の発話区間を求める処理を実行する。更に、S607と同様に発話継続を判定する時間を表すスレッショルドｔｋｅｅｐ＿ｔａｌｋを予め設定しておき、受信した音声入力の最後からｔｋｅｅｐ＿ｔａｌｋ以上の非発話区間が存在する場合は処理をS613に進める。それ以外の場合は処理をS614に進める。
【０１１４】
S613では、首を縦に振る（うなずく）動作をロボット３にさせるためのロボット制御情報をロボット３に送信する。送信が完了したら処理を終了する。
【０１１５】
S614では、ロボット３にあいづちをうたせかつ発話テキストを音声合成して出力（発話）させるための発話テキストを含むロボット制御情報をロボット３に送信する。発話テキストとしては、”それで、それで？”など予め決められたものを用いる。送信が終了したら処理を終了する。
【０１１６】
S615では、まず、回想開始質問文記憶装置１０８から回想開始質問文を質問文文字列として読み出す。その際は最終呼び出し時刻を参照しnullのものの回想開始質問文を読み出す。nullのものが存在しなかった場合は、回想開始質問文記憶装置１０８内において最も古い最終呼び出し時刻をもつ回想開始質問文を読み出す。読み出したら、その回想開始質問文のIDの最終呼び出し時刻を現在時刻の値に変更するように参照情報更新を回想開始質問文記憶装置１０８に送信する。送信が完了したら処理をS616に進める。
【０１１７】
S616では、S615で読み出した質問文文字列をロボット３に発話テキストとして音声合成させ出力（発話）させるための質問文文字列を含むロボット制御情報をロボット３に送信する。送信が終了したら処理を終了する。
【０１１８】
図２２は、表示画像操作器１０４の処理のフローチャートである。
【０１１９】
表示画像操作器１０４は動作モード結果を受信した場合、以下の処理を実行する。
【０１２０】
S701では、動作モード判定器１０６から動作モード結果を受信する。受信が完了したら処理をS702に進める。
【０１２１】
S702では、S701で受信した動作モード結果が表示画像対話モードか否かを判定する。動作モード結果が表示画像対話モードであった場合は処理をS703に進める。それ以外の場合は処理をS705に進める。
【０１２２】
S703では、収集画像記憶装置１０９を参照し、現在表示フラグがtrueの収集画像情報を読み出す。収集画像情報を読み出したら処理をS704に進める。
【０１２３】
S704では、S703で読み出した収集画像情報に含まれる画像関連単語を表示画像検索単語としてロボット動作生成器１０７に送信する。送信が終了したら処理を終了する。
【０１２４】
S705では、S701で受信した動作モード結果が対話モードであるか否かを判定する。動作モード結果が対話モードであった場合は処理をS706に進める。それ以外の場合は処理を終了する．
S706では、収集画像記憶装置１０９を参照し、現在表示フラグがtrueの収集画像情報を読み出す。読み出しが終了したら処理をS707に進める。
【０１２５】
S707では、収集画像情報の画像表示時刻と現在時刻を比較し、現在時刻が画像表示時刻から一定時間以上経過しているか否かを判定する。一定時間以上経過している場合は処理をS708に処理を進める。経過していない場合は処理をS713に進める。
【０１２６】
S708では、収集画像記憶装置１０９を参照し、現在時刻から画像記録時刻が一定時間以内でかつ画像表示時刻がnullの収集画像情報を探索する。検索が終了したなら処理をS709に進める。
【０１２７】
S709では、S708の条件に満たす収集画像情報が１つ以上あるか否かを判定する。取得された収集画像情報が１つもなかった場合は処理をS713に進める。それ以外の場合は処理をS710に進める。
【０１２８】
S710では、S708で取得された収集画像情報の中からランダムで１つを選択する。選択が終了したら処理をS711に進める。
【０１２９】
S711では、S710で選択された収集画像情報の画像データを画像表示命令としてロボット動作生成器１０７に送信する。送信が完了したら処理をS712に進める。
【０１３０】
S712では、まず収集画像記憶装置１０９の現在表示フラグがtrueとなっている情報をfalseに変更し、S710で選択された収集画像情報の現在表示フラグをtrueに変更する画像情報更新命令を収集画像記憶装置１０９に送信する。さらにS710で選択された収集画像情報の画像表示時刻を現在時刻に変更する画像情報更新命令を送信する．送信が終了したら処理を終了する。
【０１３１】
S713では、S706で読み出した収集画像情報の画像関連単語を表示画像検索単語としてロボット動作生成器１０７に送信する。送信が終了したら処理を終了する。
【０１３２】
以上のように、本実施の形態に係る制御装置１は、ユーザＵにより使用される画像提示装置２およびロボット３を制御する制御装置であって、ユーザＵによる発話およびユーザＵが向ける注意の方向に基づいて、制御装置１の動作モードを回想促進モード、対話モードおよび表示画像対話モードの中で切り替え、画像提示装置２およびロボット３を連動させて制御することを特徴とする。
【０１３３】
具体的には、回想促進モードのときは、ロボット３がユーザＵに向くように制御し、ユーザＵに回想を開始させるための質問文をロボットＵが発話するように制御し、対話モードのときは、ユーザＵの発話から得た検索単語列により検索した画像を画像提示装置２が切り替えて表示するように制御し、ロボット３がユーザＵに向くように制御し、ユーザＵに傾聴している動作をロボット３が実行するように制御し、表示画像対話モードのときは、ユーザＵの発話から得た検索単語列により検索した画像を画像提示装置２が継続して表示するように制御し、継続して表示される画像を表示する画像提示装置２の方にロボット３が向くように制御し、検索単語列に応じた発話テキストをロボット３が発話するように制御する。
【０１３４】
さらに具体的には、回想促進モードのときは、ユーザＵの発話を検知した場合は、対話モードに遷移し、対話モードのときは、ユーザＵが画像提示装置に注意を向けることを開始したと検知した場合は、表示画像対話モードに遷移する一方、ユーザＵの発話が一定時間以上ないことを検知した場合は、回想促進モードに遷移し、表示画像対話モードのときは、ユーザＵが画像提示装置２に注意を向けることを終了したと検知した場合は、対話モードに遷移する一方、ユーザＵの発話が一定時間以上ないことを検知した場合は、回想促進モードに遷移する。
【０１３５】
さらに具体的には、対話モードにおいて、ユーザＵによる対話が停止している区間の長さ（ｔＴｓｔｏｐ）が、予め定められた第１の閾値（ｔＴｎｅｘｔ）より長いという第１の条件と、ユーザＵの顔または視線の少なくとも一方が画像提示装置２に向いており且つユーザＵによる対話が継続している区間の長さ（ｔＶａｎｄＴ）が、予め定められた第２の閾値（ｔｔｏＶ）より長いという第２の条件とが充足した場合に、ユーザＵが画像提示装置２に注意を向けることを開始したと判定する。
【０１３６】
また、表示画像対話モードにおいて、ユーザＵの顔または視線の少なくとも一方が画像提示装置２に向いている状態が終了したことを検知してからの時間の長さ（ｔＶｓｔｏｐ）が、予め定められた閾値（ｔｎｏＶ）より長いという条件が充足した場合に、ユーザＵが画像提示装置２に注意を向けることを終了したと判定する。
【０１３７】
制御装置１によれば、これらの技術の１つまたは組み合わせにより、回想療法に必要な事前準備や実施の時間を低減することができる。
【０１３８】
なお、制御装置１としてコンピュータを機能させるためのコンピュータプログラムは、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に記録でき、また、インターネットなどの通信網を介して伝送させて、広く流通させることができる。
【符号の説明】
【０１３９】
１  制御装置
２  画像提示装置
３  ロボット
４  マイク
５、６  カメラ
７  外部画像検索装置
１０１  音声認識器
１０２  検索単語抽出器
１０３  対話関連画像検索器
１０４  表示画像操作器
１０５  注意対象判定器
１０６  動作モード判定器
１０７  ロボット動作生成器
１０８  回想開始質問文記憶装置
１０９  収集画像記憶装置
１１０  注意対象結果記憶装置
【図１】
2016093279.tif 000005
【図２】
2016093279.tif 000006
【図３】
2016093279.tif 000007
【図４】
2016093279.tif 000008
【図５】
2016093279.tif 000009
【図６】
2016093279.tif 000010
【図７】
2016093279.tif 000011
【図８】
2016093279.tif 000012
【図９】
2016093279.tif 000013
【図１０】
2016093279.tif 000014
【図１１】
2016093279.tif 000015
【図１２】
2016093279.tif 000016
【図１３】
2016093279.tif 000017
【図１４】
2016093279.tif 000018
【図１５】
2016093279.tif 000019
【図１６】
2016093279.tif 000020
【図１７】
2016093279.tif 000021
【図１８】
2016093279.tif 000022
【図１９】
2016093279.tif 000023
【図２０】
2016093279.tif 000024
【図２１】
2016093279.tif 000025
【図２２】
2016093279.tif 000026