(57)【特許請求の範囲】
【請求項１】
ユーザが情報を必要としている確率を表す要・不要確率の計算に用いる投票率を学習する情報要否学習推定装置であって、
前記ユーザの行動を取得して、前記ユーザの行動が情報要求である場合には「要」を、前記ユーザの行動がそれ以外である場合には「不要」を要・不要情報ｃとして出力する要否抽出部と、
前記ユーザを撮影した動画像から特徴量を取得して、予め定めた時間区間における当該特徴量を行動特徴時系列ｘとして出力する行動特徴抽出部と、
前記要・不要情報ｃと、当該要・不要情報ｃを取得する直前における行動特徴時系列ｘとを組にして行動特徴データｄとして記憶する行動特徴記憶部と、
行動特徴時系列ｘを取得して、ｊ番目の行動特徴時系列ｘｊ（ｊは自然数）を最尤とするパラメータθｊを隠れマルコフモデルを用いて計算し、ｋ番目の行動特徴時系列をｘｋとした場合に、任意のｊ及びｋに対して行動特徴生成確率ｐ（ｘｋ｜θｊ）を計算する行動特徴生成確率計算部と、
前記任意のｊ及びｋに対する行動特徴生成確率ｐ（ｘｋ｜θｊ）と、前記行動特徴データｄとを取得して、任意のｊに対する投票率ｐ（ｃ'｜θｊ）を計算する投票率計算部と、
前記投票率ｐ（ｃ'｜θｊ）を取得して記憶する投票率記憶部と、
を備えることを特徴とする情報要否学習推定装置。
【請求項２】
請求項１に記載の情報要否学習推定装置であって、
要否推定に用いる行動特徴時系列をｘ’とした場合に、任意のｊに対して計算された行動特徴生成確率ｐ（ｘ’｜θｊ）と、前記投票率記憶部に記憶された任意のｊにおける投票率ｐ（ｃ'｜θｊ）とを取得して要・不要確率ｐ（ｃ'｜ｘ’）を計算する要・不要推定部
をさらに備えることを特徴とする情報要否学習推定装置。
【請求項３】
請求項１又は２に記載の情報要否学習推定装置であって、
前記ユーザを撮影した動画像から特徴量が、ユーザ顔面の角度を示すピッチ、ヨー、ロールの３次元角度であること
を特徴とする情報要否学習推定装置。
【請求項４】
ユーザが情報を必要としている確率を表す要・不要確率の計算に用いる投票率を学習する情報要否学習推定方法であって、
前記ユーザの行動を取得して、前記ユーザの行動が情報要求である場合には「要」を、前記ユーザの行動がそれ以外である場合には「不要」を要・不要情報ｃとして出力する要否抽出ステップと、
前記ユーザを撮影した動画像から特徴量を取得して、予め定めた時間区間における当該特徴量を行動特徴時系列ｘとして出力する行動特徴抽出ステップと、
前記要・不要情報ｃと、当該要・不要情報ｃを取得する直前における行動特徴時系列ｘとを組にして行動特徴データｄとして行動特徴記憶部に記憶する行動特徴記憶ステップと、
行動特徴時系列ｘを取得して、ｊ番目の行動特徴時系列ｘｊ（ｊは自然数）を最尤とするパラメータθｊを隠れマルコフモデルを用いて計算し、ｋ番目の行動特徴時系列をｘｋとした場合に、任意のｊ及びｋに対して行動特徴生成確率ｐ（ｘｋ｜θｊ）を計算する行動特徴生成確率計算ステップと、
前記任意のｊ及びｋに対する行動特徴生成確率ｐ（ｘｋ｜θｊ）と、前記行動特徴データｄとを取得して、任意のｊに対する投票率ｐ（ｃ'｜θｊ）を計算する投票率計算ステップと、
前記投票率ｐ（ｃ'｜θｊ）を取得して投票率記憶部に記憶する投票率記憶ステップと、
を有することを特徴とする情報要否学習推定方法。
【請求項５】
請求項４に記載の情報要否学習推定方法であって、
要否推定に用いる行動特徴時系列をｘ’とした場合に、任意のｊに対して計算された行動特徴生成確率ｐ（ｘ’｜θｊ）と、前記投票率記憶部に記憶された任意のｊにおける投票率ｐ（ｃ'｜θｊ）とを取得して要・不要確率ｐ（ｃ'｜ｘ’）を計算する要・不要推定ステップと
をさらに有することを特徴とする情報要否学習推定方法。
【請求項６】
請求項４又は５に記載の情報要否学習推定方法であって、
前記ユーザを撮影した動画像から特徴量が、ユーザ顔面の角度を示すピッチ、ヨー、ロールの３次元角度であること
を特徴とする情報要否学習推定方法。
【請求項７】
請求項４から６の何れかに記載の情報要否学習推定方法を実行すべき指令をコンピュータに対してするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はユーザに情報を提示するシステム（対話システムなど）において、システムが情報提示を行うタイミングを決定するため、ユーザが情報を必要としている確率を計算する情報要否学習推定装置、情報要否学習推定方法、およびそのプログラムに関する。
【背景技術】
【０００２】
対話システムの行動タイミング制御に関する従来技術として、非特許文献１、２が知られている。これらは頻繁にターンが切り替わる対話を想定し、視線や韻律を用いてユーザ側のターン交代意図を推定し、このターン交代意図やユーザの発話内容に応じて、システム側の自然な発話（情報提示）タイミングを決定する技術である。また、ユーザがシステムからの支援（情報提示）を必要としているか否かを推定し、この推定結果に基づいて行動を決定する支援要否推定に基づく行動制御に関する従来技術として非特許文献３が知られている。非特許文献３では、レゴ組立作業を題材として、作業者の視線運動の履歴を利用して作業者の迷いの状態を検出し、この検出結果から、その局面においてとるべき適切な動作を推定し、この推定結果を作業者に提示することによって作業者の行動を支援するシステムが開示されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Michaela Atterer,Timo Baumann,David Schlangen,"Towards Incremental End-of-Utterance Detection in Dialogue Systems",Coling2008:Companion volume-Posters and Demonstrations,(USA),Manchester,August2008,p.11-14
【非特許文献２】Lei Chen,Mary P.Harper,"Multimodal Floor Control Shift Detection",ICMI-MLMI'09,(USA),Cambridge,November 2-4,2009,p.15-22
【非特許文献３】小川原光一、崎田健二、池内克史、「視線運動からの動作意図の推定とロボットによる協調行動への応用」、情報処理学会研究報告、社団法人情報処理学会、平成17年9月5日、vol.2005、No.88、p.55-62
【発明の概要】
【発明が解決しようとする課題】
【０００４】
非特許文献１および２ではユーザが迷うことなく意思決定を行うことができることを前提としている。しかしユーザは常に素早く意思決定を行うことができるわけではなく、システム側の情報提示に対して迷い、考え込むことがある。このような状態のユーザに対して、システムが不必要なタイミングで追加の情報提示行動を行うとユーザはシステムを煩わしく感じる。このためシステムは、ユーザがシステムからの支援（情報提示）を必要としているか否かを推定する必要がある。これが前述の支援要否推定に基づく行動制御であり、この制御は非特許文献３において実現されている。しかしながら非特許文献３の行動制御はタスク特有の事前知識に依存している。このため非特許文献３の行動制御は通常の対話環境での支援要否推定に用いることはできない。そこで本発明では、通常の対話環境での支援要否推定に基づく対話システムの行動タイミング制御において、ユーザが情報を必要としている確率を精度よく推定することができる情報要否学習推定装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の情報要否学習推定装置は、要否抽出部と、行動特徴抽出部と、行動特徴記憶部と、行動特徴生成確率計算部と、投票率計算部と、投票率記憶部とを備える。要否抽出部は、ユーザの行動を取得して、ユーザの行動が情報要求である場合には「要」を、ユーザの行動がそれ以外である場合には「不要」を要・不要情報ｃとして出力する。行動特徴抽出部は、ユーザを撮影した動画像から特徴量を取得して、予め定めた時間区間における当該特徴量を行動特徴時系列ｘとして出力する。行動特徴記憶部は、要・不要情報ｃと、当該要・不要情報ｃを取得する直前における行動特徴時系列ｘとを組にして行動特徴データｄとして記憶する。行動特徴生成確率計算部は、行動特徴時系列ｘを取得して、ｊ番目の行動特徴時系列ｘｊ（ｊは自然数）を最尤とするパラメータθｊを隠れマルコフモデルを用いて計算し、ｋ番目の行動特徴時系列をｘｋとした場合に、任意のｊ及びｋに対して行動特徴生成確率ｐ（ｘｋ｜θｊ）を計算する。投票率計算部は、任意のｊ及びｋに対する行動特徴生成確率ｐ（ｘｋ｜θｊ）と、行動特徴データｄとを取得して、任意のｊに対する投票率ｐ（ｃ'｜θｊ）を計算する。投票率記憶部は、投票率ｐ（ｃ'｜θｊ）を取得して記憶する。
【発明の効果】
【０００６】
本発明の情報要否学習推定装置によれば、行動特徴抽出部が、ユーザ顔面の角度を行動特徴時系列ｘとして出力し、行動特徴生成確率計算部は、行動特徴時系列ｘを最尤とするパラメータθを隠れマルコフモデルを用いて計算し、投票率計算部が、行動特徴時系列ｘとパラメータθから要・不要確率を計算するために必要な投票率を学習することができる。
【図面の簡単な説明】
【０００７】
【図１】対話システムとユーザの対話事例を示す図。
【図２】情報要否学習推定装置の学習に用いられるデータの事例を示す図。
【図３】実施例１に係る情報要否学習推定装置の構成例（学習時）を示すブロック図。
【図４】実施例１に係る情報要否学習推定装置の構成例（実行時）を示すブロック図。
【図５】変形例１に係る情報要否学習装置の構成例を示すブロック図。
【図６】実施例１に係る情報要否学習推定装置の動作例（学習時）を示すフローチャート。
【図７】実施例１に係る情報要否学習推定装置の動作例（実行時）を示すフローチャート。
【図８】本発明の情報要否学習推定装置の精度検証実験の結果を示す図。
【発明を実施するための形態】
【０００８】
支援要否推定に基づく行動タイミング制御の単純な方法として、ユーザが行動を継続するか否かに基づき間接的に情報提示の要否を推定する技術が考えられる。例えば、予め定めた一定時間ユーザの行動間隔が空いた場合には情報提示が必要であると判断し、予め定めた一定時間ユーザの行動間隔が空くことなくユーザの行動が継続する場合には情報提示が不要であると判断する方法がある。この方法を一定時間待機法と呼ぶ。しかし、この一定時間待機法による行動タイミング制御では、常にシステムの行動に予め定めた一定の待機時間が生じることになる。この待機時間はユーザを苛立たせる原因となりうる。そこで、本発明の情報要否学習推定装置では後述する構成により要否推定を行う。
【０００９】
図１を参照して対話システムとユーザの間で行われる対話について具体例を交えながら説明する。図１は対話システムとユーザの対話事例（昼食ガイド）を示す図である。対話システムとユーザの対話は以下のように進められる。
【００１０】
まず、ユーザが対話システムに対して焦点となる話題を投げかけることで対話がスタートする。図１の例ではユーザは対話システムに対して「今日は昼食は何にしようかな？」と尋ねることで対話がスタートしている。この対話の焦点となる話題は「昼食を何にするか」である。次に対話システムはユーザに対して情報提示を行う。図１の例では対話システムは、ユーザからの問いかけに対して「カレーはいかがですか？」と情報提示を行っている。対話システムの情報提示に対して、今度はユーザが行動する。図１の例では対話システムの情報提示に対しユーザは「辛いものは苦手なんだ。」と回答している。このユーザの行動に対して、今度は対話システムが行動する。図１の例ではユーザの行動に対し対話システムは「そうですか、これはすみません。」と応答の行動をとっている。対話システムの行動のあとはユーザのターンであるため、ユーザは前述の「回答」を行う（つまり会話を続ける）か、対話システムに対して情報要求を行うことができる。例えば図１の例では対話システムの最初の応答の後、ユーザは「他に何かお勧めはある？」と対話システムに尋ねており、これがユーザの情報要求にあたる。ユーザから情報要求がなされた場合には対話システムは情報提示の行動を行う。図１の例ではユーザからの情報要求に対し対話システムは「イタリアンはいかがですか？」と新たな情報提示を行っている。対話システムの情報提示に対しては前述同様、ユーザが回答し、ユーザの回答に対して、対話システムが応答する。つまりユーザから情報要求があった場合には対話システムとユーザの対話は情報要求（ユーザ）、情報提示（対話システム）、回答（ユーザ）、応答（対話システム）の順に進む。
【００１１】
ここで、本発明の目的に立ち返れば、対話システムがユーザの情報要求に先だって情報提示を精度よく行うことが出来れば本発明の目的は達成されることとなる。一方ユーザ側に情報要求意思が無いにも関わらず、対話システムが情報提示を行うことは避けなければならない。ここで、ユーザが情報要求を行うタイミングについて考えてみると、ユーザは一般的にはユーザの回答、対話システムの応答、が順次実行された後に情報要求を行うことが多いと考えられる。従って、対話システムの応答の後であってかつユーザから次の発話が得られる前に対話システムが情報提示を行ったと仮定すると、その仮定された情報提示は成功であったか失敗であったかの情報は本発明の目的を達成するうえで重要な情報となる。
【００１２】
対話システムによる情報提示の仮定を対話システムの「仮説生成」と呼ぶ。例えば、図１の例では対話システムの「そうですか、これはすみません。」という応答の後であって、ユーザの「他に何かお勧めはある？」との情報要求の前に対話システムは仮説生成を行う。この仮説生成は、ユーザの次の発話を待たずに対話システムが「イタリアンはいかがでしょうか？」と情報提示を行うことを仮定するものである。この仮説生成に対し、ユーザは直後に「他に何かお勧めはある？」と情報要求を行っている。このユーザの情報要求により、仮定された対話システムの情報提示「イタリアンはいかがでしょうか？」は成功であったことが分かる。この「成功」とはつまり、対話システムは自身の応答「そうですか、これはすみません。」の後に、ユーザからの発話を待たずに立て続けに「イタリアンはいかがでしょうか？」と情報提示を行っても、この場合にはユーザは対話システムの情報提示に煩わしさを感じないと評価できるということである。ユーザが煩わしさを感じないと評価できる理由は、ユーザが直後に「他に何かお勧めはある？」と情報要求を行っており、ユーザがこのタイミングで情報を必要としていたということが分かるからである。
【００１３】
一方、図１における対話システムの二番目の応答「なるほど。」の後にも対話システムは前記と同様に仮説生成を行う。今度の仮説生成は、ユーザの次の発話を待たずに対話システムが「ハンバーガーはいかがでしょうか？」と情報提示を行うことを仮定するものである。この仮説生成に対し、ユーザは直後に「それにあそこは少し遠いからね」と「回答」を行っている。このユーザの行動により、仮定された対話システムの情報提示「ハンバーガーはいかがでしょうか？」は失敗であったことが分かる。この「失敗」とはつまり、対話システムは自身の応答「なるほど。」の後に、ユーザからの発話を待たずに立て続けに「ハンバーガーはいかがでしょうか？」と情報提示を行ってしまうと、この場合にはユーザは対話システムの情報提示に煩わしさを感じると評価できるということである。なぜならば、ユーザは直後に情報要求でなく回答「それにあそこは少し遠いからね。」を行っており、未だイタリアンレストランについての話題を引きずっている。従ってユーザはこのタイミングでは会話を続けようとしており、情報要求を望んでいない。このように、対話システムの仮説生成は、そのタイミングにより、「成功」「失敗」の何れかに分類することができる。
【００１４】
次に図２を参照して本発明の情報要否学習推定装置の学習に用いられるデータの収集方法の具体例について詳細に説明する。図２は本発明の情報要否学習推定装置の学習に用いられるデータの事例を示す図である。図２の例では学習データの収集は提示ユーザと受信ユーザ間で行われる連想クイズ対話により行われる。提示ユーザが出題者にあたり、受信ユーザが回答者にあたる。連想クイズ対話とは、提示ユーザが出すヒント単語から連想される正解単語を受信ユーザが当てるゲームである。提示ユーザはヒント伝達、正誤判定、ヒント提案の３種類の行動のみを行うことが出来る。受信ユーザは回答、ヒント要求の２種類の行動のみを行うことが出来る。ここで、受信ユーザ、提示ユーザはそれぞれ受信ユーザ端末、提示ユーザ端末を使用して連想クイズ対話を行うものとし、受信ユーザ端末、提示ユーザ端末にはそれぞれこの連想クイズ対話を実行するための専用のアプリケーションソフトがインストールされているものとする。ヒント伝達、回答については１単語のみの入力が許されているものとする。ヒント伝達、回答以外の行動は全てこのアプリケーションソフト上に配置されたアイコンをクリックすることにより行うことができる。ヒント伝達は各クイズ開始直後、もしくは受信ユーザからのヒント要求直後に限定して行われるものとする。回答は１つのヒントに対して複数回行うことができる。提示ユーザは前述のとおり、ヒント提案を行うことができるが、このヒント提案は受信ユーザには提示されない。この点に注意を要する。
【００１５】
図２の連想クイズ対話の各行動は、図１の一般的な対話システムとユーザとの対話における各行動と対応付くように設計されている。図１の「情報提示」は図２の「ヒント伝達」に対応する。図１の「回答」は図２の「回答」に、図１の「応答」は図２の「正誤判定」に、図１の「情報要求」は図２の「ヒント要求」にそれぞれ対応する。また、図１の「仮説生成」と図２の「ヒント提案」とは、どちらもユーザ支援のための情報提示が「成功」であるか「失敗」であるかを事後に評価することができるため、等価に扱うことができる。
【００１６】
上記で説明した連想クイズ対話について、図２の例に沿ってより具体的に解説する。まず、提示ユーザが提示ユーザ端末で実行中の専用アプリケーションに表示された「スタート」アイコンをクリックすることでゲームがスタートする。このとき、受信ユーザ端末で実行中の専用アプリケーションには「それでは開始します」というメッセージが表示される。この行動については記号「ＳＹＳ１」を付与される。以後、後述の説明などで適宜用いるため、提示ユーザの行動には記号「ＳＹＳ（番号）」が、受信ユーザの行動には記号「ＵＳＲ（番号）」が付与されるものとする。次に、提示ユーザは、提示ユーザ端末に備わるキーボードなどの情報入力手段によってヒントを入力する（ＳＹＳ２：ヒント伝達）。ヒント伝達として入力が許されているのは前述のとおり１単語のみである。ＳＹＳ２では、提示ユーザによって単語「丸い」が入力され、受信ユーザ端末に伝達されて表示される。ＳＹＳ２のヒント伝達を受けた受信ユーザは、回答「サッカーボール」を受信ユーザ端末に備わるキーボードなどの情報入力手段にて入力する（ＵＳＲ１：回答）。ここでの受信ユーザの回答も前述のとおり、１単語に限られている。入力された単語「サッカーボール」は、提示ユーザに伝達されて表示される。ＵＳＲ１の回答「サッカーボール」を受けた提示ユーザは、受信ユーザの回答に対して正誤判定を行う（ＳＹＳ３：正誤判定）。ここで、受信ユーザの回答が正答であれば、提示ユーザは正答アイコンをクリックし、受信ユーザの回答が誤答であれば、提示ユーザは誤答アイコンをクリックする。図２の例における連想クイズ対話においては、連想クイズの正解は「すいか」である。従って、ここでは提示ユーザは誤答アイコンをクリックする。提示ユーザによる誤答アイコンのクリックは受信ユーザ端末に伝達されて、受信ユーザ端末上のアプリケーション内に判定結果「違います。」が表示される。次に、受信ユーザは提示ユーザに対して１回目のヒント要求を行っている（ＵＳＲ２：ヒント要求）。このとき、受信ユーザのヒント要求（ＵＳＲ２）の直前には提示ユーザはヒント提案を行っていないことに注意を要する。一方、受信ユーザのヒント要求（ＵＳＲ５）の直前には、提示ユーザによるヒント提案（ＳＹＳ７）が行われている。つまり提示ユーザはヒント要求（ＵＳＲ５）を事前に予測することに成功した（ＳＹＳ７）が、ヒント要求（ＵＳＲ２）については事前に予測することに失敗したと解釈することができる。従って提示ユーザの提案成功回数を受信ユーザのヒント要求回数の総数で除算することで、提示ユーザの提案成功率を計算することができる。
【００１７】
この後も連想クイズ対話は続いていき、図２の例ではＵＳＲ９において受信ユーザが正答を答える。これに対して提示ユーザが正答アイコンをクリックし（ＳＹＳ１２：正誤判定）、提示ユーザが専用アプリケーションに表示された「エンド」アイコンをクリックすることで連想クイズ対話が終了する（ＳＹＳ１３：エンド）。
【００１８】
次に本発明の実施例において用いられるセッションについて説明する。本発明の実施例において用いられるセッションという語は、提示ユーザの行動からその直後の受信ユーザの行動までを区切りとして、先頭から順に番号付けをした時間区間のことを示す。ただし、提示ユーザの行動からは「ヒント提案」は除かれる。図２の例を用いて具体的に説明すれば、ＳＹＳ２〜ＵＳＲ１までの時間区間はセッション１と呼ばれる。同様に、ＳＹＳ３〜ＵＳＲ２までをセッション２、ＳＹＳ４〜ＵＳＲ３までをセッション３、ＳＹＳ５〜ＵＳＲ４までをセッション４とする。ＳＹＳ６〜ＵＳＲ５までをセッション５とし、「ヒント提案」である行動ＳＹＳ７はスキップされる。以下、同様にＳＹＳ８〜ＵＳＲ６をセッション６、ＳＹＳ９〜ＵＳＲ７をセッション７、ＳＹＳ１０〜ＵＳＲ８をセッション８、ＳＹＳ１１〜ＵＳＲ９をセッション９と呼ぶ。
【００１９】
次に、本発明の実施例において用いられる受信ユーザを撮影した動画像から特徴量を取得する方法について説明する。本実施例では、受信ユーザの顔向きの角度を特徴量として利用する場合について説明をする。上述した連想クイズ対話の実行にあたり、受信ユーザの眼前には連想クイズ対話実行時における受信ユーザの顔面が全てその画角内に入るように、ディジタルビデオカメラが設置されているものとする。このディジタルビデオカメラは受信ユーザ端末に接続されており、ユーザの顔面の映像情報が常時取得可能であるものとする。また、受信ユーザ端末にはディジタルビデオカメラから取得した顔面の映像から顔面向きの角度を測定するソフトウェアがインストールされている。このソフトウェアは、ユーザの眉、目、鼻、口の輪郭線などを特徴量として抽出し、これらの特徴量の時間変化から、顔面向きの３次元角度であるピッチ、ヨー、ロールを計測することができる。ピッチは前後方向の回転、ヨーは鉛直軸回りの回転、ロールは左右方向の回転を表す。従って、ピッチは顔面の前後方向の回転（例えばうなずく動作）、ヨーは顔面の鉛直軸回りの回転（例えば首を横に振る動作）、ロールは顔面の左右方向の回転（例えば左右に首を傾げる動作）をそれぞれ表すものとする。このように、本発明ではユーザが情報を欲しているか否かの心理状態を、首を傾げる動作などの表出された顔面向き角度情報から推定することを特徴としている。なお、特徴量は顔向き角度に限定されるものではなく、対話中の受信ユーザを撮影した動画像から抽出できる特徴量であれば何でもよい。例えば、表情と関係する顔の特徴点の集合や局所特徴（SIFT，HLACなど）、あるいは、顔を手で覆うなどのジェスチャ情報などを利用しても良い。
【００２０】
次に、本発明の実施例において用いられる行動特徴時系列ｘについて説明する。行動特徴時系列ｘは、前述した各セッションの時間区間内において、ピッチ、ヨー、ロールの顔面向き角度情報を時系列データとして取得したものである。ｎ番目のセッションにおいて取得された行動特徴時系列をｘｎと呼ぶ。例えば、図２の例において、行動特徴時系列ｘ１とは、セッション１であるＳＹＳ２〜ＵＳＲ１までの時間区間において、ディジタルビデオカメラによって取得され、ソフトウェアによって計測された受信ユーザの顔面向きのピッチ、ヨー、ロールの角度情報を時系列データとして取得したものである。
【００２１】
次に、本発明の実施例において用いられる行動特徴データｄについて説明する。行動特徴データｄはセッションごとに記憶される。ｎ番目の行動特徴データをｄｎとすれば、ｄｎは＝（ｃｎ，ｘｎ）として定義される。ここで、ｃｎとは要・不要情報のことであり、ｎ番目のセッションの最後に行われた受信ユーザの行動（ＵＳＲｎ）が情報要求であった場合に「要（値＝１）」、ｎ番目のセッションの最後に行われた受信ユーザの行動（ＵＳＲｎ）が情報要求でなかった場合に「不要（値＝０）」となる。従って、行動特徴データｄとはあるセッションにおける要・不要情報ｃと顔面向きの角度を表す行動特徴時系列ｘとを組にしたデータである。
【００２２】
このように本発明の情報要否学習推定装置は、提示ユーザと受信ユーザとの間で行われる連想クイズ対話を通じて、要・不要情報ｃ、行動特徴時系列ｘをセッションごとに収集し、行動特徴データｄとして記憶する。
【００２３】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【実施例１】
【００２４】
上記の説明を前提として、実施例１の情報要否学習推定装置２０について、以下詳細に説明する。まず図３、図６を参照して本実施例に係る情報要否学習推定装置２０の学習時の動作について詳細に説明する。図３は本実施例に係る情報要否学習推定装置２０の構成例（学習時）を示すブロック図である。図６は本実施例に係る情報要否学習推定装置２０の動作例（学習時）を示すフローチャートである。
【００２５】
説明に先立ち、本実施例では、学習データは全部でＮセッション収集されたものとし、各記号における添え字ｎ、ｊ、ｋはそれぞれ任意のセッション番号を表す記号であるものとしｎ、ｊ、ｋはそれぞれ１≦ｎ≦Ｎ，１≦ｊ≦Ｎ，１≦ｋ≦Ｎを満たすものとする。本実施例の情報要否学習推定装置２０は、要否抽出部１１と、行動特徴抽出部１２と、行動特徴記憶部１３と、行動特徴生成確率計算部１４と、投票率計算部１５と、投票率記憶部１６と、要・不要推定部２１とを備える。要否抽出部１１は、ｎ番目のセッションにおけるユーザの観測行動データｏｎを取得して、ユーザの行動が情報要求である場合には「要（値＝１）」を、ユーザの行動がそれ以外である場合には「不要（値＝０）」を要・不要情報ｃｎとして出力する（Ｓ１１）。行動特徴抽出部１２は、ｎ番目のセッションにおけるユーザ顔面の角度を取得して、当該角度を行動特徴時系列ｘｎとして出力する（Ｓ１２）。行動特徴記憶部１３は、要・不要情報ｃｎと、当該要・不要情報ｃｎを取得する直前における行動特徴時系列ｘｎとを組にして行動特徴データｄｎとして記憶する（Ｓ１３）。Ｓ１１〜Ｓ１３までの動作はｎ＝１〜Ｎに渡りループされる（＜Ｒ１＞）。これにより行動特徴記憶部１３に記憶された行動特徴データｄ１〜ｄＮのデータ集合をＤと表現する。次に、行動特徴生成確率計算部１４は、行動特徴時系列ｘｎ（ｎ＝１〜Ｎ）を取得して、ｊ番目の行動特徴時系列ｘｊ（ｊは自然数）を最尤とするパラメータθｊを隠れマルコフモデルを用いて計算し、ｋ番目の行動特徴時系列をｘｋとした場合に、行動特徴生成確率ｐ（ｘｋ｜θｊ）を計算する（Ｓ１４ａ）。パラメータθｊの計算にはＢａｕｍ−Ｗｅｌｃｈアルゴリズムなどの効率的に学習できるアルゴリズムを用いればよい。Ｓ１４ａの動作はｋ＝１〜Ｎに渡りループされる（＜Ｒ３＞）。投票率計算部１５は、全てのｋに対する行動特徴生成確率ｐ（ｘｋ｜θｊ）と、行動特徴データｄとを取得して、投票率ｐ（ｃ'｜θｊ）を計算する（Ｓ１５）。投票率ｐ（ｃ'｜θｊ）は以下の式にて計算される。
【００２６】
【数１】
0005475705.tif 000002
【００２７】
ただし、ｃ’を要・不要確率係数、ｘを任意のセッションにおける行動特徴時系列とする。投票率記憶部１６は、投票率ｐ（ｃ'｜θｊ）を取得して記憶する（Ｓ１６）。ループＲ３により繰り返されるＳ１４ａ、Ｓ１５、Ｓ１６の動作はｊ＝１〜Ｎに渡りループされる（＜Ｒ２＞）。これにより生成したパラメータθｊ（ｊ＝１〜Ｎ）は行動特徴生成確率計算部１４が保持しているものとする。このようにして、要・不要確率の高精度な推定に必要なパラメータθ、投票率ｐ（ｃ'｜θｊ）を学習することができるため、これらを用いて要・不要確率を計算することにより、ユーザが情報を必要としている確率を精度よく推定することができる。
【００２８】
次に、図４、図７を参照して本実施例に係る情報要否学習推定装置２０の実行時の動作について詳細に説明する。図４は本実施例に係る情報要否学習推定装置２０の構成例（実行時）を示すブロック図である。図７は本実施例に係る情報要否学習推定装置２０の動作例（実行時）を示すフローチャートである。学習時において取得される行動特徴時系列ｘと判別できるように、後述するように実行時にもまず行動特徴時系列が取得される。実行時に取得される行動特徴時系列には、学習時と区別がつきやすいように記号「’」を付す。また実行時には、予め定めた時間区間の行動特徴時系列ｘ’が取得される度に要・不要確率の計算フローが一巡するため、セッションという概念は使用しない。従って、実行時に取得した行動特徴時系列ｘ’には、前述したｎ、ｊ、ｋなどの添え字は用いられない。まず、行動特徴抽出部１２は、予め定めた時間区間におけるユーザ顔面の角度を取得して、当該角度を行動特徴時系列ｘ’として出力する（Ｓ１２）。次に、行動特徴生成確率計算部１４は、行動特徴時系列ｘ’を取得して、当該行動特徴時系列ｘ’に対して行動特徴生成確率ｐ（ｘ’｜θｊ）を計算する（Ｓ１４ａ）。次に、行動特徴生成確率計算部１４は、投票率記憶部１６から、投票率ｐ（ｃ'｜θｊ）を取得する（Ｓ１４ｂ）。Ｓ１４ａとＳ１４ｂの動作はｊ＝１〜Ｎに渡りループされる（＜Ｒ４＞）。ループＲ４により、全てのｊについて行動特徴生成確率ｐ（ｘ’｜θｊ）、投票率ｐ（ｃ'｜θｊ）を取得して、以下の式より、要・不要確率ｐ（ｃ’｜ｘ’）を計算する（Ｓ２１）。
【００２９】
【数２】
0005475705.tif 000003
【００３０】
ただし、θは任意のセッションにおけるパラメータを示す。また、ｐ（θｊ）については、無情報事前分布、事前知識を反映した分布の何れを置いてもよい。このようにして、学習時に生成したパラメータθ、投票率ｐ（ｃ'｜θｊ）を用いて、要・不要確率ｐ（ｃ’｜ｘ’）を計算することにより、ユーザが情報を必要としている確率を精度よく推定することができる。
【００３１】
［変形例１］
次に、図５を参照して、本実施例の変形例として学習機能のみを有する情報要否学習装置１０について説明する。図５は、本変形例に係る情報要否学習装置１０の構成例を示すブロック図である。本変形例の情報要否学習装置１０は、要否抽出部１１と、行動特徴抽出部１２と、行動特徴記憶部１３と、行動特徴生成確率計算部１４と、投票率計算部１５と、投票率記憶部１６とを備える。実施例１と本変形例との相違点は、実施例１の情報要否学習推定装置２０が要・不要推定部２１を備えるのに対して、本変形例の情報要否学習装置１０はこれを備えない点である。本変形例は要するに、実施例１の情報要否学習推定装置２０の学習動作のみを行うことができる装置であり、学習動作に必要な構成である、要否抽出部１１、行動特徴抽出部１２、行動特徴記憶部１３、行動特徴生成確率計算部１４、投票率計算部１５、投票率記憶部１６の動作についてはは全て実施例１の情報要否学習推定装置２０における同一名称を付した構成における動作（Ｓ１１〜Ｓ１６、ループＲ１〜Ｒ３）と同じである。本変形例の情報要否学習装置１０により、要・不要確率の高精度な推定に必要なパラメータθ、投票率ｐ（ｃ'｜θｊ）を学習することができる。
【００３２】
＜精度検証実験＞
次に、本発明の情報要否学習推定装置の精度検証実験の結果について説明する。本精度検証実験では、前述した連想クイズ対話を実行して収録された対話ログを学習セットとテストセットに分けて用いた。まず、学習セットにより本発明の情報要否学習推定装置を学習する。次に、学習済み情報要否学習推定装置を用いて、テストセットに対し要・不要確率を計算し、得られた要・不要確率に基づくヒント提案の精度を検証する。具体的には、受信ユーザの行動（ヒント要求・回答）のタイミングを既知として、各セッションにおける受信ユーザの顔面向き角度情報から受信ユーザの要・不要確率を推定し、要・不要確率が閾値を超過した場合にはヒント伝達を行い、それ以外の場合には待機する。従来手法として、データ集合中のヒント要求、回答の各クラスのデータ群を１つのＨＭＭで学習し、要求ＨＭＭと回答ＨＭＭの出力の尤度比に基づいて推定確率を出力するＨＭＭ（ｎｏｒｍａｌ）を用いる。また、人間のヒント提案の成功率として、図２において説明した提示ユーザのヒント提案の成功率を用いた。提示ユーザのヒント提案成功率の計算方法については前述のとおり、提示ユーザの提案成功回数を受信ユーザのヒント要求回数の総数で除算することで計算可能である。
【００３３】
図８を参照して実験結果を説明する。図８は本発明の情報要否学習推定装置の精度検証実験の結果を示す図である。閾値の設定に関して、人の提案数とシステムの提案数とが一致するように閾値を設定する「提案数一致条件」と、提案数は問わずに最大の成功率を出した閾値に設定する「最大成功率条件」の２条件を設定した。図８から明らかなように、本発明の情報要否学習装置（Ｂａｇ−ｏｆ−ＨＭＭ）においては、「提案数一致条件」においても、「最大成功率条件」においても、従来手法であるＨＭＭ(ｎｏｒｍａｌ)を上回る結果となった。また、「最大成功率条件」においては、本発明の情報要否学習装置（Ｂａｇ−ｏｆ−ＨＭＭ）が提示ユーザ（人間）の成功率を上回る結果となり、本発明の情報要否学習推定装置により、高精度の推定を実現できることが明らかとなった。
【００３４】
＜精度検証実験終わり＞
また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
【００３５】
また、上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
【００３６】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
【００３７】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００３８】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００３９】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
0005475705.tif 000004
【図２】
0005475705.tif 000005
【図３】
0005475705.tif 000006
【図４】
0005475705.tif 000007
【図５】
0005475705.tif 000008
【図６】
0005475705.tif 000009
【図７】
0005475705.tif 000010
【図８】
0005475705.tif 000011