(57)【特許請求の範囲】
【請求項１】
会話の参加者に装着され、前記参加者の体幹の一部の圧迫の程度を変えて呼吸を誘発又は抑制する呼吸補助装置と、
会話中の各参加者の非言語行動の計測結果に基づいて、次に発話を行うべき参加者である次話者及び次の発話の開始のタイミングを推定する次話者推定部と、
推定された前記次話者が装着している前記呼吸補助装置に対して、推定された前記タイミングより前に圧迫を緩めるよう制御する呼吸制御部と、
を備えることを特徴とする会話支援システム。
【請求項２】
前記呼吸制御部は、推定された前記タイミングの経過後、推定された前記次話者が装着している前記呼吸補助装置に対して、圧迫を増加させるよう制御する、
ことを特徴とする請求項１に記載の会話支援システム。
【請求項３】
前記呼吸制御部は、推定された前記タイミングに基づいて、発話前に行われる吸気の開始時刻及び終了時刻を算出し、推定された前記次話者が装着している前記呼吸補助装置に対して、算出した吸気の開始時刻から終了時刻にかけて圧迫を緩めるよう制御する、
ことを特徴とする請求項１又は請求項２に記載の会話支援システム。
【請求項４】
前記呼吸制御部は、推定された前記次話者以外の参加者が装着している前記呼吸補助装置に対して、所定の強さの圧迫を継続するよう制御する、
ことを特徴とする請求項１から請求項３のいずれか一項に記載の会話支援システム。
【請求項５】
会話中の各参加者の非言語行動の計測結果に基づいて、次に発話を行うべき参加者である次話者及び次の発話の開始のタイミングを推定する次話者推定部と、
各参加者に装着され、前記参加者の体幹の一部の圧迫の程度を変えて呼吸を誘発又は抑制する呼吸補助装置のうち、推定された前記次話者に装着された前記呼吸補助装置に対して、推定された前記タイミングより前に圧迫を緩めるよう制御する呼吸制御部と、
を備えることを特徴とする会話支援装置。
【請求項６】
コンピュータに、
会話中の各参加者の非言語行動の計測結果に基づいて、次に発話を行うべき参加者である次話者及び次の発話の開始のタイミングを推定する次話者推定ステップと、
各参加者に装着され、前記参加者の体幹の一部の圧迫の程度を変えて呼吸を誘発又は抑制する呼吸補助装置のうち、推定された前記次話者に装着された前記呼吸補助装置に対して、推定された前記タイミングより前に圧迫を緩めるよう制御する呼吸制御ステップと、
を実行させるための会話支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、会話支援システム、会話支援装置及び会話支援プログラムに関する。
【背景技術】
【０００２】
会話の参加者が適切なタイミングで発話すると、良い雰囲気で会話が進行する。会話の目的は様々であるが、良い雰囲気の会話はその目的の達成に効果的であり、参加者の満足度も高い。しかしながら、会話中に適切なタイミングで発話することは、高度なコミュニケーションスキルを要する。そのため、必ずしも誰もが適切なタイミングで発話を行えるわけではない。
【０００３】
一方、会議において次話者に発話を行わせる技術がある。この技術では、多人数ＴＶ（テレビ）会議において、身体動作や発話情報から各参加者の発話欲求を推定し、その欲求に基づいて次の次話者を決定する。そして、その次話者に確実に発話を行わせるために、その人物のフィラーなどを他の参加者に聞かせる制御を行う。また、多人数ＴＶ会議において、万人が隔たりなく発話できるように、発言が多い人物を検出し、その人物の発話を抑制するように音声を生成する技術がある（例えば、特許文献２参照）。さらには、会話を活性するために、映像投影装置や椅子回転装置により視線方向を誘導する技術がある（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１４６０７２号公報
【特許文献２】特開２００７−１５８５２６号公報
【特許文献３】特開２００７−３３６４４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
会話の流れにおいて発話に適切なタイミングであるか否かを判断できるようなコミュニケーションスキルを習得することは容易ではない。そのため、適切なタイミングでの発話を支援することが求められていた。しかし、特許文献１の技術は、システムが次話者にしようとした参加者以外の発話開始を阻止するものであり、特許文献２の技術は、特定の参加者の発話を阻止（妨害）することで、他の参加者の発話を促進するものである。また、特許文献３の技術は、視線を誘導するものである。このように、これらの従来技術は、次話者になるべき人物が適切なタイミングで発話できるように支援するものではない。
【０００６】
上記事情に鑑み、本発明は、会話の参加者が適切なタイミングで発話するよう支援することができる会話支援システム、会話支援装置及び会話支援プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
本発明の一態様は、会話の参加者に装着され、前記参加者の体幹の一部の圧迫の程度を変えて呼吸を誘発又は抑制する呼吸補助装置と、会話中の各参加者の非言語行動の計測結果に基づいて、次に発話を行うべき参加者である次話者及び次の発話の開始のタイミングを推定する次話者推定部と、推定された前記次話者が装着している前記呼吸補助装置に対して、推定された前記タイミングより前に圧迫を緩めるよう制御する呼吸制御部と、を備える会話支援システムである。
【０００８】
本発明の一態様は、上述した会話支援システムであって、前記呼吸制御部は、推定された前記タイミングの経過後、推定された前記次話者が装着している前記呼吸補助装置に対して、圧迫を増加させるよう制御する。
【０００９】
本発明の一態様は、上述した会話支援システムであって、前記呼吸制御部は、推定された前記タイミングに基づいて、発話前に行われる吸気の開始時刻及び終了時刻を算出し、推定された前記次話者が装着している前記呼吸補助装置に対して、算出した吸気の開始時刻から終了時刻にかけて圧迫を緩めるよう制御する。
【００１０】
本発明の一態様は、上述した会話支援システムであって、前記呼吸制御部は、推定された前記次話者以外の参加者が装着している前記呼吸補助装置に対して、所定の強さの圧迫を継続するよう制御する。
【００１１】
本発明の一態様は、会話中の各参加者の非言語行動の計測結果に基づいて、次に発話を行うべき参加者である次話者及び次の発話の開始のタイミングを推定する次話者推定部と、各参加者に装着され、前記参加者の体幹の一部の圧迫の程度を変えて呼吸を誘発又は抑制する呼吸補助装置のうち、推定された前記次話者に装着された前記呼吸補助装置に対して、推定された前記タイミングより前に圧迫を緩めるよう制御する呼吸制御部と、を備える会話支援装置である。
【００１２】
本発明の一態様は、コンピュータに、会話中の各参加者の非言語行動の計測結果に基づいて、次に発話を行うべき参加者である次話者及び次の発話の開始のタイミングを推定する次話者推定ステップと、各参加者に装着され、前記参加者の体幹の一部の圧迫の程度を変えて呼吸を誘発又は抑制する呼吸補助装置のうち、推定された前記次話者に装着された前記呼吸補助装置に対して、推定された前記タイミングより前に圧迫を緩めるよう制御する呼吸制御ステップと、を実行させるための会話支援プログラムである。
【発明の効果】
【００１３】
本発明により、会話の参加者が適切なタイミングで発話するよう支援することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態による会話支援システムの構成を示す機能ブロック図である。
【図２】同実施形態による会話支援システムの動作を示すフロー図である。
【図３】同実施形態による会話支援システムの呼吸制御の例を示す図である。
【図４】同実施形態による会話支援システムに適用可能な推定システムの構成を示す機能ブロック図である。
【図５】注視対象遷移パターンを例示した図である。
【図６】時間構造情報を例示した図である。
【図７】息の吸い込み区間の例を示す図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照しながら本発明の実施形態を詳細に説明する。
一般的に、人間は発話を開始する直前に、発話を行うために、安静時の吸気よりもより大きく吸気を行うことが知られている（例えば、参考文献１参照）。そこで、本実施形態の会話支援システムは、会話の各参加者が適切なタイミングで発話ができるように、発話の直前に行うべき呼吸を、次話者に対しては誘発し、次話者以外に対しては抑制するよう制御する。この呼吸の制御は、会話の参加者の胸部又は腹部を圧迫又は解放することにより行う。胸部又は腹部を圧迫又は解放するデバイスとして、例えば、ベルトタイプのバンドを用いる。
【００１６】
（参考文献１）：石井  亮，外３名，「複数人対話での話者交替に関する呼吸動作の分析〜次話者と発話開始タイミングの予測モデルの構築に向けて〜」，社団法人  電子情報通信学会，信学技報，vol. 114，no. 189，HCS2014-49，p.35-40，2014年8月
【００１７】
なお、本実施形態で取り扱う会話は、参加者が対面して行う会話でもよく、テレビ電話やビデオチャットなど映像を用いた会話でもよい。また、対面で会話する参加者と映像を用いて会話する参加者とが存在してもよい。
【００１８】
図１は、本発明の一実施形態による会話支援システム１の構成を示す機能ブロック図であり、本実施形態と関係する機能ブロックのみを抽出して示してある。
同図に示すように、会話支援システム１は、音声入力装置２、計測装置３、呼吸補助装置４、及び、会話支援装置５を備えて構成される。
【００１９】
音声入力装置２は、例えばマイクロホンであり、各参加者の音声を入力する。計測装置３は、各参加者の非言語行動を計測する。計測する非言語行動は、視線、頭部の動き、及び、呼吸のうち１以上を含む。音声入力装置２及び計測装置３はそれぞれ、複数台であってもよい。例えば、各参加者に音声入力装置２及び計測装置３が装着され得る。
【００２０】
呼吸補助装置４は、測定者の呼吸の誘発及び抑制を行うデバイスである。呼吸補助装置４は、例えば、測定者の胸部又は腹部、あるいは、その両方など、参加者の体幹の一部に装着されるベルトである。呼吸補助装置４には、気体などにより膨らむ圧迫帯と、圧迫帯の制御装置が取り付けられている。圧迫帯に対して気体を送気又は排気することにより、圧迫量を調節することができる。呼吸補助装置４の制御装置は、会話支援装置５から指示された圧迫量となるように、圧迫帯に気体の送気又は排気を行う。あるいは、呼吸補助装置４には、ベルト状の圧迫帯と、圧迫帯の巻きとり量を調整する制御装置とが取り付けられてもよい。制御部が圧迫帯を巻き取る量を調節することで圧迫帯の長さを調整し、これにより圧迫量を調節することができる。なお、呼吸補助装置４には、測定者の胸部や腹部の圧迫の程度を調節できれば、任意のデバイスを使用することが可能である。以下では、会話の参加者の数をｍ人（ｍは２以上の整数）、ｉ番目の参加者（ｉは１以上ｍ以下の整数）を参加者Ｕｉとするとき、参加者Ｕｉの呼吸補助装置４を、呼吸補助装置４−ｉとも記載する。
【００２１】
会話支援装置５は、受信部５１、記憶部５２、次話者推定部５３、及び、呼吸制御部５４を備える。
受信部５１は、音声入力装置２から会話中の参加者の音声データを受信し、参加者の識別情報と、その参加者の音声データとを対応付けた音声情報を記憶部５２に書き込む。音声データには、音声が得られた時刻の情報が含まれる。また、受信部５１は、計測装置３から会話中の各参加者の非言語行動に関する計測結果を示すデータを受信し、参加者の識別情報と、その参加者の時系列の非言語行動の計測結果のデータとを対応付けた計測情報を記憶部５２に書き込む。
【００２２】
次話者推定部５３は、既存の任意の技術により、会話中の各参加者の非言語行動の計測値に基づいて、次に発話を行うべき次話者を推定する。本実施形態では、次話者推定部５３は、記憶部５２に記憶された音声情報に基づき発話末を検出すると、発話末において、記憶部５２に記憶された計測情報を用いて、各参加者が次話者となる確率及び発話開始タイミングを予測する。会話におけるｎ回目の発話をＩＰＵｎ、発話ＩＰＵｎの発話末において参加者Ｕｉが時刻ｔにおいて次話者となる確率をＰｉ（ｎ＋１）（ｔ）とする。次話者推定部５３は、推定結果を示す情報を呼吸制御部５４に出力する。
【００２３】
呼吸制御部５４は、次話者推定部５３による推定結果に基づいて、各参加者が装着している呼吸補助装置４を制御する。呼吸制御部５４は、平常状態において、ある程度、参加者の胸部・腹部を圧迫するよう呼吸補助装置４を制御する。以下では、平常状態における圧迫量を定常圧迫量とする。定常圧迫量の上限Ｃｍａｘは、人が息苦しさを感じることがない程度の圧迫量とする。呼吸制御部５４は、次話者推定部５３から発話ＩＰＵｎの発話末における推定結果を示す情報を入力すると、次話者となる確率Ｐｉ（ｎ＋１）（ｔ）が最も高い参加者を予測次話者として選択し、予測次話者以外の参加者を予測非次話者とする。呼吸制御部５４は、選択した予測次話者の確率Ｐｉ（ｎ＋１）（ｔ）が最も高い時刻を予測発話開始時刻ｔｄｕｓとする。呼吸制御部５４は、予測発話開始時刻ｔｄｕｓから所定時間ａだけ遡った時刻を吸気開始時刻ｔｉｎｓとし、吸気開始時刻ｔｉｎｓから所定時間ｂ（ａ＞ｂ）だけ経過した時刻を吸気終了時刻ｔｉｎｅとして算出する。なお、所定時間ａ及びｂは、予め一般的に求めた平均値を利用してもよく、予め参加者ごとに求めた平均値を利用してもよい。呼吸制御部５４は、予測次話者に発話前に吸気をさせるように、吸気開始時刻ｔｉｎｓから吸気終了時刻ｔｉｎｅにかけて、徐々に呼吸補助装置４の圧迫量を減少させ、締め付けを緩める。そして、呼吸制御部５４は、予測発話開始時刻ｔｄｕｓに予測次話者の発話開始を誘発するために、予測発話開始時刻ｔｄｕｓ経過後、予測次話者の呼吸補助装置４の圧迫量を徐々に増加させ、締め付けを開始する。呼吸制御部５４は、予測非次話者の呼吸補助装置４に対しては、定常圧迫量による圧迫を継続する。
【００２４】
なお、会話支援装置５は、１台のコンピュータ装置により実現してもよく、ネットワークにより接続される複数のコンピュータ装置により実現してもよい。会話支援装置５を複数のコンピュータ装置により実現する場合、いずれの機能部をいずれのコンピュータ装置により実現するかは任意とすることができる。また、１つの機能部を、複数台のコンピュータ装置により実現してもよい。
【００２５】
図２は、会話支援システム１の動作を示すフロー図である。
音声入力装置２は、会話中の各参加者の音声データをリアルタイムで送信している。同様に、計測装置３は、会話中に計測した各参加者の非言語行動の情報をリアルタイムで送信している。受信部５１は、音声入力装置２から受信した参加者の音声のデータに基づいて音声情報を記憶部５２に書き込む。さらに、受信部５１は、計測装置３から受信した各参加者の非言語行動を示すデータに基づいて非言語行動情報を記憶部５２に書き込む。
【００２６】
次話者推定部５３は、ｎに初期値１を設定する（ステップＳ１０５）。記憶部５２に記憶された音声情報に基づき、発話ＩＰＵｎの発話末を検出したか否かを判断する（ステップＳ１０５）。次話者推定部５３は、１つの発話の区間を、２つの所定時間連続した無音区間で囲まれた、同一の参加者の発話成分が存在する少なくとも１つの区間を含む時間区間とする。すなわち、いずれの話者も発話していない無音区間が所定時間経過した場合に、その無音区間の開始を発話末と判断する。次話者推定部５３は、発話末ではないと判断した場合（ステップＳ１１０：ＮＯ）、ステップＳ１１０の処理を繰り返す。
【００２７】
次話者推定部５３は、発話ＩＰＵｎの発話末を検出したと判断すると（ステップＳ１１０：ＹＥＳ）、記憶部５２に記憶された非言語行動情報に基づいて、各参加者Ｕｉ（ｉは１以上ｍ以下の整数）が時刻ｔにおいて次話者となる確率をＰｉ（ｎ＋１）（ｔ）を算出する（ステップＳ１１５）。次話者推定部５３は、算出結果を呼吸制御部５４に出力する。
【００２８】
呼吸制御部５４は、次話者推定部５３が算出した各参加者Ｕｉが時刻ｔにおいて次話者となる確率Ｐｉ（ｎ＋１）（ｔ）に基づき予測次話者を選択する（ステップＳ１２０）。例えば、呼吸制御部５４は、確率Ｐｉ（ｎ＋１）（ｔ）が高い順にＱ人（Ｑは１以上ｍ以下の整数）の参加者Ｕｉを予測次話者として選択する。また、例えば、呼吸制御部５４は、確率Ｐｉ（ｎ＋１）（ｔ）が所定の閾値よりも高い参加者Ｕｉを全て予測次話者に選択する。またあるいはそれらを組み合わせ、呼吸制御部５４は、確率Ｐｉ（ｎ＋１）（ｔ）が所定の閾値よりも高い参加者Ｕｉを全て予測次話者に選択し、選択された参加者がいない場合は、確率Ｐｉ（ｎ＋１）（ｔ）が高い順にＱ人の参加者Ｕｉを予測次話者として選択してもよい。このように、呼吸制御部５４は、確率Ｐｉ（ｎ＋１）（ｔ）が予測次話者となる条件を満たしている場合、参加者Ｕｉを予測次話者として選択する。ここでは、呼吸制御部５４は、確率Ｐｉ（ｎ＋１）（ｔ）が最も高い参加者Ｕｉを予測次話者として選択する。
【００２９】
呼吸制御部５４は、予測次話者の確率Ｐｉ（ｎ＋１）（ｔ）が最も高い時刻を予測発話開始時刻ｔｄｕｓとする。呼吸制御部５４は、予測発話開始時刻ｔｄｕｓから所定時間ａだけ遡った時刻を吸気開始時刻ｔｉｎｓとし、吸気開始時刻ｔｉｎｓから所定時間ｂ（ａ＞ｂ）だけ経過した時刻を吸気終了時刻ｔｉｎｅとして算出する（ステップＳ１２５）。なお、所定時間ａ及びｂは、予め一般的に求めた平均値を利用してもよく、予め参加者ごとに求めた平均値を利用してもよい。
【００３０】
呼吸制御部５４は、算出結果に基づいて、各参加者の呼吸補助装置４を制御する（ステップＳ１３０）。呼吸制御部５４は、予測次話者に発話前に吸気をさせるように、吸気開始時刻ｔｉｎｓから吸気終了時刻ｔｉｎｅにかけて、予測次話者が装着している呼吸補助装置４の圧迫量を徐々に減少させ、締め付けを緩める。呼吸制御部５４は、吸気終了時刻ｔｉｎｅになると、予測次話者が装着している呼吸補助装置４の圧迫量をそのまま維持し、締め付けを緩めたままとする。一方、呼吸制御部５４は、予測非次話者の呼吸補助装置４に対しては、定常圧迫量による圧迫を継続する。
【００３１】
呼吸制御部５４は、予測発話開始時刻ｔｄｕｓになったか、又は、次話者推定部５３が記憶部５２に記憶された音声情報に基づき次の発話の開始を検出したか否かを判断する（ステップＳ１３５）。次話者推定部５３は、予測発話開始時刻ｔｄｕｓになっておらず、次の発話の開始も検出されていないと判断した場合（ステップＳ１３５：ＮＯ）、ステップＳ１２５の制御を継続する。次話者推定部５３は、予測発話開始時刻ｔｄｕｓになった、又は、次の発話の開始を検出したと判断した場合（ステップＳ１３５：ＹＥＳ）、予測次話者の呼吸補助装置４の圧迫量を、定常圧迫量まで徐々に増加させる（ステップＳ１４０）。次話者推定部５３は、予測非次話者の呼吸補助装置４に対しては、定常圧迫量による圧迫を継続する。次話者推定部５３は、ｎに１を加算し（ステップＳ１４５）、ステップＳ１１０からの処理を繰り返す。
【００３２】
なお、上記においては、ステップＳ１１５において、次話者推定部５３が、各参加者Ｕｉが時刻ｔにおいて次話者となる確率Ｐｉ（ｎ＋１）（ｔ）を推定しているが、次話者、及び、次話者の発話開始タイミングを推定し、呼吸制御部５４に出力してもよい。この場合、呼吸制御部５４は、ステップＳ１２０の処理を省略することができる。呼吸制御部５４は、次話者推定部５３により推定された発話開始タイミングを、予測発話開始時刻ｔｄｕｓとする。
【００３３】
図３は、会話支援システム１による呼吸制御の例を示す図である。同図においては、参加者が、参加者Ｕ１〜Ｕ４の４人である場合の例を示している。
発話ＩＰＵｎの発話者は、参加者Ｕ１である。呼吸制御部５４は、発話ＩＰＵｎの間、参加者Ｕ１の呼吸補助装置４−１の圧迫量を、定常圧迫量Ｃｍａｘまで徐々に増加させ、参加者Ｕ２〜Ｕ４の呼吸補助装置４−２〜４−４の圧迫量を、一定の定常圧迫量Ｃｍａｘとするよう制御する。
【００３４】
発話ＩＰＵｎが発話終了時刻ｔｂｕｅにおいて終了すると、次話者推定部５３は、各参加者Ｕ１〜Ｕ４が時刻ｔにおいて次話者となる確率をＰｉ（ｎ＋１）（ｔ）を算出する。
呼吸制御部５４は、次話者推定部５３による算出結果から、参加者Ｕ２が予測次話者であり、予測発話開始時刻がｔｄｕｓであると判断する。呼吸制御部５４は、予測発話開始時刻ｔｄｕｓに基づいて吸気開始時刻ｔｉｎｓ及び吸気終了時刻ｔｉｎｅを算出する。
【００３５】
呼吸制御部５４は、吸気開始時刻ｔｉｎｓから吸気終了時刻ｔｉｎｅにかけて、吸気を促すため、参加者Ｕ２の呼吸補助装置４−２の圧迫量を定常圧迫量Ｃｍａｘから徐々に減少させ、締め付けを緩める。呼吸制御部５４は、吸気終了時刻ｔｉｎｅから予測発話開始時刻ｔｄｕｓまでは、参加者Ｕ２の呼吸補助装置４−２の圧迫量を減らしたままとする。呼吸制御部５４は、予測発話開始時刻ｔｄｕｓになったところで、参加者Ｕ２の発話開始を誘発するために、呼吸補助装置４−２の圧迫量を定常圧迫量Ｃｍａｘまで徐々に増加させ、発話ＩＰＵｎ＋１の終了を検出するまで、定常圧迫量Ｃｍａｘによる圧迫を継続する。一方、呼吸制御部５４は、参加者Ｕ１、Ｕ３、Ｕ４の呼吸補助装置４−２に対しては、発話終了時刻ｔｂｕｅ以降、発話ＩＰＵｎ＋１の終了を検出するまで、定常圧迫量Ｃｍａｘによる圧迫を継続する。
【００３６】
以上説明したように、本実施形態の会話支援システムは、会話中の各参加者の非言語行動の計測結果に基づいて、次に発話を行うべき参加者である次話者及び次の発話の開始のタイミングを推定する。会話の参加者にはそれぞれ、体幹の一部の圧迫の程度を変えて呼吸を誘発又は抑制する呼吸補助装置が装着されており、会話支援システムは、推定された次話者が装着している呼吸補助装置に対して、推定された発話開始のタイミングより前に圧迫を緩めるよう制御する。
【００３７】
以上説明した実施形態によれば、会話中に、適切なタイミングで適切な参加者が発話するよう支援することができる。この支援により、スムーズに会話が進行する。
【００３８】
会話支援システム１の音声入力装置２、計測装置３、受信部５１、記憶部５２、及び、次話者推定部５３には、従来技術による次話者推定装置を適用することができる。例えば、参加者の発話及び視線の計測データに基づいて、発話終了時点において次話者及び発話開始タイミングを推定する技術として、以下の参考文献２、３の技術などを適用することができる。参考文献２、３では、発話者と非発話者の注視行動の遷移パターンを用いて、次発話者（次話者）および発話のタイミングを予測している。
【００３９】
（参考文献２）特開２０１４−２３８５２５公報
（参考文献３）石井亮，外４名，“複数人対話における注視遷移パターンに基づく次話者と発話タイミングの予測”，人工知能学会研究会資料，SIG-SLUD-B301-06, pp.27-34, 2013．
【００４０】
以下に、本実施形態に適用可能な参考文献２，３以外の次話者推定技術の例を示す。
（第１の次話者推定技術の例）
この次話者推定技術では、複数の参加者間で行われる会話を含むコミュニケーションにおいて、発話終了前後の参加者の視線行動と次に話し始める参加者や話し始めるタイミングに強い関連性があることを利用する。参加者の音声情報から発話単位を自動的に生成し、参加者全員ないしは複数の参加者の発話単位付きの視線行動を入力とし、発話区間の終了時点に対応する時間区間におけるコミュニケーション参加者の注視対象を表す注視対象ラベルから、注視対象の移り変わり（遷移）を表す注視対象遷移パターンと、視線行動の時間的な関係を表す時間構造情報とを生成する。その注視対象遷移パターンと時間構造情報とを用いて次に発話を開始する参加者およびタイミングの少なくとも一方を推定する。
【００４１】
この次話者推定技術では、参加者の視線行動の情報として、（１）参加者の注視対象の移り変わりを表す遷移パターン、（２）視線行動と前の発話者との時間的な関係や、視線行動の持続時間、複数人の視線行動の時間的な関係、などに着目する。以下では、上記（２）の情報を視線行動のタイミング構造情報もしくは時間構造情報と呼ぶ。例えば、タイミング構造情報のうち、ある視線行動の組でどちらが先に行動を開始もしくは終了したかという情報は、次発話者を決めるうえで非常に有用な情報となる。具体的には、ある参加者が話者と視線交差をしたときに、その参加者が先に話者から視線を外した場合、その参加者が次発話者となる確率が非常に高くなる。逆に、その参加者よりも先に話者が視線を外した場合は、その参加者が次発話者となる確率は低くなる。このように、視線行動および視線行動の移り変わり（遷移）だけでなく、視線行動の時間的な関係は次発話者や次発話開始のタイミングを予測する上で有用な情報である。
【００４２】
以下では、会話の参加者がＵ１〜ＵＮのＮ人（Ｎ≧２）である場合について説明する。
図４は、本実施形態に適用可能な次話者推定システムの構成を示す図である。
注視対象検出装置９１１−ｊ（ただし、ｊ＝１，…，Ｎ）は、参加者Ｕｊが誰を注視しているか（注視対象）を検出し、参加者Ｕｊおよび注視対象Ｇｊ（ｔ）を表す情報を推定装置９０に送る。ただし、ｔは離散時間を表す。例えば、注視対象検出装置９１１−ｊは、公知の視線計測装置などを用い、参加者Ｕｊが誰を注視しているかを検出する。
音声情報取得装置９１２−ｓ（ただし、ｓ＝１，…，Ｎ）は、例えば、マイクロホンを使用して、参加者Ｕｓ（ただし、ｓ＝１，…，Ｎ）の音声情報を取得し、取得した音声情報Ｘｓ（ｔ）を表す情報を推定装置９０に送る。ただし、ｔは離散時間を表す。
【００４３】
発話単位抽出部９１は、音声情報Ｘｓから雑音成分を除去して発話成分のみを抽出し、それから発話区間Ｔｓを取得する。本次話者推定技術では、１つの発話区間Ｔｓを、２つのＴｄミリ秒連続した無音区間で囲まれた、発話成分が存在する少なくとも１つの区間を含む時間区間と定義する。本次話者推定技術では、この発話区間Ｔｓを参加者Ｕｓの発話の１つの単位と規定し、ある発話区間Ｔｓの終了時に、同じ参加者Ｕｓが続けて発話をするか（すなわち継続するか）、あるいは他の参加者の誰が発話をするのか（すなわち発話交替するか）を判定する。
【００４４】
また、発話単位抽出部９１は、抽出した発話区間Ｔｓに対して誰が発話者であるのかを示す話者情報Ｕｓを取得する。話者情報は、複数のマイクロホンを用いて、マイクロホンごとに収音される音声の時間差や、音の大きさ、音声的特徴などを使って抽出可能であり、一般的に考えられるあらゆる手段を用いてよい。発話単位抽出部９１は、発話区間Ｔｓとそれに対応する参加者Ｕｓを表す情報（誰が発話したかを表す話者情報）を注視対象ラベル生成部９２へ出力する。
【００４５】
注視対象ラベル生成部９２は、注視対象情報Ｇ１（ｔ），…，ＧＮ（ｔ）、発話区間Ｔｓ、および話者情報Ｕｓを入力とし、発話区間終了前後における注視対象ラベル情報θｋ（ただし、ｋ＝１，…，Ｋ、Ｋは注視対象ラベルの総数）を生成して出力する。注視対象ラベル情報は、発話区間Ｔｓの終了時点Ｔｓｅに対応する時間区間における参加者の注視対象を表す情報である。本次話者推定技術では、終了時点Ｔｓｅを含む有限の時間区間における参加者Ｕｊの注視対象をラベル付けした注視対象ラベル情報θｋを例示する。例えば、発話区間Ｔｓの終了時点Ｔｓｅよりも前の時点Ｔｓｅ−Ｔｂから終了時点Ｔｓｅよりも後の時点Ｔｓｅ＋Ｔａまでの区間に出現した注視行動を扱う。Ｔｂ，Ｔａは０以上の任意の値でよいが、目安として、Ｔｂは０秒〜２．０秒、Ｔａは０秒〜３．０秒程度にするのが適当である。
【００４６】
注視対象ラベル生成部９２は、注視対象の参加者を以下のような種別に分類し、注視対象のラベリングを行う。
・ラベルＳ：話者（すなわち、話者である参加者Ｕｓを表す）
・ラベルＬξ：非話者（ただし、ξは互いに異なる非話者である参加者を識別し、ξ＝１，…，Ｎ−１である。例えば、ある参加者が、非話者Ｕ２、非話者Ｕ３、の順に注視をしていたとき、非話者Ｕ２にＬ１というラベル、非話者Ｕ３にＬ２というラベルが割り当てられる。）
・ラベルＸ：誰も見ていない
【００４７】
ラベルがＳまたはＬξのときには、相互注視（視線交差）が起きたか否かという情報を付与する。本次話者推定技術では、相互注視が起きた際には、ＳＭ，ＬξＭ（下付き添え字の「ξＭ」はξＭを表す）のように、ラベルＳ，Ｌξの末尾にＭラベルを付与する。
【００４８】
図５に注視対象ラベルの具体例を示す。図５はＮ＝４の例であり、発話区間Ｔｓ，Ｔｓ＋１と各参加者の注視対象が時系列に示されている。図５の例では、参加者Ｕ１が発話した後、発話交替が起き、新たに参加者Ｕ２が発話をした際の様子を示している。ここでは、話者である参加者Ｕ１が参加者Ｕ４を注視した後、参加者Ｕ２を注視している。Ｔｓｅ−Ｔｂの時点からＴｓｅ＋Ｔａの時点までの区間では、参加者Ｕ１が参加者Ｕ２を見ていたとき、参加者Ｕ２は参加者Ｕ１を見ている。これは、参加者Ｕ１と参加者Ｕ２とで相互注視が起きていることを表す。この場合、参加者Ｕ１の注視対象情報Ｇ１（ｔ）から生成される注視対象ラベルはＬ１とＬ２Ｍの２つとなる。上述の区間では、参加者Ｕ２は参加者Ｕ４を注視した後、話者である参加者Ｕ１を注視している。この場合、参加者Ｕ２の注視対象ラベルはＬ１とＳＭの２つとなる。また、上述の区間では、参加者Ｕ３は話者である参加者Ｕ１を注視している。この場合、参加者Ｕ３の注視対象ラベルはＳとなる。また、上述の区間では、参加者Ｕ４は誰も見ていない。この場合、参加者Ｕ４の注視対象ラベルはＸとなる。したがって、図５の例では、Ｋ＝６である。
【００４９】
注視対象ラベル生成部９２は、注視対象ラベルごとの開始時刻、終了時刻も取得する。ここで、誰（Ｒ∈｛Ｓ，Ｌ｝）のどの注視対象ラベル（ＧＬ∈｛Ｓ，ＳＭ，Ｌ１，Ｌ１Ｍ，Ｌ２，Ｌ２Ｍ，…｝）であるかを示す記号としてＲＧＬ、その開始時刻をＳＴ＿ＲＧＬ、終了時刻をＥＴ＿ＲＧＬと定義する。ただし、Ｒは参加者の発話状態（話者か非話者か）を表し、Ｓは話者、Ｌは非話者である。例えば、図５の例において、参加者Ｕ１の最初の注視対象ラベルはＳＬ１であり、その開始時刻はＳＴ＿ＳＬ１、終了時刻はＥＴ＿ＳＬ１である。注視対象ラベル情報θｋは注視対象ラベルＲＧＬ、開始時刻ＳＴ＿ＲＧＬ、および終了時刻ＥＴ＿ＲＧＬを含む情報である。
【００５０】
注視対象ラベル生成部９２は、以上のように得た注視対象ラベル情報θｋを注視対象遷移パターン生成部９３および時間構造情報生成部９４へ出力する。
【００５１】
注視対象遷移パターン生成部９３は、注視対象ラベル情報θｋを入力とし、各参加者Ｕｊの注視対象遷移パターンｆｊを生成する。注視対象遷移パターンの生成は、注視対象ラベルＲＧＬを構成要素として、時間的な順序を考慮した遷移ｎ−ｇｒａｍを生成して行う。ここで、ｎは正の整数である。例えば、図５の例を考えると、参加者Ｕ１の注視対象ラベルＬ１とＬ２Ｍとから生成される注視対象遷移パターンｆ１はＬ１−Ｌ２Ｍである。同様にして、参加者Ｕ２の注視対象遷移パターンｆ２はＬ１−ＳＭ、参加者Ｕ３の注視対象遷移パターンｆ３はＳ、参加者Ｕ４の注視対象遷移パターンｆ４はＸとなる。
【００５２】
注視対象遷移パターン生成部９３は、以上のように得た注視対象遷移パターンｆｊを推定部９５へ出力する。注視対象遷移パターンｆｊを、例えば発話区間Ｔｓ＋１が開始された後に、発話区間Ｔｓおよびその発話者Ｕｓ、発話区間Ｔｓ＋１に該当する発話を行う次発話者Ｕｓ＋１、および次発話開始タイミングＴｕｂを表す情報とともに学習データ記憶部９５１に送られる。
【００５３】
時間構造情報生成部９４は、注視対象ラベル情報θｋを入力とし、注視対象ラベルごとの時間構造情報Θｋを生成する。時間構造情報は参加者の視線行動の時間的な関係を表す情報であり、（１）注視対象ラベルの時間長、（２）注視対象ラベルと発話区間の開始時刻または終了時刻との間隔、（３）注視対象ラベルの開始時刻または終了時刻と他の注視対象ラベルの開始時刻または終了時刻との間隔、をパラメータとして持つ。
【００５４】
時間構造情報の具体的なパラメータを以下に示す。以下では、発話区間の開始時刻をＳＴ＿Ｕ、発話区間の終了時刻をＥＴ＿Ｕと定義する。
・ＩＮＴ１（＝ＥＴ＿ＲＧＬ−ＳＴ＿ＲＧＬ）：注視対象ラベルＲＧＬの開始時刻ＳＴ＿ＲＧＬと終了時刻ＥＴ＿ＲＧＬの間隔
・ＩＮＴ２（＝ＳＴ＿Ｕ−ＳＴ＿ＲＧＬ）：注視対象ラベルＲＧＬの開始時刻ＳＴ＿ＲＧＬが発話区間の開始時刻ＳＴ＿Ｕよりもどれくらい前であったか
・ＩＮＴ３（＝ＥＴ＿Ｕ−ＳＴ＿ＲＧＬ）：注視対象ラベルＲＧＬの開始時刻ＳＴ＿ＲＧＬが発話区間の終了時刻ＥＴ＿Ｕよりもどれくらい前であったか
・ＩＮＴ４（＝ＥＴ＿ＲＧＬ−ＳＴ＿Ｕ）：注視対象ラベルＲＧＬの終了時刻ＥＴ＿ＲＧＬが発話区間の開始時刻ＳＴ＿Ｕよりもどれくらい後であったか
・ＩＮＴ５（＝ＥＴ＿Ｕ−ＥＴ＿ＲＧＬ）：注視対象ラベルＲＧＬの終了時刻ＥＴ＿ＲＧＬが発話区間の終了時刻ＥＴ＿Ｕよりもどれくらい前であったか
・ＩＮＴ６（＝ＳＴ＿ＲＧＬ−ＳＴ＿ＲＧＬ’）：注視対象ラベルＲＧＬの開始時刻ＳＴ＿ＲＧＬが他の注視対象ラベルＲＧＬ’の開始時刻ＳＴ＿ＲＧＬ’よりもどれくらい後であったか
・ＩＮＴ７（＝ＥＴ＿ＲＧＬ’−ＳＴ＿ＲＧＬ）：注視対象ラベルＲＧＬの開始時刻ＳＴ＿ＲＧＬが他の注視対象ラベルＲＧＬ’の終了時刻ＥＴ＿ＲＧＬ’よりもどれくらい前であったか
・ＩＮＴ８（＝ＥＴ＿ＲＧＬ−ＳＴ＿ＲＧＬ’）：注視対象ラベルＲＧＬの終了時刻ＥＴ＿ＲＧＬが注視対象ラベルＲＧＬ’の開始時刻ＳＴ＿ＲＧＬ’よりもどれくらい後であったか
・ＩＮＴ９（＝ＥＴ＿ＲＧＬ−ＥＴ＿ＲＧＬ’）：注視対象ラベルＲＧＬの終了時刻ＥＴ＿ＲＧＬが注視対象ラベルＲＧＬ’の終了時刻ＥＴ＿ＲＧＬ’よりもどれくらい後であったか
【００５５】
なお、ＩＮＴ６〜ＩＮＴ９については、すべての参加者の注視対象ラベルとの組み合わせに対して取得する。図５の例では、注視対象ラベル情報は全部で６つ（Ｌ１，Ｌ２Ｍ，Ｌ１，ＳＭ，Ｓ，Ｘ）あるため、ＩＮＴ６〜ＩＮＴ９は、それぞれ６×５＝３０個のデータが生成される。
【００５６】
時間構造情報Θｋは注視対象ラベル情報θｋについてのパラメータＩＮＴ１〜ＩＮＴ９からなる情報である。図６を用いて時間構造情報Θｋを構成する上記の各パラメータを具体的に示す。図６は、話者である参加者Ｕ１（Ｒ＝Ｓ）の注視対象ラベルＬ１についての時間構造情報を示したものである。すなわち、ＲＧＬ＝ＳＬ１における時間構造情報である。なお、ＩＮＴ６〜ＩＮＴ９については、図示を簡略化するために、参加者Ｕ２の注視対象ラベルＬ１、すなわちＲＧＬ＝ＬＬ１との関係のみを示す。図６の例では、ＩＮＴ１〜ＩＮＴ９は以下のように求められることがわかる。
・ＩＮＴ１＝ＥＴ＿ＳＬ１−ＳＴ＿ＳＬ１
・ＩＮＴ２＝ＳＴ＿Ｕ−ＳＴ＿ＳＬ１
・ＩＮＴ３＝ＥＴ＿Ｕ−ＳＴ＿ＳＬ１
・ＩＮＴ４＝ＥＴ＿ＳＬ１−ＳＴ＿Ｕ
・ＩＮＴ５＝ＥＴ＿Ｕ−ＥＴ＿ＳＬ１
・ＩＮＴ６＝ＳＴ＿ＳＬ１−ＳＴ＿ＬＬ１
・ＩＮＴ７＝ＥＴ＿ＬＬ１−ＳＴ＿ＳＬ１
・ＩＮＴ８＝ＥＴ＿ＳＬ１−ＳＴ＿ＬＬ１
・ＩＮＴ９＝ＥＴ＿ＳＬ１−ＥＴ＿ＬＬ１
【００５７】
時間構造情報生成部９４は、以上のように時間構造情報Θｋを推定部９５へ出力する。時間構造情報Θｋは、例えば次の発話区間Ｔｓ＋１が開始された後に、発話区間Ｔｓおよびその発話者Ｕｓ、発話区間Ｔｓ＋１に該当する発話を行う次発話者Ｕｓ＋１、および次発話開始タイミングＴｕｂを表す情報とともに学習データ記憶部９５１に送られる。学習データ記憶部９５１では、注視対象遷移パターン生成部９３から送られた注視対象遷移パターンｆｊと併合され、Θｋ，ｆｊ，Ｔｓ，Ｕｓ，Ｕｓ＋１，Ｔｕｂを表す情報の一部またはすべてが学習データ記憶部９５１に保持される。また、次発話者算出部９５２、次発話開始タイミング算出部９５３には、発話区間Ｔｓの終了時点Ｔｓｅよりも後の時点Ｔｓｅ＋Ｔａで、θｋ，ｆｊ，Ｔｓ，Ｕｓが送られる。
【００５８】
学習データ記憶部９５１には、発話者Ｕｓ、注視対象遷移パターンｆｊ、時間構造情報Θｋ、次発話者Ｕｓ＋１、および次発話開始タイミングＴｕｂがセットとなったデータセットが複数保持されている。これらの情報は、事前に複数の参加者間で行われるコミュニケーションを収録したものを収集して、上述の方法により生成したものである。あるいは、注視対象遷移パターン生成部９３から送られてきた注視対象遷移パターンｆｊ，時間構造情報生成部９４から送られてきた時間構造情報Θｋ，発話区間Ｔｓ，発話者Ｕｓ，次発話者Ｕｓ＋１，および次発話タイミングＴｕｂを表す情報の一部またはすべてが逐次記憶される。
【００５９】
次発話者算出部９５２は、発話単位抽出部９１で得られた話者情報Ｕｓ、注視対象遷移パターン生成部９３で得られた注視対象遷移パターンｆｊ、時間構造情報生成部９４で得られた時間構造情報Θｋを入力とし、これらを用いて次発話者となる参加者Ｕｓ＋１を算出する。
【００６０】
次発話者の算出方法としては、例えば、（１）注視対象遷移パターンｆｊと、時間構造情報ΘｋのパラメータＩＮＴ１〜ＩＮＴ９のうち少なくとも一つとを用いて、ある注視対象遷移パターンｆｊが出現した際にあらかじめ定められた次発話者Ｕｓ＋１を決定するような条件判定、（２）時間構造情報ΘｋのパラメータＩＮＴ１〜ＩＮＴ９のいずれかがあらかじめ定めた閾値を超えた際に次発話者Ｕｓ＋１を決定するなどの閾値判定、または、（３）サポートベクターマシンに代表されるような機械学習の一般的な手法により次発話者Ｕｓ＋１を予測する判定手法、などを用いることができる。
【００６１】
（２）閾値判定を用いる手法の具体例としては、以下のとおりである。ここでは、話者である参加者Ｕ１の注視対象ラベルがＬ１Ｍ（非話者と相互注視）であり、非話者である参加者Ｕ２の注視対象ラベルがＳＭ（話者と相互注視）であるときを考える。このとき、話者の注視対象ラベルＳＬ１Ｍ（下付き添え字の「Ｌ１Ｍ」はＬ１Ｍを表し、下付き添え字の「１Ｍ」は１Ｍを表す）の終了時刻ＥＴ＿ＳＬ１Ｍが非話者の注視対象ラベルＬＳＭ（下付き添え字の「ＳＭ」はＳＭを表す）の終了時刻ＥＴ＿ＬＳＭよりもどれくらい後であったかを示すパラメータＩＮＴ９は、次発話者が非話者である参加者Ｕ２になるとき（すなわち発話交替が起きるとき）は正の値を取り、次発話者が話者である参加者Ｕ１であるとき（すなわち発話継続するとき）は負の値を取る傾向にある。この性質を利用して、ＩＮＴ９＜α（αは任意の閾値）が成り立つときに、次発話者は現在の話者である参加者Ｕ１と判定する。
【００６２】
（３）機械学習を用いる判定手法の具体例を図５の注視対象データを用いて以下に示す。次発話者算出部９５２は、学習データ記憶部９５１に記憶されたデータセットから以下の特徴量を読み込み、これらを学習データとして、次発話者の予測モデルを学習する。
・話者情報Ｕｓ
・各参加者Ｕ１，…，Ｕ４の注視対象遷移パターンｆ１，…，ｆ４
・各注視対象ラベル情報θ１，…，θ６の時間構造情報Θ１，…，Θ６
このとき、目的変数は、
・次発話者となる参加者Ｕｓ＋１（Ｕ１，…，Ｕ４のいずれか）
である。
【００６３】
機械学習手法はどのようなものを利用してもよい。例えば、ＳＶＭ（Support Vector Machine）、ＧＭＭ（Gaussian Mixture Model）、ＨＭＭ（Hidden Markov Model）等の一般的な手法を用いればよい。
【００６４】
次発話者算出部９５２は、話者情報Ｕｓ、注視対象遷移パターンｆｊ、および時間構造情報Θｋを、上記のように学習した予測モデルに入力して次発話者Ｕｓ＋１を得、その次発話者Ｕｓ＋１を表す推定情報を予測結果として出力する。
【００６５】
次発話開始タイミング算出部９５３は、次発話者算出部９５２で得られた次発話者Ｕｓ＋１、発話単位抽出部９１で得られた話者情報Ｕｓ、注視対象遷移パターン生成部９３で得られた注視対象遷移パターンｆｊ、時間構造情報生成部９４で得られた時間構造情報Θｋを入力とし、これらを用いて次発話の開始するタイミングＴｕｂを算出する。話者情報Ｕｓは注視対象遷移パターン生成部９３もしくは時間構造情報生成部９４のいずれから受け取ってもよい。次発話の開始するタイミングＴｕｂは、ある時点を起点とした次の発話の開始時刻ＳＴ＿Ｕまでの時間間隔である。例えば、ある時点の絶対時点（実時刻）をαとし、次の発話開始時点の絶対時点をβとすると、次発話開始タイミングＴｕｂはβ−αである。
【００６６】
次発話開始タイミングの算出方法としては、例えば、（１）注視対象遷移パターンｆｊと、時間構造情報ΘｋのパラメータＩＮＴ１〜ＩＮＴ９のうち少なくとも一つとを用いて、ある注視対象遷移パターンｆｊが出現した際にあらかじめ定められた発話開始タイミングＴｕｂを決定するような条件判定、（２）時間構造情報ΘｋのパラメータＩＮＴ１〜ＩＮＴ９に対応した、次発話開始タイミングの関数式（例えば、ＩＮＴ１を引数としてタイミングＴを出力するＴ＝Ｆ（ＩＮＴ１）などの関数）を、あらかじめ一般的な会話データを利用して作成しておき利用する算出手法、または、（３）サポートベクターマシンに代表されるような機械学習の一般的な手法により次発話開始タイミングＴｕｂを予測する算出手法、などを用いることができる。
【００６７】
（３）機械学習を用いる算出手法の具体例を図５の注視対象データを用いて以下に示す。次発話開始タイミング算出部９５３は、学習データ記憶部９５１に記憶されたデータセットから以下の特徴量を読み込み、これらを学習データとして、次発話開始タイミングの予測モデルを学習する。
・話者情報Ｕｓ
・次発話者情報Ｕｓ＋１
・各参加者Ｕ１，…，Ｕ４の注視対象遷移パターンｆ１，…，ｆ４
・各注視対象ラベル情報θ１，…，θ６の時間構造情報Θ１，…，Θ６
このとき、目的変数は、
・次発話者情報Ｕｓ＋１が発話を開始するタイミングＴｕｂ（次の発話の開始時刻ＳＴ＿Ｕを任意の時刻を基点とした時間間隔）
である。
【００６８】
機械学習手はどのようなものを利用してもよい。例えば、ＳＶＭ、ＧＭＭ、ＨＭＭ等の一般的な手法を用いればよい。
【００６９】
次発話開始タイミング算出部９５３は、話者情報Ｕｓ、注視対象遷移パターンｆｊ、および時間構造情報Θｋを、上記のように学習した予測モデルに入力して次発話開始タイミングＴｕｂを得、その次発話開始タイミングＴｕｂを表す推定情報を予測結果として出力する。また、次発話開始タイミング算出部９５３は、発話者Ｕｓ、注視対象遷移パターンｆｊ、時間構造情報Θｋ、次発話者Ｕｓ＋１、および次発話開始タイミングＴｕｂをセットにして学習データ記憶部９５１に記憶し、以降に行われる予測モデルの学習に利用できるようにする。
【００７０】
（第２の次話者推定技術の例）
会話の参加者の呼吸動作は次発話者と発話のタイミングに深い関連性がある。このことを利用して、会話の参加者の呼吸動作をリアルタイムに計測し、計測された呼吸動作から発話の開始直前に行われる特徴的な呼吸動作を検出し、この呼吸動作を基に次発話者とその発話タイミングを高精度に算出する。具体的には、発話開始直前におこなわれる呼吸動作の特徴として、発話を行っている発話者は、継続して発話する際（発話者継続時）には、発話終了直後にすぐに急激に息を吸い込む。逆に発話者が次に発話を行わない際（発話者交替時）には、発話者継続時に比べて、発話終了時から間を空けて、ゆっくりと息を吸い込む。また、発話者交替時に、次に発話をおこなう次発話者は、発話を行わない非発話者に比べて大きく息を吸い込む。このような発話の前におこなわれる呼吸は、発話開始に対しておおよそ決められたタイミングで行われる。このように、発話の直前に次発話者は特徴的な息の吸い込みを行うため、このような息の吸い込みの情報は、次発話者とその発話タイミングを予測するのに有用である。本次話者推定技術では、人物の息の吸い込みに着目し、息の吸い込み量や吸い込み区間の長さ、タイミングなどの情報を用いて、次発話者と発話タイミングを予測する。
【００７１】
以下では、Ａ人の参加者Ｐ１，…，ＰＡが対面コミュニケーションを行う状況を想定する。参加者Ｐａ（ただし、ａ＝１，…，Ａ、Ａ≧２）には呼吸動作計測装置および音声情報取得装置が装着される。呼吸動作計測装置は、参加者Ｐａの呼吸動作を計測し、各離散時刻ｔでの計測結果を表す呼吸情報Ｂａ，ｔを得て、推定装置に出力する。バンド式の呼吸装置では、バンドの伸縮の強さによって呼吸の深さの度合いを示す値を出力する。息の吸い込みが大きいほどバンドの伸びが大きくなり、逆に息の吐き出しが大きいほどバンドの縮みが大きくなる（バンドの伸びが小さくなる）。以降、この値をＲＳＰ値と呼ぶ。なお、ＲＳＰ値は、バンドの伸縮の強さに応じて参加者Ｐａごとに異なる大きさを取る。そこで、これに起因するＰａごとのＲＳＰ値の相違を排除するために、各参加者ＰａのＲＳＰ値の平均値μａと標準偏差値δａを用いて、μａ+δａが１、μａ−δａが−１になるように参加者ＰａごとにＲＳＰ値を正規化する。これによって、すべての参加者Ｐａの呼吸動作データを同一に分析することが可能となる。各呼吸動作計測装置は、正規化されたＲＳＰ値を呼吸情報Ｂａ，ｔとして推定装置に送る。
【００７２】
さらに、音声情報取得装置は、参加者Ｐａの音声を取得し、各離散時刻ｔでの参加者Ｐａの音声を表す音声情報Ｖａ，ｔを得て、推定装置に出力する。推定装置は、入力された音声情報Ｖａ，ｔ（ただし、ａ＝１，…，Ａ）から雑音を除去し、さらに発話区間Ｕｋ（ただし、ｋは発話区間Ｕｋの識別子）とその発話者Ｐｕｋとを抽出する。ただし、「Ｐｕｋ」の下付き添え字はｕｋ＝１，…，Ａを表す。本次話者推定技術では、１つの発話区間ＵｋをＴｄ［ｍｓ］連続した無音区間で囲まれた区間と定義し、この発話区間Ｕｋを発話の一つの単位と規定する。これにより、推定装置は、各発話区間Ｕｋを表す発話区間情報、およびその発話者Ｐｕｋを表す発話者情報（参加者Ｐ１，…，ＰＡのうち何れが発話区間Ｕｋでの発話者Ｐｕｋであるかを表す発話者情報）を得る。
【００７３】
推定装置は、各参加者Ｐａの呼吸情報Ｂａ，ｔを用いて、各参加者Ｐａの息の吸い込み区間Ｉａ，ｋを抽出し、さらに息の吸い込みに関するパラメータλａ，ｋを取得する。息の吸い込み区間とは、息を吐いている状態から、息を吸い込みだす開始位置と、息を吸い込み終わる終了位置との間の区間を示す。
【００７４】
図７は、息の吸い込み区間の例を示す図である。図７を用いて、息の吸い込み区間Ｉａ，ｋの算出方法を例示する。ここで参加者Ｐａの離散時刻ｔでのＲＳＰ値をＲａ，ｔと表記する。ＲＳＰ値Ｒａ，ｔは呼吸情報Ｂａ，ｔに相当する。図７に例示するように、例えば、
【００７５】
【数１】
0006335157.tif 000002
【００７６】
が成り立つとき、離散時刻ｔ＝ｔｓ（ｋ）の前２フレームでＲＳＰ値Ｒａ，ｔが連続して減少し、その後２フレームでＲＳＰ値Ｒａ，ｔが連続して上昇しているから、離散時刻ｔｓ（ｋ）を息の吸い込みの開始位置とする。さらに
【００７７】
【数２】
0006335157.tif 000003
【００７８】
が成り立つとき、離散時刻ｔ＝ｔｅ（ｋ）の前２フレームのＲＳＰ値Ｒａ，ｔが連続して上昇し、その後２フレームのＲＳＰ値Ｒａ，ｔが連続して減少しているから、離散時刻ｔｅ（ｋ）を息の吸い込みの終了位置とする。このとき、参加者Ｐａの息の吸い込み区間Ｉａ，ｋはｔｓ（ｋ）からｔｅ（ｋ）までの区間となり、息の吸い込み区間の長さはｔｅ（ｋ）−ｔｓ（ｋ）となる。
【００７９】
推定装置は、息の吸い込み区間Ｉａ，ｋが抽出されると、息の吸い込み区間Ｉａ，ｋ、呼吸情報Ｂａ，ｔ、および発話区間Ｕｋの少なくとも一部を用い、息の吸い込みに関するパラメータλ’ａ，ｋを抽出する。パラメータλ’ａ，ｋは、参加者Ｐａの吸い込み区間Ｉａ，ｋでの息の吸い込みの量、吸い込み区間Ｉａ，ｋの長さ、吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕｋと吸い込み区間Ｉａ，ｋとの時間関係の少なくとも一部を表す。パラメータλ’ａ，ｋは、これらの一つのみを表してもよいし、これらのうち複数を表してもよいし、これらすべてを表してもよい。パラメータλ’ａ，ｋは、例えば以下のパラメータＭＩＮａ，ｋ，ＭＡＸａ，ｋ，ＡＭＰａ，ｋ，ＤＵＲａ，ｋ，ＳＬＯａ，ｋ，ＩＮＴ１ａ，ｋの少なくとも一部を含む。パラメータλ’ａ，ｋは、これらの１つのみを含んでいてもよいし、これらのうち複数を含んでいてもよいし、これらのすべてを含んでいてもよい。
・ＭＩＮａ，ｋ：参加者Ｐａの息の吸い込み開始時のＲＳＰ値Ｒａ，ｔ、すなわち、息の吸い込み区間Ｉａ，ｋのＲＳＰ値Ｒａ，ｔの最小値。
・ＭＡＸａ，ｋ：参加者Ｐａの息の吸い込み終了時のＲＳＰ値Ｒａ，ｔ、すなわち、息の吸い込み区間Ｉａ，ｋのＲＳＰ値Ｒａ，ｔの最大値。
・ＡＭＰａ，ｋ：参加者Ｐａの息の吸い込み区間Ｉａ，ｋのＲＳＰ値Ｒａ，ｔの振幅、すなわち、ＭＡＸａ，ｋ−ＭＩＮａ，ｋで算出される値。吸い込み区間Ｉａ，ｋでの息の吸い込み量を表す。
・ＤＵＲａ，ｋ：参加者Ｐａの息の吸い込み区間Ｉａ，ｋの長さ、すなわち、息の吸い込み区間Ｉａ，ｋの終了位置の離散時刻ｔｅ（ｋ）から開始位置の離散時刻ｔｓ（ｋ）を減じて得られる値ｔｅ（ｋ）−ｔｓ（ｋ）。
・ＳＬＯａ，ｋ：参加者Ｐａの息の吸い込み区間Ｉａ，ｋにおけるＲＳＰ値Ｒａ，ｔの単位時間当たりの傾きの平均値、すなわち、ＡＭＰａ，ｋ／ＤＵＲａ，ｋで算出される値。吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化を表す。
・ＩＮＴ１ａ，ｋ：手前の発話区間Ｕｋの終了時刻ｔｕｅ（ｋ）（発話区間末）から参加者Ｐａの息の吸い込みが開始されるまでの間隔、すなわち、息の吸い込み区間Ｉａ，ｋの開始位置の離散時刻ｔｓ（ｋ）から発話区間Ｕｋの終了時刻ｔｕｅ（ｋ）を減じて得られる値ｔｓ（ｋ）−ｔｕｅ（ｋ）。発話区間Ｕｋと吸い込み区間Ｉａ，ｋとの時間関係を表す。
【００８０】
推定装置は、さらに以下のパラメータＩＮＴ２ａ，ｋを生成してもよい。
・ＩＮＴ２ａ，ｋ：参加者Ｐａの息の吸い込み終了時から次発話者の発話区間Ｕｋ＋１が開始されるまでの間隔、すなわち、次発話者の発話区間Ｕｋ＋１の開始時刻ｔｕｓ（ｋ＋１）から息の吸い込み区間Ｉａ，ｋの終了位置の離散時刻ｔｅ（ｋ）を減じて得られる値ｔｕｓ（ｋ＋１）−ｔｅ（ｋ）。発話区間Ｕｋ＋１と吸い込み区間Ｉａ，ｋとの時間関係を表す。パラメータλ’ａ，ｋにＩＮＴ２ａ，ｋを加えたものをパラメータλａ，ｋと表記する。
【００８１】
推定装置は、例えば発話区間Ｕｋ＋１を表す情報が得られ、さらに、パラメータλａ，ｋが得られた以降（発話区間Ｕｋ＋１が開始された後）に、発話区間Ｕｋおよびその発話者Ｐｕｋ、発話区間Ｕｋ＋１およびその発話者Ｐｕｋ＋１とその発話開始タイミングＴｕｋ＋１を表す情報とともにデータベースに記録する。次発話者Ｐｕｋ＋１の発話タイミングとは、発話区間Ｕｋ＋１の何れかの時点またはそれに対応する時点であればよい。発話タイミングＴｕｋ＋１は、発話区間Ｕｋ＋１の開始時刻ｔｕｓ（ｋ＋１）であってもよいし、時刻ｔｕｓ（ｋ＋１）＋γ（ただし、γは正または負の定数）であってもよいし、発話区間Ｕｋ＋１の終了時刻ｔｕｅ（ｋ＋１）であってもよいし、時刻ｔｕｅ（ｋ＋１）＋γであってもよいし、発話区間Ｕｋ＋１の中心時刻ｔｕｓ（ｋ＋１）＋（ｔｕｅ（ｋ＋１）−ｔｕｓ（ｋ＋１））／２であってもよい。λａ，ｋ，Ｕｋ，Ｐｕｋ，Ｐｕｋ＋１，Ｔｕｋ＋１を表す情報の一部またはすべてがデータベースに保持され、推定装置が発話区間Ｕｋ＋１よりも後の次発話者とその発話タイミングを予測するために使用される。
【００８２】
推定装置は、発話者情報Ｐｕｋ、発話区間Ｕｋ、参加者Ｐａの吸い込み区間Ｉａ，ｋでの息の吸い込み量、吸い込み区間Ｉａ，ｋの長さ、吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕｋと吸い込み区間Ｉａ，ｋとの時間関係の少なくとも一部に基づき、参加者Ｐ１，…，ＰＡのうち何れが次発話者Ｐｕｋ＋１であるか、および次発話者Ｐｕｋ＋１の発話タイミングの少なくとも一方を表す推定情報を得る。ただし、「Ｐｕｋ＋１」の下付き添え字「ｕｋ＋１」はｕｋ＋１を表す。発話区間Ｕｋの発話者Ｐｕｋが発話区間Ｕｋ＋１でも発話を行う場合（発話継続する場合）、次発話者は発話区間Ｕｋの発話者Ｐｕｋと同一である。一方、発話区間Ｕｋの発話者Ｐｕｋ以外の参加者が発話区間Ｕｋ＋１でも発話を行う場合（すなわち発話交替する場合）、次発話者は発話区間Ｕｋの発話者Ｐｕｋ以外の参加者である。
【００８３】
推定装置は、発話者情報Ｐｕｋ、発話区間Ｕｋ、参加者Ｐａの吸い込み区間Ｉａ，ｋでの息の吸い込み量、吸い込み区間Ｉａ，ｋの長さ、吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕｋと吸い込み区間Ｉａ，ｋとの時間関係の少なくとも一部に対応する特徴量ｆａ，ｋに対する推定情報を得るためのモデルを機械学習し、このモデルを用いて特徴量に対する推定情報を得る。特徴量ｆａ，ｋは、発話者情報Ｐｕｋ、発話区間Ｕｋ、参加者Ｐａの吸い込み区間Ｉａ，ｋでの息の吸い込み量、吸い込み区間Ｉａ，ｋの長さ、吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕｋと吸い込み区間Ｉａ，ｋとの時間関係の１つのみに対応してもよいし、これらのうち複数に対応してもよいし、すべてに対応してもよい。モデルの機械学習には、例えば、過去の吸い込み区間Ｉａ，ｉ（ただし、ｉ＜ｋ）での息の吸い込み量、吸い込み区間Ｉａ，ｉの長さ、吸い込み区間Ｉａ，ｉでの息の吸い込み量の時間変化、および発話区間Ｕｉと吸い込み区間Ｉａ，ｉとの時間関係の少なくとも一部に対応する特徴量ｆａ，ｋ、ならびに発話区間Ｕｉ，Ｕｉ＋１およびそれらの発話者Ｐｕｋ，Ｐｕｋ＋１の情報が学習データとして用いられる。
【００８４】
推定装置による次発話者／発話タイミング推定処理を例示する。この例では、次発話者Ｐｕｋ＋１を推定するモデルである次発話者推定モデルと、次発話者Ｐｕｋ＋１の発話タイミングを推定するモデルである発話タイミング推定モデルとが生成され、それぞれのモデルを用いて次発話者Ｐｕｋ＋１とその発話タイミングが推定される。
【００８５】
次発話者推定モデルを学習する場合、推定装置は、学習データとして、データベースから過去のパラメータλａ，ｉ（ただし、ａ＝１，…，Ａであり、ｉ＜ｋである）の少なくとも一部、および発話区間Ｕｉ，Ｕｉ＋１およびそれらの発話者Ｐｕｉ，Ｐｕｉ＋１を表す情報を読み出す。推定装置は、パラメータλａ，ｉの少なくとも一部に対応する特徴量Ｆ１ａ，ｉおよびＵｉ，Ｕｉ＋１，Ｐｕｉ，Ｐｕｉ＋１を学習データとして、次発話者推定モデルを機械学習する。次発話者推定モデルには、例えば、ＳＶＭ、ＧＭＭ、ＨＭＭ等を用いることができる。
【００８６】
推定装置は、パラメータλ’ａ，ｋの少なくとも一部に対応する特徴量Ｆ１ａ，ｋを次発話者推定モデルに適用し、それによって推定された次発話Ｐｕｋ＋１を表す情報を「推定情報」の一部とする。なお、次発話Ｐｕｋ＋１を表す情報は、何れかの参加者Ｐａを確定的に表すものであってもよいし、確率的に表すものであってもよい。参加者Ｐａが次話者になる確率を、Ｐ１ａとする。
【００８７】
発話タイミング推定モデルを学習する場合、推定装置は、学習データとして、データベースから過去のパラメータλａ，ｉ（ただし、ａ＝１，…，Ａであり、ｉ＜ｋである）の少なくとも一部、発話区間Ｕｉ，Ｕｉ＋１およびそれらの発話者Ｐｕｉ，Ｐｕｉ＋１、および発話区間Ｕｉ＋１の発話開始タイミングＴｕｉ＋１を表す情報を読み出す。推定装置は、パラメータλａ，ｉの少なくとも一部に対応する特徴量Ｆ２ａ，ｉおよびＵｉ，Ｕｉ＋１，Ｐｕｉ，Ｐｕｉ＋１，Ｔｕｉ＋１を学習データとして、発話タイミング推定モデルを機械学習する。次発話者推定モデルには、例えば、ＳＶＭ、ＧＭＭ、ＨＭＭ等を用いることができる。
【００８８】
推定装置は、発話者Ｐｕｋ、パラメータλ’ａ，ｋの少なくとも一部、および次発話者推定モデルにより推定された次発話者Ｐｕｋ＋１が得られると、パラメータλ’ａ，ｋの少なくとも一部に対応する特徴量Ｆ２ａ，ｋを発話タイミング推定モデルに適用する。推定装置は、特徴量Ｆ２ａ，ｋを発話タイミング推定モデルに適用して推定された次の発話区間Ｕｋ＋１の発話タイミングＴｕｋ＋１（例えば、発話区間Ｕｋ＋１の開始時刻）を表す情報を「推定情報」の一部として出力する。なお、発話タイミングを表す情報は、何れかの発話タイミングを確定的に表すものであってもよいし、確率的に表すものであってもよい。参加者Ｐａが時刻ｔに発話を開始する確率（時刻ｔが参加者Ｐａの発話タイミングである確率）を、Ｐ２ａ（ｔ）とする。
上述した実施形態の会話支援装置５の次話者推定部５３により推定される参加者Ｕｉが時刻ｔにおいて次話者となる確率をＰｉ（ｎ＋１）（ｔ）は、参加者Ｕｉが本次話者推定技術における参加者Ｐａである場合、確率Ｐ１ａ×確率Ｐ２ａ（ｔ）により算出される。
【００８９】
本次話者推定技術の推定装置は、呼吸動作の観測値に基づいて次に発話を開始する参加者およびタイミングを推定しているが、さらに、視線の観測値を用いてもよい。視線行動をさらに利用する場合、各参加者Ｐａ（ただし、ａ＝１，…，Ａ）には注視対象検出装置がさらに装着される。注視対象検出装置は、参加者Ｐａが誰を注視しているか（注視対象）を検出し、参加者Ｐａおよび各離散時刻ｔでの注視対象Ｇａ，ｔを表す情報を推定装置に送る。推定装置は、上述した第１の次話者推定技術の例における次話者推定システムと同様の処理により、参加者Ｐａの発話区間Ｕｋにおける注視対象遷移パターンＥａ，ｋ及び時間構造情報Θｖ，ｋを算出し、データベースに保持する。
【００９０】
推定装置は、注視対象遷移パターンＥａ，ｋ、時間構造情報Θｖ，ｋ、発話者情報Ｐｕｋ、発話区間Ｕｋ、参加者Ｐａの吸い込み区間Ｉａ，ｋでの息の吸い込み量、吸い込み区間Ｉａ，ｋの長さ、吸い込み区間Ｉａ，ｋでの息の吸い込み量の時間変化、および発話区間Ｕｋと吸い込み区間Ｉａ，ｋとの時間関係の少なくとも一部に対応する特徴量ｆａ，ｋに対する推定情報を得るためのモデルを機械学習し、この学習したモデルを用いて特徴量に対する推定情報を得て出力する。
なお、この例では、発話終了後の呼吸動作を用いてモデルを機械学習し、推定情報を得ているが、発話終了前の呼吸動作をさらに用いてもよい。
【００９１】
以上、本発明の実施形態を説明したが、上述した会話支援装置５の機能をコンピュータで実現するようにしてもよい。その場合、会話支援装置５の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【００９２】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【産業上の利用可能性】
【００９３】
複数の参加者が会話を行う場合に適用可能である。
【符号の説明】
【００９４】
１  会話支援システム
２  音声入力装置
３  計測装置
４、４−１〜４−ｎ  呼吸補助装置
５  会話支援装置
５１  受信部
５２  記憶部
５３  次話者推定部
５４  呼吸制御部
【図１】
0006335157.tif 000004
【図２】
0006335157.tif 000005
【図３】
0006335157.tif 000006
【図４】
0006335157.tif 000007
【図５】
0006335157.tif 000008
【図６】
0006335157.tif 000009
【図７】
0006335157.tif 000010