(57)【要約】      （修正有）【課題】会話を行っているユーザに対し、話し方の支援を行うことを目的とする情報処理システムを提供する。【解決手段】情報処理システムにおいてサーバ装置２０は、端末装置からユーザを含む複数人の会話の音声情報を取得する音声取得手段と、音声情報から話し方に関する会話情報を特定する特定手段と、特定手段によって特定された会話情報に基づいて、ユーザの会話の支援に関する会話支援情報をユーザに対して通知を行う通知手段および送信手段と、を備える。【選択図】図２
2020024556.tif 000002
【特許請求の範囲】
【請求項１】
ユーザを含む複数人の会話の音声情報を取得する音声取得手段と、
前記音声情報から話し方に関する会話情報を特定する特定手段と、
前記特定手段によって特定された前記会話情報に基づいて、前記ユーザに対して通知を行う通知手段と、
を備える情報処理システム。
【請求項２】
前記通知手段は、前記ユーザと対話する対話者の話し方に応じた特定の内容を当該ユーザに対して通知する請求項１に記載の情報処理システム。
【請求項３】
前記通知手段は、前記対話者の会話速度に応じた内容を通知する請求項２に記載の情報処理システム。
【請求項４】
前記通知手段は、前記ユーザが所持するユーザ端末装置の振動のタイミングを異ならせることで、前記対話者の会話速度に応じた内容を通知する請求項３に記載の情報処理システム。
【請求項５】
前記通知手段は、前記対話者の発声音量に応じた内容を通知する請求項２に記載の情報処理システム。
【請求項６】
前記通知手段は、前記ユーザが所持するユーザ端末装置の振動の大きさを異ならせることで、前記対話者の発声音量に応じた内容を通知する請求項５に記載の情報処理システム。
【請求項７】
前記通知手段は、前記ユーザが発話を行っているときに前記通知を行う請求項１乃至６のいずれか１項に記載の情報処理システム。
【請求項８】
前記通知手段は、前記ユーザが発話を行う前までに特定された前記会話情報に基づいて前記通知を行う請求項７に記載の情報処理システム。
【請求項９】
前記ユーザの前記会話情報を表示する表示手段を備える請求項１または２に記載の情報処理システム。
【請求項１０】
前記表示手段は、前記ユーザと当該ユーザと対話する対話者との相対的な前記会話情報の関係を表示する請求項９に記載の情報処理システム。
【請求項１１】
ユーザを含む複数人の会話の音声情報を取得する音声取得手段と、
前記音声情報から特定される話し方に関する会話情報に基づいて、前記ユーザに対して通知を行う通知手段と、
を備える端末装置。
【請求項１２】
ユーザを含む複数人の会話の音声情報を取得する音声取得手段と、
前記音声情報から話し方に関する会話情報を特定する特定手段と、
前記特定手段によって特定された前記会話情報に応じて前記ユーザに対して通知情報を送信する送信手段と、
を備える情報処理装置。
【請求項１３】
ユーザが所持する端末装置として機能するコンピュータに、
前記ユーザを含む複数人の会話の音声情報を取得する機能と、
前記音声情報によって特定される話し方に関する会話情報に基づいて、前記ユーザに対して通知を行う機能と、
を実現するプログラム。
【請求項１４】
情報処理装置として機能するコンピュータに、
ユーザを含む複数人の会話の音声情報を取得する機能と、
前記音声情報から話し方に関する会話情報を特定する機能と、
特定された前記会話情報に応じて前記ユーザに対して通知情報を送信する機能と、
を実現するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、端末装置、情報処理装置およびプログラムに関する。
【背景技術】
【０００２】
例えば特許文献１には、受話音声の会話速度と、送話音声の会話速度とをそれぞれ測定し、受話音声と送話音声との各会話速度の差が、一定値以上となった場合に、受話音声と送話音声との会話速度の差を縮めるよう受話音声の出力速度を調整する話速変換手段とを備える電話装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−３１１７５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
会話を行っている話者が、対話者に与える印象は、会話の内容よりも、例えば話し方などの非言語情報の部分の寄与が大きいと考えられている。例えば、話者が早口になってしまったために、対話者の理解を得られなくなってしまったり、話者の発声音量が過大になったために、対話者の心証を悪くしてしまったりする場合がある。
【０００５】
本発明は、会話を行っているユーザに対し、話し方の支援を行うことを目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明は、ユーザを含む複数人の会話の音声情報を取得する音声取得手段と、前記音声情報から話し方に関する会話情報を特定する特定手段と、前記特定手段によって特定された前記会話情報に基づいて、前記ユーザに対して通知を行う通知手段と、を備える情報処理システムである。
請求項２に記載の発明は、前記通知手段は、前記ユーザと対話する対話者の話し方に応じた特定の内容を当該ユーザに対して通知する請求項１に記載の情報処理システムである。
請求項３に記載の発明は、前記通知手段は、前記対話者の会話速度に応じた内容を通知する請求項２に記載の情報処理システムである。
請求項４に記載の発明は、前記通知手段は、前記ユーザが所持するユーザ端末装置の振動のタイミングを異ならせることで、前記対話者の会話速度に応じた内容を通知する請求項３に記載の情報処理システムである。
請求項５に記載の発明は、前記通知手段は、前記対話者の発声音量に応じた内容を通知する請求項２に記載の情報処理システムである。
請求項６に記載の発明は、前記通知手段は、前記ユーザが所持するユーザ端末装置の振動の大きさを異ならせることで、前記対話者の発声音量に応じた内容を通知する請求項５に記載の情報処理システムである。
請求項７に記載の発明は、前記通知手段は、前記ユーザが発話を行っているときに前記通知を行う請求項１乃至６のいずれか１項に記載の情報処理システムである。
請求項８に記載の発明は、前記通知手段は、前記ユーザが発話を行う前までに特定された前記会話情報に基づいて前記通知を行う請求項７に記載の情報処理システムである。
請求項９に記載の発明は、前記ユーザの前記会話情報を表示する表示手段を備える請求項１または２に記載の情報処理システムである。
請求項１０に記載の発明は、前記表示手段は、前記ユーザと当該ユーザと対話する対話者との相対的な前記会話情報の関係を表示する請求項９に記載の情報処理システムである。
請求項１１に記載の発明は、ユーザを含む複数人の会話の音声情報を取得する音声取得手段と、前記音声情報から特定される話し方に関する会話情報に基づいて、前記ユーザに対して通知を行う通知手段と、を備える端末装置である。
請求項１２に記載の発明は、ユーザを含む複数人の会話の音声情報を取得する音声取得手段と、前記音声情報から話し方に関する会話情報を特定する特定手段と、前記特定手段によって特定された前記会話情報に応じて前記ユーザに対して通知情報を送信する送信手段と、を備える情報処理装置である。
請求項１３に記載の発明は、ユーザが所持する端末装置として機能するコンピュータに、前記ユーザを含む複数人の会話の音声情報を取得する機能と、前記音声情報によって特定される話し方に関する会話情報に基づいて、前記ユーザに対して通知を行う機能と、を実現するプログラムである。
請求項１４に記載の発明は、情報処理装置として機能するコンピュータに、ユーザを含む複数人の会話の音声情報を取得する機能と、前記音声情報から話し方に関する会話情報を特定する機能と、特定された前記会話情報に応じて前記ユーザに対して通知情報を送信する機能と、を実現するプログラムである。
【発明の効果】
【０００７】
請求項１、１１、１２、１３および１４の発明によれば、会話を行っているユーザに対し、話し方の支援を行うことができる。
請求項２の発明によれば、ユーザの話し方を対話者の話し方に合わせることが可能になる。
請求項３の発明によれば、ユーザの会話速度を対話者の会話速度に合わせることが可能になる。
請求項４の発明によれば、ユーザ端末装置の振動タイミングによってユーザに対して直感的に会話速度を意識させることができる。
請求項５の発明によれば、ユーザの発声音量を対話者の発声音量に合わせることが可能になる。
請求項６の発明によれば、ユーザ端末装置の振動の大きさによってユーザに対して直感的に発声音量を意識させることができる。
請求項７の発明によれば、ユーザが自身の話し方に対する通知であることを認識することができる。
請求項８の発明によれば、ユーザと対話者との会話が進むごとに更新された会話情報に基づいてユーザに通知を行うことができる。
請求項９の発明によれば、ユーザが自身の会話情報の内容を視覚的に認識することができる。
請求項１０の発明によれば、ユーザは、ユーザ自身と対話者との相対的な会話情報の比較を行うことが可能になる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態の会話支援システムの一例としての全体図である。
【図２】本実施形態のサーバ装置の機能構成を示す図である。
【図３】（Ａ）〜（Ｅ）は、端末装置における振動パターンの説明図である。
【図４】本実施形態において会話状態の形成を特定する動作フローである。
【図５】本実施形態において会話情報を特定する際の動作フローである。
【図６】本実施形態においてユーザの会話の支援を行うときの動作フローである。
【図７】（Ａ）および（Ｂ）は、本実施形態の履歴情報に基づく画面の表示例を示す図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して、本発明を実施するための形態について説明する。
［会話支援システム１］
図１は、本実施形態の会話支援システム１の一例としての全体図である。
【００１０】
図１に示すように、本実施形態の会話支援システム１は、画面１０ｄが設けられて情報処理を行う端末装置１０と、少なくとも端末装置１０との間で情報通信するとともに情報処理を行うサーバ装置２０と、を備えている。そして、会話支援システム１において、端末装置１０およびサーバ装置２０は、ネットワークを介して相互に情報通信が可能になっている。
【００１１】
なお、ネットワークは、各装置の間のデータ通信に用いられる通信ネットワークであれば特に限定されず、例えばＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット等として良い。データ通信に用いられる通信回線は、有線か無線かを問わず、これらを併用しても良い。また、各装置は、ゲートウェイ装置やルータ等の中継装置を用い、複数のネットワークや通信回線を介して接続されても良い。
【００１２】
さらに、図１に示す例では、一つのサーバ装置２０が示されているが、サーバ装置２０は、単体のサーバマシンに限定されない。サーバ装置２０は、ネットワーク上に設けられた複数のサーバマシンに分散させてサーバ装置２０の機能を実現しても良い（いわゆるクラウド環境等）。
また、図１に示す例では、端末装置１０として１つの端末装置１０を例示しているが、複数の端末装置１０が接続していても良い。
【００１３】
ここで、日常的に、ユーザとユーザの対話者（以下、ユーザと対話者とを特に区別しない場合には、話者と呼ぶ。）とが会話を行うシーンは多い。例えば、ビジネスの現場では、商談や面談、打ち合わせ、プレゼンテーションなどの対面による会話、コールセンターなどの非対面による会話などがある。このような会話において、ユーザは、対話者と会話を行った結果、うまく自分の意図が対話者に伝わらず、ミスコミュニケーションを起こしてしまう場合がある。ミスコミュニケーションが起こった原因は、様々なことが考えられるが、話し方が原因である場合もある。
【００１４】
ところで、ユーザが対話者に与える影響に関して、メラビアンの法則が知られている。この法則では、言語よりも、態度などの視覚や話し方などの聴覚の方が、ユーザが対話者に与える影響が大きいことが説明されている。また、心理学的には、対話者との共感度を高めて警戒心を解くために、対話者の話し方や話すペースである会話速度や、声の大きさである発声音量に合わせることが良いとも言われている。このことは、コミュニケーションスキルの一つとしてペーシングとして知られている。
【００１５】
そこで、本実施形態の会話支援システム１では、ユーザを含む複数人の会話の音声情報を取得し、取得した音声情報から話者の話し方に関する会話情報を特定し、特定された会話情報に基づいて、ユーザに対して通知を行うようにしている。
以下、会話支援システム１について、詳しく説明する。
【００１６】
〔端末装置１０〕
端末装置１０は、ユーザから情報の入力を受け付けたり、画面１０ｄに情報を表示することでユーザに対して情報を示したりする装置である。本実施形態の端末装置１０には、例えばユーザの腕などユーザの身体に装着されるウェアラブル端末装置を用いることができる。
また、端末装置１０は、ユーザの会話や、ユーザの周囲にいる他の人物の会話などのユーザを含めた周囲の音声を集音するマイクロフォンと、音を出力するスピーカとを有している。
さらに、本実施形態の端末装置１０は、振動モータを有している。そして、端末装置１０は、振動モータの動作に応じて、ユーザに対して振動により特定の通知を行う。
【００１７】
〔サーバ装置２０〕
図２は、本実施形態のサーバ装置２０の機能構成を示す図である。
図２に示すように、サーバ装置２０は、端末装置１０から音声情報を取得する音声情報取得部２１（音声取得手段の一例）と、話し方に関する会話情報を特定する会話情報特定部２２（特定手段の一例）と、ユーザの会話の支援に関する会話支援情報をユーザに送信する支援情報提示部２３（通知手段の一例、送信手段の一例）と、話し方に関する履歴情報を管理する履歴情報管理部２４（表示手段の一例）と、を有する。
【００１８】
（音声情報取得部２１）
音声情報取得部２１は、端末装置１０のマイクロフォンで集音された音声情報を取得する。本実施形態の音声情報取得部２１は、ユーザと対話者との会話の音声情報を取得する。そして、音声情報取得部２１は、取得した音声情報を会話情報特定部２２に送る。
【００１９】
また、本実施形態の音声情報取得部２１は、ユーザが対話者と会話状態になった場合に、音声情報を会話情報特定部２２に送るようにしている。なお、会話状態とは、ユーザと対話者とが言葉を交わしている状態のことである。そして、音声情報取得部２１は、音声情報として、予め定められた閾値レベル以上の音声が取得された場合に、ユーザが発した音声であると判断する。さらに、音声情報取得部２１は、ユーザの音声である場合に、ユーザの話が終了した後に、一定時間の間に、対話者の音声が検知されることで、会話状態が形成されていると判断する。そして、音声情報取得部２１は、ユーザと対話者との音声情報を会話情報特定部２２に送る。
【００２０】
また、本実施形態の音声情報取得部２１は、取得した音声情報から、ユーザが発した音声と、他の対話者が発した音声とを特定する。音声情報取得部２１は、端末装置１０の所有者であるユーザ本人の声紋情報を予め登録しておく。そして、音声情報取得部２１は、ユーザ本人の声紋情報に基づいて、音声情報のうちユーザの音声を特定する。さらに、音声情報取得部２１は、対話者の声紋情報と対話者名とが対応付けられたデータベースを参照し対話者を特定する。なお、音声情報取得部２１は、新規の対話者の音声情報を取得した場合には、その新規の対話者の声紋情報と任意の文字列（例えば、ａｂｃ００１）とを対応付けて登録する。また、話者名として登録された任意の文字列は、例えばユーザによって具体的な氏名に変更可能になっている。
【００２１】
（会話情報特定部２２）
会話情報特定部２２は、音声情報取得部２１から取得した音声情報に基づいて、話し方に関する会話情報を取得する。会話情報特定部２２は、ユーザの音声情報に基づいて、ユーザの話し方を特定する。また、会話情報特定部２２は、対話者の音声情報に基づいて、対話者の話し方を特定する。そして、会話情報特定部２２は、特定したユーザの話し方、および対話者の話し方である会話情報を支援情報提示部２３および履歴情報管理部２４に送る。
【００２２】
本実施形態では、会話情報特定部２２は、話者の話し方の会話情報として、発言に関する情報と、発声音量に関する情報とを、それぞれ特定する。
【００２３】
さらに、会話情報特定部２２は、発言に関する情報として、話者ごとの発言の量である会話量と、発言の際における話者ごとの話すペースである会話速度と、話者ごとの発言の回数である発言回数と、をそれぞれ特定する。
まず、会話情報特定部２２は、会話状態と認識された一定の時間において、話者ごとの会話量を特定する。本実施形態では、会話情報特定部２２は、音声情報として取得した音声を、音声認識技術を用いて文字情報に変換する。そして、会話情報特定部２２は、変換した文字情報に基づいて、話者ごとの会話量を算出する。
【００２４】
例えば、会話情報特定部２２は、音声情報として取得した会話の内容が日本語である場合には、会話の内容を平仮名に変換する。そして、会話情報特定部２２は、平仮名の文字数（以下、単位を［ｗ］とする）を会話量として特定する。また、会話情報特定部２２は、音声情報として取得した会話の内容が英語である場合には、音節や単語数を会話量として特定する。
【００２５】
そして、本実施形態の会話情報特定部２２は、会話速度として、平均会話速度を算出する。本実施形態において、平均会話速度は、会話中の合計の会話量を、合計の会話時間で割ることで、単位時間当たりの会話速度として算出される。
【００２６】
会話情報特定部２２は、会話状態が終了している場合には、会話状態の開始から終了までの会話量を、会話状態の開始から終了までの時間で割ることで、平均会話速度を算出する。また、会話情報特定部２２は、会話状態の途中であれば、会話状態の開始から、その時点までの会話量を、会話状態の開始からその時点までの経過時間で割ることで、その時点での平均会話速度を算出する。
例えば、ユーザと対話者との総会話時間は、Ｘ［ｍｉｎ．］時間であるとする。そして、ユーザの会話量は、平仮名の文字数でａ［ｗ］であり、対話者の会話量は、平仮名の文字数でｂ［ｗ］であるとする。この場合、ユーザの会話速度は、ａ／Ｘ［ｗ／ｍｉｎ．］となる。一方で、対話者の会話速度は、ｂ／Ｘ［ｗ／ｍｉｎ．］となる。
【００２７】
会話情報特定部２２は、上述したとおり、話者ごとの発言回数を算出する。発言回数は、会話状態と認識された一定の時間における、話者ごとの発言の回数である。本実施形態では、会話情報特定部２２は、話者が切り替わった時点で、それまでに発話をしていた話者の発言を１回とカウントする。
【００２８】
会話情報特定部２２は、会話状態が終了している場合には、会話状態の開始から終了までの各々の話者の発言の回数を、各々の話者の総発言回数とする。また、会話情報特定部２２は、会話状態の途中であれば、会話状態の開始からその時点までの各々の話者の発言の回数を、その時点での各々の話者の発言回数とする。
【００２９】
また、会話情報特定部２２は、上述のとおり、発声音量に関する情報として、話者ごとの発声音量を特定する。
会話情報特定部２２は、発声音量として、平均発声音量を算出する。本実施形態において、発声音量は、例えば、話者の声の音量を音圧レベル［ｄｂ］によって特定する。また、会話情報特定部２２は、発声音量は、予め定められた時間（例えば、１秒等）ごとに話者の発声音量を特定する。そして、本実施形態において、平均発声音量は、会話中の合計の発声音量を、合計の会話時間で割ることで、単位時間当たりの発声音量として算出される。
【００３０】
会話情報特定部２２は、会話状態が終了している場合には、会話状態の開始から終了までの発声音量を、会話状態の開始から終了までの時間で割ることで、平均発声音量を算出する。また、会話情報特定部２２は、会話状態の途中であれば、会話状態の開始から、その時点までの発声音量を、会話状態の開始から、その時点までの経過時間で割ることで、その時点での平均発声音量を算出する。
【００３１】
（支援情報提示部２３）
支援情報提示部２３は、会話情報特定部２２から受け取った話者の話し方に関する会話情報に基づいて、ユーザの話し方を支援する会話支援情報を作成する。そして、支援情報提示部２３は、作成した会話支援情報を端末装置１０に送信する。
【００３２】
本実施形態の支援情報提示部２３は、取得した会話情報に基づいて、ユーザの話し方が対話者の話し方に合うようにユーザに指示する内容の会話支援情報を作成する。支援情報提示部２３は、ユーザの話し方に関する会話情報と、対話者の話し方に関する会話情報との比較を行う。本実施形態の支援情報提示部２３は、ユーザと対話者との会話速度および発声音量の比較を行う。そして、支援情報提示部２３は、ユーザの会話速度が、対話者の会話速度に近づくように指示する内容の会話支援情報を作成する。さらに、支援情報提示部２３は、ユーザの発声音量が対話者の発声音量に近づくように指示する内容の会話支援情報を作成する。
【００３３】
図３は、端末装置１０における振動パターンの説明図である。
本実施形態の支援情報提示部２３は、会話支援情報に応じて、端末装置１０の振動モータを予め定められたパターンにて振動させることで、ユーザに話し方を支援する通知を行う。支援情報提示部２３は、図３（Ａ）に示すように、予め定められた基準強度Ｉｓであって、予め定められた時間の振動を継続する振動単位Ｕを複数回、実行させる基準パターンの情報を有している。また、支援情報提示部２３は、一の振動単位Ｕと他の振動単位Ｕとの間の時間間隔についても基準間隔Ｗｓの情報を有している。
【００３４】
支援情報提示部２３は、ユーザの会話速度が対話者の会話速度よりも遅い場合には、ユーザの会話速度を速める内容の会話支援情報を作成する。この場合に、支援情報提示部２３は、図３（Ｂ）に示すように、会話支援情報として、基準間隔Ｗｓよりも時間間隔が短い短間隔Ｗ１の振動パターンを作成する。これに対して、ユーザの会話速度が対話者の会話速度よりも早い場合には、ユーザの会話速度を遅くする内容の通知を行う。この場合に、支援情報提示部２３は、図３（Ｃ）に示すように、会話支援情報として、基準間隔Ｗｓよりも時間間隔が長い長間隔Ｗ２の振動パターンを作成する。
【００３５】
支援情報提示部２３は、ユーザの発声音量が対話者の発声音量よりも大きい場合には、ユーザの発声音量を小さくする内容の会話支援情報を作成する。この場合に、支援情報提示部２３は、図３（Ｄ）に示すように、会話支援情報として、基準強度Ｉｓよりも振動強度が低い低振動Ｉ１の振動パターンを作成する。これに対して、ユーザの発声音量が対話者の発声音量よりも小さい場合には、ユーザの発声音量を大きくする内容の会話支援情報を作成する。この場合に、支援情報提示部２３は、図３（Ｅ）に示すように、基準強度Ｉｓよりも振動強度が高い高振動Ｉ２の振動パターンを作成する。
【００３６】
なお、支援情報提示部２３は、ユーザの会話速度が対話者の会話速度よりも遅い場合であって、ユーザの発声音量が対話者の発声音量よりも大きい場合には、短間隔Ｗ１かつ低振動Ｉ１の振動パターンを作成しても良い。
【００３７】
さらに、支援情報提示部２３は、ユーザの会話速度が対話者の対話速度に合っている場合には、基準の間隔での振動パターンの会話支援情報を作成しても良い。同様に、支援情報提示部２３は、ユーザの発声音量が対話者の発声音量に合っている場合には、基準強度の振動パターンの会話支援情報を作成しても良い。
【００３８】
また、本実施形態の支援情報提示部２３は、ユーザが話者になったときに、通知が行われるようにしている。すなわち、支援情報提示部２３は、ユーザが話をしているときに端末装置１０にて通知が行われるようにし、ユーザが話をしていないときや、対話者が話をしているときには、通知が行われないようにしている。
【００３９】
なお、支援情報提示部２３は、会話速度や発声音量に基づいて、ユーザに対する会話支援情報を作成するようにしているが、ユーザの会話を支援する際に用いる情報は、会話速度や発声音量に限定されない。
支援情報提示部２３は、発言回数や会話量に基づいて作成した会話支援情報を作成しても良い。例えば、会議等において、ユーザの発言回数や会話量が、他の対話者よりも少ない場合には、ユーザが積極的に議論に参加していないことが想定される。このような場合には、ユーザの発言回数や会話量を増やすような指示内容の会話支援情報を作成しても良い。逆に、ユーザの発言回数や会話量が、他の対話者よりも多すぎる場合には、ユーザの主張が強すぎることも想定される。このような場合には、ユーザの発言回数や会話量を抑えるような指示内容の会話支援情報を作成しても良い。
【００４０】
（履歴情報管理部２４）
履歴情報管理部２４は、会話情報特定部２２が特定した会話情報の履歴を管理する。履歴情報管理部２４は、会話状態が開始されてから終了するまでを一つのイベントとして管理する。履歴情報管理部２４は、イベントごとに、会話に参加している話者、会話が行われた日時を管理する。また、履歴情報管理部２４は、話者ごとの会話速度、会話量、発言回数、および発声音量を記憶している。
そして、履歴情報管理部２４は、端末装置１０からの要求に応じて、複数のイベントの履歴、およびイベントごとであって話者ごとの会話情報を端末装置１０に送信する。
【００４１】
以上のように構成される会話支援システム１の動作について具体的に説明する。
図４は、本実施形態において会話状態の形成を特定する動作フローである。
ユーザの端末装置１０のマイクロフォンにて音声が収集されると、図４に示すように、音声情報取得部２１は、端末装置１０から音声情報を取得する（ステップ１０１）。
音声情報取得部２１は、予め定められた特定の閾値レベル以上の音声であるか否かを判断する（ステップ１０２）。そして、音声情報取得部２１は、音声が閾値レベル未満であると判断した場合（ステップ１０２にてＮＯ）には、ステップ１０１に戻る。一方、音声情報取得部２１は、音声が閾値レベル以上であると判断した場合（ステップ１０２にてＹＥＳ）には、ユーザが発した音声であるか否かを判断する（ステップ１０３）。そして、音声がユーザのものではないと判断した場合（ステップ１０３にてＮＯ）には、ステップ１０１に戻る。
【００４２】
音声がユーザである場合（ステップ１０３にてＹＥＳ）、音声情報取得部２１は、予め定められた時間内に、対話者の音声が取得されたか否かを判断する（ステップ１０４）。予め定められた時間内に、対話者の音声が取得されなければ（ステップ１０４にてＮＯ）、ステップ１０１に戻る。
一方、ステップ１０４にて、対話者の音声が取得されたと判断した場合（ステップ１０４にてＹＥＳ）、音声情報取得部２１は、会話状態が形成されたと判断する（ステップ１０５）。
【００４３】
図５は、本実施形態において会話情報を特定する際の動作フローである。
上述したように、会話状態が形成されたと判断されると、図５に示すように、音声情報取得部２１は、予め定められた時間内に、ユーザまたは対話者の音声の取得があるか否かを判断する（ステップ２０１）。
【００４４】
そして、音声情報取得部２１は、ユーザまたは対話者の音声が取得された場合（ステップ２０１にてＹＥＳ）、音声を発した話者を特定し、話者ごとの会話の記録を行う（ステップ２０２）。
さらに、音声情報取得部２１は、ステップ２０２で特定した話者の会話が終了することで、話者が切り替わったか否かを判断する（ステップ２０３）。話者が切り替わらないと判断した場合（ステップ２０３でＮＯ）には、特定した話者の会話の記録を継続する。
【００４５】
一方、話者が切り替わったと判断した場合（ステップ２０３でＹＥＳ）には、記録された話者の音声情報に基づいて会話情報の特定を行う。具体的には、会話情報特定部２２は、話者の会話速度の特定を行う（ステップ２０４）。さらに、会話情報特定部２２は、話者の発声音量の特定を行う（ステップ２０５）。その後、ステップ２０１に戻り、切り替わった話者の音声情報の取得が行われる。
上述したステップ２０１〜ステップ２０５の処理は、ユーザと対話者との会話状態が形成され、話者が切り替わる度に繰り返される。このように、本実施形態では、話者の切り替わりが確認されたとき、これまで会話していた話者の会話速度と発声音量とがタイムリーに算出される。
なお、ステップ２０１にて、予め定められた時間内に、話者の音声が新たに取得されない場合には、会話状態が終了したと判断し、一連の処理を終了する。
【００４６】
続いて、ユーザに対する会話の支援動作について説明する。
図６は、本実施形態においてユーザの会話の支援を行うときの動作フローである。
上述したように、会話状態が形成されたと判断されると、図６に示すように、支援情報提示部２３は、話者がユーザ本人であるか否かを判断する（ステップ３０１）。話者がユーザ本人でないと判断した場合（ステップ３０１にてＮＯ）には、会話の支援のための処理を終了する。
【００４７】
一方で、話者がユーザ本人であると判断した場合（ステップ３０１にてＹＥＳ）、支援情報提示部２３は、その時点までに特定されたユーザの会話情報と対話者の会話情報との比較を行う（ステップ３０２）。このときに用いられる会話情報は、話者が切り替わってユーザが発話を行う前までのものである。そして、支援情報提示部２３は、ユーザの会話情報と対話者の会話情報の比較に基づいて、ユーザに対する会話支援情報を作成する。
【００４８】
さらに、支援情報提示部２３は、作成した会話支援情報を、端末装置１０に送信する（ステップ３０３）。特に、本実施形態では、会話状態が開始されると、対話者からユーザに会話が切り替えられ、ユーザが話者となったタイミングで、その時点までに特定した会話情報に基づいてリアルタイムに分析する。そして、支援情報提示部２３は、ユーザに対する会話支援情報の通知をリアルタイムに行うようにしている。
なお、端末装置１０では、会話支援情報に応じた振動パターンにて端末装置１０が振動することで、ユーザに対する会話の支援が行われる。
【００４９】
図７は、本実施形態の履歴情報に基づく画面の表示例を示す図である。
図７（Ａ）に示すように、画面１０ｄには、会話状態が形成されて会話状態が終了するまでを一つのイベントとしたイベント単位で、イベント表示画像３１が表示される。図７の例では、画面１０ｄには、複数のイベント表示画像３１が一覧表示される。
各イベント表示画像３１は、会話状態の開始から終了までの時間を示す時間情報３２と、ユーザと会話を行った対話者を特定する対話者情報３３とが含まれている。
【００５０】
さらに、イベント表示画像３１は、イベント毎の会話情報を表示するためのリンクが貼られている。この例では、各イベント表示画像３１をユーザが選択操作することで、選択されたイベントの会話情報が表示される。
【００５１】
図７（Ｂ）に示すように、画面１０ｄには、会話情報として、会話速度を示す会話速度情報４１、会話量を示す会話量情報４２、発言回数を示す発言回数情報４３、および発声音量を示す発声音量情報４４がそれぞれ表示される。そして、画面１０ｄには、各々の会話情報ごとに、ユーザと対話者（ユーザ以外の話者が複数存在する場合には、複数の対話者）の具体的な数値が表示される。会話情報の数値は、それぞれ話者ごとの絶対的な会話情報として画面１０ｄに表示される。
さらに、本実施形態では、ユーザおよび対話者の会話情報を１００％積み上げ棒グラフによって表示している。そして、画面１０ｄには、ユーザと対話者との相対的な会話情報の関係が棒グラフの幅によって表現される。
【００５２】
図７（Ｂ）に示すように、会話速度情報４１は、ユーザおよび対話者である話者ごとの会話速度を数値およびグラフによって表示する。同様に、会話量情報４２は、ユーザおよび対話者である話者ごとの会話量を数値およびグラフによって表示する。また、発言回数情報４３は、ユーザおよび対話者である話者ごとの総発言回数を数値およびグラフによって表示する。さらに、発声音量情報４４は、ユーザおよび対話者である話者ごとの発声音量情報を数値およびグラフによって表示する。
【００５３】
そして、ユーザは、画面１０ｄに表示される会話情報を参照し、自身と対話者との比較を行う。例えば、ユーザは、会話情報から、対話者よりも会話速度が速いことを認識した場合には、ゆっくりと話すように意識する。また、ユーザは、会話情報から、発声音量が小さいことを認識した場合には、大きな声で話すように意識する。
【００５４】
なお、本実施形態の会話支援システム１では、会話支援情報として、端末装置１０の振動パターンを作成するようにしているが、この例に限定されない。例えば、会話支援システム１は、会話支援情報の内容に応じて、異なるメロディをスピーカから出したり、異なる発光パターンによってＬＥＤなどのランプを発光させたり、画面１０ｄにメッセージや画像を表示したりしても良い。
【００５５】
続いて、本実施形態の端末装置１０およびサーバ装置２０のハードウェア構成について説明する。
本実施形態の端末装置１０およびサーバ装置２０は、それぞれ、演算手段であるＣＰＵ（Central Processing Unit）、主記憶手段であるメモリ、磁気ディスク装置（ＨＤＤ：Hard Disk Drive）、ネットワークインターフェイス、ディスプレイ装置を含む表示機構、音声機構、および、キーボードやマウス等の入力デバイス等を備える。
そして、磁気ディスク装置には、ＯＳのプログラムやアプリケーション・プログラムが格納されている。そして、これらのプログラムがメモリに読み込まれてＣＰＵに実行されることにより、本実施形態の端末装置１０およびサーバ装置２０の各々における各機能部の機能が実現される。
さらに、本実施形態の会話支援システム１における一連の動作を端末装置１０およびサーバ装置２０にてそれぞれ実現させるプログラムは、例えば通信手段により提供することはもちろん、各種の記録媒体に格納して提供しても良い。
【００５６】
また、本実施形態の会話支援システム１において行われる一連の機能を実現するための構成は、上述した例に限定されない。例えば、上述した実施形態においてサーバ装置２０が実現する機能は、全てサーバ装置２０によって実現される必要はなく、例えば端末装置１０が一部または全部の機能を実現しても良い。
【符号の説明】
【００５７】
１…会話支援システム、１０…端末装置、１０ｄ…画面、２０…サーバ装置、２１…音声情報取得部、２２…会話情報特定部、２３…支援情報提示部、２４…履歴情報管理部、３１…イベント表示画像、３２…時間情報、３３…対話者情報、４１…会話速度情報、４２…会話量情報、４３…発言回数情報、４４…発声音量情報
【図１】
2020024556.tif 000003
【図２】
2020024556.tif 000004
【図３】
2020024556.tif 000005
【図４】
2020024556.tif 000006
【図５】
2020024556.tif 000007
【図６】
2020024556.tif 000008
【図７】
2020024556.tif 000009