(57)【要約】【課題】コミュニケーションチャネルを介したリアルタイムコミュニケーションを円滑に実現する。【解決手段】実施形態における擬似応答送信装置は、送信者から送信されたメッセージ情報への相づちを送信する擬似応答送信装置であって、メッセージ情報の入力頻度の状態を取得する入力状態取得部と、メッセージ情報から送信者による発話意図を推定する発話意図推定部と、入力頻度の状態、発話意図、および送信者への相づち表現を対応づけて記憶する記憶装置から、取得された入力頻度の状態と、推定された発話意図とに対応付けられる相づち表現を検索する相づち表現検索部と、メッセージ情報の受信者から送信者への応答に所定の条件を満たす遅延が生ずる場合に、検索された相づち表現を送信者へ送信する送信部とを有する。【選択図】図１
2019053473.tif 000002
【特許請求の範囲】
【請求項１】
送信者から送信されたメッセージ情報への擬似応答である相づちを送信する擬似応答送信装置であって、
前記メッセージ情報の入力頻度の状態を取得する入力状態取得部と、
前記メッセージ情報から前記送信者による発話意図を推定する発話意図推定部と、
前記メッセージ情報の入力頻度の状態、前記送信者の発話意図、および前記送信者への相づち表現を対応づけて記憶する記憶装置から、前記入力状態取得部により取得された前記入力頻度の状態と前記発話意図推定部により推定された前記発話意図とに対応付けられる相づち表現を検索する相づち表現検索部と、
前記送信されたメッセージ情報に対する、当該メッセージ情報の受信者から前記送信者への応答に所定の条件を満たす遅延が生ずるか否かを判断する判断部と、
前記所定の条件を満たす遅延が生ずると前記判断部により判断された場合に、前記検索された相づち表現を前記送信者へ送信する送信部と
を備える擬似応答送信装置。
【請求項２】
前記送信者からのメッセージ情報が音声情報であり、
前記音声情報に対する音声認識処理を行なうことで、前記音声情報をテキストに変換する音声認識部と、
前記送信部が送信する相づち表現のテキストに対する音声合成処理を行なうことで前記相づち表現のテキストを音声情報に変換する音声合成部と
をさらに備える請求項１に記載の擬似応答送信装置。
【請求項３】
送信者からのメッセージ情報の入力頻度の状態を取得する入力状態取得部と、
前記メッセージ情報から前記送信者の通信相手の発話意図を推定する発話意図推定部と、
前記メッセージ情報から前記通信相手への相づち表現を抽出し、前記抽出された前記相づち表現を、前記入力状態取得部により取得された前記入力頻度の状態と前記発話意図推定部により推定された前記発話意図とに対応づけて前記相づち表現の学習情報として記憶装置に記憶する相づち表現抽出部と
を備える相づち表現学習装置。
【請求項４】
受信したメッセージ情報の入力頻度の状態を取得する入力状態取得部と、
前記メッセージ情報から前記メッセージ情報の送信者による発話意図を推定する発話意図推定部と、
前記メッセージ情報の入力頻度の状態、前記送信者の発話意図、および前記送信者への相づち表現を対応づけて記憶する記憶装置から、前記入力状態取得部により取得された前記入力頻度の状態と前記発話意図推定部により推定された前記発話意図とに対応付けられる相づち表現を検索する相づち表現検索部と、
前記送信者からのメッセージ情報に対する、当該メッセージ情報の受信者から前記送信者への応答に所定の条件を満たす遅延が生ずるか否かを判断する判断部と、
前記所定の条件を満たす遅延が生ずると前記判断部により判断された場合に、前記検索された相づち表現を送信する送信部と
を備える情報端末装置。
【請求項５】
サーバ装置と、メッセージ情報の送信者が所持する情報端末装置とを有する通信システムであって、
前記サーバ装置は、
受信したメッセージ情報の入力頻度の状態を取得する入力状態取得部と、
前記メッセージ情報から前記送信者による発話意図を推定する発話意図推定部と、
前記入力状態取得部により取得された前記入力頻度の状態、前記発話意図推定部により推定された前記発話意図、および前記送信者への相づち表現のテキストを対応づけて記憶する記憶装置から、前記入力状態取得部により取得された前記入力頻度の状態と前記発話意図推定部により推定された前記発話意図とに対応付けられる相づち表現を検索する相づち表現検索部と、
前記送信者からのメッセージ情報に対する、当該メッセージ情報の受信者から前記送信者への応答に所定の条件を満たす遅延が生ずるか否かを判断する判断部と、
前記所定の条件を満たす遅延が生ずると前記判断部により判断された場合に、前記検索された相づち表現のテキストを前記送信者へ送信する送信部と
を有し、
前記情報端末装置は、
前記送信者からのメッセージ情報が音声情報であるときに、前記音声情報に対する音声認識処理を行なうことで、前記音声情報をテキストに変換して前記入力状態取得部および前記発話意図推定部に送る音声認識部と、
前記送信部から送信される相づち表現のテキストに対する音声合成処理を行なうことで前記相づち表現のテキストを音声情報に変換する音声合成部と
を有する通信システム。
【請求項６】
擬似応答送信装置が行う擬似応答送信方法であって、
送信者から送信されたメッセージ情報の入力頻度の状態を取得し、
前記メッセージ情報から前記送信者による発話意図を推定し、
前記メッセージ情報の入力頻度の状態、前記送信者の発話意図、および前記送信者への相づち表現を対応づけて記憶する記憶装置から、前記取得された前記入力頻度の状態と、前記推定された前記発話意図とに対応付けられる相づち表現を検索し、
前記送信されたメッセージ情報に対する、当該メッセージ情報の受信者から前記送信者への応答に所定の条件を満たす遅延が生ずるか否かを判断し、
前記所定の条件を満たす遅延が生ずると判断された場合に、前記検索された相づち表現を前記送信者へ送信する
擬似応答送信方法。
【請求項７】
相づち表現学習装置が行なう相づち表現学習方法であって、
送信者からのメッセージ情報の入力頻度の状態を取得し、
前記メッセージ情報から前記送信者の通信相手の発話意図を推定し、
前記メッセージ情報から前記通信相手への相づち表現を抽出し、前記抽出された前記相づち表現を、前記取得された前記入力頻度の状態と前記推定された前記発話意図と対応づけて前記相づち表現の学習情報として記憶装置に記憶する
相づち表現学習方法。
【請求項８】
請求項１または請求項２に記載の擬似応答送信装置の前記各部としてプロセッサを機能させる擬似応答送信プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、擬似応答送信装置、相づち表現学習装置、情報端末装置、通信システム、擬似応答送信方法、相づち表現学習方法および擬似応答送信プログラムに関する。
【背景技術】
【０００２】
従来の、コミュニケーションチャネルを介したリアルタイムコミュニケーションにおいて、コミュニケーションチャネルが定めるモダリティ(modality)、例えば音声モダリティ（例：電話）、テキストモダリティ（例：チャット）、視聴覚モダリティ（例：テレビ電話）などを利用して、コミュニケーションを実現する。
【０００３】
従来のリアルタイムコミュニケーションでは、利用可能なモダリティがコミュニケーションチャネルにより決定される。このため、コミュニケーションを実施するために、送信ユーザは、受信ユーザが利用できるモダリティのチャネルを明示的に選択している。また、リアルタイムコミュニケーションに関わる手法として、非特許文献１に開示されるように、テキストチャットの参加者の感じる不快感を抑えるために、参加者の応答期待時間（自分の発言に対する応答までに要する時間の期待値）を延長させる手法がある。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】チャット参加者の応答期待時間の延長を目指した情報提示とそのタイミング、村田和義,川口 修,渋谷 雄,倉本 到,辻野嘉宏、ヒューマンインタフェース学会論文誌, Vol.8, No.3, pp.103?114 (2006)
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記のリアルタイムコミュニケーションにおいて、ユーザによる入力（テキストまたは音声）に時間を要する、具体的には入力開始から入力終了までの入力待ち時間が長くなると、このユーザから通信相手へのレスポンスに遅延が生じてしまい、リアルタイムコミュニケーションを円滑に実施できない。
【０００６】
また、上記のリアルタイムコミュニケーションにおいて、送信ユーザと受信ユーザとの間でモダリティの変換を行なうことが考えられる。  
例えば、送信ユーザが利用できるモダリティが音声であって、受信ユーザが利用できるモダリティがテキストである場合、送信ユーザにより発話された音声がモダリティ変換処理（ここでは音声認識処理）によりテキストに変換されて受信ユーザに伝達される。また、送信ユーザが利用できるモダリティがテキストであって、受信ユーザが利用できるモダリティが音声である場合、送信ユーザにより入力されたテキストがモダリティ変換処理（ここでは音声合成処理）により音声に変換されて受信ユーザに伝達される。
【０００７】
しかし、上記の変換処理には、処理の開始から終了までの処理時間を要する為、上記の入力待ち時間と合わせた時間だけレスポンスの遅延を招き、リアルタイムコミュニケーションを阻害する要因となる。
【０００８】
本発明の目的は、コミュニケーションチャネルを介したリアルタイムコミュニケーションを円滑に実現できる擬似応答送信装置、相づち表現学習装置、情報端末装置、通信システム、擬似応答送信方法、相づち表現学習方法および擬似応答送信プログラムを提供することである。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、この発明の一実施形態における擬似応答送信装置の第１の態様は、送信者から送信されたメッセージ情報への擬似応答である相づちを送信する擬似応答送信装置であって、前記メッセージ情報の入力頻度の状態を取得する入力状態取得部と、前記メッセージ情報から前記送信者による発話意図を推定する発話意図推定部と、前記メッセージ情報の入力頻度の状態、前記送信者の発話意図、および前記送信者への相づち表現を対応づけて記憶する記憶装置から、前記入力状態取得部により取得された前記入力頻度の状態と前記発話意図推定部により推定された前記発話意図とに対応付けられる相づち表現を検索する相づち表現検索部と、前記送信されたメッセージ情報に対する、当該メッセージ情報の受信者から前記送信者への応答に所定の条件を満たす遅延が生ずるか否かを判断する判断部と、前記所定の条件を満たす遅延が生ずると前記判断部により判断された場合に、前記検索された相づち表現を前記送信者へ送信する送信部とを有する装置を提供する。
【００１０】
上記構成の擬似応答送信装置の第２の態様は、第１の態様において、前記送信者からのメッセージ情報が音声情報であり、前記音声情報に対する音声認識処理を行なうことで、前記音声情報をテキストに変換する音声認識部と、前記送信部が送信する相づち表現のテキストに対する音声合成処理を行なうことで前記相づち表現のテキストを音声情報に変換する音声合成部とをさらに備える装置を提供する。
【００１１】
この発明の一実施形態における相づち表現学習装置の態様は、送信者からのメッセージ情報の入力頻度の状態を取得する入力状態取得部と、前記メッセージ情報から前記送信者の通信相手の発話意図を推定する発話意図推定部と、前記メッセージ情報から前記通信相手への相づち表現を抽出し、前記抽出された前記相づち表現を、前記入力状態取得部により取得された前記入力頻度の状態と前記発話意図推定部により推定された前記発話意図とに対応づけて前記相づち表現の学習情報として記憶装置に記憶する相づち表現抽出部とを備える装置を提供する。
【００１２】
この発明の一実施形態における情報端末装置の態様は、受信したメッセージ情報の入力頻度の状態を取得する入力状態取得部と、前記メッセージ情報から前記送信者による発話意図を推定する発話意図推定部と、前記メッセージ情報の入力頻度の状態、前記メッセージ情報の送信者の発話意図、および前記送信者への相づち表現を対応づけて記憶する記憶装置から、前記入力状態取得部により取得された前記入力頻度の状態と前記発話意図推定部により推定された前記発話意図とに対応付けられる相づち表現を検索する相づち表現検索部と、前記送信者からのメッセージ情報に対する、当該メッセージ情報の受信者から前記送信者への応答に所定の条件を満たす遅延が生ずるか否かを判断する判断部と、前記所定の条件を満たす遅延が生ずると前記判断部により判断された場合に、前記検索された相づち表現を送信する送信部とを備える装置を提供する。
【００１３】
この発明の一実施形態における通信システムの態様は、サーバ装置と、メッセージ情報の送信者が所持する情報端末装置とを有する通信システムであって、前記サーバ装置は、受信したメッセージ情報の入力頻度の状態を取得する入力状態取得部と、前記メッセージ情報から前記送信者による発話意図を推定する発話意図推定部と、前記入力状態取得部により取得された前記入力頻度の状態、前記発話意図推定部により推定された前記発話意図、および前記送信者への相づち表現のテキストを対応づけて記憶する記憶装置から、前記入力状態取得部により取得された前記入力頻度の状態と前記発話意図推定部により推定された前記発話意図とに対応付けられる相づち表現を検索する相づち表現検索部と、前記送信者からのメッセージ情報に対する、当該メッセージ情報の受信者から前記送信者への応答に所定の条件を満たす遅延が生ずるか否かを判断する判断部と、前記所定の条件を満たす遅延が生ずると前記判断部により判断された場合に、前記検索された相づち表現のテキストを前記送信者へ送信する送信部とを有し、前記情報端末装置は、前記送信者からのメッセージ情報が音声情報であるときに、前記音声情報に対する音声認識処理を行なうことで、前記音声情報をテキストに変換して前記入力状態取得部および前記発話意図推定部に送る音声認識部と、前記送信部から送信される相づち表現のテキストに対する音声合成処理を行なうことで前記相づち表現のテキストを音声情報に変換する音声合成部とを有するシステムを提供する。
【００１４】
本発明の一実施形態における擬似応答送信方法の態様は、擬似応答送信装置が行う擬似応答送信方法であって、送信者から送信されたメッセージ情報の入力頻度の状態を取得し、前記メッセージ情報から前記送信者による発話意図を推定し、前記メッセージ情報の入力頻度の状態、前記送信者の発話意図、および前記送信者への相づち表現を対応づけて記憶する記憶装置から、前記取得された前記入力頻度の状態と、前記推定された前記発話意図とに対応付けられる相づち表現を検索し、前記送信されたメッセージ情報に対する、当該メッセージ情報の受信者から前記送信者への応答に所定の条件を満たす遅延が生ずるか否かを判断し、前記所定の条件を満たす遅延が生ずると判断された場合に、前記検索された相づち表現を前記送信者へ送信する方法を提供する。
【００１５】
本発明の一実施形態における相づち表現学習方法の態様は、相づち表現学習装置が行なう相づち表現学習方法であって、送信者からのメッセージ情報の入力頻度の状態を取得し、前記メッセージ情報から前記送信者の通信相手の発話意図を推定し、前記メッセージ情報から前記通信相手への相づち表現を抽出し、前記抽出された前記相づち表現を、前記取得された前記入力頻度の状態と前記推定された前記発話意図と対応づけて前記相づち表現の学習情報として記憶装置に記憶する方法を提供する。
【００１６】
本発明の一実施形態における擬似応答送信プログラムの態様は、第１乃至第２態様のいずれか１つにおける擬似応答送信装置の前記各部としてプロセッサを機能させるプログラムを提供する。
【発明の効果】
【００１７】
本発明によれば、コミュニケーションチャネルを介したリアルタイムコミュニケーションを円滑に実現することが可能になる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態におけるリアルタイムコミュニケーションシステムの機能構成例を示す図。
【図２】本発明の一実施形態におけるリアルタイムコミュニケーションシステムの相づち表現記憶部の記憶内容の一例を示す図。
【図３】本発明の一実施形態におけるリアルタイムコミュニケーションシステムによる相づち表現学習処理の一例を示すフローチャート。
【図４】本発明の一実施形態におけるリアルタイムコミュニケーションシステムによる擬似応答送信処理の一例を示すフローチャート。
【発明を実施するための形態】
【００１９】
以下、図面を参照しながら、この発明に係わる一実施形態を説明する。  
図１は、本発明の一実施形態におけるリアルタイムコミュニケーションシステムの機能構成例を示す図である。ここでは、テキストと音声との間の変換を経てリアルタイムコミュニケーションを実施する例について説明する。  
図１に示すように、本発明の一実施形態におけるリアルタイムコミュニケーションシステム（通信システム）は、複数台の情報端末（送信ユーザおよび受信ユーザの一方が使用する情報端末１０−１，送信ユーザおよび受信ユーザの他方が使用する情報端末１０−２）、コミュニケーション装置２０、相づち表現学習装置３０、擬似応答送信装置４０を有する。情報端末１０−１，１０−２、コミュニケーション装置２０、相づち表現学習装置３０、擬似応答送信装置４０は、パーソナルコンピュータ（ＰＣ）などのコンピュータデバイスとした装置により実現することができる。例えば、コンピュータデバイスは、ＣＰＵ（Central Processing Unit）などのプロセッサと、プロセッサに接続されるメモリと、通信インタフェースと、を備える。また、コミュニケーション装置２０、相づち表現学習装置３０、擬似応答送信装置４０は、例えば単一のサーバ装置として実現することもできる。
【００２０】
コミュニケーション装置２０は、情報通信部２１、音声認識部２２、音声合成部２３、情報出力時間記憶部２４を有する。  
情報通信部２１は、情報端末１０−１と情報端末１０−２との間のメッセージ情報（ここでは送信ユーザが情報端末１０−１または１０−２の図示しないキーボード、マウスを用いて入力したテキスト、または、送信ユーザが情報端末１０−１または１０−２の図示しないマイクロフォンを用いて発話した音声）を送受信する。
【００２１】
また、情報通信部２１は、情報端末１０−１が送受信できるメッセージ情報の種別（テキストまたは音声）、情報端末１０−２が送受信できるメッセージ情報の種別（テキストまたは音声）を示す情報を内部メモリに保持する。この種別は、情報端末１０−１または情報端末１０−２がリアルタイムコミュニケーションで利用できるモダリティを意味する。
【００２２】
音声認識部２２は、情報端末１０−１および情報端末１０−２の一方から情報通信部２１が受信したメッセージ情報が音声であって、情報端末１０−１および情報端末１０−２の他方に送信できるメッセージ情報の種別がテキストである場合に、この音声を音声認識処理によりテキストに変換する。  
また、音声認識部２２は、情報端末１０−１および情報端末１０−２の一方から情報通信部２１が受信したメッセージ情報が音声であって、この音声を相づち表現学習装置３０による処理のためにテキストに変換する。
【００２３】
音声合成部２３は、情報端末１０−１および情報端末１０−２の一方から情報通信部２１が受信したメッセージ情報がテキストであって、情報端末１０−１および情報端末１０−２の他方に送信できるメッセージ情報の種別が音声である場合に、該当のテキストを音声合成処理により音声に変換する。  
また、音声合成部２３は、擬似応答送信装置４０からのメッセージであるテキストの送信先である情報端末１０−１または情報端末１０−２に送信できるメッセージ情報の種別が音声である場合、このテキストを音声合成処理により音声に変換する。
【００２４】
情報出力時間記憶部２４は、例えば不揮発性メモリ等の記憶装置であり、情報通信部２１が送受信するメッセージ情報に基づく経過時間の情報を記憶する。経過時間とは、情報端末１０−１または情報端末１０−２の一方から他方へのメッセージ情報を情報通信部２１が受信したタイミングから、この受信した情報端末から送信元の情報端末へのメッセージ情報を情報通信部２１が受信するタイミングまでの経過時間である。
【００２５】
相づち表現学習装置３０は、入力分析部３１、入力状態取得部３１ａ、発話意図推定部３１ｂ、相づち表現抽出部３２、相づち表現記憶部３３を有する。  
入力分析部３１は、入力状態取得部３１ａ、発話意図推定部３１ｂを有する。  
入力状態取得部３１ａは、コミュニケーション装置２０からのメッセージ情報が音声認識部２２を介さずに情報通信部２１から出力されたテキストである場合、このテキストの入力頻度の状態（テキスト入力速度（単位時間当たりの入力文字数））（以降、入力状態と称することがある）を分析し、この分析した入力状態を取得する。
【００２６】
また、入力状態取得部３１ａは、コミュニケーション装置２０からのメッセージ情報が音声認識部２２から出力されたテキストである場合、情報通信部２１が受信した、音声認識部２２による変換前の音声に基づいて、この音声の入力状態（音声速度（テンポ）（単位時間当たりの発話文字数））を分析し、この分析した入力状態を取得する。
【００２７】
テキスト入力速度は、例えば情報端末１０−１または情報端末１０−２に搭載されるテキスト入力速度解析アプリで解析された速度である。  
音声速度は、例えば入力分析部３１に搭載される、音声のモーラ数（１秒間におけるモーラ（拍）の数）の解析機能により取得することができる。  
発話意図推定部３１ｂは、情報通信部２１または音声認識部２２から出力されたテキストを分析することで、送信ユーザの通信相手からの発話意図（対話行為）またはトピックを推定する。この発話意図は、テキスト入力の意図を含む。
【００２８】
相づち表現抽出部３２は、入力状態取得部３１ａまたは発話意図推定部３１ｂによる処理対象となった、送信ユーザからのメッセージ情報に対応するテキストを分析することで、この送信ユーザから受信ユーザへの相づち表現（感声表現）を所定のパターンマッチなどで抽出する。相づち表現は、例えば、承認、受容、驚き、感心、気付き、同意を含む。
【００２９】
図２は、本発明の一実施形態におけるリアルタイムコミュニケーションシステムの相づち表現記憶部の記憶内容の一例を示す図である。  
図２に示すように、相づち表現記憶部３３には、情報端末１０−１と情報端末１０−２の間で送受信するメッセージ情報についての、（１）送信ユーザにより入力され、入力状態取得部３１ａにより取得した、テキスト入力速度またはテンポ（音声速度）、（２）発話意図推定部３１ｂにより推定した、送信ユーザの通信相手からの発話意図またはトピック、（３）相づち表現、が対応付けられる相づち表現学習情報がユーザごとに区分して記憶される。
【００３０】
擬似応答送信装置４０は、入力分析部４１、相づち表現検索部４２、情報出力制御部４３、合成・認識処理時間予測部４４を有する。  
入力分析部４１は、入力状態取得部４１ａ（入力状態取得部３１ａと同機能）、発話意図推定部４１ｂ（発話意図推定部３１ｂと同機能）を有する。
【００３１】
相づち表現検索部４２は、あるメッセージ情報に対する、入力状態取得部４１ａによる取得結果と、同じメッセージ情報に対する、発話意図推定部４１ｂによる推定結果とを検索条件として、この検索条件に対応する相づち表現を相づち表現記憶部３３における、該当ユーザの相づち表現学習情報から検索する。
【００３２】
情報出力制御部４３は、判断部４３ａ、送信部４３ｂを有する。  
判断部４３ａは、情報出力時間記憶部２４に記憶される経過時間に基づいて、コミュニケーション装置２０の情報通信部２１がメッセージ情報を受信した時刻から現在時刻までの経過時間が一定の時間に達したか否かを判断する。  
また、判断部４３ａは、情報端末１０−１と情報端末１０−２の間で送受信するメッセージ情報についての、音声認識処理または音声合成処理に要する処理時間の予測値が一定の時間に達したか否かを判断する。
【００３３】
送信部４３ｂは、判断部４３ａにより判断した上記の経過時間が一定の時間に達したとき、または、判断部４３ａにより判断した、上記の処理時間の予測値が一定の時間に達したときに、相づち表現検索部４２が検索した相づち表現をコミュニケーション装置２０に送信する。
【００３４】
合成・認識処理時間予測部４４は、コミュニケーション装置２０の情報通信部２１が受信したメッセージ情報についての、音声認識処理または音声合成処理に要する処理時間を予測する。
【００３５】
次に、相づち表現学習処理について説明する。  
図３は、本発明の一実施形態におけるリアルタイムコミュニケーションシステムによる相づち表現学習処理の一例を示すフローチャートである。  
まず、送信ユーザにより利用する情報端末１０−１が、受信ユーザにより利用する情報端末１０−２宛のメッセージ情報をコミュニケーション装置２０へ送信すると（Ｓ１１）、この送信されたメッセージ情報がテキストでなく音声情報であれば（Ｓ１２のＮｏ）、コミュニケーション装置２０の情報通信部２１は、この音声情報を音声認識部２２に送る。音声認識部２２は、この音声情報に対する音声認識処理を行なうことで当該音声情報をテキストに変換し、このテキストを、相づち表現学習装置３０の入力分析部３１に出力する（Ｓ１３）。
【００３６】
また、Ｓ１１で送信されたメッセージ情報がテキストであれば（Ｓ１２のＹｅｓ）、情報通信部２１は、このテキストを音声認識部２２を介さずに相づち表現学習装置３０の入力分析部３１に直接出力する。
【００３７】
入力分析部３１の入力状態取得部３１ａは、コミュニケーション装置２０から出力されたメッセージ情報が音声認識部２２を介さずに情報通信部２１から直接出力されたテキストである場合、このテキストの入力状態（テキスト入力速度（単位時間当たりの入力文字数））を分析し、この分析した入力状態を取得する。
【００３８】
また、入力状態取得部３１ａは、コミュニケーション装置２０からの情報が音声認識部２２から出力されたテキストである場合、情報通信部２１が受信した、音声認識部２２による変換前の音声に基づいて、このテキストの元の音声の入力状態（音声速度（テンポ）（単位時間当たりの発話文字数））を分析し、この分析した入力状態を取得する（Ｓ１４）。  
発話意図推定部３１ｂは、情報通信部２１または音声認識部２２から出力されたテキストを分析することで、送信ユーザの通信相手の発話意図またはトピックを推定する（Ｓ１５）。
【００３９】
相づち表現抽出部３２は、入力状態取得部３１ａ、発話意図推定部３１ｂによる処理対象となったテキストを分析することで、このテキストから相づち表現（感声表現）を抽出する（Ｓ１６）。
【００４０】
相づち表現抽出部３２は、Ｓ１４で取得された入力状態と、Ｓ１５で推定された発話意図とを検索条件として、送信ユーザの通信相手への相づち表現を相づち表現記憶部３３における該当ユーザの相づち表現学習情報から検索する（Ｓ１７）。
【００４１】
上記の検索条件に対応する相づち表現が相づち表現記憶部３３に既に記憶されている場合（Ｓ１８のＹｅｓ）、相づち表現抽出部３２は、この相づち表現を、Ｓ１６で抽出された相づち表現に更新する（Ｓ１９）。
【００４２】
一方、上記の検索条件における相づち表現が相づち表現記憶部３３にまだ記憶されていない場合（Ｓ１８のＮｏ）、相づち表現抽出部３２は、この相づち表現を、上記の検索条件（入力状態、発話意図）に対応づけて相づち表現記憶部３３における該当ユーザの相づち表現学習情報に新たに登録する（Ｓ２０）。
【００４３】
このようにして、送信ユーザから受信ユーザ宛のメッセージ情報から、受信ユーザへの相づち表現を抽出し、この相づち表現を相づち表現記憶部３３に記憶することができ、送信ユーザから受信ユーザ宛にメッセージ情報が送信されるたびに、相づち表現を相づち表現記憶部３３に記憶することを繰り返すことで、相づち表現学習装置３０は、入力状態、発話意図に対応する相づち表現を学習することができる。
【００４４】
次に、相づち表現学習処理により学習した相づち表現を用いた擬似応答送信処理について説明する。  
図４は、本発明の一実施形態におけるリアルタイムコミュニケーションシステムによる擬似応答送信処理の一例を示すフローチャートである。  
まず、受信ユーザにより利用される情報端末１０−２が、送信ユーザにより利用される情報端末１０−１から当該情報端末１０−２宛のメッセージ情報をコミュニケーション装置２０から受信する（Ｓ２１）。
【００４５】
そして、この情報端末１０−２を利用する受信ユーザが送信ユーザ（通信相手）宛の返信となるメッセージ情報を入力中である（入力完了したメッセージ情報を情報通信部２１が受信していない）場合で（Ｓ２２のＹｅｓ）、この入力中のメッセージ情報がテキストでなく音声情報である、つまり、情報通信部２１が保持する、情報端末１０−２が送受信できるメッセージ情報の種別が音声情報であれば（Ｓ２３のＮｏ）、コミュニケーション装置２０の情報通信部２１は、この音声情報を音声認識部２２に送る。音声認識部２２は、この音声情報に対する音声認識処理を行なうことで音声情報をテキストに変換し、このテキストを、擬似応答送信装置４０の入力分析部４１に出力する（Ｓ２４）。
【００４６】
また、上記の入力中のメッセージ情報がテキストである、つまり、情報通信部２１が保持する、情報端末１０−２が送受信できるメッセージ情報の種別がテキストであれば（Ｓ２３のＹｅｓ）、情報通信部２１は、このテキストを音声認識部２２を介さずに擬似応答送信装置４０の入力分析部４１に直接出力する。
【００４７】
入力分析部４１の入力状態取得部４１ａは、コミュニケーション装置２０から出力されたメッセージ情報が音声認識部２２を介さずに情報通信部２１から直接出力されたテキストである場合、このテキストの入力状態（テキスト入力速度（単位時間当たりの入力文字数））を分析し、この分析した入力状態を取得する。  
また、入力状態取得部４１ａは、コミュニケーション装置２０からの情報が音声認識部２２から出力されたテキストである場合、情報通信部２１が受信した、音声認識部２２による変換前の音声に基づいて、このテキストの元の音声の入力状態（音声速度（テンポ）（単位時間当たりの発話文字数））を分析し、この分析した入力状態を取得する（Ｓ２５）。
【００４８】
発話意図推定部４１ｂは、情報通信部２１または音声認識部２２から出力されたテキストを分析することで、受信ユーザの通信相手の発話意図またはトピックを推定する（Ｓ２６）。
【００４９】
相づち表現検索部４２は、Ｓ２５で取得された入力状態と、Ｓ２６で推定された発話意図とを検索条件として、相づち表現を相づち表現記憶部３３における該当ユーザの相づち表現学習情報から検索する（Ｓ２７）。
【００５０】
上記の検索条件に対応する相づち表現が相づち表現記憶部３３における該当ユーザの相づち表現学習情報に記憶されている場合（Ｓ２８のＹｅｓ）、相づち表現抽出部３２は、この相づち表現を情報出力制御部４３に送る。情報出力制御部４３は、この相づち表現を内部メモリに一時的に保持することで送信準備を行なう（Ｓ２９）。
【００５１】
一方、上記の検索条件における相づち表現が相づち表現記憶部３３における該当ユーザの相づち表現学習情報に記憶されていない場合（Ｓ２８のＮｏ）、相づち表現抽出部３２は、相づち表現記憶部３３における該当ユーザの相づち表現学習情報から相づち表現をランダムに読み出し、この相づち表現を情報出力制御部４３に送る。情報出力制御部４３は、この相づち表現を内部メモリに一時的に保持することで送信準備を行なう（Ｓ３０）。
【００５２】
Ｓ２９またはＳ３０の後、Ｓ２２における、受信ユーザが送信ユーザ宛の返信として入力中のメッセージ情報の入力が完了して情報通信部２１に送信され、このメッセージ情報が、音声認識部２２による音声認識処理または音声合成部２３による音声合成処理を要する場合、つまり、情報通信部２１が保持する、情報端末１０−１が送受信できるメッセージ情報の種別と、情報端末１０−２が送受信できるメッセージ情報の種別とが異なる場合（Ｓ３１のＹｅｓ）、情報通信部２１は、このメッセージ情報に対する音声認識部２２による音声認識処理または音声合成部２３による音声合成処理に要する処理時間の予測を擬似応答送信装置４０の合成・認識処理時間予測部４４に指示する。  
この指示を受けて、合成・認識処理時間予測部４４は、処理時間の予測値（合成・認識処理予測時間）を計算して、この計算した予測値を情報出力制御部４３に送る。
【００５３】
情報出力制御部４３の判断部４３ａが、この予測値が一定時間以上であると判断した場合（Ｓ３２のＹｅｓ）、判断部４３ａは、Ｓ２９またはＳ３０で送信準備していた相づち表現を情報通信部２１に送信する。情報通信部２１は、この相づち表現の送信先の情報端末がテキストを送受信可能であれば、このテキストを当該送信先の情報端末に送信する。また、情報通信部２１は、この相づち表現の送信先の情報端末がテキストを送受信可能でなければ、このテキストを音声合成部２３に送り、この音声合成部２３により変換された音声を当該送信先の情報端末に送信する（Ｓ３２→Ｓ３４）。
【００５４】
一方で、Ｓ２９またはＳ３０の後、Ｓ２２における、受信ユーザから送信ユーザ宛の返信として入力中のメッセージ情報が情報通信部２１に送信されていない場合で（Ｓ３１のＮｏ）、情報出力制御部４３の判断部４３ａが、Ｓ２１での受信時刻から現在時刻までの経過時間（情報出力時間記憶部２４に記憶される経過時間）が一定時間以上であると判断した場合（Ｓ３３のＹｅｓ）、判断部４３ａは、Ｓ２９またはＳ３０で送信準備していた相づち表現を情報通信部２１に送信する。情報通信部２１は、この相づち表現の送信先の情報端末がテキストを送受信可能であれば、このテキストを当該送信先の情報端末に送信する。また、情報通信部２１は、この相づち表現の送信先の情報端末がテキストを送受信可能でなければ、このテキストを音声合成部２３に送り、この音声合成部２３により変換された音声を当該送信先の情報端末に送信する（Ｓ３３→Ｓ３４）。
【００５５】
このようにして、上記の相づち表現学習処理で学習した情報に基づいて、新たなメッセージ情報に対応する相づち表現を、受信からの経過時間や処理時間の予測値に基づいて送信することができるので、送信ユーザと受信ユーザとの間のメッセージ情報を遅滞なく送受信することができる。よって、コミュニケーションチャネルを介したリアルタイムコミュニケーションを円滑に実現できる。
【００５６】
（構成の変形例）
上記の例では、本発明の一実施形態におけるリアルタイムコミュニケーションシステムにおいて、情報端末１０−１，１０−２は、コミュニケーション装置２０、相づち表現学習装置３０、擬似応答送信装置４０とは別であり、これらの装置の機能を有しない例を説明したが、これに限らず、例えば、情報端末１０−１，１０−２は、コミュニケーション装置２０、相づち表現学習装置３０、擬似応答送信装置４０のうち少なくとも１種類の装置の機能を有してもよい。例えば、リアルタイムコミュニケーションシステムを、情報端末１０−１，１０−２（擬似応答送信装置４０の機能を有する）、コミュニケーション装置２０、相づち表現学習装置３０を有するシステムとしてもよい。
【００５７】
また、本発明の一実施形態におけるリアルタイムコミュニケーションシステムにおいて、コミュニケーション装置２０の音声認識部２２および音声合成部２３の機能を情報端末１０−１，１０−２で実現し、コミュニケーション装置２０の情報通信部２１、情報出力時間記憶部２４の機能、相づち表現学習装置３０の機能、擬似応答送信装置４０の機能をサーバ装置で実現してもよい。
【００５８】
なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【００５９】
また、各実施形態に記載した手法は、計算機（コンピュータ）に実行させることができるプログラム（ソフトウエア手段）として、例えば磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ等）等の記録媒体に格納し、また通信媒体により伝送して頒布することもできる。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウエア手段（実行プログラムのみならずテーブルやデータ構造も含む）を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウエア手段を構築し、このソフトウエア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスクや半導体メモリ等の記憶媒体を含むものである。
【符号の説明】
【００６０】
１０−１，１０−２…情報端末、２０…コミュニケーション装置、２１…情報通信部、２２…音声認識部、２３…音声合成部、２４…情報出力時間記憶部、３０…相づち表現学習装置、３１，４１…入力分析部、３１ａ，４１ａ…入力状態取得部、３１ｂ，４１ｂ…発話意図推定部、３２…相づち表現抽出部、３３…相づち表現記憶部、４０…擬似応答送信装置、４２…相づち表現検索部、４３…情報出力制御部、４３ａ…判断部、４３ｂ…送信部、４４…合成・認識処理時間予測部。
【図１】
2019053473.tif 000003
【図２】
2019053473.tif 000004
【図３】
2019053473.tif 000005
【図４】
2019053473.tif 000006