(57)【要約】【課題】サーバの負荷を考慮して応答時間を予測する情報通信端末を提供する。【解決手段】情報通信端末（１００）は、入力された音声と、サーバ（２００）における過去の音声認識に関する履歴情報に基づいて、当該入力の終了時点から上記応答の開始までの応答時間を予測する応答時間予測部（２４）を備えており、上記応答時間が所定の閾値を越えた場合は、上記音声に応じた応答とは異なる一時応答を出力する。【選択図】図１
2018101905.tif 000002
【特許請求の範囲】
【請求項１】
入力された音声を外部のサーバへ送信し、上記サーバより受信した、上記音声に応じた応答を出力する情報通信端末であって、
上記サーバとの通信状態と、上記サーバにおける過去の音声認識に関する履歴情報から得られる上記サーバの負荷状態とに基づいて、当該音声の入力の終了時点から上記応答出力の開始までの時間である応答時間を予測する応答時間予測部を備えており、
上記応答時間予測部が予測した上記応答時間が所定の閾値を越えた場合は、上記音声に応じた応答とは異なる一時応答を出力する
ことを特徴とする情報通信端末。
【請求項２】
上記応答時間予測部は、当該情報通信端末と上記サーバとの間の伝送経路に関する情報にさらに基づいて上記応答時間を予測する
ことを特徴とする請求項１に記載の情報通信端末。
【請求項３】
上記情報通信端末が上記一時応答を出力した時刻から、上記応答時間予測部が予測した上記応答時間までの期間が所定の閾値を越えた場合は、上記一時応答とは異なる別の応答を出力する
ことを特徴とする請求項１または２に記載の情報通信端末。
【請求項４】
上記応答時間を過ぎても上記音声に応じた応答を上記サーバより受信できなかった場合、上記一時応答とは異なる、上記音声の再入力を求める応答または上記音声の破棄を通知する応答を出力する
ことを特徴とする請求項１〜３のいずれか１項に記載の情報通信端末。
【請求項５】
上記所定の閾値に基づく上記一時応答の出力前に、上記入力された音声とは異なる別の音声が入力された場合は、上記一時応答を出力しない
ことを特徴とする請求項１〜４のいずれか１項に記載の情報通信端末。
【請求項６】
入力された音声を外部のサーバへ送信し、上記サーバより受信した、上記音声に応じた応答を出力する情報通信端末の制御方法であって、
上記サーバとの通信状態と、上記サーバにおける過去の音声認識に関する履歴情報から得られる上記サーバの負荷状態とに基づいて、当該音声の入力の終了時点から上記応答出力の開始までの時間である応答時間を予測する応答時間予測ステップと、
上記応答時間予測ステップにて予測した上記応答時間が所定の閾値を越えた場合は、上記音声に応じた応答とは異なる一時応答を出力する一時応答出力ステップとを含む
ことを特徴とする情報通信端末の制御方法。
【請求項７】
請求項１に記載の情報通信端末としてコンピュータを機能させるための制御プログラムであって、上記応答時間予測部としてコンピュータを機能させるための制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は音声認識技術を用いた情報通信端末に関する。特に、外部のサーバとの通信に基づいて、当該情報通信端末に入力された音声に対する応答を行う情報通信端末に関する。
【背景技術】
【０００２】
ユーザが音声を入力すると、外部のサーバを利用することにより、音声の認識および当該音声の内容に応じた適切な応答を行う情報通信端末が従来技術として知られている。また、音声の入力後、入力内容に応じた応答を行うまでの応答時間が長くなる場合には、ユーザに対して対話が継続中であることを認識させるために、入力内容に応じた応答とは別の応答を行う情報通信端末も知られている。例えば、特許文献１には、サーバとの通信が切断された場合は、待ち時間に応じた所定の情報の提示によって対話を自然に続行する情報通信端末が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１７４４８５号公報（２０１４年９月２２日公開）
【特許文献２】特開２０１４−１９１０３０号公報（２０１４年１０月６日公開）
【特許文献３】特開２０１３−２００４８０号公報（２０１３年１０月３日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述のような従来技術は、情報通信端末自身に関する情報に基づいて、入力内容に応じた応答を行うまでの応答時間を予測するものである。そのため、外部のサーバを利用する情報通信端末において、情報通信端末とサーバの通信状況およびサーバの負荷状況による応答時間への影響を考慮することができない。しかも、応答時間への影響としては、情報通信端末自身に由来するものよりも、サーバとの通信状況およびサーバの負荷状況のほうがずっと大きい。よって、上述のような従来技術では、有効な応答時間を予測することができないという問題がある。
【０００５】
さらに、情報通信端末が適切な応答時間を予測することができるようになるためには、多数回におよぶ、試行に基づく学習が必要であるが、１台の情報通信端末が多数回の試行を行うためには長い時間を必要とするという問題がある。
【０００６】
本発明の一態様は、サーバの負荷およびネットワークの負荷を考慮して予測した応答時間に基づいて一時応答を出力することで、ユーザに対話感を継続して抱かせることによりユーザに利便性の高い情報通信端末を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明の一態様に係る情報通信端末は、入力された音声を外部のサーバへ送信し、上記サーバより受信した、上記音声に応じた応答を出力する情報通信端末であって、上記サーバとの通信状態と、上記サーバにおける過去の音声認識に関する履歴情報から得られる上記サーバの負荷状態とに基づいて、当該音声の入力の終了時点から上記応答出力の開始までの時間である応答時間を予測する応答時間予測部を備えており、上記応答時間が所定の閾値を越えた場合は、上記音声に応じた応答とは異なる一時応答を出力する構成である。
【０００８】
上記の課題を解決するために、本発明の一態様に係る情報通信端末の制御方法は、入力された音声を外部のサーバへ送信し、上記サーバより受信した、上記音声に応じた応答を出力する情報通信端末の制御方法であって、上記サーバとの通信状態と、上記サーバにおける過去の音声認識に関する履歴情報から得られる上記サーバの負荷状態とに基づいて、当該音声の入力の終了時点から上記応答出力の開始までの時間である応答時間を予測する応答時間予測ステップと、上記応答時間予測ステップにて予測した上記応答時間が所定の閾値を越えた場合は、上記音声に応じた応答とは異なる一時応答を出力する一時応答出力ステップとを含む方法である。
【発明の効果】
【０００９】
本発明の一態様によれば、サーバの負荷およびネットワークの負荷を考慮して予測した応答時間に基づいて一時応答を出力することで、ユーザに対話感を継続して抱かせることによりユーザに利便性の高い情報通信端末を提供することができるという効果を奏する。また、サーバに蓄積された複数の情報通信端末に関する情報に基づいて応答時間を予測することにより、短い期間で予測の精度を向上させることができるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態１に係る情報通信端末の要部構成の一例を示すブロック図である。
【図２】本発明の実施形態１に係る情報通信端末がサーバとの通信によって音声認識に基づく応答を行う流れの一例を示す図である。
【図３】本発明の実施形態１に係る情報通信端末が実行する処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
〔実施形態１〕
以下、本発明の実施の形態について、図１〜３を用いて詳細に説明する。
【００１２】
（情報通信端末の構成）
本実施形態に係る情報通信端末１００の構成について、図１を用いて説明する。図１は、本実施形態に係る情報通信端末１００の要部構成の一例を示すブロック図である。
【００１３】
本実施形態に係る情報通信端末１００は、音声入力部１１、音声出力部１２、時計部１３、記憶部１４、および制御部２０を備えている。
【００１４】
情報通信端末１００は、外部の通信網を介してサーバ２００と通信することができる。ここで、情報通信端末１００とサーバ２００との間の通信はどのような形式で行われてもよいが、データをパケットの形式で送受信するパケット通信の形態であることが好ましい。また、情報通信端末１００は、ユーザが入力した音声を音声データとして外部のサーバ２００に送信し、サーバ２００にて作成された、当該音声データに応じた応答文を受信することができる。さらに、情報通信端末１００は、サーバ２００より取得した当該サーバ２００の過去の履歴を通信によって取得することができる。
【００１５】
音声入力部１１は、ユーザの発話を含む外部の音声を受け付けることができるものであり、例えばマイクロフォンである。
【００１６】
音声出力部１２は、後述する出力音声生成部２３が生成した音声データを音声として出力することができるものであり、例えばスピーカーである。
【００１７】
時計部１３は、現在の時刻情報を管理するものであり、制御部２０の要求に応じて時刻情報を提供することができる。
【００１８】
記憶部１４は、情報通信端末１００にて扱われる各種データを記憶する。本実施形態において、記憶部１４は、少なくとも後述する履歴情報取得部２６が取得した、後述のサーバ２００の履歴情報５１を備えている。
【００１９】
制御部２０は、情報通信端末１００の各部を統括して制御するものである。制御部２０は、入力音声制御部２１、応答文受信部２２、出力音声生成部２３、応答時間予測部２４、一時応答設定部２５、および履歴情報取得部２６を備えている。
【００２０】
入力音声制御部２１は、音声入力部１１が受け付けた、ユーザの発話を含む外部の音声を音声データとして、後述のサーバ２００へ送信することができる。また、入力音声制御部２１は、当該音声データに関する情報を、後述する応答時間予測部２４に送信することができる。ここで、音声データに関する情報は、例えば、当該音声データをサーバ２００へ送信する際に取得した、音声の入力によって得られるサーバ２００との通信状態を示す情報である。
【００２１】
応答文受信部２２は、入力音声制御部２１が後述のサーバ２００へ送信した音声データについて、当該サーバ２００が作成した応答文を受信することができる。
【００２２】
出力音声生成部２３は、応答文受信部２２が後述のサーバ２００から受信した応答文を音声データに変換し、音声出力部１２を用いて出力することができる。また、出力音声生成部２３は、後述する一時応答設定部２５が設定した一時応答についても、音声出力部１２を用いて出力することができる。
【００２３】
応答時間予測部２４は、音声の入力によって得られる後述のサーバ２００との通信状態と、サーバ２００における過去の音声認識に関する履歴情報から得られるサーバ２００の負荷状態とに基づいて、当該音声の入力の終了時点から応答出力の開始までの時間である応答時間を予測する。より具体的には、応答時間予測部２４は、入力音声制御部２１から受信した音声データに関する情報（音声の入力によって得られる上記サーバとの通信状態を示す情報）と、記憶部１４に格納した、後述するサーバ２００の履歴情報から得られる上記サーバの負荷状態に基づいて、情報通信端末１００の応答時間を予測することができる。ここで、応答時間は、ユーザが音声の入力を完了した時点から、音声出力部１２が後述するサーバ２００から応答文の受信を完了するまでに要する時間である。応答時間を予測する方法については後述する。
【００２４】
一時応答設定部２５は、無音時間の長さが所定の閾値を越えないようにするため、情報通信端末１００がユーザに一時的な応答を出力するための一時応答を設定することができる。ここで、無音時間は、情報通信端末１００に対してユーザが音声を入力した時点から、当該情報通信端末１００が入力された音声に応じた応答を出力するまでの間に、情報通信端末１００が音声の出力を行わない時間を示す。また、一時応答設定部２５が設定する一時応答は、テキストデータである一時応答文であってもよいし、音声データであってもよい。なお、一時応答設定部２５が一時応答を設定するために用いる所定の閾値はどのような値であってもよいが、人に対話感を継続して抱かせるためには、２秒程度とすることが好適である。また、一時応答設定部２５は、設定した一時応答について、所定の期間が経過した時点で出力音声生成部２３を用いて音声出力部１２から音声として出力することができる。ここで、所定の期間は所定の閾値と同一の値であってもよいし、異なる値であってもよい。
【００２５】
履歴情報取得部２６は、後述するサーバ２００と通信し、サーバ２００のサーバ側制御部６０が過去に実施した各種処理に関する履歴を取得し、記憶部１４に格納することができる。ここで、履歴情報取得部２６が取得する履歴は、当該情報通信端末１００に関する履歴に限定されない。例えば、履歴情報取得部２６は、サーバ２００に蓄積された、複数の情報通信端末１００に関する履歴を取得し、記憶部１４に格納する構成であってもよい。さらに、履歴情報取得部２６が取得する履歴は、サーバ２００において応答時間の予測精度を高めるために予め処理されたものであってもよい。なお、履歴情報取得部２６は、応答時間予測部２４が応答時間の予測を行うために必要な履歴をサーバ２００から取得することが可能な構成であればどのようなものであってもよい。例えば、履歴情報取得部２６は、時計部１３から取得した時刻情報に基づいて、予め設定された時刻にサーバ２００から履歴を取得してもよい。また、履歴情報取得部２６は、既に取得済みである履歴との差分のみサーバ２００から取得してもよいし、最新の履歴を都度取得し、記憶部１４に格納した履歴情報を更新する構成であってもよい。
【００２６】
（サーバの構成）
本実施形態に係るサーバ２００の構成について、図１を用いて説明する。
【００２７】
本実施形態に係るサーバ２００は、サーバ側記憶部５０およびサーバ側制御部６０を備えている。
【００２８】
サーバ２００は、外部の通信網を介して情報通信端末１００から送信された音声データを受信することができる。また、サーバ２００は、受信した音声データをテキストデータに変換し、変換されたテキストデータを解析することによって、情報通信端末１００に入力された音声に応じた応答文を作成することができる。そして、サーバ２００は、情報通信端末１００に作成した応答文を送信することができる。さらに、サーバ２００は、自身が過去に実施した各種処理に関する履歴を後述する履歴情報５１として蓄積し、情報通信端末１００の依頼に応じて当該の履歴情報５１を送信することができる。なお、サーバ２００が通信可能な情報通信端末１００は複数あってもよく、１台の情報通信端末１００に送信する履歴情報５１は、複数の情報通信端末１００から送信された音声データの処理に関する履歴であってもよい。
【００２９】
サーバ側記憶部５０は、サーバ２００にて扱われる各種データを記憶する。本実施形態において、サーバ側記憶部５０は、履歴情報５１を備えている。
【００３０】
履歴情報５１は、後述するサーバ側制御部６０が過去に実施した各種処理に関する履歴である。本実施形態において、履歴情報５１は、時間帯データ５２、会話長データ５３、取得時間データ５４、および認識時間データ５５を少なくとも含んでいる。
【００３１】
時間帯データ５２は、サーバ２００が情報通信端末１００から音声データを受け付けた時間帯を示す。会話長データ５３は、サーバ２００が情報通信端末１００から受信した音声データの大きさから算出した、当該音声データの受信に掛かる時間の理想値を示す。取得時間データ５４は、サーバ２００が情報通信端末１００から音声データを受信するために実際に掛かった時間の実績値を示す。認識時間データ５５は、サーバ２００が音声データをテキストデータに変換し、当該テキストデータを解析して応答文を作成するまでに要した時間の実績値を示す。
【００３２】
サーバ側制御部６０は、サーバ２００の各部を統括して制御するものである。本実施形態において、サーバ側制御部６０は、情報通信端末１００から利用開始要求を受信すると、認証処理を行うことができる。サーバ側制御部６０は、認証処理にて問題ないと判定した情報通信端末１００に対して、利用許諾通知を送信することができる。また、サーバ側制御部６０は、情報通信端末１００が入力音声制御部２１を用いて送信した、当該情報通信端末１００に入力された音声を音声データとして受信することができる。さらに、サーバ側制御部６０は、音声データを受信すると、当該音声データをテキストデータに変換し、当該テキストデータを解析して応答文を作成することができる。そして、サーバ側制御部６０は、作成した応答文を、情報通信端末１００の応答文受信部２２へ送信することができる。
【００３３】
本実施形態において、サーバ側制御部６０は、上述の一連の処理に関する履歴を履歴情報５１に格納し、情報通信端末１００の履歴情報取得部２６からの送信依頼を受信すると、履歴情報５１を送信することができる。
【００３４】
（音声認識に基づく応答の流れ）
本実施形態において、情報通信端末１００がサーバ２００との通信によって音声認識に基づく応答を行う流れについて、図２を用いて説明する。図２は、本実施形態に係る情報通信端末１００がサーバ２００との通信によって音声認識に基づく応答を行う流れの一例を示す図である。
【００３５】
「１．利用開始要求」
図示の例において、まず、情報通信端末１００が音声の入力を受け付けると、当該情報通信端末１００は、サーバ２００との通信を確立するために、当該サーバ２００に対して利用開始要求を送信する。
【００３６】
「２．利用許諾通知」
サーバ２００は、利用開始要求を受信すると、送信元である情報通信端末１００がサーバ２００の提供するサービスを利用可能であるか否かを判定し、利用可能であると判定した場合は、情報通信端末１００へ利用許諾通知を送信する。
【００３７】
ここで、情報通信端末１００が利用開始要求を送信してから利用許諾通知を受信するまでの待ち時間を「Ａ．認証時間」と呼称する。すなわち、「Ａ．認証時間」は、主に情報通信端末１００とサーバ２００との間の通信状態（ネットワークの負荷）に基づいて変動する値である。また、サーバ２００は、利用許諾通知を送信した時間帯に関する情報を時間帯データ５２として、履歴情報５１に格納する。
【００３８】
「３．音声データ送付開始」
次に、情報通信端末１００はサーバ２００から利用許諾通知を受信すると、入力音声制御部２１を用いて当該情報通信端末１００に入力された音声を音声データに変換し、サーバ２００へ送信する。一方、サーバ２００は、情報通信端末１００から音声データの受信を開始する。
【００３９】
「４．音声データ送付終了通知」
情報通信端末１００は、音声データの送信を終了すると、音声データ送付終了通知をサーバ２００へ送信する。そして、サーバ２００は、情報通信端末１００から受信した音声データに基づいて、応答文を作成する。ここで、音声データのデータサイズに基づいて算出した、情報通信端末１００にユーザが音声の入力を開始してから終了するまでの時間を「Ｂ．会話長」と呼称する。すなわち、「Ｂ．会話長」は、音声データのデータ量および情報通信端末１００の負荷に基づいて変動する値である。また、サーバ２００が利用許諾通知を送信してから音声データの受信を完了するまでの時間を「Ｄ．会話取得時間」と呼称する。図に示すように「Ｄ．会話取得時間」は、負荷の変動による誤差が生じる可能性はあるが、サーバ２００が利用許諾通知を送信してから音声データの受信を開始するまでの時間に「Ｂ．会話長」を加算したものとほぼ等しい。なお、サーバ２００は「Ｄ．会話取得時間」を、取得時間データ５４としてとして履歴情報５１に格納する。さらに、サーバ２００は、「２．利用許諾通知」にて時間帯データ５２として履歴情報５１に格納したレコードに対して、情報通信端末１００から受信した音声データのデータサイズを紐付け、会話長データ５３として履歴情報５１に格納する。
【００４０】
「５．解析結果通知」
サーバ２００は、情報通信端末１００から音声データ送付終了通知を受信すると、受信済みの音声データに基づいて、応答文を作成する。すなわち、サーバ２００は、情報通信端末１００から受信した音声データをテキストデータに変換し、当該テキストデータを解析して応答文のテキストデータを作成する。そして、サーバ２００は応答文の作成が完了すると、当該応答文を解析結果通知と共に情報通信端末１００へ送信する。なお、解析結果通知は、サーバ２００において音声データの解析が完了したこと、および同時に送信したデータが当該音声データに応じた応答文であることを示す情報である。ここで、サーバ２００が音声データ送付終了通知を受信してから応答文を解析結果通知と共に送信するまでの時間を、「Ｅ．認識時間」と呼称する。すなわち、「Ｅ．認識時間」は、サーバ２００の内部に閉じた処理に関する時間であり、サーバ２００の負荷に基づいて変動する値である。また、サーバ２００は、「Ｅ．認識時間」について、認識時間データ５５として履歴情報５１に格納する。
【００４１】
「６．解析結果取得」
最後に、情報通信端末１００は、サーバ２００から解析結果通知と共に応答文のテキストデータを受信すると、当該応答文を音声データに変換し、音声出力部１２より出力する。ここで、情報通信端末１００に対する音声の入力の終了時点から応答出力の開始までの時間を「Ｃ．応答時間」と呼称する。すなわち、「Ｃ．応答時間」は、サーバ２００の負荷およびネットワークの負荷に基づいて変動する値である。
【００４２】
（応答時間を予測する方法）
本実施形態において、情報通信端末１００の応答時間予測部２４が応答時間を予測する方法について、図２を用いて説明する。
【００４３】
まず、情報通信端末１００は、履歴情報取得部２６を用いてサーバ２００の履歴情報５１を取得し、記憶部１４に格納する。
【００４４】
その後、情報通信端末１００が音声の入力を受け付け、上述の「４．音声データ送付終了通知」まで処理を進めたとする。この時点で情報通信端末１００は、上述の「Ａ．認証時間」および「Ｂ．会話長」を有することができる。また、情報通信端末１００は、音声の入力を受け付けた時間帯を時計部１３から取得した時刻情報に基づいて決定することができる。この、音声の入力を受け付けた時間帯を「Ｆ．会話の時間帯」と呼称する。
【００４５】
すなわち、情報通信端末１００は、「４．音声データ送付終了通知」まで処理を進めた時点で、入力された音声に対する「Ａ．認証時間」、「Ｂ．会話長」、および「Ｆ．会話の時間帯」を有することができる。ここで、情報通信端末１００は、「Ａ．認証時間」、「Ｂ．会話長」、および「Ｆ．会話の時間帯」と、サーバ２００から予め取得した履歴情報５１に基づいて、上述の「Ｃ．応答時間」を予測することができる。
【００４６】
「Ｃ．応答時間」を予測する方法の一例について、以下に説明する。
【００４７】
まず、情報通信端末１００は、サーバ２００から予め取得した履歴情報５１のうち、時間帯データ５２の値が「Ｆ．会話の時間帯」に最も近く、さらに会話長データ５３から算出した音声データの再生時間が「Ｂ．会話長」に最も近いレコードを抽出する。
【００４８】
次に、情報通信端末１００は、抽出したレコードに紐付けられた認識時間データ５５の値に「Ａ．認証時間」を加算して、「Ｃ．応答時間」とする。これは、「Ａ．認証時間」において、サーバ２００における情報通信端末１００の認証処理の影響は非常に小さいと考えられることから、「Ａ．認証時間」は、情報通信端末１００とサーバ２００との間を、情報が１往復する時間にほぼ等しいことが理由である。すなわち、「Ａ．認証時間」は、音声データ送付終了通知を情報通信端末１００がサーバ２００へ送信し、サーバ２００が受信するまでの時間と、応答文をサーバ２００が情報通信端末１００へ送信し、情報通信端末１００が受信するまでの時間の和にほぼ等しい。
【００４９】
なお、上記の方法において、情報通信端末１００が履歴情報５１から抽出したレコードが複数存在する場合は、複数のレコードを元に回帰分析によって求めた推定値を「Ｃ．応答時間」として決定してもよい。例えば、複数のレコードを履歴情報５１から抽出した場合、情報通信端末１００は、当該複数のレコードからリッジ回帰によって「Ｃ．応答時間」を決定することができる。
【００５０】
リッジ回帰を用いて「Ｃ．応答時間」を決定する方法について、以下に説明する。上述したように、「Ｃ．応答時間」は、「Ｅ．認識時間」に「Ａ．認証時間」を加算して得られる。ここで、情報通信端末１００は、「４．音声データ送付終了通知」まで処理を進めた時点で、「Ａ．認証時間」を取得している。よって、情報通信端末１００は、「Ｅ．認識時間」の予測値を算出することにより、「Ｃ．応答時間」を算出することができる。
【００５１】
「Ｅ．認識時間」の予測値は、「Ｅ．認識時間」をリッジ回帰における未知数θとしたときに、履歴情報５１から抽出した複数のレコードを組み合わせた行列を用いた行列演算によって算出することができる。例えば、履歴情報５１から抽出したＮ個のレコードについて、１つの行が１つのレコードに関する「Ｆ．会話の時間帯」、「Ｂ．会話長」、および「Ｄ．会話取得時間」の組み合わせに対応する、Ｎ行３列の行列Ｘを用意する。さらに、Ｎ個のレコードに含まれる、「Ｅ．認識時間」の実測値について、行列Ｘとレコードの順番が同じであるＮ行１列の行列Ｙを用意する。このとき、「Ｅ．認識時間」の予測値は、行列Ｘ、行列Ｙ、およびα＞０である複雑度パラメータαのそれぞれをリッジ回帰における未知数の予測値を求める式に適用して、算出することができる。
【００５２】
（処理の流れ）
本実施形態に係る情報通信端末１００が実行する処理の流れについて、図３を用いて以下に説明する。図３は、本実施形態に係る情報通信端末１００が実行する処理の流れの一例を示すフローチャートである。
【００５３】
まず、履歴情報取得部２６は、サーバ２００から過去の音声認識に関する履歴として履歴情報５１を取得し、記憶部１４に格納する（Ｓ１）。
【００５４】
その後、入力音声制御部２１は、音声入力部１１にてユーザから音声を受け付けたか否かを判定する（Ｓ２）。音声を受け付けたと判定した場合（Ｓ２でＹＥＳ）、入力音声制御部２１は、サーバ２００に利用開始要求を送信する（Ｓ３）。
【００５５】
次に、入力音声制御部２１は、サーバ２００から利用許諾通知を受け付けたか否かを判定する（Ｓ４）。利用許諾通知を受け付けたと判定した場合（Ｓ４でＹＥＳ）、入力音声制御部２１は、入力された音声を音声データとして送付を開始する（Ｓ５）。そして、入力音声制御部２１は、音声データの送付が完了したか否かを判定する（Ｓ６）。送付が完了したと判定した場合（Ｓ６でＹＥＳ）、入力音声制御部２１は、音声データ送付終了通知をサーバ２００へ送信する（Ｓ７）。
【００５６】
Ｓ７の後、応答時間予測部２４は、入力音声制御部２１から受信した、音声データに関する情報と、Ｓ１でサーバ２００から取得した履歴情報５１に基づいて応答時間を予測する（Ｓ８：応答時間予測ステップ）。予測の方法については既に説明したとおりである。
【００５７】
Ｓ７にて応答時間を予測が完了すると、一時応答設定部２５は、予測した応答時間が所定の閾値以上か否かを判定し（Ｓ９）、所定の閾値以上であると判定した場合（Ｓ９でＹＥＳ）、一時応答文を設定する（Ｓ１０）。一方、所定の閾値以上ではないと判定した場合（Ｓ９でＮＯ）、処理はＳ１３へ進む。
【００５８】
Ｓ１０の後、一時応答設定部２５は、音声の入力が終了してから所定の期間が経過したか否かを判定する（Ｓ１１）。所定の期間が経過したと判定した場合（Ｓ１１でＹＥＳ）、出力音声生成部２３は、一時応答文に基づいて出力音声を生成し、音声出力部１２から出力する（Ｓ１２：一時応答出力ステップ）。なお、Ｓ１１の処理はあってもよいし、なくてもよい。
【００５９】
Ｓ９でＮＯ、またはＳ１２の後、応答文受信部２２は、Ｓ５で送付した音声データに応じた応答文をサーバ２００から受信したか否かを判定する（Ｓ１３）。受信したと判定した場合（Ｓ１３でＹＥＳ）、出力音声生成部２３は、応答文に基づいて出力音声を生成し、音声出力部１２から出力する（Ｓ１４）。
【００６０】
以上の処理によって、本実施形態に係る情報通信端末１００は、入力された音声とサーバ２００における複数の情報通信端末１００との間の過去の音声認識に関する履歴情報に基づいて、当該入力の終了時点から応答の開始までの応答時間を予測することができる。これにより、情報通信端末１００は、サーバ２００の負荷およびネットワークの負荷を考慮して応答時間を予測することができる。そして、予測した応答時間が所定の閾値を越えた場合は、入力された音声に応じた応答とは異なる一時応答を出力することができる。したがって、本実施形態に係る情報通信端末１００は、サーバ２００の負荷およびネットワークの負荷を考慮して予測した応答時間に基づいて一時応答を出力することで、ユーザに対話感を継続して抱かせることができるという効果を奏する。
【００６１】
また、サーバ２００における過去の音声認識に関する履歴情報は、複数の情報通信端末１００に関する履歴情報を含む場合、情報通信端末１００は、当該複数の情報通信端末１００に関する履歴情報に基づいて応答時間を予測することができる。さらに、情報通信端末１００が取得する、サーバ２００における過去の音声認識に関する履歴情報は、当該サーバ２００にて応答時間の予測精度を高めるために予め処理されたものであってもよい。この場合、情報通信端末１００は、複数の履歴情報を全て受け取る場合よりも処理の負荷が少なく、且つ、短い期間で高い精度で応答時間を予測することができる。このように、サーバ２００に蓄積された複数の情報通信端末１００に関する情報に基づいて応答時間を予測することにより、短い期間で予測の精度を向上させることができるという効果を奏する。
【００６２】
〔実施形態２〕
本発明の他の実施形態について、図１および図３に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
【００６３】
（情報通信端末の構成）
本実施形態に係る情報通信端末１００の基本的な構成は上記実施形態１と同一であるが、応答時間予測部２４の一部機能が異なる。
【００６４】
応答時間予測部２４は、基本的な構成は上記実施形態１と同一であるが、情報通信端末１００とサーバ２００との間の伝送経路に関する情報にさらに基づいて応答時間を予測する点が異なる。ここで、伝送経路に関する情報は、例えば、情報通信端末１００とサーバ２００との間の通信において経由した中継地点（ゲートウェイ）の数を含んでいる。本実施形態において、応答時間予測部２４は、上記実施形態１で応答時間の予測に用いた項目の他に、サーバ２００より受信した利用許諾通知を含むパケットのＴＴＬ（Time To Live：生存期間）の値を用いて応答時間を予測する。例えば、利用許諾通知を含むパケットのＴＴＬの値が所定の閾値以下の場合は、何らかの理由によって情報通信端末１００とサーバ２００との間に確立された伝送経路が遠回りとなっていることが考えられる。このとき、応答時間予測部２４は、遠回りによるタイムラグを考慮した応答時間を予測することができる。
【００６５】
（サーバの構成）
本実施形態に係るサーバ２００の構成は上記実施形態１と同一である。
【００６６】
（処理の流れ）
本実施形態に係る情報通信端末１００が実行する処理の流れについて、図３を用いて説明する。
【００６７】
本実施形態において、全体の処理の流れは上記実施形態１と同一であるが、Ｓ８の処理のみが異なる。Ｓ８において、応答時間予測部２４は、上記実施形態１で応答時間の予測に用いた項目の他に、Ｓ４でサーバ２００より受信した利用許諾通知のパケットに含まれるＴＴＬの値を用いて応答時間を予測する（Ｓ８）。そしてＳ８の後、上記実施形態１と同様に、Ｓ９〜Ｓ１４の処理を実行する。
【００６８】
以上の処理によって、本実施形態に係る情報通信端末１００は、入力された音声、サーバ２００における過去の音声認識に関する履歴情報、および当該情報通信端末１００とサーバ２００との間の伝送経路に関する情報に基づいて応答時間を予測することができる。これにより、情報通信端末１００は、サーバ２００の負荷、ネットワークの負荷、および情報通信端末１００とサーバ２００との間の伝送経路の長さを考慮して応答時間を予測することができる。そして、応答時間に基づいて一時応答を出力することができる。したがって、サーバ２００の負荷、ネットワークの負荷、および伝送経路の長さを考慮して予測した応答時間に基づいて一時応答を出力することにより、ユーザに対話感を継続して抱かせることからユーザに利便性の高い情報通信端末を提供することができるという効果を奏する。
【００６９】
〔実施形態３〕
上記実施形態１および上記実施形態２は、応答時間を予測し、予測した応答時間に基づいて一時応答を出力する構成であった。しかしながら、上記各実施形態は、一時応答を一度だけ出力する構成であった。そのため、例えば、予測した応答時間が非常に大きく、一時応答の出力から本来の応答を出力するまでの間に所定の閾値を越える無音時間が発生するおそれがある。本実施形態は、一時応答の出力から本来の応答を出力するまでの間に所定の閾値を越える無音時間が発生すると判定した場合は、一時応答とは異なる別の応答を出力する。
【００７０】
（情報通信端末の構成）
本実施形態に係る情報通信端末１００の構成は、上記実施形態１および上記実施形態２に係る情報通信端末１００と基本的に同一であるが、一時応答設定部２５の一部機能が異なる。
【００７１】
一時応答設定部２５は、基本的な構成は上記実施形態１と同一であるが、以下の点が異なる。すなわち、本実施形態に係る一時応答設定部２５は、情報通信端末１００が一時応答を出力した時刻から、応答時間予測部２４が予測した応答時間までの期間が所定の閾値を越えた場合は、一次情報とは異なる別の応答を出力することができる。より具体的には、一時応答設定部２５は、一時応答を音声出力部１２より出力した後、サーバ２００から受信した応答文を出力するまでの間に、所定の閾値を越える無音時間が含まれるか否かを判定することができる。さらに、一時応答設定部２５は、所定の閾値を越える無音時間が含まれると判定した場合は、出力済みである一時応答とは異なる別の応答を設定し、所定の期間の経過後に、音声出力部１２より出力することができる。
【００７２】
（サーバの構成）
本実施形態に係るサーバ２００の構成は上記実施形態１および上記実施形態２と同一である。
【００７３】
（処理の流れ）
本実施形態に係る情報通信端末１００が実行する処理の流れについて、図３を参照しつつ以下に説明する。
【００７４】
Ｓ１〜Ｓ１２の処理は、上記実施形態１と同一である。Ｓ１２の後、一時応答設定部２５は、応答文の受信が予測される時刻までの間に所定の閾値を越える無音時間が存在するか否かを判定する（Ｓ２１）。所定の閾値を越える無音時間が存在すると判定した場合（Ｓ２１でＹＥＳ）、一時応答設定部２５は、Ｓ１０で設定したものとは異なる別の応答を設定する（Ｓ２２）。その後、出力音声生成部２３は、別の応答に基づいて出力音声を生成し、音声出力部１２から出力する（Ｓ２３）。一方、所定の閾値を越える無音時間が存在しないと判定した場合（Ｓ２１でＮＯ）、処理はＳ１３へ進む。
【００７５】
Ｓ２３の後、処理はＳ２１へ進み、別の応答の出力から応答文の受信が予測される時刻までの間に所定の閾値を越える無音時間が存在しなくなるまで、Ｓ２１〜Ｓ２３の処理を繰り返す。
【００７６】
以上の処理によって、本実施形態に係る情報通信端末１００は、予測した応答時間に基づいて一時応答を出力した時刻から、応答時間までの期間が所定の閾値を越えた場合は、一時応答とは異なる別の応答を出力することができる。これにより、情報通信端末は、一時応答の出力完了時点から応答の開始までに無音時間が所定の閾値を越えないように、一時応答とは異なる別の応答を出力することができる。したがって、一時応答の出力完了後に別の応答を出力することにより、ユーザに対話感を継続して抱かせることからユーザに利便性の高い情報通信端末を提供することができるという効果を奏する。
【００７７】
〔変形例〕
上記各実施形態において、情報通信端末１００は、予測した応答時間にサーバ２００から実際に応答文を受信することを前提とする構成であった。しかしながら、実際は、予測した応答時間内にサーバ２００から応答文の受信ができず、結果として所定の閾値を越える無音時間が発生するおそれがある。そのため、例えば、情報通信端末１００は予測した応答時間を過ぎた場合に以下のような動作を行う構成であってもよい。すなわち、情報通信端末１００は、応答時間を過ぎても音声に応じた応答をサーバ２００より受信できなかった場合、一時応答とは異なる、上記音声の再入力を求める応答または上記音声の破棄を通知する応答を出力する構成であってもよい。
【００７８】
上記各実施形態において、情報通信端末１００は、予測した応答時間が所定の閾値を越えると判定した場合は、必ず一時応答を出力する構成であった。しかしながら、一時応答は、ユーザに対話感を継続して抱かせるために出力するものであり、例えば、一時応答の出力前に、ユーザから新たに音声が入力された場合、当該ユーザは対話感を継続して抱いているものと考えられる。そのため、情報通信端末１００は、所定の閾値に基づく一時応答の出力前に、入力された音声とは異なる別の音声が入力された場合は、一時応答を出力しない構成であってもよい。
【００７９】
なお、前記実施形態１〜３のように、サーバからの応答文はテキストデータであることが好ましいが、サーバからの応答文は音声データ（サーバでテキストデータから変換された音声データ）であってもよい。この場合、音声データを受け取った情報通信端末１００においてすぐに応答の音声として出力することができる。しかも、情報通信端末１００において、テキストデータから音声データへの変換処理がないため、処理能力の低いＣＰＵを搭載した安価な情報通信端末も利用することが可能となる。
【００８０】
〔ソフトウェアによる実現例〕
情報通信端末１００の制御ブロック（特に応答時間予測部２４）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
【００８１】
後者の場合、情報通信端末１００は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【００８２】
〔まとめ〕
本発明の態様１に係る情報通信端末（１００）は、入力された音声を外部のサーバ（２００）へ送信し、上記サーバより受信した、上記音声に応じた応答を出力する情報通信端末であって、上記サーバとの通信状態と、上記サーバにおける過去の音声認識に関する履歴情報（５１）から得られる上記サーバの負荷状態とに基づいて、当該音声の入力の終了時点から上記応答出力の開始までの時間である応答時間を予測する応答時間予測部（２４）を備えており、上記応答時間予測部が予測した上記応答時間が所定の閾値を越えた場合は、上記音声に応じた応答とは異なる一時応答を出力する構成である。
【００８３】
上記の構成によれば、情報通信端末は、音声の入力の終了時点から上記応答の開始までの時間である応答時間を、サーバとの通信状態と、サーバにおける過去の音声認識に関する履歴情報から得られる上記サーバの負荷状態とに基づいて予測する。なお、サーバとの通信状態は、例えば、音声の入力を行うことによって得られる。これにより、情報通信端末は、サーバの負荷およびネットワークの負荷を考慮して応答時間を予測することができる。そして、予測した応答時間が所定の閾値を越えた場合は、入力された音声に応じた応答とは異なる一時応答を出力することができる。したがって、サーバの負荷およびネットワークの負荷を考慮して予測した応答時間に基づいて一時応答を出力することで、ユーザに対話感を継続して抱かせることによりユーザに利便性の高い情報通信端末を提供することができるという効果を奏する。また、サーバにおける過去の音声認識に関する履歴情報は、複数の情報通信端末に関する履歴情報を含む場合、情報通信端末は、当該複数の情報通信端末に関する履歴情報に基づいて応答時間を予測することができる。さらに、情報通信端末が取得する、サーバにおける過去の音声認識に関する履歴情報は、当該サーバにて応答時間の予測精度を高めるために予め処理されたものであってもよい。この場合、情報通信端末は、複数の履歴情報を全て受け取る場合よりも処理の負荷が少なく、且つ、短い期間で高い精度で応答時間を予測することができる。このように、サーバに蓄積された複数の情報通信端末に関する情報に基づいて応答時間を予測することにより、短い期間で予測の精度を向上させることができるという効果を奏する。
【００８４】
本発明の態様２に係る情報通信端末（１００）は、上記態様１において、上記応答時間予測部（２４）は、当該情報通信端末と上記サーバ（２００）との間の伝送経路に関する情報にさらに基づいて上記応答時間を予測する構成としてもよい。
【００８５】
上記の構成によれば、情報通信端末は、入力された音声、サーバにおける過去の音声認識に関する履歴情報、および当該情報通信端末とサーバとの間の伝送経路に関する情報に基づいて応答時間を予測することができる。例えば、情報通信端末は、伝送経路に関する情報として、当該情報通信端末とサーバとの間の通信において経由した中継地点（ゲートウェイ）の数に基づいて応答時間を予測することができる。これにより、情報通信端末は、サーバの負荷、ネットワークの負荷、および情報通信端末１００とサーバ２００との間の伝送経路の長さを考慮して応答時間を予測することができる。そして、応答時間に基づいて一時応答を出力することができる。したがって、サーバの負荷ネットワークの負荷、および伝送経路の長さを考慮して予測した応答時間に基づいて一時応答を出力することにより、ユーザに対話感を継続して抱かせることからユーザに利便性の高い情報通信端末を提供することができるという効果を奏する。
【００８６】
本発明の態様３に係る情報通信端末（１００）は、上記態様１または２において、上記情報通信端末が上記一時応答を出力した時刻から、上記応答時間予測部（２４）が予測した上記応答時間までの期間が所定の閾値を越えた場合は、上記一時応答とは異なる別の応答を出力する構成としてもよい。
【００８７】
上記の構成によれば、情報通信端末は、予測した応答時間に基づいて一時応答を出力した時刻から、応答時間までの期間が所定の閾値を越えた場合は、一時応答とは異なる別の応答を出力することができる。これにより、情報通信端末は、一時応答の出力完了時点から応答の開始までに無音時間が所定の閾値を越えないように、一時応答とは異なる別の応答を出力することができる。したがって、一時応答の出力完了後に別の応答を出力することにより、ユーザに対話感を継続して抱かせることからユーザに利便性の高い情報通信端末を提供することができるという効果を奏する。
【００８８】
本発明の態様４に係る情報通信端末（１００）は、上記態様１〜３のいずれかにおいて、上記応答時間を過ぎても上記音声に応じた応答を上記サーバ（２００）より受信できなかった場合、上記一時応答とは異なる、上記音声の再入力を求める応答または上記音声の破棄を通知する応答を出力する構成としてもよい。
【００８９】
上記構成によれば、情報通信端末は、上記態様１〜３のいずれかにおいて、応答時間を過ぎても入力された音声に応じた応答をサーバより受信できなかった場合は、音声の再入力を求める応答また音声の破棄を通知する応答を出力することができる。
【００９０】
本発明の態様５に係る情報通信端末（１００）は、上記態様１〜４のいずれかにおいて、上記所定の閾値に基づく上記一時応答の出力前に、上記入力された音声とは異なる別の音声が入力された場合は、上記一時応答を出力しない構成としてもよい。
【００９１】
上記の構成によれば、情報通信端末は、所定の閾値に基づく一時応答の出力前に、入力された音声とは異なる別の音声が入力された場合は、一時応答を出力しないようにすることができる。これにより、情報通信端末は、予測した応答時間が所定の閾値を越える場合であっても、一時応答の出力前に別の音声が入力された場合は当該一時応答の出力を取り止めることができる。したがって、所定の閾値を越える無音時間が発生する場合のみ一時応答を出力することにより、ユーザに対話感を継続して抱かせることからユーザに利便性の高い情報通信端末を提供することができるという効果を奏する。
【００９２】
本発明の態様６に係る情報通信端末（１００）の制御方法は、入力された音声を外部のサーバ（２００）へ送信し、上記サーバより受信した、上記音声に応じた応答を出力する情報通信端末の制御方法であって、上記サーバとの通信状態と、上記サーバにおける過去の音声認識に関する履歴情報（５１）から得られる上記サーバの負荷状態とに基づいて、当該音声の入力の終了時点から上記応答出力の開始までの時間である応答時間を予測する応答時間予測ステップ（Ｓ８）と、上記応答時間予測ステップにて予測した上記応答時間が所定の閾値を越えた場合は、上記音声に応じた応答とは異なる一時応答を出力する一時応答出力ステップ（Ｓ１２）とを含む方法である。上記の構成によれば、上記態様１と同様の作用効果を奏する。
【００９３】
本発明の各態様に係る情報通信端末（１００）は、コンピュータによって実現してもよく、この場合には、コンピュータを上記情報通信端末が備える各部（ソフトウェア要素）として動作させることにより上記情報通信端末をコンピュータにて実現させる情報通信端末の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【００９４】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【符号の説明】
【００９５】
１００  情報通信端末
２００  サーバ
１１  音声入力部
１２  音声出力部
１３  時計部
１４  記憶部
２０  制御部
２１  入力音声制御部
２２  応答文受信部
２３  出力音声生成部
２４  応答時間予測部
２５  一時応答設定部
２６  履歴情報取得部
５０  サーバ側記憶部
５１  履歴情報
５２  時間帯データ
５３  会話長データ
５４  取得時間データ
５５  認識時間データ
６０  サーバ側制御部
【図１】
2018101905.tif 000003
【図２】
2018101905.tif 000004
【図３】
2018101905.tif 000005