(57)【要約】【課題】ユーザのニーズに応じて応答の時間を決定し、当該時間に合わせた応答を返すこと。【解決手段】情報処理装置は、ユーザによる発話音声を入力として取得する取得部と、発話音声から特徴を抽出する特徴抽出部と、発話音声が取得されてから発話音声に対する応答を出力するまでの時間を、発話音声が入力された時点で、抽出された特徴に応じて決定する時間決定部と、記憶部に格納された応答リストを参照し、決定された時間に対応する応答を選択する応答選択部と、選択された応答を出力する出力部と、応答が出力された後、動作モードを出力状態から待機状態に遷移させる状態制御部と、を備える。【選択図】図１
2020184183.tif 000002
【特許請求の範囲】
【請求項１】
ユーザによる発話音声を入力として取得する取得部と、
前記発話音声から特徴を抽出する特徴抽出部と、
前記発話音声が取得されてから前記発話音声に対する応答を出力するまでの時間を、前記発話音声が入力された時点で、前記抽出された特徴に応じて決定する時間決定部と、
記憶部に格納された応答リストを参照し、前記決定された時間に対応する前記応答を選択する応答選択部と、
前記選択された応答を出力する出力部と、
前記応答が出力された後、動作モードを出力状態から待機状態に遷移させる状態制御部と、
を備える情報処理装置。
【請求項２】
前記応答選択部は、前記抽出された特徴に応じて、前記応答の情報量を変更する、請求項１に記載の情報処理装置。
【請求項３】
前記出力部は、前記抽出された特徴に応じて、音声、文字、及び画像の少なくともいずれかにより、前記応答を出力する、請求項１又は２に記載の情報処理装置。
【請求項４】
前記出力部は、文字及び画像の少なくともいずれかと、音声とにより前記応答を出力する場合、文字及び画像の少なくともいずれかによる情報量が音声による情報量に比べて大きい前記応答を出力する、請求項３に記載の情報処理装置。
【請求項５】
前記出力部は、音声により前記応答を出力する場合、前記発話音声が入力されてから前記応答を出力するまでの時間が長いほど、情報量が大きい前記応答を出力する、請求項３又は４に記載の情報処理装置。
【請求項６】
前記出力部は、音声による出力が取り消されると、文字及び画像の少なくともいずれかにより前記応答を出力する、請求項３〜５のいずれか１項に記載の情報処理装置。
【請求項７】
前記取得部からの入力が可能であることを報知する、報知部を更に備える、請求項１〜６のいずれか１項に記載の情報処理装置。
【請求項８】
前記取得部は、前記待機状態を開始後、前記発話音声とは異なる、新たな発話音声を入力として取得し、
前記応答制御部は、前記新たな発話音声を取得してから前記新たな発話音声に対する新たな応答を出力するまで、前記取得部からの入力を不可とする時間を、前記新たな発話音声が入力された時点で、前記新たな発話音声から抽出された特徴に応じて決定する、請求項１〜７のいずれか１項に記載の情報処理装置。
【請求項９】
端末装置と、
前記端末装置と通信可能に接続されたサーバ装置と、
を含んで構成され、
前記端末装置は、
ユーザによる発話音声を入力として取得し、前記入力された発話音声を、前記サーバ装置に送信する取得部と、
前記発話音声に対する、前記サーバ装置から受信した応答を出力する出力部と、
を備え、
前記サーバ装置は、
前記端末装置から受信した発話音声から特徴を抽出する特徴抽出部と、
前記発話音声が入力されてから前記応答を出力するまでの時間を、前記発話音声が入力された時点で、前記抽出された特徴に応じて決定する時間決定部と、
記憶部に格納された応答リストを参照し、前記決定された時間に対応する前記応答を選択する応答選択部と、
前記選択された応答を、前記端末装置に送信する通信部と、
前記端末装置から前記応答が出力された後、動作モードを出力状態から待機状態に遷移させる状態制御部と、
を備える、情報処理システム。
【請求項１０】
ユーザによる発話音声を入力として取得する工程と、
前記発話音声から特徴を抽出する工程と、
前記発話音声が取得されてから前記発話音声に対する応答を出力するまでの時間を、前記発話音声が入力された時点で、前記抽出された特徴に応じて決定する工程と、
記憶部に格納された応答リストを参照し、前記決定された時間に対応する前記応答を選択する工程と、
前記選択された応答を出力する工程と、
前記応答が出力された後、動作モードを出力状態から待機状態に遷移させる工程と、
を含む、情報処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理システム、情報処理装置の制御方法に関する。
【背景技術】
【０００２】
特許文献１には、ユーザによる発話を検知すると、音声の出力を停止する音声対話システムが開示されている。
【０００３】
特許文献２には、ユーザによる発話が入力されてから、ユーザにコンテンツを提示するまでの応答待ち時間にメッセージ音声を再生する音声対話装置が開示されている。特許文献２に開示される音声対話装置では、応答待ち時間の無音期間の長さのサンプル値と、メッセージ音声の長さのサンプル値と、ユーザの体感品質との対応関係を示すテーブルを参照することにより、応答待ち時間に再生されるメッセージ音声の長さを設定する。
【０００４】
特許文献３には、ユーザによる発話音声により、質問を受け付け、当該質問に対する応答を出力する自然言語処理装置が開示されている。特許文献３に開示される自然言語処理装置では、質問に対する応答を出力した後、ユーザによる新たな質問を受け付けるまでの時間が、所定の時間を超える場合に、前回の応答より詳細な応答を出力する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１８−０９１９１１号公報
【特許文献２】特開２０１４−１１９７１６号公報
【特許文献３】特開平８−２０２７１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１〜３に開示されるように、装置がユーザによる発話音声に対する応答音声を出力する場合、当該応答音声を出力中に、ユーザが新たな発話音声を入力すると、装置が応答音声を発話音声と誤解する。そのため、ユーザによる発話音声と装置による応答音声とが、交互に発されることが好ましい。しかし、その場合、ユーザは、装置からの応答が終わるまで新たな発話音声を入力できないため、ユーザにとって、予期しない待ち時間が発生する。そこで、本発明の一態様は、例えば、ユーザのニーズに応じて応答の時間を決定し、当該時間に合わせた応答を返せる情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本開示の第１の態様に係る情報処理装置は、ユーザによる発話音声を入力として取得する取得部と、前記発話音声から特徴を抽出する特徴抽出部と、前記発話音声が取得されてから前記発話音声に対する応答を出力するまでの時間を、前記発話音声が入力された時点で、前記抽出された特徴に応じて決定する時間決定部と、記憶部に格納された応答リストを参照し、前記決定された時間に対応する前記応答を選択する応答選択部と、前記選択された応答を出力する出力部と、前記応答が出力された後、動作モードを出力状態から待機状態に遷移させる状態制御部と、を備える。
【０００８】
本開示の第２の態様に係る情報処理システムは、端末装置と、前記端末装置と通信可能に接続されたサーバ装置とを含んで構成される。前記端末装置は、ユーザによる発話音声を入力として取得し、前記入力された発話音声を、前記サーバ装置に送信する取得部と、前記発話音声に対する、前記サーバ装置から受信した応答を出力する出力部と、を備える。前記サーバ装置は、前記端末装置から受信した発話音声から特徴を抽出する特徴抽出部と、前記発話音声が入力されてから前記応答を出力するまでの時間を、前記発話音声が入力された時点で、前記抽出された特徴に応じて決定する時間決定部と、記憶部に格納された応答リストを参照し、前記決定された時間に対応する前記応答を選択する応答選択部と、前記選択された応答を、前記端末装置に送信する通信部と、前記端末装置から、前記応答が出力された後、動作モードを出力状態から待機状態に遷移させる状態制御部と、を備える。
【０００９】
本開示の第３の態様に係る情報処理装置の制御方法は、ユーザによる発話音声を入力として取得する工程と、前記発話音声から特徴を抽出する工程と、前記発話音声が取得されてから前記発話音声に対する応答を出力するまでの時間を、前記発話音声が入力された時点で、前記抽出された特徴に応じて決定する工程と、記憶部に格納された応答リストを参照し、前記決定された時間に対応する前記応答を選択する工程と、前記選択された応答を出力する工程と、前記応答が出力された後、動作モードを出力状態から待機状態に遷移させる工程と、を含む。
【図面の簡単な説明】
【００１０】
【図１】情報処理装置の機能構成の一例を示すブロック図である。
【図２】テンプレートテキストデータベースの一例を示す図である。
【図３】キーワードデータベースの一例を示す図である。
【図４】応答パターンデータベースの一例を示す図である。
【図５】応答規則データベースの一例を示す図である。
【図６】情報処理装置の動作の一例を示すフローチャートである。
【図７】情報処理装置の動作の一例を示すフローチャートである。
【図８】情報処理システムの全体構成の一例を示すブロック図である。
【図９】端末装置の機能構成の一例を示すブロック図である。
【図１０】サーバ装置の機能構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１１】
［第１の実施形態］
図１〜図７に基づいて、第１の実施形態を説明する。なお、図面については、同一又は同等の要素には同一の符号を付し、重複する説明は省略する。
【００１２】
（情報処理装置１００の概要）
本実施の形態に係る情報処理装置１００は、ユーザによる発話音声を入力として取得し、当該発話音声に対して応答を出力することによって、当該ユーザとの対話を実現するコンピュータである。ただし、情報処理装置１００は、出力状態において発話音声を取得しない。当該応答を発話音声と誤解することを防止し、当該発話音声の認識精度を向上させるためである。したがって、ユーザによる発話音声と情報処理装置１００による応答とが、交互に発される状況を前提とする。なお、以下の説明では、情報処理装置１００が発話音声を待機する状態を「待機状態」と呼び、当該発話音声に対する応答を出力する状態を「出力状態」と呼ぶ。また、「動作モード」は、情報処理装置１００が待機状態であるか出力状態であるかを示す。
【００１３】
情報処理装置１００は、発話音声を入力として取得すると、当該発話音声から特徴（例えば、当該発話音声に含まれる所定の単語）を抽出する。次に、情報処理装置１００は、発話音声が入力されてから当該発話音声に対する応答を出力するまでの時間を、当該入力された時点で、当該特徴に応じて決定する。そして、情報処理装置１００は、記憶部に格納された応答リストを参照し、当該時間に対応する応答を選択し、当該応答を出力する。最後に、情報処理装置１００は、当該応答が出力された後、動作モードを出力状態から待機状態に遷移させる。
【００１４】
すなわち、ユーザは、発話音声に特徴を持たせるだけで、情報処理装置１００が応答する時間をコントロールすることができる。したがって、ユーザは、次の入力を早く与えたい場合には、情報処理装置１００が端的な応答を返すように促し、そうでない場合には、詳細な応答を返すように要求できる。言い換えれば、情報処理装置１００は、ユーザのニーズに応じて応答の時間を決定し、当該時間に合わせた応答を返せる。
【００１５】
（情報処理装置１００の構成）
図１に基づいて、情報処理装置１００の構成の一例を説明する。図１は、情報処理装置１００の機能構成の一例を示すブロック図である。情報処理装置１００は、以下で説明する処理を含むプログラムを実行可能な装置である。当該処理を実行可能な機器でありさえすれば具体的な機器は限定されず、例えば、家電機器（例えば、調理機器など）、スマートフォン、タブレット、その他の任意のコンピュータであってもよい。
【００１６】
図１に例示されるように、情報処理装置１００は、例えば、音声取得部１１０、出力部１２０、報知部１３０、記憶部１４０、制御部１５０などを備えることができる。なお、図１は、情報処理装置１００の構成の一例であり、本実施形態に係る情報処理装置１００の構成を限定しない。
【００１７】
音声取得部１１０は、ユーザによる発話音声を入力として取得する。音声取得部１１０は、例えば、マイク等を含んで実現される。例えば、音声取得部１１０は、音声の取得を開始してから、所定の無音時間が続くまでの音声を、１回の発話に対応する音声として決定する。ここで、音声取得部１１０は、１回の発話に相当する音声（発話音声）を、制御部１５０に出力する。
【００１８】
出力部１２０は、発話音声に対する応答を出力する。具体的には、出力部１２０は、発話音声から抽出された特徴に応じて、音声、文字、及び画像の少なくともいずれかにより、発話音声に対する応答を出力する。例えば、出力部１２０は、スピーカを介して、音声を出力する。さらに、出力部１２０は、例えば、液晶ディスプレイ、ＯＬＥＤ（Organic Light Emitting Diode）ディスプレイ等に、文字、画像の少なくともいずれかを表示する。
【００１９】
なお、以下の説明では、入力された発話音声に対する応答を示す情報を、応答情報と呼ぶ。応答情報は、音声情報、文字情報、画像情報の少なくともいずれかを含む情報であってもよい。以下の説明では、応答情報に含まれる音声情報を、応答音声情報と呼ぶ。また、以下の説明では、応答情報に含まれる文字情報を、応答文字情報と呼ぶ。また、以下の説明では、応答情報に含まれる画像情報を、応答画像情報と呼ぶ。
【００２０】
出力部１２０は、例えば、音声により発話音声に対する応答を出力する場合、発話音声が入力されてから応答を出力するまでの時間が長いほど、情報量が大きい応答を出力できる。ここで、発話音声が入力されてから応答を出力するまでの時間とは、例えば、発話音声が入力されてから応答を出力終了するまでの時間に対応してもよい。これにより、情報処理装置１００は、発話音声が入力されてから応答を出力するまでの時間を長くすることで、詳細な情報（即ち、情報量が相対的に大きい応答）を出力できる。
【００２１】
また、出力部１２０は、例えば、文字、画像の少なくともいずれかと音声とにより、発話音声に対する応答を出力する場合、文字、画像の少なくともいずれかによる情報量が音声による情報量に比べて大きい応答を出力する。文字、画像の少なくともいずれかにより応答を出力する場合、当該応答等と同等の情報量を音声により出力する場合より、短い時間で応答を出力できる。そのため、情報処理装置１００は、文字、画像の少なくともいずれかによる情報量が音声による情報量に比べて大きい応答を出力することで、短い時間で、情報量の大きい応答を出力できる。
【００２２】
なお、情報処理装置１００は、ユーザの操作を受け付ける操作部（不図示）を備えてもよい。そして、出力部１２０は、当該操作部に対するユーザの操作に基づいて、取得した発話音声に対する応答として出力される音声の出力を取消（キャンセル）してもよい。出力部１２０は、音声による出力が取り消されると、文字、画像の少なくともいずれかにより、発話音声に対する応答を出力できる。これにより、情報処理装置１００は、ユーザに、応答の出力方法を変更する操作を行わせることなく、文字、画像の少なくともいずれかにより、発話音声に対する応答の内容を知らせることができる。
【００２３】
報知部１３０は、音声取得部１１０からの入力が可能な状態（待機状態）であることを報知する。例えば、報知部１３０は、音、光、振動等により、音声取得部１１０からの入力が可能である状態（待機状態）であることを報知できる。これにより、情報処理装置１００は、発話音声を入力できる状態であることを、ユーザに知らせることができる。
【００２４】
これにより、情報処理装置１００は、ユーザが情報処理装置１００の表示画面を見ていない場合であっても、発話音声に対する応答が表示されたことを、ユーザに知らせることができる。
【００２５】
記憶部１４０は、任意の記録媒体によって構成される記憶モジュールであり、各種のデータベースを格納している。記憶部１４０は、例えば、テンプレートテキストデータベース１４０１と、キーワードデータベース１４０２と、応答パターンデータベース１４０３と、応答規則データベース１４０４と、コンテンツデータベース１４０５とを格納する。さらに、記憶部１４０は、文字情報と音声間の変換を実現するための情報を記憶する。例えば、記憶部１４０は、単語の読みを格納するデータベース（不図示）を記憶する。また、記憶部１４０は、音素信号を格納するデータベース（不図示）を記憶する。記憶部１４０に格納されるデータベースの詳細は後述する。なお、図１は、情報処理装置１００が記憶部１４０を備えた構成を例示している。しかし、記憶部１４０は、情報処理装置１００と通信可能に接続された外部の記憶装置であってもよい。
【００２６】
制御部１５０は、情報処理装置１００の全体を制御する。制御部１５０は、例えば、特徴抽出部１５１、時間決定部１５２、応答選択部１５３、状態制御部１５４などを含むことができる。制御部１５０は、ＣＰＵ（Central Processing Unit）等のプロセッサにより実現される。例えば、プロセッサは、記憶部１４０に格納されたプログラムを読み出し、実行することで、制御部１５０として動作する。
【００２７】
特徴抽出部１５１は、音声取得部１１０が取得した発話音声から特徴（例えば、当該発話音声に含まれるキーワード）を抽出する。なお、以下の説明では、特徴抽出部１５１は、発話音声に含まれる所定のキーワードを、特徴として抽出する場合を例示して説明する。
【００２８】
例えば、特徴抽出部１５１は、入力された音声に対して音声認識を実行することで、入力された音声を文字情報に変換する。例えば、特徴抽出部１５１は、隠れマルコフモデル（HMM（Hidden Markov Model））、深層学習等を用いて、音声を文字情報に変換する。特徴抽出部１５１は、音声を文字情報に変換できればよく、音声を文字情報に変換する方法の詳細は問わない。以下の説明では、入力された発話音声から変換された文字情報を、入力発話文字情報と呼ぶ。
【００２９】
そして、特徴抽出部１５１は、形態素解析等を利用して、入力発話文字情報から単語群を抽出する。特徴抽出部１５１は、抽出した単語群から、キーワードデータベース１４０２に登録されたキーワード（以下、第１のキーワードと呼ぶ）を抽出する。第１のキーワードは、単語であってもよいし、２以上の単語から構成される句であってもよく、その詳細は問わない。また、以下の説明では、第１のキーワードのカテゴリを識別する情報を、カテゴリ識別情報と呼ぶ。キーワードデータベース１４０２の詳細は後述する。
【００３０】
特徴抽出部１５１は、キーワードデータベース１４０２を参照し、所定の組み合わせのカテゴリに対応する第1のキーワードが、抽出した単語群に含まれるか否かを判断する。所定の組み合わせのカテゴリに対応する第１のキーワードが、抽出した単語群に含まれる場合、特徴抽出部１５１は、抽出した単語群から所定のキーワードを、発話音声に含まれる特徴として抽出する。以下の説明では、発話音声から特徴として抽出される所定のキーワードを、第２のキーワードと呼ぶ。
【００３１】
時間決定部１５２は、発話音声が取得されてから、発話音声に対する応答が出力されるまでの時間を、発話音声が入力された時点で、発話音声から抽出された特徴（例えば、当該発話音声に含まれる第２のキーワード）に応じて決定する。以下の説明では、発話音声に対する応答のパターンを、応答パターンと呼ぶ。応答パターンは、応答方法と、応答情報とを含んで構成される。ここで、上記の通り、応答パターン毎に、発話音声が取得されてから、発話音声に対する応答が出力されるまでの時間は異なる。そのため、時間決定部１５２が応答パターンを決定することは、発話音声から抽出された特徴に応じて、発話音声が取得されてから、発話音声に対する応答が出力されるまでの時間を決定することに相当してもよい。
【００３２】
例えば、抽出された単語群に、第２のキーワードが含まれる場合、時間決定部１５２は、抽出された単語群に含まれる第２のキーワードに基づいて、応答パターンを決定する。一方、抽出された単語群に、第２のキーワードが含まれない場合、時間決定部１５２は、応答パターンデータベース１４０３から、所定の応答パターンを応答パターンとして選択する。以下の説明では、取得した発話音声に第２のキーワードが含まれない場合の応答パターンを、基本パターンと呼ぶ。応答パターンデータベース１４０３の詳細は後述する。
【００３３】
応答選択部１５３は、記憶部１４０に格納された応答リスト（記憶部１４０に格納されたデータベース）を参照し、時間決定部１５２により決定された時間に対応する応答を選択する。具体的には、応答選択部１５３は、記憶部１４０に格納された応答リストを参照し、応答パターンに対応する応答を決定する。ここで、上記の通り、応答パターン毎に、発話音声に対する応答情報が有する情報量（以下、応答の情報量と呼ぶ）が異なる。そのため、応答選択部１５３は、応答パターンに対応する応答を決定することで、発話音声から抽出された特徴に応じて、発話音声に対する応答の情報量を変更できる。これにより、情報処理装置１００は、応答の情報量又は応答に要する時間を、ユーザに制御させることができる。
【００３４】
より具体的には、応答選択部１５３は、応答規則データベース１４０４を参照し、決定された応答パターンに基づいて、応答方法と応答のテンプレート（以下、テンプレートテキストと呼ぶ）とを決定する。応答規則データベース１４０４の詳細は後述する。
【００３５】
応答選択部１５３は、抽出された単語群に含まれる第1のキーワードのうち、少なくとも一の単語を検索キーとして、コンテンツデータベース１４０５から、当該少なくとも一の単語に対応するコンテンツ（文字、画像の少なくともいずれか）を検索する。なお、画像は、静止画、動画の少なくともいずれかを含むものとする。そして、応答選択部１５３は、決定されたテンプレートテキストに基づいて、応答文字情報を生成する。コンテンツデータベース１４０５の詳細は後述する。
【００３６】
なお、出力部１２０が、操作部（不図示）に対するユーザの操作に基づいて、入力された発話音声に対する応答音声の出力を取消（キャンセル）する場合、応答選択部１５３は、例えば、応答音声の出力の取消に関する履歴（例えば、応答音声の出力が取り消された回数）を記憶部１４０に格納する。そして、応答選択部１５３は、応答音声の出力の取消に関する履歴に基づいて、応答方法を、音声出力から表示に変更してもよい。すなわち、ユーザが、音声による応答の出力を好まない場合（例えば、ユーザが、音声による応答の出力を繰り返した場合）には、ユーザが応答方法を変更する操作を行うことなく、応答方法が変更される。これにより、情報処理装置１００は、ユーザの利便性を向上できる。
【００３７】
状態制御部１５４は、発話音声が入力されると、動作モードを待機状態から出力状態に遷移させる。それにより、状態制御部１５４は、発話音声が入力されてから、発話音声に対する応答が出力されるまで、音声取得部１１０からの入力を不可（無効）の状態にできる。これにより、情報処理装置１００が、出力される応答音声を、発話音声と誤解して、発話音声の認識精度が低下することを防止できる。
【００３８】
また、状態制御部１５４は、発話音声に対する応答が出力された後に、動作モードを、出力状態から待機状態に遷移させる。それにより、状態制御部１５４は、発話音声に対する応答が出力された後に、音声取得部１１０が発話音声を待機する状態にする。これにより、情報処理装置１００は、応答を出力した後で、当該応答に応じた新たな発話を、ユーザに行わせることができる。
【００３９】
（記憶部に格納されるデータベース）
次に、記憶部１４０に格納されるデータベースについて詳細に説明する。
【００４０】
まず、テンプレートテキストデータベース１４０１について詳細に説明する。
【００４１】
図２は、テンプレートテキストデータベース１４０１の一例を示す。テンプレートテキストデータベース１４０１は、テンプレートテキストを格納する。テンプレートテキストデータベース１４０１は、例えば、テンプレートテキストを識別する情報と、テンプレートテキストとを組にして格納する。以下の説明では、テンプレートテキストを識別する情報を、テンプレート識別情報と呼ぶ。なお、なお、図２に示すテンプレートテキストデータベース１４０１は一例であり、テンプレートテキストデータベース１４０１を、図２に示す構成に限定しない。また、同様に、図２に示すテンプレートテキストは、一例であり、テンプレートテキストを限定しない。
【００４２】
例えば、テンプレートテキストデータベース１４０１は、テンプレート識別情報「ＴＥ１０１」と、テンプレートテキスト「‘材料名’を使った‘レシピ名’はどうかな。人気の高い料理だよ。」とを組にして格納する。なお、以下の説明において、シングルクォテーション（‘）で挟む文字列は、取得した発話音声に応じた文字、画像の少なくともいずれかに置換されることを示すものとする。
【００４３】
また、例えば、テンプレートテキストデータベース１４０１は、テンプレート識別情報「ＴＥ１０２」と、テンプレートテキスト「‘材料名’を使った‘レシピ名’はどうかな。調理時間は、‘調理時間’で‘材料名’と‘調味料’をセットすればＯＫだよ。」とを組にして格納する。
【００４４】
また、例えば、テンプレートテキストデータベース１４０１は、テンプレート識別情報「ＴＥ１０３」と、テンプレートテキスト「これはどうかな」とを組にして格納する。
【００４５】
また、例えば、テンプレートテキストデータベース１４０１は、テンプレート識別情報「ＴＥ１０４」と、テンプレートテキスト「‘レシピ画像’」とを組にして格納する。
【００４６】
次に、キーワードデータベース１４０２について詳細に説明する。
【００４７】
図３は、キーワードデータベース１４０２の一例を示す。キーワードデータベース１４０２は、キーワードと、当該キーワードに関連付けられたカテゴリとを格納する。キーワードデータベース１４０２は、例えば、１又は２以上の第１のキーワードと、カテゴリを識別する情報とを組にして格納する。
【００４８】
例えば、キーワードデータベース１４０２は、カテゴリ識別情報「１０００１」と、第１のキーワード（「魚」、「魚介」、「貝類」、「牛肉」、「豚肉」、「鶏肉」、「ビーフ」、「ポーク」、「チキン」）とを組にして格納する。また、例えば、キーワードデータベース１４０２は、例えば、カテゴリ識別情報「１０００２」と、第１のキーワード（「メニュー」、「料理」、「レシピ」、「献立」）とを組にして格納する。また、例えば、キーワードデータベース１４０２は、カテゴリ識別情報「１０００３」と、第１のキーワード（「欲しい」、「何かない」）とを組にして格納する。なお、図３は、キーワードデータベース１４０２の一例であり、キーワードデータベース１４０２を、図３に示す構成に限定しない。同様に、図３に示す第１のキーワードは、一例であり、第１のキーワードを限定しない。
【００４９】
次に、応答パターンデータベース１４０３について詳細に説明する。
【００５０】
図４は、応答パターンデータベース１４０３の一例を示す。なお、図４に示す応答パターンデータベース１４０３は一例であり、応答パターンデータベース１４０３を、図４に示す構成に限定しない。同様に、図４に示す単語（キーワード）に、第２のキーワードを限定しない。
【００５１】
ここで、出力部１２０が音声により応答を出力する場合、応答情報が有する情報量が大きいほど、応答の出力に要する時間は長くなる。しかし、出力部１２０が文字、画像により応答を出力する場合（即ち、応答を表示する場合）、音声により応答を出力する場合よりも相対的に、応答の出力に要する時間は短い。そのため、応答方法と、応答情報が有する情報量とに応じて、応答の出力に要する時間は異なる。したがって、応答パターン毎に、発話音声が取得されてから発話音声に対する応答を出力するまでの時間が異なる。以下、説明の便宜上、応答情報が有する情報量を、応答の情報量と表現する。
【００５２】
応答パターンデータベース１４０３は、応答パターンを示す情報を格納する。応答パターンデータベース１４０３は、例えば、応答パターンを識別する情報と、1又は２以上の第２のキーワードとを組にして格納する。または、応答パターンデータベース１４０３は、応答パターンを識別する情報と、１又は２以上の第２のキーワードと、優先順位とを関連付けて格納してもよい。以下の説明では、応答パターンを識別する情報を、応答パターン識別情報と呼ぶ。応答パターン識別情報は、例えば、応答パターンの名称、応答パターンに割り当てられた番号等であってもよく、応答パターンを識別する情報であれば、その詳細は問わない。
【００５３】
さらに、応答パターンデータベース１４０３は、取得した発話音声が所定のキーワードを含まない場合の応答パターン識別情報を格納する。
【００５４】
なお、応答パターンデータベース１４０３は、応答パターン識別情報と、第２のキーワードと、優先順位とを関連付けて格納してもよい。その場合、時間決定部１５２は、抽出された単語群に含まれる第２のキーワードと、当該第２のキーワードに関連付けられた優先順位とに基づいて、応答パターンを決定できる。例えば、抽出された単語群に、複数の第２のキーワードが含まれているとする。そして、当該複数の第２のキーワードは、それぞれ、異なる応答パターンに関連付けられているとする。その場合、時間決定部１５２は、当該複数の第２のキーワードに関連付けられた応答パターンのうち、相対的に優先順位が高い応答パターンを選択できる。これにより、発話音声に複数の第２のキーワードが含まれる場合であっても、情報処理装置１００は、相対的に優先順位が高い応答パターンを選択できる。
【００５５】
例えば、応答パターンデータベース１４０３は、応答パターン識別情報「ＰＡ００１」を、基本パターンとして格納する。
【００５６】
また、例えば、応答パターンデータベース１４０３は、応答パターン識別情報「ＰＡ００２」と、第２のキーワード「見せて」とを組にして格納する。
【００５７】
また、例えば、応答パターンデータベース１４０３は、応答パターン識別情報「ＰＡ００３」と、第２のキーワード「急ぎ」、「すぐに」とを組にして格納する。
【００５８】
また、例えば、応答パターンデータベース１４０３は、応答パターン識別情報「ＰＡ００４」と、第２のキーワード「詳しく」、「わかりやすく」、「細かく」とを組にして格納する。
【００５９】
以下、応答規則データベース１４０４について詳細に説明する。図５は、応答規則データベース１４０４の一例を示す図である。なお、図５に示す応答規則データベース１４０４は一例であり、応答規則データベース１４０４を、図５に示す構成に限定しない。
【００６０】
応答規則データベース１４０４は、応答パターンに対応する応答方法とテンプレートテキストを示す情報とを格納する。応答規則データベース１４０４は、例えば、応答パターン識別情報と、応答方法を示す情報と、テンプレート識別情報とを関連付けて格納する。
【００６１】
応答方法を示す情報は、例えば、音声出力、表示の少なくともいずれかを示す。以下の説明では、応答方法として、音声による応答方法と、文字、画像の少なくともいずれかによる応答方法とを、例示して説明する。なお、説明の便宜上、音声による応答方法を、応答方法「音声出力」と表現する。同様に、説明の便宜上、文字、画像の少なくともいずれかによる応答方法を、応答方法「表示」と表現する。
【００６２】
例えば、応答規則データベース１４０４は、応答パターン識別情報「ＰＡ００１」と、応答規則（応答方法「音声出力」を示す情報と、テンプレート識別情報「ＴＥ１０１」との組）とを関連付けて格納する。
【００６３】
また、例えば、応答規則データベース１４０４は、応答パターン識別情報「ＰＡ００２」と、応答規則（応答方法「表示」を示す情報と、テンプレート識別情報「ＴＥ１０４」との組）とを関連付けて格納する。
【００６４】
また、例えば、応答規則データベース１４０４は、応答パターン識別情報「ＰＡ００３」と、応答規則（応答方法「音声出力」を示す情報と、テンプレート識別情報「ＴＥ１０２」との組）とを関連付けて格納する。
【００６５】
また、例えば、応答規則データベース１４０４は、応答パターン識別情報「ＰＡ００４」と、応答規則（応答方法「音声出力」を示す情報と、テンプレート識別情報「ＴＥ１０３」との組）と、応答規則（応答方法「表示」を示す情報と、テンプレート識別情報「ＴＥ１０４」との組）とを関連付けて格納する。
【００６６】
以下、コンテンツデータベース１４０５について詳細に説明する。
【００６７】
コンテンツデータベース１４０５は、コンテンツ（文字、画像の少なくともいずれか）を格納する。例えば、コンテンツデータベース１４０５は、第1のキーワードのうち、少なくとも一の単語と、コンテンツ（文字、画像の少なくともいずれか）とを関連付けて格納する。
【００６８】
（情報処理装置１００の動作）
次に、情報処理装置１００の動作について説明する。
【００６９】
図６及び図７は、情報処理装置１００の動作の一例を示すフローチャートである。まず、図６を参照しながら、応答情報を決定する処理について説明する。
【００７０】
ステップＳ１において、音声取得部１１０は、ユーザによる発話音声を入力として取得する。
【００７１】
ステップＳ２において、状態制御部１５４は、発話音声の入力を不可にする状態を開始する。
【００７２】
ステップＳ３において、入力された発話音声に、キーワードデータベース１４０２に登録された所定の組み合わせのカテゴリに対応する第１のキーワードが含まれるか否かを、特徴抽出部１５１は判断する。例えば、特徴抽出部１５１は、キーワードデータベース１４０２に登録された、カテゴリ識別情報「１０００１」、「１０００２」、「１０００３」に関連付けられた第1のキーワードを抽出する。
【００７３】
入力された発話音声に、キーワードデータベース１４０２に登録された所定の組み合わせのカテゴリに対応する第１のキーワードが含まれる場合（ステップＳ３：Ｙｅｓ）には、制御は、ステップＳ４に遷移する。一方、入力された発話音声に、キーワードデータベース１４０２に登録された所定の組み合わせのカテゴリに対応する第１のキーワードが含まれない場合（ステップＳ３：Ｎｏ）には、制御は、図７に示すステップＳ１０８に遷移する。
【００７４】
ステップＳ４において、入力された発話音声に、応答パターンデータベース１４０３に登録された第２のキーワードが含まれるか否かを、特徴抽出部１５１は判断する。入力された発話音声に、応答パターンデータベース１４０３に登録された第２のキーワードが含まれない場合（ステップＳ４：Ｎｏ）には、時間決定部１５２は、応答パターンデータベース１４０３に登録された基本パターンを、応答パターンとして決定する（ステップＳ５）。そして、制御は、ステップＳ７に遷移する。
【００７５】
一方、入力された発話音声に、応答パターンデータベース１４０３に登録された第２のキーワードが含まれる場合（ステップＳ４：Ｙｅｓ）には、時間決定部１５２は、応答パターンデータベース１４０３を参照し、入力された発話音声に含まれる第２のキーワードに基づいて、応答パターンを決定する（ステップＳ６）。そして、制御は、ステップＳ７に遷移する。
【００７６】
ステップＳ７において、応答選択部１５３は、応答規則データベース１４０４を参照し、決定された応答パターンに対応する応答方法とコンテンツテンプレートとを決定する。
【００７７】
ステップＳ８において、応答選択部１５３は、決定されたコンテンツテンプレートと、抽出された第１のキーワードとに基づいて、応答文字情報、応答画像情報の少なくともいずれかを含む応答情報を生成する。そして、制御は、図７に示すステップＳ１０１に遷移する。
【００７８】
次に、図７を参照しながら、応答を出力する処理について説明する。
【００７９】
ステップＳ１０１において、決定された応答方法に音声による応答の出力が含まれるか否かを、応答選択部１５３は判断する。決定された応答方法に音声による応答の出力が含まれない場合（ステップＳ１０１：Ｎｏ）には、制御は、ステップＳ１０４に遷移する。一方、決定された応答方法に音声による応答の出力が含まれる場合（ステップＳ１０１：Ｙｅｓ）には、応答選択部１５３は、応答方法「応答出力」を示す情報に関連付けられた応答文字情報に基づいて、音声を合成する（ステップＳ１０２）。そして、出力部１０３は、合成した音声を出力する（ステップＳ１０３）。そして、制御は、ステップＳ１０４に遷移する。
【００８０】
ステップＳ１０４において、決定された応答方法に表示による応答の出力が含まれるか否かを、出力部１２０は判断する。決定された応答方法に表示による応答の出力が含まれない場合（ステップＳ１０４：Ｎｏ）には、制御は、ステップＳ１０６に遷移する。一方、決定された応答方法に表示による応答の出力が含まれる場合（ステップＳ１０４：Ｙｅｓ）には、出力部１２０は、応答方法「表示」を示す情報に関連付けられた応答文字情報、応答画像情報の少なくともいずれかを表示する（ステップＳ１０５）。そして、制御は、ステップＳ１０６に遷移する。
【００８１】
ステップＳ１０６において、状態制御部１５４は、発話音声を待機する状態を開始する。つまり、ユーザが、情報処理装置１００に対して発話音声を入力可能な状態を開始する。ここで、応答選択部１５３は、ユーザに新たな発話を促す音声（例えば、「他に何かあったら言って」等）を、出力部１２０に出力させてもよい。
【００８２】
ステップＳ１０７において、新たな発話音声を入力として取得したか否かを、音声取得部１１０は判断する。新たな発話音声を入力として取得していない場合（ステップＳ１０７：Ｎｏ）には、発話音声が入力されるまで、制御は、ステップＳ１０７の処理を繰り返す。一方、新たな発話音声を入力として取得した場合（ステップＳ１０７：Ｙｅｓ）には、図６に示すステップＳ１に遷移する。つまり、音声取得部１１０は、発話音声を待機する状態を開始後、新たな発話音声を入力として取得する。そして、応答選択部１５３は、新たな発話音声を取得してから新たな応答を出力するまで、音声取得部１１０からの入力を不可（無効）とする時間を、新たな発話音声が入力された時点で、新たな発話音声から抽出した特徴に応じて決定する。そして、応答選択部１５３は、新たな発話音声を入力として取得すると、当該入力された新たな発話音声に含まれる特徴に応じて、応答を変更する。
【００８３】
以上のように、情報処理装置１００は、発話音声に含まれる特徴に応じて、ユーザが発話をしてから、新たなユーザの発話を受け付けられる状態への遷移する時間が動的に変更することで、ユーザと情報処理装置１００との対話を円滑化することに貢献する。
【００８４】
以下、発話音声の具体例を示して、情報処理装置１００の動作を説明する。なお、以下の説明では、記憶部１４０が、図２に示すテンプレートテキストデータベース１４０１、図３に示すキーワードデータベース１４０２、図４に示す応答パターンデータベース１４０３、図５に示す応答規則データベース１４０４を記憶するとする。また、コンテンツデータベース１４０５は、「鶏肉」との単語と、コンテンツ「材料名：キノコ、レシピ名：鶏のキノコ料理、調理時間：３０分、材料：キノコ、材料：鶏肉、調味料：塩、レシピ画像：画像情報」を関連付けて格納しているとする。
【００８５】
（発話音声：ケース１）
以下、発話音声が「鶏肉料理のレシピを教えて欲しい」である場合を例示して、情報処理装置１００の動作を説明する。
【００８６】
ユーザが、情報処理装置１００に対して「鶏肉料理のレシピを教えて欲しい」と発話した場合、特徴抽出部１５１は、「鶏肉料理のレシピを教えて」との発話音声に基づいて、入力発話文字情報を生成する。特徴抽出部１５１は、入力発話文字情報から、「鶏肉」、「レシピ」、「教えて」、「欲しい」との第１のキーワードを抽出する。ここで、抽出された単語群は、応答パターンデータベース１４０３に登録されている第２のキーワードを含まない。その場合、応答選択部１５３は、応答パターンデータベース１４０３に基本パターンとして登録された応答パターン識別情報「ＰＡ００１」を取得する。そして、応答選択部１５３は、応答規則データベース１４０４を参照し、応答パターン識別情報「ＰＡ００１」に関連付けられた応答規則を取得する。つまり、応答選択部１５３は、応答規則データベース１４０４を参照し、応答方法「音声出力」を示す情報と、テンプレート識別情報「ＴＥ１０１」とを取得する。
【００８７】
そして、応答選択部１５３は、テンプレートテキストデータベース１４０１に格納された応答リストから、応答パターン識別情報「ＰＡ００１」に対応するテンプレート識別情報「ＴＥ１０１」に関連付けられた、テンプレートテキスト「‘材料名’を使った‘レシピ名’はどうかな。人気の高い料理だよ。」を取得する。その場合、応答選択部１５３は、コンテンツデータベース１４０５を参照し、第1のキーワードのうち単語「鶏肉」に関連付けられたコンテンツ「材料名：キノコ、レシピ名：鶏のキノコ料理、調理時間：３０分、材料：キノコ、材料：鶏肉、調味料：塩、レシピ画像：画像情報」を取得する。
【００８８】
そして、応答選択部１５３は、取得したコンテンツに基づいて、取得したテンプレートテキストに含まれる‘レシピ名’と‘材料名’との文字列を、「鶏のキノコ料理」、「キノコ」に置換して、応答文字情報「キノコを使った鶏のキノコ料理はどうかな。人気の高い料理だよ。」を生成する。そして、応答選択部１５３は、応答文字情報に基づく応答音声を、出力部１２０に出力させる。
【００８９】
（発話音声：ケース２）
次に、発話音声が「鶏肉料理のレシピを見せて欲しい」である場合を例示して、情報処理装置１００の動作を説明する。
【００９０】
ユーザが、情報処理装置１００に対して、「鶏肉料理のレシピを見せて欲しい」と発話した場合、特徴抽出部１５１は、「鶏肉料理のレシピを見せて」との発話音声に基づいて、入力発話文字情報を生成する。特徴抽出部１５１は、入力発話文字情報から、「鶏肉」、「レシピ」、「欲しい」との第1のキーワードを抽出する。さらに、応答選択部１５３は、応答パターンデータベース１４０３において、第２のキーワード「見せて」に関連付けられた、応答パターン識別情報「ＰＡ００２」を取得する。そして、応答選択部１５３は、応答規則データベース１４０４を参照し、応答パターン識別情報「ＰＡ００２」に関連付けられた応答規則を取得する。つまり、応答選択部１５３は、応答規則データベース１４０４を参照し、応答方法「表示」を示す情報と、テンプレート識別情報「ＴＥ１０４」とを関連付けた応答規則を取得する。
【００９１】
そして、応答選択部１５３は、テンプレートテキストデータベース１４０１を参照し、テンプレート識別情報「ＴＥ１０４」に関連付けられた、テンプレートテキストに含まれる‘レシピ画像’との文字列を取得する。
【００９２】
応答選択部１５３は、テンプレートテキストデータベース１４０１を参照し、抽出された単語群に含まれる第1のキーワードのうち単語「鶏肉」に関連付けられたコンテンツ「材料名：キノコ、レシピ名：鶏のキノコ料理、調理時間：３０分、材料：キノコ、材料：鶏肉、調味料：塩、レシピ画像：画像情報」を取得する。そして、応答選択部１５３は、取得したコンテンツに含まれる「レシピ画像」に関連付けられた画像を、応答画像情報として取得する。そして、応答選択部１５３は、応答画像情報を、出力部１２０に表示させる。したがって、ユーザは、例えば、「見せて」との単語を含んで発話することで、情報処理装置１００に応答を表示するように要求できる。すなわち、ユーザは、例えば、「見せて」との単語を含んで発話することで、応答に要する時間を短縮するように制御できる。
【００９３】
（発話音声：ケース３）
次に、発話音声が「急ぎ、鶏肉料理のレシピを教えて欲しい」である場合を例示して、情報処理装置１００の動作を説明する。
【００９４】
ユーザが、情報処理装置１００に対して、「急ぎ、鶏肉料理のレシピを教えて欲しい」と発話した場合、特徴抽出部１５１は、「急ぎ、鶏肉料理のレシピを教えて」との発話音声に基づいて、入力発話文字情報を生成する。特徴抽出部１５１は、入力発話文字情報から、「鶏肉」、「レシピ」、「教えて」、「欲しい」との第1のキーワードを抽出する。さらに、応答選択部１５３は、応答パターンデータベース１４０３において、第２のキーワード「見せて」に関連付けられた、応答パターン識別情報「ＰＡ００３」を取得する。そして、応答選択部１５３は、応答規則データベース１４０４を参照し、応答パターン識別情報「ＰＡ００３」に関連付けられた応答規則を取得する。つまり、応答選択部１５３は、応答方法「音声出力」を示す情報と、テンプレート識別情報「ＴＥ１０３」とを関連付けた応答規則を取得する。さらに、応答選択部１５３は、応答方法「表示」を示す情報と、テンプレート識別情報「ＴＥ１０４」とを関連付けた応答規則を取得する。
【００９５】
そして、応答選択部１５３は、テンプレートテキストデータベース１４０１を参照し、テンプレート識別情報「ＴＥ１０３」に関連付けられた、テンプレートテキスト「これはどうかな」を取得する。さらに、応答選択部１５３は、図２に示すテンプレートテキストデータベース１４０１から、応答パターン識別情報「ＰＡ００３」に対応するテンプレート識別情報「ＴＥ１０４」に関連付けられた、テンプレートテキストに含まれる‘レシピ画像’との文字列を取得する。
【００９６】
応答選択部１５３は、テンプレートテキストデータベース１４０１を参照し、抽出された単語群に含まれる第1のキーワードのうち単語「鶏肉」に関連付けられたコンテンツに含まれる「レシピ画像」に関連付けられた画像を、応答画像情報として取得する。
【００９７】
そして、応答選択部１５３は、取得したコンテンツに含まれる「レシピ画像」に関連付けられた画像を、応答画像情報として取得する。さらに、応答選択部１５３は、応答文字情報「これはどうかな」を生成する。そして、応答選択部１５３は、応答文字情報に基づく応答音声を、出力部１２０に出力させる。そして、応答選択部１５３は、応答画像情報を、出力部１２０に表示させる。したがって、ユーザは、例えば、「急ぎ」との単語を含んで発話することで、情報処理装置１００が端的な応答を返すように促すことができる。それにより、ユーザは、例えば、「鶏肉料理のレシピを教えて」と発話した場合より、早くに、情報処理装置１００に対して新たな発話を行うことができる。
【００９８】
（発話音声：ケース４）
次に、発話音声が「鶏肉料理のレシピを詳しく教えて」である場合を例示して、情報処理装置１００の動作を説明する。
【００９９】
ユーザが、情報処理装置１００に対して、「鶏肉料理のレシピを詳しく教えて」と発話した場合、特徴抽出部１５１は、「鶏肉料理のレシピを詳しく教えて欲しい」との発話音声に基づいて、入力発話文字情報を生成する。特徴抽出部１５１は、入力発話文字情報から、「鶏肉」、「レシピ」、「教えて」、「欲しい」との第1のキーワードを抽出する。さらに、応答選択部１５３は、図４に示す応答パターンデータベース１４０３において、第２のキーワード「詳しく」に関連付けられた、応答パターン識別情報「ＰＡ００４」を取得する。そして、応答選択部１５３は、図５に示す応答規則データベース１４０４を参照し、応答パターン識別情報「ＰＡ００４」に関連付けられた応答規則を取得する。つまり、応答選択部１５３は、応答方法「音声出力」を示す情報と、テンプレート識別情報「ＴＥ１０２」とを関連付けた、応答規則を取得する。
【０１００】
そして、応答選択部１５３は、テンプレートテキストデータベース１４０１を参照し、テンプレート識別情報「ＴＥ１０２」に関連付けられた、テンプレートテキスト「‘材料名’を使った‘レシピ名’はどうかな。調理時間は、‘調理時間’で‘材料’と‘調味料’をセットすればＯＫだよ」を取得する。
【０１０１】
その場合、応答選択部１５３は、コンテンツデータベース１４０５を参照し、第1のキーワードのうち、単語「鶏肉」に関連付けられたコンテンツ「材料名：キノコ、レシピ名：鶏のキノコ料理、調理時間：３０分、材料：キノコ、材料：鶏肉、調味料：塩、レシピ画像：画像情報」を取得する。
【０１０２】
そして、応答選択部１５３は、取得したコンテンツに基づいて、取得したテンプレートテキストに含まれる‘レシピ名’と‘材料名’と‘材料’と‘調理時間’と‘調味料’との文字列を、「キノコ」、「鶏のキノコ料理」、「キノコ、鶏肉」、「３０分」、「塩」に置換して、応答文字情報「キノコを使った鶏のキノコ料理はどうかな。調理時間は３０分で、キノコ、鶏肉、塩をセットすればＯＫだよ」を生成する。そして、応答選択部１５３は、応答文字情報に基づく応答音声を、出力部１２０に出力させる。したがって、ユーザは、例えば、「詳しく」との単語を含んで発話することで、情報処理装置１００が詳細な応答を返すように促すことができる。
【０１０３】
［第２の実施形態］
次に、図８〜図１０に基づいて、第２の実施形態について説明する。なお、下記において他の実施形態と同様である点については説明を省略する。
【０１０４】
（情報処理システム１０の構成）
図８は、本実施形態に係る情報処理システム１０の一例を示すブロック図である。図８に例示されるように、情報処理システム１０は、例えば、端末装置２００と、サーバ装置３００とを含む。なお、図８は、本実施形態に係る情報処理システム１０の構成の一例であり、本実施形態に係る情報処理システム１０の構成を限定しない。
【０１０５】
端末装置２００は、発話音声を入力、及び発話音声に対する応答を出力する装置（コンピュータ）である。端末装置２００は、当該処理を実行可能な機器でありさえすれば具体的な機器は限定されず、例えば、家電機器（調理機器など）、スマートフォン、タブレット、その他の任意のコンピュータであってもよい。
【０１０６】
サーバ装置３００は、端末装置２００に入力された発話音声に対する、応答方法と応答情報とを決定する情報処理装置（コンピュータ）である。サーバ装置３００は、決定された応答方法と応答情報とを、端末装置２００に送信する。
【０１０７】
サーバ装置３００は、ネットワーク４００を介して端末装置２００と通信可能に接続する。ネットワーク４００は、例えば、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）等である。
【０１０８】
（端末装置２００の構成）
次に、端末装置２００について詳細に説明する。
【０１０９】
図９は、端末装置２００の機能構成の一例を示すブロック図である。端末装置２００は、以下で説明する処理を含むプログラムを実行可能なコンピュータである。端末装置２００は、例えば、通信部２１０と、音声取得部２２０と、出力部２３０と、報知部２４０、制御部２５０とを含む。なお、図９は、端末装置２００の一例であり、端末装置２００の構成に限定しない。例えば、端末装置２００は、情報を記憶する記憶部（不図示）を含んでもよい。
【０１１０】
通信部２１０は、サーバ装置３００と通信する。通信部２１０は、例えば、ＮＩＣ等により実現される。通信部２１０は、例えば、ＷＡＮ、ＬＡＮ等を介して、サーバ装置３００と通信する。
【０１１１】
音声取得部２２０は、ユーザによる発話音声を入力として取得する。出力部２３０は、発話音声に対する応答を出力する。
【０１１２】
音声取得部２２０は、入力された発話音声を、通信部２１０を介してサーバ装置３００に送信する。または、音声取得部２２０は、例えば、端末装置２００を識別する情報と、音声取得部２２０に入力された発話音声とを関連付けて、通信部２１０を介してサーバ装置３００に送信する。さらに、通信部２１０は、サーバ装置３００から、応答方法を示す情報と応答情報とを受信する。なお、音声取得部２２０、出力部２３０、報知部２４０に関して、音声取得部１１０、出力部１２０、報知部１３０と同様である点については、詳細な説明を省略する。
【０１１３】
制御部２５０は、端末装置２００の全体を制御する。制御部２５０は、ＣＰＵ等のプロセッサにより実現される。例えば、プロセッサは、記憶部（不図示）に格納されたプログラムを読み出し、実行することで、制御部２５０として動作する。
【０１１４】
制御部２５０は、通信部２１０が受信した応答方法を示す情報に基づいて、応答方法を決定する。そして、制御部２５０は、決定された応答方法により応答情報を出力する。
【０１１５】
または、通信部２１０が、応答文字情報を含む応答情報をサーバ装置３００から受信した場合、制御部２５０は、通信部２１０が受信した応答情報に含まれる応答文字情報に基づいて、音声（応答音声）を合成してもよい。その場合、制御部２５０は、合成された音声（応答音声）を、出力部２３０から出力させる。
【０１１６】
なお、端末装置２００は、ユーザの操作を受け付ける入力部（不図示）を備えてもよい。そして、制御部２５０は、入力部（不図示）に対するユーザの操作に基づいて、音声（応答音声）の出力を取消（キャンセル）してもよい。その場合、制御部２５０は、音声（応答音声）の出力を取消したことを示す情報と、端末装置２００を識別する情報とを、サーバ装置３００に送信する。
【０１１７】
（サーバ装置３００の構成）
次に、サーバ装置３００について詳細に説明する。
【０１１８】
図１０は、サーバ装置３００の機能構成の一例を示すブロック図である。サーバ装置３００は、以下で説明する処理を含むプログラムを実行可能な装置（コンピュータ）である。サーバ装置３００は、例えば、記憶部３１０、通信部３２０、制御部３３０などを備えることできる。ここで、制御部３３０は、例えば、特徴抽出部３３１、時間決定部３３２、応答選択部３３３、状態制御部３３４などを含むことができる。特徴抽出部３３１、時間決定部３３２と、応答選択部３３３、状態制御部３３４は、上記の特徴抽出部１５１、時間決定部１５２、応答選択部１５３、状態制御部１５４と同様であるため、詳細な説明を省略する。なお、図１０は、サーバ装置３００の一例であり、サーバ装置３００の構成を図１０に示す構成に限定しない。
【０１１９】
記憶部３１０は、任意の記録媒体によって構成される記憶モジュールである。なお、図１０は、サーバ装置３００が記憶部３１０を備えた構成を例示している。しかし、記憶部３１０は、サーバ装置３００と通信可能に接続された外部の記憶装置であってもよい。
【０１２０】
通信部３２０は、端末装置２００と通信する。通信部３２０は、例えば、ＮＩＣ（Network Interface Card）等により実現される。通信部３２０は、例えば、ＷＡＮ、ＬＡＮ等を介して、端末装置２００と通信する。具体的には、通信部３２０は、端末装置２００から送信された発話音声を受信する。通信部３２０は、受信した発話音声を、制御部３３０に出力する。また、応答選択部３３３は、決定された応答方法を示す情報と応答情報とを、通信部３２０を介して、端末装置２００に送信する。
【０１２１】
制御部３３０は、サーバ装置３００の全体を制御する。制御部３３０は、ＣＰＵ（Central Processing Unit）等のプロセッサにより実現される。例えば、プロセッサは、記憶部３１０に格納されたプログラムを読み出し、実行することで、制御部３３０として動作する。
【０１２２】
応答選択部３３３は、端末装置２００を識別する情報と、音声（応答音声）の出力の取消に関する履歴（例えば、応答の出力が取消された回数）とを関連付けて、記憶部３１０に格納してもよい。そして、応答選択部３３３は、一の端末装置２００に関連付けられた音声（応答音声）の出力の取消に関する履歴に基づいて、当該一の端末装置２００に対応する応答方法を、音声出力から表示に変更してもよい。例えば、応答選択部３３３は、所定の期間内に、一の端末装置２００に関連付けられた、音声（応答音声）の出力が取消された回数が所定の回数を超える場合、当該一の端末装置２００に対応する応答方法を音声出力から表示に変更する。そして、応答選択部３３３は、当該一の端末装置２００に対応する応答情報を決定した場合、応答情報と応答方法「表示」を示す情報とを、当該一の端末装置２００に送信する。
【０１２３】
なお、上記の説明では、サーバ装置３００が応答音声を制御する形態について説明した。しかし、これは、サーバ装置３００が応答音声を制御する形態に限定しない。例えば、端末装置２００が、発話音声に基づいて応答音声の長さを決定し、応答音声を合成してもよい。
【０１２４】
上述の実施形態は、以下の形態のように記載してもよいが、以下に限定されない。
【０１２５】
（形態１）ユーザによる発話音声を入力として取得する取得部と、前記発話音声から特徴を抽出する特徴抽出部と、前記発話音声が取得されてから前記発話音声に対する応答を出力するまでの時間を、前記発話音声が入力された時点で、前記抽出された特徴に応じて決定する時間決定部と、記憶部に格納された応答リストを参照し、前記決定された時間に対応する前記応答を選択する応答選択部と、前記選択された応答を出力する出力部と、前記応答が出力された後、動作モードを出力状態から待機状態に遷移させる状態制御部と、を備える情報処理装置。
【０１２６】
（形態２）前記応答選択部は、前記抽出された特徴に応じて、前記応答の情報量を変更する、形態１に記載の情報処理装置。
【０１２７】
（形態３）前記出力部は、前記抽出された特徴に応じて、音声、文字、及び画像の少なくともいずれかにより、前記応答を出力する、形態１又は２に記載の情報処理装置。
【０１２８】
（形態４）前記出力部は、文字及び画像の少なくともいずれかと、音声とにより前記応答を出力する場合、文字及び画像の少なくともいずれかによる情報量が音声による情報量に比べて大きい前記応答を出力する、形態３に記載の情報処理装置。
【０１２９】
（形態５）前記出力部は、音声により前記応答を出力する場合、前記発話音声が入力されてから前記応答を出力するまでの時間が長いほど、情報量が大きい前記応答を出力する、形態３又は４に記載の情報処理装置。
【０１３０】
（形態６）前記出力部は、音声による出力が取り消されると、文字及び画像の少なくともいずれかにより前記応答を出力する、形態３〜５のいずれか１項に記載の情報処理装置。
【０１３１】
（形態７）前記取得部からの入力が可能であることを報知する、報知部を更に備える、形態１〜６のいずれか１項に記載の情報処理装置。
【０１３２】
（形態８）前記取得部は、前記待機状態を開始後、前記発話音声とは異なる、新たな発話音声を入力として取得し、前記応答制御部は、前記新たな発話音声を取得してから前記新たな発話音声に対する新たな応答を出力するまで、前記取得部からの入力を不可とする時間を、前記新たな発話音声が入力された時点で、前記新たな発話音声から抽出された特徴に応じて決定する、形態１〜７のいずれか１項に記載の情報処理装置。
【０１３３】
（形態９）端末装置と、前記端末装置と通信可能に接続されたサーバ装置と、を含んで構成され、前記端末装置は、ユーザによる発話音声を入力として取得し、前記入力された発話音声を、前記サーバ装置に送信する取得部と、前記発話音声に対する、前記サーバ装置から受信した応答を出力する出力部と、を備え、前記サーバ装置は、前記端末装置から受信した発話音声から特徴を抽出する特徴抽出部と、前記発話音声が入力されてから前記応答を出力するまでの時間を、前記発話音声が入力された時点で、前記抽出された特徴に応じて決定する時間決定部と、記憶部に格納された応答リストを参照し、前記決定された時間に対応する前記応答を選択する応答選択部と、前記選択された応答を、前記端末装置に送信する通信部と、前記端末装置から前記応答が出力された後、動作モードを出力状態から待機状態に遷移させる状態制御部と、を備える、情報処理システム。
【０１３４】
（形態１０）メモリとコントローラとを備える情報処理装置であって、前記コントローラが、ユーザによる発話音声を入力として取得し、前記取得した発話音声を前記メモリに記憶し、前記発話音声から特徴を抽出し、前記発話音声が取得されてから前記発話音声に対する応答を出力するまでの時間を、前記発話音声が入力された時点で、前記抽出された特徴に応じて決定し、記憶部に格納された応答リストを参照し、前記決定された時間に対応する前記応答を選択し、前記選択された応答を出力し、前記応答が出力された後、動作モードを出力状態から待機状態に遷移させる、前記情報処理装置の制御方法。
【０１３５】
（形態１１）ユーザによる発話音声を入力として取得する処理と、前記発話音声から特徴を抽出する処理と、前記発話音声が取得されてから前記発話音声に対する応答を出力するまでの時間を、前記発話音声が入力された時点で、前記抽出された特徴に応じて決定する処理と、記憶部に格納された応答リストを参照し、前記決定された時間に対応する前記応答を選択する処理と、前記選択された応答を出力する処理と、前記応答が出力された後、動作モードを出力状態から待機状態に遷移させる処理と、を情報処理装置を制御するコンピュータに実行させるプログラムを格納する記録媒体。
【０１３６】
本発明は、上記実施形態に限定されるものではなく、上記実施形態で示した構成と実質的に同一の構成、同一の作用効果を奏する構成又は同一の目的を達成することができる構成で置き換えてもよい。なお、上記プログラムは、コンピュータが読み取り可能な記憶媒体に記憶することができる。記憶媒体は、半導体メモリ、ハードディスク、磁気記録媒体、光記録媒体等の非トランジェント（non-transient）とすることができる。本発明は、コンピュータプログラム製品として具現することができる。
【符号の説明】
【０１３７】
１００  情報処理装置、１１０  音声取得部、１２０  出力部、１３０  報知部、１４０  記憶部、１５０  制御部、１５１  特徴抽出部、１５２  時間決定部、１５３  応答選択部、１５４  状態制御部、２００  端末装置、２１０  通信部、２２０  音声取得部、２３０  出力部、２４０  報知部、２５０  制御部、３００  サーバ装置、３１０  記憶部、３２０  通信部、３３０  制御部、３３１  特徴抽出部、３３２  時間決定部、３３３  応答選択部、３３４  状態制御部、４００  ネットワーク、１４０１  テンプレートテキストデータベース、１４０２  キーワードデータベース、１４０３  応答パターンデータベース、１４０４  応答規則データベース、１４０５  コンテンツデータベース
【図１】
2020184183.tif 000003
【図２】
2020184183.tif 000004
【図３】
2020184183.tif 000005
【図４】
2020184183.tif 000006
【図５】
2020184183.tif 000007
【図６】
2020184183.tif 000008
【図７】
2020184183.tif 000009
【図８】
2020184183.tif 000010
【図９】
2020184183.tif 000011
【図１０】
2020184183.tif 000012