(57)【要約】【課題】ユーザによる音声入力のための発話中に、誤って手操作入力が行われることを防ぐ。【解決手段】ユーザに対する選択画面（３３）を表示部（１８）に表示させている状況において、音声情報取得部（１２）が取得した音声情報がユーザによる発話開始を示している場合、当該選択画面（３３）を介したユーザによる選択を無効化する。【選択図】図１
2020077996.tif 000002
【特許請求の範囲】
【請求項１】
音声情報取得部と、制御部とを備えている情報処理装置において、
上記制御部は、
ユーザに対する選択画面を表示部に表示させている状況において、上記音声情報取得部が取得した音声情報がユーザによる発話開始を示している場合、当該選択画面を介したユーザによる選択を無効化する
ことを特徴とする情報処理装置。
【請求項２】
上記音声情報取得部が取得した音声情報を他の情報処理装置に送信する通信部を備え、
上記制御部は、
上記選択画面を介したユーザによる選択を無効化した後、上記通信部を介して上記他の情報処理装置から、上記音声情報がノイズであることを示す判定結果を受信した場合に、上記選択画面を介したユーザによる選択を有効化する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
上記制御部は、
上記選択画面を介したユーザによる選択を無効化した後、上記通信部を介して上記他の情報処理装置から、上記音声情報に応じた応答を受信した場合に、上記応答をユーザに提示し、上記選択画面を介したユーザによる選択を有効化する
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
上記制御部は、
上記音声情報取得部が取得した音声情報がユーザによる発話開始を示している場合、上記通信部を介した上記音声情報の上記他の情報処理装置に対する送信を開始し、当該音声情報がユーザによる発話終了を示している場合、上記通信部を介した上記音声情報の上記他の情報処理装置に対する送信を終了することを特徴とする請求項２又は３に記載の情報処理装置。
【請求項５】
表示部にユーザに対する選択画面が表示されている状況において、
ユーザによる発話に基づく音声情報を取得するステップと、
取得した上記音声情報がユーザによる発話開始を示している場合、上記選択画面を介したユーザによる選択を無効化するステップと、を含む
ことを特徴とする情報処理方法。
【請求項６】
請求項１に記載の情報処理装置としてコンピュータを機能させるためのプログラムであって、上記音声情報取得部、および上記制御部としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、音声入力、および手操作入力を含む複数の入力手段を有するシステムが知られている。これらのシステムでは、手操作入力を受け付けると、音声入力の機能を中断することで、手動操作によるノイズで音声入力の精度が低下するのを回避している。また、これらのシステムにおいて、音声入力の機能を中断した後、音声入力機能の再起動のためのユーザ操作を必要とせず、所定時間経過後に音声入力の機能を再び自動的に起動させる技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１１２１２９号公報（２０１４年６月１９日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述のような従来技術は、手操作入力を受け付けると、音声入力の機能を中断するものであるが、音声入力中に手操作入力が行われた場合については考慮されていない。音声入力は、ユーザが発話を開始してから発話が終了するまである程度の時間が必要となるため、音声入力が確定するまでには少し時間がかかる。このため、ユーザが音声入力のための発話中に誤って、例えばタッチパネルの画面上の操作ボタンを触ってしまった場合には、手操作入力が優先されて処理され、意図しない入力が受け付けられてしまう場合がある。
【０００５】
本発明の一態様は、上述した事情に鑑みてなされたものであり、ユーザによる音声入力のための発話中に、誤って手操作入力が行われることを防ぐ技術を実現することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の一態様に係る情報処理装置は、音声情報取得部と、制御部とを備えている情報処理装置において、上記制御部は、ユーザに対する選択画面を表示部に表示させている状況において、上記音声情報取得部が取得した音声情報がユーザによる発話開始を示している場合、当該選択画面を介したユーザによる選択を無効化する。
【発明の効果】
【０００７】
本発明の一態様によれば、ユーザによる音声入力のための発話中に、誤って手操作入力が行われることを防ぐことができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態１に係る情報処理装置の要部構成を示すブロック図である。
【図２】発話区間検出のために用いる、音量と時間との関係を示す図である。
【図３】画面の移遷の例を示す図である。
【図４】制御部の処理の流れを示すフローチャートである。
【図５】制御部の処理の流れを示すフローチャートである。
【図６】情報処理装置として利用可能なコンピュータの構成を例示したブロック図である。
【発明を実施するための形態】
【０００９】
〔実施形態１〕
以下、本発明の実施形態１について、詳細に説明する。図１は、本発明の実施形態１に係る端末装置１０（情報処理装置）を含む情報処理システムの概略構成を示すブロック図である。図１に示すように、端末装置１０は、サーバ５０（他の情報処理装置）と通信し、ユーザによる端末装置１０に対する音声入力、及び画面操作入力の少なくともいずれか一方をサーバ５０に送信する。また、端末装置１０は、サーバ５０で処理されたユーザ入力に応じた結果を、サーバ５０から受信して、音声出力、および画面表示の少なくともいずれか一方によりユーザに提示する。
【００１０】
（端末装置１０の構成）
端末装置１０は、制御部２０、通信部１１、音声情報取得部１２、画面操作入力部１３、音声出力部１５、および表示部１８を備えている。
【００１１】
制御部２０は、端末装置１０の各部を統括的に制御する機能を備えた演算装置である。制御部２０は、例えば１つ以上のプロセッサ（例えばＣＰＵなど）が、１つ以上のメモリ（例えばＲＡＭやＲＯＭなど）に記憶されているプログラムを実行することで端末装置１０の各構成要素を制御する。
【００１２】
通信部１１は、サーバ５０を含む他の情報処理装置と通信可能に構成されており、例えばＷｉ−Ｆｉ（登録商標）などの無線通信回路を備えている。
【００１３】
音声情報取得部１２は、周囲の音を集音する例えばマイクロフォン等の集音装置を備え、集音した音から生成される音声情報を取得し、取得した音声情報を制御部２０に提供する。音声情報取得部１２は、集音した音声をＡ／Ｄ変換してデジタルデータとし、制御部２０に提供する。
【００１４】
画面操作入力部１３は、表示部１８の画面上に重畳させて設けられたタッチパネルを備え、タッチパネルにより、画面に表示された操作ボタンに対するユーザのタッチ操作による入力を受け付ける。画面操作入力部１３は、ユーザの画面上のボタンに対するタッチ操作に応じた入力情報を制御部２０に提供する。
【００１５】
音声出力部１５は、音声信号を人の耳が認識できる音波範囲の物理振動に変換して出力する例えばスピーカを備えている。音声出力部１５は、制御部２０によって制御され、通信部１１を介してサーバ５０から取得した音声信号に基づく音を出力する機能を有する。
【００１６】
表示部１８は、制御部２０によって制御され、テキストや画像を画面に表示する。また、表示部１８は、画面上に、１又は複数の操作ボタンを示すテキストや画像を表示する。また、表示部１８は、通信部１１を介してサーバ５０から取得したテキストや画像を画面に表示する。
【００１７】
（制御部２０の構成）
制御部２０は、対話制御部２１、発話区間検出部２２、および表示制御部２３を備えている。
【００１８】
対話制御部２１は、音声情報取得部１２を介して取得した音声入力、または画面操作入力部１３を介して取得した画面に対する手操作入力に応じて、ユーザに提示する情報を制御する。対話制御部２１は、ユーザの発話に係る音声情報を通信部１１を介してサーバ５０に送信する。対話制御部２１は、発話区間検出部２２によって検出されたユーザの発話区間の音声情報を通信部１１を介してサーバ５０に送信する。
【００１９】
また、対話制御部２１は、音声情報取得部１２を介して取得した音声入力、または画面操作入力部１３を介して取得した画面に対する手操作入力に応じて、画面操作入力部１３に対するユーザによる操作を無効化したり、有効化したりする。対話制御部２１は、音声情報取得部１２を介してユーザによる音声入力が行われている間は、画面操作入力部１３に対するユーザによる操作を無効化する。対話制御部２１は、音声情報取得部１２を介したユーザによる音声入力が終了すると、画面操作入力部１３に対するユーザによる操作を有効化する。対話制御部２１は、発話区間検出部２２によるユーザの発話開始と、ユーザの発話終了との検出結果を参照して、画面操作入力部１３に対するユーザによる操作の無効化、および有効化を制御する。
【００２０】
発話区間検出部２２は、音声情報取得部１２から提供された音声情報を参照して、ユーザによる発話区間を検出する。発話区間検出部２２は、所謂ＶＡＤ（Voice Activity Detection）技術を用いて音声情報取得部１２から提供された音声情報を参照して、ユーザによる発話区間を検出する。発話区間検出部２２は、例えば、音声情報取得部１２から提供された音声情報の音量レベルの変化を用いて、ユーザによる発話区間を検出する。
【００２１】
図２は、音声情報取得部１２が取得した音声情報の一例を示すデータであり、音量（ｄＢ）の時間変化を示すデータである。図２に示すように、発話区間検出部２２は、一般的な周囲の騒音の音量に基づいて予め設定された騒音推定レベルの音量値と、騒音推定レベルの音量値からの相対値で予め設定された切出しレベルの音量値と、に基づいて、ユーザが発話中であるか否かを判定する。
【００２２】
発話区間検出部２２は、音声情報取得部１２が取得した音声情報の音量が切出しレベルより高くなった場合に、音声情報がユーザによる発話開始を示していると判定する。また、発話区間検出部２２は、音声情報の音量が切出しレベルより高くなった後、音声情報の音量が切出しレベルより低くなった場合に、音声情報がユーザによる発話終了を示していると判定する。
【００２３】
また、発話区間検出部２２は、音声情報の音量が切出しレベルより高くなった後、所定時間内に再び音声情報の音量が切出しレベルより低くなった場合には、ユーザによる発話中ではないと判定する。これにより、発話区間検出部２２は、周囲のノイズ等による音量変化を、ユーザの発話区間として検出する事がなく、発話区間を適切に検出することができる。
【００２４】
また、発話区間検出部２２は、音声情報がユーザによる発話開始を示し後、音声情報の音量が切出しレベルより低くなっても、所定時間内に再び音声情報の音量が切出しレベルより高くなった場合には、ユーザによる発話中であると判定する。これにより、発話区間検出部２２は、ユーザの発話中に促音、または息継ぎ等で音声が途切れた場合でも、発話区間を適切に検出することができる。
【００２５】
発話区間検出部２２は、ユーザが発話を開始してから発話を終了するまでの発話区間を検出することで、音声情報取得部１２が取得した音声情報における、例えば「ちかくのトイレ」というユーザの音声入力を示す音声情報の範囲を確定させる。
【００２６】
表示制御部２３は、表示部１８に表示する表示内容を制御する。表示制御部２３は、表示部１８に、テキストメッセージ、画像、および画面操作入力部１３に対する操作位置を示す１又は複数の操作ボタン等を表示する。表示制御部２３は、対話制御部２１によって画面操作入力部１３に対するユーザによる操作が無効化されている間は、操作ボタンの明度を低くしたり、透過性を高くしたりするなどの効果を施すことで、操作ボタンが無効化されていることをユーザに示すことができてもよい。
【００２７】
（サーバ５０の構成）
サーバ５０は、サーバ通信部５１と、サーバ制御部６０と、記憶部５５とを備えている。
【００２８】
サーバ通信部５１は、端末装置１０と通信可能に構成されており、例えばＷｉ−Ｆｉ（登録商標）などの無線通信回路を備えている。サーバ５０は、サーバ通信部５１を介して、端末装置１０と通信する。サーバ通信部５１は、端末装置１０の通信部１１から送信される音声情報を受信する。
【００２９】
記憶部５５は、対話シナリオ５６と、画像コンテンツ５７とを記憶している。対話シナリオ５６には、端末装置１０に対するユーザによる音声入力の候補と、各音声入力の候補に対する応答の候補とが対応付けられて記憶されている。画像コンテンツ５７には、端末装置１０に対するユーザによる音声入力の候補と、各音声入力の候補に対してユーザに提示する画像の候補とが対応付けられて記憶されている。
【００３０】
サーバ制御部６０は、サーバ５０の各部を統括的に制御する機能を備えている演算装置である。サーバ制御部６０は、例えば１つ以上のプロセッサ（例えばＣＰＵなど）が、１つ以上のメモリ（例えばＲＡＭやＲＯＭなど）に記憶されているプログラムを実行することでサーバ５０の各構成要素を制御する。
【００３１】
サーバ制御部６０は、発話情報取得部６１と、音声認識部６２と、応答決定部６３と、音声合成部６４と、を備えている。
【００３２】
発話情報取得部６１は、サーバ通信部５１が端末装置１０から受信した音声情報を、ユーザによる発話に係る情報である発話情報として取得する。
【００３３】
音声認識部６２は、サーバ通信部５１を介して端末装置１０から取得した音声情報の音声認識を行う。音声認識部６２は、音声情報の波形データを用いて音声認識を行ってもよい。音声認識部６２は、サーバ通信部５１を介して端末装置１０から取得した音声情報がユーザによる発話に係る音声であるか、またはノイズであるかを判定する。
【００３４】
音声認識部６２は、サーバ通信部５１を介して端末装置１０から取得した音声情報がユーザによる発話に係る音声である場合には、波形データを用いた音声認識により音声情報をテキストに変換する。
【００３５】
音声認識部６２は、サーバ通信部５１を介して端末装置１０から取得した音声情報の音声認識結果が得られなかった場合には、音声情報がノイズであると判定する。音声認識部６２は、音声情報がノイズであると判定した場合には、サーバ通信部５１を介して、音声情報がノイズであることを示す判定結果を端末装置１０に送信する。
【００３６】
応答決定部６３は、音声認識部６２によってテキストに変換されたユーザによる発話に係る情報と、静的または動的なテキスト辞書とのテキストマッチングを用いて、ユーザの発話内容を特定する。応答決定部６３は、従来公知の例えば編集距離等の手法を用いて、ユーザの発話内容を特定する。
【００３７】
応答決定部６３は、特定したユーザの発話内容に対応する応答を、記憶部５５に予め記憶されている対話シナリオ５６を参照して決定する。また、応答決定部６３は、特定したユーザの発話内容に応じて、ユーザに提示する画像を、記憶部５５に予め記憶されている画像コンテンツ５７を参照して決定する。
【００３８】
音声合成部６４は、応答決定部６３によって、対話シナリオ５６を参照して決定された応答のテキストを音声に変換する。
【００３９】
音声合成部６４によって音声合成された応答と、応答決定部６３によって決定された画像コンテンツとは、サーバ通信部５１を介して端末装置１０に送信される。
【００４０】
〔端末装置１０による処理について〕
図３は、ユーザがお手洗いの場所を問う音声入力を行った場合の、端末装置１０の表示部１８の画面遷移の例を示す図である。図３に示すように、音声情報取得部１２、または画面操作入力部１３を介してのユーザからの入力を待つ入力待ち状態では、表示部１８には、表示制御部２３の機能により、ユーザに対するメッセージや画像を表示する提示画面３２と、ユーザによって画面操作入力部１３に対する操作で選択可能に操作ボタンを表示する選択画面３３とが表示されている。
【００４１】
提示画面３２には、例えば「行きたいお店や施設を案内します」というユーザに提示可能なサービスについての情報を示すテキストメッセージが表示される。また、選択画面３３には、ユーザに提示可能な行きたいお店や施設の複数の候補のそれぞれを示す操作ボタンが表示される。
【００４２】
端末装置１０の制御部２０は、表示制御部２３の機能によりユーザに対する選択画面を表示部１８に表示させている状況において、発話区間検出部２２の機能により音声情報取得部１２が取得した音声情報がユーザによる発話区間を示しているか否か継続して監視する。制御部２０は、発話区間検出部２２の機能により音声情報取得部１２が取得した音声情報がユーザによる発話開始を示していることを検出すると、対話制御部２１の機能により画面操作入力部１３に対するユーザ操作を無効化し、表示部１８の選択画面３３を介したユーザによる選択を無効化する。
【００４３】
なお、ユーザによる操作又は選択を無効化する具体的な技術は本実施形態を限定するものではないが、例えば、表示部１８の画面上に重畳させて設けられたタッチパネルに供給する電源を一時的にオフにする、又は、当該タッチパネルから供給される検出信号を制御部２０が一時的に受け付けないなどの方法によって実現することができる。また、制御部２０は、例えば、画面上の操作ボタンの状態を無効化（disabled）状態に変更することで、操作ボタンを選択できない状態とする。これにより、画面上の操作ボタン自体はグレーアウトした状態で表示され、選択できない状態となっていることがユーザにも分かる。
【００４４】
このように、音声情報取得部１２が取得した音声情報がユーザによる発話開始を示している場合、図３に示すように、表示部１８の画面はユーザ操作を無効化した状態となる。ユーザ操作を無効化した状態では、制御部２０は、表示制御部２３の機能により表示部１８の選択画面３３の明度を低くしたり、透過性を高くしたり、操作ボタン自体をグレーアウトした状態とするなどの効果を施すことで操作ボタンが選択不可の状態であることがユーザに示される。
【００４５】
端末装置１０の制御部２０は、発話区間検出部２２の機能によりユーザによる発話開始が検出されると、発話開始が検知された時点からストリーミング的に音声情報取得部１２が取得した音声情報を通信部１１を介してサーバ５０に送信する。また、端末装置１０の制御部２０は、発話区間検出部２２の機能によりユーザによる発話終了が検出されると、すぐに音声情報のサーバ５０に対する送信を終了する。これにより、発話区間検出部２２の機能により検出されたユーザによる発話区間の音声情報であって、音声情報取得部１２が取得した音声情報が通信部１１を介してサーバ５０に送信される。
【００４６】
なお、端末装置１０の制御部２０は、ユーザによる発話開始が検出されてから発話終了が検出されるまでストリーミング式に音声情報をサーバ５０に送信する構成に限らず、発話区間検出部２２の機能により発話区間を検出し、音声情報取得部１２が取得した音声情報がユーザによる発話終了を示している場合、ユーザによる発話区間の音声情報を通信部１１を介してサーバ５０に送信してもよい。
【００４７】
端末装置１０の制御部２０は、ユーザによる発話区間の音声情報を通信部１１を介してサーバ５０に送信した後、表示部１８の選択画面３３を介したユーザによる選択を無効化した状態で、サーバ５０の音声情報に対する応答を通信部１１を介して受信するまで待機する。
【００４８】
端末装置１０の制御部２０は、表示部１８の選択画面３３を介したユーザによる選択を無効化した後、通信部１１を介してサーバ５０から、音声情報がノイズであることを示す判定結果を受信した場合に、選択画面を介したユーザによる選択を有効化する。
【００４９】
また、端末装置１０の制御部２０は、表示部１８の選択画面３３を介したユーザによる選択を無効化した後、通信部１１を介してサーバ５０から、音声情報に応じた応答を受信した場合に、当該応答を音声出力部１５からの音声出力、および表示部１８の表示によりユーザに提示するとともに、表示部１８の選択画面３３を介したユーザによる選択を有効化する。
【００５０】
図３に示したように、例えば、ユーザが、入力待ち状態の端末装置１０に対して、「お手洗いはどこですか？」という音声入力を行った場合、応答提示状態となった端末装置１０の表示部１８には、お手洗いの場所を示す地図画像が表示されるとともに、お手洗いの場所を案内する音声が音声出力部１５から出力される。また、制御部２０は、端末装置１０の表示部１８に表示された「戻る」ボタンのような操作ボタンをユーザにより選択可能な状態とする。
【００５１】
このように、端末装置１０の制御部２０は、ユーザによる発話開始から、ユーザの発話区間、そして発話区間のユーザの発話内容に係る音声情報に応じた応答をユーザに提示するまでの間、表示部１８の選択画面３３を介したユーザによる選択を無効化する。これにより、ユーザが音声入力のための発話中に誤って行った手操作入力が受け付けられてしまうことがない。
【００５２】
〔制御部２０による音声入力の処理の流れについて〕
図４は、ユーザからの音声入力に対する、端末装置１０の制御部２０による処理の流れを示すフローチャートである。
【００５３】
（ステップＳ１）
制御部２０は、発話区間検出部２２の機能により、音声情報取得部１２を介して取得した音声情報がユーザによる発話開始を示しているか否かを継続して監視する。制御部２０は、発話区間検出部２２によってユーザによる発話開始が検出されたと判定すると（ステップＳ１でＹＥＳ）、ステップＳ２に進む。
【００５４】
（ステップＳ２）
制御部２０は、表示部１８の画面上の操作ボタンをユーザによって選択できない状態とする。また、制御部２０は、音声情報取得部１２を介して取得した音声情報の、通信部１１を介したサーバ５０に対する送信を開始する。
【００５５】
（ステップＳ３）
制御部２０は、発話区間検出部２２の機能により、音声情報取得部１２を介して取得した音声情報がユーザによる発話終了を示しているか否かを継続して監視する。制御部２０は、発話区間検出部２２によってユーザによる発話終了が検出されたと判定すると（ステップＳ３でＹＥＳ）、ステップＳ４に進む。
【００５６】
（ステップＳ４）
制御部２０は、音声情報取得部１２を介して取得した音声情報の、通信部１１を介したサーバ５０に対する送信を終了する。
【００５７】
（ステップＳ５）
制御部２０は、サーバ５０から応答を受信するまで待機する。
【００５８】
（ステップＳ６）
制御部２０は、サーバ５０から通信部１１を介して応答を受信すると、当該応答が、音声情報がノイズであることを示す判定結果であるか否かを判定する。制御部２０は、サーバ５０からの応答が音声情報がノイズであることを示す判定結果であると判定すると（ステップＳ６でＹＥＳ）、ステップＳ７に進む。制御部２０は、サーバ５０からの応答が音声情報がノイズであることを示す判定結果ではないと判定すると（ステップＳ６でＮＯ）、ステップＳ８に進む。
【００５９】
（ステップＳ７）
制御部２０は、表示部１８の画面上の操作ボタンをユーザによって選択できる状態に戻し、処理を終了し、再び音声情報取得部１２を介して取得した音声情報がユーザによる発話開始を示しているか否かの監視を開始する。
【００６０】
（ステップＳ８）
制御部２０は、表示部１８の画面を更新し、サーバ５０から受信した応答に係る情報を表示部１８の画面上に表示するとともに、表示部１８の画面上の操作ボタンをユーザによって選択できる状態に戻す。
【００６１】
（ステップＳ９）
制御部２０は、サーバ５０から受信した応答に係る応答音声を音声出力部１５から出力して処理を終了し、再び音声情報取得部１２を介して取得した音声情報がユーザによる発話開始を示しているか否かの監視を開始する。
【００６２】
このように、制御部２０は、ユーザによる発話開始が検出されてから、サーバ５０から受信した応答をユーザに提示するまで、表示部１８の画面上の操作ボタンをユーザによって選択できない状態とする。これにより、ユーザによる音声入力のための発話中に、誤って手操作入力が行われることを防ぐことができる。
【００６３】
〔制御部２０による手操作入力の処理の流れについて〕
図５は、ユーザからの手操入力に対する、端末装置１０の制御部２０による処理の流れを示すフローチャートである。
【００６４】
（ステップＳ１１）
制御部２０は、画面操作入力部１３によってユーザの画面に対する手操作入力が受け付けられたか否かを継続して監視する。制御部２０は、画面操作入力部１３によってユーザの手操作入力が受け付けられたと判定すると（ステップＳ１１でＹＥＳ）、ステップＳ１２に進む。
【００６５】
（ステップＳ１２）
制御部２０は、表示部１８の画面上の操作ボタンをユーザによって選択できない状態とする。
【００６６】
（ステップＳ１３）
制御部２０は、発話区間検出部２２による、音声情報取得部１２を介して取得した音声からユーザによる発話区間を検出する処理を停止する。
【００６７】
（ステップＳ１４）
制御部２０は、画面操作入力部１３に対してユーザが行った手操作入力の内容を通信部１１を介してサーバ５０に送信する。例えば、ユーザによって表示部１８の画面上の操作ボタンが選択された場合には、制御部２０は、選択されたボタンの内容を通信部１１を介してサーバ５０に送信する。
【００６８】
（ステップＳ１５）
制御部２０は、サーバ５０から応答を受信するまで待機する。
【００６９】
（ステップＳ１６）
制御部２０は、サーバ５０から通信部１１を介して応答を受信すると、表示部１８の画面を更新し、サーバ５０から受信した応答に係る情報を表示部１８の画面上に表示するとともに、表示部１８の画面上の操作ボタンをユーザによって選択できる状態に戻す。
【００７０】
（ステップＳ１７）
制御部２０は、サーバ５０から受信した応答に係る応答音声を音声出力部１５から出力して処理を終了し、再び画面操作入力部１３によってユーザの画面に対する手操作入力が受け付けられたか否かの監視を開始する。
【００７１】
このように、制御部２０は、ユーザによる手操作入力を受け付けてから、サーバ５０から受信した応答をユーザに提示するまで、表示部１８の画面上の操作ボタンをユーザによって選択できない状態とするとともに、音声入力の検出を停止する。これにより、ユーザによる手操作入力に応じた処理を終了するまで、他の手操作入力、または音声入力が誤って行われることを防ぐことができる。
【００７２】
〔実施形態２〕
上記実施形態１では、１つのサーバ５０を用いる例を説明したが、サーバ５０の有する各機能が、個別のサーバにて実現されていてもよい。そして、複数のサーバを適用する場合においては、各サーバは、同じ事業者によって管理されていてもよいし、異なる事業者によって管理されていてもよい。
【００７３】
〔実施形態３〕
端末装置１０およびサーバ５０の各ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。後者の場合、端末装置１０およびサーバ５０のそれぞれを、図６に示すようなコンピュータ（電子計算機）を用いて構成することができる。
【００７４】
図６は、端末装置１０およびサーバ５０として利用可能なコンピュータ９１０の構成を例示したブロック図である。コンピュータ９１０は、バス９１１を介して互いに接続された演算装置９１２と、主記憶装置９１３と、補助記憶装置９１４と、入出力インターフェース９１５と、通信インターフェース９１６とを備えている。演算装置９１２、主記憶装置９１３、および補助記憶装置９１４は、それぞれ、例えばプロセッサ（例えばＣＰＵ：Central Processing Unit等）、ＲＡＭ（random access memory）、ハードディスクドライブであってもよい。入出力インターフェース９１５には、ユーザがコンピュータ９１０に各種情報を入力するための入力装置９２０、および、コンピュータ９１０がユーザに各種情報を出力するための出力装置９３０が接続される。入力装置９２０および出力装置９３０は、コンピュータ９１０に内蔵されたものであってもよいし、コンピュータ９１０に接続された（外付けされた）ものであってもよい。例えば、入力装置９２０は、キーボード、マウス、タッチセンサなどであってもよく、出力装置９３０は、ディスプレイ、プリンタ、スピーカなどであってもよい。また、タッチセンサとディスプレイとが一体化されたタッチパネルのような、入力装置９２０および出力装置９３０の双方の機能を有する装置を適用してもよい。そして、通信インターフェース９１６は、コンピュータ９１０が外部の装置と通信するためのインターフェースである。
【００７５】
補助記憶装置９１４には、コンピュータ９１０を端末装置１０およびサーバ５０として動作させるための各種のプログラムが格納されている。そして、演算装置９１２は、補助記憶装置９１４に格納された上記プログラムを主記憶装置９１３上に展開して該プログラムに含まれる命令を実行することによって、コンピュータ９１０を、端末装置１０またはサーバ５０が備える各部として機能させる。なお、補助記憶装置９１４が備える、プログラム等の情報を記録する記録媒体は、コンピュータ読み取り可能な「一時的でない有形の媒体」であればよく、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブル論理回路などであってもよい。また、記録媒体に記録されているプログラムを、主記憶装置９１３上に展開することなく実行可能なコンピュータであれば、主記憶装置９１３を省略してもよい。なお、上記各装置（演算装置９１２、主記憶装置９１３、補助記憶装置９１４、入出力インターフェース９１５、通信インターフェース９１６、入力装置９２０、および出力装置９３０）は、それぞれ１つであってもよいし、複数であってもよい。
【００７６】
また、上記プログラムは、コンピュータ９１０の外部から取得してもよく、この場合、任意の伝送媒体（通信ネットワークや放送波等）を介して取得してもよい。そして、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【００７７】
〔まとめ〕
本発明の態様１に係る端末装置（１０）（情報処理装置）は、音声情報取得部（１２）と、制御部（２０）とを備えている端末装置１０において、上記制御部（２０）は、ユーザに対する選択画面（３３）を表示部（１８）に表示させている状況において、上記音声情報取得部（１２）が取得した音声情報がユーザによる発話開始を示している場合、当該選択画面（３３）を介したユーザによる選択を無効化する構成である。
【００７８】
上記の構成によれば、ユーザが音声入力のための発話中に誤って、例えばタッチパネルの画面上の操作ボタンを触ってしまった場合であっても、意図しない入力が受け付けられてしまうことがない。よって、ユーザによる音声入力のための発話中に、誤って手操作入力が行われることを防ぐことができる。
【００７９】
本発明の態様２に係る端末装置（１０）は、上記の態様１において、上記音声情報取得部（１２）が取得した音声情報をサーバ（５０）（他の情報処理装置）に送信する通信部（１１）を備え、上記制御部（２０）は、上記選択画面（３３）を介したユーザによる選択を無効化した後、上記通信部（１１）を介して上記サーバ（５０）から、上記音声情報がノイズであることを示す判定結果を受信した場合に、上記選択画面（３３）を介したユーザによる選択を有効化する構成としてもよい。
【００８０】
上記の構成によれば、サーバ（５０）から、上記音声情報がノイズであることを示す判定結果を受信した場合には、自動で選択画面（３３）を介したユーザによる選択を有効化することができる。これにより、ユーザは、選択画面（３３）を介したユーザによる選択を有効化するための操作を別途行う必要がなく、ユーザの操作性が向上する。
【００８１】
本発明の態様３に係る端末装置（１０）は、上記の態様２において、上記制御部（２０）は、上記選択画面（３３）を介したユーザによる選択を無効化した後、上記通信部（１１）を介して上記サーバ（５０）から、上記音声情報に応じた応答を受信した場合に、上記応答をユーザに提示し、上記選択画面（３３）を介したユーザによる選択を有効化する構成としてもよい。
【００８２】
上記の構成によれば、サーバ（５０）から受信した応答をユーザに提示するとともに、自動で選択画面（３３）を介したユーザによる選択を有効化することができる。これにより、ユーザは、選択画面（３３）を介したユーザによる選択を有効化するための操作を別途行う必要がなく、ユーザの操作性が向上する。
【００８３】
本発明の態様４に係る端末装置（１０）は、上記の態様２又は３において、上記制御部（２０）は、上記音声情報取得部（１２）が取得した音声情報がユーザによる発話開始を示している場合、上記通信部（１１）を介した上記音声情報の上記サーバ（５０）に対する送信を開始し、当該音声情報がユーザによる発話終了を示している場合、上記通信部（１１）を介した上記音声情報の上記サーバ（５０）に対する送信を終了する構成としてもよい。
【００８４】
上記の構成によれば、ユーザによる発話区間の音声情報をストリーミング形式でサーバ（５０）に順次送信することができ、ユーザによる音声入力の内容を適切にサーバ（５０）に送信することができる。また、音声入力された内容を認識する処理、音声入力された内容に対する応答を決定する処理、および応答に係る音声を合成する処理をサーバ（５０）で行う構成であるため、様々なバリエーションンの対話シナリオに対応することができ、精度良く、且つ高速にユーザの入力内容に応じた応答をユーザに提示することができる。
【００８５】
本発明の各態様に係る端末装置１０は、コンピュータによって実現してもよく、この場合には、コンピュータを上記端末装置１０が備える各部（ソフトウェア要素）として動作させることにより上記端末装置１０をコンピュータにて実現させる端末装置１０の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【００８６】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【符号の説明】
【００８７】
１０  端末装置（情報処理装置）
１１  通信部
１２  音声情報取得部
１３  画面操作入力部
１８  表示部
１５  音声出力部
２０  制御部
２１  対話制御部
２２  発話区間検出部
２３  表示制御部
３３  選択画面
５０  サーバ（他の情報処理装置）
【図１】
2020077996.tif 000003
【図２】
2020077996.tif 000004
【図３】
2020077996.tif 000005
【図４】
2020077996.tif 000006
【図５】
2020077996.tif 000007
【図６】
2020077996.tif 000008