(57)【要約】【課題】対話型のインタフェースを介する処理を改善すること。【解決手段】１つの態様において、電子機器（例えば、スマートフォン１）は、マイクと、前記マイクを介して入力される音声に基づく音声制御を実行するコントローラとを有し、前記コントローラは、前記音声制御によって選択されるアプリケーションの入力フィールドに挿入する文字列の音声入力を、前記音声制御により終了させる。すなわち、電子機器（例えば、スマートフォン１）は、対話型のインタフェースを介する音声制御のみによって、アプリケーションの所定の入力フィールドに対する長文の入力開始及び入力終了を実現する。【選択図】図１
2014225796.tif 000002
【特許請求の範囲】
【請求項１】
マイクと、
前記マイクを介して入力される音声に基づく音声制御を実行するコントローラと
を有し、
前記コントローラは、前記音声制御によって選択されるアプリケーションの入力フィールドに挿入する文字列の音声入力を、前記音声制御により終了させる電子機器。
【請求項２】
前記コントローラは、前記音声入力を終了すると、前記入力フィールドに前記文字列を挿入する請求項１に記載の電子機器。
【請求項３】
マイクを有する電子機器を制御する制御方法であって、
前記マイクを介して入力される音声に基づく音声制御を実行するステップと、
前記音声制御によって選択されるアプリケーションの入力フィールドに挿入する文字列の音声入力を、前記音声制御により終了させるステップと
を含む制御方法。
【請求項４】
マイクを有する電子機器に、
前記マイクを介して入力される音声に基づく音声制御を実行するステップと、
前記音声制御によって選択されるアプリケーションの入力フィールドに挿入する文字列の音声入力を、前記音声制御により終了させるステップと
を実行させる制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、電子機器、制御方法、及び制御プログラムに関する。
【背景技術】
【０００２】
タッチスクリーンを備えるタッチスクリーンデバイスが知られている。タッチスクリーンデバイスは、例えば、携帯電話、スマートフォン及びタブレットなどの電子機器を含むが、これらに限定されない。タッチスクリーンデバイスは、タッチスクリーンを介して指、ペン、又はスタイラスペンのジェスチャを検出する。タッチスクリーンデバイスは、検出したジェスチャに従って動作する。検出したジェスチャに従った動作の例は、例えば、特許文献１に記載されている。
【０００３】
タッチスクリーンデバイスの基本的な動作は、デバイスに搭載されるＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）によって実現される。タッチスクリーンデバイスに搭載されるＯＳは、例えば、Ａｎｄｒｏｉｄ（登録商標）、ＢｌａｃｋＢｅｒｒｙ（登録商標）  ＯＳ、ｉＯＳ、Ｓｙｍｂｉａｎ（登録商標）  ＯＳ、及びＷｉｎｄｏｗｓ（登録商標）  Ｐｈｏｎｅを含むが、これらに限定されない。
【０００４】
近年、上記電子機器の中に、ジェスチャによる操作だけでなく、音声入力により操作を可能にする対話型のインタフェースを備えるものが普及しはじめている。これらの電子機器は、音声により、例えば、アプリケーションの起動、インターネット検索などの操作を実現する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第２００８／０８６３０２号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
対話型のインタフェースを備える電子機器には、対話型のインタフェースを介する処理に改善の余地がある。
【課題を解決するための手段】
【０００７】
１つの態様に係る電子機器は、マイクと、前記マイクを介して入力される音声に基づく音声制御を実行するコントローラとを有し、前記コントローラは、前記音声制御によって選択されるアプリケーションの入力フィールドに挿入する文字列の音声入力を、前記音声制御により終了させる。
【０００８】
１つの態様に係る制御方法は、マイクを有する電子機器を制御する制御方法であって、前記マイクを介して入力される音声に基づく音声制御を実行するステップと、前記音声制御によって選択されるアプリケーションの入力フィールドに挿入する文字列の音声入力を、前記音声制御により終了させるステップとを含む。
【０００９】
１つの態様に係る制御プログラムは、マイクを有する電子機器に、前記マイクを介して入力される音声に基づく音声制御を実行するステップと、前記音声制御によって選択されるアプリケーションの入力フィールドに挿入する文字列の音声入力を、前記音声制御により終了させるステップとを実行させる。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施形態に係るスマートフォンのブロック図である。
【図２】図２は、所定のキーワードの検出により、メールアプリケーションの本文のフィールドへの音声入力を終了する場合の処理の一例を示す図である。
【図３】図３は、所定のキーワードの検出により、メールアプリケーションの本文のフィールドへの音声入力を終了する場合の処理の一例を示す図である。
【図４】図４は、所定のキーワードの検出により、メールアプリケーションの本文のフィールドへの音声入力を終了する場合の処理の他の例を示す図である。
【図５】図５は、所定のキーワードの検出により、メールアプリケーションの本文のフィールドへの音声入力を終了する場合の処理の他の例を示す図である。
【図６】図６は、音声の入力回数が閾値以上である場合に、メールアプリケーションの本文のフィールドへの音声入力を終了する場合の処理の例を示す図である。
【図７】図７は、音声の入力回数が閾値以上である場合に、メールアプリケーションの本文のフィールドへの音声入力を終了する場合の処理の例を示す図である。
【図８】図８は、実施形態に係るスマートフォンによる処理手順の一例を示すフローチャートである。
【図９】図９は、実施形態に係るスマートフォンによる処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
本出願に係る電子機器、制御方法、及び制御プログラムを実施するための実施形態を、図面を参照しつつ詳細に説明する。以下では、電子機器の一例として、スマートフォンを取り上げて説明する。
【００１２】
（実施形態）
図１を参照しながら、実施形態に係るスマートフォン１の機能的な構成について説明する。図１は、実施形態に係るスマートフォンのブロック図である。以下の説明においては、同様の構成要素に同一の符号を付すことがある。重複する説明は省略することがある。
【００１３】
図１に示すように、スマートフォン１は、タッチスクリーンディスプレイ２と、ボタン３と、照度センサ４と、近接センサ５と、通信ユニット６と、レシーバ７と、マイク８と、ストレージ９と、コントローラ１０と、スピーカ１１と、カメラ１２と、姿勢検出ユニット１５と、バイブレータ１８とを備える。
【００１４】
タッチスクリーンディスプレイ２は、ディスプレイ２Ａと、タッチスクリーン２Ｂとを有する。ディスプレイ２Ａ及びタッチスクリーン２Ｂは、例えば、重ねて配置されてもよいし、並べて配置されてもよいし、離して配置されてもよい。ディスプレイ２Ａとタッチスクリーン２Ｂとが重ねて配置される場合、例えば、ディスプレイ２Ａの１ないし複数の辺がタッチスクリーン２Ｂのいずれの辺とも沿っていなくてもよい。
【００１５】
ディスプレイ２Ａは、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、有機ＥＬディスプレイ（ＯＥＬＤ：Ｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ  Ｄｉｓｐｌａｙ）、又は無機ＥＬディスプレイ（ＩＥＬＤ：Ｉｎｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ  Ｄｉｓｐｌａｙ）等の表示デバイスを備える。ディスプレイ２Ａは、文字、画像、記号、及び図形等を表示する。ディスプレイ２Ａが表示する文字、画像、記号、及び図形等を含む画面には、ロック画面と呼ばれる画面、及びホーム画面と呼ばれる画面が含まれる。ホーム画面は、デスクトップ、待受画面、アイドル画面又は標準画面と呼ばれることもある。
【００１６】
タッチスクリーン２Ｂは、タッチスクリーン２Ｂに対する指、ペン、又はスタイラスペン等の接触を検出する。タッチスクリーン２Ｂは、複数の指、ペン、又はスタイラスペン等（以下、単に「指」という）がタッチスクリーン２Ｂに接触した位置を検出することができる。タッチスクリーン２Ｂは、タッチスクリーン２Ｂ（タッチスクリーンディスプレイ２）に対する指の接触を、接触された場所のタッチスクリーンディスプレイ２上での位置とともに、コントローラ１０に通知する。
【００１７】
タッチスクリーン２Ｂの検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式（又は超音波方式）、赤外線方式、電磁誘導方式、及び荷重検出方式等の任意の方式でよい。以下の説明では、説明を簡単にするため、利用者はスマートフォン１を操作するために指を用いてタッチスクリーン２Ｂに接触するものと想定する。
【００１８】
コントローラ１０（スマートフォン１）は、タッチスクリーン２Ｂにより検出された接触、接触が検出された位置、接触が検出された位置の変化、接触が検出された間隔、及び接触が検出された回数の少なくとも１つに基づいて、ジェスチャの種別を判別する。ジェスチャは、指を用いて、タッチスクリーン２Ｂ（タッチスクリーンディスプレイ２）に対して行われる操作である。コントローラ１０（スマートフォン１）が、タッチスクリーン２Ｂを介して判別するジェスチャには、例えば、タッチ、ロングタッチ、リリース、スワイプ、タップ、ダブルタップ、ロングタップ、ドラッグ、フリック、ピンチイン、及びピンチアウトが含まれるがこれらに限定されない。
【００１９】
ボタン３は、利用者からの操作入力を受け付ける。ボタン３の数は、単数であっても、複数であってもよい。
【００２０】
照度センサ４は、スマートフォン１の周囲光の照度を検出する。照度は、光の強さ、明るさ、又は輝度を示す。照度センサ４は、例えば、ディスプレイ２の輝度の調整に用いられる。
【００２１】
近接センサ５は、近隣の物体の存在を非接触で検出する。近接センサ５は、磁界の変化又は超音波の反射波の帰還時間の変化等に基づいて物体の存在を検出する。近接センサ５は、例えば、ディスプレイ２が顔に近づけられたことを検出する。照度センサ４及び近接センサ５は、１つのセンサとして構成されていてもよい。照度センサ４は、近接センサとして用いられてもよい。
【００２２】
通信ユニット６は、無線により通信する。通信ユニット６によってサポートされる無線通信規格には、例えば、２Ｇ、３Ｇ、４Ｇ等のセルラーフォンの通信規格と、近距離無線の通信規格がある。セルラーフォンの通信規格としては、例えば、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ  Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ  Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ  ｆｏｒ  Ｍｉｃｒｏｗａｖｅ  Ａｃｃｅｓｓ）、ＣＤＭＡ２０００、ＰＤＣ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ｃｅｌｌｕｌａｒ）、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍｏｂｉｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＰＨＳ（Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙ−ｐｈｏｎｅ  Ｓｙｓｔｅｍ）等がある。近距離無線の通信規格としては、例えば、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ  Ｄａｔａ  Ａｓｓｏｃｉａｔｉｏｎ）、ＮＦＣ（Ｎｅａｒ  Ｆｉｅｌｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＷＰＡＮ（Ｗｉｒｅｌｅｓｓ  Ｐｅｒｓｏｎａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等がある。ＷＰＡＮの通信規格には、例えば、ＺｉｇＢｅｅ（登録商標）がある。通信ユニット６は、上述した通信規格の１つ又は複数をサポートしていてもよい。
【００２３】
通信ユニット６は、ＧＰＳ衛星からの所定の周波数帯の電波信号を受信し、受信した電波信号の復調処理を行って、処理後の信号をコントローラ１０に送出する。スマートフォン１は、ＧＰＳ衛星との通信機能を通信ユニット６から分散させて、通信ユニット６から独立した個別の通信部を設けてもよい。
【００２４】
レシーバ７は、音出力部である。レシーバ７は、コントローラ１０から送信される音信号を音として出力する。レシーバ７は、例えば、通話時に相手の声を出力するために用いられる。マイク８は、音入力部である。マイク８は、利用者の音声等を音信号へ変換してコントローラ１０へ送信する。
【００２５】
ストレージ９は、プログラム及びデータを記憶する。ストレージ９は、コントローラ１０の処理結果を一時的に記憶する作業領域としても利用される。ストレージ９は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）な記憶媒体を含んでよい。ストレージ９は、複数の種類の記憶媒体を含んでよい。ストレージ９は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。ストレージ９は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
【００２６】
ストレージ９に記憶されるプログラムには、フォアグランド又はバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとが含まれる。フォアグランドで実行されるアプリケーションは、例えば、ディスプレイ２に画面が表示される。制御プログラムには、例えば、ＯＳが含まれる。アプリケーション及び制御プログラムは、通信ユニット６による無線通信又は非一過的な記憶媒体を介してストレージ９にインストールされてもよい。
【００２７】
ストレージ９は、例えば、制御プログラム９Ａ、通話アプリケーション９Ｂ、ＳＭＳアプリケーション９Ｃ、Ｅメールアプリケーション９Ｄ、メモ帳アプリケーション９Ｅ、動画アプリケーション９Ｆ、ブラウザアプリケーション９Ｇ、電話帳データ９Ｙ及び設定データ９Ｚなどを記憶する。
【００２８】
制御プログラム９Ａは、スマートフォン１を稼働させるための各種制御に関する機能を提供する。制御プログラム９Ａは、マイク８を介して入力される音声に基づく音声制御を実行する対話型のインタフェース機能を提供する。対話型のインタフェース機能には、対話型のインタフェース機能の実行中であることを示す実行画面をディスプレイ２Ａに表示させる機能が含まれる。対話型のインタフェース機能には、マイク８により入力される音声を認識し、認識結果に応じて音声及び文字などで応答する機能が含まれる。
【００２９】
制御プログラム９Ａは、ユーザにより入力される音声を認識し、認識結果に基づいて処理を実行する機能を提供する。この機能には、音声の認識に成功した場合に、ストレージ９に記憶されているアプリケーションの中から、認識結果に対応するアプリケーションを自動的に実行する機能が含まれる。
【００３０】
制御プログラム９Ａは、ユーザにより入力される音声を認識し、認識結果に基づいて処理を実行できない場合に、ストレージ９に記憶されているアプリケーションの一覧を表示する機能を提供する。認識結果に基づいて処理を実行できない場合には、例えば、音声の認識に失敗した場合、あるいは、ストレージ９に記憶されているアプリケーションの中から、認識結果に対応するアプリケーションを検出できないと判定した場合が含まれる。
【００３１】
制御プログラム９Ａは、対話型のインタフェース機能を介した音声制御によって選択されるアプリケーションの入力フィールドに挿入する文字列の音声入力を、音声制御により終了させるための機能を提供する。具体的には、制御プログラム９Ａは、対話型インタフェースを介して音声入力される所定のキーワードを検出した場合、あるいは対話型インタフェースを介した音声の入力回数が閾値以上であると判定した場合に、音声制御により選択されるアプリケーションの入力フィールドに挿入する文字列の音声入力を終了するための機能を提供する。
【００３２】
例えば、制御プログラム９Ａは、対話型インタフェースを介してＥメールアプリケーション９Ｄが選択されている場合、Ｅメールアプリケーション９Ｄに関する音声制御をコントローラ１０に開始させる。本実施形態において、Ｅメールアプリケーション９Ｄ及びメモ帳アプリケーション９Ｅが音声制御を実行すべきアプリケーションとして予め登録されているものとする。本実施形態において、Ｅメールアプリケーション９Ｄが音声制御に関する音声制御とは、Ｅメールアプリケーション９Ｄの本文のフィールドに対して挿入する文字列に対応する音声として複数回の音声入力を可能とする一方で、所定のキーワードの検出あるいは音声の入力回数により音声入力を終了させる制御に該当する。続いて、制御プログラム９Ａは、Ｅメールアプリケーション９Ｄを所定のキーワードが検出されるまでの間、Ｅメールアプリケーション９Ｄの本文のフィールドに挿入すべき文字列として、音声入力される文字列をストレージ９の記憶領域に保存する処理をコントローラ１０に実現させる。制御プログラム９Ａは、所定のキーワードが入力されると、Ｅメールアプリケーション９Ｄの本文のフィールドに挿入する文字列の音声入力を終了する処理をコントローラ１０に実現させる。あるいは、制御プログラム９Ａは、Ｅメールアプリケーション９Ｄの本文のフィールドに挿入すべき文字列に対応する音声の入力を開始してから音声の入力回数が閾値以上となるまでの間、Ｅメールアプリケーション９Ｄの本文のフィールドに挿入すべき文字列として、音声入力される文字列をストレージ９の記憶領域に保存する処理をコントローラ１０に実現させる。制御プログラム９Ａは、音声の入力回数が閾値以上となると、Ｅメールアプリケーション９Ｄの本文のフィールドに挿入する文字列の音声入力を終了する処理をコントローラ１０に実現させる。
【００３３】
制御プログラム９Ａは、音声制御により音声入力を終了すると、音声制御により選択されたアプリケーションを起動し、起動したアプリケーションの入力フィールドに音声入力された文字列を挿入するための機能を提供する。
【００３４】
例えば、制御プログラム９Ａは、対話型インタフェースを介してＥメールアプリケーション９Ｄが選択されている場合、上記音声制御により音声入力を終了すると、Ｅメールアプリケーション９Ｄを起動し、起動したＥメールアプリケーション９Ｄの本文に、Ｅメールアプリケーション９Ｄの本文のフィールドに挿入する文字列すべき文字列としてストレージ９に保存しておいた文字列を挿入する。
【００３５】
その他、制御プログラム９Ａは、通信ユニット６などを制御することによって、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ  Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ  Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ  ｆｏｒ  Ｍｉｃｒｏｗａｖｅ  Ａｃｃｅｓｓ）、ＣＤＭＡ２０００、ＰＤＣ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ｃｅｌｌｕｌａｒ）、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍｏｂｉｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＰＨＳ（Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙ−ｐｈｏｎｅ  Ｓｙｓｔｅｍ）などを用いた通信を実現させるための機能を提供する。
【００３６】
制御プログラム９Ａは、通信ユニット６などを制御することによって、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ  Ｄａｔａ  Ａｓｓｏｃｉａｔｉｏｎ）、ＮＦＣ（Ｎｅａｒ  Ｆｉｅｌｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＷＰＡＮ（Ｗｉｒｅｌｅｓｓ  Ｐｅｒｓｏｎａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等を用いた近距離無線通信を実現させるための機能を提供する。
【００３７】
制御プログラム９Ａは、例えば、通信ユニット６及びマイク８などを制御することによって、通話を実現させるための機能を提供する。
【００３８】
制御プログラム９Ａにより提供される機能は、通話を実現させる場合、通話アプリケーション９Ｂ又はＥメールアプリケーション９Ｄなど、ストレージ９に記憶される他のプログラムなどが提供する機能と組み合わせて利用されることがある。例えば、制御プログラム９Ａにより提供される上記対話型のインタフェース機能と、制御プログラム９Ａにより提供される他の機能とは、組み合わせて利用されることがある。制御プログラム９Ａにより提供される各機能は、複数のプログラムモジュールに分割されていてもよいし、他のプログラムと結合されていてもよい。例えば、制御プログラム９Ａにより提供される対話型のインタフェース機能は、他のモジュールに分割されていてもよい。
【００３９】
通話アプリケーション９Ｂは、通話を実現するための機能を提供する。ＳＭＳアプリケーション９Ｃは、ＳＭＳ（Ｓｈｏｒｔ  Ｍｅｓｓａｇｅ  Ｓｅｒｖｉｃｅ）として、所定の文字数以内のメールを送受信するための機能を提供する。Ｅメールアプリケーション９Ｄは、電子メールの作成、送信、受信、及び表示等のための電子メール機能を提供する。メモ帳アプリケーション９Ｅは、テキストデータの作成及び管理するためのテキストエディタ機能を提供する。動画アプリケーション９Ｆは、動画の再生などを行うための機能を提供する。ブラウザアプリケーション９Ｇは、ブラウジング機能を提供する。ストレージ９に記憶されるアプリケーションは一例に過ぎない。図１に示すもの以外に、ナビゲートアプリケーション、音楽プレイヤーアプリケーション、計算機アプリケーション、付箋アプリケーションなど、複数のアプリケーションが記憶されていてもよい。
【００４０】
電話帳データ９Ｙは、電話番号、メールアドレスなどの情報を含む。設定データ９Ｚは、スマートフォン１の動作に関連する各種の設定及び処理に関する情報を含む。例えば、設定データ９Ｚには、音声制御を終了するための閾値の情報が含まれる。その他、ストレージ９には、コントローラ１０による処理により、マイク８を介して音声入力される文字列のデータが保存される。
【００４１】
コントローラ１０は、演算処理装置である。演算処理装置は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−ｃｈｉｐ）、ＭＣＵ（Ｍｉｃｒｏ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）、及びＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）を含むが、これらに限定されない。コントローラ１０は、スマートフォン１の動作を統括的に制御して各種の機能を実現する。
【００４２】
具体的には、コントローラ１０は、ストレージ９に記憶されているデータを必要に応じて参照しつつ、ストレージ９に記憶されているプログラムに含まれる命令を実行する。コントローラ１０は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、ディスプレイ２、通信ユニット６、レシーバ７、マイク８、及びスピーカ１１を含むが、これらに限定されない。コントローラ１０は、検出部の検出結果に応じて、制御を変更することがある。検出部は、例えば、ボタン３、照度センサ４、近接センサ５、マイク８、カメラ１２、姿勢検出ユニット１５、及びタッチスクリーン２１を含むが、これらに限定されない。
【００４３】
コントローラ１０は、制御プログラム９Ａを実行することにより、対話型のインタフェースによる処理を実現する。例えば、コントローラ１０は、対話型のインタフェース機能の実行中であることを示す実行画面をディスプレイ２Ａに表示させる。例えば、コントローラ１０は、マイク８により入力される音声を認識し、認識結果に応じて音声及び文字などで応答する。
【００４４】
コントローラ１０は、制御プログラム９Ａを実行することにより、ユーザにより入力される音声を認識し、認識結果に基づく処理を実現する。例えば、コントローラ１０は、音声の認識に成功した場合に、ストレージ９に記憶されているアプリケーションの中から、認識結果に対応するアプリケーションを自動的に起動する。
【００４５】
コントローラ１０は、制御プログラム９Ａを実行することにより、ユーザにより入力される音声を認識し、認識結果に基づいて処理を実行できない場合に、ストレージ９に記憶されているアプリケーションの一覧を表示する処理を実現する。認識結果に基づいて処理を実行できない場合には、例えば、音声の認識に失敗した場合、または、ストレージ９に記憶されているアプリケーションの中から、認識結果に対応するアプリケーションを検出できないと判定した場合が含まれる。
【００４６】
コントローラ１０は、制御プログラム９Ａを実行することにより、対話型のインタフェース機能を介した音声制御によって選択されるアプリケーションの入力フィールドに挿入する文字列の音声入力を、音声制御により終了させる処理を実現する。具体的には、コントローラ１０は、対話型インタフェースを介して音声入力される所定のキーワードを検出した場合、あるいは対話型インタフェースを介した音声の入力回数が閾値以上であると判定した場合に、音声制御により選択されるアプリケーションの入力フィールドに挿入する文字列の音声入力を終了する。
【００４７】
例えば、コントローラ１０は、対話型インタフェースを介してＥメールアプリケーション９Ｄが選択されている場合、Ｅメールアプリケーション９Ｄが音声制御に関する音声制御を開始する。本実施形態において、Ｅメールアプリケーション９Ｄ及びメモ帳アプリケーション９Ｅが音声制御を実行すべきアプリケーションとして予め登録されているものとする。本実施形態において、例えば、Ｅメールアプリケーション９Ｄが音声制御に関する音声制御とは、Ｅメールアプリケーション９Ｄの本文のフィールドに対して挿入する文字列に対応する音声として複数回の音声入力を可能とする一方で、所定のキーワードの検出あるいは音声の入力回数により音声入力を終了させる制御に該当する。続いて、コントローラ１０は、所定のキーワードが検出されるまでの間、Ｅメールアプリケーション９Ｄの本文のフィールドに挿入すべき文字列として、音声入力される文字列をストレージ９の記憶領域に保存する。コントローラ１０は、所定のキーワードが入力されると、Ｅメールアプリケーション９Ｄの本文のフィールドに挿入する文字列の音声入力を終了する。あるいは、コントローラ１０は、Ｅメールアプリケーション９Ｄの本文のフィールドに挿入すべき文字列に対応する音声の入力を開始してから音声の入力回数が閾値以上となるまでの間、Ｅメールアプリケーション９Ｄの本文のフィールドに挿入すべき文字列として、音声入力される文字列をストレージ９の記憶領域に保存する。コントローラ１０は、音声の入力回数が閾値以上となると、Ｅメールアプリケーション９Ｄの本文のフィールドに挿入する文字列の音声入力を終了する。
【００４８】
コントローラ１０は、制御プログラム９Ａを実行することにより、音声制御により音声入力を終了すると、音声制御により選択されたアプリケーションを起動し、起動したアプリケーションの入力フィールドに音声入力された文字列を挿入するための機能を提供する。
【００４９】
例えば、コントローラ１０は、対話型インタフェースを介してＥメールアプリケーション９Ｄが選択されている場合、上記音声制御により音声入力を終了すると、Ｅメールアプリケーション９Ｄを起動し、起動したＥメールアプリケーション９Ｄの本文に、Ｅメールアプリケーション９Ｄの本文のフィールドに挿入する文字列すべき文字列としてストレージ９に保存しておいた文字列を挿入する。
【００５０】
スピーカ１１は、音出力部である。スピーカ１１は、コントローラ１０から送信される音信号を音として出力する。スピーカ１１は、例えば、着信音及び音楽を出力するために用いられる。レシーバ７及びスピーカ１１の一方が、他方の機能を兼ねてもよい。
【００５１】
カメラ１２は、撮影した画像を電気信号へ変換する。カメラ１２には、例えば、ディスプレイ２に面している物体を撮影するインカメラ、ディスプレイ２の反対側の面に面している物体を撮影するアウトカメラが含まれる。
【００５２】
姿勢検出ユニット１５は、スマートフォン１の姿勢を検出する。姿勢検出ユニット１５は、姿勢を検出するために、加速度センサ、方位センサ、及びジャイロスコープの少なくとも１つを備える。
【００５３】
バイブレータ１８は、スマートフォン１の一部又は全体を振動させる。バイブレータ１８は、振動を発生させるために、例えば、圧電素子、又は偏心モータなどを有する。バイブレータ１８による振動は、着信等の各種のイベントを利用者に報知するために用いられる。
【００５４】
図１に示したスマートフォン１の機能構成は例であり、本発明の要旨を損なわない範囲において適宜変更してよい。
【００５５】
図２〜図７を用いて、実施形態におけるスマートフォン１により実行される処理の一例について説明する。図２〜図７に登場するＦ１は、ユーザの指を示す。図２〜図７では、いわゆるロック画面がディスプレイ２Ａに表示されている場合の処理の一例について説明するが、対話型のインタフェースを起動可能な状況であれば、同様の処理を実現できる。以下の説明において、“操作”と表記するものは、スマートフォン１（コントローラ１０）が、タッチスクリーン２Ｂを介して、検出可能な任意のタッチジェスチャであってよい。
【００５６】
図２及び図３は、所定のキーワードの検出により、メールアプリケーション（例えば、Ｅメールアプリケーション９Ｄなど）の本文のフィールドへの音声入力を終了する場合の処理の一例を示す図である。
【００５７】
図２に示すように、スマートフォン１は、ディスプレイ２Ａにロック画面４０を表示している。ロック画面４０は、スマートフォン１がロック状態にある場合に表示される。スマートフォン１は、ディスプレイ２Ａにロック画面４０が表示されている場合、特定の操作を除いて、ユーザの操作を受け付けない。特定の操作には、例えば、ロック状態を解除するための操作、及び通知画面をディスプレイ２Ａに表示させるための操作が含まれる。ロック状態には、単に、ユーザの操作を受け付けない状態だけでなく、セキュリティロック状態を含んでもよい。図２に示すように、ロック画面４０には、対話型のインタフェースを起動させるためのアイコン４０ａが配置されている。
【００５８】
図２に示すように、スマートフォン１は、タッチスクリーン２Ｂを介して、ロック画面４０に配置されているアイコン４０ａに対する操作を検出すると（ステップＳ１１）、ディスプレイ２Ａに対話型のインタフェースの実行画面５０を表示する（ステップＳ１２）。このとき、スマートフォン１は、ステップＳ１２に示すように、“ご用件をお話下さい。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ−１）を実行画面５０に表示する。
【００５９】
続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、認識結果に対応するアプリケーションがあるかを判定し、認識結果に対応するアプリケーションがある場合には、アプリケーションに関する音声制御を実行するかを判定する。スマートフォン１は、アプリケーションに関する音声制御を実行する場合には、ユーザに応答するとともに、アプリケーションに関する音声制御を開始する（ステップＳ１３〜ステップＳ１４）。
【００６０】
具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を“特許一郎さんにメール”であると認識すると、ステップＳ１３に示すように、認識した文字列に対応する吹き出しの画像（Ｕ−１）を実行画面５０に表示する。続いて、スマートフォン１は、ストレージ９に記憶されているアプリケーションの中から、認識結果に対応するＥメールアプリケーション９Ｄを検出し、Ｅメールアプリケーション９Ｄに関する音声制御を実行するものと判定する。続いて、スマートフォン１は、ステップＳ１４に示すように、Ｅメールアプリケーション９Ｄの音声制御を開始し、その旨をユーザに報知するための画像５０ａを実行画面５０に表示する。スマートフォン１は、ステップＳ１４に示すように、“件名を教えてください。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ−２）を実行画面５０に表示する。
【００６１】
続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、認識結果を保存するとともに、ユーザに応答する（ステップＳ１５〜ステップＳ１６）。
【００６２】
具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を“おはようございます。”であると認識すると、ステップＳ１５に示すように、認識した文字列に対応する吹き出しの画像（Ｕ−２）を実行画面５０に表示する。続いて、スマートフォン１は、認識した文字列を保存し、件名が未入力であった画像５０ａの件名に対応するフィールドに、認識した文字列が挿入された画像５０ｂを表示する（ステップＳ１６）。メールの件名を取得後、ステップＳ１６に示すように、スマートフォン１は、“本文を教えてください。完了といえばメールアプリを起動します。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ−３）を実行画面５０に表示する。
【００６３】
続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、認識結果が音声入力の終了キーワードではないこと、あるいは音声の入力回数が閾値に到達していないことを条件として、認識結果を保存するとともに、ユーザに応答する（ステップＳ１７〜ステップＳ１８）。
【００６４】
具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を“８時集合です。”であると認識すると、ステップＳ１７に示すように、認識した文字列に対応する吹き出しの画像（Ｕ−３）を実行画面５０に表示する。続いて、スマートフォン１は、認識した文字列を保存し、本文が未入力であった画像５０ｂの本文に対応するフィールドに、認識した文字列が挿入された画像５０ｃを表示する（ステップＳ１８）。メールの本文に挿入する文字列を取得後、ステップＳ１８に示すように、スマートフォン１は、再び、“本文を教えてください。完了といえばメールアプリを起動します。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ−４）を実行画面５０に表示する。
【００６５】
続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、認識結果が音声入力の終了キーワードではないこと、あるいは音声の入力回数が閾値に到達していないことを条件として、認識結果を保存するとともに、ユーザに応答する（ステップＳ１９〜ステップＳ２０）。
【００６６】
具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を“みなさん、集合しました。”であると認識すると、ステップＳ１９に示すように、認識した文字列に対応する吹き出しの画像（Ｕ−４）を実行画面５０に表示する。続いて、スマートフォン１は、認識した文字列を保存し、画像５０ｃの本文に対応するフィールドに、認識した文字列が挿入された画像５０ｄを表示する（ステップＳ２０）。メールの本文に挿入する文字列を再取得後、ステップＳ２０に示すように、スマートフォン１は、再び、“本文を教えてください。完了といえばメールアプリを起動します。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ−５）を実行画面５０に表示する。
【００６７】
続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、認識結果が音声入力の終了キーワードであること、あるいは音声の入力回数が閾値以上であることを条件として、音声入力を終了し、アプリケーションを起動する（ステップＳ２１〜ステップＳ２２）。
【００６８】
具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を、音声入力を終了させるキーワードである“完了”であると認識すると、ステップＳ２１に示すように、認識した文字列に対応する吹き出しの画像を表示しない。続いて、スマートフォン１は、音声入力の終了を受け付けた旨をユーザに報知することを目的として“メールアプリを起動します。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ−６）を実行画面５０に表示する。スマートフォン１は、ステップＳ２２に示すように、Ｅメールアプリケーション９Ｄを起動して、宛先、件名、及び本文のそれぞれに対応する文字列を挿入したメール作成画面６０をディスプレイ２Ａに表示する。
【００６９】
図４及び図５は、所定のキーワードの検出により、メールアプリケーション（例えば、Ｅメールアプリケーション９Ｄ）の本文のフィールドへの音声入力を終了する場合の処理の他の例を示す図である。
【００７０】
図４に示すように、スマートフォン１は、タッチスクリーン２Ｂを介して、ロック画面４０に配置されているアイコン４０ａに対する操作を検出すると（ステップＳ３１）、ディスプレイ２Ａに対話型のインタフェースの実行画面５０を表示する（ステップＳ３２）。このとき、スマートフォン１は、ステップＳ１２に示すように、“ご用件をお話下さい。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ−１１）を実行画面５０に表示する。
【００７１】
続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、認識結果に対応するアプリケーションがあるかを判定し、認識結果に対応するアプリケーションがある場合には、アプリケーションに関する音声制御を実行するかを判定する。スマートフォン１は、アプリケーションに関する音声制御を実行する場合には、ユーザに応答するとともに、アプリケーションに関する音声制御を開始する（ステップＳ３３〜ステップＳ３４）。
【００７２】
具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を“特許一郎さんにメール”であると認識すると、ステップＳ３３に示すように、認識した文字列に対応する吹き出しの画像（Ｕ−１１）を実行画面５０に表示する。続いて、スマートフォン１は、ストレージ９に記憶されているアプリケーションの中から、認識結果に対応するＥメールアプリケーション９Ｄを検出し、Ｅメールアプリケーション９Ｄに関する音声制御を実行するものと判定する。続いて、スマートフォン１は、ステップＳ３４に示すように、Ｅメールアプリケーション９Ｄの音声制御を開始し、その旨をユーザに報知するための画像５０ａを実行画面５０に表示する。スマートフォン１は、ステップＳ３４に示すように、“件名を教えてください。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ−１２）を実行画面５０に表示する。
【００７３】
続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、認識結果を保存するとともに、ユーザに応答する（ステップＳ３５〜ステップＳ３６）。
【００７４】
具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を“おはようございます。”であると認識すると、ステップＳ３５に示すように、認識した文字列に対応する吹き出しの画像（Ｕ−１２）を実行画面５０に表示する。続いて、スマートフォン１は、認識した文字列を保存し、件名が未入力であった画像５０ａの件名に対応するフィールドに、認識した文字列が挿入された画像５０ｂを表示する（ステップＳ３６）。メールの件名を取得後、ステップＳ３６に示すように、スマートフォン１は、“本文を教えてください。完了といえばメールアプリを起動します。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ−１３）を実行画面５０に表示する。
【００７５】
続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、認識結果が音声入力の終了キーワードではないこと、あるいは音声の入力回数が閾値に到達していないことを条件として、認識結果を保存するとともに、ユーザに応答する（ステップＳ３７〜ステップＳ３８）。
【００７６】
具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を“８時集合です。”であると認識すると、ステップＳ３７に示すように、認識した文字列に対応する吹き出しの画像（Ｕ−１３）を実行画面５０に表示する。続いて、スマートフォン１は、認識した文字列を保存し、本文が未入力であった画像５０ｂの本文に対応するフィールドに、認識した文字列が挿入された画像５０ｃを表示する（ステップＳ３８）。メールの本文に挿入する文字列を取得後、ステップＳ３８に示すように、スマートフォン１は、再び、“本文を教えてください。完了といえばメールアプリを起動します。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ−１４）を実行画面５０に表示する。
【００７７】
続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、認識結果が音声入力の終了キーワードではないこと、あるいは音声の入力回数が閾値に到達していないことを条件として、認識結果を保存するとともに、ユーザに応答する（ステップＳ３９〜ステップＳ４０）。
【００７８】
具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を“管理。”であると認識すると、ステップＳ３９に示すように、認識した文字列に対応する吹き出しの画像（Ｕ−１４）を実行画面５０に表示する。ステップＳ３９において、例えば、ユーザが“完了”と音声入力したつもりであっても、スマートフォン１が“管理”と認識した場合には、そのまま処理が継続される。続いて、スマートフォン１は、認識した文字列を保存し、画像５０ｃの本文に対応するフィールドに、認識した文字列が挿入された画像５０ｄを表示する（ステップＳ４０）。ステップＳ３９でスマートフォン１により認識され、ステップＳ４０で新たに表示された文字列は、音声入力によって削除することができない。メールの本文に挿入する文字列を再取得後、ステップＳ４０に示すように、スマートフォン１は、再び、“本文を教えてください。完了といえばメールアプリを起動します。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ−１５）を実行画面５０に表示する。
【００７９】
続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、認識結果が音声入力の終了キーワードであること、あるいは音声の入力回数が閾値以上であることを条件として、音声入力を終了し、アプリケーションを起動する（ステップＳ４１〜ステップＳ４２）。
【００８０】
具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を、音声入力を終了させるキーワードである“完了”であると認識すると、認識した文字列に対応する吹き出しの画像を表示しない。続いて、スマートフォン１は、ステップＳ４１に示すように、音声入力の終了を受け付けた旨をユーザに報知することを目的として“メールアプリを起動します。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ−１６）を実行画面５０に表示する。スマートフォン１は、ステップＳ４２に示すように、Ｅメールアプリケーション９Ｄを起動して、宛先、件名、及び本文のそれぞれに対応する文字列を挿入したメール作成画面６０をディスプレイ２Ａに表示する。
【００８１】
ステップＳ３９に示すように、ユーザにより音声入力された文字列が終了キーワードとしてスマートフォン１により正しく認識しなかった場合であっても、ステップＳ４２に示すように、ユーザにより音声入力された文字列が終了キーワードとしてスマートフォン１により正しく認識されたタイミングで、Ｅメールアプリケーション９Ｄの本文への音声入力が確実に終了する。
【００８２】
図６及び図７は、音声の入力回数が閾値以上である場合に、メールアプリケーション（例えば、Ｅメールアプリケーション９Ｄ）の本文のフィールドへの音声入力を終了する場合の処理の例を示す図である。
【００８３】
図６に示すように、スマートフォン１は、タッチスクリーン２Ｂを介して、ロック画面４０に配置されているアイコン４０ａに対する操作を検出すると（ステップＳ５１）、ディスプレイ２Ａに対話型のインタフェースの実行画面５０を表示する（ステップＳ５２）。このとき、スマートフォン１は、ステップＳ５２に示すように、“ご用件をお話下さい。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ−２１）を実行画面５０に表示する。
【００８４】
続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、認識結果に対応するアプリケーションがあるかを判定し、認識結果に対応するアプリケーションがある場合には、アプリケーションに関する音声制御を実行するかを判定する。スマートフォン１は、アプリケーションに関する音声制御を実行する場合には、ユーザに応答するとともに、アプリケーションに関する音声制御を開始する（ステップＳ５３〜ステップＳ５４）。
【００８５】
具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を“特許一郎さんにメール”であると認識すると、ステップＳ５３に示すように、認識した文字列に対応する吹き出しの画像（Ｕ−２１）を実行画面５０に表示する。続いて、スマートフォン１は、ストレージ９に記憶されているアプリケーションの中から、認識結果に対応するＥメールアプリケーション９Ｄを検出し、Ｅメールアプリケーション９Ｄに関する音声制御を実行するものと判定する。続いて、スマートフォン１は、ステップＳ５４に示すように、Ｅメールアプリケーション９Ｄの音声制御を開始し、その旨をユーザに報知するための画像５０ａを実行画面５０に表示する。スマートフォン１は、ステップＳ５４に示すように、“件名を教えてください。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ−２２）を実行画面５０に表示する。
【００８６】
続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、認識結果を保存するとともに、ユーザに応答する（ステップＳ５５〜ステップＳ５６）。
【００８７】
具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を“おはようございます。”であると認識すると、ステップＳ５５に示すように、認識した文字列に対応する吹き出しの画像（Ｕ−２２）を実行画面５０に表示する。続いて、スマートフォン１は、認識した文字列を保存し、件名が未入力であった画像５０ａの件名に対応するフィールドに、認識した文字列が挿入された画像５０ｂを表示する（ステップＳ５６）。メールの件名を取得後、ステップＳ５６に示すように、スマートフォン１は、“本文を教えてください。完了といえばメールアプリを起動します。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ−２３）を実行画面５０に表示する。
【００８８】
続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、認識結果が音声入力の終了キーワードではないこと、あるいは音声の入力回数が閾値に到達していないことを条件として、認識結果を保存するとともに、ユーザに応答する（ステップＳ５７〜ステップＳ５８）。
【００８９】
具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を“８時集合です。”であると認識すると、ステップＳ５７に示すように、認識した文字列に対応する吹き出しの画像（Ｕ−２３）を実行画面５０に表示する。続いて、スマートフォン１は、認識した文字列を保存し、本文が未入力であった画像５０ｂの本文に対応するフィールドに、認識した文字列が挿入された画像５０ｃを表示する（ステップＳ５８）。メールの本文に挿入する文字列を取得後、ステップＳ５８に示すように、スマートフォン１は、再び、“本文を教えてください。完了といえばメールアプリを起動します。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ−２４）を実行画面５０に表示する。
【００９０】
続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、認識結果が音声入力の終了キーワードではないこと、あるいは音声の入力回数が閾値に到達していないことを条件として、認識結果を保存するとともに、ユーザに応答する（ステップＳ５９〜ステップＳ６０）。
【００９１】
具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を“管理。”であると認識すると、ステップＳ５９に示すように、認識した文字列に対応する吹き出しの画像（Ｕ−２４）を実行画面５０に表示する。ステップＳ５９において、例えば、ユーザが“完了”と音声入力したつもりであっても、スマートフォン１が“管理”と認識した場合には、そのまま処理が継続される。続いて、スマートフォン１は、認識した文字列を保存し、画像５０ｃの本文に対応するフィールドに、認識した文字列が挿入された画像５０ｄを表示する（ステップＳ６０）。メールの本文に挿入する文字列を再取得後、ステップＳ６０に示すように、スマートフォン１は、再び、“本文を教えてください。完了といえばメールアプリを起動します。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ−２５）を実行画面５０に表示する。
【００９２】
続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、認識結果が音声入力の終了キーワードではないこと、あるいは音声の入力回数が閾値に到達していないことを条件として、認識結果を保存するとともに、ユーザに応答する（ステップＳ６１〜ステップＳ６２）。
【００９３】
具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を“管理。”であると認識すると、ステップＳ６１に示すように、認識した文字列に対応する吹き出しの画像（Ｕ−２５）を実行画面５０に表示する。ステップＳ６１において、例えば、ユーザが“完了”と音声入力したつもりであっても、スマートフォン１が“管理”と認識した場合には、そのまま処理が継続される。続いて、スマートフォン１は、認識した文字列を保存し、画像５０ｄの本文に対応するフィールドに、認識した文字列が挿入された画像５０ｅを表示する（ステップＳ６２）。メールの本文に挿入する文字列を再取得後、ステップＳ６２に示すように、スマートフォン１は、再び、“本文を教えてください。完了といえばメールアプリを起動します。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ−２６）を実行画面５０に表示する。
【００９４】
続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、認識結果が音声入力の終了キーワードではないこと、あるいは音声の入力回数が閾値に到達していないことを条件として、認識結果を保存するとともに、ユーザに応答する（ステップＳ６３〜ステップＳ６４）。
【００９５】
具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を“管理。”であると認識すると、ステップＳ６３に示すように、認識した文字列に対応する吹き出しの画像（Ｕ−２６）を実行画面５０に表示する。ステップＳ６３において、例えば、ユーザが“完了”と音声入力したつもりであっても、スマートフォン１が“管理”と認識した場合には、そのまま処理が継続される。続いて、スマートフォン１は、認識した文字列を保存し、画像５０ｅの本文に対応するフィールドに、認識した文字列が挿入された画像５０ｆを表示する（ステップＳ６４）。メールの本文に挿入する文字列を再取得後、ステップＳ６４に示すように、スマートフォン１は、再び、“本文を教えてください。完了といえばメールアプリを起動します。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ−２７）を実行画面５０に表示する。
【００９６】
続いて、スマートフォン１は、マイク８により音声が入力されると、入力された音声の認識処理を実行する。認識に成功した場合、スマートフォン１は、認識結果が音声入力の終了キーワードであること、あるいは音声の入力回数が閾値以上であることを条件として、音声入力を終了し、アプリケーションを起動する（ステップＳ６５〜ステップＳ６６）。
【００９７】
具体的には、スマートフォン１は、マイク８を介して音声で入力される文字列を“管理”であると認識し、該当する文字列に対応した音声の入力により、音声の（累積）入力回数が閾値以上であると判定した場合には、認識した文字列に対応する吹き出しの画像を表示しない。続いて、スマートフォン１は、ステップＳ６５に示すように、音声入力の終了を受け付けた旨をユーザに報知することを目的として“メールアプリを起動します。”という音声ガイダンスをスピーカ１１から出力するとともに、音声ガイダンスに対応する吹き出しの画像（Ｓ−２８）を実行画面５０に表示する。スマートフォン１は、ステップＳ６６に示すように、Ｅメールアプリケーション９Ｄを起動して、宛先、件名、及び本文のそれぞれに対応する文字列を挿入したメール作成画面６０をディスプレイ２Ａに表示する。ステップＳ６６に示すように、ステップＳ５９〜ステップＳ６３におけるスマートフォン１の認識結果が誤りである場合であっても、認識結果に対応する各文字列（管理。）がメール作成画面６０に挿入される。
【００９８】
ステップＳ５９〜ステップＳ６３に示すように、ユーザにより音声入力された文字列が終了キーワードとしてスマートフォン１により何度も正しく認識されない場合であっても、ステップＳ６６に示すように、ユーザによる音声の入力回数が閾値以上となったタイミングで、Ｅメールアプリケーション９Ｄの本文への音声入力が確実に終了する。
【００９９】
図８及び図９を用いて、実施形態に係るスマートフォン１による処理手順の一例を説明する。図８及び図９は、実施形態に係るスマートフォン１による処理手順の一例を示すフローチャートである。図８及び図９に示す処理手順は、コントローラ１０が、ストレージ９に記憶されている制御プログラム９Ａなどを実行することによって実現される。
【０１００】
図８は、スマートフォン１により実行される音声制御の全体の流れを示す。図８に示すように、コントローラ１０は、対話型のインタフェースの実行画面をディスプレイ２Ａに表示させる（ステップＳ１０１）。コントローラ１０は、例えば、タッチスクリーン２Ｂを介して、対話型のインタフェースを起動させるためのアイコン４０ａに対する操作を検出すると、対話型のインタフェースを起動し、インタフェースの実行画面５０をディスプレイ２Ａに表示させる（図２、４参照）。
【０１０１】
続いて、コントローラ１０は、マイク８により入力される音声の音声データを取得すると（ステップＳ１０２）、音声データの認識処理を実行し、音声の認識に成功したかを判定する（ステップＳ１０３）。
【０１０２】
コントローラ１０は、判定の結果、音声の認識に成功した場合には（ステップＳ１０３，Ｙｅｓ）、ストレージ９に記憶されているアプリケーションの中から、認識結果に対応するアプリケーションを検出できたかを判定する（ステップＳ１０４）。
【０１０３】
コントローラ１０は、判定の結果、認識結果に対応するアプリケーションを検出できた場合には（ステップＳ１０４，Ｙｅｓ）、認識結果に対応するアプリケーションに関する音声制御を実行するかを判定する（ステップＳ１０５）。
【０１０４】
コントローラ１０は、判定の結果、認識結果に対応するアプリケーションに関する音声制御を実行する場合には（ステップＳ１０５，Ｙｅｓ）、認識結果に対応するアプリケーションに関する音声制御を開始する（ステップＳ１０６）。
【０１０５】
アプリケーションに関する音声制御を終了すると、コントローラ１０は、ステップＳ１０４で検出したアプリケーションを起動し、当該アプリケーションに対して、ステップＳ１０６における音声制御の結果を反映して（ステップＳ１０７）、図８に示す処理手順を終了する。例えば、コントローラ１０は、Ｅメールアプリケーション９Ｄを起動し、対話型インタフェースを介して音声入力された件名及び本文の文字列のデータを、Ｅメールアプリケーション９Ｄにおける対応するフィールドへ挿入する。
【０１０６】
ステップＳ１０５において、コントローラ１０は、認識結果に対応するアプリケーションに関する音声制御を実行しない場合には（ステップＳ１０５，Ｎｏ）、ステップＳ１０４で検出したアプリケーションを実行して（ステップＳ１０８）、図８に示す処理手順を終了する。
【０１０７】
ステップＳ１０４において、コントローラ１０は、判定の結果、認識結果に対応するアプリケーションを検出できない場合には（ステップＳ１０４，Ｎｏ）、そのまま図８に示す処理手順を終了する。このとき、コントローラ１０は、ストレージ９に記憶されているアプリケーションの一覧をディスプレイ２Ａに表示してもよい。
【０１０８】
ステップＳ１０３において、コントローラ１０は、判定の結果、音声の認識に失敗した場合には（ステップＳ１０３，Ｎｏ）、認識に失敗した回数が閾値を超えているかを判定する（ステップＳ１０９）。コントローラ１０は、判定の結果、認識に失敗した回数が閾値を超えている場合には（Ｓ１０９，Ｙｅｓ）、そのまま図８に示す処理手順を終了する。これとは反対に、コントローラ１０は、判定の結果、認識に失敗した回数が閾値を超えていない場合には（Ｓ１０９，Ｎｏ）、例えば、音声ガイダンス及び画像などにより、音声の再入力を要求し（ステップＳ１１０）、ステップＳ１０２の手順に移る。
【０１０９】
図９は、アプリケーションに関する音声制御の流れを示す。図９は、図８に示すステップＳ１０６の手順に対応する。図９に示すように、コントローラ１０は、上記図８のステップＳ１０５で音声制御を実行することを決定したアプリケーションに関して、音声の入力を要求し（ステップＳ２０１）、音声データを取得する（ステップＳ２０２）。例えば、コントローラ１０は、Ｅメールアプリケーション９Ｄの本文に対応するフィールドに入力する文字列の音声入力を要求し、本文に入力する文字列に対応する音声を取得する。
【０１１０】
続いて、コントローラ１０は、Ｓ２０１の要求に応じて音声入力された音声データの認識処理を実行し、音声の認識に成功したかを判定する（ステップＳ２０３）。
【０１１１】
コントローラ１０は、判定の結果、音声の認識に成功した場合には（ステップＳ２０３，Ｙｅｓ）、認識結果に対応する音声が、音声入力の終了キーワードであるかを判定する（ステップＳ２０４）。コントローラ１０は、例えば、認識結果に対応する音声が、“完了”であるかを判定する。
【０１１２】
コントローラ１０は、判定の結果、音声入力の終了キーワードではない場合には（ステップＳ２０４，Ｎｏ）、続いて、図９に示す処理手順を開始してからの音声の（累積）入力回数が閾値以上であるかを判定する（ステップＳ２０５）。
【０１１３】
コントローラ１０は、判定の結果、音声の入力回数が閾値以上ではない場合には（ステプＳ２０５，Ｎｏ）、図８の処理で検出したアプリケーションの入力フィールドに挿入する文字列のデータとして、ステップＳ２０２で取得した音声データを蓄積する。例えば、コントローラ１０は、Ｅメールアプリケーション９Ｄの本文に対応するフィールドに入力する文字列のデータとして、ステップＳ２０２で取得した音声データを蓄積する。
【０１１４】
続いて、コントローラ１０は、ステップＳ２０１の手順に戻り、図９に示す制御を継続する。
【０１１５】
ステップＳ２０５において、コントローラ１０は、判定の結果、図９に示す処理手順を開始してからの音声の（累積）入力回数が閾値以上である場合には（ステプＳ２０５，Ｙｅｓ）、図９に示す処理手順を終了する。
【０１１６】
ステップＳ２０４において、コントローラ１０は、認識結果に対応する音声が、音声入力の終了キーワードである場合には（ステップＳ２０４，Ｙｅｓ）、図９に示す処理手順を終了する。
【０１１７】
ステップＳ２０３において、コントローラ１０は、判定の結果、音声の認識に成功しなかった場合には（ステップＳ２０３，Ｎｏ）、当該音声の入力を無効として、ステップＳ２０１の手順に戻り、音声の再入力を要求する。
【０１１８】
図９に示す処理手順の順番は、図９に示す例に限定されない。図９に示す処理手順において、例えば、ステップＳ２０４の手順と、ステップＳ２０５の手順の順序が逆であってもよい。
【０１１９】
上述してきたように、実施形態に係るスマートフォン１は、対話型インタフェースを介して音声により選択されるアプリケーションの入力フィールドに挿入する文字列の音声入力を、音声制御により終了させる。例えば、スマートフォン１は、Ｅメールアプリケーション９Ｄの本文に対応するフィールドに挿入する文字列の音声入力を、“完了”という終了キーワードを検出することにより終了することができる。あるいは、スマートフォン１は、Ｅメールアプリケーション９Ｄの本文に対応するフィールドに挿入する文字列の音声入力を、音声の入力回数が閾値（例えば、５回）以上となった場合に終了することができる。このように、本実施形態に係るスマートフォン１は、例えば、メールの本文など、比較的長めの文字列が入力される入力フィールドに対して複数回の音声入力を可能とする一方で、所定のキーワードの検出あるいは音声の入力回数により音声入力を終了させることを可能とする。すなわち、本実施形態に係るスマートフォン１は、対話型のインタフェースを介する音声制御のみによって、アプリケーションの所定の入力フィールドに対する長文の入力開始及び入力終了を実現でき、対話型のインタフェースを介する処理を改善することができる。
【０１２０】
上記実施形態では、スマートフォン１が、音声の入力回数が５回と判定した場合に、Ｅメールアプリケーション９Ｄの本文に対応するフィールドに挿入する文字列の音声入力を終了させる例（図６及び図７）を説明したが、音声入力を終了させる回数は任意の回数を適用することができる。
【０１２１】
上記実施形態では、スマートフォン１が、対話型インタフェースを介した音声制御により、Ｅメールアプリケーション９Ｄの本文に対応するフィールドに挿入する文字列の音声入力を終了させる例を説明した。しかしながら、これに限定されるものではなく、メモ帳アプリケーション９Ｅに対する文字列の音声入力、スケジュールを管理するアプリケーションに対する文字列の音声入力など、文字列の音声入力を行うアプリケーション全般に対して、上記実施形態に係るスマートフォン１の処理（図２〜図９など）を適用できる。
【０１２２】
図５及び図７に示す例では、音声入力に対するスマートフォン１の認識結果がユーザの意図しないものである場合（誤りである場合）であっても、認識結果に対応する文字列（例えば、管理）がメール作成画面６０に挿入される場合を説明した。しかしながら、これに限定されるものではなく、スマートフォン１は、音声入力された文字列の中に同音同義の文字列が複数連続する場合には、誤認識に係る文字列と判断して、アプリケーションを起動する際に、アプリケーションの入力フィールドに挿入しないようにしてもよい。あるいは、スマートフォン１は、終了キーワード（例えば、完了）に類似する文字列の一覧を予め備えておいて、音声入力された文字列の中に終了キーワードに類似する文字列がある場合には、アプリケーションを起動する際に、当該文字列をアプリケーションの入力フィールドに挿入しないようにしてもよい。
【０１２３】
上記実施形態において、スマートフォン１は、音声入力に対する認識結果が、終了キーワードと同音意義（例えば、官僚など）であると判定した場合、音声入力を終了させるようにしてもよい。
【０１２４】
添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記の実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成により具現化されるべきである。
【０１２５】
例えば、図１に示した各プログラムは、複数のモジュールに分割されていてもよい。あるいは、図１に示した各プログラムは、他のプログラムと結合されていてもよい。
【０１２６】
上記の実施形態では、タッチスクリーンを備える装置の一例として、スマートフォンについて説明したが、添付の請求項に係る装置は、スマートフォンに限定されない。添付の請求項に係る装置は、スマートフォン以外の電子機器であってもよい。電子機器は、例えば、モバイルフォン、タブレット、携帯型パソコン、デジタルカメラ、メディアプレイヤ、電子書籍リーダ、ナビゲータ、及びゲーム機である。あるいは、添付の請求項に係る装置は、据え置き型の電子機器であってもよい。据え置き型の電子機器は、例えば、デスクトップパソコン、及びテレビ受像器である。
【符号の説明】
【０１２７】
１  スマートフォン
２  タッチスクリーンディスプレイ
２Ａ  ディスプレイ
２Ｂ  タッチスクリーン
３  ボタン
４  照度センサ
５  近接センサ
６  通信ユニット
７  レシーバ
８  マイク
９  ストレージ
９Ａ  制御プログラム
９Ｂ  通話アプリケーション
９Ｃ  ＳＭＳアプリケーション
９Ｄ  Ｅメールアプリケーション
９Ｅ  メモ帳アプリケーション
９Ｆ  動画アプリケーション
９Ｇ  ブラウザアプリケーション
９Ｙ  電話帳データ
９Ｚ  設定データ
１０  コントローラ
１１  スピーカ
１２  カメラ
１５  姿勢検出ユニット
１８  バイブレータ
【図１】
2014225796.tif 000003
【図２】
2014225796.tif 000004
【図３】
2014225796.tif 000005
【図４】
2014225796.tif 000006
【図５】
2014225796.tif 000007
【図６】
2014225796.tif 000008
【図７】
2014225796.tif 000009
【図８】
2014225796.tif 000010
【図９】
2014225796.tif 000011