(57)【要約】【課題】音声の認識結果に基づく処理を改善すること。【解決手段】態様の１つに係る電子機器は、マイクと、所定領域を表示するディスプレイと、マイクに入力された音声を認識可能なプロセッサと、を備える。プロセッサは、所定領域が選択されたことを契機にマイクに入力された音声を認識する第１処理を開始し、その後第１音声を認識すると、認識した第１音声の内容を所定領域に関連付ける第２処理を実行し、所定領域が選択されることなく第１処理を開始した場合は、その後マイクに入力された第１音声を認識すると、認識した第１音声の内容に基づいて、音声の内容に応じて実行される複数の処理のうちのいずれの処理をするかを判定し、判定結果に基づいて処理を実行する。【選択図】図３
2020003963.tif 000002
【特許請求の範囲】
【請求項１】
マイクと、
所定領域を表示するディスプレイと、
マイクに入力された音声を認識可能なプロセッサと、を備え、
前記プロセッサは、
前記所定領域が選択されたことを契機に前記マイクに入力された音声を認識する第１処理を開始し、その後第１音声を認識すると、認識した前記第１音声の内容を前記所定領域に関連付ける第２処理を実行し、
前記所定領域が選択されることなく前記第１処理を開始した場合は、その後前記マイクに入力された前記第１音声を認識すると、認識した前記第１音声の内容に基づいて、音声の内容に応じて実行される複数の処理のうちのいずれの処理をするかを判定し、判定結果に基づいて処理を実行する
電子機器。
【請求項２】
前記プロセッサは、
前記所定領域が選択されることなく前記第１処理を開始した場合は、その後前記マイクに入力された前記第１音声を認識すると、認識した前記第１音声の内容に基づいて前記第２処理をするか否かを判定し、
判定結果が否定的であった場合、前記第２処理を実行せず、前記第２処理とは異なる第３処理を実行する
請求項１に記載の電子機器。
【請求項３】
前記プロセッサは、
前記所定領域が選択されることなく前記第１処理を開始した場合は、その後前記第１音声とそれ以外の音声とを含む前記マイクに入力された第２音声を認識すると、前記第３処理をするか否かを判定することなく、前記第２処理を実行する
請求項２に記載の電子機器。
【請求項４】
前記プロセッサは、
前記第１音声の内容が関連付けられた前記所定領域が選択されたことを契機に前記第１処理を開始し、第３音声を認識すると、認識した前記第３音声の内容を前記第１音声の内容が関連付けられた前記所定領域に関連付ける第４処理を実行する
請求項１から３のいずれか一項に記載の電子機器。
【請求項５】
前記第１音声は、前記所定領域が選択された後に前記マイクに入力された音声である
請求項１に記載の電子機器。
【請求項６】
前記プロセッサは、前記所定領域が選択されたことを契機に前記マイクに音声の入力を受け付させる処理を開始する
請求項１から５のいずれか一項に記載の電子機器。
【請求項７】
前記プロセッサは、前記所定領域が選択されても、テキストを入力する入力手段を前記ディスプレイに表示しない
請求項１から６のいずれか一項に記載の電子機器。
【請求項８】
ストレージをさらに備え、
前記第２処理は、前記第１音声が示すテキストの少なくとも一部を含む情報を前記所定領域に関連付けて前記ストレージに記憶させることを含む
請求項１から７のいずれか一項に記載の電子機器。
【請求項９】
前記第２処理は、
前記第１音声が示すテキストの少なくとも一部を含む情報を前記所定領域の内部に表示させることを含む
請求項１から８のいずれか一項に記載の電子機器。
【請求項１０】
前記所定領域は、第１領域および前記第１領域が含む情報と同等の情報を含む第２領域を含み、
前記所定領域が選択されることとは、前記第１領域および前記第２領域の双方が選択されることであり、
前記所定領域が選択されないこととは、前記第１領域も前記第２領域も選択されないことである
請求項１から７のいずれか一項に記載の電子機器。
【請求項１１】
前記第１領域および前記第２領域の双方が選択されることとは、前記第１領域が選択されている間に前記第２領域が選択されることである
請求項１０に記載の電子機器。
【請求項１２】
ストレージをさらに備え、
前記第２処理は、前記第１音声が示すテキストの少なくとも一部を含む情報を前記第１領域と前記第２領域の双方に関連付けて前記ストレージに記憶させることを含む
請求項１０または１１に記載の電子機器。
【請求項１３】
前記第２処理は、
前記第１音声が示すテキストの少なくとも一部を含む情報を前記第１領域および前記第２領域の双方の内部に表示させることを含む
請求項１０から１２のいずれか一項に記載の電子機器。
【請求項１４】
前記第１領域は、カレンダー上で特定の日付の予定を表示する所定領域であり、
前記第２領域は、カレンダー上で前記特定の日付とは別の日付の予定を表示する所定領域である
請求項１２または１３に記載の電子機器。
【請求項１５】
マイクと、
所定領域を表示するディスプレイと、
マイクに入力された音声を認識可能なプロセッサと、を備える電子機器において、
前記プロセッサが、
前記所定領域が選択されたことを契機に前記マイクに入力された音声を認識する第１処理を開始し、その後第１音声を認識すると、認識した前記第１音声の内容を前記所定領域に関連付ける第２処理を実行し、
前記所定領域が選択されることなく前記第１処理を開始した場合は、その後前記マイクに入力された前記第１音声を認識すると、認識した前記第１音声の内容に基づいて、音声の内容に応じて実行される複数の処理のうちのいずれの処理をするかを判定し、判定結果に基づいて処理を実行する
制御方法。
【請求項１６】
マイクと、
所定領域を表示するディスプレイと、
マイクに入力された音声を認識可能なプロセッサと、を備える電子機器において、
前記プロセッサに、
前記所定領域が選択されたことを契機に前記マイクに入力された音声を認識する第１処理を開始し、その後第１音声を認識すると、認識した前記第１音声の内容を前記所定領域に関連付ける第２処理を実行させ、
前記所定領域が選択されることなく前記第１処理を開始した場合は、その後前記マイクに入力された前記第１音声を認識すると、認識した前記第１音声の内容に基づいて、音声の内容に応じて実行される複数の処理のうちのいずれの処理をするかを判定し、判定結果に基づいて処理を実行させる
制御プログラム。
【請求項１７】
前記所定領域は複数の領域であり、
前記プロセッサは、
前記所定領域のいずれもが選択されることなく前記第１処理を開始した場合は、その後前記マイクに入力された前記第１音声を認識すると、認識した前記第１音声の内容に基づいて、認識した前記第１音声の内容を前記所定領域のいずれかに関連付ける第５処理を実行するか否かを判定し、
判定結果が否定的であった場合、前記第５処理を実行せず、前記第５処理とは異なる第３処理を実行する
請求項１に記載の電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、電子機器、制御方法および制御プログラムに関する。
【背景技術】
【０００２】
特定のモードが設定されているときにマイクから入力された音声を認識する音声認識部、音声認識部が認識した音声がタッチ可能オブジェクトを指示するかどうか判断する判断部、および判断部によって音声がタッチ可能オブジェクトを指示すると判断したとき、そのオブジェクトの機能を実行する実行部を備えたタッチスクリーン付情報処理端末が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１２２９８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
電子機器において、音声の認識結果に基づく処理には改善の余地がある。
【課題を解決するための手段】
【０００５】
態様の１つに係る電子機器は、マイクと、所定領域を表示するディスプレイと、マイクに入力された音声を認識可能なプロセッサと、を備える。前記プロセッサは、前記所定領域が選択されたことを契機に前記マイクに入力された音声を認識する第１処理を開始し、その後第１音声を認識すると、認識した前記第１音声の内容を前記所定領域に関連付ける第２処理を実行する。前記プロセッサは、前記所定領域が選択されることなく前記第１処理を開始した場合は、その後前記マイクに入力された前記第１音声を認識すると、認識した前記第１音声の内容に基づいて、音声の内容に応じて実行される複数の処理のうちのいずれの処理をするかを判定し、判定結果に基づいて処理を実行する。
【０００６】
態様の１つに係る制御方法は、マイクと、所定領域を表示するディスプレイと、マイクに入力された音声を認識可能なプロセッサと、を備える電子機器において、前記プロセッサが、前記所定領域が選択されたことを契機に前記マイクに入力された音声を認識する第１処理を開始し、その後第１音声を認識すると、認識した前記第１音声の内容を前記所定領域に関連付ける第２処理を実行し、前記所定領域が選択されることなく前記第１処理を開始した場合は、その後前記マイクに入力された前記第１音声を認識すると、認識した前記第１音声の内容に基づいて、音声の内容に応じて実行される複数の処理のうちのいずれの処理をするかを判定し、判定結果に基づいて処理を実行する。
【０００７】
態様の１つに係る制御プログラムは、マイクと、所定領域を表示するディスプレイと、マイクに入力された音声を認識可能なプロセッサと、を備える電子機器において、前記プロセッサに、前記所定領域が選択されたことを契機に前記マイクに入力された音声を認識する第１処理を開始し、その後第１音声を認識すると、認識した前記第１音声の内容を前記所定領域に関連付ける第２処理を実行させ、前記所定領域が選択されることなく前記第１処理を開始した場合は、その後前記マイクに入力された前記第１音声を認識すると、認識した前記第１音声の内容に基づいて、音声の内容に応じて実行される複数の処理のうちのいずれの処理をするかを判定し、判定結果に基づいて処理を実行させる。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施形態に係る電子機器の外観の一例を示す正面図である。
【図２】図２は、実施形態に係る電子機器の外観の一例を示す側面図である。
【図３】図３は、実施形態に係る電子機器の機能構成の一例を示すブロック図である。
【図４】図４は、実施形態に係る画面表示の例を示す図である。
【図５】図５は、実施形態に係るカレンダーデータの例を示す図である。
【図６】図６は、実施形態に係る画面表示の例を示す図である。
【図７】図７は、実施形態に係る画面表示の例を示す図である。
【図８】図８は、実施形態に係るカレンダーデータの例を示す図である。
【図９】図９は、実施形態に係る画面表示の例を示す図である。
【図１０】図１０は、実施形態に係る画面表示の例を示す図である。
【図１１】図１１は、実施形態に係るカレンダーデータの例を示す図である。
【図１２】図１２は、実施形態に係る画面表示の例を示す図である。
【図１３】図１３は、実施形態に係る画面表示の例を示す図である。
【図１４】図１４は、実施形態に係るカレンダーデータの例を示す図である。
【図１５】図１５は、実施形態に係る画面表示の例を示す図である。
【図１６】図１６は、実施形態に係る電子機器による処理の流れの一例を示すフローチャートである。
【図１７】図１７は、実施形態に係る画面表示の他の例を示す図である。
【図１８】図１８は、実施形態に係る画面表示の他の例を示す図である。
【図１９】図１９は、実施形態に係る画面表示の他の例を示す図である。
【図２０】図２０は、実施形態に係る画面表示の他の例を示す図である。
【発明を実施するための形態】
【０００９】
本出願に係る実施形態を、図面を参照しつつ詳細に説明する。以下の説明において、同様の構成要素について同一の符号を付すことがある。さらに、重複する説明は省略することがある。
【００１０】
図１は、実施形態に係る電子機器１の外観の一例を示す正面図である。図２は、実施形態に係る電子機器１の外観の一例を示す側面図である。図３は、実施形態に係る電子機器１の機能構成の一例を示すブロック図である。電子機器１は、いわゆるスマートディスプレイと呼ばれる機器であってもよい。スマートディスプレイは、機械学習を用いた音声アシスタント機能および表示機能を備えた据え置き型の機器である。ただし、電子機器１は、スマートディスプレイに限定されない。例えば、電子機器１は、いわゆるスマートフォンのような携帯端末、タブレット、ラップトップＰＣ、デスクトップＰＣ、カーナビゲーションシステムを含む。電子機器１は、少なくとも音声入力機能と表示機能を備えるその他の各種機器を含む。電子機器１は、特定のアプリケーションソフトウェアを実行させるための専用端末であってもよい。専用端末は、電子カレンダーを含む。特定のアプリケーションソフトウェアは、カレンダーアプリケーションを含む。
【００１１】
図１に示すように、実施形態に係る電子機器１は、楕円半球状の本体１Ａと、本体１Ａが載置される基台１Ｂとを備える。本体１Ａには、ユーザと対面する側にタッチスクリーンディスプレイ２と、照度センサ４と、近接センサ５と、マイク８とが設けられる。
【００１２】
図３に例示する電子機器１は、タッチスクリーンディスプレイ２と、ボタン３と、照度センサ４と、近接センサ５と、通信ユニット６と、スピーカ７と、マイク８と、ストレージ９と、プロセッサ１０と、コネクタ１１とを含む。
【００１３】
タッチスクリーンディスプレイ２は、ディスプレイ２Ａと、タッチスクリーン２Ｂとを有する。ディスプレイ２Ａ及びタッチスクリーン２Ｂは、例えば、重なって位置してよいし、並んで位置してよいし、離れて位置してよい。ディスプレイ２Ａとタッチスクリーン２Ｂとが重なって位置する場合、例えば、ディスプレイ２Ａの１ないし複数の辺は、タッチスクリーン２Ｂのいずれの辺とも沿っていなくてもよい。
【００１４】
ディスプレイ２Ａは、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、有機ＥＬディスプレイ（ＯＥＬＤ：Ｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ  Ｄｉｓｐｌａｙ）、又は無機ＥＬディスプレイ（ＩＥＬＤ：Ｉｎｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ  Ｄｉｓｐｌａｙ）等の表示デバイスを含む。ディスプレイ２Ａは、文字、写真、動画、記号、図形、所定領域等の画像を画面内に表示する。
【００１５】
タッチスクリーン２Ｂは、タッチスクリーン２Ｂに対する指、ペン、又はスタイラスペン等の接触又は近接を検出する。タッチスクリーン２Ｂは、複数の指、ペン、又はスタイラスペン等がタッチスクリーン２Ｂに接触又は近接したときのタッチスクリーン２Ｂ上の位置を検出することができる。以下の説明において、タッチスクリーン２Ｂが検出する複数の指、ペン、及びスタイラスペン等がタッチスクリーン２Ｂに接触又は近接した位置を「検出位置」と表記する。タッチスクリーン２Ｂは、タッチスクリーン２Ｂに対する指の接触又は近接を、検出位置とともにプロセッサ１０に通知する。タッチスクリーン２Ｂは、検出位置の通知をもって接触又は近接の検出をプロセッサ１０に通知してよい。タッチスクリーン２Ｂが行える動作を、タッチスクリーン２Ｂを有するタッチスクリーンディスプレイ２は実行できる。言い換えると、タッチスクリーン２Ｂが行う動作は、タッチスクリーンディスプレイ２が行ってもよい。
【００１６】
プロセッサ１０は、タッチスクリーン２Ｂにより検出された接触又は近接、検出位置、検出位置の変化、接触又は近接が継続した時間、接触又は近接が検出された間隔、及び接触が検出された回数の少なくとも１つに基づいて、ジェスチャの種別を判別する。プロセッサ１０が行える動作を、プロセッサ１０を有する電子機器１は実行できる。言い換えると、プロセッサ１０が行う動作は、電子機器１が行ってもよい。ジェスチャは、指を用いて、タッチスクリーン２Ｂに対して行われる操作である。タッチスクリーン２Ｂに対して行われる操作は、タッチスクリーン２Ｂを有するタッチスクリーンディスプレイ２により行われてもよい。プロセッサ１０が、タッチスクリーン２Ｂを介して判別するジェスチャには、例えば、タッチ、ロングタッチ、リリース、スワイプ、タップ、ダブルタップ、ロングタップ、ドラッグ、フリック、ピンチイン、及びピンチアウトが含まれるが、これらに限定されない。
【００１７】
プロセッサ１０は、タッチスクリーン２Ｂを介して判別するこれらのジェスチャに従って動作を行う。このため、ユーザにとって直感的で使いやすい操作性が実現される。判別されるジェスチャに従ってプロセッサ１０が行う動作は、ディスプレイ２Ａに表示されている画面に応じて異なることがある。
【００１８】
実施形態において、プロセッサ１０は、例えば、タッチスクリーン２Ｂにより検出された接触位置に基づいて、ディスプレイ２Ａに表示されているカレンダーの操作箇所を特定し、カレンダーに対する入力操作処理を実行できる。
【００１９】
タッチスクリーン２Ｂの検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式、赤外線方式、及び荷重検出方式等の任意の方式でよい。
【００２０】
ボタン３は、ユーザからの操作入力を受け付ける。ボタン３の数は、任意の数であってよい。プロセッサ１０はボタン３と協働することによってボタン３に対する操作を検出する。ボタン３に対する操作は、例えば、クリック、ダブルクリック、トリプルクリック、プッシュ、及びマルチプッシュを含むが、これらに限定されない。ボタン３は、例えばメニューボタン、パワーオンボタン、パワーオフボタン（電源ボタン）、リセットボタンなどの各種機能が割り当てられてよい。ボタン３は、音声入力の処理を実行させる機能が割り当てられてよい。
【００２１】
照度センサ４は、照度を検出する。照度は、照度センサ４の測定面の単位面積に入射する光束の値である。照度センサ４は、例えば、ディスプレイ２Ａの輝度の調整に用いられる。
【００２２】
近接センサ５は、近隣の物体の存在を非接触で検出する。近接センサ５は、赤外線を照射する発光素子と、発光素子から照射された赤外線の反射光を受光する受光素子を有する。照度センサ４及び近接センサ５は、１つのセンサとして構成されていてもよい。
【００２３】
通信ユニット６は、無線により通信する。通信ユニット６によってサポートされる無線通信規格には、例えば、２Ｇ、３Ｇ、４Ｇ、５Ｇ等のセルラーフォンの通信規格と、近距離無線の通信規格とが含まれる。セルラーフォンの通信規格としては、例えば、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）、Ｗ−ＣＤＭＡ（登録商標）（Ｗｉｄｅｂａｎｄ  Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）、ＣＤＭＡ２０００、ＰＤＣ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ｃｅｌｌｕｌａｒ）、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍｏｂｉｌｅ  ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＰＨＳ（Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙ−ｐｈｏｎｅ  Ｓｙｓｔｅｍ）等がある。
【００２４】
通信ユニット６によってサポートされる近距離無線の通信規格としては、例えば、ＷｉＭＡＸ（登録商標）（Ｗｏｒｌｄｗｉｄｅ  ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ  ｆｏｒ  Ｍｉｃｒｏｗａｖｅ  Ａｃｃｅｓｓ）、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ  Ｄａｔａ  Ａｓｓｏｃｉａｔｉｏｎ）、ＮＦＣ（登録商標）（Ｎｅａｒ  Ｆｉｅｌｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＷＰＡＮ（Ｗｉｒｅｌｅｓｓ  Ｐｅｒｓｏｎａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等が含まれる。通信ユニット６は、上述した通信規格の１つ又は複数をサポートしていてもよい。
【００２５】
通信ユニット６は、スマートフォン、タブレット、デジタルカメラ、クラウドストレージなどの外部機器との通信を行って各種データのやり取りを実現できる。
【００２６】
スピーカ７は、プロセッサ１０からの音信号を音として出力する。マイク８は、入力されるユーザの声等を音信号へ変換してプロセッサ１０へ送信する。
【００２７】
ストレージ９は、プログラム及びデータを記憶する。ストレージ９は、プロセッサ１０の処理結果を一時的に記憶する作業領域として利用されてもよい。ストレージ９は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）な記憶媒体を含んでよい。ストレージ９は、複数の種類の記憶媒体を含んでよい。ストレージ９は、メモリカード、光ディスク、又は光磁気ディスク等の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。ストレージ９は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
【００２８】
ストレージ９に記憶されるプログラムには、フォアグランド又はバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する基本プログラムとが含まれる。アプリケーションは、例えば、フォアグランドで実行される場合、当該アプリケーションに係る画面を、ディスプレイ２Ａに表示する。基本プログラムは、例えば、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）、及びファームウェアなどを含んでよい。プログラムは、通信ユニット６による無線通信又は非一過的な記憶媒体を介してストレージ９にインストールされてもよい。
【００２９】
ストレージ９は、制御プログラム９Ａ、カレンダーデータ９Ｂ、音声認識用データ９Ｃ、及び設定データ９Ｚなどを記憶できる。
【００３０】
ストレージ９に記憶されるプログラムは、電子機器１の各種動作に関する処理を実現するための機能をそれぞれ提供できる。制御プログラム９Ａが提供する機能は、照度センサ４の検出結果に基づいて、ディスプレイ２Ａの輝度を調整する機能を含む。制御プログラム９Ａが提供する機能は、近接センサ５の検出結果に基づいて、タッチスクリーン２Ｂに対する操作を無効とする機能を含む。制御プログラム９Ａが提供する機能は、コネクタ１１を介して接続される外部機器との間の通信を制御する機能を含む。制御プログラム９Ａが提供する機能は、タッチスクリーン２Ｂの検出結果に基づいて判別したジェスチャに応じて、ディスプレイ２Ａに表示されている情報を変更する等の各種制御を行う機能を含む。
【００３１】
実施形態に係る制御プログラム９Ａは、実施形態に係る電子機器１に特有の処理を実現するための各種機能を提供できる。制御プログラム９Ａは、専用に作成されたアプリケーション、あるいは既存プログラムに対するアドオンなどで実装されてもよい。
【００３２】
制御プログラム９Ａは、所定領域が選択されたことを契機にマイク８に入力された音声を認識する第１処理を開始し、その後第１音声を認識すると、認識した第１音声の内容を所定領域に関連付ける第２処理を実行する機能を提供できる。また、制御プログラム９Ａは、所定領域が選択されることなく第１処理を開始した場合は、その後マイク８に入力された第１音声を認識すると、認識した第１音声の内容に基づいて、音声の内容に応じて実行される複数の処理のうちのいずれの処理をするかを判定し、判定結果に基づいて処理を実行する機能を提供できる。
【００３３】
第１音声は、所定領域が選択された後にマイク８に入力された音声を含む。第２処理は、第１音声が示すテキストの少なくとも一部を含む情報、すなわち第１音声の内容を含む情報を所定領域に関連付けてストレージ９に記憶させることを含む。また、第２処理は、第１音声が示すテキストの少なくとも一部を含む情報、すなわち第１音声の内容を含む情報を所定領域の内部に表示させることを含む。所定領域は、所定の範囲を有する。所定領域は、ディスプレイ２Ａ上の他の領域と視覚的に区別されてもよい。所定領域は、線分または色によってディスプレイ２Ａ上の他の領域と区別されてもよい。所定領域は、図形やオブジェクトで構成され、それによりディスプレイ２Ａ上の他の領域と区別されてもよい。所定領域は、例えば、タッチスクリーンディスプレイ２に表示されるカレンダー上で特定の日付の予定を表示する領域であってよい。
【００３４】
また、制御プログラム９Ａは、所定領域が選択されることなく第１処理を開始した場合は、その後マイク８に入力された第１音声を認識すると、認識した第１音声の内容に基づいて第２処理をするか否かを判定し、判定結果が否定的であった場合、第２処理を実行せず、第２処理とは異なる第３処理を実行する機能を提供できる。判定結果が否定的であった場合として、第１音声の内容に第２処理の実行を意図するキーワード、品詞、文構造、文章、文脈などを含まない場合が例示される。例えば、入力音声の認識結果が「６月１日飲み会を予定に登録して」であるとき、例えば、「予定」および「登録」のように、第２処理の実行をユーザが意図しているものと推定されるキーワードを含むので、第２処理を実行するか否かの判定結果は肯定的な結果となり得る。一方、入力音声の認識結果が「６月１日飲み会」であるとき、入力音声の認識結果にキーワードを含まず、ユーザの意図が漠然としているので、第２処理を実行するか否かの判定結果は否定的な結果となり、例えば、インターネット検索など、第２処理とは異なる第３処理を実行する。第２処理の実行を意図するキーワード、品詞、文構造、文章、文脈などは、予めストレージ９に記憶されていてもよい。また、第２処理の実行を意図するキーワード、品詞、文構造、文章、文脈などは、機械学習技術を用いることにより、電子機器１内またはネットワーク上で増減が適切に制御されてもよい。第３処理は、マイク８に入力された音声の認識結果に基づいて実行可能な各種処理を含み、例えば、インターネット検索、音楽などのコンテンツ再生などが例示される。
【００３５】
また、制御プログラム９Ａは、所定領域が選択されることなく第１処理を開始した場合は、その後第１音声とそれ以外の音声とを含むマイク８に入力された第２音声を認識すると、第３処理をするか否かを判定することなく、第２処理を実行する機能を提供できる。すなわち、制御プログラム９Ａは、所定領域が選択されることなく第１処理を開始した場合、例えば、入力音声の認識結果が「６月１日飲み会を予定に登録して」であるとき、インターネット検索などの処理を行うか否かを判定することなく、第２処理を実行する機能を提供できる。所定領域は複数の領域であってもよく、制御プログラム９Ａは、所定領域のいずれもが選択されることなく第１処理を開始した場合は、その後マイクに入力された第１音声を認識すると、認識した第１音声の内容に基づいて、認識した第１音声の内容を所定領域のいずれかに関連付ける第５処理を実行するか否かを判定し、判定結果が否定的であった場合、第５処理を実行せず、第５処理とは異なる第３処理を実行する機能を提供できる。すなわち、制御プログラム９Ａは、複数ある所定の領域のいずれもが選択されることなく、音声認識を開始した場合、まず、音声認識結果に基づいて所定の領域のいずれかに関連付けを行うかを判定する機能を提供することもできる。
【００３６】
また、制御プログラム９Ａは、第１音声の内容が関連付けられた所定領域が選択されたことを契機に第１処理を開始し、第３音声を認識すると、認識した第３音声の内容を第１音声の内容が関連付けられた所定領域に関連付ける第４処理を実行する機能を提供できる。第４処理は、第１音声の内容が関連付けられた所定領域に対して、第３音声が示すテキストの少なくとも一部を含む情報、すなわち第３音声の内容を含む情報を追加で関連付けてストレージ９に記憶させることを含む。また、第４処理は、第３音声が示すテキストの少なくとも一部を含む情報、すなわち第３音声の内容を含む情報を、第１音声の内容が関連付けられた所定領域の内部に追加して表示させることを含む。
【００３７】
また、制御プログラム９Ａは、所定領域が選択されたことを契機にマイク８に音声の入力を受け付させる処理を開始する機能を提供できる。
【００３８】
また、制御プログラム９Ａは、所定領域が選択されても、テキストを入力する入力手段をディスプレイ２Ａに表示しない機能を提供できる。入力手段は、例えば、ディスプレイ２Ａに文字入力操作などが可能な状態で表示されるソフトウェアキーボードなどの入力インタフェースを含む。
【００３９】
所定領域は、第１領域および第１領域が含む情報と同等の情報を含む第２領域を含んでよい。
【００４０】
所定領域が選択されることは、第１領域および第２領域の双方が選択されることを含んでよい。所定領域が選択されないことは、第１領域も第２領域も選択されないことを含んでよい。
【００４１】
第１領域および第２領域の双方が選択されることは、第１領域が選択されている間に第２領域が選択されることを含んでよい。
【００４２】
第２処理は、第１音声が示すテキストの少なくとも一部を含む情報を第１領域と第２領域の双方に関連付けてストレージ９に記憶させることを含んでよい。
【００４３】
第２処理は、第１音声が示すテキストの少なくとも一部を含む情報を第１領域および第２領域の双方の内部に表示させることを含んでよい。
【００４４】
第１領域は、カレンダー上で特定の日付の予定を表示する領域であってよい。第２領域は、カレンダー上で特定の日付とは別の日付の予定を表示する領域であってよい。
【００４５】
カレンダーデータ９Ｂは、カレンダー表示に関する各種データである。カレンダーデータ９Ｂは、例えば、ユーザによりカレンダーに入力されたカレンダー登録事項の情報と、カレンダー登録事項が予定されるカレンダー上の年月日の情報とを対応付けて記録できる。カレンダーデータ９Ｂは、カレンダー登録事項の共有先の情報（例えば、家族）などの他の情報を含んで構成されてもよい。カレンダーデータ９Ｂは、カレンダー入力用の専用のユーザインタフェースを介して設定されてよい。専用のユーザインタフェースは、例えば、ユーザによりカレンダーに対する入力操作が行われる時に起動されてよい。カレンダーデータ９Ｂは、通信ユニット６を介して外部機器から取得されてもよい。
【００４６】
音声認識用データ９Ｃは、マイク８を介して入力されるユーザの音声を認識するためのデータである。
【００４７】
設定データ９Ｚは、電子機器１の動作に関する各種設定の情報を含む。設定データ９Ｚは、制御プログラム９Ａが実行する各種処理に用いるデータを含む。
【００４８】
電子機器１は、通信ユニット６を介してクラウドストレージと連携し、当該クラウドストレージが記憶するファイル及びデータにアクセスしてもよい。クラウドストレージは、ストレージ９に記憶されるプログラム及びデータの一部又は全部を記憶してもよい。
【００４９】
プロセッサ１０は演算処理装置を含む。演算処理装置は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−Ｃｈｉｐ）、ＭＣＵ（Ｍｉｃｒｏ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、およびコプロセッサを含むが、これらに限定されない。プロセッサ１０は、電子機器１の動作を統括的に制御して各種の機能を実現する。
【００５０】
具体的には、プロセッサ１０は、ストレージ９に記憶されているデータを必要に応じて参照しつつ、ストレージ９に記憶されているプログラムに含まれる命令を実行する。そして、プロセッサ１０は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、ディスプレイ２Ａ、通信ユニット６、スピーカ７、マイク８などを含むが、これらに限定されない。プロセッサ１０は、検出部の検出結果に応じて、制御を変更することがある。検出部は、例えば、タッチスクリーン２Ｂ、ボタン３、照度センサ４、近接センサ５、マイク８などを含むが、これらに限定されない。
【００５１】
プロセッサ１０は、ストレージ９に記憶されるプログラムを実行することにより、電子機器１の動作に関する各種制御を実現できる。プロセッサ１０は、例えば、照度センサ４の検出結果に基づいて、ディスプレイ２Ａの輝度を調整できる。プロセッサ１０は、例えば、近接センサ５の検出結果に基づいて、タッチスクリーン２Ｂに対する操作を無効にできる。プロセッサ１０は、例えば、コネクタ１１を介して接続される外部機器との間の通信を制御できる。プロセッサ１０は、例えば、タッチスクリーン２Ｂの検出結果に基づいて判別したジェスチャに応じて、ディスプレイ２Ａに表示されている情報を変更する等の各種制御を実行できる。
【００５２】
プロセッサ１０は、上記各種制御の他、制御プログラム９Ａを実行することにより、電子機器１の特有の処理を実現できる。例えば、プロセッサ１０は、所定領域が選択されたことを契機にマイク８に入力された音声を認識する第１処理を開始し、その後第１音声を認識すると、認識した第１音声の内容を所定領域に関連付ける第２処理を実現できる。第１音声は、所定領域が選択された後にマイク８に入力された音声を含む。第２処理は、第１音声が示すテキストの少なくとも一部を含む情報を所定領域に関連付けてストレージ９に記憶させること、及び第１音声が示すテキストの少なくとも一部を含む情報を所定領域の内部に表示させることを含む。
【００５３】
また、プロセッサ１０は、所定領域が選択されることなく第１処理を開始した場合は、その後マイク８に入力された第１音声を認識すると、認識した第１音声の内容に基づいて、音声の内容に応じて実行される複数の処理のうちのいずれの処理をするかを判定し、判定結果に基づく処理を実現できる。例えば、プロセッサ１０は、所定領域が選択されることなく第１処理を開始した場合は、その後マイク８に入力された第１音声を認識すると、認識した第１音声の内容に基づいて第２処理をするか否かを判定し、判定結果が否定的であった場合、第２処理を実行せず、第２処理とは異なる第３処理を実現できる。第３処理は、マイク８に入力された音声の認識結果に基づいて、インターネット上のウェブページなどを検索する処理を含む。
【００５４】
また、プロセッサ１０は、所定領域が選択されることなく第１処理を開始した場合は、その後第１音声とそれ以外の音声とを含むマイク８に入力された第２音声を認識すると、第３処理をするか否かを判定することなく、第２処理を実現できる。また、所定領域は複数の領域であってもよく、プロセッサ１０は、所定領域のいずれもが選択されることなく第１処理を開始した場合は、その後マイクに入力された第１音声を認識すると、認識した第１音声の内容に基づいて、認識した第１音声の内容を所定領域のいずれかに関連付ける第５処理を実行するか否かを判定し、判定結果が否定的であった場合、第５処理を実行せず、第５処理とは異なる第３処理を実現できる。
【００５５】
また、プロセッサ１０は、第１音声の内容が関連付けられた所定領域が選択されたことを契機に第１処理を開始し、第３音声を認識すると、認識した第３音声の内容を第１音声の内容が関連付けられた所定領域に関連付ける第４処理を実現できる。第４処理は、第１音声の内容が関連付けられた所定領域に対して、第３音声が示すテキストの少なくとも一部を含む情報を追加で関連付けてストレージ９に記憶させること、並びに第３音声が示すテキストの少なくとも一部を含む情報を、第１音声の内容が関連付けられた所定領域の内部に表示させることを含む。
【００５６】
また、プロセッサ１０は、所定領域が選択されたことを契機にマイク８に音声の入力を受け付させる処理を開始できる。
【００５７】
また、プロセッサ１０は、所定領域が選択されても、テキストを入力する入力手段をディスプレイ２Ａに表示させない処理を実現できる。入力手段は、例えば、ディスプレイ２Ａに文字入力操作などが可能な状態で表示されるソフトウェアキーボードなどの入力インタフェースを含む。
【００５８】
制御プログラム９Ａを実行することより、プロセッサ１０により実現される電子機器１に特有の処理において、所定領域は、第１領域および第１領域が含む情報と同等の情報を含む第２領域を含んでよい。
【００５９】
制御プログラム９Ａを実行することより、プロセッサ１０により実現される電子機器１に特有の処理において、所定領域が選択されることは、第１領域および第２領域の双方が選択されることを含んでよい。
【００６０】
制御プログラム９Ａを実行することより、プロセッサ１０により実現される電子機器１に特有の処理において、所定領域が選択されないことは、第１領域も第２領域も選択されないことを含んでよい。
【００６１】
制御プログラム９Ａを実行することより、プロセッサ１０により実現される電子機器１に特有の処理において、第１領域および第２領域の双方が選択されることは、第１領域が選択されている間に第２領域が選択されることを含んでよい。
【００６２】
制御プログラム９Ａを実行することより、プロセッサ１０により実現される電子機器１に特有の処理において、第２処理は、第１音声が示すテキストの少なくとも一部を含む情報を第１領域と第２領域の双方に関連付けてストレージ９に記憶させることを含んでよい。また、第２処理は、第１音声が示すテキストの少なくとも一部を含む情報を第１領域および第２領域の双方の内部に表示させることを含んでよい。
【００６３】
制御プログラム９Ａを実行することより、プロセッサ１０により実現される電子機器１に特有の処理において、第１領域は、カレンダー上で特定の日付の予定を表示する領域であってよい。また、第２領域は、カレンダー上で特定の日付とは別の日付の予定を表示する領域であってよい。
【００６４】
コネクタ１１は、他の装置が接続される端子である。コネクタ１１は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）、ＭＨＬ（Ｍｏｂｉｌｅ  Ｈｉｇｈ−ｄｉｆｉｎｉｔｉｏｎ  Ｌｉｎｋ）、ライトピーク（Ｌｉｇｈｔ  Ｐｅａｋ）、サンダーボルト（登録商標）（Ｔｈｕｎｄｅｒｂｏｌｔ）、ＬＡＮコネクタ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ  ｃｏｎｎｅｃｔｏｒ）、イヤホンマイクコネクタのような汎用的な端子であってもよい。コネクタ１１は、Ｄｏｃｋコネクタのような専用に設計された端子でもよい。コネクタ１１に接続される装置は、例えば、飛行体、充電器、外部ストレージ、スピーカ７、通信装置、及び情報処理装置を含むが、これらに限定されない。
【００６５】
図４から図１５を用いて、実施形態に係る電子機器１に特有の処理の一例を説明する。図４、図６、図７、図９、図１０、図１２、図１３、図１５は、実施形態に係る画面表示の例を示す図である。図５、図８、図１１、図１４は、実施形態に係るカレンダーデータ９Ｂの例を示す図である。
【００６６】
図４に例示するように、電子機器１は、タッチスクリーンディスプレイ２にカレンダー画像２１を表示する（ＳＣ４１）。カレンダー画像２１において日付２１Ｄを表示する領域２１Ａは、ユーザ１００により選択された日付の内部に、ユーザ１００により入力された予定を表示できる。ユーザ１００は、タッチ操作などの操作入力によって、カレンダー画像２１上の任意の日付に予定の入力を行うことができる。ユーザ１００は、音声入力によって、カレンダー画像２１上の任意の日付に予定の入力を行うこともできる。
【００６７】
電子機器１は、カレンダー画像２１において、例えば、「６月１日」に対応する領域ＯＢ１が選択されると、領域ＯＢ１が選択されたことを契機としてマイク８に入力された入力音声の認識処理を開始する（ＳＣ４２）。電子機器１は、領域ＯＢ１が選択されたことを契機として、予定の入力を行うキーボードなどの入力インタフェースをタッチスクリーンディスプレイ２に表示させないようにしてよい。
【００６８】
電子機器１は、音声認識の結果、入力音声の内容が「飲み会」であると認識すると、ユーザ１００により選択された領域ＯＢ１に、入力音声の内容を示す「飲み会」を関連付ける処理を実行する。図４に例示する電子機器１が実行する処理は、ユーザ１００により選択された領域ＯＢ１に割り当てられている表示領域の内部に入力音声の内容を示す「飲み会」の画像Ｇ１を表示させる処理（図４のＳＣ４３）を含む。また、図４に例示する電子機器１が実行する処理は、ユーザ１００により選択された領域ＯＢ１に関連付けて入力音声の内容をストレージ９に記憶する処理を含む。具体的には、図５に例示するように、電子機器１は、領域ＯＢ１に対応する日付「６月１日」に対応付けて、入力音声の内容を示す「飲み会」の文字データＤ１を記憶することにより、カレンダーデータ９Ｂを更新する。入力音声の内容を示す「飲み会」は、「第１音声」が示すテキスト、すなわち第１音声の内容の一例である。
【００６９】
また、図６に例示するように、電子機器１は、タッチスクリーンディスプレイ２にカレンダー画像２１を表示した後（ＳＣ６１）、所定の条件を満足する場合、カレンダー画像２１上の所定領域が選択されていなくても、マイク８に入力された入力音声の認識処理を開始する（ＳＣ６２）。電子機器１は、例えば、マイク８に入力される音声トリガーの検出、音声入力用に電子機器１に設けられたボタン（不図示）操作の検出、タッチスクリーンディスプレイ２に対する所定のタッチジェスチャの検出があった場合、所定の条件を満足したものと判定して、音声の認識処理を開始できる。
【００７０】
電子機器１は、音声認識の結果、入力音声の内容が「６月１日飲み会」であると認識すると、認識結果に基づいて、音声の内容に応じて実行される複数の処理のうちのいずれの処理をするかを判定する。音声の内容に応じて実行される複数の処理とは、入力音声の内容を「６月１日」に対応する領域ＯＢ１に関連付ける処理の他、例えばインターネット検索、メール送信、タイマーの設定、音楽などのコンテンツ再生などを含む。電子機器１は、入力音声の内容に、それぞれの処理に対応するキーワードのいずれもが含まれない場合に、所定の処理を実行する。所定の処理はインターネット検索、または音声指示の内容が理解できない旨を示すメッセージの表示などであってもよい。図６に例示するように、電子機器１は、音声認識の結果、入力音声の内容が「６月１日飲み会」であると認識すると、認識結果に基づいて、入力音声の内容に、複数の処理のそれぞれに対応するキーワードが含まれるか否かを判定する。電子機器１は、入力音声の内容に、複数の処理のそれぞれに対応するキーワードのいずれもが含まれないと判定すると、インターネット検索を実行し、「６月１日飲み会」のインターネット検索を実行中であることを示すメッセージＭ１をタッチスクリーンディスプレイ２に表示する（ＳＣ６３）。インターネット検索完了後、電子機器１は、検索結果を示す画像２２をタッチスクリーンディスプレイ２に表示する（ＳＣ６４）。より具体的には、例えば、電子機器１は、音声認識の結果、入力音声の内容が「６月１日飲み会」であると認識すると、認識結果に基づいて、入力音声の内容を「６月１日」に対応する領域ＯＢ１に関連付ける処理を実行するか否かを判定する。電子機器１が、例えば、入力音声の内容にキーワードが含まれないことを根拠として、入力音声の内容を「６月１日」に対応する領域ＯＢ１に関連付ける処理を実行しないという否定的な判定結果を導出したと仮定すると、電子機器１は、例えば、「６月１日飲み会」についてインターネット検索を実行し、「６月１日飲み会」のインターネット検索を実行中であることを示すメッセージＭ１をタッチスクリーンディスプレイ２に表示する（ＳＣ６３）。インターネット検索完了後、電子機器１は、検索結果を示す画像２２をタッチスクリーンディスプレイ２に表示する（ＳＣ６４）。入力音声の内容を示す「６月１日飲み会」は、「第１音声」が示すテキスト、すなわち第１音声の内容の一例である。
【００７１】
また、図７に例示するように、電子機器１は、「６月１日」に対応する領域ＯＢ１に「飲み会」の画像Ｇ１が既に関連付けられた状態のカレンダー画像２１をタッチスクリーンディスプレイ２に表示する（ＳＣ７１）。
【００７２】
電子機器１は、「飲み会」の画像Ｇ１が関連付けられている領域ＯＢ１が選択されると、領域ＯＢ１が選択されたことを契機としてマイク８に入力された入力音声の認識処理を開始する（ＳＣ７２）。
【００７３】
電子機器１は、音声認識の結果、入力音声の内容が「１９時から２１時」であると認識すると、「飲み会」の画像Ｇ１が既に関連付けられている領域ＯＢ１に対して、入力音声の内容を示す「１９時から２１時」を関連付ける処理を実行する。図７に例示する電子機器１が実行する処理は、ユーザ１００により選択された領域ＯＢ１に割り当てられている表示領域の内部に入力音声の内容を示す「１９時から２１時」の画像Ｇ２を表示させる処理（ＳＣ７３）を含む。
【００７４】
また、図７に例示する電子機器１が実行する処理は、ユーザ１００により選択された領域ＯＢ１に関連付けて入力音声の内容をストレージ９に記憶する処理を含む。具体的には、図８に例示するように、カレンダーデータ９Ｂには、図４に示す処理によって領域ＯＢ１に対応する日付「６月１日」と「飲み会」の文字データＤ１とが対応付けて記憶されている。電子機器１は、図７に示す処理により、領域ＯＢ１に対応する日付「６月１日」に対応付けて、さらに、入力音声の内容を示す「１９時から２１時」の文字データＤ２を記憶することにより、カレンダーデータ９Ｂを更新する。入力音声の内容を示す「１９時から２１時」は、「第３音声」が示すテキスト、すなわち第３音声の内容の一例である。
【００７５】
また、図９に例示すように、電子機器１は、タッチスクリーンディスプレイ２にカレンダー画像２１を表示した後（ＳＣ９１）、所定の条件を満足する場合、カレンダー画像２１上の所定領域が選択されていなくても、マイク８に入力された入力音声の認識処理を開始する（ＳＣ９２）。電子機器１は、例えば、マイク８に入力される音声トリガーの検出、音声入力用に電子機器１に設けられたボタン（不図示）操作の検出、タッチスクリーンディスプレイ２に対する所定のタッチジェスチャの検出があった場合、所定の条件を満足したものと判定して、音声の認識処理を開始できる。
【００７６】
電子機器１は、音声認識の結果、入力音声の内容が「６月１日に飲み会をスケジュールに入力して」であると認識すると、認識結果に基づいて、「６月１日」に対応する領域ＯＢ１に関連付ける処理を実行するか否かを判定する。電子機器１が、例えば、入力音声の内容に、「スケジュール」及び「入力」などのキーワードが含まれることを根拠として、入力音声の内容を「６月１日」に対応する領域ＯＢ１に関連付ける処理を実行するという肯定的な判定結果を導出したと仮定すると、電子機器１は、領域ＯＢ１に、入力音声の内容を示す「飲み会」を関連付ける処理を実行する（ＳＣ９３）。関連付ける処理の内容は、上述した図４の処理と同様である。入力音声の内容を示す「６月１日に飲み会をスケジュールに入力して」は、「第１音声とそれ以外の音声とを含む第２音声」が示すテキスト、すなわち第２音声の内容の一例である。
【００７７】
電子機器１は、カレンダー画像２１上で、ユーザ１００により選択される複数の日付に跨った予定を表示させることもできる。図１０に例示するように、電子機器１は、例えば、「６月９日」に対応する領域ＯＢ２と「６月１０日」に対応する領域ＯＢ３とが連続して選択されると、領域ＯＢ２及びＯＢ３が選択されたことを契機としてマイク８に入力された入力音声の認識処理を開始する（ＳＣ１０１）。領域ＯＢ２は「第１領域」の一例であり、領域ＯＢ３は「第２領域」の一例である。
【００７８】
電子機器１は、音声認識の結果、入力音声の内容が「旅行」であると認識すると、ユーザ１００により選択された領域ＯＢ２及びＯＢ３に、入力音声の内容を示す「旅行」を関連付ける処理を実行する。図１０に例示する電子機器１が実行する処理は、ユーザ１００により選択された領域ＯＢ２及びＯＢ３に割り当てられている表示領域の内部に入力音声の内容を示す「旅行」の画像Ｇ３を表示させる処理（図１０のＳＣ１０１）を含む。入力音声の内容を示す「旅行」の画像Ｇ３は、ユーザ１００により選択された領域ＯＢ２及びＯＢ３に対応する「６月９日から６月１０日」の日付を指定するように表示される。
【００７９】
また、図１０に例示する電子機器１が実行する処理は、ユーザ１００により選択された領域ＯＢ２及びＯＢ３に関連付けて入力音声の内容をストレージ９に記憶する処理を含む。具体的には、図１１に例示するように、電子機器１は、領域ＯＢ２に対応する日付「６月９日」に対応付けて入力音声の内容を示す「旅行」の文字データＤ３を記憶するとともに、領域ＯＢ３に対応する日付「６月１０日」に対応付けてと入力音声の内容を示す「旅行」の文字データＤ４とを対応付けて記憶することにより、カレンダーデータ９Ｂを更新する。入力音声の内容を示す「旅行」は、「第１音声」が示すテキスト、すなわち第１音声の内容の一例である。
【００８０】
また、電子機器１は、図１２に例示するように、所定の条件を満足する場合、カレンダー画像２１上の所定領域が選択されていなくても、マイク８に入力された入力音声の認識処理を開始する（ＳＣ１２１）。電子機器１は、例えば、マイク８に入力される音声トリガーの検出、音声入力用に電子機器１に設けられたボタン（不図示）操作の検出、タッチスクリーンディスプレイ２に対する所定のタッチジェスチャの検出があった場合、所定の条件を満足したものと判定して、音声の認識処理を開始できる。
【００８１】
電子機器１は、音声認識の結果、入力音声の内容が「旅行」であると認識すると、認識結果に基づいて、音声の内容に応じて実行される複数の処理のうちのいずれの処理をするかを判定する。音声の内容に応じて実行される複数の処理とは、入力音声の内容をカレンダー画像２１に含まれる所定領域のいずれかに関連付ける処理の他、例えばインターネット検索、メール送信、タイマーの設定、音楽などのコンテンツ再生などを含む。電子機器１は、入力音声の内容に、それぞれの処理に対応するキーワードのいずれもが含まれない場合に、所定の処理を実行する。所定の処理はインターネット検索、または音声指示の内容が理解できない旨を示すメッセージの表示などであってもよい。図１２に例示するように、電子機器１は、音声認識の結果、入力音声の内容が「旅行」であると認識すると、認識結果に基づいて、入力音声の内容に、複数の処理のそれぞれに対応するキーワードが含まれるか否かを判定する。電子機器１は、入力音声の内容に、複数の処理のそれぞれに対応するキーワードのいずれもが含まれないと判定すると、インターネット検索を実行し、「旅行」のインターネット検索を実行中であることを示すメッセージＭ２をタッチスクリーンディスプレイ２に表示する（ＳＣ１２２）。インターネット検索完了後、電子機器１は、検索結果を示す画像２３をタッチスクリーンディスプレイ２に表示する（ＳＣ１２３）。より具体的には、例えば、電子機器１は、音声認識の結果、入力音声の内容が「旅行」であると認識すると、認識結果に基づいて、入力音声の内容を、カレンダー画像２１に含まれる所定領域のいずれかに関連付ける処理を実行するか否かを判定する。電子機器１が、例えば、入力音声の内容にキーワードが含まれないことを根拠として、入力音声の内容をカレンダー画像２１に含まれる領域に関連付ける処理を実行しないという否定的な判定結果を導出したと仮定すると、電子機器１は、例えば、「旅行」についてインターネット検索を実行し、「旅行」のインターネット検索を実行中であることを示すメッセージＭ２をタッチスクリーンディスプレイ２に表示する（ＳＣ１２２）。インターネット検索完了後、電子機器１は、検索結果を示す画像２３をタッチスクリーンディスプレイ２に表示する（ＳＣ１２３）。
【００８２】
また、電子機器１は、図１３に例示するように、タッチスクリーンディスプレイ２に表示されるカレンダー画像２１において、「旅行」の画像Ｇ３が既に関連付けられた状態の領域ＯＢ２及び領域ＯＢ３が選択されると（ＳＣ１３１）、領域ＯＢ２及びＯＢ３が選択されたことを契機としてマイク８に入力された入力音声の認識処理を開始する（ＳＣ１３１）。
【００８３】
電子機器１は、音声認識の結果、入力音声の内容が「ＡＢＣホテル」であると認識すると、「旅行」の画像Ｇ３が既に関連付けられている領域ＯＢ２及びＯＢ３に対して、入力音声の内容を示す「１９時から２１時」を関連付ける処理を実行する。図１３に例示する電子機器１が実行する処理は、ユーザ１００により選択された領域ＯＢ２及びＯＢ３に割り当てられている表示領域の内部に入力音声の内容を示す「ＡＢＣホテル」の画像Ｇ４を表示させる処理（ＳＣ１３２）を含む。
【００８４】
また、図１３に例示する電子機器１が実行する処理は、ユーザ１００により選択された領域ＯＢ２及びＯＢ３に関連付けて入力音声の内容をストレージ９に記憶する処理を含む。具体的には、図１４に例示するように、カレンダーデータ９Ｂには、図１０に示す処理によって、領域ＯＢ２に対応する日付「６月９日」と「旅行」の文字データＤ３とが対応付けて記憶されるとともに、領域ＯＢ３に対応する日付「６月１０日」と「旅行」の文字データＤ３とが対応付けて記憶されている。電子機器１は、図１３に示す処理により、領域ＯＢ２に対応する日付「６月９日」に対応付けて、さらに、入力音声の内容を示す「ＡＢＣホテル」の文字データＤ５を記憶するとともに、領域ＯＢ３に対応する日付「６月１０日」に対応付けて入力音声の内容を示す「ＡＢＣホテル」の文字データＤ６を記憶することにより、カレンダーデータ９Ｂを更新する。入力音声の内容を示す「ＡＢＣホテル」は、「第１音声」が示すテキスト、すなわち第１音声の内容の一例である。
【００８５】
また、図１５に例示すように、電子機器１は、所定の条件を満足する場合、カレンダー画像２１上の所定領域が選択されていなくても、マイク８に入力された入力音声の認識処理を開始する（ＳＣ１５１）。
【００８６】
電子機器１は、音声認識の結果、入力音声の内容が「６月９日から６月１０日まで旅行をスケジュールに入力して」であると認識すると、認識結果に基づいて、「６月９日」に対応する領域ＯＢ２及び「６月１０日」に対応する領域ＯＢ３に関連付ける処理を実行するか否かを判定する。電子機器１が、例えば、入力音声の内容に、「スケジュール」及び「入力」などのキーワードが含まれることを根拠として、入力音声の内容を「６月９日」に対応する領域ＯＢ２及び「６月１０日」に対応する領域ＯＢ３に関連付ける処理を実行するという肯定的な判定結果を導出したと仮定すると、電子機器１は、「６月９日」に対応する領域ＯＢ２及び「６月１０日」に対応する領域ＯＢ３に、入力音声の内容を示す「旅行」を関連付ける処理を実行する（ＳＣ１５２）。関連付ける処理の内容は、上述した図１０の処理と同様である。入力音声の内容を示す「６月９日から６月１０日まで旅行をスケジュールに入力して」は、「第１音声」が示すテキスト、すなわち第１音声の内容の一例である。
【００８７】
図１６は、実施形態に係る電子機器１による処理の流れの一例を示すフローチャートである。図１６に示す処理は、プロセッサ１０が、制御プログラム９Ａなどを実行することにより実現される。
【００８８】
図１６に示すように、プロセッサ１０は、入力音声の認識処理を実行する（ステップＳ１１０１）。
【００８９】
プロセッサ１０は、入力音声の認識処理の実行契機が所定領域の選択であるかを判定する（ステップＳ１１０２）。
【００９０】
プロセッサ１０は、判定の結果、入力音声の認識処理の実行契機が所定領域の選択である場合（ステップＳ１１０２，Ｙｅｓ）、入力された音声の内容を、選択された所定領域に関連付ける処理を実行し（ステップＳ１１０３）、図１６に示す処理を終了する。ステップＳ１１０３において実行される処理は、例えば、上述した図４、５、７、８、１０、１１、１３、１４に例示した処理に対応する。
【００９１】
一方、プロセッサ１０は、判定の結果、入力音声の認識処理の実行契機が所定領域の選択ではない場合（ステップＳ１１０２，Ｎｏ）、入力された音声の内容に基づいて、音声の内容に応じて実行される複数の処理のうちのいずれの処理を実行するかを判定し、判定結果に基づいて処理を実行し（ステップＳ１１０４）、図１６に示す処理を終了する。ステップＳ１１０４において実行される処理は、例えば、上述した図６、９、１２、１５に例示した処理に対応する。
【００９２】
上述してきたように、実施形態に係る電子機器１は、例えば、カレンダー画像２１上で手動によって選択された日付に、マイク８に入力された音声の内容を関連付けることができる。このように、実施形態に係る電子機器１は、手動の操作入力と音声の入力とを組み合わせることにより、予定の登録を行う日付を手動により確実に選択しつつ、入力する予定は手動によらず音声によって簡易に入力できるので、カレンダーにおける予定の登録の精度向上および処理負担の軽減を図ることができる。
【００９３】
実施形態に係る電子機器１により実現される処理は、ウェブブラウザの検索ボックス、メールアプリケーション、テキストエディタ、ＳＮＳ（Ｓｏｃｉａｌ  Ｎｅｔｗｏｒｋ  Ｓｅｒｖｉｃｅ）が提供するコミュミケーションツールなど、電子機器１のユーザ１００が入力を行う入力領域を備え、タッチスクリーンディスプレイ２を介してユーザ１００により選択された位置を検出可能な種々のプログラムによる処理に適用できる。
【００９４】
上述した実施形態において、電子機器１は、入力された音声の内容を、カレンダー画像２１の日付に対応する所定領域に関連付けるか否かをユーザ１００に確認してもよい。図１７は、実施形態に係る画面表示の他の例を示す図である。
【００９５】
図１７に例示するように、電子機器１は、「６月１日」に対応する領域ＯＢ１が選択されたことを契機としてマイク８に入力された入力音声の認識処理を開始し、音声認識の結果、入力音声の内容が「飲み会」であると認識すると（ＳＣ１７１）、「６月１日」に対応する領域ＯＢ１に入力音声の内容を示す「飲み会」を登録するかを確認するメッセージウィンドウＭ３をタッチスクリーンディスプレイ２に表示する（ＳＣ１７２）。メッセージウィンドウＭ３は、入力音声の内容を登録させる場合にユーザ１００が操作する「はい」のボタン３１と、入力音声の内容を登録させない場合にユーザ１００が操作する「いいえ」のボタン３２とを含む。
【００９６】
電子機器１は、例えば、メッセージウィンドウＭ３のボタン３１に対するユーザ１００の操作を検出すると（ＳＣ１７３）、ユーザ１００により選択された領域ＯＢ１に、入力音声の内容を示す「飲み会」を関連付ける処理を実行する（ＳＣ１７４）。関連付ける処理の内容は、上述した図４に例示する場合と同様である。
【００９７】
上述した実施形態において、電子機器１は、入力された音声の内容を、カレンダー画像２１の日付に対応する所定領域に関連付ける処理を実行中であることを表示してもよい。図１８は、実施形態に係る画面表示の他の例を示す図である。
【００９８】
図１８に例示するように、電子機器１は、「６月１日」に対応する領域ＯＢ１が選択されたことを契機としてマイク８に入力された入力音声の認識処理を開始し、音声認識の結果、入力音声の内容が「飲み会」であると認識すると（ＳＣ１８１）、ユーザ１００により選択された領域ＯＢ１に、入力音声の内容を示す「飲み会」を関連付ける処理を実行するとともに、入力音声の内容を示す「飲み会」を関連付ける処理を実行中であることを示すメッセージウィンドウＭ４をタッチスクリーンディスプレイ２に表示する（ＳＣ１８２）。
【００９９】
電子機器１は、例えば、ユーザ１００により選択された領域ＯＢ１に、入力音声の内容を示す「飲み会」を関連付ける処理が完了すると、メッセージウィンドウＭ４の表示を終了する（ＳＣ１８３）。
【０１００】
上述した実施形態において、電子機器１は、入力された音声の内容を、カレンダー画像２１の日付に対応する所定領域に関連付けるか否かをユーザ１００に確認する点は、図１７に例示する場合と同様であるが、関連付けるか否かの意思表示を手動ではなく、音声入力により実行してもよい。図１９は、実施形態に係る画面表示の他の例を示す図である。
【０１０１】
図１９に例示するように、電子機器１は、「６月１日」に対応する領域ＯＢ１が選択されたことを契機としてマイク８に入力された入力音声の認識処理を開始し、音声認識の結果、入力音声の内容が「飲み会」であると認識すると（ＳＣ１９１）、「６月１日」に対応する領域ＯＢ１に入力音声の内容を示す「飲み会」を登録するか否かを確認するメッセージウィンドウＭ５をタッチスクリーンディスプレイ２に表示する（ＳＣ１９２）。
【０１０２】
電子機器１は、例えば、メッセージウィンドウＭ５の表示後に入力された音声の内容を認識する（ＳＣ１９３）。電子機器１は、音声認識の結果、領域ＯＢ１に入力音声の内容を示す「飲み会」を登録することを希望する意思表示であると認識した場合（例えば、「はい」であると認識した場合）、ユーザ１００により選択された領域ＯＢ１に、入力音声の内容を示す「飲み会」を関連付ける処理を実行する（ＳＣ１７４）。関連付ける処理の内容は、上述した図４に例示する場合と同様である。
【０１０３】
実施形態に係る電子機器１は、タッチ操作などの手動の操作と音声入力とを組み合わせることにより、ワンストップの処理を実現できる。図２０は、実施形態に係る画面表示の他の例を示す図である。
【０１０４】
図２０に例示するように、電子機器１は、ユーザ１００の操作に応じて、電子メールの受信トレイの画像２４をタッチスクリーンディスプレイ２に表示させる（ＳＣ２０１）。図２０に示す例では、受信トレイの画像２４に受信メール２４１および２４２が表示される。
【０１０５】
電子機器１は、受信トレイにおいて受信メール２４２の選択が選択されたことを契機として、入力音声の認識処理を開始する。そして、電子機器１は、音声認識の結果に従って処理を実行する。
【０１０６】
例えば、入力音声の内容が「１９時から２１時で返信」である場合、電子機器１は、ユーザ１００により選択された受信メール２４１に対する返信メールの自動作成および返信処理を実行する。電子機器１は、返信メールの自動作成および返信処理の開始と同時に、処理を実行中であることを示すメッセージウィンドウＭ６をタッチスクリーンディスプレイ２に表示する（ＳＣ２０２）。続いて、電子機器１は、返信メールの本文に入力音声の内容を入力して返信メールを自動作成し、自動作成した返信メールの送信が完了すると、処理が完了したことを示すメッセージウィンドウＭ７をタッチスクリーンディスプレイ２に表示する（ＳＣ２０３）。電子機器１は、自動作成して返信処理を実行した返信メールのデータを送信済みトレイに記録できる。
【０１０７】
添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記の実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成により具現化されるべきである。
【符号の説明】
【０１０８】
１  電子機器
２Ａ  ディスプレイ
２Ｂ  タッチスクリーン
３  ボタン
４  照度センサ
５  近接センサ
６  通信ユニット
７  スピーカ
８  マイク
９  ストレージ
９Ａ  制御プログラム
９Ｂ  カレンダーデータ
９Ｃ  音声認識用データ
９Ｚ  設定データ
１０  プロセッサ
１１  コネクタ
【図１】
2020003963.tif 000003
【図２】
2020003963.tif 000004
【図３】
2020003963.tif 000005
【図４】
2020003963.tif 000006
【図５】
2020003963.tif 000007
【図６】
2020003963.tif 000008
【図７】
2020003963.tif 000009
【図８】
2020003963.tif 000010
【図９】
2020003963.tif 000011
【図１０】
2020003963.tif 000012
【図１１】
2020003963.tif 000013
【図１２】
2020003963.tif 000014
【図１３】
2020003963.tif 000015
【図１４】
2020003963.tif 000016
【図１５】
2020003963.tif 000017
【図１６】
2020003963.tif 000018
【図１７】
2020003963.tif 000019
【図１８】
2020003963.tif 000020
【図１９】
2020003963.tif 000021
【図２０】
2020003963.tif 000022