(57)【要約】【課題】操作性をさらに高める。【解決手段】パネル操作制御部１１６により、パネル部１０３を介してのタッチ操作を受け付け、この受け付けたタッチ操作に対応する操作処理を行い、音声認識部１１５により、マイク１０２が取り込んだ音声による指示を認識し、システム制御部１１７により、パネル操作制御部１１６がパネル部１０３を介してのタッチ操作に基づく操作処理の途中で、音声認識部１１５が音声による指示を認識すると、パネル操作制御部１１６に対し、タッチ操作に基づく操作処理を停止させることなく、音声の指示による操作処理を実行するように指示する。これにより、パネル操作制御部１１６は、画面のタッチによる一連操作を継続させつつ、音声入力による操作を実行する。【選択図】図１
2019135590.tif 000002
【特許請求の範囲】
【請求項１】
マイクと、
パネル部と、
前記パネル部を介してのタッチ操作を受け付け、この受け付けたタッチ操作に対応する操作処理を行うパネル操作制御部と、
前記マイクが取り込んだ音声による指示を認識する音声認識部と、
前記パネル操作制御部が前記パネル部を介してのタッチ操作に基づく操作処理の途中で、前記音声認識部が前記音声による指示を認識すると、前記パネル操作制御部に対し、前記タッチ操作に基づく操作処理を停止させることなく、前記音声の指示による操作処理を実行するように指示するシステム制御部とを備える
ことを特徴とする電子機器。
【請求項２】
前記パネル操作制御部による操作処理は、前記パネル部の表示処理であることを特徴とする請求項１に記載の電子機器。
【請求項３】
前記音声認識部は、前記音声の指示に関わる音声パターンとの比較により、前記音声を認識することを特徴とする請求項１又は２に記載の電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画面のタッチ操作による指示と、音声による指示とを組み合わせたＵＩ（User Interface）を有する電子機器に関する。
【背景技術】
【０００２】
電子機器の一つとして、スマートフォン等の携帯端末がある。携帯端末に対しての指示は、タッチ操作が可能なパネル部を介して行うことができる。なお、近年では、音声認識の技術の進歩に伴い、パネル部を介しての指示と音声認識による指示とを組み合わせた技術も提案されている。
【０００３】
その一つとして、特許文献１では、次のような構成の表示画面制御装置を提案している。すなわち、音声認識部が音声認識を行う際に参照する辞書テーブルを、表示部に表示する階層構造の表示画面ごとに設定して記憶装置に記憶させる。表示画面ごとの辞書テーブルには、階層構造に従って表示部の表示画面を順次下位層の画面に遷移させていくための第１の認識候補群と、階層構造に従わずに表示部の表示画面を特定の画面にダイレクトに遷移させるための第２の認識候補群とが含まれている。そして、制御部は、音声認識部によって認識された音声が第２の認識候補群に含まれる音声である場合、表示部における表示画面を特定の画面に遷移させる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−０４９４３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した特許文献１での表示画面制御装置では、音声認識によって認識された音声が第２の認識候補群に含まれる音声である場合、表示手段における表示画面を特定の画面に遷移させるので、ユーザーが所望する表示画面を表示するまでにユーザーが発声する回数を少なくすることができ、音声入力による操作性を改善できる。
【０００６】
ところで、この表示画面制御装置は、音声入力による操作性に着目したものであるが、音声入力に加え、画面のタッチ操作を追加すると、さらに操作性を高めることができるものと考えられる。
【０００７】
ところが、音声入力による操作と画面のタッチ操作とを組み合わせた場合、たとえば音声入力による操作が終わった後にタッチ操作を行うか、あるいはタッチ操作の後に音声入力による操作を行うかのどちらかに制限される。言い換えれば、音声入力による操作とタッチ操作とが段階的に行われることになるので、操作性をさらに高めることができないおそれがある。
【０００８】
この場合、たとえば画面のタッチによる一連操作を継続させつつ、音声入力による操作を実行させるようにすると、操作性をさらに高めることができるものと考えられる。このようなことから、操作性をさらに高めることができる装置の開発が望まれている。
【０００９】
本発明は、このような状況に鑑みてなされたものであり、上記問題点を解消することができる電子機器を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の電子機器は、マイクと、パネル部と、前記パネル部を介してのタッチ操作を受け付け、この受け付けたタッチ操作に対応する操作処理を行うパネル操作制御部と、前記マイクが取り込んだ音声による指示を認識する音声認識部と、前記パネル操作制御部が前記パネル部を介してのタッチ操作に基づく操作処理の途中で、前記音声認識部が前記音声による指示を認識すると、前記パネル操作制御部に対し、前記タッチ操作に基づく操作処理を停止させることなく、前記音声の指示による操作処理を実行するように指示するシステム制御部とを備えることを特徴とする。
また、前記パネル操作制御部による操作処理は、前記パネル部の表示処理であることを特徴とする。
また、前記音声認識部は、前記音声の指示に関わる音声パターンとの比較により、前記音声を認識することを特徴とする。
本発明の電子機器では、パネル操作制御部により、パネル部を介してのタッチ操作を受け付け、この受け付けたタッチ操作に対応する操作処理を行い、音声認識部により、マイクが取り込んだ音声による指示を認識し、システム制御部により、パネル操作制御部がパネル部を介してのタッチ操作に基づく操作処理の途中で、音声認識部が音声による指示を認識すると、パネル操作制御部に対し、タッチ操作に基づく操作処理を停止させることなく、音声の指示による操作処理を実行するように指示する。
これにより、パネル操作制御部は、タッチ操作による操作処理を継続させつつ、音声入力による操作処理を実行できる。
【発明の効果】
【００１１】
本発明の電子機器によれば、パネル操作制御部がタッチ操作による操作処理を継続させつつ、音声入力による操作処理を実行するので、操作性をさらに高めることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の電子機器を携帯端末に適用した場合の一実施形態を示す図である。
【図２】図１の携帯端末のパネル部での操作処理の実施例１について説明するものであって、図２（ａ）はアイコン群をＡ画面から次画面であるＢ画面に移動させる場合を示す図であり、図２（ｂ）はＢ画面でのアイコン群の移動の途中で音声での操作指示を行った場合を示す図であり、図２（ｃ）はアイコン群をＣ画面に移動させた場合を示す図であり、図２（ｄ）は音声での指示によりアイコン群の一部をＡ画面に戻した場合を示す図である。
【図３】図１の携帯端末のパネル部での操作処理の実施例２について説明するものであって、図３（ａ）はアイコンをＡ画面から次画面であるＢ画面に移動させる場合を示す図であり、図３（ｂ）はＢ画面でのアイコンの移動の途中で音声での操作指示を行った場合を示す図であり、図３（ｃ）はアイコンをＣ画面に移動させた場合を示す図であり、図３（ｄ）は音声での指示によりアイコンの一部をＡ画面に戻した場合を示す図である。
【図４】図１の携帯端末のパネル部での操作処理の実施例３について説明するものであって、図４（ａ）はＡ画面でのアイコンの選択中に音声での操作指示を行った場合を示す図であり、図４（ｂ）はＡ画面で選択したアイコンのみを残し、Ｃ画面に遷移した場合を示す図である。
【図５】図１の携帯端末のパネル部での操作処理の実施例４について説明するものであって、図５（ａ）は画面のフリックやスクロール中に音声での操作指示を行った場合を示す図であり、図５（ｂ）は画像のピンチアウト中に音声での操作指示を行った場合を示す図である。
【図６】図１の携帯端末のパネル部での操作処理の実施例５について説明するものであって、図６（ａ）はアイコン群をＡ画面から次画面であるＢ画面に移動させる場合を示す図であり、図６（ｂ）はＢ画面でのアイコン群の移動に併せて音声での操作指示を行った場合を示す図であり、図６（ｃ）はアイコン群をＣ画面に移動させた場合を示す図であり、図６（ｄ）はアイコン群の移動に伴ったＡ画面を示す図であり、図６（ｅ）はアイコン群の移動に併せて音声での操作指示を行った場合のＢ画面を示す図である。
【図７】図１の携帯端末での画面のタッチ操作による指示と音声による指示とを組み合わせた操作処理について説明するためのフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の電子機器をスマートフォン等の携帯端末に適用した場合の一実施形態について、図１〜図７を参照しながら説明する。
【００１４】
まず、図１に示すように、携帯端末１００は、アンテナ１０１、マイク１０２、パネル部１０３を制御する制御部１１０を備えている。アンテナ１０１は、図示しない無線基地局を介し、他の携帯端末１００との間での電波を送受信する。マイク１０２は、音声を取り込む。パネル部１０３は、携帯端末１００の各種機能の選択等を行うタッチパネル等のデバイスである。
【００１５】
制御部１１０は、制御プログラム等を実行して携帯端末１００全体の動作を制御するプロセッサーである。制御部１１０は、通信制御部１１１、マイク制御部１１２、ＲＡＭ(Random Access Memory)１１３、EEPROM(electrically erasable and programmable read-only memory)１１４、音声認識部１１５、パネル操作制御部１１６、システム制御部１１７を備えている。また、これらは、データバス１１８に接続されている。
【００１６】
通信制御部１１１は、アンテナ１０１を介し、図示しない無線基地局を経由し、他の携帯端末１００との間での電波を送受信する。マイク制御部１１２は、マイク１０２の音声の取り込みを制御する。ＲＡＭ１１３は、プログラムを実行するためのワークメモリーである。EEPROM１１４には、各部の動作チェック等を行う制御プログラムが記憶されている。また、EEPROM１１４には、音声認識部１１５が音声認識を行う際に参照する音声パターンが記憶されている。ちなみに、音声パターンは、音声による指示に関するものである。このように、音声パターンの内容を限定することで、音声パターンのデータ量を少なくできる。
【００１７】
音声認識部１１５は、マイク１０２が取り込んだ音声を認識する。なお、音声認識部１１５は、マイク１０２が取り込んだ音声を認識する際、EEPROM１１４に記憶されている音声パターンを参照する。これにより、音声認識部１１５は、音声による指示に関するもの以外の音声については認識しない。パネル操作制御部１１６は、パネル部１０３の表示動作を制御する。また、パネル操作制御部１１６は、パネル部１０３でのタッチ操作を受け付ける。
【００１８】
システム制御部１１７は、各部の連携動作を制御する。また、システム制御部１１７は、パネル操作制御部１１６がパネル部１０３でのタッチ操作を受け付け、さらに音声認識部１１５がマイク１０２の取り込んだ音声を認識すると、パネル操作制御部１１６に対し、パネル部１０３でのタッチ操作による指示と、音声による指示とに基づいたパネル部１０３での操作処理を指示する。
【００１９】
次に、図２〜図６を参照し、パネル部１０３でのタッチ操作による指示と、音声による指示とに基づいた操作処理の様々な例について説明する。
【００２０】
（実施例１）
まず、図２により、携帯端末１００のパネル部１０３での操作処理の実施例１について説明する。図２（ａ）はアイコン群を次画面に移動させる場合を示している。ここで、アイコン群とは、選択した複数のアイコンＡ、Ｂ、Ｃを含むものである。また、パネル部１０３は、Ａ画面を表示しているものとする。また、Ａ画面には、アイコンＡ、Ｂ、Ｃ等が表示されているものとする。ここで、たとえばパネル部１０３のＡ画面に表示されているアイコンＡ、Ｂ、Ｃの３つを選択するものとする。この場合、それぞれのアイコンＡ、Ｂ、Ｃにタッチし、さらに長押しすると、パネル操作制御部１１６がそれぞれのアイコンＡ、Ｂ、Ｃの選択を受け付けるものとする。このとき、パネル操作制御部１１６は、たとえばアイコンＡ、Ｂ、Ｃを点線で囲い、アイコン群としてパネル部１０３に表示させる。なお、アイコンＡ、Ｂ、Ｃの選択に際しては、アイコンＡ、Ｂ、Ｃのいずれか１つを長押しすることでアイコン選択モードに遷移させ、その後、他のアイコンＡ、Ｂ、Ｃをタッチすることで選択対象に追加できるようにしてもよい。
【００２１】
この状態で、ユーザーは、パネル部１０３のＡ画面にタッチし、アイコン群をスワイプにより、点線矢印が示す右方向に移動させたとする。このとき、パネル操作制御部１１６は、アイコン群のスワイプを受け付け、アイコン群を図２（ｂ）に示すＢ画面に移動させる。ここで、ユーザーの指はＢ画面の右端に達するが、指をＢ画面の右端にタッチし続けることで、パネル操作制御部１１６がアイコン群のスワイプの受け付けを継続し、アイコン群を図２（ｃ）に示すＣ画面に移動させる。つまり、ユーザーは、指をＡ画面〜Ｃ画面にタッチし続けることで、アイコン群を図２（ｃ）に示すＣ画面に移動させることができる。なお、Ｂ画面はＡ画面の次画面であり、Ｃ画面はＢ画面の次画面である。
【００２２】
ここで、ユーザーは、図２（ｂ）に示すＢ画面から図２（ｃ）に示すＣ画面にアイコン群を移動させる途中で、マイク１０２に向かってたとえば「アイコンＣ不要」と発したとする。このとき、音声認識部１１５は、マイク１０２が取り込んだ音声から「アイコンＣ不要」を認識し、システム制御部１１７に「アイコンＣ不要」を示すデータを通知する。
【００２３】
ここで、システム制御部１１７は、パネル操作制御部１１６に対し、たとえばアイコンＣを移動開始前の位置であるＡ画面に戻すように指示する。このとき、パネル操作制御部１１６は、Ａ画面からＢ画面に移動させたアイコン群からアイコンＣを消去する（点線で示す）。また、パネル操作制御部１１６は、ユーザーが指をＢ画面にタッチし続けることで、アイコンＣを消去したアイコン群を図２（ｃ）に示すＣ画面に移動させる。また、パネル操作制御部１１６は、Ｃ画面でユーザーが指を離した位置に、アイコンＣを消去したアイコン群を表示させる。また、パネル操作制御部１１６は、図２（ｄ）に示すＡ画面にアイコン群から消去したアイコンＣのみを表示させる。なお、アイコンＣは、Ａ画面に戻す場合に限らず、「アイコンＣ不要」と発したＢ画面に配置してもよいが、この例については、以下の（実施例５）で説明する。また、（実施例１）ではスワイプの方向を右方向として説明したが、これに限らず、左方向であってもよいし、上下方向であってもよい。この場合、画面の切り替えは、スワイプの方向に合わせて行われる。
【００２４】
このように、システム制御部１１７は、画面のタッチによる一連操作の途中で音声による指示を受けた場合、パネル操作制御部１１６に対し、タッチ操作による操作処理を停止させることなく音声による操作処理を実行するように指示する。これにより、パネル操作制御部１１６は、たとえばアイコン群をＣ画面に移動させる操作処理を継続させつつ、たとえば不要と発したアイコンＣをＡ画面に戻す操作処理をシームレスに実行できる。
【００２５】
（実施例２）
次に、図３により、携帯端末１００のパネル部１０３での操作処理の実施例２について説明する。図３（ａ）は、パネル部１０３のＡ画面に、複数のアイコンＡ、Ｂ、Ｃ、Ｄを含むアイコン１３０が表示されている場合を示している。
【００２６】
この状態で、ユーザーは、パネル部１０３のＡ画面にタッチし、アイコン１３０をスワイプにより、点線矢印が示す右方向に移動させたとする。ここで、アイコン１３０の移動に際しては、たとえばアイコンＡを長押しすることで、アイコン１３０が移動モードに遷移するものとする。このとき、パネル操作制御部１１６は、上記同様に、アイコン１３０のスワイプを受け付け、アイコン１３０を、図３（ｂ）に示したＢ画面からさらに図３（ｃ）に示したＣ画面に移動させたとする。ここで、ユーザーは、図３（ｂ）に示したＢ画面から図３（ｃ）に示したＣ画面にアイコン１３０を移動させる途中で、マイク１０２に向かってたとえば「アイコンＤ不要」と発したとする。このとき、音声認識部１１５は、マイク１０２が取り込んだ音声から「アイコンＤ不要」を認識し、システム制御部１１７に「アイコンＤ不要」を示すデータを通知する。
【００２７】
ここで、システム制御部１１７は、パネル操作制御部１１６に対し、たとえばアイコンＤを移動開始前の位置であるＡ画面に戻すように指示する。このとき、パネル操作制御部１１６は、Ａ画面からＢ画面に移動させたアイコン１３０からアイコンＤを消去する（点線で示す）。また、パネル操作制御部１１６は、ユーザーが指をＢ画面にタッチし続けることで、アイコンＤを消去したアイコン１３０を図３（ｃ）に示すＣ画面に移動させる。また、パネル操作制御部１１６は、Ｃ画面でユーザーが指を離した位置に、アイコンＤを消去したアイコン１３０を表示させる。また、パネル操作制御部１１６は、図３（ｄ）に示すＡ画面にアイコン１３０から消去したアイコンＤのみを表示させる。なお、アイコンＤは、Ａ画面に戻す場合に限らず、「アイコンＤ不要」と発したＢ画面に配置してもよい。この場合、予め、配置する画面を設定しておくことで、任意の画面に不要と発したいずれかのアイコンＡ、Ｂ、Ｃを配置することができる。また、（実施例２）では、上記同様に、スワイプの方向を右方向として説明したが、これに限らず、左方向であってもよいし、上下方向であってもよい。この場合、画面の切り替えは、スワイプの方向に合わせて行われる。
【００２８】
このように、システム制御部１１７は、上記同様に、画面のタッチによる一連操作の途中で音声による指示を受けた場合、パネル操作制御部１１６に対し、タッチ操作による操作処理を停止させることなく音声による操作処理を実行するように指示する。これにより、パネル操作制御部１１６は、たとえばアイコン１３０をＣ画面に移動させる操作処理を継続しつつ、たとえば不要と発したアイコンＤをＡ画面に戻す操作処理をシームレスに実行できる。
【００２９】
（実施例３）
次に、図４により、携帯端末１００のパネル部１０３での操作処理の実施例３について説明する。まず、図４（ａ）は、パネル部１０３のＡ画面に、複数のアイコンＡ、Ｂ、Ｃが表示されている場合を示している。
【００３０】
この状態で、ユーザーは、パネル部１０３のＡ画面にタッチし、アイコンＡを長押しし、アイコンＡを選択するものとする。ここで、ユーザーは、アイコンＡを選択する途中で、音声により、たとえば「Ｃ画面に切り替え」と発したとする。このとき、音声認識部１１５は、マイク１０２が取り込んだ音声から「Ｃ画面に切り替え」を認識し、システム制御部１１７に「Ｃ画面に切り替え」を示すデータを通知する。なお、選択したアイコンＡを上下左右のいずれかに移動させる途中で、音声により、たとえば「Ｃ画面に切り替え」と発した場合も同様に、音声認識部１１５が「Ｃ画面に切り替え」を認識し、システム制御部１１７に「Ｃ画面に切り替え」を示すデータを通知してもよい。
【００３１】
ここで、システム制御部１１７は、パネル操作制御部１１６に対し、たとえばパネル部１０３のＣ画面への切り替えと、アイコンＡのＣ画面への移動とを指示する。このとき、パネル操作制御部１１６は、図４（ｂ）に示すように、パネル部１０３をＣ画面に切り替えるとともに、アイコンＡをＣ画面に表示させる。また、パネル操作制御部１１６は、Ｃ画面でユーザーが指を離した位置に、アイコンＡを表示させる。
【００３２】
このように、システム制御部１１７は、上記同様に、画面のタッチによる一連操作の途中で音声による指示を受けた場合、パネル操作制御部１１６に対し、タッチ操作による操作処理を停止させることなく音声による操作処理を実行するように指示する。これにより、パネル操作制御部１１６は、たとえばＡ画面でアイコンＡを選択する操作処理を継続しつつ、たとえば「Ｃ画面に切り替え」と発したと音声による操作処理をシームレスに実行できる。
【００３３】
（実施例４）
次に、図５により、携帯端末１００のパネル部１０３での操作処理の実施例４について説明する。まず、図５（ａ）は、パネル部１０３の画面にスクロールバー１３１が表示されている場合を示している。
【００３４】
この状態で、ユーザーは、スクロールバー１３１をタッチし、スクロール操作の途中で、音声により、たとえば「元の位置」と発したとする。なお、スクロール操作には、スクロールバー１３１を操作する場合、画面をフリックする場合とがある。このとき、音声認識部１１５は、マイク１０２が取り込んだ音声から「元の位置」を認識し、システム制御部１１７に「元の位置」を示すデータを通知する。
【００３５】
ここで、システム制御部１１７は、パネル操作制御部１１６に対し、たとえばパネル部１０３のスクロール操作を開始する前の位置（元の位置）へ戻るように指示することで、パネル操作制御部１１６がパネル部１０３の画面を元の位置に戻す。また、パネル操作制御部１１６は、スクロールバー１３１のスクロール操作が継続している場合、パネル部１０３の画面を戻した元の位置からのスクロール操作に応じた画面の移動を行わせる。
【００３６】
なお、パネル操作制御部１１６は、パネル部１０３の画面を元の位置から移動させるとき、画面の移動速度を遅くしてもよい。このように、パネル部１０３の画面を元の位置から移動させるとき、画面の移動速度を遅くすると、画面の移動方向の確認が容易となる。また、画面の元の位置は、初期位置であってもよいし、スクロールバー１３１のフリック又はスクロールが開始されたときの位置であってもよい。
【００３７】
このように、システム制御部１１７は、上記同様に、画面のタッチによる一連操作の途中で音声による指示を受けた場合、パネル操作制御部１１６に対し、タッチ操作による操作処理を停止させることなく音声による操作処理を実行するように指示する。これにより、パネル操作制御部１１６は、たとえばスクロールバー１３１のスクロール操作の途中での「元の位置」と発した音声による画面の戻しと、戻った画面の位置からのスクロール操作の続行とをシームレスに実行できる。
【００３８】
また、図５（ｂ）は、パネル部１０３の画面に画像１３２が表示されている場合を示している。
【００３９】
この状態で、ユーザーは、画像１３２をピンチアウトして拡大操作している途中で、音声により、たとえば「元のサイズ」と発したとする。このとき、音声認識部１１５は、マイク１０２が取り込んだ音声から「元のサイズ」を認識し、システム制御部１１７に「元のサイズ」を示すデータを通知する。
【００４０】
ここで、システム制御部１１７は、パネル操作制御部１１６に対し、画像１３２のサイズを元のサイズに戻すことを指示することで、パネル操作制御部１１６が画像１３２を元のサイズに戻すとともに、ピンチアウトの操作が継続している場合、画像１３２を元のサイズに戻した状態から拡大させる。
【００４１】
このように、システム制御部１１７は、上記同様に、画面のタッチによる一連操作の途中で音声による指示を受けた場合、パネル操作制御部１１６に対し、タッチ操作による操作処理を停止させることなく音声による操作処理を実行するように指示する。これにより、パネル操作制御部１１６は、たとえば画像１３２に対するピンチアウトの操作処理を継続しつつ、たとえば「元のサイズ」と発した音声による操作処理をシームレスに実行できる。なお、ここでは、画像１３２に対するピンチアウトの操作について例示したが、画像１３２に対するピンチインの操作についても、同様の処理が実行される。
【００４２】
（実施例５）
次に、図６により、携帯端末１００のパネル部１０３での操作処理の実施例５について説明する。図６（ａ）はアイコン群を次画面に移動させる場合を示している。ここで、アイコン群とは、上記同様に、選択した複数のアイコンＡ、Ｂ、Ｃを含むものである。すなわち、パネル部１０３は、Ａ画面を表示しているものとする。また、Ａ画面には、アイコンＡ、Ｂ、Ｃ等が表示されているものとする。ここで、たとえばパネル部１０３のＡ画面に表示されているアイコンＡ、Ｂ、Ｃの３つを選択するものとする。この場合、それぞれのアイコンＡ、Ｂ、Ｃにタッチし、さらに長押しすると、パネル操作制御部１１６がそれぞれのアイコンＡ、Ｂ、Ｃの選択を受け付けるものとする。このとき、パネル操作制御部１１６は、たとえばアイコンＡ、Ｂ、Ｃを点線で囲い、アイコン群としてパネル部１０３に表示させる。なお、アイコンＡ、Ｂ、Ｃの選択に際しては、上記同様に、アイコンＡ、Ｂ、Ｃのいずれか１つを長押しすることでアイコン選択モードに遷移させ、その後、他のアイコンＡ、Ｂ、Ｃをタッチすることで選択対象に追加できるようにしてもよい。
【００４３】
この状態で、ユーザーは、パネル部１０３のＡ画面にタッチし、アイコン群をスワイプにより、点線矢印が示す右方向に移動させたとする。このとき、パネル操作制御部１１６は、アイコン群のスワイプを受け付け、アイコン群を図６（ｂ）に示すＢ画面に移動させる。ここで、ユーザーの指はＢ画面の右端に達するが、指をＢ画面の右端にタッチし続けることで、パネル操作制御部１１６がアイコン群のスワイプの受け付けを継続し、アイコン群を図６（ｃ）に示すＣ画面に移動させる。つまり、ユーザーは、上記同様に、指をＡ画面〜Ｃ画面にタッチし続けることで、アイコン群を図６（ｃ）に示すＣ画面に移動させることができる。なお、上記同様に、Ｂ画面はＡ画面の次画面であり、Ｃ画面はＢ画面の次画面である。
【００４４】
ここで、ユーザーは、図６（ｂ）に示すＢ画面から図６（ｃ）に示すＣ画面にアイコン群を移動させる途中で、マイク１０２に向かってたとえば「アイコンＣ不要」と発したとする。このとき、音声認識部１１５は、マイク１０２が取り込んだ音声から「アイコンＣ不要」を認識し、システム制御部１１７に「アイコンＣ不要」を示すデータを通知する。
【００４５】
このとき、システム制御部１１７は、パネル操作制御部１１６に対し、たとえばアイコンＣを音声認識部１１５が音声認識したときのＢ画面に配置するように指示する。パネル操作制御部１１６は、図６（ｂ）に示すＢ画面に表示されているアイコン群のうち、アイコンＣのみをＢ画面に残し、図６（ｃ）に示すＣ画面でアイコンＡ、Ｂをユーザーが指を離した位置に表示させる。
【００４６】
これにより、図６（ｄ）に示すように、パネル部１０３のＡ画面にはアイコンＡ、Ｂ、Ｃが表示されない。また、図６（ｅ）に示すように、パネル部１０３のＢ画面にはアイコンＣのみが表示される。なお、アイコンＣは、Ｂ画面に限らず、任意の画面に残してもよい。この場合、予め、残す画面を設定しておくことで、任意の画面に不要と発したいずれかのアイコンＡ、Ｂ、Ｃを残すことができる。また、（実施例５）では、上記同様に、スワイプの方向を右方向として説明したが、これに限らず、左方向であってもよいし、上下方向であってもよい。この場合、画面の切り替えは、スワイプの方向に合わせて行われる。
【００４７】
このように、システム制御部１１７は、上記同様に、画面のタッチによる一連操作の途中で音声による指示を受けた場合、パネル操作制御部１１６に対し、タッチ操作による操作処理を停止させることなく音声による操作処理を実行するように指示する。これにより、パネル操作制御部１１６は、たとえばアイコン群をＣ画面に移動させる操作処理を継続しつつ、たとえば音声認識部１１５が音声認識したときのＢ画面にアイコンＣを残す操作処理をシームレスに実行できる。
【００４８】
なお、上述した（実施例１）〜（実施例５）に限らず、たとえばアイコンＡを次画面に移動させる途中で、たとえば「アイコンＢと交換」と発した場合、移動中のアイコンＡを、アイコンＢに変更させるような操作処理を実行してもよい。
【００４９】
次に、図７を参照し、携帯端末１００での画面のタッチ操作による指示と音声による指示とを組み合わせた操作処理について説明する。なお、以下では、説明の都合上、たとえば図２（ａ）のＡ画面で選択したアイコン群をスワイプにより図２（ｂ）のＢ画面から図２（ｃ）のＣ画面に移動させる途中で、音声により、たとえば「アイコンＣ不要」と発した場合での操作処理について説明する。また、以下に説明するスワイプの方向は水平方向であるものとする。
【００５０】
（ステップＳ１０１）
システム制御部１１７は、タッチ操作されたかどうかを判断する。
この場合、システム制御部１１７は、図２（ａ）のＡ画面でパネル操作制御部１１６からのパネル部１０３へのタッチ操作が有ることを示す通知が無ければタッチ操作されていないと判断し（ステップＳ１０１：Ｎｏ）、タッチ操作待ちとなる。
これに対し、システム制御部１１７は、図２（ａ）のＡ画面でパネル操作制御部１１６からのパネル部１０３へのタッチ操作が有ることを示す通知が有ればタッチ操作されたと判断し（ステップＳ１０１：Ｙｅｓ）、ステップＳ１０２に移行する。
【００５１】
（ステップＳ１０２）
システム制御部１１７は、長押しかどうかを判断する。
この場合、システム制御部１１７は、図２（ａ）のＡ画面でパネル操作制御部１１６からのパネル部１０３へのタッチ操作が長押しであることを示す通知が無ければ長押しでないと判断し（ステップＳ１０２：Ｎｏ）、長押し待ちとなる。
これに対し、システム制御部１１７は、図２（ａ）のＡ画面でパネル操作制御部１１６からのパネル部１０３へのタッチ操作が長押しであることを示す通知が有れば長押しであると判断し（ステップＳ１０２：Ｙｅｓ）、ステップＳ１０３に移行する。
【００５２】
（ステップＳ１０３）
システム制御部１１７は、長押しされたアイコンＡ、Ｂ、Ｃを選択させる。
ここで、アイコンＡ、Ｂ、Ｃが長押しされたとする。
この場合、システム制御部１１７は、パネル操作制御部１１６に対し、アイコンＡ、Ｂ、Ｃを選択させる。
このとき、パネル操作制御部１１６は、図２（ａ）のＡ画面でアイコンＡ、Ｂ、Ｃの選択を受け付ける。
【００５３】
（ステップＳ１０４）
システム制御部１１７は、スワイプされたかどうかを判断する。
システム制御部１１７は、図２（ａ）のＡ画面でパネル操作制御部１１６からのスワイプされたことを示す通知が無ければスワイプされていないと判断し（ステップＳ１０４：Ｎｏ）、スワイプ待ちとなる。
これに対し、システム制御部１１７は、図２（ａ）のＡ画面でパネル操作制御部１１６からのスワイプされたことを示す通知が有ればスワイプされたと判断し（ステップＳ１０４：Ｙｅｓ）、ステップＳ１０５に移行する。
【００５４】
（ステップＳ１０５）
システム制御部１１７は、スワイプが右方向かどうかを判断する。
システム制御部１１７は、たとえば図２（ａ）のＡ画面でパネル操作制御部１１６からのスワイプの方向が右であることを示す通知が有ればスワイプが右方向であると判断し（ステップＳ１０５：Ｙｅｓ）、ステップＳ１０６に移行する。
これに対し、システム制御部１１７は、たとえば図２（ｂ）のＢ画面でパネル操作制御部１１６からのスワイプの方向が左であることを示す通知が有ればスワイプが右方向でないとと判断し（ステップＳ１０５：Ｎｏ）、ステップＳ１０７に移行する。
【００５５】
（ステップＳ１０６）
システム制御部１１７は、次画面に切り替えさせる。
この場合、システム制御部１１７は、パネル操作制御部１１６に対し、次画面への切り替えを指示する。
このとき、パネル操作制御部１１６は、たとえばパネル部１０３が図２（ａ）のＡ画面を表示しているとき、図２（ａ）のＡ画面から図２（ｂ）のＢ画面に切り替える。
また、システム制御部１１７は、パネル操作制御部１１６に対し、次画面への切り替えを指示した後で、スワイプが継続している場合、パネル操作制御部１１６に対し、さらに次画面への切り替えを指示する。この場合、パネル操作制御部１１６は、たとえばパネル部１０３が図２（ｂ）のＢ画面を表示しているとき、図２（ｂ）のＢ画面から図２（ｃ）のＣ画面に切り替える。
【００５６】
（ステップＳ１０７）
システム制御部１１７は、前の画面に切り替えさせる。
この場合、システム制御部１１７は、パネル操作制御部１１６に対し、前の画面への切り替えを指示する。
このとき、パネル操作制御部１１６は、たとえばパネル部１０３が図２（ｂ）のＢ画面を表示しているとき、図２（ａ）のＡ画面に切り替える。
また、システム制御部１１７は、パネル操作制御部１１６に対し、前の画面への切り替えを指示した後で、スワイプが継続している場合、パネル操作制御部１１６に対し、スワイプの方向に合わせてさらに前の画面又は次画面への切り替えを指示する。
なお、たとえばパネル部１０３が図２（ａ）のＡ画面を表示しているときのスワイプの方向が左であれば、スワイプの方向に従った前の画面を表示させる必要がある。この場合、たとえばデフォルトで、Ａ画面からＪ画面までの１０画面の切り替えが可能となっているように設定されているとすると、Ａ画面の前の画面としてＪ画面を表示させてもよい。
また、切り替え可能な画面については、ユーザーによる設定によって任意に変更可能としてもよい。
【００５７】
（ステップＳ１０８）
システム制御部１１７は、音声を取得したかどうかを判断する。
この場合、システム制御部１１７は、マイク制御部１１２からのマイク１０２を介して音声を取得したことを示す通知が無ければ音声を取得していないと判断し（ステップＳ１０８：Ｎｏ）、ステップＳ１０４に戻る。
これに対し、システム制御部１１７は、マイク制御部１１２からのマイク１０２を介して音声を取得したことを示す通知が有れば音声を取得したと判断し（ステップＳ１０８：Ｙｅｓ）、ステップＳ１０９に移行する。
【００５８】
（ステップＳ１０９）
システム制御部１１７は、音声認識を指示する。
この場合、システム制御部１１７は、音声認識部１１５に対し音声認識を指示する。
このとき、音声認識部１１５は、マイク１０２が取り込んだ音声を、たとえば「アイコンＣ不要」と認識したとする。この場合、音声認識部１１５は、「アイコンＣ不要」を示すデータをシステム制御部１１７に通知する。
【００５９】
（ステップＳ１１０）
システム制御部１１７は、音声認識が完了したかどうかを判断する。
この場合、システム制御部１１７は、音声認識部１１５からの音声認識した内容を示すデータ（たとえば「アイコンＣ不要」）を受け取っていなければ音声認識が完了していないと判断し（ステップＳ１１０：Ｎｏ）、音声認識の完了待ちとなる。
これに対し、システム制御部１１７は、音声認識部１１５からの音声認識した内容を示すデータ（たとえば「アイコンＣ不要」）を受け取ると、音声認識が完了したと判断し（ステップＳ１１０：Ｙｅｓ）、ステップＳ１１１に移行する。
【００６０】
（ステップＳ１１１）
システム制御部１１７は、音声の指示に基づいた処理を指示する。
この場合、システム制御部１１７は、パネル操作制御部１１６に対し、画面のスワイプによる移動を停止させることなく音声による操作処理を実行するように指示する。
ここで、パネル操作制御部１１６は、アイコン群を、たとえば図２（ｂ）のＢ画面から図２（ｃ）のＣ画面にスワイプにより移動させる途中で、システム制御部１１７からの音声認識の結果に基づいた処理の指示を受けたとする。このとき、パネル操作制御部１１６は、図２（ｂ）に示すＢ画面に表示されているアイコン群からアイコンＣを消去し、図２（ｃ）に示すＣ画面でユーザーが指を離した位置にアイコンＡ、Ｂを表示させる。
【００６１】
（ステップＳ１１２）
システム制御部１１７は、移動操作が解除されたかどうかを判断する。
この場合、システム制御部１１７は、パネル操作制御部１１６からのタッチ操作が継続していることを示す通知が有れば移動操作が解除されないと判断し（ステップＳ１１２：Ｎｏ）、ステップＳ１０４に戻る。
これにより、たとえば図２（ｃ）に示すＣ画面から図２（ｂ）に示すＢ画面に戻ったり、たとえばＣ画面から図２（ｂ）に示すＢ画面に戻る途中での音声認識による操作処理等の継続が可能となる。
これに対し、システム制御部１１７は、パネル操作制御部１１６からのタッチ操作が継続していることを示す通知が無ければ移動操作が解除されたと判断し（ステップＳ１１２：Ｙｅｓ）、処理を終了する。
【００６２】
このように、システム制御部１１７は、たとえば図２（ａ）のＡ画面で選択したアイコン群をスワイプにより図２（ｂ）のＢ画面から図２（ｃ）のＣ画面に移動させる途中で、たとえば「アイコンＣ不要」とした音声による指示を受けた場合、パネル操作制御部１１６に対し、タッチ操作による操作処理を停止させることなく音声による操作処理を実行するように指示するので、たとえばアイコン群をＣ画面に移動させる操作処理と、たとえば不要と発したアイコンＣをＡ画面に戻す操作処理とをシームレスに実行できる。
【００６３】
このように、本実施形態では、パネル操作制御部１１６により、パネル部１０３を介してのタッチ操作を受け付け、この受け付けたタッチ操作に対応する操作処理を行い、音声認識部１１５により、マイク１０２が取り込んだ音声による指示を認識し、システム制御部１１７により、パネル操作制御部１１６がパネル部１０３を介してのタッチ操作に基づく操作処理の途中で、音声認識部１１５が音声による指示を認識すると、パネル操作制御部１１６に対し、タッチ操作に基づく操作処理を停止させることなく、音声の指示による操作処理を実行するように指示する。
【００６４】
これにより、パネル操作制御部１１６は、画面のタッチによる一連操作を継続させつつ、音声入力による操作を実行するので、操作性をさらに高めることができる。
【００６５】
なお、本実施形態では、電子機器として携帯端末１００を例示したが、タッチ操作方式のパネル部を有する電子機器であればよく、たとえばＭＦＰ(Multifunction Peripheral)等の画像形成装置等にも適用可能である。
【符号の説明】
【００６６】
１００  携帯端末
１０１  アンテナ
１０２  マイク
１０３  パネル部
１１０  制御部
１１１  通信制御部
１１２  マイク制御部
１１３  ＲＡＭ
１１４  EEPROM
１１５  音声認識部
１１６  パネル操作制御部
１１７  システム制御部
１１８  データバス
１３０、Ａ〜Ｄ  アイコン
１３１  スクロールバー
１３２  画像
【図１】
2019135590.tif 000003
【図２】
2019135590.tif 000004
【図３】
2019135590.tif 000005
【図４】
2019135590.tif 000006
【図５】
2019135590.tif 000007
【図６】
2019135590.tif 000008
【図７】
2019135590.tif 000009