(57)【要約】      （修正有）【課題】ユーザーの利便性を向上させる表示制御装置を提供する。【解決手段】携帯端末２００は、タッチパネル２０２と、第１受付部２１２と、第２受付部２１３と、実行部２１４とを備える。タッチパネル２０２は、オブジェクトを表示する。第１受付部２１２は、オブジェクトに対する第１操作を指定する非音声入力を受け付ける。第２受付部２１３は、オブジェクトに対する第２操作を指定する音声入力を受け付ける。実行部２１４は、非音声入力及び音声入力により指定された複合操作をオブジェクトに対して実行する。【選択図】図２
2020166729.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクトを表示する表示部と、
前記オブジェクトに対する第１操作を指定する非音声入力を受け付ける第１受付部と、
前記オブジェクトに対する第２操作を指定する音声入力を受け付ける第２受付部と、
前記非音声入力及び前記音声入力により指定された複合操作を前記オブジェクトに対して実行する実行部と
を備えた、表示制御装置。
【請求項２】
前記表示部は、前記オブジェクトを表示するタッチパネルを有し、
前記第１受付部は、前記タッチパネルの上の前記オブジェクトの一部分をユーザーが指で選択する操作を前記第１操作とする前記非音声入力を受け付ける、請求項１に記載の表示制御装置。
【請求項３】
前記第２受付部は、前記オブジェクトを拡大して前記表示部に表示する操作を前記第２操作とする前記音声入力を受け付ける、請求項１又は請求項２に記載の表示制御装置。
【請求項４】
前記第２受付部は、前記オブジェクトを回転して前記表示部に表示する操作を前記第２操作とする前記音声入力を受け付ける、請求項１から請求項３のいずれか１項に記載の表示制御装置。
【請求項５】
前記第２受付部は、
前記第２操作の内容に関する音声認識を実行する認識部と、
前記音声認識の結果を前記表示部に提示する提示部と、
修正指示に応じて前記音声認識の結果を修正する修正部と
を有する、請求項１から請求項４のいずれか１項に記載の表示制御装置。
【請求項６】
前記第１操作としての指定が許される操作の範囲を示す第１範囲と、前記第２操作としての指定が許される操作の範囲を示す第２範囲とを決定する決定部を更に備え、
前記第１受付部は、前記第１範囲に属する操作を指定する非音声入力のみを受け付け、
前記第２受付部は、前記第２範囲に属する操作を指定する音声入力のみを受け付ける、請求項１から請求項５のいずれか１項に記載の表示制御装置。
【請求項７】
前記決定部は、前記第１範囲と前記第２範囲との双方に属する操作について、前記第１受付部と前記第２受付部とのいずれを優先するかを決定する機能を更に有する、請求項６に記載の表示制御装置。
【請求項８】
前記オブジェクトは、互いに異なる第１オブジェクトと第２オブジェクトとを含み、
前記第１受付部は、前記第１オブジェクトに対する第３操作を指定する第１非音声入力と、前記第２オブジェクトに対する第４操作を指定する第２非音声入力とを受け付け、
前記第２受付部は、前記第１オブジェクト及び前記第２オブジェクトに対する第５操作を指定する第１音声入力を受け付け、
前記実行部は、前記第１非音声入力、前記第２非音声入力、及び前記第１音声入力により指定された第１複合操作を前記第１オブジェクト及び前記第２オブジェクトに対して実行する、請求項１に記載の表示制御装置。
【請求項９】
前記第１オブジェクトを識別するための第１識別子と、前記第２オブジェクトを識別するための第２識別子とを前記表示部に表示させる識別部を更に備えた、請求項８に記載の表示制御装置。
【請求項１０】
前記表示部は、前記第１オブジェクト及び前記第２オブジェクトを表示するタッチパネルを有し、
前記第１受付部は、前記タッチパネルの上の前記第１オブジェクトの一部分をユーザーが指で選択する操作を前記第３操作とする前記第１非音声入力を受け付け、前記タッチパネルの上の前記第２オブジェクトの一部分をユーザーが指で選択する操作を前記第４操作とする前記第２非音声入力を受け付ける、請求項８又は請求項９に記載の表示制御装置。
【請求項１１】
前記第２受付部は、前記第１オブジェクト及び前記第２オブジェクトを各々拡大し、集約して前記表示部に表示する操作を前記第５操作とする前記第１音声入力を受け付ける、請求項８から請求項１０のいずれか１項に記載の表示制御装置。
【請求項１２】
前記第１受付部が前記第３操作を指定する前記第１非音声入力と、前記第４操作を指定する前記第２非音声入力とを受け付ける前に、前記第２受付部が前記第５操作を指定する前記第１音声入力を受け付けた場合に、前記第１非音声入力及び前記第２非音声入力を督促する督促部を更に備えた、請求項１１に記載の表示制御装置。
【請求項１３】
表示部にオブジェクトを表示するステップと、
前記オブジェクトに対する第１操作を指定する非音声入力を受け付けるステップと、
前記オブジェクトに対する第２操作を指定する音声入力を受け付けるステップと、
前記非音声入力及び前記音声入力により指定された複合操作を前記オブジェクトに対して実行するステップと
を備えた、表示制御方法。
【請求項１４】
オブジェクトに対する第１操作を指定する非音声入力を受け付ける第１受付部、
前記オブジェクトに対する第２操作を指定する音声入力を受け付ける第２受付部、及び、
前記非音声入力及び前記音声入力により指定された複合操作を前記オブジェクトに対して実行する実行部
としてコンピューターを機能させるための表示制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御装置、表示制御方法、及び表示制御プログラムに関する。
【背景技術】
【０００２】
特許文献１に開示された情報処理装置によれば、表紙、裏表紙、又は付録のようなページの持つ意味合いをアプリケーションがプリンタードライバーに伝えることで、ユーザーが印刷のたびに第１ページから第２ページまでのように印刷範囲を指定しなくても、ユーザーが意図する印刷範囲の印刷物が出力される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２６７０５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の情報処理装置によれば、ユーザーは、１ページの中の一部分を印刷範囲として選択することができない。また、ユーザーは、印刷範囲の選択とは別に、用紙サイズの選択のような印刷設定と、印刷指示とを行う必要がある。つまり、ユーザーは二度手間を強いられ、ユーザーの利便性に課題があった。
【０００５】
本発明は、上記課題に鑑み、ユーザーの利便性を向上させる表示制御装置、表示制御方法、及び表示制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る表示制御装置は、表示部と、第１受付部と、第２受付部と、実行部とを備える。前記表示部は、オブジェクトを表示する。前記第１受付部は、前記オブジェクトに対する第１操作を指定する非音声入力を受け付ける。前記第２受付部は、前記オブジェクトに対する第２操作を指定する音声入力を受け付ける。前記実行部は、前記非音声入力及び前記音声入力により指定された複合操作を前記オブジェクトに対して実行する。
【０００７】
本発明に係る表示制御方法は、以下のステップを含む。表示部にオブジェクトを表示するステップ。前記オブジェクトに対する第１操作を指定する非音声入力を受け付けるステップ。前記オブジェクトに対する第２操作を指定する音声入力を受け付けるステップ。前記非音声入力及び前記音声入力により指定された複合操作を前記オブジェクトに対して実行するステップ。
【０００８】
本発明に係る表示制御プログラムは、第１受付部、第２受付部、及び実行部としてコンピューターを機能させる。前記第１受付部は、オブジェクトに対する第１操作を指定する非音声入力を受け付ける。前記第２受付部は、前記オブジェクトに対する第２操作を指定する音声入力を受け付ける。前記実行部は、前記非音声入力及び前記音声入力により指定された複合操作を前記オブジェクトに対して実行する。
【発明の効果】
【０００９】
本発明によれば、非音声入力と音声入力との組み合わせの採用により、ユーザーの利便性が向上する。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る表示制御装置を含んだ画像形成システムの構成を示す斜視図である。
【図２】携帯型端末の構成の一例を示すブロック図である。
【図３】画像形成装置の構成の一例を示すブロック図である。
【図４】携帯型端末の動作の一例を示すフローチャートである。
【図５】（ａ）、（ｂ）、及び（ｃ）は、携帯型端末に対する一連の操作におけるタッチパネルの画面を示す図である。
【図６】（ａ）、（ｂ）、及び（ｃ）は、携帯型端末に対する他の一連の操作におけるタッチパネルの画面を示す図である。
【図７】（ａ）、（ｂ）、及び（ｃ）は、携帯型端末に対する更に他の一連の操作におけるタッチパネルの画面を示す図である。
【図８】（ａ）及び（ｂ）は、図７（ｃ）に続く一連の操作におけるタッチパネルの画面を示す図である。
【図９】（ａ）及び（ｂ）は、音声認識の結果を修正する処理におけるタッチパネルの画面を示す図である。
【図１０】（ａ）は非音声入力が許容される操作の範囲を示す第１範囲の図であり、（ｂ）は音声入力が許容される操作の範囲を示す第２範囲の図である。
【図１１】（ａ）、（ｂ）、及び（ｃ）は、携帯型端末に対する更に他の一連の操作におけるタッチパネルの画面を示す図である。
【図１２】（ａ）、（ｂ）、及び（ｃ）は、図１１（ｃ）に続く一連の操作におけるタッチパネルの画面を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、本発明に係る表示制御装置、表示制御方法、及び表示制御プログラムの実施形態について説明する。なお、図中、同一又は相当部分については同一の参照符号を付して説明を繰り返さない。
【００１２】
まず、図１を参照して、実施形態に係る表示制御装置を含んだ画像形成システム１００の構成を説明する。図１は、画像形成システム１００の構成を示す斜視図である。
【００１３】
図１に示されるように、画像形成システム１００は、携帯型端末２００と、画像形成装置３００とを備える。携帯型端末２００と画像形成装置３００とは、通信可能に接続されている。携帯型端末２００は、画像形成装置３００へ印刷コマンドを送信する。携帯型端末２００は、例えばスマートフォン又はタブレット端末として構成される。画像形成装置３００は、例えば複合機として構成される。携帯型端末２００は、「表示制御装置」の一例に相当する。
【００１４】
次に、図２を参照して、携帯型端末２００の構成について説明する。図２は、携帯型端末２００の構成の一例を示すブロック図である。
【００１５】
図２に示されるように、携帯型端末２００は、端末通信部２０１と、タッチパネル２０２と、マイク２０３と、端末記憶部２０５と、端末制御部２１０とを備える。
【００１６】
端末通信部２０１は、無線通信インターフェイスである。携帯型端末２００は、端末通信部２０１と同じ方式の無線通信インターフェイスが実装された電子機器との間で通信が可能である。
【００１７】
タッチパネル２０２は、端末制御部２１０の制御に基づいて、単数又は複数のオブジェクトを含む各種情報を表示する。また、タッチパネル２０２は、ユーザーのタッチ操作による非音声入力を端末制御部２１０へ伝達する。タッチパネル２０２は、「表示部」の一例に相当する。
【００１８】
マイク２０３は、ユーザーの音声入力を端末制御部２１０へ伝達する。
【００１９】
端末記憶部２０５は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、及びＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）のようなメモリーを含む。ＲＯＭには、表示制御プログラムＰ１が記憶される。
【００２０】
端末制御部２１０は、携帯型端末２００の各部の動作を制御する。端末制御部２１０は、表示制御プログラムＰ１を実行することにより、端末通信処理部２１１、第１受付部２１２、第２受付部２１３、実行部２１４、決定部２１５、識別部２１６、及び督促部２１７として機能する。
【００２１】
端末通信処理部２１１は、端末通信部２０１による通信を制御する。端末通信処理部２１１は、端末通信部２０１を介して画像形成装置３００へ印刷コマンドを送信する。
【００２２】
第１受付部２１２は、タッチパネル２０２に表示されたオブジェクトに対する第１操作を指定する非音声入力を受け付ける。例えば、第１受付部２１２は、タッチパネル２０２の上のオブジェクトの一部分をユーザーが指で選択する操作を第１操作とする非音声入力を受け付ける。
【００２３】
第２受付部２１３は、タッチパネル２０２に表示されたオブジェクトに対する第２操作を指定する音声入力を受け付ける。例えば、第２受付部２１３は、オブジェクトを拡大してタッチパネル２０２に表示する操作を第２操作とする音声入力を受け付ける。また、第２受付部２１３は、オブジェクトを回転してタッチパネル２０２に表示する操作を第２操作とする音声入力を受け付ける。
【００２４】
詳細に説明すると、第２受付部２１３は、認識部２１３１と、提示部２１３２と、修正部２１３３とを有する。認識部２１３１は、第２操作の内容に関する音声認識を実行する。提示部２１３２は、音声認識の結果をタッチパネル２０２に提示する。修正部２１３３は、修正指示に応じて音声認識の結果を修正する。
【００２５】
実行部２１４は、非音声入力及び音声入力により指定された複合操作を、タッチパネル２０２に表示されたオブジェクトに対して実行する。
【００２６】
決定部２１５は、第１操作としての指定が許される操作の範囲を示す第１範囲Ｒ１と、第２操作としての指定が許される操作の範囲を示す第２範囲Ｒ２とを決定する。第１受付部２１２は、第１範囲Ｒ１に属する操作を指定する非音声入力のみを受け付ける。第２受付部２１３は、第２範囲Ｒ２に属する操作を指定する音声入力のみを受け付ける。決定部２１５は、第１範囲Ｒ１と第２範囲Ｒ２との双方に属する操作について、第１受付部２１２と第２受付部２１３とのいずれを優先するかを決定する機能を更に有する。
【００２７】
タッチパネル２０２は、互いに異なる第１オブジェクトと第２オブジェクトとを表示することができる。第１受付部２１２は、第１オブジェクトに対する第３操作を指定する第１非音声入力と、第２オブジェクトに対する第４操作を指定する第２非音声入力とを受け付ける。第２受付部２１３は、第１オブジェクト及び第２オブジェクトに対する第５操作を指定する第１音声入力を受け付ける。実行部２１４は、第１非音声入力、第２非音声入力、及び第１音声入力により指定された第１複合操作を第１オブジェクト及び第２オブジェクトに対して実行する。
【００２８】
識別部２１６は、第１オブジェクトを識別するための第１識別子と、第２オブジェクトを識別するための第２識別子とをタッチパネル２０２に表示させる。第１識別子及び第２識別子は、例えば色、図形の形、又はそれらの組み合わせである。
【００２９】
第１受付部２１２は、例えば、タッチパネル２０２の上の第１オブジェクトの一部分をユーザーが指で選択する操作を第３操作とする第１非音声入力を受け付ける。また、第１受付部２１２は、タッチパネル２０２の上の第２オブジェクトの一部分をユーザーが指で選択する操作を第４操作とする第２非音声入力を受け付ける。
【００３０】
第２受付部２１３は、例えば、第１オブジェクト及び第２オブジェクトを各々拡大し、集約してタッチパネル２０２に表示する操作を第５操作とする第１音声入力を受け付ける。
【００３１】
督促部２１７は、第１受付部２１２が第３操作を指定する第１非音声入力と、第４操作を指定する第２非音声入力とを受け付ける前に、第２受付部２１３が第５操作を指定する第１音声入力を受け付けた場合に、第１非音声入力及び第２非音声入力を督促する。
【００３２】
次に、図３を参照して、画像形成装置３００の構成について説明する。図３は、画像形成装置３００の構成の一例を示すブロック図である。
【００３３】
図３に示されるように、画像形成装置３００は、機器通信部３０１と、機器記憶部３０５と、機器制御部３１０とを備える。
【００３４】
機器通信部３０１は、端末通信部２０１と同じ方式の無線通信インターフェイスである。画像形成装置３００は、携帯型端末２００との通信が可能である。
【００３５】
機器記憶部３０５は、ＲＯＭ、ＲＡＭ、及びＨＤＤ等を含む。ＲＯＭには、画像形成制御プログラムＰ２が記憶されている。
【００３６】
機器制御部３１０は、画像形成装置３００の各部の動作を制御する。機器制御部３１０は、画像形成制御プログラムＰ２を実行することにより、機器通信処理部３１１及び画像形成処理部３１２として機能する。
【００３７】
機器通信処理部３１１は、機器通信部３０１による通信を制御する。機器通信処理部３１１は、機器通信部３０１を介して携帯型端末２００から受信した印刷コマンドを画像形成処理部３１２へ伝達する。
【００３８】
画像形成処理部３１２は、印刷コマンドに応じた画像形成が実行されるように、不図示の画像形成部を制御する。
【００３９】
次に、図１〜図４を参照して、携帯型端末２００の動作について説明する。図４は、携帯型端末２００の動作の一例を示すフローチャートである。
【００４０】
ステップＳ１０１：図４に示されるように、端末制御部２１０は、タッチパネル２０２に単数又は複数のオブジェクトが表示されるように、タッチパネル２０２を制御する。端末制御部２１０の処理は、ステップＳ１０３へ進む。
【００４１】
ステップＳ１０３：端末制御部２１０は、ユーザーからオブジェクトに対する第１操作を指定する非音声入力があるか否かを判定する。非音声入力がある場合（ステップＳ１０３においてＹｅｓ）、端末制御部２１０の処理がステップＳ１０５へ進む。非音声入力がない場合（ステップＳ１０３においてＮｏ）、端末制御部２１０の処理がステップＳ１０７へ進む。
【００４２】
ステップＳ１０５：第１受付部２１２は、非音声入力を受け付ける。端末制御部２１０の処理は、ステップＳ１０７へ進む。
【００４３】
ステップＳ１０７：端末制御部２１０は、ユーザーからオブジェクトに対する第２操作を指定する音声入力があるか否かを判定する。音声入力がある場合（ステップＳ１０７においてＹｅｓ）、端末制御部２１０の処理がステップＳ１０９へ進む。音声入力がない場合（ステップＳ１０７においてＮｏ）、端末制御部２１０の処理がステップＳ１１１へ進む。
【００４４】
ステップＳ１０９：第２受付部２１３は、音声入力を受け付ける。端末制御部２１０の処理は、ステップＳ１１１へ進む。
【００４５】
ステップＳ１１１：端末制御部２１０は、非音声入力と音声入力との組み合わせによって、ユーザーによる操作の内容が確定したか否かを判定する。操作の内容が確定した場合（ステップＳ１１１においてＹｅｓ）、端末制御部２１０の処理がステップＳ１１３へ進む。操作の内容が確定しない場合（ステップＳ１１１においてＮｏ）、端末制御部２１０は処理を終了する。
【００４６】
ステップＳ１１３：実行部２１４は、非音声入力及び音声入力により指定された複合操作をオブジェクトに対して実行する。その後、端末制御部２１０は処理を終了する。
【００４７】
次に、図１〜図４、図５（ａ）、図５（ｂ）、及び図５（ｃ）を参照して、携帯型端末２００における操作の一例について説明する。図５（ａ）、図５（ｂ）、及び図５（ｃ）は、携帯型端末２００に対する一連の操作におけるタッチパネル２０２の画面を示す図である。
【００４８】
図５（ａ）に示されるように、タッチパネル２０２は、第１文書ファイルのアイコン４０１、第２文書ファイルのアイコン４０２、第３文書ファイルのアイコン４０３、及び第４文書ファイルのアイコン４０４を表示している。ユーザーは、例えば第１文書ファイルのアイコン４０１を指でタップすることにより、第１文書ファイルを選択する。ユーザーは、第１文書ファイルのアイコン４０１の色が黄色に変化することと、第１文書ファイルのアイコン４０１の近傍に指のアイコン４０５が表示されることとを通じて、第１文書ファイルが第１オブジェクトとして選択されたことを確認することができる。
【００４９】
次いで、図５（ｂ）に示されるように、ユーザーは、タッチパネル２０２に表示された第１文書ファイルの１ページのうちの一定の範囲４０６を親指と人差指とのタッチ操作で選択する。ユーザーは、範囲４０６を示す黄色の枠線の近傍に指のアイコン４０７が表示されることを通じて、範囲４０６が選択されたことを確認することができる。更に、ユーザーは、「拡大してプレビュー」との音声入力５０１を携帯型端末２００に与える。
【００５０】
次いで、図５（ｃ）に示されるように、ユーザーは、タッチパネル２０２に表示された拡大プレビュー４０８を確認したうえ、「印刷」との音声入力５０２を携帯型端末２００に与える。その結果、ユーザーが所望する印刷コマンドが画像形成装置３００へ送信される。拡大プレビュー４０８として確認された画像が、画像形成装置３００によって印刷される。なお、ユーザーは、用紙サイズを含んだ印刷設定を伴う印刷指示として、「Ａ４に拡大して印刷」との音声指示５０２を携帯型端末２００に与えてもよい。
【００５１】
次に、図１〜図４、図６（ａ）、図６（ｂ）、及び図６（ｃ）を参照して、携帯型端末２００における操作の他の例について説明する。図６（ａ）、図６（ｂ）、及び図６（ｃ）は、携帯型端末２００に対する他の一連の操作におけるタッチパネル２０２の画面を示す図である。
【００５２】
図６（ａ）に示されるように、タッチパネル２０２は、第１文書ファイルのアイコン４０１、第２文書ファイルのアイコン４０２、第３文書ファイルのアイコン４０３、及び第４文書ファイルのアイコン４０４を表示している。ユーザーは、例えば第１文書ファイルのアイコン４０１を指でタップすることにより、第１文書ファイルを選択する。ユーザーは、第１文書ファイルのアイコン４０１の色が黄色に変化することと、第１文書ファイルのアイコン４０１の近傍に指のアイコン４０５が表示されることとを通じて、第１文書ファイルが第１オブジェクトとして選択されたことを確認することができる。
【００５３】
次いで、図６（ｂ）に示されるように、ユーザーは、タッチパネル２０２に表示された第１文書ファイルの１ページのうちの一定の範囲４０６を親指と人差指とのタッチ操作で選択する。ユーザーは、範囲４０６を示す黄色の枠線の近傍に指のアイコン４０７が表示されることを通じて、範囲４０６が選択されたことを確認することができる。更に、ユーザーは、「右回転、拡大してプレビュー」との音声入力５０３を携帯型端末２００に与える。
【００５４】
次いで、図６（ｃ）に示されるように、ユーザーは、タッチパネル２０２に表示された拡大プレビュー４０９を確認したうえ、「印刷」との音声入力５０４を携帯型端末２００に与える。その結果、ユーザーが所望する印刷コマンドが画像形成装置３００へ送信される。拡大プレビュー４０９として確認された画像が、画像形成装置３００によって印刷される。
【００５５】
次に、図１〜図４、図７（ａ）、図７（ｂ）、図７（ｃ）、図８（ａ）、及び図８（ｂ）を参照して、携帯型端末２００における操作の更に他の例について説明する。図７（ａ）、図７（ｂ）、及び図７（ｃ）は、携帯型端末２００に対する更に他の一連の操作におけるタッチパネル２０２の画面を示す図である。図８（ａ）及び図８（ｂ）は、図７（ｃ）に続く一連の操作におけるタッチパネル２０２の画面を示す図である。
【００５６】
図７（ａ）に示されるように、タッチパネル２０２は、第１文書ファイルのアイコン４０１、第２文書ファイルのアイコン４０２、第３文書ファイルのアイコン４０３、及び第４文書ファイルのアイコン４０４を表示している。ユーザーは、例えば第１文書ファイルのアイコン４０１を指でタップすることにより、第１文書ファイルを選択する。ユーザーは、第１文書ファイルのアイコン４０１の色が黄色に変化することと、第１文書ファイルのアイコン４０１の近傍に指のアイコン４０５が表示されることとを通じて、第１文書ファイルが第１オブジェクトとして選択されたことを確認することができる。
【００５７】
次いで、図７（ｂ）に示されるように、ユーザーは、タッチパネル２０２に表示された第１文書ファイルの１ページのうちの一定の範囲４０６を親指と人差指とのタッチ操作で選択する。ユーザーは、範囲４０６を示す黄色の枠線の近傍に指のアイコン４０７が表示されることを通じて、範囲４０６が選択されたことを確認することができる。
【００５８】
次いで、図７（ｃ）に示されるように、ユーザーは、例えば第２文書ファイルのアイコン４０２を指でタップすることにより、第２文書ファイルを選択する。ユーザーは、第２文書ファイルのアイコン４０２の色が青色に変化することと、第２文書ファイルのアイコン４０２の近傍に指のアイコン４１０が表示されることとを通じて、第２文書ファイルが第２オブジェクトとして選択されたことを確認することができる。
【００５９】
次いで、図８（ａ）に示されるように、ユーザーは、タッチパネル２０２に表示された第２文書ファイルの１ページのうちの一定の範囲４１１を親指と人差指とのタッチ操作で選択する。ユーザーは、範囲４１１を示す青色の枠線の近傍に指のアイコン４１２が表示されることを通じて、範囲４１１が選択されたことを確認することができる。更に、ユーザーは、「黄色と青色  集約、拡大プレビュー」との音声入力５０５を携帯型端末２００に与える。
【００６０】
次いで、図８（ｂ）に示されるように、ユーザーは、タッチパネル２０２に表示された集約拡大プレビュー４１３を確認したうえ、「印刷」との音声入力５０６を携帯型端末２００に与える。その結果、ユーザーが所望する印刷コマンドが画像形成装置３００へ送信される。集約拡大プレビュー４１３として確認された画像が、画像形成装置３００によって印刷される。
【００６１】
次に、図１〜図４、図９（ａ）、及び図９（ｂ）を参照して、音声認識の結果を修正する処理について説明する。図９（ａ）及び図９（ｂ）は、音声認識の結果を修正する処理におけるタッチパネル２０２の画面を示す図である。
【００６２】
図９（ａ）に示されるように、ユーザーは、範囲４０６を示す黄色の枠線の近傍に指のアイコン４０７が表示されることを通じて、範囲４０６が選択されたことを確認したうえ、「拡大してプレビュー」との音声入力５０１を携帯型端末２００に与える。図９（ａ）では、「拡大してプレビュー」が「縮小してプレビュー」と誤認識された。提示部２１３２がアクティブ状態に設定されていると、音声認識の結果を表す文字列４１４が指のアイコン４０７の近傍に提示される。
【００６３】
図９（ｂ）に示されるように、誤認識に気付いたユーザーは、文字列４１５をタップすることにより、携帯型端末２００を修正指示の入力モードに切り替える。ユーザーは、文字列４１４を囲んでいた枠線の近傍に指のアイコン４１６が表示されることを通じて、携帯型端末２００が修正指示の入力モードに切り替えられたことを確認することができる。更に、ユーザーは、「拡大してプレビュー」との再度の音声入力５０７を携帯型端末２００に与える。正しい音声認識の結果を表す文字列４１５が指のアイコン４１６の近傍に提示される。なお、ユーザーは、再度の音声入力５０７に代えて、キー入力を選択してもよい。
【００６４】
次に、図１〜図４、図１０（ａ）、及び図１０（ｂ）を参照して、非音声入力と音声入力との競合について説明する。図１０（ａ）は、非音声入力が許容される操作の範囲を示す第１範囲Ｒ１の図である。図１０（ｂ）は、音声入力が許容される操作の範囲を示す第２範囲Ｒ２の図である。
【００６５】
図１０（ａ）に示されるように、第１範囲Ｒ１は、「回転」、「集約」のような、タッチパネル２０２への非音声入力で指定されるオブジェクト操作を含む。例えば、「回転」は、複数の指によるジェスチャー操作で指定され得る。図１０（ｂ）に示されるように、第２範囲Ｒ２は、「プレビュー」、「印刷」、「回転」、「個別」、「集約」、「Ａ４に拡大して印刷」、「Ａ４横に拡大して印刷」のような、マイク２０３への音声入力で指定されるオブジェクト操作を含む。第１範囲Ｒ１及び第２範囲Ｒ２の各々のリストは、端末記憶部２０５に格納される。
【００６６】
「回転」は、第１範囲Ｒ１と第２範囲Ｒ２との双方に属するオブジェクト操作の一例である。決定部２１５は、第１範囲Ｒ１と第２範囲Ｒ２との双方に属するオブジェクト操作について、非音声入力と音声入力とのいずれを優先するかを決定する。
【００６７】
次に、図１〜図４、図１１（ａ）、図１１（ｂ）、図１１（ｃ）、図１２（ａ）、図１２（ｂ）、及び図１２（ｃ）を参照して、携帯型端末２００における操作の更に他の例について説明する。図１１（ａ）、図１１（ｂ）、及び図１１（ｃ）は、携帯型端末２００に対する更に他の一連の操作におけるタッチパネル２０２の画面を示す図である。図１２（ａ）、図１２（ｂ）、及び図１２（ｃ）は、図１１（ｃ）に続く一連の操作におけるタッチパネル２０２の画面を示す図である。
【００６８】
図１１（ａ）に示されるように、タッチパネル２０２は、第１文書ファイルのアイコン４０１、第２文書ファイルのアイコン４０２、第３文書ファイルのアイコン４０３、及び第４文書ファイルのアイコン４０４を表示している。ユーザーは、携帯型端末２００が合成モードに切り替えられるように、「合成」との音声入力６０１を携帯型端末２００に与える。
【００６９】
図１１（ｂ）に示されるように、タッチパネル２０２は、第１文書ファイルのアイコン４０１の色を黄色に、第２文書ファイルのアイコン４０２の色を青色にそれぞれ変化させる。また、タッチパネル２０２は、第３文書ファイルのアイコン４０３の色を赤色に、第４文書ファイルのアイコン４０４の色を緑色にそれぞれ変化させる。更に、タッチパネル２０２は、ユーザーによる選択操作を督促するように、「合成モード  第１オブジェクト選択」との文字列４１７を表示する。ユーザーは、例えば第１文書ファイルのアイコン４０１を指でタップすることにより、第１文書ファイルを選択する。ユーザーは、第１文書ファイルのアイコン４０１の近傍に指のアイコン４０５が表示されることを通じて、第１文書ファイルが第１オブジェクトとして選択されたことを確認することができる。
【００７０】
次いで、図１１（ｃ）に示されるように、ユーザーは、タッチパネル２０２に表示された第１文書ファイルの１ページのうちの一定の範囲４０６を親指と人差指とのタッチ操作で選択する。ユーザーは、範囲４０６を示す黄色の枠線の近傍に指のアイコン４０７が表示されることを通じて、範囲４０６が選択されたことを確認することができる。
【００７１】
次いで、図１２（ａ）に示されるように、タッチパネル２０２は、第１文書ファイルのアイコン４０１、第２文書ファイルのアイコン４０２、第３文書ファイルのアイコン４０３、及び第４文書ファイルのアイコン４０４を、各々色付きで再度表示する。更に、タッチパネル２０２は、ユーザーによる次の選択操作を督促するように、「合成モード  第２オブジェクト選択」との文字列４１８を表示する。ユーザーは、例えば第２文書ファイルのアイコン４０２を指でタップすることにより、第２文書ファイルを選択する。ユーザーは、第２文書ファイルのアイコン４０２の近傍に指のアイコン４１０が表示されることを通じて、第２文書ファイルが第２オブジェクトとして選択されたことを確認することができる。
【００７２】
次いで、図１２（ｂ）に示されるように、ユーザーは、タッチパネル２０２に表示された第２文書ファイルの１ページのうちの一定の範囲４１１を親指と人差指とのタッチ操作で選択する。ユーザーは、範囲４１１を示す青色の枠線の近傍に指のアイコン４１２が表示されることを通じて、範囲４１１が選択されたことを確認することができる。更に、ユーザーは、「黄色と青色  集約、拡大プレビュー」との音声入力５０５を携帯型端末２００に与える。
【００７３】
次いで、図１２（ｃ）に示されるように、ユーザーは、タッチパネル２０２に表示された集約拡大プレビュー４１３を確認したうえ、「印刷」との音声入力５０６を携帯型端末２００に与える。その結果、ユーザーが所望する印刷コマンドが画像形成装置３００へ送信される。集約拡大プレビュー４１３として確認された画像が、画像形成装置３００によって印刷される。
【００７４】
以上のように、携帯型端末２００によれば、ユーザーは、非音声入力と音声入力との組み合わせにより、印刷範囲の選択と、用紙サイズの選択のような印刷設定と、印刷指示とを一気に行うことができる。したがって、ユーザーの利便性が向上する。
【００７５】
以上、本発明の実施形態について、図面を参照しながら説明した。ただし、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施することが可能である。
【００７６】
例えば、本発明の実施形態において、表示制御装置は、スマートフォン又はタブレット端末として構成された携帯型端末２００であったが、これらに限られない。例えば、表示制御装置は、表示制御プログラムＰ１がインストールされた画像形成装置３００、又はパーソナルコンピューターのような電子機器であってもよい。
【００７７】
また、本発明の実施形態において、表示部はタッチパネル２０２であったが、これに限られない。例えば、表示部は、ＶＲ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ）グラス、又はＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）グラスのようなデバイスであってもよい。この場合の非音声入力は、ユーザーの手及び腕によるジェスチャーであって、ユーザーの手及び腕を撮像するカメラに与えられる。
【産業上の利用可能性】
【００７８】
本発明は、表示制御装置、表示制御方法、及び表示制御プログラムに有用である。
【符号の説明】
【００７９】
１００    画像形成システム
２００    携帯型端末（表示制御装置）
２０２    タッチパネル
２０３    マイク
２１０    端末制御部
２１２    第１受付部
２１３    第２受付部
２１４    実行部
２１５    決定部
２１６    識別部
２１７    督促部
３００    画像形成装置
２１３１  認識部
２１３２  提示部
２１３３  修正部
Ｐ１      表示制御プログラム
Ｒ１      第１範囲
Ｒ２      第２範囲
【図１】
2020166729.tif 000003
【図２】
2020166729.tif 000004
【図３】
2020166729.tif 000005
【図４】
2020166729.tif 000006
【図５】
2020166729.tif 000007
【図６】
2020166729.tif 000008
【図７】
2020166729.tif 000009
【図８】
2020166729.tif 000010
【図９】
2020166729.tif 000011
【図１０】
2020166729.tif 000012
【図１１】
2020166729.tif 000013
【図１２】
2020166729.tif 000014