(57)【要約】【課題】音声認識キーの押下や事前のレベル設定等の操作を不要にして操作ステップ数を少なくし、直感的な操作を可能にして操作性を向上した入力操作装置等を提供する。【解決手段】タッチパネルへのタッチ操作がなされたときに表示手段１７１に表示されていた画面の種別、前記タッチパネル上のタッチ操作の位置、タッチ操作の種別のうちの少なくともいずれかと、音声入力受付手段１１により受け付けられた音声入力の内容とに対応付けて予め設定された動作を実行する。【選択図】  図２
2013222229.tif 000002
【特許請求の範囲】
【請求項１】
タッチパネルを有する表示手段と、
前記表示手段のタッチパネル上でユーザによるタッチ操作がなされたかどうかを判断する判断手段と、
音声入力手段と、
前記判断手段により、前記タッチ操作がなされたと判断された場合、前記音声入力手段による音声入力を受け付ける音声入力受付手段と、
前記タッチ操作がなされたときに前記表示手段に表示されていた画面の種別、前記タッチパネル上のタッチ操作の位置、タッチ操作の種別のうちの少なくともいずれかと、前記音声入力受付手段により受け付けられた音声入力の内容とに対応付けて予め設定された動作を実行する制御手段と、
を備えたことを特徴とする入力操作装置。
【請求項２】
前記画面の種別、タッチ操作の位置、タッチ操作の種別のうちの少なくともいずれかと、キーワードと、動作内容とが関連付けて記憶された記憶手段を備え、
前記制御手段は、前記音声入力手段による音声入力の内容が前記記憶手段に記憶されているキーワードと一致するかどうかを判断し、一致する場合に、そのキーワードと前記画面の種別、タッチ操作の位置、タッチ操作の種別のうちの少なくともいずれかに対応付けられた動作を実行する請求項１に記載の入力操作装置。
【請求項３】
前記タッチ操作の種別は、タッチパネルに軽くタッチした状態で指を弾く動作であるフリックか、タッチパネルに軽くタッチした状態で指を滑らせる動作であるドラッグか、タッチパネルを指でたたく動作であるタップか、２回指でたたく動作であるダブルタップか、タッチパネルにマルチタッチして指を中心に向かって縮めるまたは広げる方向に滑らせる動作であるピンチイン／ピンチアウトか、タッチパネルにマルチタッチして、片方の指または両方の指の中心位置を中心として回転させる動作であるローテーションか、タッチパネルに軽くタッチした状態で指を滑らせ目的の場所で指を離す動作であるドラッグアンドドロップ、のうちの少なくともいずれかである請求項１または２に記載の入力操作装置。
【請求項４】
前記音声入力受付手段は、タッチ操作の終了後、予め設定された時間まで音声入力を受け付ける請求項１〜３のいずれかに記載の入力操作装置。
【請求項５】
請求項１〜４のいずれかに記載の入力操作装置を備えた画像形成装置。
【請求項６】
タッチパネルを有する表示手段と、音声入力手段とを備えた画像形成装置の入力操作方法であって、
前記タッチパネル上でユーザによるタッチ操作がなされたかどうかを判断する判断ステップと、
前記判断ステップにおいて、前記タッチ操作がなされたと判断された場合、前記音声入力手段による音声入力を受け付ける音声入力受付ステップと、
前記タッチ操作がなされたときに前記表示手段に表示されていた画面の種別、前記タッチパネル上のタッチ操作の位置、タッチ操作の種別のうちの少なくともいずれかと、前記音声入力受付ステップにおいて受け付けられた音声入力の内容とに対応付けて予め設定された動作を実行する制御ステップと、
を備えたことを特徴とする入力操作方法。
【請求項７】
タッチパネルを有する表示手段と、音声入力手段とを備えた画像形成装置のコンピュータに実行させるための入力操作プログラムであって、
前記タッチパネル上でユーザによるタッチ操作がなされたかどうかを判断する判断ステップと、
前記判断ステップにおいて、前記タッチ操作がなされたと判断された場合、前記音声入力手段による音声入力を受け付ける音声入力受付ステップと、
前記タッチ操作がなされたときに前記表示手段に表示されていた画面の種別、前記タッチパネル上のタッチ操作の位置、タッチ操作の種別のうちの少なくともいずれかと、前記音声入力受付ステップにおいて受け付けられた音声入力の内容とに対応付けて予め設定された動作を実行する制御ステップと、
を前記コンピュータに実行させる入力操作プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像形成装置の操作パネル等に使用され、ユーザが入力操作を行うための入力操作装置、該装置を備えた画像形成装置、入力操作方法及び入力操作プログラムに関する。
【背景技術】
【０００２】
直感的な操作を可能にするスマートフォン、タブレットＰＣ等の普及に伴い、種々の装置で直感的な操作性が求められている。代表的な操作例として、マルチタッチ操作と呼ばれるフリックやピンチなどがある。
【０００３】
画像形成装置等において、保存された文書をプレビュー表示する際に、前記フリック操作でページ送りしていく場合、基本的には１ページずつのページ送りであり、瞬時に任意のページに行きたい場合は、あらかじめ設定が必要であったり、ページ表示のバー表示が必要となり、表示領域が狭められたりするという問題がある。また、ピンチイン／ピンチアウトして、表示を縮小／拡大する際に、一度に最適な大きさに調整するのは難しく、ブリックと同様にレベル設定のキーが必要で表示が狭められるという問題もある。
【０００４】
また、基本的にマルチタッチ操作をして、レベル設定やページ指定などの追加要望を実現しようとすると、第１の操作で指がふさがっているため、その後の追加操作が必要となり、２ステップ以上の操作が必要となってしまうという問題もある。
【０００５】
一方、音声認識による操作も直観的に操作可能な操作方法の一つである。音声認識においては、終始音声認識処理を実行していると、ＣＰＵを占有してしまい、他の処理が重くなってしまう。
【０００６】
音声認識による操作の上述の問題を解決するために、特許文献１に記載されているように、音声認識キーを押して音声入力を受付可能にした状態で、音声を入力するのが一般的であり、音声認識キーを押した後であれば、指での操作をしなくても音声にて直観的な操作が可能となる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−１６７９６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、音声入力前に事前に音声認識キーを押す必要があることから、ワンステップ操作が増えてしまうという課題がある。また、音声認識と指での直観的操作を組み合わせることも考えられるが、この場合も、音声認識キーを押したのちに音声入力し、レベル設定など具体的な数値を入力しておいて、指での操作をするといった操作になり、同様に操作ステップが多くなり、直観的な操作とは言えず、操作性が良くないという課題がある。
【０００９】
この発明は、このような技術的背景に鑑みてなされたものであって、音声認識キーの押下や事前のレベル設定等の操作を不要にして操作ステップ数を少なくし、直感的な操作を可能にして操作性を向上した入力操作装置を提供し、さらには該装置を備えた画像形成装置、入力操作方法及び入力操作プログラムを提供することを課題とする。
【課題を解決するための手段】
【００１０】
上記課題は、以下の手段によって解決される。
（１）タッチパネルを有する表示手段と、前記表示手段のタッチパネル上でユーザによるタッチ操作がなされたかどうかを判断する判断手段と、音声入力手段と、前記判断手段により、前記タッチ操作がなされたと判断された場合、前記音声入力手段による音声入力を受け付ける音声入力受付手段と、前記タッチ操作がなされたときに前記表示手段に表示されていた画面の種別、前記タッチパネル上のタッチ操作の位置、タッチ操作の種別のうちの少なくともいずれかと、前記音声入力受付手段により受け付けられた音声入力の内容とに対応付けて予め設定された動作を実行する制御手段と、を備えたことを特徴とする入力操作装置。
（２）前記画面の種別、タッチ操作の位置、タッチ操作の種別のうちの少なくともいずれかと、キーワードと、動作内容とが関連付けて記憶された記憶手段を備え、前記制御手段は、前記音声入力手段による音声入力の内容が前記記憶手段に記憶されているキーワードと一致するかどうかを判断し、一致する場合に、そのキーワードと前記画面の種別、タッチ操作の位置、タッチ操作の種別のうちの少なくともいずれかに対応付けられた動作を実行する前項１に記載の入力操作装置。
（３）前記タッチ操作の種別は、タッチパネルに軽くタッチした状態で指を弾く動作であるフリックか、タッチパネルに軽くタッチした状態で指を滑らせる動作であるドラッグか、タッチパネルを指でたたく動作であるタップか、２回指でたたく動作であるダブルタップか、タッチパネルにマルチタッチして指を中心に向かって縮めるまたは広げる方向に滑らせる動作であるピンチイン／ピンチアウトか、タッチパネルにマルチタッチして、片方の指または両方の指の中心位置を中心として回転させる動作であるローテーションか、タッチパネルに軽くタッチした状態で指を滑らせ目的の場所で指を離す動作であるドラッグアンドドロップ、のうちの少なくともいずれかである前項１または２に記載の入力操作装置。
（４）前記音声入力受付手段は、タッチ操作の終了後、予め設定された時間まで音声入力を受け付ける前項１〜３のいずれかに記載の入力操作装置。
（５）前項１〜４のいずれかに記載の入力操作装置を備えた画像形成装置。
（６）タッチパネルを有する表示手段と、音声入力手段とを備えた画像形成装置の入力操作方法であって、前記タッチパネル上でユーザによるタッチ操作がなされたかどうかを判断する判断ステップと、前記判断ステップにおいて、前記タッチ操作がなされたと判断された場合、前記音声入力手段による音声入力を受け付ける音声入力受付ステップと、前記タッチ操作がなされたときに前記表示手段に表示されていた画面の種別、前記タッチパネル上のタッチ操作の位置、タッチ操作の種別のうちの少なくともいずれかと、前記音声入力受付ステップにおいて受け付けられた音声入力の内容とに対応付けて予め設定された動作を実行する制御ステップと、を備えたことを特徴とする入力操作方法。
（７）タッチパネルを有する表示手段と、音声入力手段とを備えた画像形成装置のコンピュータに実行させるための入力操作プログラムであって、前記タッチパネル上でユーザによるタッチ操作がなされたかどうかを判断する判断ステップと、前記判断ステップにおいて、前記タッチ操作がなされたと判断された場合、前記音声入力手段による音声入力を受け付ける音声入力受付ステップと、前記タッチ操作がなされたときに前記表示手段に表示されていた画面の種別、前記タッチパネル上のタッチ操作の位置、タッチ操作の種別のうちの少なくともいずれかと、前記音声入力受付ステップにおいて受け付けられた音声入力の内容とに対応付けて予め設定された動作を実行する制御ステップと、を前記コンピュータに実行させる入力操作プログラム。
【発明の効果】
【００１１】
前項（１）に記載の発明によれば、タッチ操作がなされたと判断された場合、音声入力手段による音声入力が受け付けられるとともに、前記タッチ操作がなされたときに表示手段に表示されていた画面の種別、タッチパネル上のタッチ操作の位置、タッチ操作の種別のうちの少なくともいずれかと、前記音声入力受付手段により受け付けられた音声入力の内容とに対応して予め設定された動作が実行される。
【００１２】
従って、ユーザは、従来のように音声認識キーを押すことなく、表示手段のタッチパネルにおけるタッチ検出領域にタッチすると同時に音声を入力することで、動作を実行させることができるから、音声認識キーの押下や事前のレベル設定等の操作を不要にでき、操作ステップ数を少なくでき、直感的な操作が可能となり、操作性を向上することができる。
【００１３】
前項（２）に記載の発明によれば、音声入力手段による音声入力の内容が前記記憶手段に記憶されているキーワードと一致するかどうかが判断され、一致する場合に、そのキーワードと画面の種別、タッチ操作の位置、タッチ操作の種別のうちの少なくともいずれかと対応付けられた動作が実行される。
【００１４】
前項（３）に記載の発明によれば、フリック、ドラッグ、タップ、ダブルタップ、ピンチイン／ピンチアウト、ローテーション、ドラッグアンドドロップのうちの少なくともいずれかのタッチ操作に基づいて、動作が実行される。
【００１５】
前項（４）に記載の発明によれば、タッチ操作の終了後、予め設定された時間まで音声入力が受け付けられるから、音声入力がタッチ操作よりも多少遅れても、確実に音声入力が受け付けられる。
【００１６】
前項（５）に記載の発明によれば、操作ステップ数を少なくでき、直感的な操作が可能で、操作性を向上できる画像形成装置となし得る。
【００１７】
前項（６）に記載の発明によれば、音声認識キーの押下や事前のレベル設定等の操作を不要にでき、操作ステップ数を少なくでき、画像形成装置の直感的な操作が可能となり、操作性を向上することができる。
【００１８】
前項（７）に記載の発明によれば、タッチパネル上でユーザによるタッチ操作がなされたかどうかを判断し、タッチ操作がなされたと判断された場合、音声入力手段による音声入力を受け付けるとともに、タッチ操作がなされたときに前記表示手段に表示されていた画面の種別、前記タッチパネル上のタッチ操作の位置、タッチ操作の種別のうちの少なくともいずれかと、前記受け付けられた音声入力の内容とに対応付けて予め設定された動作を実行する処理を、画像形成装置のコンピュータに実行させることができる。
【図面の簡単な説明】
【００１９】
【図１】この発明の一実施形態に係る入力操作装置を備えた画像形成装置のブロック図である。
【図２】画像形成装置の動作を示すフローチャートである。
【図３】タッチ操作の開始及び終了タイミングと音声入力受付期間との関係を示す図である。
【図４】図３のステップＳ１１１におけるタッチ操作の種別判定処理を示すフローチャートである。
【図５】タッチ操作の種別説明図である。
【図６】タッチパネルへのタッチ操作がなされたときに表示部に表示されている画面の種別と、音声入力されたキーワードとに対応付けて、予め設定された動作を示すテーブルである。
【図７】図６のテーブルに示された１つの画面の下位層の画面について、その種別と音声入力されたキーワードとに対応付けて予め設定された動作を示すテーブルである。
【図８】タッチパネルへのタッチ操作がなされたときのタッチ操作の位置と、音声入力されたキーワードとに対応付けて、予め設定された動作を示すテーブルである。
【図９】タッチパネルへのタッチ操作の種別と、音声入力されたキーワードとに対応付けて、予め設定された動作を示すテーブルである。
【図１０】同じタッチ操作種別であっても、タッチ操作を行った表示画面中の位置に応じて、異なる動作を行わせる場合の説明図である。
【発明を実施するための形態】
【００２０】
以下、この発明の実施形態を図面に基づいて説明する。
【００２１】
図１は、この発明の一実施形態に係る入力操作装置を備えた画像形成装置１を示すブロック図である。
【００２２】
画像形成装置１は、この実施形態では、コピー機能、プリンタ機能、ファクシミリ機能、スキャン機能等の複数の機能を複合した多機能デジタル画像形成装置であるＭＦＰ（Multi Function Peripherals）が用いられている。以下の説明では、画像形成装置をＭＦＰともいう。
【００２３】
ＭＦＰ１は、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、スキャナ部１４と、記憶部１５と、プリンタ部１６と、操作パネル１７と、ネットワークコントローラ１８と、音声入力部１９等を備えている。
【００２４】
前記ＣＰＵ１１は、ＭＦＰ１の全体を統括的に制御し、コピー機能、プリンタ機能、ファクシミリ機能、スキャン機能等の各機能を使用可能とするものである。さらにこの実施形態では、操作パネル１７のタッチパネルをユーザがタッチ操作したことを操作パネルからの情報に基づいて検出し、音声入力部による音声入力を受付可能にしたり、受け付けられた音声入力に対して音声認識処理を実行したり、タッチ操作がなされたときに前記操作パネル１７に表示されていた画面の種別、前記タッチパネル上のタッチ操作の位置、タッチ操作の種別等を判断し、これらのうちの予め設定された少なくともいずれかと、前記音声入力の内容とに基づいて、予め設定された動作を実行したり、操作パネル１７の画面を別の画面に切り替える等の処理を実行するが、詳細な説明は後述する。
【００２５】
前記ＲＯＭ１２は、前記ＣＰＵ１１の動作プログラム等が格納されているメモリであり、ＲＡＭ１３は、前記ＣＰＵ１１が動作プログラムに従って動作する際の作業領域を提供するメモリである。
【００２６】
前記スキャナ部１４は、用紙等に記載された原稿の画像を読み取って、電子データである画像データに変換する読み取り手段として機能する。このスキャナ部１５は、図示は省略したが複数の原稿を読み取り位置まで自動搬送する自動原稿搬送装置（ＡＤＦ）を備えていても良い。
【００２７】
前記記憶部１５は、スキャナ部１５により読み取られた画像データやその他のデータ、アプリケーション等を保存するメモリであり、例えばハードディスク装置が用いられている。また、この実施形態では、多数のキーワードを有する第１の辞書と、この第１の辞書に存在するキーワードをさらに絞り込んだ第２の辞書が記憶され、さらにはタッチ操作の種別等が登録されている。また、前記操作パネル１７に表示されていた画面の種別、前記タッチパネル上のタッチ操作の位置、タッチ操作の種別のうちの少なくともいずれかと、前記第２の辞書に記憶されているキーワードとに対応付けられて、実行すべき動作が予め設定され記憶されている。
【００２８】
プリンタ部１６は、前記スキャナ部１５で読み取られた原稿の画像データや、パーソナルコンピュータ等の外部装置から送信されたプリントデータ等を、用紙に印刷するものである。
【００２９】
操作パネル１７は、ユーザの操作やメッセージの表示等に使用されるものであり、タッチパネルを備えた液晶等からなり、各種メッセージやＭＦＰ１の状態等を表示するための表示部１７１と、テンキー、スタートキー等を備えたハードキー部１７２を備えている。
【００３０】
前記ネットワークコントローラ１８は、パーソナルコンピュータやサーバなどの外部装置とデータの送受を行うための通信部として機能する。
【００３１】
前記音声入力部１９は、ユーザが発した音声を入力するものであり、例えばマイクロフォン等によって構成されている。
【００３２】
図２は、ＭＦＰ１の動作を示すフローチャートである。この動作は、ＣＰＵ１１がＲＯＭ１２に記憶されているプログラムに従って動作することにより実行される。
【００３３】
ステップＳ１１で、表示部１７１のタッチパネルに対するタッチ操作が開始されたことを検出し、ステップＳ１１１で、タッチ操作の種別判定処理を実行する。
【００３４】
次いで、ステップＳ１２では、前記タッチ操作は記憶部１５に登録されている操作種別の操作であるかどうかを、種別判定結果に基づいて判断する。
【００３５】
登録されている操作種別のタッチ操作でなければ（ステップＳ１２でＮＯ）、ステップＳ１３２で、そのタッチ操作に応じた動作を実行したのち、ステップＳ１１に戻る。登録されている操作種別のタッチ操作であれば（ステップＳ１２でＹＥＳ）、ステップＳ１３１で、音声入力部１９をオンにして音声入力の受付を開始する。
【００３６】
従って、図３に示すように、タッチ操作の開始とほぼ同時に音声入力の受付が開始される。また、音声入力の受付は、タッチ操作の検出終了タイミングＴ１よりも遅いタイミングＴ２まで行われる。つまり、音声入力の受付期間はタッチ操作の検出期間よりも（Ｔ２−Ｔ１）だけ長く、この期間が猶予期間となっている。この猶予期間（Ｔ２−Ｔ１）は予め設定された値である。
【００３７】
次にステップＳ１４で、音声入力があったかどうかを判断し、なければ（ステップＳ１４でＮＯ）、ステップＳ１５２に進む。音声入力があれば（ステップＳ１４でＹＥＳ）、ステップＳ１５１で、音声認識処理を行うとともに、該処理により得られた内容が記憶部１５に記憶されている第１の辞書に記載されているキーワードと一致しているかどうかを判断する。一致していなければ（ステップＳ１５１でＮＯ）、ステップＳ１５２に進む。一致していれば（ステップＳ１５１でＹＥＳ）、ステップＳ１６に進む。
【００３８】
ステップＳ１６では、音声認識処理により得られた内容が、記憶部１５に記憶されている第２の辞書に記載されているキーワードと一致しているかどうかを判断する。一致していなければ（ステップＳ１６でＮＯ）、ステップＳ１５２に進む。一致していれば（ステップＳ１６でＹＥＳ）、ステップＳ１７で、表示部１７１に表示されている現在の画面の種別、タッチパネル上のタッチ操作の位置、タッチ操作の種別のうち予め設定された少なくともいずれかと、前記キーワードとに対応して予め設定された動作を実行する。
【００３９】
一方、ステップＳ１５２では、指でのタッチ操作が終了したかどうかを判断する。タッチ操作が終了していなければ（ステップＳ１５２でＮＯ）、ステップＳ１４に戻る。終了していれば（ステップＳ１５２でＹＥＳ）、ステップＳ１１に戻る。
【００４０】
このように、タッチ操作がなされたことが検出されると、音声入力部１９による音声入力が受け付けられるとともに、前記タッチ操作がなされたときに表示部１７１に表示されていた画面の種別、タッチパネル上のタッチ操作の位置、タッチ操作の種別のうちの少なくともいずれかと、前記音声入力部１９により受け付けられた音声入力の内容とに対応して予め設定された動作が実行されるから、ユーザは、従来のように音声認識キーを押すことなく、表示部１７１のタッチパネルにタッチすると同時に音声を入力することで、動作を実行させることができる。このため、音声認識キーの押下や事前のレベル設定等の操作を不要にでき、操作ステップ数を少なくでき、ＭＦＰ１の直感的な操作が可能となり、操作性を向上することができる。
【００４１】
なお、図２のフローチャートでは、音声入力の内容が第１の辞書のキーワードと一致しているかどうかを判断し、一致している場合に第２の辞書のキーワードと一致しているかどうかを判断したが、辞書は第２の辞書に相当するものが１つ備えられていても良い。
【００４２】
図４は、図３のステップＳ１１１におけるタッチ操作の種別判定処理を示すフローチャートである。この処理は、操作パネル１７から逐次送信されてくる検出出力を基に判断される。
【００４３】
ステップＳ２２１で、操作パネル１７からの第１の検出出力が、タッチパネルを軽くタッチしたことの検出であるかどうかを判断し、タッチパネルを軽くタッチしたことの検出であれば（ステップＳ２２１でＹＥＳ）、ステップＳ２２１１で、第２の検出出力が指を弾いたことの検出であるかどうかを判断する。指を弾いたことの検出であれば（ステップＳ２２１１でＹＥＳ）、ステップＳ２２１１１で、タッチ操作はフリック（スワイプ）であると判定した後、リターンする。この操作は、図５（ａ）に示すように、例えば１ページ表示を２ページ表示にしたり、ページ送り等に使用される。なお、フリック操作の指を弾く速度が遅いか速いかを判断して、フリック操作を複数種類の操作に分けても良い。
【００４４】
ステップＳ２２１１で、第２の検出出力が指を弾いたことの検出でなければ（ステップＳ２２１１でＮＯ）、ステップＳ２２１２で、第２の検出出力が指をすべらせることの検出であるかどうかを判断する。指をすべらせることの検出であれば（ステップＳ２２１２でＹＥＳ）、ステップＳ２２１２１で、タッチ操作はドラッグ（パン）であると判定した後、ステップＳ２２１２２に進み、第３の検出出力が指を離したことの検出であるかどうかを判断する。指を離したことの検出でなければ（ステップＳ２２１２２でＮＯ）、指を離したことが検出されるまで待ち、検出されると（ステップＳ２２１２２でＹＥＳ）、ステップＳ２２１２３で、タッチ操作はドロップと判定した後、リターンする。つまり、ドラッグアンドドロップと判定される。この操作は、図５（ｃ）に示すように、例えば表示文書を所定のフォルダアイコンに保存する場合等に使用される。
【００４５】
ステップＳ２２１２において、第２の検出出力が指をすべらせることの検出でなければ（ステップＳ２２１２でＮＯ）、ステップＳ２２１３で、第２の検出出力が指を離したことの検出であるかどうかを判断する。指を離したことの検出でなければ（ステップＳ２２１３でＮＯ）、ステップＳ２２１１に戻る。指を離したことの検出であれば（ステップＳ２２１３でＹＥＳ）、ステップＳ２２１３１で、タッチ操作はシングルタッチと判定した後、リターンする。
【００４６】
ステップＳ２２１で、第１の検出出力がタッチパネルを軽くタッチしたことの検出でなければ（ステップＳ２２１でＮＯ）、ステップＳ２２２で、第１の検出出力が、タッチパネルを指でたたいたことの検出であるかどうかを判断し、指でたたいたことの検出であれば（ステップＳ２２２でＹＥＳ）、ステップＳ２２２１で、第２の検出出力が指でたたいたことの検出であるかどうかを判断する。第２の検出出力が指でたたいたことの検出でなければ（ステップＳ２２２１でＮＯ）、ステップＳ２２１１で、タッチ操作はシングルタップであると判定した後、リターンする。この操作は、図５（ｅ）に示すように、例えば各種キーの押下等に使用される。
【００４７】
ステップＳ２２２１で、第２の検出出力が指でたたいたことの検出であれば（ステップＳ２２２１でＹＥＳ）、ステップＳ２２２１２で、タッチ操作はダブルタップであると判定した後、リターンする。この操作は、図５（Ｆ）に示すように、例えば画面の拡大や縮小等に用いられる。
【００４８】
ステップＳ２２２で、第１の検出出力が、タッチパネルを指でたたいたことの検出でなければ（ステップＳ２２２でＮＯ）、ステップＳ２２３で、第１の検出出力がマルチタッチかどうかを判断する。
【００４９】
マルチタッチであれば（ステップＳ２２３でＹＥＳ）、ステップＳ２２３１で、第２の検出出力が指を縮めたことの検出であるかどうかを判断する。第２の検出出力が指を縮めたことの検出であれば（ステップＳ２２３１でＹＥＳ）、ステップＳ２２３１１で、タッチ操作はピンチインであると判定した後、リターンする。一方、第２の検出出力が指を縮めたことの検出でなければ（ステップＳ２２３１でＮＯ）、ステップＳ２２３２で、第２の検出出力が指を拡げたことの検出であるかどうかを判断する。第２の検出出力が指を拡げたことの検出であれば（ステップＳ２２３２でＹＥＳ）、ステップＳ２２３２１で、タッチ操作はピンチアウトであると判定した後、リターンする。
【００５０】
これらのピンチイン／ピンチアウト操作は、図５（ｂ）に示すように、例えば画面の一部を部分的に縮小したり拡大するのに使用される。
【００５１】
ステップＳ２２３２において、第２の検出出力が指を拡げたことの検出でなければ（ステップＳ２２３２でＮＯ）、ステップＳ２２３３で、第２の検出出力が回転の検出であるかどうかを判断する。回転の検出であれば（ステップＳ２２３３でＹＥＳ）、ステップＳ２２３３１で、タッチ操作はローテーションであると判定した後、リターンする。この操作は、図５（ｄ）に示すように、例えば画面の一部を回転させるのに使用される。
【００５２】
ステップＳ２２３３で、第２の検出出力が回転の検出でなければ（ステップＳ２２３３でＮＯ）、ステップＳ２２３４で、第２の検出出力が指を離したことの検出であるかどうかを判断する。指を離したことの検出であれば（ステップＳ２２３４でＹＥＳ）、ステップＳ２２３４１で、タッチ操作はマルチタッチであると判定した後、リターンする。指を離したことの検出でなければ（ステップＳ２２３４でＮＯ）、ステップＳ２２３１に戻る。
【００５３】
ステップＳ２２３で、第１の検出出力がマルチタッチでなければ（ステップＳ２２３でＮＯ）、ステップＳ２２４で、タッチ操作はその他の操作と判定してリターンする。この場合は、図２のステップＳ１２において登録された操作種別でないと判断される。
【００５４】
図６は、タッチパネルへのタッチ操作がなされたときに表示部１７１に表示されている画面の種別と、音声入力されるキーワードとに対応付けて、予め設定された動作を示すテーブルである。
【００５５】
図６に示す例では、画面種別が「コピー画面」「スキャン画面」「ボックス画面」「ブラウザ画面」であり、音声入力されたキーワードが「始め」「最後」「１」「２」「２００％」である場合が例示されている。この例では、タッチ操作の種別による関連付けは、なされていない。
【００５６】
例えば、表示部１７１にコピー画面が表示されている状態で、ユーザがタッチパネルの任意の領域をタッチ操作して、「始め」という音声を入力すると、ＣＰＵ１１は図６のテーブルに基づいて、表示部１７１の画面をトップ画面に遷移させる。また、表示部１７１にブラウザ画面が表示されている状態で、ユーザがタッチパネルの任意の領域をタッチ操作して、「始め」という音声を入力すると、表示部１７１の画面をページの先頭に移動させる。
【００５７】
同様に、表示部１７１にコピー画面が表示されている状態で、ユーザがタッチパネルの任意の領域をタッチ操作して、「１」という音声を入力すると、コピー部数を１に設定する。また、表示部１７１にブラウザ画面が表示されている状態で、ユーザがタッチパネルの任意の領域をタッチ操作して、「２００％」という音声を入力すると、表示部１７１の画面表示を２００％に拡大する。
【００５８】
なお、画面種別とキーワードの組み合わせによっては、受け付けないキーワードが存在する。たとえば、表示部１７１にコピー画面が表示されている状態で、ユーザがタッチパネルの任意の領域をタッチ操作して、「最後」という音声を入力しても受け付けられず、表示部１７１の画面はそのままの状態を維持する。
【００５９】
上記のようなキーワードは、各画面種別毎にまとめられて第２の辞書に格納されている。例えば、コピー画面に関係するキーワードは第２の辞書のパターンＡに、スキャン画面に関係するキーワードは第２の辞書のパターンＢに、ボックス画面に関係するキーワードは第２の辞書のパターンＣに、ブラウザ画面に関係するキーワードは第２の辞書のパターンＤに、それ以外の画面に関係するキーワードはパターンＥにそれぞれ格納されている。そして、ＣＰＵ１１は画面の種別を判断すると、第２の辞書におけるその画面に関係するパターンに絞り込んで音声入力されたキーワードを検索し、画面種別とキーワードに対応付けされた動作を特定し、実行するものとなされている。
【００６０】
また、「コピー画面」「スキャン画面」「ボックス画面」「ブラウザ画面」の各画面には、１個または複数の下位層の画面が存在し、各下位層の画面についても各キーワードと対応付けられた動作が設定されている。
【００６１】
例えば、図７に示すように、スキャン画面の下位層の画面である「宛先選択画面」「サムネイル表示画面」と、「１」「２」等のキーワードとに対応付けられて、各動作が設定されている。図７の例では、宛先選択画面が表示されている状態で、ユーザがタッチパネルの任意の領域をタッチ操作して、「１」「２」をそれぞれ音声入力すると、それぞれ１番目、２番目の宛先が選択される。また、サムネイル表示画面が表示されている状態で、ユーザがタッチパネルの任意の領域をタッチ操作して、「１」「２」をそれぞれ音声入力すると、それぞれ１ページ目、２ページ目が表示される。
【００６２】
図８は、タッチパネルにおけるタッチ操作の位置とキーワードとに対応付けて、予め設定された動作を示すテーブルである。
【００６３】
図８に示す例では、タッチ操作の位置（検出位置）がキー及びサムネイルの表示部位であり、音声入力されたキーワードが「１」「２」である場合が例示されている。
【００６４】
例えば、ユーザがタッチパネルのサムネイルの表示位置をタッチ操作して、「１」または「２」という音声を入力すると、ＣＰＵ１１は図８のテーブルに基づいて、１ページ目または２ページ目をそれぞれ表示する。この場合も、タッチ操作の種別による関連付けは、なされていない。
【００６５】
また、タッチした位置とキーワードの組み合わせによっては、受け付けないキーワードが存在する。たとえば、ユーザがタッチパネルのキーの表示位置をタッチ操作して、「１」または「２」という音声を入力しても受け付けられず、表示部１７１の画面はそのままの状態を維持する。
【００６６】
図８の場合も、キーワードは、各タッチ位置毎にまとめられて第２の辞書に格納されている。例えば、キーの位置に関係するキーワードは第２の辞書のパターンａに、サムネイルの位置に関係するキーワードは第２の辞書のパターンｂに、ページ送り可能な画面位置に関係するキーワードは第２の辞書のパターンｃに、それ以外の位置に関係するキーワードはパターンｄにそれぞれ格納されている。そして、ＣＰＵ１１は表示画面におけるタッチした位置を判断すると、第２の辞書のそのタッチ位置に関係するパターンに絞り込んで音声入力されたキーワードを検索し、タッチした位置とキーワードに対応付けされた動作を特定し、実行するものとなされている。
【００６７】
図９は、タッチパネルへのタッチ操作の種別と、音声入力されたキーワードとに対応付けて、予め設定された動作を示すテーブルである。
【００６８】
図９に示す例では、タッチ操作種別がフリック、ピンチイン、ローテーションであり、音声入力されたキーワードが「１」「２」「５０％」「９０度」である場合が例示されている。
【００６９】
例えば、ユーザがスキャン画面の下位層画面である宛先選択画面が表示されている状態で、タッチパネルの任意の領域をフリック操作して、「１」または「２」という音声を入力すると、ＣＰＵ１１は図９のテーブルに基づいて、第１番目または第２番目の宛先を選択する。また、表示部１７１にサムネイル画面が表示されている状態で、ユーザがタッチパネルのサムネイル表示領域をローテーションによるタッチ操作を行って、「１」または「２」または「９０度」という音声を入力すると、表示部１７１のサムネイル画面を１度または２度または９０度、それぞれ回転方向に回転する。
【００７０】
さらに、ピンチアウト操作を行って、「２倍」または「２００％」と音声を入力すると、２倍の大きさに表示され、ピンチイン操作を行って、「１／２」「５０％」と音声を入力すると、半分の大きさで表示され、「画面幅」と音声を入力すると、画面の横幅に合わせて表示する等、任意のサイズの指定が可能となる。また、ピンチインまたはピンチアウト操作を行って、「お気に入り」と音声を入力すると、設定されていたお気に入りサイズに表示サイズを変更することもできる。
【００７１】
また、タッチ操作の種別とキーワードの組み合わせによっては、受け付けないキーワードが存在する。たとえば、宛先選択画面が表示されている状態で、タッチパネルの任意の領域をフリック操作して、「５０％」または「９０度」という音声を入力しても受け付けられず、表示部１７１の画面はそのままの状態を維持する。
【００７２】
また、タッチ操作の種別と表示されている画面等に応じて、音声入力の内容が同じでも、実行される動作が異なる。例えば、フリック操作を行って「２」と音声を入力すると、２ページ目が表示されるが、ピンチ操作で「２」と音声で入力すると、２倍の大きさで表示される。また、ページ編集モードの画面で１ページのみ表示している場合に、フリック操作を行って「２」と音声で入力すると、２ページ目に編集中のページを差し込んだり、ピンチ操作を行って「２」と音声入力することにより、編集中のページを２部にしたり、２枚のページを１枚に集約する２ｉｎ１にしても良い。また、ドラッグ操作を行って、「破棄」と音声入力することで、ゴミ箱へ破棄することも可能である。
【００７３】
なお、同じタッチ操作種別であっても、タッチ操作を行った表示画面中の位置に応じて、異なる動作を行わせても良い。例えば、図１０（ａ）に示すように、サムネイルプレビュー画像の表示領域でローテーション操作を行って「９０度」と音声入力した場合は、サムネイルプレビュー画像を９０度回転させるが、図１０（ｂ）に示すように、サムネイルプレビュー画像が表示されている画面中のキー領域でローテーション操作を行って「９０度」と音声入力した場合は、これを受け付けることなくそのままの画面を維持する。
【符号の説明】
【００７４】
１      画像形成装置
１１    ＣＰＵ
１２    ＲＯＭ
１４    スキャナ部
１５    記憶部
１７    操作パネル
１７１  表示部
１９    音声入力部
【図１】
2013222229.tif 000003
【図２】
2013222229.tif 000004
【図３】
2013222229.tif 000005
【図４】
2013222229.tif 000006
【図５】
2013222229.tif 000007
【図６】
2013222229.tif 000008
【図７】
2013222229.tif 000009
【図８】
2013222229.tif 000010
【図９】
2013222229.tif 000011
【図１０】
2013222229.tif 000012