(57)【要約】【課題】入力された音声の認識処理を効率的に行うことができるようにし、かつ、ユーザが所望する表示画面を表示するまでにユーザが発声する回数を少なくすることができるようにして音声入力による操作性を改善する。【解決手段】音声認識部２３が音声認識を行う際に参照する辞書テーブルＤＡを、表示部１１に表示する階層構造の表示画面ごとに設定して記憶装置２２に記憶させる。表示画面ごとの辞書テーブルＤＡには、階層構造に従って表示部１１の表示画面を順次下位層の画面に遷移させていくための第１の認識候補群と、階層構造に従わずに表示部１１の表示画面を特定の画面にダイレクトに遷移させるための第２の認識候補群とが含まれている。制御部２４は、音声認識部２３によって認識された音声が第２の認識候補群に含まれる音声である場合、表示部１１における表示画面を特定の画面に遷移させる構成である。【選択図】図４
2010049432.tif 000002
【特許請求の範囲】
【請求項１】
各種情報を表示する表示手段を有し、前記表示手段に表示する複数の表示画面を階層構造で保持し、前記階層構造に従って前記表示手段における表示画面を遷移させていく表示画面制御装置であって、
音声を入力する音声入力手段と、
前記音声入力手段に入力した入力音声を認識する際の認識候補群が登録された辞書テーブルを前記階層構造の表示画面ごとに記憶する記憶手段と、
前記表示手段の表示画面に対応する前記辞書テーブルを前記記憶手段から読み出し、その読み出した辞書テーブルに登録された前記認識候補群の中から前記音声入力手段に入力した入力音声を認識する音声認識手段と、
前記音声認識手段によって認識された音声に基づいて前記表示手段における表示画面を遷移させる制御手段と、
を備え、
前記辞書テーブルには、前記階層構造に従って前記表示手段の表示画面を順次下位層の画面に遷移させていくための第１の認識候補群と、前記階層構造に従わずに前記表示手段の表示画面を特定の画面にダイレクトに遷移させるための第２の認識候補群とが含まれており、
前記制御手段は、前記音声認識手段によって認識された音声が前記第２の認識候補群に含まれる音声である場合、前記表示手段における表示画面を前記特定の画面に遷移させることを特徴とする表示画面制御装置。
【請求項２】
前記第２の認識候補群は、前記表示手段の表示画面を前記階層構造における最下層の画面に遷移させる認識候補群であり、
前記制御手段は、前記音声認識手段によって認識された音声が前記第２の認識候補群に含まれる音声である場合、前記表示手段における表示画面をその認識された音声に基づいて最下層の画面に遷移させることを特徴とする請求項１記載の表示画面制御装置。
【請求項３】
前記階層構造における最下層の表示画面に対応する前記辞書テーブルには、前記第２の認識候補群として、前記表示手段の表示画面を前記階層構造における最下層の他の画面に遷移させる認識候補が含まれており、
前記制御手段は、前記表示手段の表示画面が最下層の画面である場合、前記音声認識手段によって認識された音声が前記第２の認識候補群に含まれる音声であれば、前記表示手段における表示画面をその認識された音声に基づいて最下層の他の画面に遷移させることを特徴とする請求項１又は２に記載の表示画面制御装置。
【請求項４】
前記制御手段は、前記表示手段における表示画面を遷移させるとき、遷移前の表示画面に関する画面情報を格納保存しておき、前記音声認識手段によって認識された音声が遷移前の表示画面に戻すことを指示する音声である場合、前記画面情報を読み出して、前記表示手段における表示画面を遷移前の画面に遷移させることを特徴とする請求項１ないし３のいずれかに記載の表示画面制御装置。
【請求項５】
前記制御手段は、ユーザがカスタマイズ設定した設定情報を格納保存すると共に、前記設定情報に対して設定される設定情報名を前記第２の認識候補群に対して登録しておき、前記音声認識手段によって認識された音声が前記第２の認識候補群に登録された前記設定情報名である場合、前記表示手段における表示画面を前記設定情報が反映された画面に遷移させることを特徴とする請求項１ないし４のいずれかに記載の表示画面制御装置。
【請求項６】
前記表示手段に表示する複数の表示画面の階層構造は、第１のモードにおいて前記表示手段に表示するための第１の階層構造と、第２のモードにおいて前記表示手段に表示するための第２の階層構造とを有し、
前記第１の階層構造に含まれる表示画面に対応する前記辞書テーブルの前記第２の認識候補群には、前記表示手段の表示画面を前記第２の階層構造に含まれる特定の表示画面に遷移させる認識候補が含まれており、
前記制御手段は、前記音声認識手段によって認識された音声が前記第２の階層構造に含まれる特定の表示画面に遷移させるための認識候補である場合、前記表示手段に表示されている前記第１のモードの表示画面から前記第２のモードの特定の表示画面に遷移させることを特徴とする請求項１ないし５のいずれかに記載の表示画面制御装置。
【請求項７】
表示手段に表示する複数の表示画面を階層構造で保持し、前記階層構造に従って前記表示手段における表示画面を遷移させていく表示画面制御方法であって、
所定の音声入力手段を介して音声を入力する音声入力工程と、
前記表示手段の表示画面に対応する辞書テーブルを所定の記憶手段から読み出し、その読み出した辞書テーブルに登録された認識候補群の中から前記音声入力手段に入力した入力音声を認識する音声認識工程と、
前記音声認識手段によって認識された音声に基づいて前記表示手段における表示画面を遷移させる制御工程と、
を有し、
前記辞書テーブルには、前記階層構造に従って前記表示手段の表示画面を順次下位層の画面に遷移させていくための第１の認識候補群と、前記階層構造に従わずに前記表示手段の表示画面を特定の画面にダイレクトに遷移させるための第２の認識候補群とが含まれており、
前記制御工程は、前記音声認識工程において認識された音声が前記第２の認識候補群に含まれる音声である場合、前記表示手段における表示画面を前記特定の画面に遷移させることを特徴とする表示画面制御方法。
【請求項８】
各種情報を表示する表示手段と、ユーザが手動操作可能な操作入力手段とを有する操作パネルを備え、前記表示手段に表示する複数の表示画面を階層構造で保持し、前記操作入力手段に対する手動操作が行われる都度、前記階層構造に従って前記表示手段における表示画面を最上層の画面から順次下位層の画面に遷移させていく情報処理装置であって、
音声を入力する音声入力手段と、
前記音声入力手段に入力した入力音声を認識する際の認識候補群が登録された辞書テーブルを前記階層構造の表示画面ごとに記憶する記憶手段と、
前記表示手段の表示画面に対応する前記辞書テーブルを前記記憶手段から読み出し、その読み出した辞書テーブルに登録された前記認識候補群の中から前記音声入力手段に入力した入力音声を認識する音声認識手段と、
前記音声認識手段によって認識された音声に基づいて前記表示手段における表示画面を遷移させる制御手段と、
を備え、
前記辞書テーブルには、前記階層構造に従って前記表示手段の表示画面を順次下位層の画面に遷移させていくための第１の認識候補群と、前記階層構造に従わずに前記表示手段の表示画面を特定の画面にダイレクトに遷移させるための第２の認識候補群とが含まれており、
前記制御手段は、前記音声認識手段によって認識された音声が前記第２の認識候補群に含まれる音声である場合、前記表示手段における表示画面を前記特定の画面に遷移させることを特徴とする情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示手段に表示する複数の表示画面を階層構造で保持し、その階層構造に従って表示手段における表示画面を遷移させていく表示画面制御装置およびその方法、並びに情報処理装置に関する。
【背景技術】
【０００２】
従来、複合機やＭＦＰ（Multi Function Peripheral）などと呼ばれる情報処理装置は、ユーザが操作可能な操作パネルを備えており、その操作パネルには液晶表示装置などの表示部が設けられている。操作パネルの表示部には、例えばコピーモード、ＦＡＸモード、スキャナモードなどの各モードにおいてユーザに各種情報が表示され、ユーザは表示部に表示される表示画面を見ながら操作パネルを操作することにより、各モードにおける設定状態の確認や設定変更操作などを行うことができるようになっている。この場合、操作パネルの表示部に表示される表示画面は、ユーザの操作しやすさなどを考慮して複数の画面が階層構造として保持されている。そして各階層の表示画面を例えばユーザが選択可能な選択項目をメニュー形式で並べた画面構成とすることにより、ユーザは階層構造の各表示画面において選択操作を行っていくことで、所望する最下層の設定確認画面や設定変更画面などに辿り着くことができるようになっている。
【０００３】
ところで、近年は各種情報機器に対する入力装置として音声入力装置が普及しつつあり、例えば音声認識を行う際に辞書テーブルなどを参照して複数の認識候補の中から入力された音声を特定するようにした技術が知られている（例えば、特許文献１，２，３）。そこで、上述した複合機やＭＦＰなどの情報処理装置にもこのような音声認識技術を適用し、情報処理装置を使用するユーザの手が塞がっている場合でも音声入力により操作パネルに対する入力を行うことができるようにすることが望まれている。この場合、情報処理装置における操作パネルに対して音声入力を行うことによって、ユーザが操作パネルを直接指でキー操作したときと同じように表示部の表示画面を下位層の画面に順次遷移させていくことが可能になる。
【０００４】
【特許文献１】特開平８−２０２３８７号公報
【特許文献２】特開平１０−３０７０３９号公報
【特許文献３】特開平１１−３３７３６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
情報処理装置に対して音声認識技術を適用する場合、音声認識の際に参照する辞書テーブルがひとつしか用意されていないと、その辞書テーブルに含まれる認識候補が膨大な数となってしまうので、入力音声を特定するのに時間がかかり、音声認識を効率的に行うことができなくなる。
【０００６】
また、操作パネルに対する音声入力により、ユーザが操作パネルを直接指でキー操作したときと同じように表示部の表示画面を下位層の画面に順次遷移させていくことは可能になるものの、表示部における表示画面が階層構造に従って１画面ずつ下位層の画面に遷移していくだけでは、ユーザが所望する最下層の画面に辿り着くまでに操作パネルに対して発声する回数が多くなり、その発声が煩わしくなるという問題がある。
【０００７】
そこで本発明は、上記問題点に鑑みてなされたものであり、入力された音声の認識処理を効率的に行うことができるようにし、かつ、ユーザが所望する表示画面を表示するまでにユーザが発声する回数を少なくすることができるようにして音声入力による操作性を改善した表示画面制御装置およびその方法並びに情報処理装置を提供するものである。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、請求項１にかかる発明は、各種情報を表示する表示手段を有し、前記表示手段に表示する複数の表示画面を階層構造で保持し、前記階層構造に従って前記表示手段における表示画面を遷移させていく表示画面制御装置であって、音声を入力する音声入力手段と、前記音声入力手段に入力した入力音声を認識する際の認識候補群が登録された辞書テーブルを前記階層構造の表示画面ごとに記憶する記憶手段と、前記表示手段の表示画面に対応する前記辞書テーブルを前記記憶手段から読み出し、その読み出した辞書テーブルに登録された前記認識候補群の中から前記音声入力手段に入力した入力音声を認識する音声認識手段と、前記音声認識手段によって認識された音声に基づいて前記表示手段における表示画面を遷移させる制御手段と、を備え、前記辞書テーブルには、前記階層構造に従って前記表示手段の表示画面を順次下位層の画面に遷移させていくための第１の認識候補群と、前記階層構造に従わずに前記表示手段の表示画面を特定の画面にダイレクトに遷移させるための第２の認識候補群とが含まれており、前記制御手段は、前記音声認識手段によって認識された音声が前記第２の認識候補群に含まれる音声である場合、前記表示手段における表示画面を前記特定の画面に遷移させることを特徴としている。
【０００９】
また請求項２にかかる発明は、請求項１記載の表示画面制御装置において、前記第２の認識候補群は、前記表示手段の表示画面を前記階層構造における最下層の画面に遷移させる認識候補群であり、前記制御手段は、前記音声認識手段によって認識された音声が前記第２の認識候補群に含まれる音声である場合、前記表示手段における表示画面をその認識された音声に基づいて最下層の画面に遷移させることを特徴としている。
【００１０】
また請求項３にかかる発明は、請求項１又は２に記載の表示画面制御装置において、前記階層構造における最下層の表示画面に対応する前記辞書テーブルには、前記第２の認識候補群として、前記表示手段の表示画面を前記階層構造における最下層の他の画面に遷移させる認識候補が含まれており、前記制御手段は、前記表示手段の表示画面が最下層の画面である場合、前記音声認識手段によって認識された音声が前記第２の認識候補群に含まれる音声であれば、前記表示手段における表示画面をその認識された音声に基づいて最下層の他の画面に遷移させることを特徴としている。
【００１１】
また請求項４にかかる発明は、請求項１ないし３のいずれかに記載の表示画面制御装置において、前記制御手段は、前記表示手段における表示画面を遷移させるとき、遷移前の表示画面に関する画面情報を格納保存しておき、前記音声認識手段によって認識された音声が遷移前の表示画面に戻すことを指示する音声である場合、前記画面情報を読み出して、前記表示手段における表示画面を遷移前の画面に遷移させることを特徴としている。
【００１２】
また請求項５にかかる発明は、請求項１ないし４のいずれかに記載の表示画面制御装置において、前記制御手段は、ユーザがカスタマイズ設定した設定情報を格納保存すると共に、前記設定情報に対して設定される設定情報名を前記第２の認識候補群に対して登録しておき、前記音声認識手段によって認識された音声が前記第２の認識候補群に登録された前記設定情報名である場合、前記表示手段における表示画面を前記設定情報が反映された画面に遷移させることを特徴としている。
【００１３】
また請求項６にかかる発明は、請求項１ないし５のいずれかに記載の表示画面制御装置において、前記表示手段に表示する複数の表示画面の階層構造は、第１のモードにおいて前記表示手段に表示するための第１の階層構造と、第２のモードにおいて前記表示手段に表示するための第２の階層構造とを有し、前記第１の階層構造に含まれる表示画面に対応する前記辞書テーブルの前記第２の認識候補群には、前記表示手段の表示画面を前記第２の階層構造に含まれる特定の表示画面に遷移させる認識候補が含まれており、前記制御手段は、前記音声認識手段によって認識された音声が前記第２の階層構造に含まれる特定の表示画面に遷移させるための認識候補である場合、前記表示手段に表示されている前記第１のモードの表示画面から前記第２のモードの特定の表示画面に遷移させることを特徴としている。
【００１４】
また請求項７にかかる発明は、表示手段に表示する複数の表示画面を階層構造で保持し、前記階層構造に従って前記表示手段における表示画面を遷移させていく表示画面制御方法であって、所定の音声入力手段を介して音声を入力する音声入力工程と、前記表示手段の表示画面に対応する辞書テーブルを所定の記憶手段から読み出し、その読み出した辞書テーブルに登録された認識候補群の中から前記音声入力手段に入力した入力音声を認識する音声認識工程と、前記音声認識手段によって認識された音声に基づいて前記表示手段における表示画面を遷移させる制御工程と、を有し、前記辞書テーブルには、前記階層構造に従って前記表示手段の表示画面を順次下位層の画面に遷移させていくための第１の認識候補群と、前記階層構造に従わずに前記表示手段の表示画面を特定の画面にダイレクトに遷移させるための第２の認識候補群とが含まれており、前記制御工程は、前記音声認識工程において認識された音声が前記第２の認識候補群に含まれる音声である場合、前記表示手段における表示画面を前記特定の画面に遷移させることを特徴としている。
【００１５】
さらに請求項８にかかる発明は、各種情報を表示する表示手段と、ユーザが手動操作可能な操作入力手段とを有する操作パネルを備え、前記表示手段に表示する複数の表示画面を階層構造で保持し、前記操作入力手段に対する手動操作が行われる都度、前記階層構造に従って前記表示手段における表示画面を最上層の画面から順次下位層の画面に遷移させていく情報処理装置であって、音声を入力する音声入力手段と、前記音声入力手段に入力した入力音声を認識する際の認識候補群が登録された辞書テーブルを前記階層構造の表示画面ごとに記憶する記憶手段と、前記表示手段の表示画面に対応する前記辞書テーブルを前記記憶手段から読み出し、その読み出した辞書テーブルに登録された前記認識候補群の中から前記音声入力手段に入力した入力音声を認識する音声認識手段と、前記音声認識手段によって認識された音声に基づいて前記表示手段における表示画面を遷移させる制御手段と、を備え、前記辞書テーブルには、前記階層構造に従って前記表示手段の表示画面を順次下位層の画面に遷移させていくための第１の認識候補群と、前記階層構造に従わずに前記表示手段の表示画面を特定の画面にダイレクトに遷移させるための第２の認識候補群とが含まれており、前記制御手段は、前記音声認識手段によって認識された音声が前記第２の認識候補群に含まれる音声である場合、前記表示手段における表示画面を前記特定の画面に遷移させることを特徴としている。
【発明の効果】
【００１６】
本発明によれば、音声入力手段に入力した入力音声を認識する際の認識候補群が登録された辞書テーブルを階層構造の表示画面ごとに記憶しているので、入力音声を認識する際の認識候補群に含まれる認識候補の数を抑制することができ、音声の認識処理を効率的に行うことができるようになる。また、表示画面ごとの辞書テーブルには、階層構造に従って表示手段の表示画面を順次下位層の画面に遷移させていくための第１の認識候補群と、階層構造に従わずに表示手段の表示画面を特定の画面にダイレクトに遷移させるための第２の認識候補群とが含まれており、音声認識によって認識された音声が第２の認識候補群に含まれる音声である場合には表示手段における表示画面を特定の画面に遷移させるので、ユーザが所望する表示画面を表示するまでにユーザが発声する回数を少なくすることができ、音声入力による操作性が改善される。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の好ましい実施形態について図面を参照しつつ詳細に説明する。尚、以下に説明する実施の形態において互いに共通する部材については各図において同一符号を付しており、それらについて繰り返しとなる説明は省略する。
【００１８】
図１は、本実施形態における情報処理装置１の外観構成の一例を示す斜視図である。この情報処理装置１は、いわゆる複合機やＭＦＰなどと称される装置であり、コピー機能、ＦＡＸ機能、プリンタ機能、スキャナ機能など、複数の機能を備えている。そして情報処理装置１は、ＬＡＮなどのネットワークに接続可能であり、原稿から読み取った画像データをネットワーク経由で他のコンピュータに出力したり、或いはネットワーク経由で他のコンピュータから画像データを入力し、その画像データに基づいてプリント出力を行うことができるようになっている。また情報処理装置１は電話回線などの通信網にも接続可能であり、通信網を介してＦＡＸデータの送受信を行うこともできる構成となっている。
【００１９】
この情報処理装置１は、装置本体１ａの上部に原稿を読み取るスキャナ部２が設けられており、さらにそのスキャナ部２の上部に自動原稿搬送装置（いわゆるＡＤＦ）３が設けられている。そのため、例えば自動原稿搬送装置３に複数枚の原稿がセットされた状態で情報処理装置１に原稿の読み取りが指示されれば、自動原稿搬送装置３がその複数枚の原稿を１枚ずつスキャナ部２に送り、スキャナ部２がその原稿を読み取って画像データを出力するように構成されている。
【００２０】
また情報処理装置１の装置本体１ａの略中央にはプリンタ部４が設けられており、そのプリンタ部４の下側に給紙部５が設けられている。給紙部５は画像形成媒体となる用紙を複数枚収容し、プリンタ部４に対してその用紙を１枚ずつ供給する。プリンタ部４は、入力する画像データに基づいて給紙部５から給紙される用紙に対して画像形成を行い、その画像形成した用紙を排紙口６から排出してプリンタ部４の上に位置する排紙部７に順次積載していくように構成されている。
【００２１】
さらに情報処理装置１の装置本体１ａの正面側（前面側）には、ユーザが操作可能な操作パネル１０が設けられている。ユーザはこの操作パネル１０を操作することにより、情報処理装置１に対してログインすることができる。またユーザはこの操作パネル１０を操作することにより、情報処理装置１の複数の機能のうちから使用する機能を選択し、その選択した機能に関する各種の設定操作を行うと共に、情報処理装置１に対してジョブの実行を指示することができるようになっている。
【００２２】
図２は、情報処理装置１の操作パネル１０を拡大して示す図である。この操作パネル１０は、情報処理装置１の装置本体１ａに支持されたパネル本体部１０ａと、パネル本体部１０ａの下方から正面側（前方側）に突出した操作部１０ｂとが一体形成された構成である。そしてパネル本体部１０ａのほぼ中央には、液晶表示装置などで構成されたカラー表示可能な表示部１１が設けられ、さらにこの表示部１１の表面にはタッチパネルキー１２が配置されている。またパネル本体部１０ａにおける表示部１１の周囲と、操作部１０ｂの上面に、押しボタン式の複数の操作キー１３が設けられている。タッチパネルキー１２と操作キー１３は、ユーザが手や指などで直接操作して情報処理装置１に手動入力操作を行うための操作入力手段である。したがって、ユーザは表示部１１に表示される表示画面を参照しながら、タッチパネルキー１２や操作キー１３を指先などで手動操作することにより、情報処理装置１に対して各種の入力操作を行うことができる。
【００２３】
複数の操作キー１３には、コピーキー１３ａと、ＦＡＸ／スキャンキー１３ｂと、ヘルプキー１３ｃと、プログラムキー１３ｄとが含まれている。コピーキー１３ａは、ユーザがコピー機能を選択して情報処理装置１をコピーモードで動作させるための操作キーである。ＦＡＸ／スキャンキー１３ｂは、ユーザがＦＡＸ機能又はスキャナ機能を選択して情報処理装置１をコピー／スキャンモードで動作させるための操作キーである。ヘルプキー１３ｃは、ユーザが各種機能に関する操作や用語などが不明である場合に選択して情報処理装置１をヘルプモードで動作させるための操作キーである。そしてプログラムキー１３ｄは、ユーザがタッチパネルキー１２や操作キー１３を手動操作して情報処理装置１における設定状態をカスタマイズ設定した場合、その設定情報をカスタマイズ設定情報として情報処理装置１に登録したり、予め登録していた設定情報を呼び出したりするための操作キーである。
【００２４】
また操作パネル１０の操作部１０ｂの側面には、Ｌ字状の支持アーム１４の一端が取り付けられており、支持アーム１４の他端にはマイクなどの音声入力装置１５が設けられている。支持アーム１４は、図２に示すように操作パネル１０に対してＲ方向に回動自在であり、音声入力装置１５を操作パネル１０に対して前後方向に回動させると共に、その任意の回動位置で音声入力装置１５を保持することができる。そして情報処理装置１は、音声入力装置１５を介してユーザの音声を入力した場合、その入力した音声に基づいて表示部１１における表示画面を別の画面に遷移させるように構成される。
【００２５】
ここで情報処理装置１において操作パネル１０の表示部１１に表示する表示画面の構成について説明する。情報処理装置１は、各種情報を表示する表示部１１の表示画面として、複数の表示画面を階層構造で保持している。図３はヘルプモードとコピーモードにおける表示画面の一構成例を示す図である。図３に示すように情報処理装置１は、ヘルプモードとコピーモードのそれぞれにおいて複数の表示画面が階層構造で保持されている。
【００２６】
例えば、ヘルプモードでは、最上層の表示画面Ａ１０に対して１階層下の第１中間層に、表示画面Ａ１０から遷移する複数の表示画面Ａ２１，Ａ２２，…が設けられている。また表示画面Ａ２１に対して１階層下の第２中間層には、表示画面Ａ２１から遷移する複数の表示画面Ａ３１，Ａ３２，…が設けられており、表示画面Ａ３１に対して１階層下の最下層には、表示画面Ａ３１から遷移する複数の表示画面Ａ４１，Ａ４２，…が設けられている。尚、第１中間層の他の表示画面Ａ２２，…の下位層にも複数の表示画面が設けられ、第２中間層の他の表示画面Ａ３２，…の下位層にも複数の表示画面が設けられるが、これらについては図示を省略している。
【００２７】
またコピーモードでは、ヘルプモードと同様に、最上層の表示画面Ｂ１０に対して１階層下の第１中間層に、表示画面Ｂ１０から遷移する複数の表示画面Ｂ２１，Ｂ２２，…が設けられている。また表示画面Ｂ２１に対して１階層下の第２中間層には、表示画面Ｂ２１から遷移する複数の表示画面Ｂ３１，Ｂ３２，…が設けられており、表示画面Ｂ３１に対して１階層下の最下層には、表示画面Ｂ３１から遷移する複数の表示画面Ｂ４１，Ｂ４２，…が設けられている。尚、第１中間層の他の表示画面Ｂ２２，…の下位層にも複数の表示画面が設けられ、第２中間層の他の表示画面Ｂ３２，…の下位層にも複数の表示画面が設けられるが、これらについては図示を省略している。また図３では、ヘルプモードとコピーモードのみを示しているが、他のＦＡＸ／スキャンモードであっても同様である。さらに図３では、各モードにおける表示画面が４階層である場合を例示しているが、３階層以上であれば階層数は特に限定されるものではない。
【００２８】
本実施形態では、コピーモードにおける最上層の表示画面Ｂ１０が表示部１１の初期画面として設定されており、例えばユーザが情報処理装置１にログインしたときには、操作パネル１０の表示部１１にコピーモードのトップ画面である表示画面Ｂ１０が表示される。ただし、操作パネル１０の初期画面として、他のモード（例えば、コピー／スキャンモードなど）のトップ画面（最上層の画面）を設定することも可能である。そして表示部１１に初期画面が表示されているときに、上述したＦＡＸ／スキャンキー１３ｂやヘルプキー１３ｃなどをユーザが操作すれば、情報処理装置１はそれぞれのモードに移行し、操作パネル１０の表示部１１にはそれぞれのモードにおける階層構造の最上層の表示画面が表示されるようになっている。
【００２９】
上記のような画面構成において、例えば操作パネル１０の表示部１１に各モードにおける最上層の表示画面Ａ１０，Ｂ１０が表示されている状態でユーザがタッチパネルキー１２や操作キー１３の操作を行えば、図中実線矢印で示すように表示部１１の表示画面は、ユーザによって選択された項目に応じて第１中間層の表示画面Ａ２１，Ａ２２，…又はＢ２１，Ｂ２２，…に遷移する。また操作パネル１０の表示部１１に第１中間層の表示画面Ａ２１，Ｂ２１が表示されている状態でユーザがタッチパネルキー１２や操作キー１３の操作を行えば、図中実線矢印で示すように表示部１１の表示画面は、ユーザによって選択された項目に応じて第２中間層の表示画面Ａ３１，Ａ３２，…又はＢ３１，Ｂ３２，…に遷移する。さらに操作パネル１０の表示部１１に第２中間層の表示画面Ａ３１，Ｂ３１が表示されている状態でユーザがタッチパネルキー１２や操作キー１３の操作を行えば、図中実線矢印で示すように表示部１１の表示画面は、ユーザによって選択された項目に応じて最下層の表示画面Ａ４１，Ａ４２，…又はＢ４１，Ｂ４２，…に遷移する。このように情報処理装置１は、ユーザが操作パネル１０のタッチパネルキー１２や操作キー１３を直接手動操作した場合には、表示部１１の表示画面を階層構造に従って１階層ずつ下位層の表示画面に遷移させる。
【００３０】
一方、ユーザが音声入力装置１５に対して音声を入力した場合、情報処理装置１は音声認識処理を行い、必要に応じて、その認識した音声に基づいて操作パネル１０における表示部１１の表示画面を遷移させる。本実施形態では、音声入力による表示画面の遷移パターンとして２つのパターンが設定されている。第１の遷移パターンは、タッチパネルキー１２や操作キー１３が直接手動操作された場合と同様、図３に実線矢印で示すように、表示部１１の表示画面を階層構造に従って１階層ずつ下位層の表示画面に遷移させるパターンである。また第２の遷移パターンは、図３に破線矢印で示すように、表示部１１の表示画面を階層構造に従わず、１層以上の中間層をスキップして、ダイレクトに最下層の特定の画面に遷移させるパターンである。また操作パネル１０の表示部１１に最下層の表示画面Ａ４１が表示されている状態で音声入力が行われると、第２の遷移パターンでは上位層の表示画面に戻ることなく、同一モードにおける他の最下層の表示画面Ａ４２にダイレクトで遷移させることができると共に、他のモードにおける最下層の表示画面Ｂ４１にもダイレクトで遷移させることができるようになっている。
【００３１】
図４は、情報処理装置１において上述した表示画面制御を行うための制御機構の一例を示すブロック図である。図４に示すように情報処理装置１は、操作パネル１０に設けられた表示部１１の表示画面を制御する表示画面制御部２０と、情報処理装置１における各種ジョブの実行を制御するジョブ制御部２９とを備えており、表示画面制御部２０はユーザによって入力されるジョブの設定や実行指令に基づいて、ジョブ制御部２９にコマンドを送出するように構成されており、ジョブ制御部２９は表示画面制御部２０から入力するコマンドに基づいてスキャナ部２やプリンタ部４などを駆動制御することにより、コピーモードやＦＡＸ／スキャンモード下でのジョブの実行を制御する。尚、表示画面制御部２０は、その全ての構成部材が操作パネル１０の内部に設けられても良いし、一部の構成部材が情報処理装置１の装置本体１ａ内部に設けられも良い。
【００３２】
表示画面制御部２０は、操作パネル１０に設けられている上述した表示部１１、タッチパネルキー１２、操作キー１３及び音声入力装置１５を備えている。さらに表示画面制御部２０は、音声入力装置１５から入力する音声を解析する音声解析部１６と、タッチパネルキー１２や操作キー１３又は音声解析部１６からの入力信号に基づいて各種処理を実行するＣＰＵ２１と、半導体メモリや磁気ディスク装置などの記憶手段で構成された各種情報を記憶する記憶装置２２とを備えて構成される。
【００３３】
音声解析部１６は、音声入力装置１５から入力する信号に対してＡ／Ｄ変換やフィルタリングなどを行い、ユーザの音声成分のみを抽出した音声信号をＣＰＵ２１に対して出力する。ＣＰＵ２１は、所定のプログラムを実行することにより、音声解析部１６によって抽出された音声信号に基づいてユーザが発声した入力音声を認識する音声認識部２３、および、音声認識部２３において特定された入力音声に応じた処理を実行する制御部２４として機能する。また制御部２４は処理特定部２５および処理実行部２６として機能し、処理実行部２６はさらに設定登録部２６ａとしても機能するように構成されている。処理特定部２５は音声認識部２３において特定された入力音声に対応付けられた処理を特定するための処理部であり、処理実行部２６はその特定された処理を実行する処理部である。
【００３４】
記憶装置２２には、音声認識部２３が入力音声を認識する際に参照する辞書テーブルＤＡと、処理特定部２５が認識された入力音声に対応する処理を特定する際に参照する処理特定テーブルＤＢとが記憶されると共に、その他の各種情報を記憶するための記憶領域として情報記憶部２７が設けられている。
【００３５】
辞書テーブルＤＡは、階層構造の表示画面ごとに設定された複数のテーブルデータから成り、それぞれのテーブルデータには各表示画面に対応して入力音声を認識する際の認識候補群が登録されている。そのため、音声認識部２３は、音声解析部１６から音声信号を入力すると、表示部１１に表示されている表示画面に対応した辞書テーブルＤＡを記憶装置２２から読み出し、その読み出した辞書テーブルＤＡに登録された認識候補群の中から音声入力装置１５に入力した入力音声を認識する。
【００３６】
処理特定テーブルＤＢについても、辞書テーブルＤＡと同様に、階層構造の表示画面ごとに設定された複数のテーブルデータから成り、それぞれのテーブルデータには各表示画面に対応して、認識された音声と、実行すべき処理とが相互に関連付けられた情報が登録されている。そのため、処理特定部２５は、音声認識部２３において認識された音声を入力すると、表示部１１に表示されている表示画面に対応した処理特定テーブルＤＢを記憶装置２２から読み出し、その読み出した処理特定テーブルＤＢに登録された情報に基づいて認識された音声に対応する処理を特定する。尚、処理特定部２５は、タッチパネルキー１２や操作キー１３からの入力信号も受け付けており、ユーザがタッチパネルキー１２や操作キー１３を操作した場合には、その操作に対応した処理も特定することができるようになっている。そして処理特定部２５は上記のようにして実行すべき処理を特定すると、処理実行部２６に対してその処理の内容を伝えると共に、処理の実行コマンドを送出する。
【００３７】
処理実行部２６は、処理特定部２５から実行コマンドを入力すると、その実行コマンドと共に受信する処理の内容に基づいて指定された処理を実行する。例えば、処理特定部２５から指定された処理の内容が表示部１１の表示画面を遷移させる処理である場合、処理実行部２６は表示部１１に表示している表示画面を処理特定部２５から指定された表示画面に更新することで画面遷移を行う。また処理実行部２６は、表示部１１の表示画面を遷移させるとき、遷移前の表示画面に関する画面情報Ｇ２を記憶装置２２に送出し、情報記憶部２７の画面情報記憶部２７ａに格納保存する。そして処理特定部２５から表示部１１の表示画面を遷移前の表示画面に戻す処理が指示された場合、処理実行部２６は、記憶装置２２の情報記憶部２７から画面情報Ｇ２を読み出し、表示部１１における表示画面を遷移前の画面に遷移させて元の表示画面に戻す。
【００３８】
また処理実行部２６は、表示部１１の表示画面を遷移させた場合、表示部１１に表示されている表示画面に関する画面情報Ｇ１を、音声認識部２３および処理特定部２５にフィードバックするように構成されている。それ故、音声認識部２３では、処理実行部２６からフィードバックされる画面情報Ｇ１に基づいて記憶装置２２から辞書テーブルＤＡの読み出しを行うことにより、表示部１１に表示されている表示画面に対応した辞書テーブルを参照することが可能になる。また処理特定部２５においても、処理実行部２６からフィードバックされる画面情報Ｇ１に基づいて記憶装置２２から処理特定テーブルＤＢの読み出しを行うことにより、表示部１１に表示されている表示画面に対応した処理特定テーブルを参照することが可能になる。
【００３９】
また処理特定部２５から指定された処理の内容がユーザの入力したカスタマイズ設定情報を登録する処理である場合、処理実行部２６は、設定登録部２６ａを機能させ、ユーザがカスタマイズ設定した設定情報Ｇ３を記憶部２２に送出し、情報記憶部２７の設定情報記憶部２７ｂに格納保存する。そしてユーザがカスタマイズ設定した設定情報Ｇ３に対して、ユーザが任意の設定情報名を付与した場合、設定登録部２６ａは、記憶装置２２に格納されている辞書テーブルＤＡと処理特定テーブルＤＢのそれぞれに対してその設定情報名に対応した項目（文字列）を追加登録する。これにより、音声認識部２３ではユーザによって付与された設定情報名が認識可能になると共に、処理特定部２５ではユーザによって付与された設定情報名に対応する処理として、情報記憶部２７に格納された設定情報Ｇ３を読み出して情報処理装置１に反映させる処理を特定することができるようになる。
【００４０】
さらに処理実行部２６は、処理特定部２５からジョブの実行が指示された場合に、ジョブ制御部２９に対してジョブの実行を指示するコマンドを送出するように構成されている。
【００４１】
次に上記のように構成された情報処理装置１における具体的な動作の一例について説明する。図５はヘルプモードにおける階層的な表示画面Ａ１０，Ａ２１，Ａ３１，Ａ４１の一構成例を示す図である。まず、図５（ａ）に示すようにヘルプモードの最上層の表示画面Ａ１０には、ユーザが選択可能な複数の選択項目Ｐ１１，Ｐ１２，Ｐ１３，Ｐ１４がメニュー形式で表示されており、それぞれの選択項目Ｐ１１〜Ｐ１４には異なる文字列が表示されている。例えば選択項目Ｐ１１には「機能から探す」という文字列が表示されており、ユーザがこの選択項目Ｐ１１を指などで直接押下する操作を行うと、その部分のタッチパネルキー１２が検知し、処理特定部２５に検知信号を出力する。処理特定部２５はこの検知信号に基づいて選択項目Ｐ１１が押下されたことを認識し、「機能から探す」に対応した第１中間層の表示画面Ａ２１を表示させるべく、処理実行部２６に処理の実行コマンドを送出する。その結果、表示部１１の表示画面は、図５（ａ）に示す表示画面Ａ１０から図５（ｂ）に示す１階層下の表示画面Ａ２１に遷移する。
【００４２】
図５（ｂ）に示す表示画面Ａ２１には、ユーザが選択可能な複数の選択項目Ｐ２１，Ｐ２２，Ｐ２３，Ｐ２４，Ｐ２５がメニュー形式で表示されており、選択項目Ｐ２１〜Ｐ２４には情報処理装置１の各機能に対応した文字列が表示されている。また選択項目Ｐ２５には表示部１１の表示画面を前画面に戻すことを示す「閉じる」という文字列が表示されている。ここで例えばユーザが「コピー」という文字列の表示されている選択項目Ｐ２１を指などで直接押下すると、その部分のタッチパネルキー１２が検知し、処理特定部２５に検知信号を出力する。処理特定部２５はこの検知信号に基づいて選択項目Ｐ２１が押下されたことを認識し、「コピー」に対応した第２中間層の表示画面Ａ３１を表示させるべく、処理実行部２６に処理の実行コマンドを送出する。その結果、表示部１１の表示画面は、図５（ｂ）に示す表示画面Ａ２１から図５（ｃ）に示す１階層下の表示画面Ａ３１に遷移する。
【００４３】
図５（ｃ）に示す表示画面Ａ３１には、ユーザが選択可能な複数の選択項目Ｐ３１〜Ｐ３８がメニュー形式で表示されており、選択項目Ｐ３１〜Ｐ３７にはコピー機能に関する各種用語などの文字列が表示されている。また選択項目Ｐ３８には表示部１１の表示画面を前画面に戻すことを示す「閉じる」という文字列が表示されている。ここで例えばユーザが「仕上がり」という文字列の表示されている選択項目Ｐ３１を指などで直接押下すると、その部分のタッチパネルキー１２が検知し、処理特定部２５に検知信号を出力する。処理特定部２５はこの検知信号に基づいて選択項目Ｐ３１が押下されたことを認識し、「仕上がり」に対応した最下層の表示画面Ａ４１を表示させるべく、処理実行部２６に処理の実行コマンドを送出する。その結果、表示部１１の表示画面は、図５（ｃ）に示す表示画面Ａ３１から図５（ｄ）に示す最下層の表示画面Ａ４１に遷移する。
【００４４】
図５（ｄ）に示す表示画面Ａ４１には、ユーザが選択した「仕上がり」に関するヘルプ情報表示欄Ｌ１が表示され、このヘルプ情報表示欄Ｌ１の内側に「仕上がり」に関する説明が文章表示される。しがたって、この最下層の表示画面Ａ４１が表示部１１に表示されると、ユーザは所望のヘルプ情報を得ることができる。また表示画面Ａ４１の下部には、ユーザが選択可能な複数の選択項目Ｐ４１，Ｐ４２が表示されている。そして選択項目Ｐ４１には表示部１１の表示画面を前画面に戻すことを示す「閉じる」という文字列が表示されており、選択項目Ｐ４２には表示部１１の表示画面を最上層の表示画面Ａ１０に戻すことを示す「終了」という文字列が表示されている。そのため、ユーザが選択項目Ｐ４１を押下すれば、表示部１１の表示画面が１つ前の表示画面Ａ３１に戻り、選択項目Ｐ４２を押下すれば、表示部１１の表示画面がヘルプモードのトップ画面である図５（ａ）の表示画面Ａ１０に戻る。
【００４５】
このようにユーザが操作パネル１０を指などで直接操作した場合には、表示部１１の表画面が図３に示した階層構造に従って１階層ずつ下位層の表示画面に遷移していくことになる。これに対し、ユーザが音声入力装置１５に対して音声入力を行った場合には、記憶部２２に記憶されている辞書テーブルＤＡに基づいた画面遷移が行われるので、表示部１１の表示画面を階層構造に従って１階層ずつ下位層の表示画面に遷移させていくことが可能であると共に、例えば任意の表示画面から最下層の表示画面にダイレクトに遷移させることが可能になる。
【００４６】
ここで階層構造の表示画面ごとに設定される辞書テーブルＤＡと処理特定テーブルＤＢについて説明する。図６〜図９は、図５に示した表示画面Ａ１０，Ａ２１，Ａ３１，Ａ４１のそれぞれに対して設定される辞書テーブルＤＡと処理特定テーブルＤＢとを示している。まず図６は最上層の表示画面Ａ１０に対応する辞書テーブルＤＡ１０と、処理特定テーブルＤＢ１０とを示す図である。図６（ａ）に示すように辞書テーブルＤＡ１０には、表示画面Ａ１０の選択項目Ｐ１１〜Ｐ１４（図５参照）に対応した第１の認識候補郡３１と、選択項目Ｐ１１〜Ｐ１４に対応しない第２の認識候補群３２とが含まれている。第１の認識候補群３１は、ユーザが操作パネル１０を指などで直接操作した場合と同様に、表示部１１の表画画面を階層構造に従って１階層ずつ順次下位層の画面に遷移させていくための認識候補群であり、複数の認識候補が含まれている。これら認識候補は、表示画面Ａ１０に表示された複数の選択項目Ｐ１１〜Ｐ１４の文字列と同じ文字列となっている。また第２の認識候補群３２は、表示部１１の表画画面を階層構造に従わずに最下層の表示画面にダイレクトに遷移させるための認識候補群であり、第１の認識候補群３１とは異なる複数の認識候補が含まれている。図５（ａ）のような表示画面Ａ１０が操作パネル１０に表示されているときに、ユーザが音声入力装置１５に対して音声を入力すると、音声認識部２３は辞書テーブルＤＡ１０に含まれる複数の認識候補の中から入力された音声をひとつ特定する。
【００４７】
また図６（ｂ）に示すように処理特定テーブルＤＢ１０は、音声認識部２３で特定される音声と、その音声に対応して実行すべき処理とが対応付けられたテーブルとなっており、「認識された音声」の項目欄には、辞書テーブルＤＡ１０に含まれる認識候補と同じ文字列が含まれている。この処理特定テーブルＤＢ１０には、第１の認識候補群３１と同じ文字列を含む第１処理テーブル４１と、第２の認識候補群３２と同じ文字列を含む第２処理テーブル４２とが設けられている。そして第１処理テーブル４１の「実行する処理」の欄には、表示部１１の表画画面を階層構造に従って１階層ずつ順次下位層の画面に遷移させる処理が設定されている。尚、「閉じる」に対応する処理としては、表示画面を初期画面に戻す処理が設定されている。また第２処理テーブル４２の「実行する処理」の欄には、表示部１１の表画画面を階層構造に従わずに最下層の表示画面にダイレクトに遷移させる処理が設定されている。
【００４８】
したがって、図５（ａ）のような表示画面Ａ１０が操作パネル１０に表示されているときに、例えばユーザが「機能から探す」という音声を入力すると、音声認識部２３は辞書テーブルＤＡ１０に含まれる第１の認識候補群３１の中から「機能から探す」という文字列を特定し、処理特定部２５はその特定された文字列（認識された音声）に基づいて実行すべき処理として「表示画面Ａ２１への遷移」を特定する。そして処理実行部２６によってその特定された処理が実行されることにより、操作パネル１０の表示部１１は最上層の表示画面Ａ１０から１階層下の表示画面Ａ２１（図５（ｂ）参照）に遷移する。
【００４９】
これに対し、図５（ａ）のような表示画面Ａ１０が操作パネル１０に表示されているときに、例えばユーザが「仕上がり」という音声を入力すると、音声認識部２３は辞書テーブルＤＡ１０に含まれる第２の認識候補群３１の中から「仕上がり」という文字列を特定し、処理特定部２５はその特定された文字列（認識された音声）に基づいて実行すべき処理として「表示画面Ａ４１への遷移」を特定する。そして処理実行部２６によってその特定された処理が実行されることにより、操作パネル１０の表示部１１は最上層の表示画面Ａ１０から最下層の表示画面Ａ４１（図５（ｄ）参照）に遷移する。
【００５０】
次に、図７は第１中間層の表示画面Ａ２１に対応する辞書テーブルＤＡ２１と、処理特定テーブルＤＢ２１とを示す図である。図７（ａ）に示すように辞書テーブルＤＡ２１は、上述した辞書テーブルＤＡ１０と同様に、表示部１１の表画画面を階層構造に従って１階層ずつ順次下位層の画面に遷移させていくための第１の認識候補群３１と、表示部１１の表画画面を階層構造に従わずに最下層の表示画面にダイレクトに遷移させるための第２の認識候補群３２とを含んでいる。また図７（ｂ）に示すように処理特定テーブルＤＢ２１についても、上述した処理特定テーブルＤＢ１０と同様に、第１の認識候補群３１と同じ文字列を含む第１処理テーブル４１と、第２の認識候補群３２と同じ文字列を含む第２処理テーブル４２とが設けられており、音声認識部２３で特定される音声と、その音声に対応して実行すべき処理とが対応付けられたテーブルとなっている。したがって、図５（ｂ）のような表示画面Ａ２１が操作パネル１０に表示されているときに、例えばユーザが「コピー」という音声を入力すると、音声認識部２３は辞書テーブルＤＡ２１に含まれる第１の認識候補群３１の中から「コピー」という文字列を特定し、処理特定部２５はその特定された文字列（認識された音声）に基づいて実行すべき処理として「表示画面Ａ３１への遷移」を特定する。そして処理実行部２６によってその特定された処理が実行されることにより、操作パネル１０の表示部１１は第１中間層の表示画面Ａ２１から第２中間層の表示画面Ａ３１（図５（ｃ）参照）に遷移する。これに対し、例えばユーザが「仕上がり」という音声を入力すると、音声認識部２３は辞書テーブルＤＡ２１に含まれる第２の認識候補群３１の中から「仕上がり」という文字列を特定し、処理特定部２５はその特定された文字列（認識された音声）に基づいて実行すべき処理として「表示画面Ａ４１への遷移」を特定する。そして処理実行部２６によってその特定された処理が実行されることにより、操作パネル１０の表示部１１は第１中間層の表示画面Ａ２１から最下層の表示画面Ａ４１（図５（ｄ）参照）に遷移する。
【００５１】
また図５（ｂ）のような表示画面Ａ２１が操作パネル１０に表示されているときに、ユーザが「閉じる」という音声を入力すると、音声認識部２３は辞書テーブルＤＡ２１に含まれる第１の認識候補群３１の中から「閉じる」という文字列を特定し、処理特定部２５はその特定された文字列（認識された音声）に基づいて処理特定テーブルＤＢ２１の中から実行すべき処理として「前画面への遷移」を特定する。したがって、この場合、処理実行部２６は、記憶装置２２の情報記憶部２７から画面情報Ｇ２を読み出し、表示部１１における表示画面を遷移前の画面に遷移させて元の表示画面に戻す。
【００５２】
次に、図８は第２中間層の表示画面Ａ３１（図５（ｃ）参照）に対応する辞書テーブルＤＡ３１と、処理特定テーブルＤＢ３１とを示す図である。図８（ａ）に示すように辞書テーブルＤＡ３１は、表示部１１の表画画面を階層構造に従って１階層ずつ順次下位層の画面に遷移させていくための第１の認識候補群３１を含んでいる。本実施形態では、第２中間層の表示画面Ａ３１は最下層の１層上に位置するため、表示画面Ａ３１から１階層下に遷移すれば最下層の画面に辿り着くため、この辞書テーブルＤＡ３１には特に第２の認識候補群３２を設ける必要はない。ただし、ユーザが選択する項目によっては更に深い階層の画面が存在するような場合には、必要に応じてその画面にダイレクトに遷移させるための第２の認識候補群３２を設けておくことが好ましい。また図８（ｂ）に示すように処理特定テーブルＤＢ３１についても、第１の認識候補群３１と同じ文字列を含む第１処理テーブル４１を含んでいる。また辞書テーブルＤＡ３１が第２の認識候補群３２を含んでいる場合には、処理特定テーブルＤＢ３１においても、それに対応した第２処理テーブル４２が含まれる。そして図５（ｃ）のような表示画面Ａ３１が操作パネル１０に表示されているときに、例えばユーザが「仕上がり」という音声を入力すると、音声認識部２３は辞書テーブルＤＡ３１に含まれる第１の認識候補群３１の中から「仕上がり」という文字列を特定し、処理特定部２５はその特定された文字列（認識された音声）に基づいて実行すべき処理として「表示画面Ａ４１への遷移」を特定する。そして処理実行部２６によってその特定された処理が実行されることにより、操作パネル１０の表示部１１は第２中間層の表示画面Ａ３１から最下層の表示画面Ａ４１（図５（ｄ）参照）に遷移する。また辞書テーブルＤＡ３１に第２の認識候補群３２が含まれている場合、ユーザがその第２の認識候補群３２に含まれる音声を入力すると、音声認識部２３は辞書テーブルＤＡ３１に含まれる第２の認識候補群３１の中からその文字列を特定し、処理特定部２５はその特定された文字列（認識された音声）に基づいて実行すべき処理を特定する。そして処理実行部２６によってその特定された処理が実行されることにより、操作パネル１０の表示部１１は第２中間層の表示画面Ａ３１から特定の画面に遷移する。
【００５３】
また図５（ｃ）のような表示画面Ａ３１が操作パネル１０に表示されているときに、ユーザが「閉じる」という音声を入力すると、音声認識部２３は辞書テーブルＤＡ３１に含まれる第１の認識候補群３１の中から「閉じる」という文字列を特定し、処理特定部２５はその特定された文字列（認識された音声）に基づいて処理特定テーブルＤＢ３１の中から実行すべき処理として「前画面への遷移」を特定する。したがって、この場合、処理実行部２６は、記憶装置２２の情報記憶部２７から画面情報Ｇ２を読み出し、表示部１１における表示画面を遷移前の画面に遷移させて元の表示画面に戻す。
【００５４】
次に、図９は最下層の表示画面Ａ４１に対応する辞書テーブルＤＡ４１と、処理特定テーブルＤＢ４１とを示す図である。図９（ａ）に示すように辞書テーブルＤＡ４１には、表示画面Ａ４１（図５（ｄ）参照）の選択項目Ｐ４１，Ｐ４２に対応した第１の認識候補郡３１と、選択項目Ｐ４１，Ｐ４２に対応しない第２の認識候補群３２とが含まれている。第１の認識候補群３１は、ユーザが操作パネル１０を指などで直接操作した場合と同様に、表示部１１の表画画面を階層構造に従って表示画面を遷移させるための認識候補群であり、この例では「終了」と「閉じる」の２つの認識候補が含まれている。これら認識候補は、表示画面Ａ１０に表示された複数の選択項目Ｐ４１，Ｐ４２の文字列と同じ文字列となっている。また第２の認識候補群３２は、表示部１１の表画画面を階層構造に従わずに最下層の表示画面をさらに別の最下層の表示画面にダイレクトに遷移させるための認識候補群であり、第１の認識候補群３１とは異なる複数の認識候補が含まれている。例えば、表示画面Ａ４１のヘルプ情報表示欄Ｌ１に「仕上がり」に関する説明が文章表示されており、第２の認識候補郡３２には、その文章中のキーワード（例えば「ステープル」や「パンチ」など）が認識候補として含まれている。また辞書テーブルＤＡ４１における第２の認識候補郡３２には、ヘルプモードでの最下層の表示画面Ａ４１からコピーモードでの最下層の表示画面Ｂ４１へとダイレクトにモード間遷移させるための認識候補３２ａが含まれている。
【００５５】
また図９（ｂ）に示すように処理特定テーブルＤＢ４１は、音声認識部２３で特定される音声と、その音声に対応して実行すべき処理とが対応付けられたテーブルとなっており、第１の認識候補群３１と同じ文字列を含む第１処理テーブル４１と、第２の認識候補群３２と同じ文字列を含む第２処理テーブル４２とが設けられている。そして第１処理テーブル４１の「実行する処理」の欄には、表示部１１の表画画面を階層構造に従って画面を遷移させる処理が設定されている。この例では、「終了」に対応する処理として、表示画面を初期画面に戻す処理が設定されており、「閉じる」に対応する処理として、前画面に戻す処理が設定されている。したがって、ユーザが「終了」という音声を入力すると、表示部１１の表示画面は初期画面に戻り、ユーザが「閉じる」という音声を入力すると、表示部１１の表示画面は遷移前の表示画面に戻る。また第２処理テーブル４２の「実行する処理」の欄には、表示部１１の表画画面を階層構造に従わずに他の最下層の表示画面にダイレクトに遷移させる処理が設定されている。したがって、本実施形態では、表示部１１の表示画面が最下層の表示画面Ａ４１を表示しているときに、ユーザが辞書テーブルＤＡ４１の第２の認識候補群３２に含まれる文字列を音声入力すれば、それに伴って同一モード内における最下層間でダイレクトに表示画面を遷移させることが可能になると共に、異なるモード間においてもダイレクトに表示画面を遷移させることが可能になる。
【００５６】
図１０は、同一モード内での最下層間でのダイレクト遷移の一例を示す図である。例えば、操作パネル１０の表示部１１に、図１０（ａ）に示す表示画面Ａ４１が表示されているときに、ユーザがヘルプ情報表示欄Ｌ１に表示されている「ステープル」という言葉を発声すると、音声認識部２３は辞書テーブルＤＡ４１に含まれる第２の認識候補群３２の中から「ステープル」という文字列を特定し、処理特定部２５はその特定された文字列（認識された音声）に基づいて処理特定テーブルＤＢ４１を検索し、実行すべき処理として「表示画面Ａ４２への遷移」を特定する。そして処理実行部２６によってその特定された処理が実行されることにより、操作パネル１０の表示部１１は、図１０（ｂ）に示す表示画面Ａ４２に遷移する。図１０（ｂ）に示す表示画面Ａ４２には、「ステープル」に関するヘルプ情報表示欄Ｌ２が表示され、このヘルプ情報表示欄Ｌ２の内側に「ステープル」に関する説明が文章表示される。しがたって、表示画面Ａ４２が表示部１１に表示されると、ユーザは所望のヘルプ情報を得ることができる。また表示画面Ａ４２の下部には、ユーザが選択可能な複数の選択項目Ｐ４３，Ｐ４４が表示されている。そして選択項目Ｐ４３には表示部１１の表示画面を前画面に戻すことを示す「閉じる」という文字列が表示されており、選択項目Ｐ４４には表示部１１の表示画面を最上層の表示画面Ａ１０に戻すことを示す「終了」という文字列が表示されている。そのため、ユーザが選択項目Ｐ４１を押下するか或いは「閉じる」という音声を発すれば、表示部１１の表示画面が１つ前の表示画面Ａ４１に戻り、選択項目Ｐ４２を押下するか或いは「終了」という音声を発すれば、表示部１１の表示画面がヘルプモードのトップ画面である図５（ａ）の表示画面Ａ１０に戻る。
【００５７】
ここで例えば、ユーザが操作パネル１０を指などで直接操作することにより、同一モード内の他の最下層の画面や異なるモードの最下層の画面を表示部１１に表示させようとすると、表示部１１の表示画面を少なくとも１階層上の表示画面に戻すことが必要であるため、ユーザは少なくとも２回の操作を行うことが必要である。これに対し、音声入力の場合は、１回の音声入力でダイレクトに最下層間で表示画面を遷移させるので、音声の発声回数を少なくすることができるので、音声入力による操作性が向上する。
【００５８】
次に図１１は、異なるモード間でのダイレクト遷移の一例を示す図である。例えば、操作パネル１０の表示部１１に、図１１（ａ）に示すようなヘルプモードでの「仕上がり」に対応する最下層の表示画面Ａ４１が表示されているときに、ユーザが「仕上がり」という音声を発すると、音声認識部２３は辞書テーブルＤＡ４１に含まれる第２の認識候補群３２の中から「仕上がり」という文字列を特定し、処理特定部２５はその特定された文字列（認識された音声）に基づいて処理特定テーブルＤＢ４１を検索し、実行すべき処理として「表示画面Ｂ４１への遷移」を特定する。ここで表示画面Ｂ４１は他のモード（コピーモード）の階層構造における最下層の表示画面である（図３参照）。そして処理実行部２６によってその特定された処理が実行されることにより、操作パネル１０の表示部１１は、図１１（ｂ）に示す表示画面Ｂ４１に遷移する。図１１（ｂ）に示す表示画面Ｂ４１は、コピーモードに関する仕上がり設定を行うための設定画面となっている。したがって、表示画面Ｂ４１が表示部１１に表示されると、ユーザはステープルやパンチなどの仕上がり設定を手動入力又は音声入力によって行うことができる。尚、表示画面Ｂ４１の下部には、「ＯＫ」の文字列を含む選択項目Ｐ４５が表示されており、ユーザが選択項目Ｐ４５を押下するか或いは「ＯＫ」という音声を発すれば、表示部１１の表示画面が例えばコピーモードのトップ画面（最上層の画面）である表示画面Ｂ１０に遷移する。
【００５９】
このように、あるモードにおいて最下層以外の表示画面が表示部１１に表示されているときには同じモード内の最下層の表示画面に遷移させるための認識候補が、同じモードの最下層の表示画面が表示部１１に表示されているときには他のモードの最下層の表示画面に遷移させるための認識候補として使用されることにより、１回の音声入力で情報処理装置１の動作モードを切り替えてユーザの所望する表示画面を速やかに表示することが可能である。例えば、上述したようにヘルプモードで「仕上がり」に関する表示画面Ａ４１が表示されているときに、ユーザが「仕上がり」と発声すればコピーモードの「仕上がり」に関する表示画面Ｂ４１に遷移するだけでなく、コピーモードで「仕上がり」に関する表示画面Ｂ４１が表示されているときに、ユーザが「仕上がり」と発声すれば「仕上がり」に関するヘルプ情報を表示すべく、ヘルプモードの「仕上がり」に関する表示画面Ａ４１に遷移するように構成すれば、より操作性が向上する。
【００６０】
次に、ユーザがカスタマイズ設定情報を登録した場合の画面遷移について説明する。図１２は、ユーザがカスタマイズ設定情報を登録した場合のダイレクト遷移の一例を示す図である。図１２（ａ）はコピーモードの最上層の表示画面Ｂ１０を示しており、ユーザがコピー機能を使用する際に設定可能な複数の選択項目Ｐ１５〜Ｐ１８とジョブの実行を指示する際に選択可能な選択項目（実行ボタン）Ｐ１９とが表示されている。また図１２（ｂ）はユーザが予めカスタマイズ設定して登録した設定情報を呼び出すための表示画面Ｂ４５を示しており、予め登録された複数の設定情報がそれぞれ選択項目Ｐ５１〜Ｐ５４として表示されると共に、設定呼び出しを行うか否かを決定するために選択可能な複数の選択項目Ｐ５５，Ｐ５６が表示されている。ここで選択項目Ｐ５１〜Ｐ５４のそれぞれには、ユーザが任意に設定した設定情報名の文字列が個別に表示されている。例えば、選択項目Ｐ５１には「設定１」という表示が行われている。
【００６１】
そしてコピーモードにおいて例えば最上層の表示画面Ｂ１０が表示されているときに、ユーザが音声入力装置１５に対して「設定１」という音声を入力すると、表示部１１の表示画面は、図１２（ｂ）に示す表示画面Ｂ４５に遷移すると共に、複数の選択項目Ｐ５１〜Ｐ５４のうちの「設定１」に対応する選択項目Ｐ５１が選択された状態に反映された画面となる。
【００６２】
図１３はコピーモードにおける最上層の表示画面Ｂ１０に対応する辞書テーブルＤＡ５０と、処理特定テーブルＤＢ５０とを示す図である。図１３（ａ）に示すように辞書テーブルＤＡ５０には、表示画面Ｂ１０の選択項目Ｐ１５〜Ｐ１８（図１２（ａ）参照）に対応した第１の認識候補郡３１と、選択項目Ｐ１５〜Ｐ１８に対応しない第２の認識候補群３２とが含まれている。第１の認識候補群３１は、ユーザが操作パネル１０を指などで直接操作した場合と同様に、表示部１１の表画画面を階層構造に従って１階層ずつ順次下位層の画面に遷移させていくための認識候補群であり、複数の認識候補が含まれている。これら認識候補は、表示画面Ｂ１０に表示された複数の選択項目Ｐ１５〜Ｐ１８の文字列と同じ文字列になっている。また第２の認識候補群３２は、表示部１１の表画画面を階層構造に従わずにダイレクトに画面遷移させるための認識候補群であり、第１の認識候補群３１とは異なる複数の認識候補が含まれている。この第２の認識候補群３２には、ユーザがカスタマイズ設定情報の登録を行った際、設定登録部２６ａによって第３の認識候補群３３が追加登録されている。図例の場合、「設定１」、「８ｉｎ１」、「プログラム１」などの文字列が第３の認識候補群３３として辞書テーブルＤＡ５０に追加登録されており、これら追加登録された文字列は情報記憶部２７に格納保存された設定情報Ｇ３のそれぞれの設定情報名に対応する。
【００６３】
また図１３（ｂ）に示すように処理特定テーブルＤＢ５０は、音声認識部２３で特定される音声と、その音声に対応して実行すべき処理とが対応付けられたテーブルとなっており、「認識された音声」の項目欄には、辞書テーブルＤＡ５０に含まれる認識候補と同じ文字列が含まれている。そのため、この処理特定テーブルＤＢ５０には、第１の認識候補群３１と同じ文字列を含む第１処理テーブル４１と、第２の認識候補群３２と同じ文字列を含む第２処理テーブル４２とが設けられており、第２処理テーブル４２には追加登録された第３の認識候補群３３と同じ文字列を含む第３処理テーブル４３が追加登録されている。そして第１処理テーブル４１の「実行する処理」の欄には、表示部１１の表画画面を階層構造に従って１階層ずつ順次下位層の画面に遷移させる処理が設定されており、第２処理テーブル４２には表示画面をダイレクトに遷移させるための処理が設定されている。特に第２処理テーブル４２に含まれる第３処理テーブル４３には、表示部１１の表示画面を、設定呼び出しのための表示画面Ｂ４５に遷移させるための処理が設定されると共に、設定情報名に対応する設定情報Ｇ３が選択された状態に反映することが設定されている。
【００６４】
したがって、例えば図１２（ａ）のような表示画面Ｂ１０が操作パネル１０に表示されているときに、例えばユーザが「設定１」という音声を入力すると、音声認識部２３は辞書テーブルＤＡ５０に含まれる第２の認識候補群３２の中から追加登録された「設定１」という文字列を特定し、処理特定部２５はその特定された文字列（認識された音声）に基づいて実行すべき処理として「表示画面Ｂ４５に遷移して「設定１」選択」を特定する。そして処理実行部２６によってその特定された処理が実行されることにより、操作パネル１０の表示部１１は最上層の表示画面Ａ１０から設定呼出画面である表示画面Ｂ４５にダイレクトに遷移すると共に、表示画面Ｂ４５において「設定１」に対応する選択項目Ｐ５１が選択された状態となる。
【００６５】
ところで、コピーモードにおいて例えば最上層の表示画面Ｂ１０が表示されているときに、ユーザが手の指などで操作パネル１０に設けられたプログラムキー１３ｄを押下すると、表示部１１の表示画面は、図１２（ｂ）の表示画面Ｂ４５に遷移するが、この場合の表示画面Ｂ４５では複数の選択項目Ｐ５１〜Ｐ５４のうちのいずれかが選択された状態とはならず、ユーザは更に所望の設定情報名が表示されている選択項目を選択する操作を行う必要がある。それ故、音声入力の場合には、手動入力による場合よりも効率的に設定情報の呼び出しを行うことができるという利点がある。
【００６６】
尚、上記においてはユーザがカスタマイズ設定情報を登録した場合の画面遷移の一例としてコピーモードにおける最上層の表示画面Ｂ１０からの遷移について説明したが、上述した画面遷移はコピーモードにおける階層構造の任意の画面で行うことができる。またコピーモード下での画面遷移に限られるものでもなく、ＦＡＸ／スキャンモード下などの他のモード下においても適用可能である。
【００６７】
次に本実施形態の表示画面制御部２０における処理手順について説明する。図１４は、情報処理装置１における表示画面制御部２０の処理手順を示すフローチャートである。まず表示画面制御部２０は、ユーザによって音声入力が行われるまで待機状態にある（ステップＳ１０）。そして音声入力装置１５に対して音声入力が行われると、音声解析部１６が音声信号を抽出し、音声認識部２３に出力する（ステップＳ１１）。そしてＣＰＵ２１の音声認識部２３が機能する。音声認識部２３は表示部１１に表示されている表示画面に対応した辞書テーブルＤＡを記憶装置２２から読み出し（ステップＳ１２）、音声解析結果と辞書テーブルＤＡとを比較して入力された音声を認識候補群の中から特定する（ステップＳ１３）。そしてＣＰＵ２１の制御部２４が機能し、制御部２４では処理特定部２５が表示画面に対応した処理特定テーブルＤＢを記憶装置２２から読み出し（ステップＳ１４）、特定された入力音声と処理特定テーブルＤＢとを比較することにより、情報処理装置１において実行すべき処理を特定する（ステップＳ１５）。したがって、表示画面を遷移させる処理の場合には、このときに遷移先の表示画面が特定されることになる。
【００６８】
そして制御部２４の処理実行部２６が機能し、処理実行部２６は処理特定部２５によって特定された処理が画面遷移を伴う処理であるか否かを判断する（ステップＳ１６）。そして画面遷移を伴う処理である場合には、現在の表示画面である遷移前の画面情報Ｇ２を情報記憶部２７の画面情報記憶部２７ａに格納保存する（ステップＳ１７）。これに対し、画面遷移を伴わない処理である場合にはステップＳ１７はスキップする。そしてステップＳ１８に進み、処理実行部２６は、処理特定部２５において特定された処理を実行する。したがって、表示画面を遷移させる処理の場合には、このときに表示部１１の表示画面が特定された画面に切り替えられる。そして処理の実行が完了すると、このフローチャートの手順は終了し、それ以後ステップＳ１０からの手順が繰り返し行われる。
【００６９】
以上のように、本実施形態の情報処理装置１では、ユーザが音声入力を行った場合の入力音声を認識するための辞書テーブルＤＡは、階層構造の表示画面ごとに設定されている。そのため、音声認識時に参照する辞書テーブルＤＡに含まれる認識候補の数を少なくできるので、入力音声を特定するのに要する時間を短縮することができ、音声認識を効率的に行うことが可能である。
【００７０】
また辞書テーブルＤＡには、予め設定された階層構造に従って表示部１１の表示画面を順次下位層の画面に遷移させていくための第１の認識候補群３１と、階層構造に従わずに表示部１１の表示画面を特定の画面にダイレクトに遷移させるための第２の認識候補群３２とが含まれており、音声認識部２３によって認識された音声が第２の認識候補群３２に含まれる音声である場合、制御部２４が表示部１１における表示画面を特定の画面にダイレクトに遷移させるように構成されている。そのため、ユーザが所望する特定の画面を表示させるために、ユーザが操作パネル１０に対して発声する回数を少なくすることができ、発声回数が多くなることによる煩わしさを解消することができると共に、音声入力による操作パネル１０の操作性を向上させることができる。特に本実施形態の場合、手動入力による操作では階層構造に従った画面遷移となるため、ユーザが所望の画面に辿り着くまでに複数回の手動操作を行う必要があるのに対し、音声入力による操作では階層構造に従わずにダイレクトに画面遷移させることが可能になるため、手動入力よりも音声入力の方が操作性に優れているという利点がある。
【００７１】
また本実施形態においては、制御部２４が、表示部１１の表示画面を遷移させるとき、遷移前の表示画面に関する画面情報Ｇ２を情報記憶部２７に格納保存しておき、音声認識部２３によって認識された音声が遷移前の表示画面に戻すことを指示する音声である場合、情報記憶部２７に格納しておいた画面情報Ｇ２を読み出して、表示部１１における表示画面を遷移前の画面に遷移させるので、表示画面のダイレクト遷移が行われた後に表示画面を前画面に戻す指示が行われた場合でも、ダイレクト遷移前の元の表示画面に戻すことが可能である。尚、上記においては情報記憶部２７が記憶装置２２に設けられる場合を例示したが、情報記憶部２７を記憶装置２２とは異なる記憶手段に設けても良い。
【００７２】
以上、本発明に関する一実施形態について説明したが、本発明は上述した内容のものに限定されるものではない。例えば、本実施形態では情報処理装置１が、複合機やＭＦＰなどと称される装置である場合を例示したが、本発明が適用可能な情報処理装置はこれに限定されるものではなく、その他種々の情報処理装置に対して適用することが可能である。
【００７３】
また上記実施形態においては、音声入力による表示画面の遷移形態として主に階層構造の最下層の表示画面にダイレクトに遷移させる場合を例示したが、音声入力によるダイレクト遷移の遷移先となる画面は、必ずしも階層構造における最下層の表示画面である必要はなく、中間層に設けられているような画面であっても構わない。そのため、本発明では、階層構造に従わずにダイレクトに特定の画面に対して遷移させることが設定されているものであればよい。
【００７４】
また上記においては特に言及しなかったが、ユーザが音声入力を行うときに操作する操作スイッチを設け、ユーザが操作スイッチを操作している状態で音声入力装置１５に対する音声入力を受け付けるように構成しても良い。この場合、図１４に示したフローチャートは、例えばユーザが操作スイッチを操作したことが検知されるとそれに応答して処理が開始される。また、このようなスイッチは、ユーザが情報処理装置１の前方に位置することを検知する非接触式の検知センサなどによって構成しても良い。
【図面の簡単な説明】
【００７５】
【図１】情報処理装置の外観構成の一例を示す斜視図である。
【図２】情報処理装置の操作パネルを拡大して示す図である。
【図３】ヘルプモードとコピーモードにおける階層的な表示画面の一構成例を示す図である。
【図４】情報処理装置において表示画面制御を行うための制御機構の一例を示すブロック図である。
【図５】ヘルプモードにおける階層的な表示画面の一例を示す図である。
【図６】最上層の表示画面に対応する辞書テーブルと処理特定テーブルとを示す図である。
【図７】第１中間層の表示画面に対応する辞書テーブルと処理特定テーブルとを示す図である。
【図８】第２中間層の表示画面に対応する辞書テーブルと処理特定テーブルとを示す図である。
【図９】最下層の表示画面に対応する辞書テーブルと処理特定テーブルとを示す図である。
【図１０】同一モード内での最下層間でのダイレクト遷移の一例を示す図である。
【図１１】異なるモード間でのダイレクト遷移の一例を示す図である。
【図１２】ユーザがカスタマイズ設定情報を登録した場合のダイレクト遷移の一例を示す図である。
【図１３】コピーモードにおける最上層の表示画面に対応する辞書テーブルと処理特定テーブルとを示す図である。
【図１４】情報処理装置における表示画面制御部の処理手順を示すフローチャートである。
【符号の説明】
【００７６】
１  情報処理装置
１０  操作パネル
１１  表示部（表示手段）
１２  タッチパネルキー（操作入力手段）
１３  操作キー（操作入力手段）
１５  音声入力装置（音声入力手段）
１６  音声解析部
２１  ＣＰＵ
２２  記憶装置（記憶手段）
２３  音声認識部（音声認識手段）
２４  制御部（制御手段）
２５  処理特定部
２６  処理実行部
２７  情報記憶部
【図１】
2010049432.tif 000003
【図２】
2010049432.tif 000004
【図３】
2010049432.tif 000005
【図４】
2010049432.tif 000006
【図５】
2010049432.tif 000007
【図６】
2010049432.tif 000008
【図７】
2010049432.tif 000009
【図８】
2010049432.tif 000010
【図９】
2010049432.tif 000011
【図１０】
2010049432.tif 000012
【図１１】
2010049432.tif 000013
【図１２】
2010049432.tif 000014
【図１３】
2010049432.tif 000015
【図１４】
2010049432.tif 000016