(57)【要約】【課題】  自然言語で入力された音声に基づいて画面の操作指示を受け付け可能な情報処理システムを提供する。【解決手段】  ユーザが発声する自然言語による音声操作指示を取得し、音声データから音声認識処理を通じてテキスト情報に変換し、予め登録された変換ルールに基づいてテキスト情報から画面操作指示に変換する。特に、画像形成装置の操作画面を構成するＵＩ部品に識別子を追加し、この識別子を用いた音声操作指示であっても対応する指示を受け付け可能にする。【選択図】  図１３
2020112933.tif 000002
【特許請求の範囲】
【請求項１】
自然言語の音声情報が入力されたことに従って前記音声情報に基づく単語情報を出力する手段と、
表示デバイスに表示中の画面に含まれるオブジェクトに対応付けて識別子を追加表示させる手段と、
前記識別子の情報および前記出力された単語情報に少なくとも基づいて、前記識別子の対応付いたオブジェクトに紐付く所定の処理を実行するか否かを決定する手段と、
を有することを特徴とする情報処理システム。
【請求項２】
前記表示デバイスに表示中の画面において前記オブジェクトが選択されたことにしたがって、前記単語情報によらずに前記所定の処理を実行する手段を有することを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記オブジェクトは所定の表記名を備え、前記所定の表記名と一致する単語が前記単語情報に含まれていることに少なくとも基づいて前記所定の処理を実行すると決定する手段を有することを特徴とする請求項２に記載の情報処理システム。
【請求項４】
前記所定の表記名と一致する単語が前記単語情報に含まれていなくても、前記単語情報が前記オブジェクトに対応付いた識別子の情報と一致することに基づいて前記所定の処理を実行すると決定する手段を有することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。
【請求項５】
前記単語情報は、前記識別しは数字であることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理システム。
【請求項６】
前記単語情報は、前記識別子はアルファベットであること特徴とする請求項１乃至５のいずれか１項に記載の情報処理システム。
【請求項７】
前記所定の処理の実行に従って、前記画面を遷移させる手段をさらに有することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理システム。
【請求項８】
前記所定の処理の実行に従って、音声出力デバイスに音声メッセージを出力させる手段をさらに有することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理システム。
【請求項９】
シートに画像を形成する印刷デバイスを備え、前記所定の処理は、印刷処理であることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理システム。
【請求項１０】
シートに画像を形成する印刷デバイスを備え、前記所定の処理は、印刷処理に関する設定の受付処理であることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理システム。
【請求項１１】
原稿を読み取る読取デバイスを備え、前記所定の処理は、読取処理であることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理システム。
【請求項１２】
原稿を読み取る読取デバイスを備え、前記所定の処理は、読取処理に関する設定の受付処理であることを特徴とする請求項１乃至８のいずれか１項に記載の情報処理システム。
【請求項１３】
前記情報処理システムは、前記出力する手段を備える情報処理装置および、前記決定する手段および前記表示デバイスを備える画像処理装置を有するシステムであって、
前記画像処理装置は、自然言語の入力を受け付ける音声入力デバイスと、
前記音声入力デバイスを介して受け付けた自然言語の音声情報を前記情報処理装置に送信する手段と、を有することを特徴とする請求項１乃至１２のいずれか１項に記載の情報処理システム。
【請求項１４】
自然言語の入力を受け付ける音声入力デバイスおよび情報を表示する表示デバイスを備える画像処理装置であって、自然言語の音声情報が入力されたことに従って前記音声情報に基づく単語情報を出力する情報処理装置と通信可能な画像処理装置において、
前記音声入力デバイスを介して受け付けた自然言語の音声情報を前記情報処理装置に送信し、前記情報処理装置から単語情報を取得する手段と、
前記表示デバイスに表示中の画面に含まれるオブジェクトに対応付けて識別子を追加表示させる手段と、
前記識別子の情報および前記出力された単語情報に少なくとも基づいて、前記識別子の対応付いたオブジェクトに紐付く所定の処理を実行するか否かを決定する手段と、
を有することを特徴とする画像処理装置。
【請求項１５】
自然言語の入力を受け付ける音声入力デバイスおよび情報を表示する表示デバイスを備える画像処理装置であって自然言語の音声情報が入力されたことに従って前記音声情報に基づく単語情報を出力する情報処理装置と通信可能な画像処理装置の制御方法において、
前記音声入力デバイスを介して受け付けた自然言語の音声情報を前記情報処理装置に送信し、前記情報処理装置から単語情報を取得する工程と、
前記表示デバイスに表示中の画面に含まれるオブジェクトに対応付けて識別子を追加表示させる工程と、
前記識別子の情報および前記出力された単語情報に少なくとも基づいて、前記識別子の対応付いたオブジェクトに紐付く所定の処理を実行するか否かを決定する工程と、
を有することを特徴とする制御方法。
【請求項１６】
自然言語の入力を受け付ける音声入力デバイスおよび情報を表示する表示デバイスを備える画像処理装置であって自然言語の音声情報が入力されたことに従って前記音声情報に基づく単語情報を出力する情報処理装置と通信可能な画像処理装置の制御方法をコンピュータに実行させるプログラムにおいて、前記制御方法は、
前記音声入力デバイスを介して受け付けた自然言語の音声情報を前記情報処理装置に送信し、前記情報処理装置から単語情報を取得する工程と、
前記表示デバイスに表示中の画面に含まれるオブジェクトに対応付けて識別子を追加表示させる工程と、
前記識別子の情報および前記出力された単語情報に少なくとも基づいて、前記識別子の対応付いたオブジェクトに紐付く所定の処理を実行するか否かを決定する工程と、
を有することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報を表示し音声入力により操作が可能な情報処理システム、情報処理装置に関する。この情報処理装置は、複写機複合機の他、パーソナルコンピュータやモバイル端末として利用することができる。
【背景技術】
【０００２】
従来、タッチパネル等の入力インターフェースを用いてユーザの指示入力を受け付ける装置の１つとして、ＭＦＰ等の画像形成装置が知られている。また、画像形成装置に関する技術分野では、こうした指示入力の一部を音声入力に置きかえる技術が検討されている。特許文献１では、印刷設定の組み合わせが登録されたモードメモリを音声入力により指定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１１４２９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の技術は、音声入力を利用する際の操作性について改善の余地がある。例えば、特許文献１では、音声入力によるユーザ指示を利用する場合、発話内容やアクセント等をあらかじめモードメモリに対応付けておき、この登録内容に一致する発話を検出する仕組みが紹介されている。この検出方法では、微妙なアクセントの違いや余分な発声によって登録内容と一致しないと判定される虞がある。この場合、登録内容と一致するまで繰り返し発声を求められる等して操作性が低下してしまう。したがって、音声入力による操作を受け付けるシステムは自然言語を処理可能なシステムであることが望ましい。
【０００５】
また、特許文献１は、音声入力キーの押下後の音声入力により、モードメモリの呼出という固定の機能を提供するのみである。したがって、ユーザによる装置の操作状況や表示中の画面の状況に応じた操作性を提供することが出来ていなかった。
【０００６】
本発明の目的は、自然言語で入力された音声に基づいて画面の操作指示を受け付け可能な情報処理システムを提供することである。特に、自然言語で入力された音声に対して、表示中の画面に応じた応答を行うことが可能な情報処理システムを提供することである。
【課題を解決するための手段】
【０００７】
本発明は、情報処理システムにおいて、自然言語の音声情報が入力されたことに従って前記音声情報に基づく単語情報を出力する手段と、表示デバイスに表示中の画面に含まれるオブジェクトに対応付けて識別子を追加表示させる手段と、前記識別子の情報および前記出力された単語情報に少なくとも基づいて、前記識別子の対応付いたオブジェクトに紐付く所定の処理を実行するか否かを決定する手段と、を有することを特徴とするものである。
【発明の効果】
【０００８】
本発明によれば、自然言語で入力された音声に基づいて画面の操作指示を受け付け可能な情報処理システムを提供できる。特に、自然言語で入力された音声に対して、表示中の画面に応じた応答を行うことが可能な情報処理システムを提供できる。
【図面の簡単な説明】
【０００９】
【図１】システム構成図である。
【図２】操作パネルの構成図である。
【図３】音声制御装置のハード構成を説明する概念図である。
【図４】サーバのハード構成を説明する概念図である。
【図５】画像形成装置のハード構成を説明する概念図である。
【図６】音声制御装置の制御プログラムの機能構成を説明する概念図である。
【図７】サーバの制御プログラムの機能構成を説明する概念図である。
【図８】画像形成装置の制御プログラムの機能構成を説明する概念図である。
【図９】システムを構成する装置間、および、各装置の制御プログラム間のシーケンスを説明するシーケンス図である。
【図１０】画像形成装置のデバイス制御プログラムの処理フローを説明する図である。
【図１１】制御プログラムが管理および利用するグループＩＤリストの一例である。
【図１２】制御プログラムが表示する画面と、管理および利用する画面制御情報と操作対象判定情報の一例である。
【図１３】システムとユーザ間のインタラクションの一例を説明する図である。
【図１４】画像形成装置の操作対象判定部の処理フローを説明する図である。
【図１５】操作対象判定処理を説明する画面の第一の例を示す図である。
【図１６】操作対象判定処理を説明する画面の第二の例を示す図である。
【図１７】操作対象判定処理を説明する画面の第三の例を示す図である。
【図１８】操作対象判定処理を説明する画面の第四の例を示す図である。
【図１９】操作対象判定処理を説明する画面の第四の例でプルダウンを選択したとき様子を示す図である。
【図２０】音声入力で操作可能な項目を示す図である。
【図２１】音声入力で操作可能な項目を示す図である。
【図２２】音声入力で操作可能な項目を示す図である。
【図２３】制御プログラムが表示する画面と、操作対象判定情報の一例である。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態について実施例にて具体的な構成を挙げ、図面を用いて説明する。なお、本発明を実現するための構成は実施例に記載された構成のみに限定されるものではない。同様の効果を得られる範囲で実施例に記載の構成の一部を省略または均等物に置き換えてもよい。
【実施例１】
【００１１】
＜システムの構成＞
図１は、本実施例のシステム構成図の一例である。図１に示すように、情報処理システムは、音声制御装置１００、画像形成装置１０１（画像処理装置）、サーバ１０２（方法処理装置）、クライアント端末１０３、ゲートウェイ１０５で構成される。
【００１２】
音声制御装置１００、画像形成装置１０１、クライアント端末１０３は、ゲートウェイ１０５およびネットワーク１０４（ＬＡＮ）を介して互いに通信可能である。なお、音声制御装置１００、画像形成装置１０１、クライアント端末１０３のそれぞれは、単一接続ではなく複数接続された構成であっても良い。また、音声制御装置１００、画像形成装置１０１、クライアント端末１０３は、ゲートウェイ１０５およびインターネットを介してサーバ１０２に通信可能である。
【００１３】
音声制御装置１００は、ユーザ１０６の音声操作開始指示に従い、ユーザ１０６の音声を取得してサーバ１０２へ符号化された音声データ（音声情報）を送信する。音声制御装置１００は、例えば、スマートスピーカなどである。なお、本実施例では音声制御装置１００と画像形成装置１０１が独立した構成となっている。しかしながら、音声制御装置１００を構成するハードウェア（図３を用いて後述する各ハードブロック）、及び、ソフトウェア機能（図６を用いて後述する各ソフトブロック）が画像形成装置１０１の中に含まれていてもよく、この構成に限定するものではない。
【００１４】
画像形成装置１０１は、例えば、コピー機能、スキャン機能、プリント機能、ＦＡＸ機能等の複数の機能を備える複合機であるが、単体の機能を備えるプリンタやスキャナであってもよい。また、５０９は図２及び図５で後述する操作パネルである。以下では、画像形成装置１０１がカラーレーザービーム複合機である前提で説明をおこなう。
【００１５】
サーバ１０２は、音声制御装置１００で取得されたユーザ１０６の音声データの音声認識、及び、音声認識結果から画像形成装置１０１の設定操作・ジョブ実行に関わるワード（単語情報）を判定するためのものである。また、前記音声認識結果または前記ワードの判定結果に応じてテキストを生成し、そのテキストの内容を音声制御装置１００で音声再生するための音声データの合成を行う。なお、サーバ１０２は、ディープラーニング等のニューラルネットワークを用いた機械学習により、精度の高い音声認識結果を提供することができる。例えば、サーバ１０２には、遠く離れたユーザからの音声を正確に認識するための学習がおこなわれている。また、サーバ１０２は自然言語処理に対応しており、形態素解析、構文解析、意味解析、文脈解析等を経ることで、入力された自然言語から適切な情報（単語、かな漢字変換結果）を取得することができる。なお、ジョブとは、画像形成装置１０１がプリントエンジン５１３及びスキャナ５１５を用いて実現する一連の画像形成処理（例えばコピー、スキャン、プリントなど）の単位を示す。
【００１６】
クライアント端末１０３は、例えば、ユーザ１０６が使うパーソナル・コンピュータ（ＰＣ）である。クライアント端末１０３上、インターネット上の何処かのサーバ上（不図示）、あるいは、画像形成装置１０１の外部記憶装置５０５上などに保存されている電子ファイルを画像形成装置１０１でプリントするためのプリントジョブを発行する。また、画像形成装置１０１でスキャンされた画像データの受信を行う。クライアント端末１０３の動作は本実施例の一連の説明に関わらないため、これ以上の詳細な説明は割愛する。
【００１７】
ネットワーク１０４は、音声制御装置１００、画像形成装置１０１、クライアント端末１０３、ゲートウェイ１０５を互いに接続する。そして、音声制御装置１００で取得してサーバ１０２へ送信する音声データ、サーバ１０２から送信される各データ、及び、プリントジョブやスキャンジョブなどの各種データを送受信する。
【００１８】
ゲートウェイ１０５は、例えば、ＩＥＥＥ８０２．１１規格シリーズに準拠した無線ＬＡＮルータなどである。ただし、他の無線通信方式に従って動作する能力を有してもよい。また、無線ＬＡＮルータではなく、１０ＢＡＳＥ−Ｔ、１００ＢＡＳＥ−Ｔ、１０００ＢＡＳＥ−Ｔなどに代表されるＥｔｈｅｒｎｅｔ規格に準拠した有線ＬＡＮルータなどであってもよく、他の有線通信方式に従って動作する能力を有してもよい。なお、前記ＩＥＥＥ８０２．１１規格シリーズとは、ＩＥＥＥ８０２．１１ａやＩＥＥＥ８０２．１１ｂ等のように、ＩＥＥＥ８０２．１１に属する一連の規格を含む。
【００１９】
＜画像形成装置の操作パネル＞
図２は、画像形成装置１０１の操作パネル５０９の構成例を示す図である。操作パネル５０９はＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）やＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）ディスプレイを備え、ユーザ１０６の操作内容や装置の内部状態を表示する表示デバイスである。操作パネル５０９はユーザ１０６から操作を受け付ける受付デバイス（入力デバイス）としても機能する。操作パネル５０９は、複数のハードキーを備えるだけでなく、ＬＣＤディスプレイと一体となったタッチパネルを備える。表示部２００はＬＣＤタッチパネルであり、主なモード設定、状況表示はここで行われる。
【００２０】
キー２０１〜２１０はハードキー（例えば、タクトスイッチ）である。
【００２１】
キー２０１は、０から９までの数値を入力するためのテンキーである。キー２０２はＩＤキーであり、装置がユーザ／部門認証管理されている場合において、認証操作（ログイン／ログアウトの操作など）を行う際に使用されるものである。
【００２２】
キー２０３は設定されたモードをリセットするためのリセットキー、キー２０４は各モードについての説明画面を表示するためのガイドキーである。キー２０５はユーザーモード画面に入るためのユーザーモードキーである。キー２０６は割り込みコピーを行うための割り込みキーである。
【００２３】
キー２０７はコピー動作をスタートさせるためのスタートキー、キー２０８は実行中のコピージョブを中止させるためのストップキーである。
【００２４】
キー２０９はソフト電源スイッチであり、押下することによりＬＣＤタッチパネル２００のバックライトが消え、装置は低電力状態に落ちる。キー２１０は節電キーであり、これを押下することで節電状態に入り、再度押下することで節電状態から復帰する。
【００２５】
キー２１４はＬＣＤタッチパネル２００のコントラストを調整するための調整キーである。
【００２６】
キー２１５はカウンタ確認キーであり、このキーを押下することでそれまでに仕様したコピー枚数の集計を表示するカウント画面がＬＣＤタッチパネル２００上に表示される。
【００２７】
ＬＥＤ２１６はジョブの実行中、画像メモリへの画像蓄積中を示すＬＥＤ、ＬＥＤ２１７がジャム、ドアオープン等装置がエラー状態にあることを示すエラーＬＥＤ、ＬＥＤ２１８は装置のメインスイッチがＯＮになっていることを示す電源ＬＥＤになっている。
【００２８】
＜音声制御装置のハードウェア構成＞
図３は、音声制御装置１００のコントローラ部３００及び音声制御装置１００が内蔵しているデバイスのハードウェア構成例を示す図である。
【００２９】
図３に示すように、コントローラ部３００は、システムバス３０１に接続されたＣＰＵ３０２、ＲＡＭ３０３、ＲＯＭ３０４、外部記憶装置３０５、ネットワークＩ／Ｆ３０６、マイクＩ／Ｆ３０７、オーディオコントローラ３０９、および表示コントローラ３１１を含む。また、音声制御装置１００は、コントローラ部３００に付随するデバイスとして、音声入力デバイスとしてのマイクロフォン３０８、音声出力デバイスとしてのスピーカ３１０、通知デバイスとしてのＬＥＤ３１２を含む。
【００３０】
ＣＰＵ３０２はコントローラ部３００全体の動作を制御する中央演算装置である。ＲＡＭ３０３は揮発性メモリである。ＲＯＭ３０４は不揮発性メモリであり、ＣＰＵ３０２の起動用プログラムが格納されている。外部記憶装置３０５はＲＡＭ３０３と比較して大容量な記憶デバイス（例えばＳＤカード）である。外部記憶装置３０５にはコントローラ部３００が実行する、音声制御装置１００の制御用プログラムが格納されている。なお、外部記憶装置３０５はＳＤカード以外のフラッシュＲＯＭなどに置き換えてもよく、ＳＤカードと同等の機能を有する他の記憶デバイスに置き換えてもよい。
【００３１】
ＣＰＵ３０２は電源ＯＮ等の起動時、ＲＯＭ３０４に格納されている起動用プログラムを実行する。この起動用プログラムは、外部記憶装置３０５に格納されている制御用プログラムを読み出し、ＲＡＭ３０３上に展開するためのものである。ＣＰＵ３０２は起動用プログラムを実行すると、続けてＲＡＭ３０３上に展開した制御用プログラムを実行し、制御を行う。また、ＣＰＵ３０２は制御用プログラム実行時に用いるデータもＲＡＭ３０３上に格納して読み書きを行う。外部記憶装置３０５上にはさらに、制御用プログラム実行時に必要な各種設定などを格納することができ、ＣＰＵ３０２によって読み書きされる。ＣＰＵ３０２はネットワークＩ／Ｆ３０６を介してネットワーク１０４上の他の機器との通信を行う。
【００３２】
ネットワークＩ／Ｆ３０６は、ＩＥＥＥ８０２．１１規格シリーズに準拠した無線通信方式に従って通信を行うための回路やアンテナを含んで構成される。ただし、無線通信方式でなくＥｔｈｅｒｎｅｔ規格に準拠した有線通信方式であってもよく、無線通信方式に限定するものではない。
【００３３】
マイクＩ／Ｆ３０７はマイクロフォン３０８に接続され、マイクロフォン３０８から入力されたユーザ１０６が発した音声を、符号化された音声データに変換し、ＣＰＵ３０２の指示に応じてＲＡＭ３０３に保持する。
【００３４】
マイクロフォン３０８は、例えば、スマートフォンなどに搭載される小型のＭＥＭＳマイクロフォンであるが、ユーザ１０６の音声を取得できるものであれば他のデバイスに置き換えてもよい。また、マイクロフォン３０８は、ユーザ１０６が発した音声の到来方向を算出できるように、３個以上を所定の位置に配して用いることが好ましい。ただし、マイクロフォン３０８が１個であっても本実施例は実現でき、３個以上にこだわるものではない。
【００３５】
オーディオコントローラ３０９はスピーカ３１０に接続され、ＣＰＵ３０２の指示に応じて音声データをアナログ音声信号に変換し、スピーカ３１０を通じて音声を出力する。
【００３６】
スピーカ３１０は、音声制御装置１００が応答していることを表す装置の応答音、及び、サーバ１０２によって合成された音声合成を再生する。スピーカ３１０は音声を再生するための汎用のデバイスである。
【００３７】
表示コントローラ３１１はＬＥＤ３１２に接続され、ＣＰＵ３０２の指示に応じてＬＥＤ３１２の表示を制御する。ここでは、表示コントローラ３１１は、音声制御装置１００がユーザ１０６の音声を正しく入力していることを示すためのＬＥＤの点灯制御を主に行う。
【００３８】
ＬＥＤ３１２は、例えば、ユーザ１０６が可視可能な青色などのＬＥＤである。ＬＥＤ３１２は汎用のデバイスである。なお、ＬＥＤ３１２の代わりに、文字や絵を表示可能なディスプレイ装置に置き換えてもよい。
【００３９】
＜サーバのハードウェア構成＞
図４は、サーバ１０２のコントローラ部のハードウェア構成例を示す図である。
【００４０】
図４に示すように、コントローラ部は、システムバス４０１に接続されたＣＰＵ４０２、ＲＡＭ４０３、ＲＯＭ４０４、外部記憶装置４０５、ネットワークＩ／Ｆ４０６を含む。
【００４１】
ＣＰＵ４０２はコントローラ部全体の動作を制御する中央演算装置である。ＲＡＭ４０３は揮発性メモリである。ＲＯＭ４０４は不揮発性メモリであり、ＣＰＵ４０２の起動用プログラムが格納されている。外部記憶装置４０５はＲＡＭ４０３と比較して大容量な記憶装置（例えばハードディスクドライブ：ＨＤＤ）である。外部記憶装置４０５にはコントローラ部が実行する、サーバ１０２の制御用プログラムが格納されている。なお、外部記憶装置４０５はソリッドステートドライブ（ＳＳＤ）などでもよく、ハードディスクドライブと同等の機能を有する他の記憶装置に置き換えてもよい。
【００４２】
ＣＰＵ４０２は電源ＯＮ等の起動時、ＲＯＭ４０４に格納されている起動用プログラムを実行する。この起動用プログラムは、外部記憶装置４０５に格納されている制御用プログラムを読み出し、ＲＡＭ４０３上に展開するためのものである。ＣＰＵ４０２は起動用プログラムを実行すると、続けてＲＡＭ４０３上に展開した制御用プログラムを実行し、制御を行う。また、ＣＰＵ４０２は制御用プログラム実行時に用いるデータもＲＡＭ４０３上に格納して読み書きを行う。外部記憶装置４０５上にはさらに、制御用プログラム実行時に必要な各種設定を格納することができ、ＣＰＵ４０２によって読み書きされる。ＣＰＵ４０２はネットワークＩ／Ｆ４０６を介してネットワーク１０４上の他の機器との通信を行う。
【００４３】
＜画像形成装置のハードウェア構成＞
図５は、画像形成装置１０１のコントローラ部５００及び画像形成装置１０１が内蔵しているデバイスのハードウェア構成例を示す図である。
【００４４】
図５に示すように、コントローラ部５００は、システムバス５０１に接続されたＣＰＵ５０２、ＲＡＭ５０３、ＲＯＭ５０４、外部記憶装置５０５、ネットワークＩ／Ｆ５０６、ディスプレイコントローラ５０７、操作Ｉ／Ｆ５０８、プリントコントローラ５１２、およびスキャンコントローラ５１４を含む。
【００４５】
ＣＰＵ５０２はコントローラ部５００全体の動作を制御する中央演算装置である。ＲＡＭ５０３は揮発性メモリである。ＲＯＭ５０４は不揮発性メモリであり、ＣＰＵ５０２の起動用プログラムが格納されている。外部記憶装置５０５はＲＡＭ５０３と比較して大容量な記憶装置（例えばハードディスクドライブ：ＨＤＤ）である。外部記憶装置５０５にはＣＰＵ５０２が実行する、画像形成装置１０１の制御用プログラムが格納されている。なお、外部記憶装置５０５はソリッドステートドライブ（ＳＳＤ）などでもよく、ハードディスクドライブと同等の機能を有する他の記憶装置に置き換えてもよい。
【００４６】
ＣＰＵ５０２は電源ＯＮ等の起動時、ＲＯＭ５０４に格納されている起動用プログラムを実行する。この起動用プログラムは、外部記憶装置５０５に格納されている制御用プログラムを読み出し、ＲＡＭ５０３上に展開するためのものである。ＣＰＵ５０２は起動用プログラムを実行すると、続けてＲＡＭ５０３上に展開した制御用プログラムを実行し、制御を行う。また、ＣＰＵ５０２は制御用プログラム実行時に用いるデータもＲＡＭ５０３上に格納して読み書きを行う。外部記憶装置５０５上にはさらに、制御用プログラム実行時に必要な各種設定や、スキャナ５１５で読み取った画像データを格納することができ、ＣＰＵ５０２によって読み書きされる。ＣＰＵ５０２はネットワークＩ／Ｆ５０６を介してネットワーク１０４上の他の機器との通信を行う。
【００４７】
ディスプレイコントローラ５０７はＣＰＵ５０２の指示に応じて、接続される操作パネル５０９のＬＣＤタッチパネル２００の画面表示制御を行う。
【００４８】
操作Ｉ／Ｆ５０８は操作信号の入出力を行う。操作Ｉ／Ｆ５０８は操作パネル５０９に接続され、ＣＰＵ５０２はＬＣＤタッチパネル２００が押下されたときに、操作Ｉ／Ｆ５０８を介してＬＣＤタッチパネル２００の押下された座標を取得する。また、操作Ｉ／Ｆ５０８は操作パネル５０９の２０１〜２１０の各ハードキーの押下を検知する。
【００４９】
プリントコントローラ５１２はＣＰＵ５０２からの指示に応じて、接続されるプリントエンジン５１３に対して制御コマンドや画像データを送信する。
【００５０】
プリントエンジン５１３は、プリントコントローラ５１２から受信した制御コマンドに従い、受信した画像データをシートに印刷する（印刷処理を施す）印刷デバイスである。プリントエンジン５１３の詳細な説明は主旨ではないため、これ以上の説明は割愛する。
【００５１】
スキャンコントローラ５１４はＣＰＵ５０２からの指示に応じて、接続されるスキャナ５１５に対して制御コマンドを送信し、スキャナ５１５から受信する画像データをＲＡＭ５０３へ書き込む。
【００５２】
スキャナ５１５は、スキャンコントローラ５１４から受信した制御コマンドに従い、画像形成装置１０１が備える原稿台ガラス上（不図示）の原稿を、光学ユニットを用いて読み取る（読取処理をおこなう）読取デバイスである。スキャナ５１５の詳細な説明は主旨ではないため、これ以上の説明は割愛する。
【００５３】
プリントエンジン５１３とスキャナ５１５を組み合わせることで、読み取った原稿をコピー印刷するコピー処理を実行することができる。
【００５４】
＜音声制御装置の音声制御プログラムの機能構成＞
図６は、ＣＰＵ３０２が実行する音声制御装置１００の音声制御プログラム６０１の機能構成を示すブロック図である。
【００５５】
音声制御装置１００の音声制御プログラム６０１は前述のように外部記憶装置３０５に格納され、ＣＰＵ３０２が起動時にＲＡＭ３０３上に展開して実行する。
【００５６】
データ送受信部６０２は、ネットワークＩ／Ｆ３０６を介して、ネットワーク１０４上の他の機器とＴＣＰ／ＩＰによるデータの送受信を行う。データ送受信部６０２では、後述の音声取得部６０４で取得されたユーザ１０６の発した音声データをサーバ１０２に送信する。また、ユーザ１０６への応答となる、サーバ１０２上で生成される音声合成データの受信を行う。
【００５７】
データ管理部６０３は、音声制御プログラム６０１の実行において生成した作業データなど様々なデータを外部記憶装置３０５上の所定の領域へ保存し、管理する。例えば、後述する音声再生部６０５で再生する音声の音量設定データや、ゲートウェイ１０５との通信に必要な認証情報、画像形成装置１０１、及び、サーバ１０２と通信するために必要な各デバイス情報などが保存、管理される。
【００５８】
音声取得部６０４は、マイクロフォン３０８で取得される音声制御装置１００の近辺にいるユーザ１０６のアナログ音声を、音声データに変換し、一時保存する。ユーザ１０６の音声は、例えば、ＭＰ３などの所定のフォーマットに変換され、サーバ１０２に送信するための符号化された音声データとしてＲＡＭ３０３上に一時的に保存する。音声取得部６０４の処理開始及びその終了のタイミングは後述する音声制御部６０９によって管理される。また、音声データの符号化は汎用のストリーミング用フォーマットでもよく、符号化された音声データを順次、データ送受信部６０２で送信するようにしてもよい。
【００５９】
音声再生部６０５は、データ送受信部６０２が受信した音声合成データ（音声メッセージ）を、オーディオコントローラ３０９を介してスピーカ３１０で再生する。音声再生部６０５の音声再生のタイミングは後述する音声制御部６０９によって管理される。
【００６０】
表示部６０６は表示コントローラ３１１を介して、ＬＥＤ３１２の表示を行う。例えば、後述の音声操作開始検知部６０７で音声操作があることを検知した場合にＬＥＤ３１２を表示する。表示部６０６の表示のタイミングは後述する音声制御部６０９によって管理される。
【００６１】
音声操作開始検知部６０７は、ユーザ１０６の発したウェイクワード、または、音声制御装置１００の操作開始キー（不図示）の押下を検知し、音声制御部６０９へ操作開始通知を送信する。ここで、ウェイクワードとは、予め決められている音声ワードである。音声操作開始検知部６０７は、マイクロフォン３０８で取得される音声制御装置１００の近辺にいるユーザ１０６のアナログ音声から、常時ウェイクワードを検知する。ユーザ１０６はウェイクワードを話し、続いて自身が行いたいことを話すことで画像形成装置１０１の操作を行うことができる。音声操作開始検知部６０７がウェイクワードを検知してからの音声処理については後述する。
【００６２】
発話終了判定部６０８は、音声取得部６０４での処理の終了タイミングを判定する。例えば、ユーザ１０６の音声が所定時間（例えば３秒）途切れたときにユーザ１０６の発話が終了したと判定し、音声制御部６０９へ発話終了通知を送信する。なお、発話終了の判定は、発話が無い時間（以降、空白時間と呼ぶ）ではなく、ユーザ１０６の所定の語句から判定して行ってもよい。例えば、「はい」、「いいえ」、「ＯＫ」、「キャンセル」、「終了」、「スタート」、「開始」など所定の語句のときには、所定時間を待たずに発話終了と判定してもよい。また、発話終了の判定は、音声制御装置１００ではなく、サーバ１０２で行うようにしてもよく、ユーザの１０６の発話内容の意味や文脈から発話の終了を判定するようにしてもよい。
【００６３】
音声制御部６０９は制御の中心であり、音声制御プログラム６０１内の他の各モジュールが相互に連携して動作するよう制御する。具体的には、音声取得部６０４、音声再生部６０５、表示部６０６の処理開始・終了の制御を行う。また、音声取得部６０４で音声データが取得された後、音声データをデータ送受信部６０２でサーバ１０２へ送信するよう制御する。また、サーバ１０２からの音声合成データをデータ送受信部６０２で受信後、音声再生部６０５で音声合成データを再生するよう制御する。
【００６４】
ここで、音声取得部６０４、音声再生部６０５、表示部６０６の処理開始・終了のタイミングについて述べる。
【００６５】
音声制御部６０９は、音声操作開始検知部６０７からの操作開始通知を受信すると、音声取得部６０４の処理を開始する。また、発話終了判定部６０８からの発話終了通知を受信すると、音声取得部６０４の処理を終了する。例えば、ユーザ１０６がウェイクワードを発話し、続いて「コピーしたい」と話したとする。このとき、音声操作開始検知部６０７が、ウェイクワードの音声を検知し、音声制御部６０９に操作開始通知を送信する。音声制御部６０９は、操作開始通知を受信すると、音声取得部６０４の処理を開始するよう制御する。音声取得部６０４は続いて話される「コピーしたい」というアナログ音声を音声データへ変換し一時保存をする。発話終了判定部６０８は、「コピーしたい」の発話後に空白時間が所定時間あったと判定すると、発話終了通知を音声制御部６０９に送信する。音声制御部６０９は、発話終了通知を受信すると、音声取得部６０４の処理を終了する。なお、音声取得部６０４が処理を開始してから終了するまでの状態を発話処理状態と呼ぶこととする。表示部６０６は、発話処理状態であることを示すＬＥＤ３１２を点灯表示する。
【００６６】
ユーザ１０６の発話終了判定後、音声制御部６０９は、音声データをデータ送受信部６０２でサーバ１０２へ送信するよう制御し、サーバ１０２からの応答を待つ。サーバ１０２からの応答は、例えば、応答であることを示すヘッダ部と、音声合成データから成る応答メッセージある。音声制御部６０９は、データ送受信部６０２で応答メッセージを受信すると、音声再生部６０５で音声合成データを再生するよう制御する。音声合成データは、例えば、「コピー画面を表示します」である。なお、発話終了判定後から音声合成データの再生終了までの状態を応答処理状態と呼ぶこととする。表示部６０６は、応答処理状態であることを示すＬＥＤ３１２を点滅表示する。
【００６７】
応答処理の後、サーバ１０２との対話セッションが継続している間は、ユーザ１０６はウェイクワードを発話することなく、続けて自身の行いたいことを発話することができる。対話セッションの終了判定は、サーバ１０２が行い、音声制御装置１００に対話セッション終了通知を送信することで行う。なお、対話セッション終了から次の対話セッションが開始されるまでの状態を待機状態と呼ぶこととする。音声制御装置１００が音声操作開始検知部６０７からの操作開始通知を受信するまでは、常時待機状態であるとする。表示部６０６は、待機状態の間、ＬＥＤ３１２を消灯する。
【００６８】
＜サーバの音声データ変換制御プログラムの機能構成＞
図７（ａ）は、ＣＰＵ４０２が実行するサーバ１０２の音声データ変換制御プログラム７０１の機能構成を示すブロック図である。また、図７（ｂ）は、グループＩＤ判定部７０７がグループＩＤの判定に使うグループＩＤリストの例である。グループＩＤリストは、画像形成装置１０１のユーザ操作に関して同じ意味や意図を持つワードが同じＩＤとしてグルーピングされている。なお、前記ワードは、ユーザ１０６が音声制御装置１００に対して発話する言葉を音声認識した結果である。
【００６９】
サーバ１０２の音声データ変換制御プログラム７０１は前述のように外部記憶装置４０５に格納され、ＣＰＵ４０２が起動時にＲＡＭ４０３上に展開して実行する。
【００７０】
データ送受信部７０２は、ネットワークＩ／Ｆ４０６を介して、ネットワーク１０４上の他の機器とＴＣＰ／ＩＰによるデータの送受信を行う。データ送受信部７０２では、音声制御装置１００からユーザ１０６の音声データを受信する。また、後述するグループＩＤ判定部７０７で判定されたグループＩＤ判定結果の送信を行う。
【００７１】
データ管理部７０３は、音声データ変換制御プログラム７０１の実行において生成した作業データや、音声データ変換部７０４で音声認識処理をするために必要なパラメータなど様々なデータを外部記憶装置４０５上の所定の領域へ保存し、管理する。例えば、音声認識部７０５が、データ送受信部７０２が受信した音声データをテキストへ変換するための音響モデルや言語モデルを外部記憶装置４０５上の所定の領域へ保存し、管理する。また、形態素解析部７０６でテキストの形態素解析を行うための辞書を外部記憶装置４０５上の所定の領域へ保存し、管理する。また、グループＩＤ判定部７０７でグループＩＤを判定するためのグループＩＤリストを外部記憶装置４０５上の所定の領域へ保存し、管理する。また、音声合成部７０８で音声合成を行うための音声データベースを外部記憶装置４０５上の所定の領域へ保存し、管理する。また、データ管理部７０３には、音声制御装置１００、及び、画像形成装置１０１と通信するために必要な各デバイス情報などが保存、管理される。
【００７２】
音声データ変換部７０４は、音声認識部７０５、形態素解析部７０６、グループＩＤ判定部７０７、音声合成部７０８から成る。以降、音声データ変換部７０４について説明する。
【００７３】
音声認識部７０５は、データ送受信部７０２が受信したユーザ１０６の音声データを、テキストに変換するための音声認識処理を行う。音声認識処理は、音響モデルを用いてユーザ１０６の音声データを音素に変換し、さらに言語モデルを用いて音素を実際のテキストデータに変換する。なお、本実施例では、前記テキストデータは１つ以上のカナから構成されるテキストと、それらを「かな漢字変換」（数字、アルファベット、記号等への変換も含む）したテキストから成るものとする。ただし、音声データをテキストデータへ変換する音声認識処理として他の手法を用いてもよく、前述の手法に限るものではない。音声認識処理の詳細は主旨ではないため、これ以上の説明は割愛する。
【００７４】
形態素解析部７０６は、音声認識部７０５で変換されたテキストデータを、形態素解析する。形態素解析は、その言語の文法や、品詞などの情報をもつ辞書から形態素列を導出し、さらに各形態素の品詞などを判別する。形態素解析部７０６は、例えば、ＪＵＭＡＮ、茶筒、ＭｅＣａｂ等の公知の形態素解析ソフトウェアを用いて実現することができる。形態素解析部７０６は、例えば、音声認識部７０５で変換された「コピーをしたい」、「Ａ３からＡ４へ」というテキストデータを、「コピーをしたい」からは、「コピー」、「を」、「し」、「たい」の形態素列として解析する。また、「Ａ３からＡ４へ」からは、「Ａ３」、「から」、「Ａ４」、「へ」の形態素列として解析する。
【００７５】
グループＩＤ判定部７０７は、形態素解析部７０６で形態素解析された結果と、図７（ｂ）のグループＩＤリストとをマッチング（一致の確認を）することでグループＩＤを判定し、さらにグループＩＤ判定結果を生成する。例えば、「コピー」、「を」、「し」、「たい」の形態素列からは、「コピー」のグループＩＤである「ＦＮＣ００００１」があると判定され、グループＩＤ判定結果として、｛ＩＤ：ＦＮＣ００００１｝を生成する。また、「Ａ３」、「から」、「Ａ４」、「へ」の形態素列からは、「Ａ３」と「Ａ４」のグループＩＤである「ＰＡＰ００１００」と「ＰＡＰ００１０１」が２つあると判定される。そして、グループＩＤ判定結果として、｛ＩＤ：ＰＡＰ００１００、ＩＤ：ＰＡＰ００１０１｝を生成する。
【００７６】
なお、グループＩＤ判定結果にＩＤが複数生成される場合は、音声認識および形態素解析された順に生成されるものとする。例えば、音声認識および形態素解析された結果が「Ａ４」「から」「Ａ３」「へ」である場合は、グループＩＤ判定結果は｛ＩＤ：ＰＡＰ００１０１、ＩＤ：ＰＡＰ００１００｝と生成される。また、隣接する複数の形態素を結合してグループＩＤリストとマッチングして判定してもよいものとする。この時、１つの形態素がグループＩＤリストの中から合致するものが見つかり、さらに、その形態素を含む複数の形態素がグループＩＤリストの中から合致するものが見つかった場合は、後者の結果を用いてグループＩＤ判定結果を生成する。例えば、形態素列が「Ａ」「４」であった場合は、グループＩＤ判定結果を｛ＩＤ：ＣＨＲ０００００、ＩＤ：ＮＵＭ００００４｝ではなく、｛ＩＤ：ＰＡＰ００１０１｝として生成する。また、音声認識および形態素解析結果に含まれる１つ以上のカナから構成されるテキストと、それらを「かな漢字変換」したテキストを組み合わせて、グループＩＤリストのマッチングを行ってもよい。例えば、グループＩＤ判定部７０７は、まず始めに、「かな漢字変換」したテキストとグループＩＤリストの「「かな漢字変換」後」に示されたテキストとのマッチングを行う。その結果、マッチングするグループＩＤが見つからない場合にはカナのテキストとグループＩＤリストの「カナ」に示されたテキストとがマッチングするグループＩＤを検出する。また、グループＩＤリスト内で「カナ」が重複し、複数のグループＩＤがマッチングする場合は、グループＩＤ判定結果を複数の候補として生成してもよい。これにより、「かな漢字変換」間違いや漢字のふり仮名の違いを許容したグループＩＤ判定結果を生成する。
【００７７】
音声合成部７０８は、画像形成装置１０１から受信した通知にもとづき、音声合成処理を行う。音声合成処理は、所定の通知に対して、組となる予め用意されたテキストをＭＰ３などの所定のフォーマットの音声データに変換する。受信した通知データと音声合成対象のテキストの組み合わせ例については、後述の図９のシーケンス図で説明する。音声合成処理は、例えば、データ管理部７０３に保存されている音声データベースにもとづいて音声データを生成する。音声データベースとは、例えば、単語等の定型の内容を発声した音声を集めたデータベースである。なお、本実施例では音声データベースを用いて音声合成処理を行っているが、音声合成の手法として他の手法を用いてもよく、音声データベースによる手法に限定するものではない。音声合成処理の詳細は主旨ではないため、これ以上の説明は割愛する。
【００７８】
＜画像形成装置のデバイス制御プログラムの機能構成＞
図８は、ＣＰＵ５０２が実行する画像形成装置１０１のデバイス制御プログラム８０１の機能構成を示すブロック図である。
【００７９】
画像形成装置１０１のデバイス制御プログラム８０１は前述のように外部記憶装置５０５に格納され、ＣＰＵ５０２が起動時にＲＡＭ５０３上に展開して実行する。
【００８０】
データ送受信部８０２は、ネットワークＩ／Ｆ５０６を介して、ネットワーク１０４上の他の機器とＴＣＰ／ＩＰによるデータの送受信を行う。データ送受信部８０２では、グループＩＤ判定部７０７が生成するグループＩＤ判定結果の受信を行う。また、画像形成装置１０１からサーバ１０２へ、操作パネル５０９上のＬＣＤタッチパネル２００の画面表示内容が更新されたことを示す画面更新通知、及び、ジョブの状態を示すジョブ実行状態通知を送信する。通知の内容に関しては後述の図９のシーケンス図で説明する。
【００８１】
データ管理部８０３は、デバイス制御プログラム８０１の実行において生成した作業データや、各デバイス制御に必要な設定パラメータなど様々なデータをＲＡＭ５０３および外部記憶装置５０５上の所定の領域へ保存し、管理する。例えば、後述するデバイス制御部８０８で実行するジョブの各設定項目及び設定値の組み合わせから成るジョブデータや、用紙の属性情報などが設定された機械設定情報が管理される。また、ゲートウェイ１０５との通信に必要な認証情報、サーバ１０２と通信するために必要なデバイス情報などが保存、管理される。また、画像形成装置１０１で画像形成する対象の画像データを保存し、管理する。また、表示部８０６が画面表示制御に用いる画面制御情報と、操作対象判定部８０７が操作対象を判定するために用いる操作対象判定情報を保存し、画面制御情報と操作対象判定情報とは、表示部８０６が表示する画面ごとに管理する。
【００８２】
スキャン部８０４は、後述するデバイス制御部８０８のスキャンジョブパラメータ設定に基づいて、スキャンコントローラ５１４を介してスキャナ５１５でスキャンを実行し、読み取った画像データをデータ管理部８０３に保存する。
【００８３】
プリント部８０５は、後述するデバイス制御部８０８のプリントジョブパラメータ設定に基づいて、プリントコントローラ５１２を介してプリントエンジン５１３で印刷を実行する。
【００８４】
表示部８０６はディスプレイコントローラ５０７を介して、操作パネル５０９の制御を行う。表示部８０６は前記の画面表示制御情報に基づいてユーザ操作可能なＵＩ部品（ボタン、プルダウンリスト、チェックボックスなど、選択オブジェクト）をＬＣＤタッチパネル２００に表示する。また、操作Ｉ／Ｆ５０８を介して、ＬＣＤタッチパネル２００（以降、画面と呼ぶ）上のタッチされた座標を取得し、操作対象のＵＩ部品（アイコン）と操作受付時の処理内容を決定する。また、操作パネル５０９上のハードキー２０１〜２１０の押下を検出する。これらの結果に応じて、画面の表示内容を更新したり、ユーザ操作により設定されたジョブのパラメータおよび当該ジョブの開始指示をデバイス制御部に送信したりする。また、後述する操作対象判定部８０７の操作対象判定結果に応じても同様に、画面の表示内容を更新したり、ユーザ操作により設定されたジョブのパラメータおよび当該ジョブの開始指示をデバイス制御部に送信したりする。
【００８５】
操作対象判定部８０７は、データ送受信部８０２が受信したグループＩＤ判定結果に基づいて、操作パネル５０９に表示される画面を構成するユーザ操作可能なＵＩ部品、または、操作パネル５０９を構成するハードキー２０１〜２１０を操作対象として判定する。操作対象判定部８０７の詳細は図１１で後述する。
【００８６】
デバイス制御部８０８は、プリントコントローラ５１２、及び、スキャンコントローラ５１４を介して、プリントエンジン５１３、及び、スキャナ５１５の制御指示を行う。例えば、表示部８０６がコピー機能画面を表示中にスタートキー２０７の押下を検知した場合、デバイス制御部８０８は表示部８０６からコピージョブのパラメータとジョブ開始指示を受信する。そして、そのジョブパラメータに基づいて、スキャナ５１５によって読取られた画像データをプリントエンジン５１３でシートに印刷するよう制御する。なお、スキャン、及び、プリント制御の仕組みについては、主旨ではないため、これ以上の説明は割愛する。
【００８７】
＜システムの制御シーケンス＞
図９は、図１で示したシステムを構成する各装置、及び、図６〜図８で示した各装置の制御プログラム間のやりとりを示すシーケンス図である。特に、図９は、音声制御装置１００がユーザ１０６から発せられた声による音声操作を受け、それによって画像形成装置１０１が各処理を実行し、その実行結果を示す応答をユーザ１０６に音声で返すためのシーケンスを示す。なお、図９で示すシーケンスの例では、音声制御装置１００、画像形成装置１０１、サーバ１０２は互いに通信可能な状態であるとする。また、画像形成装置１０１は、電源ＯＮの起動後にコピー、スキャン、プリントなどの機能を呼び出し可能なメインメニュー画面を表示している状態であるとする。
【００８８】
まず、ステップ９０５（以降、Ｓ９０５等と表記する）では、ユーザ１０６が音声制御装置１００に対して音声操作の開始を指示する。音声操作の開始の指示は、ユーザ１０６がウェイクワードを発声する、もしくは、音声制御装置１００の操作開始キーの押下することで行われ、それらの音声操作開始指示は音声操作開始検知部６０７によって検知される。
【００８９】
音声操作開始指示が検知されると、次にＳ９０６では、音声制御プログラム６０１の表示部６０６が、発話処理状態を示すＬＥＤを点灯する。また、同時に音声取得部６０４の処理を開始する。
【００９０】
Ｓ９０７では、ユーザ１０６が機能呼び出し指示を音声制御装置１００に対して行う。機能呼び出し指示は、例えば、ユーザ１０６がＳ９０５のウェイクワードに続いて「コピーしたい」や「コピー画面を開いて」と発声することであり、音声取得部６０４によって取得された音声が音声データとして生成される。空白時間が所定時間経過すると、発話終了判定部６０８は発話が終了したと判定する。
【００９１】
Ｓ９０８では、音声制御プログラム６０１の表示部６０６が、発話終了判定に応じて応答処理状態を示すＬＥＤを点滅する。また、同時に音声取得部６０４の処理を終了する。
【００９２】
Ｓ９０７の機能呼び出し指示の音声データが生成されると、次にＳ９０９では、データ送受信部６０２が、生成された音声データをサーバ１０２に送信する。
【００９３】
Ｓ９１０では、音声データ変換制御プログラム７０１のデータ送受信部７０２が受信した音声データに対して、音声認識部７０５が音声認識処理を行う。音声認識処理によって、例えば、ユーザ１０６が発した「コピーしたい」という音声が、テキストとして生成される。
【００９４】
その後、Ｓ９１１では、音声データ変換制御プログラム７０１の形態素解析部７０６がＳ９１０で生成されたテキストに対して形態素解析処理を行う。形態素解析処理によって、例えば、「コピーしたい」というテキストが、「コピー」、「し」、「たい」という形態素列として解析される。
【００９５】
Ｓ９１２では、音声データ変換制御プログラム７０１のグループＩＤ判定部７０７の、解析された形態素列のテキストに対してグループＩＤ判定処理を行う。グループＩＤ判定処理によって、例えば、「コピー」、「し」、「たい」という形態素列と図７（ｂ）のグループＩＤリストとのマッチングにより、グループＩＤ判定結果として｛ＩＤ：ＦＮＣ００００１｝が生成される。
【００９６】
Ｓ９１３では、音声データ変換制御プログラム７０１のデータ送受信部７０２が、Ｓ９１１のグループＩＤ判定結果を画像形成装置１０１に送信する。
【００９７】
Ｓ９１４では、デバイス制御プログラム８０１のデータ送受信部８０２が受信したグループＩＤ判定結果に対して、操作対象判定部８０７が操作対象判定処理を行う。操作対象判定処理によって、例えば、グループＩＤ判定結果｛ＩＤ：ＦＮＣ００００１｝から、メインメニュー画面内の“コピー”ボタンが選択されたと判定される。
【００９８】
その後、Ｓ９１５では、Ｓ９１４の判定結果に応じて、表示部８０６が画面に表示する内容更新する。例えば、これまでの処理を通じて、ユーザが発する「コピーしたい」の音声から、画面に表示される“コピー”ボタンに対する操作であると判定された場合は、ＬＣＤタッチパネル２００で“コピー”ボタンがタッチされる場合と同様に、コピー機能画面を表示する。
【００９９】
Ｓ９１６では、データ送受信部８０２によって、サーバ１０２へ、画面の表示内容が更新されたことを示す画面更新通知を送信する。例えば、表示部８０６がメインメニュー画面からコピー機能画面へ表示が変更した場合、画面更新通知として「コピー機能画面表示」というテキストデータを送信する。
【０１００】
Ｓ９１７では、音声データ変換制御プログラム７０１のデータ送受信部７０２が受信した画面更新通知に対して、音声合成部７０８が画面更新通知の内容に対応する所定のテキストデータの音声合成処理を行う。例えば、画面更新通知の内容が「コピー機能画面表示」の場合、音声合成部７０８は、「コピー画面を表示しました」というテキストデータを音声合成する。音声合成部７０８が音声合成処理によって生成した音声データ（音声合成データ）は、データ送受信部７０２によって音声制御装置１００へと送信される。
【０１０１】
Ｓ９１８では、データ送受信部６０２が、Ｓ９１７で生成および送信された音声合成データを受信する。
【０１０２】
Ｓ９１９では、音声再生部６０５が、Ｓ９１８で受信した音声合成データを再生する。例えば、Ｓ９１７で生成した「コピー画面を表示しました」という音声合成データを、スピーカ３１０を通じて再生する。
【０１０３】
Ｓ９２０では、音声合成データ再生後、音声制御プログラム６０１の表示部６０６が、発話処理中を示すＬＥＤを再び点灯する。また、同時に音声取得部６０４の処理を再び開始する。
【０１０４】
Ｓ９２１では、ユーザ１０６が設定画面呼び出し指示を音声制御装置１００に対して行う。設定画面呼び出し指示は、例えば、ユーザ１０６が「用紙を選択」と発声することである。音声取得部６０４によって取得された音声が音声データとして生成されるユーザ１０６の発話後、空白時間が所定時間経過すると、発話終了判定部６０８は発話が終了したと判定する。
【０１０５】
Ｓ９２２は、前述のＳ９０８と同様である。
【０１０６】
Ｓ９２３は、前述のＳ９０９〜Ｓ９１８の処理と同様の音声操作処理を示す。ただし、Ｓ９２３では、Ｓ９２１の設定画面呼び出し指示に伴って、表示部８０６が設定画面を表示するよう画面更新する。例えば、コピー機能画面を表示している場合、グループＩＤ判定結果が｛ＩＤ：ＰＡＰ０００００、ＩＤ：ＯＰＲ０００４０｝のとき、用紙選択画面を表示する。
【０１０７】
Ｓ９２４は、音声再生部６０５が、Ｓ９２３での音声合成処理で生成した音声合成データを再生する。例えば、Ｓ９２３で設定画面として用紙選択画面を表示した場合は「用紙選択画面を表示しました。続いて用紙を設定してください。」という音声合成データを、スピーカ３１０を通じて再生する。
【０１０８】
Ｓ９２５は、前述のＳ９２０と同様である。
【０１０９】
Ｓ９２６では、ユーザ１０６が設定変更指示を音声制御装置１００に対して行う。設定変更指示は、例えば、ユーザ１０６が「Ａ４」と発声することである。ユーザ１０６の発話後、空白時間が所定時間経過すると、発話終了判定部６０８は発話が終了したと判定する。
【０１１０】
Ｓ９２７は、前述のＳ９０８と同様である。
【０１１１】
Ｓ９２８は、前述のＳ９０９〜Ｓ９１８の処理と同様の音声操作処理を示す。ただし、Ｓ９２８では、Ｓ９２６の設定変更指示に伴って、表示部８０６が設定画面に表示する設定値を変更する（設定値の変更指示を受け付ける受付処理を実行する）。例えば、用紙選択画面を表示している場合、グループＩＤ判定結果が｛ＩＤ：ＰＡＰ００１０１｝のとき、用紙の設定値をＡ４に変更した用紙選択画面を表示する。
【０１１２】
Ｓ９２９は、音声再生部６０５が、Ｓ９２８での音声合成処理で生成した音声合成データを再生する。例えば、Ｓ９２８で用紙の設定値を変更して表示した場合は「用紙をＡ４に設定しました」という音声合成データを、スピーカ３１０を通じて再生する。
【０１１３】
Ｓ９３５は、前述のＳ９２０と同様である。
【０１１４】
Ｓ９３６では、ユーザ１０６がジョブ実行指示を音声制御装置１００に対して行う。ジョブ実行指示は、例えば、ユーザ１０６が「コピースタート」と発声することである。ユーザ１０６の発話後、空白時間が所定時間経過すると、発話終了判定部６０８は発話が終了したと判定する。
【０１１５】
Ｓ９３７〜Ｓ９４２は、前述のＳ９０９〜Ｓ９１３と同様の処理である。
【０１１６】
Ｓ９４３では、デバイス制御プログラム８０１のデータ送受信部８０２が受信したグループＩＤ判定結果に対して、操作対象判定部８０７が操作対象判定処理を行う。グループＩＤ判定結果が｛ＩＤ：ＦＮＣ００００１、ＩＤ：ＯＰＰ０００１１｝である場合、画面に表示している“コピースタート”ボタン、もしくは、ハードキーであるスタートキー２０７が操作されたと判定される。
【０１１７】
Ｓ９４４では、Ｓ９４３の判定結果に応じて、ジョブの実行画面を表示する。例えば、これまでの処理を通じて、ユーザが発する「コピースタート」の音声が、スタートキー２０７に対する操作であると判定された場合は、コピージョブ開始の画面を表示する。
【０１１８】
Ｓ９４５では、画像形成装置１０１の画面で設定されたジョブパラメータに従って、ジョブを実行する。
【０１１９】
Ｓ９４６では、データ送受信部８０２によって、サーバ１０２へ、ジョブ実行状態通知の内容として、ジョブ実行を開始したことを示す情報（ジョブ実行開始通知）を送信する。例えば、コピージョブを開始した場合、ジョブ実行状態の内容として「コピージョブ開始」というテキストデータを送信する。
【０１２０】
Ｓ９４７では、音声データ変換制御プログラム７０１のデータ送受信部７０２ジョブ実行状態通知を受信し、音声合成部７０８がその内容（ジョブ実行開始通知）に対応する所定のテキストデータの音声合成処理を行う。例えば、ジョブ実行状態通知の内容が「コピージョブ開始」の場合、音声合成部７０８は、「コピーを開始します」というテキストデータを音声合成する。
【０１２１】
Ｓ９４８は、前述のＳ９１８と同様である。
【０１２２】
Ｓ９４９では、音声再生部６０５が、Ｓ９４８で受信した音声合成データを再生する。例えば、Ｓ９４７で生成した「コピーを開始します」という音声合成データを、スピーカ３１０を通じて再生する。
【０１２３】
Ｓ９５０では、データ送受信部８０２によって、サーバ１０２へ、ジョブ実行状態通知の内容として、ジョブ実行を終了したことを示す情報（ジョブ実行終了通知）を送信する。例えば、コピージョブを終了した場合、ジョブ実行状態通知の内容として「コピージョブ終了」というテキストデータを送信する。
【０１２４】
Ｓ９５１では、音声データ変換制御プログラム７０１のデータ送受信部７０２がジョブ実行状態通知を受信し、音声合成部７０８がその内容（ジョブ実行終了通知）に対応する所定のテキストデータの音声合成処理を行う。例えば、ジョブ実行状態通知の内容が「コピージョブ終了」の場合、音声合成部７０８は、「コピーを終了しました」というテキストデータを音声合成する。
【０１２５】
Ｓ９５２では、Ｓ９４５のジョブ実行処理が終了したことを受けて、表示部８０６はジョブの実行終了画面を表示する。例えば、コピージョブの実行が終了した場合、コピージョブ終了の画面を表示する。
【０１２６】
Ｓ９５３では、データ送受信部６０２が、Ｓ９５１で生成した音声合成データをサーバ１０２から受信する。また、音声制御装置１００に対して、ユーザ１０６との対話セッションを終了するよう通知する対話セッション終了通知をサーバ１０２から受信する。
【０１２７】
Ｓ９５４では、音声再生部６０５が、Ｓ９５３で受信した音声合成データを再生する。例えば、Ｓ９５１で生成した「コピーを終了しました」という音声合成データを、スピーカ３１０を通じて再生する。
【０１２８】
Ｓ９５５では、Ｓ９５３で対話セッション終了通知を受信したことに対応して、音声制御プログラム６０１の表示部６０６が、音声制御装置１００の待機状態を示すためにＬＥＤを消灯する。
【０１２９】
Ｓ９５６では、Ｓ９５３で対話セッション終了通知を受信したことに対応して、音声制御装置１００を待機状態へ移行する。
【０１３０】
なお、シーケンス図上で、応答処理中を示すＬＥＤが点滅中であってもウェイクワードは常に入力可能である。そのため、ユーザ１０６はウェイクワードの発話に続いて「キャンセル」、または「中止」などと発言することで、対話セッションを強制的に終了するようにしてもよい。
【０１３１】
＜画像形成装置１０１のデバイス制御プログラム８０１の処理フロー＞
図１０は画像形成装置１０１のデバイス制御プログラム８０１の処理の概要を示すフローチャートである。特に、図１０は、図９のシーケンス図のＳ９１４、Ｓ９１５、Ｓ９２３、Ｓ９２８、Ｓ９３３、Ｓ９４３〜Ｓ９５２におけるデバイス制御プログラム８０１の処理フローを示す例である。
【０１３２】
以降、図１０が示す処理フローの一例を具体的に説明するために図１１および図１２を用いる。図１１は、図７（ｂ）で示したグループＩＤリストに追加される、グループＩＤリストの別の一例である。図１２（ａ）は、表示部８０６が表示する画面の一例である。図１２（ｂ）は、図１２（ａ）で示す画面に対応する画面制御情報の一例である。画面制御情報には、画面を構成するユーザ操作可能なＵＩ部品と、それらがユーザ操作された時のアクション（画面制御の内容や、内部の処理）が含まれる。図１２（ｃ）は図１２（ａ）で示す画面に対応する操作対象判定情報の一例である。操作対象判定情報は、ユーザ操作可能なＵＩ部品と１つ以上のグループＩＤ判定結果の対応付け（紐付け）が予め行われているものとする。換言すると、図１２（ｃ）は画面の構成情報を示す表である。なお、図１２（ｃ）で示す表のうち、「操作時のユーザ発話例」と「操作パネルの操作方法」は下記説明のための参考情報であり、データ管理部８０３が管理する操作対象判定情報に含まれなくてもよい。
【０１３３】
Ｓ１００１では、データ送受信部８０２が、グループＩＤ判定部７０７で生成されたグループＩＤ判定結果を受信する。
【０１３４】
Ｓ１００２では、表示部８０６が表示している画面に対応する画面制御情報と、操作対象判定部８０７が操作対象を判定するために用いる操作対象判定情報を取得する。例えば、表示部８０６が図１２（ａ）で示すように、コピー機能におけるカラー設定画面１１００を表示している場合には、本画面に対応する図１２（ｂ）の画面制御情報と図１２（ｃ）の操作対象判定情報を取得する。
【０１３５】
Ｓ１００３では、操作対象判定部８０７が、Ｓ１００１で受信したグループＩＤ判定結果と、Ｓ１００２で取得した操作対象判定情報を用いて操作対象判定処理を行う。この時、操作対象判定処理では、操作パネル５０９に表示される画面を構成するユーザ操作可能なＵＩ部品、または、操作パネル５０９を構成するハードキー２０１〜２１０を操作対象として判定する。例えば、ユーザ１０６発話の一例である「自動」の音声から、グループＩＤ判定部７０７が判定したグループＩＤ判定結果｛ＩＤ：ＤＲＧ００００８｝が送信される。そして、データ送受信部８０２がＳ１００１で受信し、本グループＩＤ判定結果と合致する「自動（カラー／白黒）」ボタンを操作対象として判定する。なお、「自動カラー白黒」という音声を検知したバイも「自動（カラー／白黒）」が操作対象として判定される。なお、操作対象判定処理の詳細なフローおよび判定処理例については、図１４以降で説明する。
【０１３６】
Ｓ１００４では、表示部８０６が、Ｓ１００３の操作対象判定処理の結果と、Ｓ１００２で取得した画面制御情報に基づいて、画面の表示内容を更新する。例えば、Ｓ１００３にて「自動（カラー／白黒）」ボタンが操作対象として判定されると、図１２（ｂ）の画面制御情報に基づいて、表示部８０６が当該ボタンを強調表示するように画面を更新する。なお、図１２（ｃ）では、操作パネル５０９のＬＣＤタッチパネル２００上に表示された「自動（カラー／白黒）」ボタンがタッチされた時も同様に、当該ボタンを強調表示することが示されている。
【０１３７】
ここで、操作対象判定処理の結果が識別子の追加表示（後述するＳ１４０８）である場合、表示部８０６が、そのとき表示している画面の画面制御情報に基づき、画面のボタン近傍に、数字やアルファベットなどの識別子を表示するよう画面を更新する。換言すると、識別子を含まない画面から識別子を含む画面へ画面を遷移させる。識別子とは、ユーザ１０６がその識別子を発話することで、識別子近傍のボタンを操作対象と判定するために表示するものである。識別子は、数字やアルファベット、または数字とアルファベットの組み合わせで表示される。なお、数字を表示するかアルファベットを表示するかの判断は、画面制御情報の操作可能なＵＩ部品としてテンキーが含まれるか否かをもとに行われる。画面制御情報にテンキーが含まれる場合、識別子が数字であると、テンキーの操作対象とするための発話と、識別子を操作対象とするための発話が重複するため、識別子としてアルファベットを表示する。画面制御情報にテンキーが含まれない場合は、識別子として数字を表示する。識別子表示の具体例については、図１４以降で説明する。
【０１３８】
Ｓ１００５では、Ｓ１００３の操作対象判定処理の結果と、Ｓ１００２で取得した画面制御情報に基づいて、ジョブ実行を行うか否かを判定する。ジョブ実行を行う場合はＳ１００７へ進み、そうでなければＳ１００６へ進む。例えば、Ｓ１００３にて「自動（カラー／白黒）」ボタンが操作対象として判定された場合は、図１２（ｂ）中の内部処理がないことからジョブ実行を行わないと判定する。また、例えば、Ｓ１００３にてスタートキー２０７が操作対象として判定された場合は、図１２（ｂ）中の内部処理として「コピージョブの実行を開始」することから、ジョブ実行を行うと判定する。
【０１３９】
Ｓ１００６では、前述のＳ９１６が示すようにデータ送受信部８０２によって、画面更新通知をサーバ１０２へ送信する。
【０１４０】
Ｓ１００７では、ジョブパラメータの設定値に基づいて、ジョブ実行処理を行う。ジョブ実行処理によって、画像形成装置１０１は、一連の画像形成処理（例えばコピー、スキャン、プリントなど）を実行する。例えば、図１２（ａ）の画面が示すように、「自動（カラー／白黒）」ボタンが強調表示されている状態でコピージョブの実行を開始する時には、この時の「自動（カラー／白黒）」の設定値をジョブパラメータとしてジョブの実行を行う。
【０１４１】
Ｓ１００８では、前述のＳ９４６およびＳ９５０が示すようにデータ送受信部８０２によって、ジョブ実行状態通知をサーバ１０２へ送信する。
【０１４２】
＜システムとユーザ間のインタラクションの例＞
図１３は、図９で示したシーケンスのうち、ユーザ１０６からの音声操作とその時のシステムからのインタクラクションの一例をより具体的に説明するための模式図である。図１３では、ユーザ１０６の音声操作としての発話例と、その発話に応じてシステムが音声制御装置１００の音声処理状態を示すＬＥＤを示している。また、画像形成装置の操作パネル５０９に表示する画面、および、音声制御装置１００で再生する応答用の音声の対応関係と流れを示している。
【０１４３】
まず、システムはＬＥＤ消灯にて音声待機状態であることを示し、操作パネル５０９にはトップ画面を表示している（Ｓ１３０１）とする。この時に、ユーザ１０６がウェイクワードを発話する（Ｓ１３０２）と、システムは音声操作の受付を開始し、発話処理状態を示すＬＥＤを点灯する（Ｓ１３０３）。なお、Ｓ１３０２は図９中のＳ９０５、Ｓ１３０３はＳ９０６の具体的な一例である。ウェイクワードに続いて、ユーザ１０６が「コピーをしたい」と発話する（Ｓ１３０４）と、システムは応答処理状態を示すＬＥＤを点滅させ（Ｓ１３０５）、コピートップ画面を表示する（Ｓ１３０６）。そして、システムは「コピー画面を表示しました」という応答用の音声を再生し（Ｓ１３０７）、ユーザ１０６に次の発話を促すためにＬＥＤを再点灯する（Ｓ１３０８）。なお、Ｓ１３０４は図９中のＳ９０７、Ｓ１３０５はＳ９０８、Ｓ１３０６はＳ９１５、Ｓ１３０７はＳ９１９、Ｓ１３０８はＳ９２０の具体的な一例である。
【０１４４】
次に、ユーザ１０６が「両面を設定して」と発話する（Ｓ１３０９）と、システムはＬＥＤを点滅させ（Ｓ１３１０）、両面設定画面を表示する（Ｓ１３１１）。そして、システムは「両面設定が変更できます」という応答用の音声を再生し（Ｓ１３１２）、ＬＥＤを点灯する（Ｓ１３１３）。なお、Ｓ１３０９は図９中のＳ９２１、Ｓ１３１０はＳ９２２、Ｓ１３１１はＳ９１５、Ｓ１３１２はＳ９２４、Ｓ１３１３はＳ９２５の具体的な一例である。
【０１４５】
次に、ユーザ１０６が「両面から両面に変更」と発話する（Ｓ１３１４）と、システムはＬＥＤを点滅させ（Ｓ１３１５）、両面の設定値を変更した画面に更新する（Ｓ１３１６）。そして、システムは「両面から両面に設定しました」という応答用の音声を再生し（Ｓ１３１７）、ＬＥＤを点灯する（Ｓ１３１８）。なお、Ｓ１３１４は図９中のＳ９２６、Ｓ１３１５はＳ９２７、Ｓ１３１６はＳ９１５、Ｓ１３１７はＳ９２９、Ｓ１３１８はＳ９２５の具体的な一例である。
【０１４６】
次に、ユーザ１０６が「詳細設定」と発話する（Ｓ１３１９）と、システムはＬＥＤを点滅させ（Ｓ１３２０）、詳細設定画面を表示する（Ｓ１３２１）。そして、システムは「詳細設定が変更できます」という応答用の音声を再生し（Ｓ１３２２）、ＬＥＤを点灯する（Ｓ１３２３）。なお、Ｓ１３１９は図９中のＳ９２１、Ｓ１３２０はＳ９２２、Ｓ１３２１はＳ９１５、Ｓ１３２２はＳ９２４、Ｓ１３２３はＳ９２５の具体的な一例である。
【０１４７】
次に、ユーザ１０６が「ナンバリングして」と発話する（Ｓ１３２４）と、システムはＬＥＤを点滅させ（Ｓ１３２５）、ナンバリング後の詳細設定画面を表示する（Ｓ１３２６）。そして、システムは「ナンバリングしました」という応答用の音声を再生し（Ｓ１３２７）、ＬＥＤを点灯する（Ｓ１３２８）。なお、Ｓ１３２４は図９中のＳ９０７、Ｓ１３２５はＳ９０８、Ｓ１３２６はＳ９１５、Ｓ１３２７はＳ９１９、Ｓ１３２８はＳ９２０の具体的な一例である。
【０１４８】
次に、ユーザ１０６が「４を選択」と発話する（Ｓ１３２９）と、システムはＬＥＤを点滅させ（Ｓ１３３０）、両面の設定値を変更した画面に更新する（Ｓ１３３１）。そして、システムは「４を設定しました」という応答用の音声を再生し（Ｓ１３３２）、ＬＥＤを点灯する（Ｓ１３３３）。なお、Ｓ１３２９は図９中のＳ９２６、Ｓ１３３０はＳ９２７、Ｓ１３３１はＳ９１５、Ｓ１３３２はＳ９２９、Ｓ１３３３はＳ９２５の具体的な一例である。
【０１４９】
次に、ユーザ１０６が「スタート」と発話する（Ｓ１３３４）と、システムはＬＥＤを点滅させ（Ｓ１３３５）、スキャンジョブを実行する。スキャンジョブの実行が開始されると、システムはスキャンジョブ実行中の画面を表示する（Ｓ１３３６）とともに、「読み取りを開始します」という応答用の音声を再生する（Ｓ１３３７）。そして、スキャンジョブの実行が完了すると、システムはスキャンジョブ実行終了画面を表示するとともに、「読み取りを終了しました」という応答用の音声を再生し（Ｓ１３３８）、ＬＥＤを点灯する（Ｓ１３３９）。なお、Ｓ１３３４は図９中のＳ９３６、Ｓ１３３５はＳ９３７、Ｓ１３３６はＳ９４４、Ｓ１３３７はＳ９４９、Ｓ１３３８はＳ９５４、Ｓ１３３９はＳ９２５の具体的な一例である。
【０１５０】
次に、ユーザ１０６が「コピー開始」と発話する（Ｓ１３４０）と、システムはＬＥＤを点滅させ（Ｓ１３４１）、プリントジョブを実行する。プリントジョブの実行が開始されると、システムはプリントジョブ実行中の画面を表示する（Ｓ１３４２）とともに、「プリントを開始します」という応答用の音声を再生する（Ｓ１３４３）。そして、プリントジョブの実行が完了すると、システムはプリントジョブ実行終了画面を表示するとともに、「プリントを終了しました」という最終応答用の音声を再生し（Ｓ１３４４）、音声受付が終了したことを示すためにＬＥＤを消灯する（Ｓ１３４５）。なお、Ｓ１３４０は図９中のＳ９３６、Ｓ１３４１はＳ９３７、Ｓ１３４２はＳ９４４、Ｓ１３４３はＳ９４９、Ｓ１３４４はＳ９５４、Ｓ１３４５はＳ９５５の具体的な一例である。
【０１５１】
＜操作対象判定部の処理フロー＞
図１４は画像形成装置１０１の操作対象判定部８０７の処理の概要を示すフローチャートである。図１４は、図１０のＳ１００３、及び、図９の９１４、９４３の処理に対応している。また、図１５〜図１９は、図１４の操作対象判定処理によって操作対象を判定するときの画面例、及び、従来の操作方法（操作パネルのボタンやハードキー押下による方法）と音声による操作方法の例である。
【０１５２】
以下、図１４と図１５を用いて操作対象判定部８０７の処理フローについて説明する。
【０１５３】
まず、図１５について説明する。図１５（ａ）は画像形成装置１０１のコピーの両面設定における、開き方設定の画面例である。１５０１〜１５０４は両面設定における原稿、及び、コピーの開き方を設定するボタンである。また、１５０５は１５０１〜１５０４の設定を反映するためのＯＫボタンである。図１５（ｂ）は図１５（ａ）の画面に識別子１５０７〜１５１２を表示したときの画面例である。
【０１５４】
ここで識別子について説明する。識別子は、画面内のボタンを明示的に識別するために各ボタンの近傍に表示される。ユーザ１０６は、識別子を読み上げる（発話する）ことでその近傍のボタンを操作対象に指定することができる。例えば、図１５（ｂ）の識別子１５０７〜１５１２は、それぞれボタン１５０１〜１５０６の近傍に表示される。識別子１５０７〜１５１２は、数字の１〜６に対応するグループＩＤであるＮＵＭ００００１〜ＮＵＭ００００６に対応している。ユーザ１０６が各ボタン近傍の識別子を読み上げる（すなわち数字の１〜６を発話する）と、サーバ１０２によってグループＩＤ判定結果が数字のグループＩＤ（ＮＵＭ００００１〜ＮＵＭ００００６）となる。操作対象判定部８０７は、そのグループＩＤ判定結果と合致する、識別子のグループＩＤ情報に対応するボタンを操作対象として判定する。なお、識別子１５０７〜１５１２の各グループＩＤ情報は、各数字のグループＩＤであるＮＵＭ００００１〜ＮＵＭ００００６を含む情報である。または、数字のグループＩＤの前後に、図１１の「ボタン」、「選択」のグループＩＤであるＵＩＰ００００１、及び、ＯＰＲ０００４０を含む情報である。例えば、識別子として数字の１が近傍にあるボタンのグループＩＤ情報はＮＵＭ００００１、ＮＵＭ００００１＋ＵＩＰ００００１、ＮＵＭ００００１＋ＯＰＲ０００４０、及び、ＮＵＭ００００１＋ＵＩＰ００００１＋ＯＰＲ０００４０となる。そのため、ユーザ１０６は、「１」、または、「１のボタン」、あるいは、「１のボタンを選択」と発話することで上述ボタンを操作対象に指定することが可能である。
【０１５５】
以下、図１４の処理フローについて図１５（ａ）、（ｂ）で示す画面と、図１５（ｃ）、（ｄ）の画面制御情報と操作対象判定情報の例を用いて説明する。図１５（ｃ）は、図１５（ａ）で示す画面における画面制御情報の一例である。図１５（ｄ）は、図１５（ｂ）で示す画面における操作対象判定情報の一例である。
【０１５６】
Ｓ１４０１では、図１０のＳ１００１で受信したグループＩＤ判定結果と、Ｓ１００２で取得した操作対象判定情報に含まれるボタンのグループＩＤ情報とをマッチングする。例えば、図１５（ｂ）の画面を表示しているとき、グループＩＤ判定結果が｛ＩＤ：ＮＵＭ００００１｝である場合、図１５（ｄ）の操作対象判定情報の「表示画面のグループＩＤ情報」列の各ボタン１５０１〜１５０６のグループＩＤ情報をマッチングする。このとき、ボタン１５０１のグループＩＤ「ＮＵＭ００００１」がヒットし、マッチング成功となる。
【０１５７】
Ｓ１４０２では、Ｓ１４０１でマッチング成功したか否かを判定する。マッチング成功した場合は、Ｓ１４０３へ進み、そうでなければＳ１４０４へ進む。
【０１５８】
Ｓ１４０３では、Ｓ１４０１でヒットした行のボタンを操作対象と判定し、操作対象判定処理を終了する。例えば、グループＩＤ「ＮＵＭ００００１」がヒットした場合、ボタン１５０１を操作対象と判定し、操作対象判定処理を終了する。
【０１５９】
Ｓ１４０４では、図１０のＳ１００１で受信したグループＩＤ判定結果と、Ｓ１００２で取得した操作対象判定情報に含まれるハードキーのグループＩＤ情報とをマッチングする。例えば、図１５（ｂ）の画面において、サーバ１０２におけるグループＩＤ判定結果が｛ＩＤ：ＯＰＲ０００１１｝である場合、次のように処理する。すなわち、ユーザ１０６が「スタート」と発話したときのグループＩＤ判定結果である場合、それと操作対象判定情報のハードキーのグループＩＤ情報とをマッチングする。このとき、操作対象判定情報より、グループＩＤ「ＯＰＲ０００１１」がヒットし、マッチング成功となる。
【０１６０】
Ｓ１４０５では、Ｓ１４０４でマッチング成功したか否かを判定する。マッチング成功した場合は、Ｓ１４０６へ進み、そうでなければＳ１４０７へ進む。
【０１６１】
Ｓ１４０６では、Ｓ１４０４でヒットしたハードキーを操作対象と判定し、操作対象判定処理を終了する。例えば、グループＩＤ情報が「ＯＰＲ０００１１」である“スタート”がヒットした場合、スタートキー２０７を操作対象と判定し、操作対象判定処理を終了する。
【０１６２】
Ｓ１４０７では、図１０のＳ１００１で受信したグループＩＤ判定結果がボタンへ識別子を表示する指示である識別子表示であるか否かを判定する。すなわち、サーバ１０２によるグループＩＤ判定結果が、図１１の｛ＩＤ：ＮＥＸ００００１｝であるとき、次のように処理する。例えばユーザ１０６が「ナンバリング」と発話したときのグループＩＤ判定結果であるとき、操作対象判定部８０７はグループＩＤ判定結果を識別子表示であると判定する。グループＩＤ判定結果が識別子表示である場合は、Ｓ１４０８へ進み、そうでなければ操作対象判定処理を終了する。なお、識別子表示の発話例は次の通り複数ある。例えば、「ナンバリング」以外に、「数字振って」、「記号振って」、「英数字振って」、「アルファベット振って」、「数字付けて」、「英数字付けて」、「アルファベット付けて」、「数字割り振り」、「記号割り振り」、「英数字割り振り」、「アルファベット割り振り」、「識別子を表示」、「識別子割り振り」、「識別子付けて」が挙げられる。これ以外にも識別子表示に関係する発話のグループＩＤ判定結果を識別子表示の判定条件として登録できる。
【０１６３】
Ｓ１４０８では、Ｓ１４０７の判定にもとづき、識別子表示を操作対象と判定し、操作対象判定処理を終了する。なお、前述の図１０のＳ１００４では、操作対象判定結果が識別子表示の場合、図１５（ａ）のボタン１５０１〜１５０６の近傍に、図１５（ｂ）のように識別子１５０７〜１５１２を表示する。
【０１６４】
以下、図１６〜図１９について説明する。図１６〜図１９の処理フローは、図１０〜図１５で説明した方法に準じる。以下では、図１５の画面例、画面制御情報、操作対象判定情報の説明と異なる部分を中心に述べる。
【０１６５】
＜割り付ける順番設定画面での音声操作例＞
図１６の割り付ける順番設定画面における音声操作例について説明する。図１６では、特にボタン１６０１〜１６０４のようにボタンの表記名が無いときであっても、識別子表示を行うことで音声操作が可能な例を示す。
【０１６６】
図１６（ａ）は画像形成装置１０１のページ集約機能の割り付ける順番設定における、開き方設定の画面例である。１６０１〜１６０４は割り付け順番を設定するボタンである。また、１６０５は１６０１〜１６０４の設定を反映するためのＯＫボタンである。なお、ページ集約とは、複数のページを１つのページに集約する機能である。例えば、ページ集約機能によって、４つのページを１つのページに並べて表示することができる。割り付ける順番設定とは、ページ集約する際のページの並べ方の設定のことである。ページ集約機能の説明は本発明の主旨ではないため、これ以上の説明を割愛する。
【０１６７】
図１６（ｂ）は図１６（ａ）の画面に識別子１６０６〜１６１０を表示したときの画面例である。図１６（ｃ）は、図１６（ｂ）で示す画面制御情報の一例である。図１６（ｄ）は、図１６（ｂ）で示す画面の操作対象判定情報の一例である。図１６（ｄ）の番号列は各ボタン１６０１〜１６０５、リセットキー２０３、スタートキー２０７を示しており、行は各ボタン１６０１〜１６０５及びハードキーの操作方法とグループＩＤ情報を示す。ボタン１６０１の行の「操作時の発話例」列から、「ボタンを押下」に相当する音声操作方法は、ユーザ１０６が、“１”、“１のボタン”、“１を選択”、“１のボタンを選択”のように発話することであると分かる。ボタン１６０１の行の「ＮＵＭ００００１」、「ＮＵＭ００００１＋ＵＩＰ００００１」、「ＮＵＭ００００１＋ＯＰＲ０００４０」、「ＮＵＭ００００１＋ＵＩＰ００００１＋ＯＰＲ０００４０」は、グループＩＤ判定結果の｛ＩＤ：ＮＵＭ００００１｝、｛ＩＤ：ＮＵＭ００００１、ＩＤ：ＵＩＰ００００１｝、｛ＩＤ：ＵＩＰ００００１、ＩＤ：ＮＵＭ００００１｝、｛ＩＤ：ＮＵＭ００００１、ＩＤ：ＯＰＲ０００４０｝、｛ＩＤ：ＯＰＲ０００４０、ＩＤ：ＮＵＭ００００１｝、｛ＩＤ：ＮＵＭ００００１、ＩＤ：ＵＩＰ００００１、ＩＤ：ＯＰＲ０００４０｝とマッチングする。ボタン１６０２〜１６０５の行に関しても同様である。
【０１６８】
以上のように、ボタンに識別子表示を行うことで、ボタンの表記名がなくてもユーザ１０６は問題なくボタン１６０１〜１６０４を音声操作することが可能である。
【０１６９】
＜とじしろ設定画面での音声操作例＞
図１７のとじしろ設定画面における音声操作例について説明する。図１７では、特に１７１０のようにテンキー入力が可能なときにも、識別子表示によって音声操作が可能な例を示す。
【０１７０】
図１７（ａ）は画像形成装置１０１のコピー機能のとじしろ設定の画面例である。１７０１〜１７０９はとじしろの設定ボタンである。１７１０は、テンキー２０１での入力が可能なことを示唆する表記である。なお、図１７（ａ）においてハードキーであるテンキー２０１は図示していないが、便宜上、１７１０を後述の図１７（ｃ）、（ｄ）におけるテンキー入力のＵＩ部品として扱い、テンキー入力１７１０と呼ぶ。１７１１は、とじしろの設定を取り消すための設定取消ボタンである。また、１７１２はとじしろの設定を反映するためのＯＫボタンである。
【０１７１】
図１７（ｂ）は図１７（ａ）の画面に識別子１７１３〜１７２３を表示したときの画面例である。なお、図１７（ｂ）では、図１７（ｂ）、図１６（ｂ）と異なり、識別子としてアルファベットを用いている。これは、識別子が数字の場合、図１７（ｄ）のテンキー入力１７１０で後述する音声でのテンキー入力操作と重複してしまうためである。
【０１７２】
図１７（ｃ）は、図１７（ｂ）で示す画面制御情報の一例である。
【０１７３】
図１７（ｄ）は、図１７（ｂ）で示す画面の操作対象判定情報の一例である。番号列は各ボタン１７０１〜１７０９、１７１１、１７１２、及びテンキー入力１７１０を示しており、行は１７０１〜１７１２の操作方法とグループＩＤ情報を示す。グループＩＤ情報の「ＣＨＲ０００＊＊」は、図７のグループＩＤリストに対応する。ボタン１７０１の行の「操作時のユーザ発話例」列から、「ボタンを押下」に相当する音声操作方法は、ユーザ１０６が、“Ａ”、“Ａのボタン”、“Ａを選択”、“Ａのボタンを選択”のように発話することであると分かる。ボタン１７０１の行の「ＣＨＲ０００００」、「ＣＨＲ０００００＋ＵＩＰ００００１」、「ＣＨＲ０００００＋ＯＰＲ０００４０」、「ＣＨＲ０００００＋ＵＩＰ００００１＋ＯＰＲ０００４０」は、グループＩＤ判定結果の｛ＩＤ：ＣＨＲ０００００｝、｛ＩＤ：ＣＨＲ０００００、ＩＤ：ＵＩＰ００００１｝、｛ＩＤ：ＵＩＰ００００１、ＩＤ：ＣＨＲ０００００｝、｛ＩＤ：ＣＨＲ０００００、ＩＤ：ＯＰＲ０００４０｝、｛ＩＤ：ＯＰＲ０００４０、ＩＤ：ＣＨＲ０００００｝、｛ＩＤ：ＣＨＲ０００００、ＩＤ：ＵＩＰ００００１、ＯＰＲ０００４０｝とマッチングする。ボタン１７０２〜１７０９、１７１１、及び１７１２の行に関しても同様である。また、ボタン１７１０の行の「操作時のユーザ発話例」列から、「テンキーを押下」に相当する音声操作方法は次の方法であるとわかる。すなわち、ユーザ１０６が、“１０”、“１０ｍｍ”、“１０ｍｍに変更”、“１０ｍｍにして”、“１、０”、“１、０ｍｍ”、“１、０ｍｍに変更”、“１、０ｍｍにして”のように発話することであると分かる。ここで、“１０”は例えば「じゅう」のように連続する数字をまとめて発音するような場合、“１、０”は例えば「いち、ぜろ」のように数字を分けて発音する場合を示している。ボタン１７１０の行の「ＮＵＭ０００＊＊」、「ＮＵＭ０００＊＊＋ＯＰＲ０００４１」、「ＮＵＭ００００＊＋ＮＵＭ００００＊」、「ＮＵＭ００００＊＋ＮＵＭ００００＊＋ＯＰＲ０００４１」は、グループＩＤ判定結果の｛ＩＤ：ＮＵＭ０００＊＊｝、｛ＩＤ：ＮＵＭ０００＊＊、ＩＤ：ＯＰＲ０００４１｝、｛ＩＤ：ＮＵＭ００００＊、ＩＤ：ＮＵＭ００００＊｝、｛ＩＤ：ＮＵＭ００００＊、ＩＤ：ＮＵＭ００００＊、ＩＤ：ＯＰＲ０００４１｝、とマッチングする。ただし、＊印には０〜９の任意の数字が入る。
【０１７４】
以上のように、識別子をアルファベットにすることで、数値の入力と識別子の選択を区別することが可能になる。したがって、テンキー等で数値を入力するような項目が含まれている画面においても、識別子を使った操作が可能となる。すなわち、ユーザ１０６はボタン及びテンキーの音声操作を一つの画面で両立することが可能である。
【０１７５】
＜日付印字設定画面での音声操作例＞
図１８、図１９の日付印字設定画面における音声操作例について説明する。図１８、図１９では、特にオブジェクト１８１０〜１８１２のようにプルダウンあるいはプルアップによる入力があるときにも、識別子表示によって音声操作が可能な例を示す。
【０１７６】
図１８（ａ）は画像形成装置１０１のコピー機能の日付印字設定の画面例である。オブジェクト１８０１〜１８０９、１８１４は日付印字の設定ボタンである。オブジェクト１８１０〜１８１２は、日付印字設定のプルダウンである。１８１３は、テンキー２０１での入力が可能なことを示唆する表記である。１８１５は、日付印字の設定を取り消すための設定取消ボタンである。また、オブジェクト１８１６は日付印字の設定を反映するためのＯＫボタンである。
【０１７７】
図１８（ｂ）は図１８（ａ）の画面に識別子１８１７〜１８３１を表示したときの画面例である。図１８（ｃ）は、図１８（ｂ）で示す画面制御情報の一例である。図１８（ｄ）は、図１８（ｂ）で示す画面の操作対象判定情報の一例である。番号列は各ボタンオブジェクト１８０１〜１８０９、オブジェクト１８１４〜１８１６、プルダウンのオブジェクト１８１０〜１８１２、及びテンキー入力１８１３を示しており、行はオブジェクト１８０１〜１８１６の操作方法とグループＩＤ情報を示す。
【０１７８】
ボタンオブジェクト１８０１〜１８０９、オブジェクト１８１４〜１８１６、及びテンキー入力１８１３に関しては、図１７と同様の操作であるため説明を割愛する。以下、プルダウン１８１０〜１８１２の操作方法について説明する。
【０１７９】
プルダウン１８１０の行の「操作時のユーザ発話例」列から、「プルダウンを押下」に相当する音声操作方法は、他のボタンと同じように、ユーザ１０６が、“Ｊ”、“Ｊのボタン”、“Ｊを選択”、“Ｊのボタンを選択”のように発話することである。オブジェクト１８１１、１８１２も同様である。プルダウンを選択すると、さらにプルダウンリストが表示される。例えば、プルダウン１８１０を選択すると、図１９（ａ）のようにプルダウンリストが表示される。このとき、図１８（ｄ）の操作例は、図１９（ｂ）の操作例へ変更される。これは、プルダウンリストの表示によって、プルダウンリスト中のボタンが新たに選択できるようになり、さらにプルダウンリスト表示によって表示が隠れるＵＩ部品があるためである。例えば、図１８（ｄ）のプルダウン１８１１は、図１９（ａ）でプルダウンリストの下に隠れてしまうため、図１９（ｂ）において操作不可となる。また、図１９（ａ）で新たにプルダウンリストとして表示されるボタン１８３２〜１８３４の近傍にそれぞれ識別子１８３５〜１８３７を表示することで、ユーザ１０６は新たな表示されたボタン１８３２〜１８３４を音声操作できる。ボタン１８３２〜１８３４の音声操作例は、他のボタンと同じであるため割愛する。
【０１８０】
以上のように、プルダウンリストが表示される場合も、新たに表示される識別子によってプルダウンリストの音声操作が可能である。
【０１８１】
＜備考＞
以上説明したように、本実施例によればユーザ１０６の発話によって、画像形成装置１０１の操作パネル５０９を操作することができる。特に、本実施例では、画面のボタンの近傍に識別子を表示することで、ユーザ１０６がボタンの表記名を読めない場合であっても、ボタンの操作が可能となる。
【０１８２】
また、本実施例ではユーザ１０６の音声操作によって識別子をボタンに表示していた。しかながら、音声で画面を操作する際は予め、全てのボタン、あるいは、識別子が必要なボタン（例えば、ボタン名が無い場合、ボタン名が重複している場合、ボタン名が読みづらい場合など）に識別子を表示するようにしてもよい。
【０１８３】
（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１８４】
本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。本実施例では、音声制御プログラム６０１、デバイス制御プログラム８０１、音声データ変換制御プログラム７０１がそれぞれ音声制御装置１００、画像形成装置１０１、サーバ１０２で実行されるとした。しかしながら、マイクロフォンを備えた画像形成装置１０１で各プログラムを全て実行するようにしてもよいし、サーバ１０２だけ分離し、音声制御プログラム６０１とデバイス制御プログラム８０１を画像形成装置１０１で実行するようにしてもよい。
【０１８５】
本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。
【０１８６】
上述した実施例では、ボタン名が無い場合、ボタン名が重複している場合、ボタン名が読みづらい場合に識別子を表示させる例について説明した。しかしながら、図１２（ａ）のようなボタン名がわかりやすい画面において識別子を表示させてもよい。図１２（ａ）の画面に識別子を追加表示させた様子を図２３（ａ）に示す。図２３（ａ）の画面には、ボタン１１０１〜１１０５、ボタン１１１１〜１１１３に対応する識別子として、識別子２３０１〜２３０８が追加表示されている。
【０１８７】
上述した実施例では、識別子の追加表示後、この識別子に対応する発話操作にのみ対応していた。しかしながら、識別子の追加表示後に、ボタンが元々対応する発話操作に加えて識別子による発話操作を可能にしてもよい。図２３（ａ）の画面に対応する操作対象判定情報を図２３（ｂ）に示す。図２３（ｂ）に示すように、図２３（ａ）の画面では、ボタンに対応した発話操作およびボタンに付与された識別子に対応した発話操作が利用可能である。例えば、ボタン１１０１は、ボタンに元々紐付く発話操作、すなわちグループＩＤ「ＤＧＲ００００８＋ＣＯＬ００００＋ＣＯＬ００１０２」を用いる発話操作に対応している。また、ボタン１１０１は、ボタン１１０１に対応して追加表示された識別子２３０１に紐付く発話操作、すなわちグループＩＤ「ＮＵＭ００００１＋ＵＩＰ００００１＋ＯＰＲ０００４０」を用いる発話操作に対応している。このように、画面に含まれる全部または１部の項目について、ボタンに紐付く発話操作と識別子に紐付く発話操作の両方を利用可能にしてもよい。例えば、ボタン１５０５、１６０５、１７１２、１８１６は、識別子の追加表示後にグループＩＤ「ＯＰＲ０００１０」を含む発話操作に対応していてもよい。
【０１８８】
実施例では、画像形成装置１０１が提供する操作画面のうちの一部の画面について取り上げ、その操作方法について説明した。しかしながら、自然言語に基づく画面操作、特に識別子を用いた画面操作を他の操作画面に適用してもよい。図２０、図２１、図２２は、音声入力で操作可能な項目を示す図である。図２０、図２１、図２２の表のうち左から一列目は機能分類を示す。ＭＦＰである画像形成装置１０１が備える機能としては、印刷、コピー、送信、本体設定の他に共通が挙げられる。図２０、図２１、図２２の表のうち左から二列目は項目群を示す。項目群は、機能を利用するうえで操作される項目のうち、類似する分類でまとめられた項目のグル―プである。項目群は１または複数の画面として出力される。図２０、図２１、図２２の表のうち左から三列目は項目を示す。項目は、項目群毎に表示される画面において操作可能な操作項目、設定項目である。操作可能な操作項目の操作により、設定の変更指示、画面の遷移指示、処理の実行指示等をおこなうことができる。機能欄におよび項目群欄が「共通」の項目は、一部の例外となる画面を除き、ほぼすべての画面で利用可能な操作項目である。実施例で説明した「ナンバリング」等の識別子の表示指示は「共通」の操作項目に含まれており、様々な画面で利用できる。ここで紹介した項目は、実施例と同様に、タッチ操作の他、音声入力による操作を行うことができる。特に、ボタンの近傍に識別子を追加し、この識別子を用いて音声操作をおこなうことができる。
【０１８９】
なお、ＭＦＰとは、Ｍｕｌｔｉ  Ｆｕｎｃｔｉｏｎ  Ｐｅｒｉｐｈｅｒａｌのことである。ＦＡＸとはＦａｃｓｉｍｉｌｅのことである。ＡＳＩＣとは、Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔのことである。ＣＰＵとは、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔのことである。ＲＡＭとは、Ｒａｎｄｏｍ‐Ａｃｃｅｓｓ  Ｍｅｍｏｒｙのことである。ＲＯＭとは、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙのことである。ＨＤＤとはＨａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅのことである。ＳＳＤとはＳｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅのことである。ＬＡＮとは、Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋのことである。ＰＣとは、Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒのことである。ＬＣＤとはＬｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙのことである。ＩＤとは、Ｉｄｅｎｔｉｆｉｃａｔｉｏｎのことである。
【０１９０】
ＬＥＤとはＬｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅのことである。ＭＥＭＳとは、Ｍｉｃｒｏ  Ｅｌｅｃｔｒｏ  Ｍｅｃｈａｎｉｃａｌ  Ｓｙｓｔｅｍｓのことである。ＭＰ３とはＭＰＥＧ  Ａｕｄｉｏ  Ｌａｅｒ−３のことである。ＳＤカードとはＳｅｃｕｒｅ  Ｄｉｇｉｔａｌメモリーカードのことである。
【符号の説明】
【０１９１】
１００  音声制御装置
１０１  画像形成装置
１０２  サーバ装置
１０３  クライアント端末
１０４  ネットワーク
１０５  ゲートウェイ
１０６  ユーザ
【図１】
2020112933.tif 000003
【図２】
2020112933.tif 000004
【図３】
2020112933.tif 000005
【図４】
2020112933.tif 000006
【図５】
2020112933.tif 000007
【図６】
2020112933.tif 000008
【図７】
2020112933.tif 000009
【図８】
2020112933.tif 000010
【図９】
2020112933.tif 000011
【図１０】
2020112933.tif 000012
【図１１】
2020112933.tif 000013
【図１２】
2020112933.tif 000014
【図１３】
2020112933.tif 000015
【図１４】
2020112933.tif 000016
【図１５】
2020112933.tif 000017
【図１６】
2020112933.tif 000018
【図１７】
2020112933.tif 000019
【図１８】
2020112933.tif 000020
【図１９】
2020112933.tif 000021
【図２０】
2020112933.tif 000022
【図２１】
2020112933.tif 000023
【図２２】
2020112933.tif 000024
【図２３】
2020112933.tif 000025