(57)【要約】【課題】音声とＧＵＩの両方のユーザインタフェースからの入力を可能にすることにより、状況に応じて使い分けることができる使い勝手のよいユーザインタフェースを提供すること。【解決手段】音声から文字列へ変換する規則を格納した辞書を保持する辞書保持手段３と、入力した音声を辞書を参照して文字に変換する音声認識手段２と、認識された文字列をコマンド列に変換しＧＵＩに設定するコマンド変換手段４と、ＧＵＩの状態を監視するＧＵＩ監視手段５と、ＧＵＩ監視手段５が認識したＧＵＩの状態と音声認識手段２が参照する音声認識の方式や辞書とを対応付ける対応付けデータを保持する対応付けデータ保持手段６と、ＧＵＩの状態に対応する対応付けデータを対応付けデータ保持手段６から読み込み音声認識手段２で参照する音声認識方式や辞書を切り替える対応付け変更手段７とを有する。【選択図】　　　図１
2004062517.tif 000002
【特許請求の範囲】
【請求項１】
グラフィカルユーザインタフェース（ＧＵＩ）と、
音声から文字列へ変換する規則を格納した辞書を保持する辞書保持手段と、
入力した音声を前記辞書を参照して文字に変換する音声認識手段と、
音声認識手段で認識された文字列をコマンド列に変換しＧＵＩに設定するコマンド変換手段と、
ＧＵＩの状態を監視するＧＵＩ監視手段と、
ＧＵＩ監視手段が認識したＧＵＩの状態と前記音声認識手段が参照する音声認識の方式や辞書とを対応付ける対応付けデータを保持する対応付けデータ保持手段と、
ＧＵＩの状態に対応する対応付けデータを対応付けデータ保持手段から読み込み音声認識手段で参照する音声認識方式や辞書を切り替える対応付け変更手段を有することを特徴とする音声制御装置。
【請求項２】
選択されたＧＵＩの識別情報を取得するＧＵＩ取得手段と、前記音声認識手段の認識結果を前記ＧＵＩに設定する方法を含む設定方法データを保持する設定方法データベースと、ＧＵＩの識別情報および前記ＧＵＩが選択された場合に使用する辞書と設定方法データベースに保持されるＧＵＩへの設定方法とを関連付けた対応付けデータを生成し前記対応付けデータ保持手段へ格納する関連付け手段とを有することを特徴とする請求項１の音声制御装置。
【請求項３】
音声から文字列へ変換する規則を格納した辞書を参照して入力した音声文字に変換する音声認識ステップと、音声認識ステップで認識された文字列をコマンド列に変換しグラフィカルユーザインタフェース（ＧＵＩ）に設定するコマンド変換ステップと、ＧＵＩの状態と前記音声認識手段が参照する音声認識の方式や辞書とを対応付ける対応付けデータを保持する対応付けデータ保持手段からＧＵＩの状態に応じた対応付けデータを読み込み音声認識ステップで参照する音声認識方式や辞書を切り替える対応付け変更ステップとを有することを特徴とする音声制御方法。
【請求項４】
選択されたＧＵＩの識別情報を取得するＧＵＩ取得ステップと、ＧＵＩの識別情報および前記ＧＵＩが選択された場合に使用する辞書と前記音声認識ステップの認識結果を前記ＧＵＩに設定する方法とを関連付けた対応付けデータを生成し前記対応付けデータ保持手段へ格納する関連付けステップとを有することを特徴とする請求項３の音声制御方法。
【請求項５】
音声から文字列へ変換する規則を格納した辞書を参照して入力した音声文字に変換する音声認識ステップと、音声認識ステップで認識された文字列をコマンド列に変換しグラフィカルユーザインタフェース（ＧＵＩ）に設定するコマンド変換ステップと、ＧＵＩの状態と前記音声認識手段が参照する音声認識の方式や辞書とを対応付ける対応付けデータを保持する対応付けデータ保持手段からＧＵＩの状態に応じた対応付けデータを読み込み音声認識ステップで参照する音声認識方式や辞書を切り替える対応付け変更ステップとをコンピュータに実行させるプログラム。
【請求項６】
選択されたＧＵＩの識別情報を取得するＧＵＩ取得ステップと、ＧＵＩの識別情報および前記ＧＵＩが選択された場合に使用する辞書と前記音声認識ステップの認識結果を前記ＧＵＩに設定する方法とを関連付けた対応付けデータを生成し前記対応付けデータ保持手段へ格納する関連付けステップとをコンピュータに実行させる請求項５のプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声制御装置、音声制御方法、およびプログラムに関し、特に音声認識技術を用いたユーザインタフェースに関する。
【０００２】
【従来の技術】
従来の技術としては、特開平１０−２２２３３７の「コンピュータシステム」のように、音声によりウインドウやアプリケーション制御を行うものが知られている。この方式では、ウインドウやアプリケーションの制御コマンドとキーワードとを対応付けておき、キーワードを音声認識用の辞書として登録しておく。音声入力よりキーワードが認識されると、キーワードに対応した制御コマンドが実行される。
【０００３】
こうした音声認識では、共通の辞書と各アプリケーション用の辞書を用意しておく。アプリケーション毎に辞書を用意することにより、同じ発声でもアプリケーションごとに違う操作を割り当てることが可能になる。アプリケーション用の辞書は、音声により対象のアプリケーションが起動されたり、ウインドウが切り替わったりすると切り替わる仕組みになっている。
【０００４】
【発明が解決しようとする課題】
前述の方式では、ＧＵＩの状態を監視するのでなく、入力された音声の認識結果によりアプリケーション用の辞書を切り替えている。このような場合、マウスやタッチパネルなどの音声入力以外の方法でウインドウやアプリケーションの選択状態を変更すると、対応した辞書への切り替えは起こらない。そのため、アプリケーションやウインドウの選択状態と認識用辞書のとの対応関係が擦れてしまうため、音声での制御を続行することが不可能になるという問題点があった。
【０００５】
一般に、音声を用いたユーザインタフェースは、多項目から一つのを選択する際には、選択候補を表示する空間や選択の手順を削減できるという利点がある。たとえば、多項目からの選択をプルダウンメニューなどのグラフィカルユーザインタフェース（ＧＵＩ）で実現しようとすると、メニューに階層構造をもたせて何度もメニュー表示と選択とを繰り返したり、表示した膨大な候補の中から該当する項目を探すために時間を要する。
【０００６】
本発明の目的は、音声とＧＵＩの両方のユーザインタフェースからの入力可能にすることにより、状況に応じて使い分けることができる使い勝手のよいユーザインタフェースを実現する音声制御装置、音声制御方法、およびプログラム提供することである。
【０００７】
【課題を解決するための手段】
本発明の第１の音声制御装置は、グラフィカルユーザインタフェース（ＧＵＩ）と、
音声から文字列へ変換する規則を格納した辞書を保持する辞書保持手段と、入力した音声を前記辞書を参照して文字に変換する音声認識手段と、音声認識手段で認識された文字列をコマンド列に変換しＧＵＩに設定するコマンド変換手段と、ＧＵＩの状態を監視するＧＵＩ監視手段と、ＧＵＩ監視手段が認識したＧＵＩの状態と前記音声認識手段が参照する音声認識の方式や辞書とを対応付ける対応付けデータを保持する対応付けデータ保持手段と、ＧＵＩの状態に対応する対応付けデータを対応付けデータ保持手段から読み込み音声認識手段で参照する音声認識方式や辞書を切り替える対応付け変更手段とを有することを特徴とする。
【０００８】
本発明の第２の音声制御装置は、第１の音声制御装置において、選択されたＧＵＩの識別情報を取得するＧＵＩ取得手段と、前記音声認識手段の認識結果を前記ＧＵＩに設定する方法を含む設定方法データを保持する設定方法データベースと、ＧＵＩの識別情報および前記ＧＵＩが選択された場合に使用する辞書と設定方法データベースに保持されるＧＵＩへの設定方法とを関連付けた対応付けデータを生成し前記対応付けデータ保持手段へ格納する関連付け手段とを有することを特徴とする。
【０００９】
本発明の第１の音声制御方法は、音声から文字列へ変換する規則を格納した辞書を参照して入力した音声文字に変換する音声認識ステップと、音声認識ステップで認識された文字列をコマンド列に変換しグラフィカルユーザインタフェース（ＧＵＩ）に設定するコマンド変換ステップと、ＧＵＩの状態と前記音声認識手段が参照する音声認識の方式や辞書とを対応付ける対応付けデータを保持する対応付けデータ保持手段からＧＵＩの状態に応じた対応付けデータを読み込み音声認識ステップで参照する音声認識方式や辞書を切り替える対応付け変更ステップとを有することを特徴とする。
【００１０】
本発明の第２の音声制御方法は、第１の音声制御方法において、選択されたＧＵＩの識別情報を取得するＧＵＩ取得ステップと、ＧＵＩの識別情報および前記ＧＵＩが選択された場合に使用する辞書と前記音声認識ステップの認識結果を前記ＧＵＩに設定する方法とを関連付けた対応付けデータを生成し前記対応付けデータ保持手段へ格納する関連付けステップとを有することを特徴とする。
【００１１】
本発明の第１のプログラムは、音声から文字列へ変換する規則を格納した辞書を参照して入力した音声文字に変換する音声認識ステップと、音声認識ステップで認識された文字列をコマンド列に変換しグラフィカルユーザインタフェース（ＧＵＩ）に設定するコマンド変換ステップと、ＧＵＩの状態と前記音声認識手段が参照する音声認識の方式や辞書とを対応付ける対応付けデータを保持する対応付けデータ保持手段からＧＵＩの状態に応じた対応付けデータを読み込み音声認識ステップで参照する音声認識方式や辞書を切り替える対応付け変更ステップとをコンピュータに実行させる。
【００１２】
本発明の第２のプログラムは、第１のプログラムにおいて、選択されたＧＵＩの識別情報を取得するＧＵＩ取得ステップと、ＧＵＩの識別情報および前記ＧＵＩが選択された場合に使用する辞書と前記音声認識ステップの認識結果を前記ＧＵＩに設定する方法とを関連付けた対応付けデータを生成し前記対応付けデータ保持手段へ格納する関連付けステップとをコンピュータに実行させる。
【００１３】
【発明の実施の形態】
次に、本発明の第１の実施の形態について図面を参照して詳細に説明する。
図１を参照すると、本発明の第１の実施の形態は、キーボードなどの入力手段と表示装置などの出力手段と様々なグラフィカルユーザインタフェース（ＧＵＩ）とを含むＧＵＩ１と、マイク等の音声入力機器を通じて入力された音声データを文字に変換する音声認識手段２と、音声データを文字に変換するための辞書を保持する辞書保持手段３と、音声認識手段２において変換された文字をコマンドに変換しＧＵＩ１に入力するコマンド変換手段４と、ＧＵＩ１の状態を監視するＧＵＩ監視手段５と、ＧＵＩ１の状態と音声認識手段２における音声認識の方式やアクティブにする辞書との対応付けを行う対応付けデータを保持する対応付けデータ保持手段６と、ＧＵＩ１の状態が変化した場合、ＧＵＩ監視手段５からの通知をうけて対応付けデータ保持手段６より現在アクティブになっているＧＵＩ１に対応する対応付けデータを読み込み、音声認識手段２の認識方式やアクティブにする辞書を切り替える対応付け変更手段７より構成される。
【００１４】
図２〜図６を参照して、本実施の形態の動作について詳細に説明する。
図２は、ＧＵＩ１の動作を説明するための図である。ＧＵＩ１はユーザとの様々なインタフェースに対応した複数のＧＵＩを含んでおり、図２はＧＵＩの一例として、画面にウインドウ２１、ウインドウ２２、ウインドウ２３が起動されており、ウインドウ２１がアクティブになっていることを示している。また、ウインドウ２１は、テキストボックス２０２、リストボックス２０３、ボタン２０４より構成されている。
【００１５】
ウインドウ２１では、テキストボックス２０２にキーボードで駅名を入力し、リストボックス２０３より時刻を選択し、ボタン２０４をクリックして検索を行う操作を示している。
【００１６】
図３は、対応付けデータ保持手段６に格納されたデータの一例である。
対応付けデータは、アクティブになっているＧＵＩに応じた辞書を切り替えるための規則が格納されている。図３の例では、データ１からデータＮのＮ個の対応付けデータが格納されている。各対応付けデータは、アクティブになっているアプリケーション名、ウインドウ名、ＧＵＩ名、切り替えるべき辞書名、コマンド変換方法より構成される。コマンド変換方法とは、音声が認識された場合、認識結果を用いてＧＵＩを制御する方法を意味している。
【００１７】
図３を参照すると、データ１は、アプリケーション１のウインドウ２１上のテキストボックス２０２がアクティブになったとき、一般地名強化辞書１に辞書を切り替え、上記が実行された場合、認識結果がテキストボックス２０２に挿入されること意味している。
【００１８】
データ２では、アプリケーション１のウインドウ２１上のリストボックス２０３がアクティブになったとき、時刻辞書２に辞書を切り替え、上記が実行された場合、認識結果がテキストボックス２０２の表示が認識結果に応じて切り替えられること意味している。
【００１９】
データ３では、アプリケーション１のウインドウ２１においてテキストボックス２０２およびリストボックス２０３がともにアクティブでないとき、メニュー・ボタン辞書３に切り替え、上記が実行された場合、認識結果に該当するＧＵＩ名のボタンまたは、メニューをクリックすることを意味している。
【００２０】
データＮでは、データＮ以外で指定された以外のＧＵＩの状態にアプリケーション辞書Ｎを起動し、上記が起動されたとき認識結果に該当するアプリケーション名のアプリケーションを起動することを意味している。
【００２１】
図４は、辞書保持手段３に格納される辞書の一例である。図４では、音声認識方式がディクテーションの場合の辞書とＣＦＧの場合の辞書と２種類の例を説明する。
【００２２】
図４（ａ）および（ｂ）はディクテーション用の辞書の一例である。ディクテーション用の辞書では、個々の単語の読みや表記や品詞や出現頻度等を記録するための単語列データと、単語間の出現頻度とを持つことにより、比較的広範囲の発話の認識が可能になる。
【００２３】
図４（ａ）は、前述の読みや表記や出現頻度等の個々の単語を記録するための単語列データの一例である。図４（ａ）に示すように、単語列データは、辞書名、登録する品詞、読み、表記、単語出現頻度より構成される。
【００２４】
この例では、単語列データに「固有名詞　地名」、「名詞」、「助詞」、「助動詞」の４種類の品詞が登録されている。「固有名詞　地名」として、「とうきょう」、「おおさか」、「きょうと」の読みを持つ３つの単語が登録されており、それぞれの表記は、「東京」、「京都」、「大阪」となっている。また、これらの単語出現頻度は、２．０となっている。
【００２５】
「名詞」として、「えき」、「し」、「まち」の３つの単語が登録されており、それぞれの表記は、「駅」、「市」、「町」となっている。また、これらの単語出現頻度は、「えき」が１．０、「し」および「まち」が０．５になっている。「助詞」として、「で」、「は」の２つの単語が登録されている。「助動詞」として、「です」、「ます」の２つの単語が登録されている。
【００２６】
なお、単語出現頻度は、個々の単語ごとの出現のしやすさで、値が大きいほど認識結果として出現する確率が高いことを意味している。前述の例では、固有名詞は、４つの品詞の中でもっとも出現しやすいことを示している。また、名詞の中では、「えき」は「まち」や「し」に比べて出現しやすいことを意味している。
【００２７】
図４（ｂ）は、ディクテーション用の品詞間の出現頻度を示した表である。この表では、「固有名詞　地名」と「名詞」の出現頻度を１．２とし、助動詞と助詞の出現頻度を０．１としている。これは、「固有名詞　地名」と「地名」の組み合わせの方が「助動詞」と「助詞」の組み合わせよりも出現しやすいことを示している。
【００２８】
図４（ｃ）および（ｄ）は、ＣＦＧ用の辞書の一例である。ＣＦＧ用の辞書では、単語列と単語列の組み合わせで記述する。
図４（ｃ）は、単語列の一例である。この列では、「時刻」、「接頭語」、「語尾」の３種類の単語列の登録例を示している。各単語列は、読みと表記より構成されている。単語列「時刻」では、４つの単語を登録しており、それぞれの読みは、「ろくじ」、「ごぜんろくじ」、「あさろくじ」、「あさのろくじ」、対応する表記は、「６：００」としている。
【００２９】
図４（ｄ）は、文法の一例である。文法は認識可能な単語列の順列で定義する。この例では、３つの単語列の順列を示しており、文法１では単語列「接頭語」と単語列「時刻」と単語列「語尾」の組み合わせが認識できることを示しており、このような組み合わせを定義することで「あのー、あさのろくじです」を認識することができる。同様に、文法２では、単語列「接頭語」と単語列「時刻」の組み合わせが認識できることを示しており、このような組み合わせを定義することで「ええと、あさのろくじ」を認識することができる。文法３では、単語列「時刻」と単語列「語尾」の組み合わせが認識できることを示しており、このような組み合わせを定義することで「ろくじにしてください」を認識することができる。
【００３０】
図５は、ＧＵＩが変更された場合の動作を説明するためのフローチャートである。前述の具体例を用いて、ウインドウ２１のアクティブなＧＵＩがテキストボックス２０２から同じウインドウ２１内のリストボックス２０３に変更された場合を説明する。
【００３１】
ＧＵＩ監視手段５では、保存されたＧＵＩの情報と現在アクティブなＧＵＩの情報とを比較し、異なっていれば、アクティブなＧＵＩが変更されたと判断する。ＧＵＩの情報は、アプリケーション名、ウインドウ名、ＧＵＩ名、ＧＵＩの識別番号で記述する。ＧＵＩの識別番号は、起動中のＧＵＩを識別するための番号で、この値を記録しておけば、同じウインドウ名、同じＧＵＩ名のＧＵＩがあっても、ＧＵＩが変更されたことがわかる。なお、ＧＵＩの変更がなければ終了する（ステップＡ１）。
【００３２】
ＧＵＩが変更された場合、現在のＧＵＩの情報をＧＵＩ監視手段５と対応付け変更手段７に送り、更新する（ステップＡ２）。
【００３３】
対応付け変更手段７では、これを受けて、対応付けデータ保持手段６から対応するデータを読み込む（ステップＡ３）。前述の例で説明すると、アプリケーション名がアプリ１、ウインドウ名がウインドウ２１、ＧＵＩ名がリストボックス２０３の場合に対応する対応付けデータであるデータ２が対応付けデータ保持手段６より読み込まれる。
【００３４】
また、対応付け変更手段７は、音声認識手段２に、辞書変更命令を送る。辞書変更命令では、切り替えるべき辞書名も併せて送る。音声認識手段２はこれを受けて、辞書を切り替える（ステップＡ４）。前述の例で説明すると、音声認識手段２では、選択する辞書であるデータ２の時刻辞書２に変更する。
【００３５】
さらに、対応付け変更手段７は、ステップＡ３で読み込んだ対応付けデータに記述されたコマンド変換方法をコマンド変換手段４に送り、コマンド変換手段４では、コマンド変換方法を変更する（ステップＡ５）。前述の例で説明すると、コマンド変換手段４に、データ２のコマンド変換方法が送られる。これにより、コマンド変換手段４は、音声認識手段２より認識結果として値が送られてきた場合、値と同名に表示を変更するようになる。
【００３６】
図６は、音声認識手段２に音声が入力された場合の動作を説明するためのフローチャートである。前述の例に従って、テキストボックス２０２がアクティブになっている場合を一例として説明する。
【００３７】
音声認識手段２に音声が入力されると、現在選択中の辞書を使用して音声認識を行う（ステップＢ１）。音声認識の結果、認識結果が得られない場合は終了する。
【００３８】
音声が認識された場合、入力した音声と最も近い「よみ」が認識結果として返す（ステップＢ２）。読みに対応する値が設定されているので、この値を取得する（ステップＢ３）。前述の図４で説明したように、選択中の辞書が一般地名強化辞書１で、読みが「とうきょう」の場合、値として「東京駅」が取得される。
【００３９】
コマンド変換手段４では、あらかじめ、現在のＧＵＩの状態に対応した対応付けデータを対応付け変更手段７を通して読み込んでいる。前述の値を受けて対応付けデータに記述されたＧＵＩへの設定方法にＧＵＩに設定する（ステップＢ４）。前述の例に従って説明すると、テキストボックス２０２がアクティブになっている場合、コマンド変換手段４には、データ１が読み込まれている。ステップＡ３で取得した値が「東京」である場合、コマンド変換手段４は、データ１に従って、テキストボックス２０２に「東京」を設定する。
【００４０】
次に、本発明の第２の実施の形態について図面を参照して説明する。第２の実施の形態は、第１の実施の形態における対応付けデータの生成に関するものである。
【００４１】
図７に示すように本発明の第２の実施の形態の構成は、ＧＵＩ１と、選択中のＧＵＩの識別情報を取得するＧＵＩ取得手段７０２と、音声認識用の辞書保持手段３と、前述の文法を用いて認識した結果をＧＵＩに設定する方法を格納した設定方法データベース７０３と、前述のＧＵＩ取得手段７０２で取得したＧＵＩの識別情報と前述のＧＵＩが選択された場合に使用する辞書とＧＵＩへの設定方法とを関連付けて設定方法を作成する対応付け手段７０４と、作成した対応付けデータを格納する対応付けデータ保持手段６とを含む。
【００４２】
次に第２の実施の形態の動作を第１の実施の形態で用いた例に基づいて説明する。図８は、第２の実施の形態の動作を説明するためのフローチャートである。まず、対応付けデータを作成する対象となるＧＵＩを含むアプリケーションおよびウインドウを起動し、対象のＧＵＩをアクティブにする（ステップＣ１）。
【００４３】
以下のフローチャートの動作の具体例として、図２に示したウインドウ２１におけるテキストボックス２０２、リストボックス２０３、ボタン２０４に対応する対応付けデータを作成する方法を説明する。ステップＣ１を受けて、ＧＵＩの識別情報を取得する（ステップＣ２）。
【００４４】
図９はＧＵＩの識別情報を説明するための図である。ＧＵＩの識別情報としては、ウインドウ名、ＧＵＩ名、ＧＵＩのタイプを含む。テキストボックス２０２をアクティブにした場合、ウインドウ名としてウインドウ２１、ＧＵＩ名としてテキストボックス２０２、ＧＵＩタイプとしてテキストボックス、であること意味している。
【００４５】
ステップＣ２のＧＵＩの識別情報を受けて、設定方法データベース７０３より設定方法データを取得する（ステップＣ３）。設定方法は、ＧＵＩの型毎に音声認識手段２の結果をＧＵＩ設定する方法である。設定方法データは、設定方法名と設定するＧＵＩの型とＧＵＩへの設定方法から構成される。
【００４６】
図１０は、設定方法データベース７０３の一例を示し、設定方法データベース７０３には設定方法１から設定方法３までの３つの設定方法データが格納されている。設定方法１では、設定するＧＵＩの型がテキストボックスの場合、音声認識手段２での結果をテキストボックスに設定することを定めている。設定方法２では、設定するＧＵＩの型がリストボックスの場合、音声認識手段２での結果と一致する表記をリストの中から選択して表示することを定めている。設定方法３では、設定するＧＵＩの型がボタンまたはメニューの場合、音声認識手段２の結果と一致するボタンまたはメニューを実行することを定めている。例えば、図９のステップＣ２において識別されたＧＵＩがテキストボックス型である場合、設定方法１が選択される。
【００４７】
次に、選択したＧＵＩに対応させる辞書を辞書保持手段３より選択する（ステップＣ４）。辞書保持手段３にはあらかじめ作成された辞書が複数格納されている。
【００４８】
最後に、ステップＣ２で取得したＧＵＩの識別情報とステップＣ３で取得した設定方法とステップＣ４で設定した辞書とを組み合わせて対応付けデータとし、対応付けデータ保持手段６に保存する。
【００４９】
【発明の効果】
第１の効果は、音声で入力ＧＵＩを制御できることにより、キーボード、マウス、タッチパネルなどの入力装置に非接触でＧＵＩを制御できることである。
【００５０】
第２の効果は、全てのＧＵＩを監視し、監視対象のアプリケーションとは別にプログラムを持つことで、既存のアプリケーションに音声入力機能を追加できることである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の構成図である。
【図２】本発明の第１の実施の形態の動作を説明するためのＧＵＩの一例である。
【図３】本発明の第１の実施の形態の動作を説明するための対応付けデータ６に格納されたデータの一例である。
【図４】本発明の第１の実施の形態の動作を説明するための辞書保持手段３に格納された辞書の一例である。
【図５】本発明の第１の実施の形態の動作を説明するためのフローチャートである。
【図６】本発明の第１の実施の形態の動作を説明するためのフローチャートである。
【図７】本発明の第２の実施の形態の構成図である。
【図８】本発明の第２の実施の形態の動作を説明するためのフローチャートである。
【図９】本発明の第２の実施の形態の動作を説明するための選択中のＧＵＩの情報の一例である。
【図１０】本発明の第２の実施の形態の動作を説明するための設定方法データベース７０３に格納されたデータの一例である。
【符号の説明】
１　　ＧＵＩ
２　　音声認識手段
３　　辞書保持手段
４　　コマンド変換手段
５　　ＧＵＩ監視手段
６　　対応付けデータ保持手段
７　　対応付け変更手段
２１、２２、２３　　ウインドウ
２０２　　テキストボックス
２０３　　リストボックス
２０４　　ボタン
７０２　　ＧＵＩ取得手段
７０３　　設定方法データベース
７０４　　対応付け手段
【図１】
2004062517.tif 000003
【図２】
2004062517.tif 000004
【図３】
2004062517.tif 000005
【図４】
2004062517.tif 000006
【図５】
2004062517.tif 000007
【図６】
2004062517.tif 000008
【図７】
2004062517.tif 000009
【図８】
2004062517.tif 000010
【図９】
2004062517.tif 000011
【図１０】
2004062517.tif 000012