(57)【要約】【課題】装置に認識可能なキーワード等を容易に習得できるようにする。【解決手段】音声認識によって原言語の用例の候補を表示させる際に、装置に認識可能なキーワードにアンダラインを付加することなどによって、どのようなキーワードを入力すればよいかを容易に習得できるようになる。また、対話場面などに応じた翻訳を行わせ得る装置の場合には、用例に対応する対話場面を示す情報を表示させることによって、逆にどのような対話場面の指定によって用例を検索できるかを習得することも容易にできる。【選択図】    図１１
2004295578.tif 000002
【特許請求の範囲】
【請求項１】
原言語のキーワードを含む音声の入力に応じて、上記キーワードを含む原言語の用例に対応する翻訳言語の用例を提示する翻訳装置であって、
音声が入力される音声入力手段と、
音声によって入力されたキーワードに対応した原言語の用例を検索する原言語用例検索手段と、
検索された原言語の用例を表示部に表示させるとともに、表示される原言語の用例に含まれる少なくとも上記入力されたキーワードとは異なるキーワードの部分を強調して表示させる原言語用例表示制御手段と、
上記原言語の用例に対応する翻訳言語の用例を音声出力および表示のうちの少なくとも何れか一方で提示する翻訳言語用例提示手段と、
を備えたことを特徴とする翻訳装置。
【請求項２】
請求項１の翻訳装置であって、
さらに、原言語の用例と、その用例に含まれるキーワードと、その用例に対応する翻訳言語の用例とを対応させて保持する用例データベースを備え、
上記原言語用例表示制御手段は、上記用例データベースに保持されたキーワードに基づいて、上記キーワードの部分の強調表示を行わせるように構成されていることを特徴とする翻訳装置。
【請求項３】
請求項１の翻訳装置であって、
上記原言語用例検索手段は、１つ以上のキーワードを含む連続した音声の入力に応じた原言語の用例を検索する連続音声認識を行うように構成されていることを特徴とする翻訳装置。
【請求項４】
請求項１の翻訳装置であって、
上記原言語用例検索手段は、区切られた音声で入力された１つ以上のキーワードを含む原言語の用例を検索するように構成されていることを特徴とする翻訳装置。
【請求項５】
請求項３および請求項４のうちの何れか１項の翻訳装置であって、
上記原言語の用例表示制御手段が、原言語の複数の用例の候補を表示させるとともに、
上記翻訳言語用例提示手段は、上記原言語の複数の用例の候補のうちから選択された用例の候補に対応する翻訳言語の用例を提示するように構成されていることを特徴とする翻訳装置。
【請求項６】
請求項１の翻訳装置であって、
さらに、文字が入力される文字入力手段を備え、
上記原言語用例検索手段は、さらに、文字入力によって入力されたキーワードに対応した原言語の用例、または上記音声によって入力されたキーワードと文字入力によって入力されたキーワードとの両方に対応した原言語の用例を検索するように構成されていることを特徴とする翻訳装置。
【請求項７】
請求項６の翻訳装置であって、さらに、
原言語のキーワードの読みと対応させて、そのキーワードの表記と、そのキーワードを含む原言語の用例を特定する情報とを保持するキーワードインデックスデータベースと、
上記キーワードインデックスデータベースを参照して、文字入力によって入力されたキーワードの読みに対応した表記の表示を表示部に行わせるキーワード表示制御手段とを備えるとともに、
上記原言語用例検索手段は、上記キーワードインデックスデータベースを参照して、上記原言語の用例を検索するように構成されていることを特徴とする翻訳装置。
【請求項８】
請求項１および請求項６のうちの何れか１項の翻訳装置であって、
さらに、用例が用いられるドメインの指定に応じて、その指定されたドメインで用いられる原言語の用例、またはその指定されたドメインで用いられ、かつ、音声によって入力されたキーワードに対応した原言語の用例を検索するドメイン内原言語用例検索手段を備え、
上記翻訳言語用例提示手段は、さらに、上記ドメインの指定に応じた翻訳言語の用例を提示し得るように構成されるとともに、
上記原言語用例表示制御手段は、音声によって入力されたキーワードに対応した原言語の用例を表示部に表示させる際に、その用例が用いられるドメインを示す情報を併せて表示させるように構成されていることを特徴とする翻訳装置。
【請求項９】
原言語のキーワードを含む音声の入力に応じて、上記キーワードを含む原言語の用例に対応する翻訳言語の用例を提示するとともに、
用例が用いられるドメインの指定に応じて、その指定されたドメインで用いられる原言語の用例に対応する翻訳言語の用例を提示する翻訳装置であって、
音声が入力される音声入力手段と、
音声によって入力されたキーワードに対応した原言語の用例を検索する原言語用例検索手段と、
上記原言語の用例、およびその用例が用いられるドメインを示す情報を表示部に表示させる原言語用例表示制御手段と、
上記原言語の用例に対応する翻訳言語の用例を音声出力および表示のうちの少なくとも何れか一方で提示する翻訳言語用例提示手段と、
を備えたことを特徴とする翻訳装置。
【請求項１０】
請求項９の翻訳装置であって、
さらに、原言語の用例と、その用例が用いられるドメインを示す情報と、その用例に対応する翻訳言語の用例とを対応させて保持する用例データベースを備え、
上記原言語用例表示制御手段は、原言語の用例と伴に、上記用例データベースに保持された、用例が用いられるドメインを示す情報を表示部に表示させるように構成されていることを特徴とする翻訳装置。
【請求項１１】
請求項１０の翻訳装置であって、
上記用例が用いられるドメインを示す情報は、ドメインの抽象度に応じて複数段階に階層化されていることを特徴とする翻訳装置。
【請求項１２】
請求項９の翻訳装置であって、
さらに、用例が用いられるドメインを示す情報と対応させて、そのドメインで用いられる原言語の用例を特定する情報を保持するドメインインデックスデータベースを備えるとともに、
上記原言語用例検索手段は、上記ドメインインデックスデータベースを参照して、上記原言語の用例を検索するように構成されていることを特徴とする翻訳装置。
【請求項１３】
請求項１および請求項９のうちの何れか１項の翻訳装置であって、さらに、
原言語の用例における、同じクラスに属して互いに置換可能な単語を対応付けて保持するクラス単語辞書と、
上記原言語用例表示制御手段によって表示される原言語の用例に含まれる単語を、同じクラスに属する他の単語に置換する単語置換手段とを備え、
上記翻訳言語用例提示手段は、上記単語が置換された原言語の用例に対応する翻訳言語の用例を提示するように構成されていることを特徴とする翻訳装置。
【請求項１４】
請求項１３の翻訳装置であって、
上記原言語用例表示制御手段は、置換可能な単語を識別し得るように表示させるとともに、上記単語と同じクラスに属する単語の一覧を表示させるように構成されていることを特徴とする翻訳装置。
【請求項１５】
請求項１および請求項９のうちの何れか１項の翻訳装置であって、さらに、
上記原言語の用例と対応させて、翻訳言語の用例に対する相手方の応答を入力するための応答入力画面を示す応答パターンデータを保持する応答パターンデータベースと、
上記応答パターンデータに基づいて、表示部に応答入力画面を表示させる応答入力画面表示制御手段と、
上記応答入力画面に対してなされた応答操作に応じて、応答内容を原言語による音声出力および表示のうちの少なくとも何れか一方で提示する原言語応答提示手段と、
を備えたことを特徴とする翻訳装置。
【請求項１６】
請求項１４の翻訳装置であって、
上記応答入力画面は、グラフィカルユーザインタフェイスによる入力画面であり、
上記応答パターンデータは、グラフィカルユーザインタフェイスのテンプレートデータであることを特徴とする翻訳装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、入力された原言語の文などを目的言語（翻訳言語）に変換して音声等で出力する翻訳装置に関し、特に携帯型の音声翻訳装置に関する技術に属するものである。
【０００２】
【従来の技術】
音声入力による音声通訳システムは、例えば実験室環境では、ワークステーションやパーソナルコンピュータで動作するソフトウェアとして開発され、複数のキーワードを含む連続した音声の入力に対して連続音声認識を行い、翻訳文を出力するようになっている。そのような実験室環境における音声通訳システムの基本性能は、会話の範囲を旅行会話などのドメイン（場面）に限定し、かつそのシステムの使い方を熟知しているユーザが使用する場合には、実用に近いレベルにまで到達している。
【０００３】
一方、一般の海外旅行者が実際の旅行で使うことなどができるようにするためには、よりユーザビリティを高める必要があり、例えば容易に携行できる程度の大きさのハードウェアに実装し、かつ、簡単に操作できるユーザインタフェイスを持たせる必要がある。このようなユーザビリティの向上を試みた翻訳装置としては、例えば、片手で持つことができる程度のＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｃｅ）に対して、ワークステーションやパーソナルコンピュータ上で開発されたソフトウェアを機能や性能を制限して移植したものが知られている（例えば非特許文献１参照）。
【０００４】
【非特許文献１】
Ｋｅｎｊｉ  Ｍａｔｓｕｉ  ｅｔ  ａｌ．”ＡＮ  ＥＸＰＥＲＩＭＥＮＴＡＬ  ＭＵＬＴＩＬＩＮＧＵＡＬ  ＳＰＥＥＣＨ  ＴＲＡＮＳＬＡＴＩＯＮ  ＳＹＳＴＥＭ”，  Ｗｏｒｋｓｈｏｐｓ  ｏｎ  Ｐｅｒｃｅｐｔｕａｌ／Ｐｅｒｃｅｐｔｉｖｅ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅｓ  ２００１，  ＡＣＭ  Ｄｉｇｉｔａｌ  Ｌｉｂｒａｒｙ，  ＩＳＢＮ  １−５８１１３−４４８−７
【０００５】
【発明が解決しようとする課題】
しかしながら、上記のような翻訳装置は、ユーザビリティという観点から、以下のような点で、一般の海外旅行者が実際の旅行で使うことができるレベルに到達しているとは言えない面がある。
【０００６】
つまり、上記のような音声認識を用いる翻訳装置では、あらかじめ装置で想定されている音声を入力する必要がある。すなわち、音声入力を確実に行うためには、装置が受理しやすいキーワードや文をユーザが事前に熟知していることが必要になる。そのためには、例えば取扱説明書などにそのような文等を列挙し、ユーザがそれを熟読して暗記するなど、音声入力の仕方に習熟することなども考えられるが、それは、ユーザに過大な負担をかけることになり、一般的に困難である。
【０００７】
また、ユーザが音声入力の仕方に習熟していなければ、例えば周囲の雑音が大きい場合などに、装置によって音声入力内容が正しく認識されないようなことがあると、その原因が、翻訳させようとしたキーワードや文が装置に登録されていないためなのか、または登録はされているが周囲の雑音が大きいからなのかなどを判別することが困難である。そのため、入力を断念すべきなのか、声を大きくしたり明瞭に発声するなど発声方法を調整して再発声すべきなのかを判断することも困難である。
【０００８】
また、翻訳装置が双方向に翻訳できる場合、翻訳された質問によって相手に問いかけ、相手からの返事をまた翻訳させるというような使い方をすることも考えられるが、その場合、相手方が使い方に習熟していなくても容易に使える程度にユーザビリティを高める必要がある。
【０００９】
上記の点に鑑み、本発明は、簡単な操作で原言語の文などを適切に目的言語に翻訳させることができるとともに、操作に習熟することも容易にできて、より適切な翻訳をさせることも容易にできるようにすることを課題とする。
【００１０】
【課題を解決するための手段】
上記の課題を解決するために、本発明は、音声入力により原言語の用例を検索させ、表示させて、これに対応する翻訳言語の用例を表示させたり音声出力させたりする翻訳装置において、原言語の用例を表示させる際に、装置が認識可能なキーワードに対して、下線や所定の記号を付したり、字体や文字修飾を他の部分と異ならせるなどの強調表示により識別可能に表示させる。これにより、特に装置の操作に習熟するための時間や労力をかけることなく、どのような文やキーワードを入力すれば効率よく翻訳させられるかを容易に習得できる。
【００１１】
上記のような表示は、例えば原言語の用例と翻訳言語の用例とを対応させて保持させる用例データベースに、さらにキーワードも保持させることによって容易に行わせることができる。
【００１２】
また、キーワードを文字入力することによる用例検索や、用例が用いられるドメイン（場面）を指定することによる用例検索も併用することによって、これらによる正確性と音声入力による簡便性とを活かした検索ができるうえ、上記のような適切なキーワードの習得は、上記文字入力による検索を効率良くするためにも有効である。さらに、用例の表示と併せて、その用例が用いられるドメインを示すアイコンなどの情報も表示させることにより、その装置で指定可能なドメインや、指定するドメインと用例との対応関係なども習得することができるので、ドメイン指定による検索効率も容易に高めることができる。
【００１３】
また、同種の単語を入れ替えても適用できるような用例に対して、そのような単語を置換して翻訳言語の例文を提示させ得るようにすることにより、操作性を向上させたりデータ量を少なく抑えたりすることが容易にできる。
【００１４】
また、何かを問いかけるような用例など、対話の相手方からの応答が返されるような用例に対して、想定される応答に応じたグラフィカルユーザインタフェイスのテンプレートを用いた表示などを自動的にさせることによって、装置の操作方法を知らないような相手からの応答でも容易かつ確実に受け取って原言語で把握できるようにすることができる。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００１６】
（翻訳装置の外観構成）
翻訳装置は、市販の一般的なＰＤＡや小型のパーソナルコンピュータなどにソフトウェアが組み込まれることによって構成されている。具体的には、例えば図１に示すように、音声による入出力を行うためのマイクおよびスピーカから成る音声入力部１０１（音声入力手段）および音声出力部１０２（翻訳言語用例提示手段、原言語応答提示手段）と、例えばタッチパネル付きの液晶ディスプレイから成るＧＵＩ部１０３（翻訳言語用例提示手段、文字入力手段、原言語応答提示手段）（ＧＵＩ：Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）とを備えている。
【００１７】
上記ＧＵＩ部１０３には、翻訳装置の状態に応じて、例えば以下のような各部が表示されるとともに、スタイラス１０４などによって、表示されるオブジェクトに対する操作、入力が行われる。
【００１８】
用例検索モード指定部１０５は、音声検索ボタン１０５ａ、ドメイン検索ボタン１０５ｂ、およびキーワード検索ボタン１０５ｃを有し、後に詳述するように、用例の検索を、音声入力、用例のドメイン（場面）指定、または文字によるキーワード入力の何れに基づいて行うかの検索モードを指定し得るようになっている。
【００１９】
ユーザ切替部１０６は、目的言語への変換が完了した時点で、相手に渡して返事をもらえるようにするための画面の切り替えを指示し得るようになっている。
【００２０】
また、ＧＵＩ部１０３におけるその他の部分の表示内容や入力機能は、ユーザによって指定された検索モードや、操作ステップの進行状況に応じて、後述するように種々に変化する。
【００２１】
なお、容易に類推して実現できることから図１には示していないが、ＰＤＡやパーソナルコンピュータにボタンやキーボードなどの入力デバイス実装されている場合は、スタイラス１０４の代わりにこれらの入力デバイスを用いてＧＵＩ部１０３を操作することも可能である。
【００２２】
（翻訳装置の機能的構成）
図２は翻訳装置の機能的構成を示すブロック図である。
【００２３】
同図において、
音声入力部１０１、音声出力部１０２、およびＧＵＩ部１０３は、前記図１を参照して説明した通りである。
【００２４】
制御部２０１（原言語用例表示制御手段、キーワード表示制御手段、応答入力画面表示制御手段）は、翻訳装置の各部の動作、および各部間の情報の流れを制御するものである。具体的には、例えばＧＵＩ部１０３に表示のための情報を送って表示を行わせたり、ＧＵＩ部１０３に対するユーザの入力操作に応じた情報を受け取って、これに基づいた処理を行ったりするようになっている。ここで、図２における太線の矢印は、音声入力、用例のドメイン指定、および文字によるキーワード入力による用例の検索モードに共通の情報の流れを示している。
【００２５】
音声認識部２０２（原言語用例検索手段の一部）は、音声入力部１０１に入力されたユーザの音声を連続音声認識するものである。上記連続音声認識については後述する。
【００２６】
用例データベース２０３は、用例番号と対応させて、原言語と目的言語の用例（例文）等を保持するものである。具体的には、例えば図３に示すように、それぞれ例えば対話の１文に対応する以下のようなデータが各フィールドに保持されている（同図においては４つの用例２２１〜２２４の例について示している。）。
「用例番号：」フィールド
このフィールドには、用例データベース２０３に保持されている各用例を特定するための識別子である用例番号が保持されている。この用例番号は、他の用例と重複することがないように割り当てられている。
「大分類：」「中分類：」「小分類：」
このフィールドには、その用例による対話が行われるドメインを示す分類コード（分類の名称）が保持されている。上記分類コードは、後述するドメインインデックスデータベース２０５に保持される分類コードに対応している。
「キーワード：」フィールド
このフィールドには、用例に含まれるキーワード、すなわち、その用例をキーワード検索によって検索することが可能なキーワードが保持されている。
「原言語：」フィールド
このフィールドには、原言語による用例が保持されている。この用例における不等号で囲まれた単語は、クラス化された単語、すなわち同じクラスに属する他の単語と置換することが可能な単語であることを示している。例えば用例番号がＡＨ００００１の用例２２３における「＜日数＞」や用例番号ＫＤ００００２の用例２２４における「＜薬＞」は、他の単語との置換が可能なクラス化された単語であることを示している。
「原言語の構成要素：」「構成要素の依存関係：」フィールド
このフィールドには、原言語の用例に含まれる単語などの構成要素と、その繋がり関係を示すデータが保持されている。このデータは、用例を音声で検索する際に用いられ、これらの繋がり関係等が合致しているかどうかなどによって、音声の誤認識が判別、推定され得るようになっている。
「目的言語：」フィールド
このフィールドには、目的言語による用例、すなわち前記原言語による用例が翻訳された用例が保持されている。
「相手の応答型：」「相手の応答用例：」フィールド
このフィールドには、各用例が相手の応答を求めるものである場合に、相手の応答を得るために表示等する画面のパターンを示す“相手の応答型番号”や用例を示す用例番号が保持されている。
【００２７】
なお、用例として保持される内容は、特に限定されないが、例えば装置の使用目的等に応じて、旅行会話で使用される頻度が高い文例を多く含めるなどしてもよい。
【００２８】
キーワードインデックスデータベース２０４は、用例データベース２０３に保持された用例をキーワードに基づいて検索する際に、その検索を容易（高速）にするために参照されるもので、例えば図４に示すように、キーワードの読みと対応して、キーワードの表記、および用例データベース２０３に保持された、そのキーワードを含む用例を特定するための用例番号（インデックス情報、索引情報）が保持されている。ここで、１つのキーワードの表記に対して２つ以上の読みを与えるようにしてもよい。
【００２９】
ドメインインデックスデータベース２０５は、用例データベース２０３に保持された用例を、各用例が用いられるドメイン（場面）に応じて検索する際に、その検索を容易にするために参照されるもので、例えば図５に示すように、ドメインを示す情報と対応させて、用例データベース２０３に保持された用例を特定するための用例番号が保持されている。より詳しくは、ドメインは、例えば大分類、中分類、および小分類の３階層に構造化され、各ドメインは、「基本フレーズ」や「あいさつ」などの分類コードと、各ドメインをユーザに判りやすく表示するためのアイコンのデータと、下位のドメインを特定するためのポインタを含んでいる。また、末端のドメイン（より下位のドメインを有しないドメイン）は、用例を特定するための１つ以上の用例番号を含んでいる。具体的には、例えば中分類の分類コードが「はい・いいえ」であるドメインは下位分類のドメインを持たないので、用例番号の集合を持ち、その中には用例データベース２０３中の原言語が「はい」である用例２２２を示す用例番号等が含まれている。同様に、小分類の分類コードが「一般」であるドメインも下位分類のドメインを持たないので、用例番号の集合を持ち、その中には用例データベース２０３中の原言語が「やあ」である用例２２１を示す用例番号等が含まれている。このようにドメインを階層化したドメインインデックスデータベース２０５が設けられることによって、ユーザは、上位分類のドメインから下位分類のドメインへとドメインの分類を辿って、特定の場面で用いられる用例を用例データベース２０３の中から速やかに検索することができる。
【００３０】
クラス単語辞書２０６は、例えば図６に示すように、用例データベース２０３に保持された用例に含まれる単語のうち、他の単語と置換可能な単語がクラス化（グループ化）されたものを対応付けて保持している。
【００３１】
より詳しくは、クラスとは「薬」や「果物」のように抽象度の高い単語のことである。同図における同じ「クラス名」に所属する「原言語」と「目的言語」の単語の対の中で、最初の行はクラス代表単語である。例えば、クラス名＜薬＞において、「薬」”ｍｅｄｉｃｉｎｅ”はクラス名＜薬＞のクラス代表単語である。それ以外の行はクラスの具体的な実体を表現するメンバ単語である。例えば、クラス名＜薬＞において「アスピリン」”ａｓｐｉｒｉｎ”や「トローチ」”ｔｒｏｃｈｅ”などはクラス名＜薬＞のメンバ単語である。なお、クラス単語辞書２０６はクラスを階層化して構成してもよい。また、必ずしも抽象度の高い単語を代表単語とせずに、メンバ単語の何れかを代表単語とするなどしてもよい。また、ここで、上記「単語」は、文法上の厳密な単語を意味するものではなく、単語の一部や複数の単語の組み合わせなどでもよく、置換の対象となり得る単位の語であればよい。また、キーワード検索に用いられるキーワードが置換の対象となるようにしてもよい。
【００３２】
用例検索部２０７（原言語用例検索手段の一部）は、音声認識部２０２による音声認識などの結果として制御部２０１等から送られてくる用例番号に基づいて、用例データベース２０３に保持されている原言語の用例を検索し、１つ以上の用例候補と、各用例候補に含まれるキーワードと、他の単語に置換可能な単語とを出力するようになっている。
【００３３】
キーワード検索部２０８（原言語用例検索手段の一部）は、ＧＵＩ部１０３の文字入力操作によって入力されたキーワードの読みに基づいて、前方一致で、キーワードインデックスデータベース２０４に保持されているキーワードの表記を検索し、１つ以上のキーワード候補の表記を制御部２０１に出力し、ＧＵＩ部１０３に表示させるようになっている。また、複数のキーワード候補のうちの１つがＧＵＩ部１０３の操作によって選択されると、そのキーワードに対応する、すなわちそのキーワードを含む用例の用例番号をキーワードインデックスデータベース２０４から検索し、用例検索部２０７に出力するようになっている。
【００３４】
置換単語検索部２０９は、ユーザによって、用例検索部２０７により検索されてＧＵＩ部１０３に表示された複数の用例候補のうちの何れか１つが選択され、さらに、その用例に含まれる置換可能な単語を他の単語に置換する指示がなされたときに、上記他の単語の候補となる置換候補単語をクラス単語辞書２０６から検索し、制御部２０１に出力するようになっている。
【００３５】
言語変換部２１０（単語置換手段）は、ユーザによる用例候補のうちの１つの用例の選択に応じて、その用例を目的言語に変換し、すなわち、目的言語による用例を用例データベース２０３から読み出して、制御部２０１に出力し、ＧＵＩ部１０３に表示させるようになっている。また、上記用例について単語の置換操作がなされた場合には、クラス単語辞書２０６から置換する単語の目的言語の表現を読み出して、制御部２０１に出力するようになっている。
【００３６】
音声合成部２１１は、目的言語による用例に対して音声合成を行うようになっている。
【００３７】
音声出力部１０２は、音声合成部２１１の出力を音声としてユーザ（相手方）に提示するようになっている。
【００３８】
また、応答パターンデータベース２１２は、上記用例が相手の応答を求めるものである場合に、相手の応答を得るために表示等を行うためのＧＵＩテンプレートを保持するものである。具体的には、応答パターンデータベース２１２は、例えば図７に示すように、それぞれ“相手の応答型番号”と対応して応答の種類等を示す応答タイプ情報が保持された相手応答タイプテーブル２３１と、それぞれの“相手の応答型番号”に対応した、目的言語によるＧＵＩテンプレート２３２・２３３等を表示させるためのテンプレートデータから構成される。
【００３９】
上記“相手の応答型番号”は、用例データベース２０３の各用例における「相手の応答型：」フィールドに設定される値である。すなわち、例えば前記図３における用例番号がＫＤ００００２の用例２２４についての「相手の応答型：」フィールドには値「１０」が設定されているので、上記用例がユーザにより選択されて目的言語による用例が相手に提示される際には、“相手の応答型番号”「１０」によって検索される応答タイプ情報「１０  質問  Ｙｅｓ．／Ｎｏ．」によって、上記用例は質問であって、これに対する相手の応答は「Ｙｅｓ」または「Ｎｏ」の形式であることが示され、その形式に応じたＧＵＩテンプレート２３２が表示されることによって、相手に「Ｙｅｓ」または「Ｎｏ」のボタン操作をしてもらうだけで相手の適切な返事を容易に得ることができる。また、同様に、例えば用例番号がＡＨ００００１の用例２２３についての「相手の応答型：」フィールドには値「６」が設定されているので、その用例が選択された場合には、応答タイプ情報「６  時間間隔  ＤＤＨＨＭＭ」が検索され、ＧＵＩテンプレート２３３が表示されることによって、相手にソフトキーボード２３４を用いて「ｄａｙｓ」「ｈｏｕｒｓ」「ｍｉｎ．」フィールドに数値を入力する操作をしてもらえば、やはり相手の返答を容易に得ることができる。なお、相手の応答に対する原言語訳は、応答パターンデータベース２１２や用例データベース２０３にテーブルなどとして保持させるようにしてもよいし、対応する用例の用例番号を保持させるなどしてもよい。このように相手の応答を容易に得られるようにすることにより、目的言語の相手が応答に使用する可能性が高い用例などを豊富に提供することも容易にできるようになる。
【００４０】
以下、上記のように構成された翻訳装置の動作について、図８、９に基づいて説明する。図８は、原言語の用例を指定して目的言語の用例を提示させる動作を示すフローチャートである。また、図９は、上記提示に応じて、相手の応答を得る場合の動作を示すフローチャートである。
【００４１】
ここで、図８における、（Ｓ１０１）〜（Ｓ１０３）は、音声入力によって用例を検索するモードの動作、（Ｓ１１１）〜（Ｓ１１４）は、文字入力によるキーワードの指定によって用例を検索するモードの動作、（Ｓ１２１）〜（Ｓ１２３）は、用例が用いられるドメインの指定によって用例を検索するモードの動作を示し、（Ｓ１３１）〜（Ｓ１３８）、および図９は、何れのモードにも共通の動作である。
【００４２】
（翻訳装置の動作：音声検索）
まず、音声検索が行われる場合を例に挙げて説明する。
【００４３】
（Ｓ１０１）  図１０に示すように、用例検索モード指定部１０５の音声検索ボタン１０５ａが操作されるとともに、ユーザが音声入力部１０１に対して「あの、なにかくすりわありませんか」と発声すると、音声入力部１０１は入力された音声に応じた信号を音声認識部２０２に出力し、音声認識部２０２が音声認識を行って、認識結果を制御部２０１に出力する。なお、音声認識部２０２がその内部で使用する言語モデルは、用例データベース２０３が保持する用例の「原言語：」フィールドの文から構築されている。また、一般に言語モデルを構築するためには、文を形態素などの最小単位に分割する必要があり、音声認識部２０２の出力はその最小単位の系列となる。また、「原言語の構成要素：」フィールドが保持する構成要素もその最小単位によって作成されている。
【００４４】
ここで、以下では、ユーザの発声した「あの、なにかくすりわありませんか」に対して、誤認識を含んだ「７日薬はありますか」という認識結果が音声認識部２０２から出力された場合について説明する。この場合、制御部２０１は、「７日薬はありますか」から用例を検索するように用例検索部２０７に指示することになる。
【００４５】
（Ｓ１０２）  用例検索部２０７は、「７日薬はありますか」という音声認識結果から、用例データベース２０３で定義されている用例の「原言語の構成要素：」のフィールドに出現する単語、すなわち、重要語（キーワード）の集合、
「７日」，「薬」，「あり」
を抽出する。ここで、図６に示すように「７日」はクラス単語＜日数＞のメンバ単語であり、「薬」はクラス単語＜薬＞のメンバ単語なので、用例検索部２０７は、用例の検索を行う際には、クラス単語辞書２０６を参照して、「７日」および「薬」は用例データベース２０３の「原言語の構成要素：」フィールドに設定されている＜日数＞、＜薬＞と同じであるとして処理する。
【００４６】
用例検索部２０７は、次に、用例データベース２０３のキーワードとして「＜日数＞」「＜薬＞」「ある」を含む図３の各用例２２３・２２４について「原言語の依存関係：」のフィールドを参照して依存関係を順次確認し、依存関係が所定数以上（例えば１つ以上）成立する用例を検索結果とする。具体的には、例えば、用例２２３については、重要語の集合の中に「かかり」という語が存在しないので依存関係の成立数は０である。一方、用例２２４については、重要語の集合の中に「何か」が存在しないので、構成要素の依存関係として
（（１）→（２））
は成立しないが、
（（２）→（３））
は成立し、依存関係の成立数は１となる。そこで、上記用例２２４「何か＜薬＞はありますか」が原言語の用例の候補として検索される。（以下の説明では、同様にして、用例データベース２０３の中の他の用例、「薬ですか」および「薬です」も検索されたとして説明する。
【００４７】
（Ｓ１０３）  用例検索部２０７は、上記検索の結果として、各用例の候補と、これらに含まれる「薬」が、キーワードであること、および置換可能な単語であることを示す情報と、これらの用例に対応するドメイン（例えば大分類の分類コードまたはアイコンデータなど）を制御部２０１に出力する。そこで、制御部２０１は、図１１に示すように、ＧＵＩ部１０３における用例候補選択領域１１１に３つの用例候補を表示させるとともに、各用例中のキーワード「薬」にアンダーラインを付し、また、ドメインを示すアイコンを表示させる。なお、表示の形式は上記に限らず、例えば各用例候補の末尾に大括弧で大分類の名称を付加したり、大分類に代えて、または大分類と伴に中分類や小分類のドメインを表示させるようにしたり、また、キーワードと置換可能な単語であることを示すために階調反転文字や「＜＞」を付加するなどすることも可能である。
【００４８】
（Ｓ１３１）  次に、制御部２０１は、ユーザによる上記３つの用例候補のうちの何れかの選択操作を受け付け、例えば図１２に示すように「何か薬はありますか」が選択されたとすると、その用例を図１３に示すように用例結果領域１１２に表示させる。その際、制御部２０１は、前記のように用例検索部２０７から出力された、「薬」が置換可能な単語であることを示す情報に基づいて、「薬」に下線を付加することにより、置換可能な単語（置換候補単語）であることを表示させる。
【００４９】
（Ｓ１３２）  さらに、制御部２０１は、ユーザによる上記選択された用例の翻訳指示操作、または単語の置換指示操作の何れがなされたかを判定する。具体的には、例えば図１４に示すように、ユーザによって用例結果領域１１２における文字以外の部分がクリックされた場合には、翻訳指示操作がなされたと判定し、（Ｓ１３３）に移行する。
【００５０】
（Ｓ１３３）  制御部２０１は、上記（Ｓ１３１）で選択された用例の用例番号を言語変換部２１０に出力し、言語変換部２１０は、上記用例番号に基づいて用例データベース２０３における「目的言語：」のフィールドを参照し、「Ａｎｙ  ｍｅｄｉｃｉｎｅ？」に変換して、制御部２０１に出力する。
【００５１】
（Ｓ１３４）  制御部２０１は、図１５に示すように、変換結果をＧＵＩ部１０３に出力して通訳結果領域１１３に表示させるとともに、音声合成部２１１に出力して合成音声を音声出力部１０２から発声させる。
【００５２】
（Ｓ１３５）  一方、前記（Ｓ１３２）で、ユーザによって例えば図１６に示すように、用例結果領域１１２に表示された用例における下線が引かれた単語領域、すなわち置換可能な単語がクリックされた場合には、制御部２０１は、単語の置換指示操作がなされたと判定し、置換指示単語「薬」を置換単語検索部２０９に出力する。置換単語検索部２０９は、クラス単語辞書２０６を参照して、ユーザが指定した単語「薬」と同じクラスのメンバ単語、
「アスピリン」
「かぜ薬」
「トローチ」
「胃腸薬」
を検索し、置換候補単語として制御部２０１に出力する。
【００５３】
（Ｓ１３６）  制御部２０１は、ＧＵＩ部１０３に置換候補単語の一覧を出力し、図１７に示すようにリストウィンドウ１１４に置換候補単語の一覧を表示させる。
【００５４】
（Ｓ１３７）  そこで、制御部２０１は、ユーザによる上記置換候補単語のうちの何れかの選択操作、例えば図１８に示すような「アスピリン」のクリック操作を受け付ける。
【００５５】
（Ｓ１３８）  制御部２０１は、上記置換候補単語の選択操作に応じて、図１９に示すように、元の用例「何か薬はありますか」の表示を「何かアスピリンはありますか」に変更する。以下、他にも置換可能な単語がある場合には上記（Ｓ１３２）〜（Ｓ１３８）を繰り返し、（Ｓ１３２）で用例結果領域１１２における文字以外の部分がクリックされて用例が確定すれば、言語変換部２１０が、クラス単語辞書２０６を参照して「アスピリン」の目的言語「ａｓｐｉｒｉｎ」を取得し、元の用例と合成して、原言語の用例「何かアスピリンはありますか」を目的言語の用例「Ａｎｙ  ａｓｐｉｒｉｎ？」に変換し、制御部２０１に出力する。制御部２０１は、図２０に示すように、変換結果をＧＵＩ部１０３に出力して通訳結果領域１１３に表示させるとともに、音声合成部２１１に出力して合成音声を音声出力部１０２から発声させる。
【００５６】
（相手の応答取得動作）
上記のように通訳結果が表示された状態で、図２１に示すようにユーザ切替部１０６（「相手に渡す」ボタン）がクリックされると、図９に示す次のような動作が行われる。
【００５７】
（Ｓ２０１）  まず、制御部２０１は、ＧＵＩ部１０３の表示を初期化し、図２２に示すように、所有者発言表示領域１２１、画像テンプレート表示領域１２２、文字列テンプレート表示領域１２３、原言語応答内容表示領域１２４、および原言語モード復帰ボタン１２５を表示させる。（なお、画像テンプレート表示領域１２２と文字列テンプレート表示領域１２３とは、一方だけ表示されるようにしてもよい。）
（Ｓ２０２）  次に、制御部２０１は、相手用の表示内容をＧＵＩ部１０３に表示させる。具体的には、図２１の通訳結果領域１１３と同じ内容が、所有者発言表示領域１２１に表示される。
【００５８】
（Ｓ２０３）  また、制御部２０１は、用例データベース２０３における上記用例２２４の「相手の応答型：」フィールドの値「１０」に基づいて、応答パターンデータベース２１２のＧＵＩテンプレートを検索し、ＧＵＩテンプレート２３２による画像を画像テンプレート表示領域１２２に表示させる。さらに、制御部２０１は、元の用例２２４における「相手の応答用例：」フィールドに設定されている用例番号がＡＢ００００１の用例２２２を参照し、「目的言語：」フィールドの”Ｙｅｓ．”等を文字列テンプレート表示領域１２３に表示させる。
【００５９】
（Ｓ２０４）  そこで、相手が、図２３または図２４に示すように、画像テンプレート表示領域１２２のＹｅｓボタン１２２ａまたは文字列テンプレート表示領域１２３の「Ｙｅｓ．」の文字列１２３ａをクリックすると、制御部２０１は原言語応答内容表示領域１２４に「はい」を表示させる。このように、問いかけに応じたＧＵＩによる表示、操作がなされるようにすることにより、相手が装置の操作を知らなくても、ユーザに適切な返事を返すことが容易にできる。
【００６０】
（Ｓ２０５）  相手またはユーザが原言語モード復帰ボタン１２５をクリックすると、制御部２０１はＧＵＩ部１０３による表示を図２１の状態に戻す。
【００６１】
（翻訳装置の動作：キーワード検索）
次に、文字列として入力されたキーワードに基づいた用例検索が行われる場合の動作の例を説明する。以下の例では、キーワード「予約」によって、「予約できますか」という用例が検索される場合を説明する。
【００６２】
（Ｓ１１１）  図２５に示すように、用例検索モード指定部１０５のキーワード検索ボタン１０５ｃが操作されると、制御部２０１がＧＵＩ部１０３に、図２６に示すようにキーワード入力部１３１と、キーワード候補選択部１３２と、ソフトキーボード１３３とを表示させ、ユーザがソフトキーボード１３３を用いてキーワードの読みを平仮名で入力できるようにする。
【００６３】
（Ｓ１１２）  そこで、ユーザがキーワード「予約」の読み「よやく」を入力しようとして１文字目の「よ」を入力すると、制御部２０１は、キーワード検索部２０８に対して、キーワードインデックスデータベース２０４におけるインデックス「よ」によるキーワードの検索を指示する。キーワード検索部２０８は、キーワードインデックスデータベース２０４を参照して、インデックス「よ」について前方一致検索を行い、キーワード候補のリストを制御部２０１に返す。制御部２０１は受け取ったキーワードのリストをキーワード候補選択部１３２に表示させる。図４のキーワードインデックスデータベース２０４の例では、「よ」で前方一致するキーワード候補として「良い」「酔う」「容器」「様式」「予約」の５個が存在するので、図２７に示すような表示がなされる。ここで、同図の例では、キーワード候補選択部１３２の表示可能な行数が４行なので、「予約」は表示されていない。この場合、スクロールボタン１３４を操作することによって「予約」を表示させることもできるが、以下のようにさらに読みを入力してキーワード候補を絞り込むことで、より容易に選択できるようにすることができる。
【００６４】
（Ｓ１１３）  すなわち、制御部２０１は、ユーザの操作を受け付けて表示されているキーワード候補のうちの何れかの選択がなされたか、または追加の読みの入力がなされたかを判定し、ユーザの操作がソフトキーボード１３３による文字の入力であれば、キーワードの読み入力がなされたと判定して、上記（Ｓ１１１）〜（Ｓ１１３）を繰り返す。そこで、例えば、図２８に示すように読みの２文字目である「や」が入力されると、制御部２０１は、キーワード検索部２０８に対してインデックス「よや」によるキーワードの検索を指示し、キーワード検索部２０８はキーワードインデックスデータベース２０４を参照して、インデックス「よや」について前方一致検索を行い、キーワード候補のリストを制御部２０１に返し、「予約」だけが表示される（Ｓ１１２）。すなわち、図４のキーワードインデックスデータベース２０４の例では、「よや」で前方一致するキーワード候補として「予約」しか存在しないので、図２８に示すようにキーワード候補選択部１３２には「予約」だけが表示され、再度（Ｓ１１３）による判定が行われる。
【００６５】
（Ｓ１１４）  上記（Ｓ１１３）で、図２９に示すようにキーワード候補の「予約」が選択されると、キーワード検索部２０８は、キーワードインデックスデータベース２０４における「予約」に対応する６つの用例番号
ＢＡ００００４
ＢＡ００００５
ＨＡ００００２
ＨＡ００００３
ＨＢ０００２５
ＨＣ００００８
を用例検索部２０７に出力して用例の検索を指示し、用例検索部２０７は、用例データベース２０３における各用例の「原言語：」フィールドを参照して、例えば
予約しています
予約できますか
予約はしていません
予約した方がよいですか
予約をキャンセルしたいのですが
予約に前金は必要ですか
の６つの原言語の用例候補を制御部２０１に出力する。制御部２０１はこれらの用例候補を図３０に示すようにＧＵＩ部１０３の用例候補選択領域１１１に表示させる。また、用例検索部２０７が、上記用例候補を制御部２０１に出力する際に、併せて、用例データベース２０３における「キーワード：」フィールドや「大分類：」フィールド等の情報を出力することにより、前記図１１で説明したのと同様に、図３１に示すように各用例中のキーワードにアンダーラインを付したりドメインを示すアイコンを表示させたりすることができる。このようにキーワードやドメインが判るように用例を表示することで、ユーザは用例とドメインの関係、用例とキーワードの関係などを自然に学習することが可能になり、以後の用例の検索が容易になる。
【００６６】
（Ｓ１３１以降）  その後、図３２に示すように、ユーザが用例候補の何れか１つを選択すると、選択された用例が用例結果領域１１２に表示される。以下、前記音声検索の例について説明したのと同様に、必要に応じて単語の置換を行い、目的言語に変換して相手に提示したり、相手の応答を受け取ったりすることができる。
【００６７】
（翻訳装置の動作：ドメイン検索）
ドメインが指定されることにより用例の検索が行われる場合の動作の例を説明する。
【００６８】
（Ｓ１２１）  図３３に示すように、用例検索モード指定部１０５のドメイン検索ボタン１０５ｂが操作されると、制御部２０１が、ＧＵＩ部１０３に図３４に示すようにドメイン選択領域１４１を表示させ、さらに、ドメインインデックスデータベース２０５から大分類のドメインを示すアイコンデータを読み出して表示させる。
【００６９】
（Ｓ１２２）  制御部２０１は、次に、ユーザによって末端のドメインの選択がなされたかどうかを判定し、例えば図３５に示すように「基本フレーズ」のアイコンをクリックする操作がなされた場合には、上記「基本フレーズ」のドメインは末端のドメインではないので、（Ｓ１２１）に戻って、さらに、「基本フレーズ」のドメインに属する下位のドメインのアイコンデータをドメインインデックスデータベース２０５から読み出して、図３６に示すようにドメイン選択領域１４１に表示させる。その際、制御部２０１は、ドメイン選択領域１４１のタイトル部分に、表示されているドメインの１つ上位のドメインが大分類の「基本フレーズ」であることを表示させる。
【００７０】
以下、同様に、図３７に示すように中分類の「あいさつ」のアイコンが選択されると、図３８に示すように「あいさつ」のドメインに含まれる下位分類のドメインのアイコンが表示されるとともに１つ上位の中分類の分類コード「あいさつ」が既に表示されている大分類の分類コード「基本フレーズ」に続けて表示される。このとき、上記「基本フレーズ」と表示されている部分がクリックされると、表示が図３７の状態に戻って、他の中分類のドメインを選択できるようになる。
【００７１】
（Ｓ１２３）  また、さらに、図３９に示すように小分類のドメイン「一般」のアイコンがクリックされると、（Ｓ１２２）で上記「一般」が末端のドメインであると判定されるので、制御部２０１は、そのドメインに応じた用例の用例番号ＡＡＡ０００１、ＡＡＡ０００２などをドメインインデックスデータベース２０５から読み出して用例検索部２０７に出力し、用例の検索を指示する。そこで、用例検索部２０７は、用例データベース２０３における各用例の「原言語：」フィールドを参照して用例候補を制御部２０１に出力し、制御部２０１はこれらの用例候補を図４０に示すようにＧＵＩ部１０３の用例候補選択領域１１１に表示させる。また、その際に、前記音声検索やキーワード検索出説明したのと同様に、用例データベース２０３における「キーワード：」フィールドの参照に基づいて、各用例候補のキーワード部分に下線が表示される。
【００７２】
ここで、上記のように用例候補が表示される場合にも、用例候補選択領域１１１のタイトル部分に分類コード「基本フレーズ」「あいさつ」および「一般」が表示されるようにすることにより、表示されている用例候補がどのドメインに属するものかを容易に知ることができるとともに、「基本フレーズ」や「あいさつ」と表示されている部分がクリックされたときに上位のドメインに戻るようにすることにより、他の中分類や小分類のドメインを容易に選択することができる。
【００７３】
（Ｓ１３１以降）  その後、図４１に示すように、ユーザが用例候補の何れか１つを選択すると、選択された用例が用例結果領域１１２に表示される。以下、前記音声検索の例について説明したのと同様に、必要に応じて単語の置換を行い、目的言語に変換して相手に提示したり、相手の応答を受け取ったりすることができる。
【００７４】
なお、上記の例では、音声検索、ドメイン検索、およびキーワード検索の各検索モードが互いに独立している例を示したが、複合的に検索できるようにしてもよい。例えばドメインやキーワードで検索範囲を限定したうえで音声検索することにより音声認識の認識制度を高めるようにしたり、逆に、音声認識で誤認識による意図しない用例候補が多く検索された場合などにドメインやキーワードによる絞り込みをすることによって所望の用例が容易に得られるようにしてもよい。すなわち、音声入力は文字入力などに比べると、誤認識の可能性があり得るが最も操作性のよい入力方法なので文単位などの入力が容易である一方、文字入力などは確実性は高いが音声入力よりも入力に時間がかかりがちなので、音声入力による多くの文字数の入力と文字入力による正確性の高い入力とを併用することによって、操作性に優れ、かつ、精度も高い検索を行うことが容易にできる。
【００７５】
また、音声検索では連続した複数の単語を含む文を入力する例を示したが、これに限らず、１つのキーワードを入力してキーワードの認識だけを行わせた後、文字入力によるキーワード検索と同じようにして用例を検索するようにしたりしてもよく、また、音声入力や文字入力で複数のキーワードを区切りながら入力してアンド検索したりできるようにしてもよい。
【００７６】
また、キーワード検索やドメイン検索の検索モードの場合でも、例えば「助けて」のような緊急性の高い音声などは優先的に処理されるようにしたり、逆に音声検索モードの場合でも、緊急用の音声を出力させるボタンなどは容易に操作できるようにしたりしてもよい。
【００７７】
さらに、以上の説明では、ＧＵＩ部に対するユーザの入力をタッチパネルによる入力やボタンの入力などに限定して説明したが、音声認識処理を用いて音声で単語や用例を選択決定することも容易に可能である。
【００７８】
また、タッチパネル、ボタン、音声の各入力モダリティを組み合わせて操作することも可能である。
【００７９】
また、一例として日本語と英語を取り上げたが、中国語など他の言語についても同様に実施可能であり、本発明は言語に依存しない。
【００８０】
【発明の効果】
以上のように本発明によると、音声検索モード以外にドメイン検索モードおよびキーワード検索モードを使用できるようにすることによって、街中の騒音などで音声入力が確実に動作しない場合でも所望の原言語の文を確実に入力することが可能になるうえ、ドメイン検索モードおよびキーワード検索モードを使用することによって、音声入力が可能な文が自然に学習され、音声入力を確実に操作することが可能になる。
【００８１】
また、音声検索モードにおいては検索された用例をドメイン検索モードおよびキーワード検索モードで検索するときのヒントが、ドメイン検索モードにおいては検索された用例をキーワード検索モードで検索するときのヒントが、キーワード検索モードにおいてはドメイン検索モードで検索するときのヒントがそれぞれ表示されるので、１つの検索モードを使用しながら他の検索モードの使用方法が自然に学習され、音声翻訳システムのユーザビリティが高くなる。
【００８２】
さらに相手の応答を容易に獲得するためのＧＵＩテンプレートを用意し、相手への発話に応じたＧＵＩテンプレートを提示することによって、相手の応答を容易に獲得することができる。
【００８３】
したがって相手から見たときの音声翻訳システムのユーザビリティも高くなる。
【図面の簡単な説明】
【図１】本発明の実施の形態の翻訳装置の外観構成を示す斜視図である。
【図２】同、機能的構成を示すブロック図である。
【図３】同、用例データベース２０３の保持内容の例を示す説明図である。
【図４】同、キーワードインデックスデータベース２０４の保持内容の例を示す説明図である。
【図５】同、ドメインインデックスデータベース２０５の保持内容の例を示す説明図である。
【図６】同、クラス単語辞書２０６の保持内容の例を示す説明図である。
【図７】同、応答パターンデータベース２１２の保持内容の例を示す説明図である。
【図８】同、原言語の用例を指定して目的言語の用例を提示させる動作を示すフローチャートである。
【図９】同、相手の応答を得る場合の動作を示すフローチャートである。
【図１０】同、音声検索モードの場合の表示例を示す説明図である。
【図１１】同、音声検索モードの場合の表示例を示す説明図である。
【図１２】同、音声検索モードの場合の表示例を示す説明図である。
【図１３】同、音声検索モードの場合の表示例を示す説明図である。
【図１４】同、音声検索モードの場合の表示例を示す説明図である。
【図１５】同、音声検索モードの場合の表示例を示す説明図である。
【図１６】同、音声検索モードの場合の表示例を示す説明図である。
【図１７】同、音声検索モードの場合の表示例を示す説明図である。
【図１８】同、音声検索モードの場合の表示例を示す説明図である。
【図１９】同、音声検索モードの場合の表示例を示す説明図である。
【図２０】同、音声検索モードの場合の表示例を示す説明図である。
【図２１】同、音声検索モードの場合の表示例を示す説明図である。
【図２２】同、音声検索モードの場合の表示例を示す説明図である。
【図２３】同、音声検索モードの場合の表示例を示す説明図である。
【図２４】同、音声検索モードの場合の表示例を示す説明図である。
【図２５】同、キーワード検索モードの場合の表示例を示す説明図である。
【図２６】同、キーワード検索モードの場合の表示例を示す説明図である。
【図２７】同、キーワード検索モードの場合の表示例を示す説明図である。
【図２８】同、キーワード検索モードの場合の表示例を示す説明図である。
【図２９】同、キーワード検索モードの場合の表示例を示す説明図である。
【図３０】同、キーワード検索モードの場合の表示例を示す説明図である。
【図３１】同、キーワード検索モードの場合の表示例を示す説明図である。
【図３２】同、キーワード検索モードの場合の表示例を示す説明図である。
【図３３】同、ドメイン検索モードの場合の表示例を示す説明図である。
【図３４】同、ドメイン検索モードの場合の表示例を示す説明図である。
【図３５】同、ドメイン検索モードの場合の表示例を示す説明図である。
【図３６】同、ドメイン検索モードの場合の表示例を示す説明図である。
【図３７】同、ドメイン検索モードの場合の表示例を示す説明図である。
【図３８】同、ドメイン検索モードの場合の表示例を示す説明図である。
【図３９】同、ドメイン検索モードの場合の表示例を示す説明図である。
【図４０】同、ドメイン検索モードの場合の表示例を示す説明図である。
【図４１】同、ドメイン検索モードの場合の表示例を示す説明図である。
【符号の説明】
１０１      音声入力部
１０２      音声出力部
１０３      ＧＵＩ部
１０４      スタイラス
１０５      用例検索モード指定部
１０５ａ    音声検索ボタン
１０５ｂ    ドメイン検索ボタン
１０５ｃ    キーワード検索ボタン
１０６      ユーザ切替部
１１１      用例候補選択領域
１１２      用例結果領域
１１３      通訳結果領域
１１４      リストウィンドウ
１２１      所有者発言表示領域
１２２      画像テンプレート表示領域
１２２ａ    Ｙｅｓボタン
１２３      文字列テンプレート表示領域
１２３ａ    文字列
１２４      原言語応答内容表示領域
１２５      原言語モード復帰ボタン
１３１      キーワード入力部
１３２      キーワード候補選択部
１３３      ソフトキーボード
１３４      スクロールボタン
１４１      ドメイン選択領域
２０１      制御部
２０２      音声認識部
２０３      用例データベース
２０４      キーワードインデックスデータベース
２０５      ドメインインデックスデータベース
２０６      クラス単語辞書
２０７      用例検索部
２０８      キーワード検索部
２０９      置換単語検索部
２１０      言語変換部
２１１      音声合成部
２１２      応答パターンデータベース
２２１      用例
２２１〜２２４    用例
２３１      相手応答タイプテーブル
２３２・２３３    ＧＵＩテンプレート
２３４      ソフトキーボード
【図１】
2004295578.tif 000003
【図２】
2004295578.tif 000004
【図３】
2004295578.tif 000005
【図４】
2004295578.tif 000006
【図５】
2004295578.tif 000007
【図６】
2004295578.tif 000008
【図７】
2004295578.tif 000009
【図８】
2004295578.tif 000010
【図９】
2004295578.tif 000011
【図１０】
2004295578.tif 000012
【図１１】
2004295578.tif 000013
【図１２】
2004295578.tif 000014
【図１３】
2004295578.tif 000015
【図１４】
2004295578.tif 000016
【図１５】
2004295578.tif 000017
【図１６】
2004295578.tif 000018
【図１７】
2004295578.tif 000019
【図１８】
2004295578.tif 000020
【図１９】
2004295578.tif 000021
【図２０】
2004295578.tif 000022
【図２１】
2004295578.tif 000023
【図２２】
2004295578.tif 000024
【図２３】
2004295578.tif 000025
【図２４】
2004295578.tif 000026
【図２５】
2004295578.tif 000027
【図２６】
2004295578.tif 000028
【図２７】
2004295578.tif 000029
【図２８】
2004295578.tif 000030
【図２９】
2004295578.tif 000031
【図３０】
2004295578.tif 000032
【図３１】
2004295578.tif 000033
【図３２】
2004295578.tif 000034
【図３３】
2004295578.tif 000035
【図３４】
2004295578.tif 000036
【図３５】
2004295578.tif 000037
【図３６】
2004295578.tif 000038
【図３７】
2004295578.tif 000039
【図３８】
2004295578.tif 000040
【図３９】
2004295578.tif 000041
【図４０】
2004295578.tif 000042
【図４１】
2004295578.tif 000043