(57)【特許請求の範囲】
【請求項１】
第１言語の質問文とそれを翻訳した第２言語の質問文とを対にして記憶している質問文データベースと、
第２言語の質問文に応答する標準的な複数の第２言語の応答文と、それらを翻訳した第１言語の応答文とを記憶している応答文データベースと、
入力操作手段と、
音声入力手段と、
前記入力操作手段でユーザから入力された第１言語の質問文を前記質問文データベースを検索し、それと対になっている第２言語の質問文を抽出する質問文抽出手段と、
抽出された第２言語の質問文の出力を受けてユーザの会話相手が第２言語の応答文を音声で入力した場合に、入力された音声を第２言語の文字応答文として認識する音声認識手段と、
前記音声認識手段で認識された文字応答文に類似する第２言語の応答文と対応する第１言語の応答文とを前記応答文データベースから抽出する応答文抽出手段と、
前記応答文抽出手段で抽出された第２言語の応答文と第１言語の応答文と前記音声認識手段で認識された文字応答文とを表示する表示手段と
を備えることを特徴とする通訳装置。
【請求項２】
前記音声認識手段は、
単語標準パターンとその単語標準パターンに対応する単語とを記憶している音声認識辞書と、
前記音声入力手段から入力された音声を分析して単語単位のセグメントのパターンに分割する分割部と、
前記分割部で分割されたセグメントのパターンと前記音声認識辞書に記憶されている単語標準パターンとの類似度を計算し、類似度が所定値以上の単語標準パターンに対応する単語を候補単語として抽出する候補単語抽出部と、
前記候補単語抽出部で抽出された各セグメント類似度の最大の候補単語を並べて文字応答文を生成する文字応答文生成部と
を有することを特徴とする請求項１記載の通訳装置。
【請求項３】
前記候補単語抽出部は、抽出した候補単語が前記応答文抽出手段で抽出された応答文を構成する単語と一致するとき、その類似度を所定の倍率で大きくすることを特徴とする請求項２記載の通訳装置。
【請求項４】
前記応答文データベースには、応答文を構成する単語が応答文として必須の要素であるかと、必須の要素であるときに、その単語が他の単語に置換されることが予想されるかと、予想されるとき、置換が予想される単語の意味属性とが記憶されており、
前記音声認識手段で認識された文字応答文を構成する単語と前記類似する応答文を構成する単語とを照合し、必須の要素を欠き、かつ、置換が予想される単語の意味属性と異なる単語を応答文に対応する単語とするとき文字応答文が質問の答えとして成立しないと判断する文字応答文判断手段を備えることを特徴とする請求項１記載の通訳装置。
【請求項５】
前記応答文データベースには、応答文を構成する単語が必須の要素であるときに、その単語を認識できなかったときの再質問規則が記憶されており、
前記文字応答文判断手段が、文字応答文が質問の答えとして成立しないと判断したとき、 前記再質問規則に応じた再質問を出力する出力手段を備えることを特徴とする請求項４記載の通訳装置。
【請求項６】
前記表示手段に表示される文字応答文を構成する単語と前記応答文抽出手段で抽出された第２言語の応答文を構成する単語とを比較し、一致する単語の前記第２言語の応答文の表示属性を変更する制御手段を備えることを特徴とする請求項１乃至５のいずれか記載の通訳装置。
【請求項７】
前記応答文データベースに記憶されている第１言語の応答文とその第２言語の応答文とを構成する対応する単語に同一の識別子を付し、
前記表示手段に表示される文字応答文を構成する単語と前記応答文抽出手段で抽出された第２言語の応答文を構成する単語とを比較し、一致する単語と同一の識別子が付された前記第１言語の応答文の表示属性を変更する表示制御手段を備えることを特徴とする請求項１乃至５のいずれかに記載の通訳装置。
【請求項８】
コンピュータに読取可能な記録媒体であって、
第１言語の質問文とそれを翻訳した第２言語の質問文とを対にして記憶している質問文データベースと、
第２言語の質問文に応答する標準的な複数の第２言語の応答文と、それらを翻訳した第１言語の応答文とを記憶している応答文データベースとを予め記録し、
コンピュータを、
入力操作手段と、
音声入力手段と、
前記入力操作手段でユーザから入力された第１言語の質問文を前記質問文データベースを検索し、それと対になっている第２言語の質問文を抽出する質問文抽出手段と、
抽出された第２言語の質問文の出力を受けてユーザの会話相手が第２言語の応答文を音声で入力した場合に、入力された音声を第２言語の文字応答文として認識する音声認識手段と、
前記音声認識手段で認識された文字応答文に類似する第２言語の応答文と対応する第１言語の応答文とを前記応答文データベースから抽出する応答文抽出手段と、
前記応答文抽出手段で抽出された第２言語の応答文と第１言語の応答文と前記音声認識手段で認識された文字応答文とを表示させる表示制御手段
として機能させるためのプログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、第１言語と第２言語との間での会話を通訳する通訳装置に関する。
【０００２】
【従来の技術】
従来の携帯型の通訳装置では、ユーザが使用場面に応じて分類されたメニューの選択やキーワードの入力をして第１言語の単語又は一文（質問文）を選択すると、その選択された単語又は一文に対応する第２言語の単語又は一文（質問文）が表示される方式が主に採用されている。
【０００３】
ユーザが会話相手から返事を得るために、例えば特開平７−１０５２２０号公報の技術では、上記の第２言語の質問文の表示を会話相手に提示する際に、第２言語の応答文を数種類表示するようにして、それらの応答文うちの一文を会話相手に選択させる方式が示されている。
【０００４】
また、特開平９−３１９７５０号公報の技術では、会話相手の応答を想定し、応答を階層的に分類して選択を容易にしたり、また数字や記号を直接入力させて相手からの応答を得る方式が示されている。
【０００５】
【発明が解決しようとする課題】
ところが、上記した２つの技術では、ユーザが会話相手から応答文を得るために、会話相手に通訳装置の使用方法を教えて、装置の操作を任せなければならず、通訳装置の操作に不慣れな相手とは、スムーズな会話が困難である。
【０００６】
本発明は、上記課題に鑑み、会話相手が通訳装置の取扱いに習熟していることを必要としない操作性の優れた通訳装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するため本発明は、第１言語の質問文とそれを翻訳した第２言語の質問文とを対にして記憶している質問文データベースと、第２言語の質問文に応答する標準的な複数の第２言語の応答文と、それらを翻訳した第１言語の応答文とを記憶している応答文データベースと、入力操作手段と、音声入力手段と、前記入力操作手段でユーザから入力された第１言語の質問文を前記質問文データベースを検索し、それと対になっている第２言語の質問文を抽出する質問文抽出手段と、抽出された第２言語の質問文の出力を受けてユーザの会話相手が第２言語の応答文を音声で入力した場合に、入力された音声を第２言語の文字応答文として認識する音声認識手段と、前記音声認識手段で認識された文字応答文に類似する第２言語の応答文と対応する第１言語の応答文とを前記応答文データベースから抽出する応答文抽出手段と、前記応答文抽出手段で抽出された第２言語の応答文と第１言語の応答文と前記音声認識手段で認識された文字応答文とを表示する表示手段とを備えることとしている。
【０００８】
【発明の実施の形態】
以下、本発明に係る通信装置の実施の形態について、図面を用いて説明する。
【０００９】
（実施の形態１）
図１は、本発明に係る通訳装置の実施の形態１の構成図である。
【００１０】
この通訳装置は、質問文翻訳データベース１０１と、応答文データベース１０２と、入力操作部１０３と、質問文選択部１０４と、表示部１０５と、音声出力部１０６と、応答文抽出部１０７と、音声認識辞書１０８と、音声入力部１０９と、音声認識部１１０とを備えている。
【００１１】
質問文翻訳データベース１０１は、ＲＯＭ等からなり、第１言語の質問文とそれを第２言語に翻訳した第２言語の質問文とを一対にして識別番号を付して記憶している。図２は、この質問文翻訳データベース１０１の内容の一例を示している。この質問文翻訳データベース１０１では、第１言語を日本語とし、第２言語を英語としている。なお、本実施の形態では、この通訳装置を利用するユーザが日本語を解し、会話相手が英語を解する状況で用いられるものである。
【００１２】
質問文翻訳データベース１０１の識別番号「０００２」には、日本語の質問文「空港へはどのくらい時間がかかりますか」と英語に翻訳された「How long does it take to the airport?」とが対にして記憶されている。更に、この質問文に応答する標準的な応答文の数「５」とその応答文の識別番号「Ｔ１００１」、「Ｔ１００２」、・・・「Ｔ１００５」とが記憶されている。この応答文の識別番号は、応答文データベース１０２に応答文を識別する識別番号として記憶されているものである。
【００１３】
応答文データベース１０２は、ＲＯＭ等からなり、質問文翻訳データベース１０１の英語の質問文に答える標準的な応答文の一覧が記憶されている。図３は、応答文データベース１０２に記憶されている内容の一例を示す図である。各応答文３０１には、その応答文の日本語訳３０２と、その応答文の識別番号３０３とが対応して記憶されている。
【００１４】
応答文データベース１０２には、識別番号「Ｔ０９９９」で識別される応答文「３０dollars」とその日本語への翻訳文「３０ドルです。」とが記憶されている。
【００１５】
入力操作部１０３は、キーボード等からなり、ユーザの質問文の入力を受け付ける。この際、ユーザは、質問文の全文を入力してもよいけれども、例えば、空港への所要時間を尋ねたい場合、「空港」と「時間」とを入力する。入力操作部１０３は、入力された質問文又は入力された単語「空港」と「時間」とを質問文選択部１０４に通知する。
【００１６】
また、入力操作部１０３は、ユーザからの質問指示の入力を受けると、質問文選択部１０４にその旨を通知する。
【００１７】
質問文選択部１０４は、入力操作部１０３から質問文の通知を受けると、質問文翻訳データベース１０１を調べ、一致する質問文とその翻訳された質問文と識別番号と応答文の識別番号とを抽出する。
【００１８】
また、質問文として単語の通知を受けると、その単語をキーワードとして、キーワードを含む質問文を選択し、対になっている翻訳された質問文と識別番号とその応答文の識別番号とを抽出する。例えば、「空港」と「時間」とを通知されたとき、この２つのキーワードを含む識別番号「０００２」の質問文「空港へはどのくらい時間がかかりますか」を選択する。質問文選択部１０４は、抽出した日本語の質問文と英語の質問文とを表示部１０５の所定の領域に表示させ、併せて、応答文の識別番号「Ｔ１００１、Ｔ１００２、Ｔ１００３、Ｔ１００４、Ｔ１００５」を応答文抽出部１０７に通知する。
【００１９】
質問文選択部１０４は、入力操作部１０３から質問指示の通知を受けると、音声出力部１０６に質問文の識別番号を通知する。
【００２０】
表示部１０５は、液晶ディスプレイ等からなり、質問文選択部１０４と応答文抽出部１０７の制御により、質問文や応答文を表示する。
【００２１】
図４は、表示部１０５の表示内容の一例を示す図である。この図は、質問文選択部１０４で質問文が選択され、音声出力部１０６から翻訳された質問文が音声出力されている状態での表示例である。日本語の質問文４０１とその英語の質問文４０２とが質問文選択部１０４によって表示され、その英語の質問文４０２の答えとなる標準的な応答文とそれを日本語に翻訳した翻訳応答文との一覧である応答例４０３とが応答文抽出部１０７によって表示される。このような表示がされることにより、ユーザは、自分が質問しようとする内容と、会話相手が答えてくれるであろう応答文の内容を知ることができる。
【００２２】
図５は、表示部１０５の表示内容の他の一例を示す図である。この図は、ユーザの会話相手から質問文に対する音声の応答文を受けた後の表示内容を示している。質問文４０１、４０２は、図４と同様に表示されている。応答例５０１は、音声認識部１１０で認識された会話相手からの音声応答の認識結果に類似する応答文の一覧が示されている。この応答文中の認識結果と一致する単語は、反転表示されている。表示部１０５の下段に、音声応答の認識結果５０２が示されている。この表示部１０５の内容をユーザが見れば、空港までの所要時間が「タクシーで２０分」であることを推定できる。即ち、認識結果５０２に一致する単語を反転表示された部分が応答文に示されているので、それと認識結果５０２とを比べることにより、数字が異なることから類推される。
【００２３】
音声出力部１０６は、質問文の識別番号とその翻訳された質問文の音声パターンとを記憶しており、質問文選択部１０４から識別番号を通知されると、その識別番号の音声パターンを取り出し、音声信号に変換し、スピーカを介して、質問文を音声出力する。
【００２４】
応答文抽出部１０７は、質問文選択部１０４から応答文の識別番号の通知を受けると、応答文データベース１０２に記憶されている識別番号の一致する応答文とその翻訳応答文とを抽出する。抽出した応答文とその翻訳応答文との一覧を表示部１０５の所定の領域に図４に示したように表示させる。
【００２５】
また、応答文抽出部１０７は、音声認識部１１０から認識結果である文字応答文の通知を受けると、抽出した応答文のうち、文字応答文と類似する応答文を選択する。この類似する応答文とその翻訳応答文と文字応答文とを表示部１０５の所定の表示領域に表示させる。
【００２６】
この類似する応答文の選択に際して、通知された文字応答文を構成する単語と、抽出した応答文を構成する単語とを比較し、一致する単語が応答文に存在するとき、その応答文を類似する応答文として選択する。また、この応答文中の一致する単語の表示属性を図５に示すように白抜きの反転表示となるよう表示属性を変更する。
【００２７】
なお、本実施の形態では、類似する応答文は、応答文に文字応答文を構成する単語を含む場合としたけれども、類似する応答文の選択を以下のようにしてもよい。応答文抽出部１０７は、応答文に含まれる単語の総数に対する文字応答文を構成する単語に一致する単語数の割合を類似度として計算し、所定値以上の類似度を有する応答文を類似する応答文として選択する。
【００２８】
音声認識辞書１０８は、単語標準パターンと単語とを対にして記憶している。図６は、音声認識辞書１０８の内容の一例を示す図である。
【００２９】
単語標準パターン６０１は、標準的に発音された単語「twenty」６０２を発音時間分に対応した５０フレームの特徴量で表している。各フレームは、単語「twenty」を０．５秒で発音し、時間間隔１０msごとずらした所定時間分の音声パターンに対応している。この音声パターンをフーリエ変換し、周波数帯域を１６分割し、各帯域の強度を１６の数値列で表したものを１フレームの特徴量としている。なお、音声パターン６０４は、この各フレームへの分割を説明している。単語「minutes」等についても、単語標準パターンは、所定数のフレームに１６の数値列で表されているけれども、図では省略されている。
【００３０】
音声入力部１０９は、マイクロフォン等からなり、会話相手の音声応答文の入力を受け付け、音声認識部１１０にその音声信号を通知する。
【００３１】
音声認識部１１０は、音声入力部１０９から通知された音声信号を分析し、単語単位の各セグメントに分割し、各セグメントの音声パターンと音声認識辞書１０８の単語標準パターンとを照合する。音声パターンと最も類似度の高い単語標準パターンに対にして記憶されている単語を認識結果とし、認識結果の単語を並べて文字応答文を得る。得られた文字応答文を応答文抽出部１０７に通知する。
【００３２】
本実施の形態では、音声入力部１０９から入力された音声応答文「２０minutes by taxi.」が音声認識部１１０で認識されたけれども、入力される音声応答文によっては、最も類似度の高い標準単語パターンに対になっている単語を選択することが必ずしも正しい認識結果である文字応答文になるとは限らない。
【００３３】
本実施の形態の音声認識部１１０は、更に以下の構成を有する。
【００３４】
音声入力部１０９から図７（ａ）に示す音声応答文「You can go on foot.」が会話相手から入力された場合について説明する。
【００３５】
音声認識部１１０では、図７（ｂ）に示すように音声分析の処理をして、音声パターン７０１を各単語に対応するセグメント７０２〜７０６に分割する。各セグメントの音声パターン７０２〜７０６と音声認識辞書１０８に記憶されている単語標準パターンとを照合し、例えば、ＤＰ（動的計画）マッチング法を用いて類似度を計算する。これによって、セグメント７０２の音声パターンから類似度の高い単語標準パターンの単語から順に、「show」、「you」、「how」、・・・の各単語候補が選択される。同様にセグメント７０３の音声パターンから「can」、「and」、・・・の各単語候補が選択される。
【００３６】
今、応答文抽出部１０７で抽出された応答文を構成する単語に「you」、「can」、「go」、「on」、「foot」等が含まれているとする。音声認識部１１０は、各セグメントごとに各単語候補が応答文抽出部１０７で抽出されている応答文中の単語中に存在するか否かを調べ、存在するときは、その類似度を例えば、「２倍」として、各単語候補を類似度順に並べ替える。この結果、音声入力部１０９から入力された音声応答文の音声パターン７０１から図８に示すような修正された類似度により、各単語候補の順位が並べ替えられる。なお、図７（ｂ）、図８において、類似度の具体的数値の記載は省略している。音声認識部１１０は、最も類似度の高い候補文字をセグメント順に並べて、「You can go on foot.」を認識結果である文字応答文として応答文抽出部１０７に通知する。
【００３７】
このように、質問文に対する応答文が標準的な応答文として応答文抽出部１０７に用意されているので、その応答文を用いて、不特定の会話相手の音声認識の精度を向上させている。
【００３８】
次に、本実施の形態の動作を図９、図１０のフローチャートを用いて説明する。
【００３９】
先ず、ユーザは、入力操作部１０３から日本語の質問文を入力する（Ｓ９０２）。
【００４０】
質問文選択部１０４は、入力操作部１０３で受け付けられた質問文に一致する質問文を質問文翻訳データベース１０１を検索して見つける（Ｓ９０４）。見つけた質問文とその質問文を翻訳した英語の翻訳質問文とを表示部１０５に表示させる（Ｓ９０６）。
【００４１】
次に、応答文抽出部１０７は、質問文選択部１０４から通知された応答文の識別番号をもとに応答文データベース１０２を検索して、応答文とその翻訳文とを抽出する（Ｓ９０８）。抽出した応答文とその翻訳文との一覧を表示部１０５に表示させる（Ｓ９１０）。
【００４２】
質問文選択部１０４は、入力操作部１０３において、ユーザからの質問指示があるか否かを判断する（Ｓ９１２）。なければＳ９０２に戻り、あれば音声出力部１０６に質問指示を通知する。音声出力部１０６は、英語の翻訳質問文を音声出力する（Ｓ９１４）。
【００４３】
次に、音声入力部１０９は、音声出力部１０６から出力された英語の翻訳質問文に答えた会話相手の英語の応答文の音声入力を受け付ける（Ｓ９１６）。
【００４４】
音声認識部１１０は、音声入力部１０９から通知された音声信号を音声分析し、音声認識辞書１０８と照合し、音声を文字応答文として認識する（Ｓ９１８）。
【００４５】
応答文抽出部１０７は、応答文の一覧から文字応答文に類似する応答文を選択する（Ｓ９２０）。類似する応答文（英語）とその翻訳文（日本語）と認識結果である文字応答文（英語）とを表示部１０５に表示させ、この際、類似する応答文の文字応答文に一致する部分の表示属性を変更する（Ｓ９２２）。このようにすることによって、ユーザは、英語を理解することができなくても、質問に対する答えを日本語で理解することができる。
【００４６】
次に、Ｓ９１８の動作の詳細を図１０のフローチャートを用いて詳細に説明する。
【００４７】
先ず、音声認識部１１０は、音声入力部１０９から入力された音声信号を音声分析して、単語単位のセグメントの音声パターンに分割する（Ｓ１００２）。分割した音声パターンを１つ取り出し、音声認識辞書１０８の標準単語パターンとパターンマッチングして類似度を計算する（Ｓ１００４）。この類似度が一定値以上の値を有する標準単語パターンの単語を単語候補とする（Ｓ１００６）。すべてのセグメントの音声パターンについてこの照合をする（Ｓ１００８）。
【００４８】
続いて、単語候補が応答文抽出部で抽出されている応答文の一覧にある応答文を構成する単語と一致するか否か判断する（Ｓ１０１０）。一致しなければ、Ｓ１０１４に移り、一致するときには、その単語候補の類似度を２倍に修正する（Ｓ１０１２）。
【００４９】
次に未処理の単語候補があるか否かを判断し（Ｓ１０１４）、あればＳ１０１０に戻り、なければ各セグメントの類似度の最も高い単語候補を並べて認識結果である文字応答文を得る（Ｓ１０１６）。
【００５０】
このように、予め質問文に対する標準的な応答文が用意されているので、音声応答を音声認識する際に、この応答文に含まれる単語が認識結果である文字応答文を構成する単語となる確率が高いことを利用できる。この結果、不特定の会話相手の音声応答であっても、音声認識の精度が向上する。
【００５１】
（実施の形態２）
図１１は、本発明に係る通訳装置の実施の形態２の構成図である。
【００５２】
この通訳装置は、質問文翻訳データベース１０１と、応答文データベース１１０１と、入力操作部１０３と、質問文選択部１０４と、表示部１０５と、音声出力部１１０２と、応答文抽出部１１０３と、音声認識辞書１０８と、音声入力部１０９と、音声認識部１１０とを備えている。
【００５３】
なお、上記実施の形態１の構成と同一の部分には同一の符号を付してその説明を省略し、本実施の形態固有の構成部分についてのみ説明する。
【００５４】
応答文データベース１１０１は、上記実施の形態１で説明した第２言語（英語）の標準的な応答文とその第１言語（日本語）の翻訳応答文に加えて、その応答文の単語と翻訳応答文の単語との対応を同一の識別番号を付して関連付けて記憶している。更に、応答文を構成する単語又は単語列が質問文に対する応答として必須の要件か否か、また必須の要件である場合には、置換可能性があるか否か、音声認識が正しくされなかったときの再質問規則が記憶されている。
【００５５】
ここで、置換可能性とは、標準的な応答文を構成する単語が他の単語に置換されることが予想されることをいい、置換条件となる単語の属性を含んでいる。
【００５６】
また、再質問規則は、音声認識部１１０において、その応答文を構成する単語を正しく認識することができなかったときに、再質問をするときの規則を定めたものである。
【００５７】
図１２は、この応答文データベース１１０１の内容の一例を示す図である。識別番号「Ｔ１００１」で識別される応答文「１５minutes.」とその翻訳応答文「１５分です。」とを構成する単語の「１５」と「１５」とには識別番号「１」が、「minutes」と「分」とには識別番号「２」がそれぞれ付記されており、対応する単語であることを示している。同様に識別番号「Ｔ１００５」で識別される応答文とその翻訳応答文とにも対応する単語に同一の識別番号が付されている。
【００５８】
一覧表１２０１、１２０２は、応答文を構成する単語について「必須の要件」欄１２０３と、「置換可能性」欄１２０４と、「再質問規則」欄１２０５とを有している。一覧表１２０１は、識別番号「Ｔ１００１」で識別される応答文を構成する単語「１５」、「minutes」が「必須の要件」であるか否か等を記載したものである。両単語とも「必須」であるので「YES」１２０６が「必須の要件」欄１２０３に記載されている。
【００５９】
また、両単語とも他の単語に置換されることが予想されるので、「置換可能性」欄１２０４にはYES１２０７が記載され、単語「１５」が置換される単語は「数字」であり、単語「minutes」が置換される単語は「時間単位」例えば、「second」、「hour」であることが記載されている。
【００６０】
また、単語「１５」又は置換条件に合致した単語が正しく音声認識されないときの対応する規則が再質問規則欄１２０５に「KEYBORD」１２０８と記載されている。この規則「KEYBORD」１２０８は、会話相手からキーボードの操作により単語「１５」を置換する数字の入力を受け付けることを意味している。
【００６１】
単語「minutes」又は置換条件に合致した単語が正しく音声認識されないときの対応規則が再質問規則欄１２０５に「MENU」１２０９と記載されている。この規則「MENU」１２０９は、表示部１０５に「minutes」、「second」、「hour」を表示して、この中から一つを会話相手に選択させることを意味している。
【００６２】
同様に一覧表１２０２には、識別番号「Ｔ１００５」で識別される応答文を構成する単語が「必須の要件」であるか否か等が記載されている。
【００６３】
単語列「by taxi」は、必須の要件であり、置換条件とされる単語の属性は「交通機関」であり、再質問規則として「STR  "By what?"」１２１０が記載されている。ここで、再質問規則「STR  "By what?"」１２１０は、会話相手に音声による質問文"By what?"を出力することを意味している。
【００６４】
音声出力部１１０２は、再質問規則に対応した音声パターンを記憶している。
【００６５】
再質問規則「KEYBOARD」１２０８に対応して「Input numerals with keyboard.」の音声パターンを記憶しており、「MENU」１２０９に対応して「Indicate appropriate menu item.」の音声パターンを記憶しており、「STR  "By what?"」１２１１に対応して「By what?」の音声パターンを記憶している。
【００６６】
音声出力部１１０２は、応答文抽出部１１０３から再質問規則の通知を受けると、対応する音声パターンを音声として出力する。また、応答文抽出部１１０３から再質問の指示を受けると、英語の翻訳質問文を再度出力する。
【００６７】
応答文抽出部１１０３は、上記実施の形態１で説明した構成に加えて、音声認識部１１０から文字応答文の通知を受けて類似する応答文を選択した後、以下の処理をする。
【００６８】
応答文抽出部１１０３は、文字応答文と類似する応答文とが完全に一致するか否かを両文を構成する単語を比較して判断する。完全に一致すれば、質問文の答えに対する応答が成立したものとする。
【００６９】
完全に一致しないとき、異なる部分（類似する応答文の単語）が必須の要件であるか否かを応答文データベース１１０１の一覧表１２０１等をみて判断する。必須の要件でなければ、質問文の答えとして成立するとみなす。
【００７０】
異なる部分が必須の要件であるとき、その単語が置換可能性を有するか否かを同様に一覧表１２０１等をみて判断する。置換可能性がなければ、質問に対する答えとして成立しない。この際、質問文が会話相手に伝わらなかったものとして、音声出力部１１０２に再質問の指示をする。
【００７１】
置換可能性があるときには、文字応答文の異なる部分に対応する単語が置換条件である単語の属性に一致するか否かを判断する。一致すると判断したとき、文字応答文は質問文の答えとして成立する。
【００７２】
一致しないと判断したとき、質問文の答えとして必須の要件が欠落していることになるので、再質問規則を一覧表１２０１等から取得する。
【００７３】
応答文抽出部１１０３は、再質問規則が「KEYBOARD」１２０８であるときには、音声出力部１１０２に再質問規則「KEYBOARD」を通知するとともに、表示部１０５に、「キーボードで入力依頼」を表示させる。これにより、ユーザは、会話相手に入力操作部１０３を用いて入力操作を受けることを了解する。
【００７４】
また、再質問規則が「MENU」１２０９であるときには、音声出力部１１０２に再質問規則「MENU」を通知するとともに、表示部１０５に「second」、「minutes」、「hour」を表示させる。なお、この場合、置換条件の単語の属性が「時間単位」であるのでメニュー項目が「second」等となったけれども、単語の属性によってメニュー項目の内容は変更される。
【００７５】
再質問規則が「STR "By what?"」１２１０であるときには、音声出力部１１０２に再質問規則「STR "By what?"」を通知する。
【００７６】
応答文抽出部１１０３は、音声出力部１１０２に「STR "By what?"」の通知をした後、音声認識部１１０から文字応答文（単語列）の通知を受けると、類似する応答文の単語列又は置換条件に合致した、「by taxi」、「by bus」「by train」又は「on foot」等であるときには、文字応答文を修正する。
【００７７】
また、再質問規則「KEYBOARD」、「MENU」を音声出力部１１０２に通知した後に、入力操作部１０３から会話相手からの数字の入力やメニュー項目の指示を受けた旨の通知により、対応する文字応答文の単語を数字やメニュー項目の内容に変更して表示部１０５に表示させる。
【００７８】
応答文抽出部１０３は、上記実施の形態１では、文字応答文と類似する応答文とを構成する単語で一致するものを類似する応答文の表示属性を変更して表示するようにしたけれども、本実施の形態では、これに換えて、応答文データベース１１０１の類似する応答文を構成する単語とその翻訳応答文を構成する単語との対応関係を識別番号から調べ、文字応答文に一致する翻訳応答文の部分の表示属性を変更する。
【００７９】
なお、音声認識部１１０において、全ての候補文字の類似度が所定のしきい値以下であるときには、認識不能としてその部分を応答文抽出部１１０３に通知する。この場合に、応答文抽出部１１０３は、応答文を構成する単語を正しく認識することができなかったときと同様に取り扱う。
【００８０】
今、上記実施の形態１と同様の英語の質問文「How long does it take to the airport?」が音声出力部１０６から出力された場合に、音声認識部１１０において、文字応答文「xxx minutes by taxi.」が認識されたとき（「xxx」は音声認識不能を示す）、応答文抽出部１１０３は、「xxx」が必須の要件であり、置換条件が数字であり、再質問規則が「KEYBOARD」１２０８であると判断する。音声出力部１１０２から「Input numerals with keyboard.」が音声出力される。会話相手に本装置を渡し、入力操作部１０３から数字「２０」の入力を受ける。これによって、音声認識が不能であった「xxx」が数字「２０」に置換される。
【００８１】
図１３は、表示部１０５に表示された内容の一例を示している。応答例１３０１では、翻訳応答文の文字応答文１３０２に一致する対応部分が反転表示されている。なお、表示属性の変更を反転表示としているけれども、他の属性、例えば表示色の変更等であってもよい。  これによって、ユーザは、より一層会話相手からの答えを容易に理解することができる。  次に、本実施の形態の動作を図１４に示すフローチャートを用いて説明する。上記実施の形態１の図９に示したＳ９２０までの動作は同様であるので、本実施の形態固有の動作のみ説明する。
【００８２】
Ｓ９２０において、応答文抽出部１１０３は、応答文の一覧から文字応答文に類似する応答文を選択する。
【００８３】
次に、応答文抽出部１１０３は、文字応答文と類似する応答文とが、完全に一致するか否かを判断し（Ｓ１４０２）、一致すると判断したときはＳ１４１６に移り、一致しないと判断したときは、異なる部分（単語又は単語列）が必須の要件であるか否かを応答文データベース１１０１の一覧表１２０１等をみて判断する（Ｓ１４０４）。必須の要件でなければＳ１４１６に移り、必須の要件であるときは、同様に一覧表１２０１等をみて置換可能性が有るか否かを判断する（Ｓ１４０６）。
【００８４】
置換可能でないと判断したときは、質問文が会話相手に伝わらなかったとして、音声出力部１１０２に再質問の指示をし、上記実施の形態１のＳ９１４に戻る。
【００８５】
置換可能であると判断したときは、文字応答文の単語が置換条件に合致するか否かを判断し（Ｓ１４０８）、合致すればＳ１４１６に移る。合致しないときは、再質問規則に応じて、所定の音声を出力するよう音声出力部１１０２に通知する。
【００８６】
音声出力部１１０２は、再質問規則に応じた音声を出力し、会話相手に伝える（Ｓ１４１０）。音声入力部１０９または、入力操作部１０３から会話相手からの再応答を受け付ける（Ｓ１４１２）。
【００８７】
音声認識部１１０は、音声入力部から入力された音声を認識し、単語又は単語列を応答文抽出部１１０３に通知し、入力操作部１０３は入力操作された単語を応答文抽出部１１０３に通知する（Ｓ１４１４）。
【００８８】
応答文抽出部１１０３は、表示部１０５に類似する応答文とその翻訳応答文と認識結果である文字応答文とを表示させる。その際、文字応答文に一致する翻訳応答文の部分の表示属性を変更する（Ｓ１４１６）。
【００８９】
このようにすることで、会話相手からの音声応答を一度は認識できなかった場合でも、その内容に応じた再質問を用意しておき、会話相手から適切な入力を受けて、音声応答文の認識精度を向上することができる。
【００９０】
なお、上記実施の形態では、第１言語として日本語を、第２言語として英語を例に説明したけれども、本発明に係る通訳装置では、第１言語と第２言語とが逆であってもよいし、また他の言語が第１または第２言語となっていてもよい。この場合には、質問文翻訳データベース１０１、音声出力部１０６、１１０２、応答文データベース１０２、１１０１及び音声認識辞書１０８がそれぞれの言語に対応する内容とされる。
【００９１】
また、上記実施の形態では、図１及び図１１に示した構成図で示した各部がそれぞれの機能を発揮したけれども、各部の機能を発揮されるプログラムをコンピュータ読み取り可能なフロッピーディスクやＣＤ−ＲＯＭ等の記録媒体に記録する。この通訳装置特有の機能を有しない携帯端末装置等にこの記録媒体を装着し、本装置と同様の機能を有する通訳装置とすることができる。
【００９２】
【発明の効果】
以上説明したように、本発明は、第１言語の質問文とそれを翻訳した第２言語の質問文とを対にして記憶している質問文データベースと、第２言語の質問文に応答する標準的な複数の第２言語の応答文と、それらを翻訳した第１言語の応答文とを記憶している応答文データベースと、入力操作手段と、音声入力手段と、前記入力操作手段でユーザから入力された第１言語の質問文を前記質問文データベースを検索し、それと対になっている第２言語の質問文を抽出する質問文抽出手段と、抽出された第２言語の質問文の出力を受けてユーザの会話相手が第２言語の応答文を音声で入力した場合に、入力された音声を第２言語の文字応答文として認識する音声認識手段と、前記音声認識手段で認識された文字応答文に類似する第２言語の応答文と対応する第１言語の応答文とを前記応答文データベースから抽出する応答文抽出手段と、前記応答文抽出手段で抽出された第２言語の応答文と第１言語の応答文と前記音声認識手段で認識された文字応答文とを表示する表示手段とを備えることとしている。このような構成によって、ユーザの会話相手は、通常の会話をするように音声応答するだけで、ユーザには、質問文に答えた応答文が、ユーザの理解できる第１言語で表示されるのでスムーズな会話をすることができる。
【００９３】
また、前記音声認識手段は、単語標準パターンとその単語標準パターンに対応する単語とを記憶している音声認識辞書と、前記音声入力手段から入力された音声を分析して単語単位のセグメントのパターンに分割する分割部と、前記分割部で分割されたセグメントのパターンと前記音声認識辞書に記憶されている単語標準パターンとの類似度を計算し、類似度が所定値以上の単語標準パターンに対応する単語を候補単語として抽出する候補単語抽出部と、前記候補単語抽出部で抽出された各セグメント類似度の最大の候補単語を並べて文字応答文を生成する文字応答文生成部とを有することとしている。このような構成によって、会話相手の応答文を文字応答文として認識することができる。
【００９４】
また、前記候補単語抽出部は、抽出した候補単語が前記応答文抽出手段で抽出された応答文を構成する単語と一致するとき、その類似度を所定の倍率で大きくすることとしている。このような構成によって、不特定の会話相手の音声であっても、応答文として予測される単語の認識する確率を高めることによって、音声応答文の認識精度を向上することができる。  また、前記応答文データベースには、応答文を構成する単語が応答文として必須の要素であるかと、必須の要素であるときに、その単語が他の単語に置換されることが予想されるかと、予想されるとき、置換が予想される単語の意味属性とが記憶されており、前記音声認識手段で認識された文字応答文を構成する単語と前記類似する応答文を構成する単語とを照合し、必須の要素を欠き、かつ、置換が予想される単語の意味属性と異なる単語を応答文に対応する単語とするとき文字応答文が質問の答えとして成立しないと判断する文字応答文判断手段を備えることとしている。このような構成によって、音声認識手段で認識された文字応答文が質問文の答えとして成立するか否かが判断される。
【００９５】
また、前記応答文データベースには、応答文を構成する単語が必須の要素であるときに、その単語を認識できなかったときの再質問規則が記憶されており、前記文字応答文判断手段が、文字応答文が質問の答えとして成立しないと判断したとき、前記再質問規則に応じた再質問を出力する出力手段を備えることとしている。このような構成によって、質問文の答えと成立しない文字応答文を会話相手への再質問をすることによって、正しく認識された文字応答文とすることができる。
【００９６】
また、前記表示手段に表示される文字応答文を構成する単語と前記応答文抽出手段で抽出された第２言語の応答文を構成する単語とを比較し、一致する単語の前記第２言語の応答文の表示属性を変更する制御手段を備えることとしている。このような構成によって、会話相手からの応答文の理解が容易となる。
【００９７】
また、前記応答文データベースに記憶されている第１言語の応答文とその第２言語の応答文とを構成する対応する単語に同一の識別子を付し、前記表示手段に表示される文字応答文を構成する単語と前記応答文抽出手段で抽出された第２言語の応答文を構成する単語とを比較し、一致する単語と同一の識別子が付された前記第１言語の応答文の表示属性を変更する表示制御手段を備えることとしている。このような構成によって、会話相手からの第２言語の応答文をユーザの理解できる第１言語の内容との違いを明確にして知ることができる。
【００９８】
更に、コンピュータに読取可能な記録媒体であって、第１言語の質問文とそれを翻訳した第２言語の質問文とを対にして記憶している質問文データベースと、第２言語の質問文に応答する標準的な複数の第２言語の応答文と、それらを翻訳した第１言語の応答文とを記憶している応答文データベースとを予め記録し、コンピュータを、入力操作手段と、音声入力手段と、前記入力操作手段でユーザから入力された第１言語の質問文を前記質問文データベースを検索し、それと対になっている第２言語の質問文を抽出する質問文抽出手段と、抽出された第２言語の質問文の出力を受けてユーザの会話相手が第２言語の応答文を音声で入力した場合に、入力された音声を第２言語の文字応答文として認識する音声認識手段と、前記音声認識手段で認識された文字応答文に類似する第２言語の応答文と対応する第１言語の応答文とを前記応答文データベースから抽出する応答文抽出手段と、前記応答文抽出手段で抽出された第２言語の応答文と第１言語の応答文と前記音声認識手段で認識された文字応答文とを表示させる表示制御手段として機能させるためのプログラムを記録することとしている。これによって、通訳機能を有しない携帯端末装置を効率的な通訳装置として使用することができる。
【図面の簡単な説明】
【図１】本発明に係る通訳装置の実施の形態１の構成図である。
【図２】上記実施の形態の質問文翻訳データベースの内容の一例を示す図である。
【図３】上記実施の形態の応答文データベースの内容の一例を示す図である。
【図４】上記実施の形態の表示部に表示されている内容の一例を示す図である。
【図５】上記実施の形態の表示部に表示されている内容の他の一例を示す図である。
【図６】上記実施の形態の音声認識辞書の内容の一例を示す図である。
【図７】（ａ）は、上記実施の形態の音声入力部に入力された音声応答の文字応答文の一例を示す。
（ｂ）は、上記実施の形態の音声認識部において音声信号から単語単位の各セグメントの音声パターンに分割して単語候補を認識する様子の説明図である。
【図８】上記実施の形態の音声認識部において、単語候補の類似度を修正して、文字応答文を認識する様子の説明図である。
【図９】上記実施の形態の動作を説明するフローチャートである。
【図１０】上記図９のＳ９１８の詳細な動作を説明するフローチャートである。
【図１１】本発明に係る通訳装置の実施の形態２の構成図である。
【図１２】上記実施の形態の応答文データベースの内容の一例を示す図である。
【図１３】上記実施の形態の表示部に表示されている内容の一例を示す図である。
【図１４】上記実施の形態の動作を説明するフローチャートである。
【符号の説明】
１０１  質問文翻訳データベース
１０２、１１０１  応答文データベース
１０３  入力操作部
１０４  質問文選択部
１０５  表示部
１０６、１１０２  音声出力部
１０７、１１０３  応答文抽出部
１０８  音声認識辞書
１０９  音声入力部
１１０  音声認識部
【図１】
0003993319.tif 000002
【図２】
0003993319.tif 000003
【図３】
0003993319.tif 000004
【図４】
0003993319.tif 000005
【図５】
0003993319.tif 000006
【図６】
0003993319.tif 000007
【図７】
0003993319.tif 000008
【図８】
0003993319.tif 000009
【図９】
0003993319.tif 000010
【図１０】
0003993319.tif 000011
【図１１】
0003993319.tif 000012
【図１２】
0003993319.tif 000013
【図１３】
0003993319.tif 000014
【図１４】
0003993319.tif 000015