(57)【要約】【課題】２人で使用する従来技術の翻訳装置で小型にした場合、双方の利用者に必要な情報の全てを表示出来ないため使い勝手が低下するという課題。【解決手段】音声入力部４１０１、翻訳支援部４１０８、音声翻訳部４１０２、表示部４１０３、音声出力部４１０７等により音声翻訳機能を実現するが、言語変換方向制御部４１０５は２人の利用者の、どちらに翻訳装置の操作権限があるかを決定し、音声入力部４１０１の入力形態を制御し、音声翻訳部４１０２に対して翻訳方向を指定し、表示部４１０３の表示内容を指示する構成であり、例えば２人の利用者の内、一方は日本語を使用し、他方は英語を使用する。【選択図】図２６
2005141759.tif 000002
【特許請求の範囲】
【請求項１】
第１又は第２の言語の音声を入力するための入力部と、
（１）前記入力部から前記第１の言語の音声を受け取った場合、それを音声認識し、且つ、所定の制御指示に基づいて、(1-ａ)前記音声認識された前記第１の言語の表記データを出力する、又は(1-ｂ)前記音声認識された認識結果に基づいて決定される変換対象を前記第２の言語に変換し、その変換後の言語の少なくとも表記データを出力し、（２）前記入力部から前記第２の言語の音声を受け取った場合、それを音声認識し、且つ、所定の制御指示に基づいて、(2-ａ)前記音声認識された前記第２の言語の表記データを出力する、又は(2-ｂ)前記音声認識された認識結果に基づいて決定される変換対象を前記第１の言語に変換し、その変換後の言語の少なくとも表記データを出力する翻訳部と、
前記翻訳部の前記変換対象の決定を支援するための支援部と、
前記翻訳部から出力される前記変換後の言語の前記表記データを、前記所定の制御指示に基づいて表示するための表示部と、
前記所定の制御指示を、少なくとも前記翻訳部及び前記表示部に対して行う制御部と、を備えた音声変換装置。
【請求項２】
前記第１の言語を使用する利用者と、前記第２の言語を使用する他の利用者との対話の際に前記入力部により入力された音声に基づいた前記表記データを逐次保持して、履歴情報として前記表示部に出力するための対話履歴管理部を備えた請求項１１に記載の音声変換装置。
【請求項３】
前記第１の言語から第２の言語、又は前記第２の言語から第１の言語への何れの翻訳が前記音声翻訳部により行われるべきかの翻訳方向を決定するための情報を検出する言語変換方向検出部を備え、
前記制御部は、前記検出結果に基づいて、前記音声翻訳部に対して前記翻訳方向を指定し、かつ、前記入力部を制御する請求項１１に記載の音声変換装置。
【請求項４】
前記制御部の前記入力部に対する制御とは、前記入力部が複数の音声入力部によって構成される場合に、発声する利用者の音声を最も良く集音する前記音声入力部を選択することである請求項３記載の音声変換装置。
【請求項５】
前記制御部は、前記翻訳方向に応じて、前記表示部の表示内容を、その表示部の表示画面を基準として実質上１８０度回転するように制御する請求項３記載の音声変換装置。
【請求項６】
前記言語変換方向検出部は、ボタンスイッチで構成されており、発声する利用者が前記ボタンスイッチを押して翻訳方向を選択する構成である請求項３記載の音声変換装置。
【請求項７】
前記言語変換方向検出部は、可動式のマイクの音響的指向性の最も良い方向を検出する角度センサーで構成されており、発声する利用者がマイクの方向を変えて前記翻訳方向を選択する請求項３記載の音声入力翻訳装置。
【請求項８】
前記言語変換方向検出部は、前記音声変換装置の内部に設置されたジャイロセンサーで構成されており、発声する利用者が前記音声変換装置を手に持つ位置で前記翻訳方向を選択する請求項３記載の音声変換装置。
【請求項９】
前記言語変換方向検出部は、マイクアレーユニットで構成される入力部の、音源方向検出装置によって構成されており、発声する利用者の前記マイクアレーユニットに対する発声位置で翻訳方向を選択する請求項３記載の音声変換装置。
【請求項１０】
第１又は第２の言語の音声を入力し、出力する音声入力ステップと、
（１）前記音声入力ステップにより出力された前記第１の言語の音声を受け取った場合、それを音声認識し、且つ、所定の制御指示に基づいて、（１−ａ）前記音声認識された前記第１の言語の表記データを出力する、又は（１−ｂ）前記音声認識された認識結果に基づいて決定される変換対象を前記第２の言語に変換し、その変換後の言語の少なくとも表記データを出力し、（２）前記音声入力ステップにより出力された前記第２の言語の音声を受け取った場合、それを音声認識し、且つ、所定の制御指示に基づいて、（２−ａ）前記音声認識された前記第２の言語の表記データを出力する、又は（２−ｂ）前記音声認識された認識結果に基づいて決定される変換対象を前記第１の言語に変換し、その変換後の言語の少なくとも表記データを出力する翻訳ステップと、
前記翻訳ステップでの前記変換対象の決定を支援するための支援ステップと、
前記翻訳ステップにより出力される前記変換後の言語の前記表記データを、前記所定の制御指示に基づいて表示するための表示ステップと、
前記所定の制御指示を、少なくとも前記翻訳ステップ及び前記表示ステップに対して行う制御ステップと、を備えた音声変換方法。
【請求項１１】
請求項１０記載の音声変換方法の、前記翻訳ステップと、前記支援ステップと、前記表示ステップと、前記対話履歴管ステップとをコンピュータに実行させるためのプログラム。
【請求項１２】
請求項１１に記載のプログラムを記録した記録媒体であって、コンピュータにより処理可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、音声入力された原言語の発声を目的言語に変換して音声出力する音声変換装置、音声変換方法、プログラム、及び記録媒体に関するものである。
【背景技術】
【０００２】
音声通訳技術は、高性能なワークステーションやパーソナルコンピュータによる使用を前提としたソフトウェアとして開発され、仮に、旅行会話などに会話の範囲を限定した場合、その性能は実用的なレベルまで到達している。しかし、音声通訳装置として、一般のユーザが日常的に使用するためには、海外旅行等に簡単に携行できる程度の大きさのハードウェアと、簡単に操作ができるユーザインタフェースを設計し、同等の機能のソフトウェアをそのハードウェアに移植する必要がある。
【０００３】
従来は、B5サイズ程度のノート型パーソナルコンピュータに対して音声通訳ソフトウェアを移植する作業が進められてきた。
【０００４】
一方、近年のハードウェア技術の進歩によって、携帯可能な小型の情報機器を用いて、主に海外旅行で使用する会話を対象として、音声入力による翻訳機能が実現できるようになった。この様な他の従来技術としての翻訳機能は双方向であり、例えば日本語から英語への変換機能と、英語から日本語への変換機能の両方を備える。
【０００５】
この様な他の従来技術の発明としては、外国語翻訳装置（例えば、特許文献１参照。）や音声入力翻訳装置（例えば、特許文献２参照。）がある。これらの発明では、言語の異なる２人が１台の機器を対面形式で使用して対話ができるように、機器の形状や表示部の配置、その内容が決定されている。
【特許文献１】特開平８−７７１７６号公報
【特許文献２】特開平８−２７８９７２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、B5サイズ程度のノート型パーソナルコンピュータは、ユーザが簡単に携行して様々な場所で利用できる大きさではない。また、普通のキーボードやマウスで操作しなければならないために、ユーザインタフェースとしても使い易い形態ではない。さらに音声認識に必要とされるCPU性能やワーキングメモリの容量といった計算資源の量は、一般に認識対象語彙の大きさに比例する。
【０００７】
小型のハードウェアでは計算資源が限られるので、音声通訳装置として必要十分な単語を認識対象語彙として実装することが困難であり、音声通訳装置としての利用価値が低くなるという課題があった。以上が上記従来技術についての課題である（第１の課題）。
【０００８】
次に、上記他の従来技術についての課題を説明する（第２の課題）。
【０００９】
即ち、上記他の従来技術の翻訳装置において、衣服のポケットに入るような小型の情報機器で、その表示領域の解像度が小さい場合には、２人の利用者に必要な情報をすべて表示することはできない。そのため、翻訳装置としての使い勝手が低下するという課題があった。また、複数の表示部を実装すると消費電力が増加して翻訳装置の稼働時間が短くなるという課題もあった。また、翻訳装置は２人の利用者の発声を排他的に扱わないので、発声が重なると音声認識の認識率が低下して翻訳装置としての性能が低下するという課題もあった。
【００１０】
本発明は、上記従来の翻訳装置のこの様な第２の課題を考慮し、従来に比べて表示内容についての使用性の向上を図る事が出来る音声変換装置、音声変換方法、プログラム、及び記録媒体を提供することを目的とする。
【００１１】
又、本発明に関連する技術の他の発明は、上記従来の音声通訳装置のこの様な第１の課題を考慮し、従来に比べてより一層小型化が可能であり、操作も簡単に出来得る音声変換装置、音声変換方法、プログラム、及び媒体を提供することを目的とする。
【課題を解決するための手段】
【００１２】
第１の本発明は、第１又は第２の言語の音声を入力するための入力部と、
（１）前記入力部から前記第１の言語の音声を受け取った場合、それを音声認識し、且つ、所定の制御指示に基づいて、（１−ａ）前記音声認識された前記第１の言語の表記データを出力する、又は（１−ｂ）前記音声認識された認識結果に基づいて決定される変換対象を前記第２の言語に変換し、その変換後の言語の少なくとも表記データを出力し、（２）前記入力部から前記第２の言語の音声を受け取った場合、それを音声認識し、且つ、所定の制御指示に基づいて、（２−ａ）前記音声認識された前記第２の言語の表記データを出力する、又は（２−ｂ）前記音声認識された認識結果に基づいて決定される変換対象を前記第１の言語に変換し、その変換後の言語の少なくとも表記データを出力する翻訳部と、
前記翻訳部の前記変換対象の決定を支援するための支援部と、
前記翻訳部から出力される前記変換後の言語の前記表記データを、前記所定の制御指示に基づいて表示するための表示部と、
前記所定の制御指示を、少なくとも前記翻訳部及び前記表示部に対して行う制御部と、を備えた音声変換装置である。
【００１３】
又、第２の本発明は、前記第１の言語を使用する利用者と、前記第２の言語を使用する他の利用者との対話の際に前記入力部により入力された音声に基づいた前記表記データを逐次保持して、履歴情報として前記表示部に出力するための対話履歴管理部を備えた上記第１の本発明の音声変換装置である。
【００１４】
又、第３の本発明は、前記第１の言語から第２の言語、又は前記第２の言語から第１の言語への何れの翻訳が前記音声翻訳部により行われるべきかの翻訳方向を決定するための情報を検出する言語変換方向検出部を備え、
前記制御部は、前記検出結果に基づいて、前記音声翻訳部に対して前記翻訳方向を指定し、かつ、前記入力部を制御する上記第１の本発明の音声変換装置である。
【００１５】
又、第４の本発明は、前記制御部の前記入力部に対する制御とは、前記入力部が複数の音声入力部によって構成される場合に、発声する利用者の音声を最も良く集音する前記音声入力部を選択することである上記第３の本発明の音声変換装置である。
【００１６】
又、第６の本発明は、前記言語変換方向検出部は、ボタンスイッチで構成されており、発声する利用者が前記ボタンスイッチを押して翻訳方向を選択する構成である上記第３の本発明の音声変換装置である。
【００１７】
又、第７の本発明は、前記言語変換方向検出部は、可動式のマイクの音響的指向性の最も良い方向を検出する角度センサーで構成されており、発声する利用者がマイクの方向を変えて前記翻訳方向を選択する上記第３の本発明の音声入力翻訳装置である。
【００１８】
又、第８の本発明は、前記言語変換方向検出部は、前記音声変換装置の内部に設置されたジャイロセンサーで構成されており、発声する利用者が前記音声変換装置を手に持つ位置で前記翻訳方向を選択する上記第３の本発明の音声変換装置である。
【００１９】
又、第９の本発明は、前記言語変換方向検出部は、マイクアレーユニットで構成される入力部の、音源方向検出装置によって構成されており、発声する利用者の前記マイクアレーユニットに対する発声位置で翻訳方向を選択する上記第３の本発明の音声変換装置である。
【００２０】
又、第１０の本発明は、第１又は第２の言語の音声を入力し、出力する音声入力ステップと、
（１）前記音声入力ステップにより出力された前記第１の言語の音声を受け取った場合、それを音声認識し、且つ、所定の制御指示に基づいて、（１−ａ）前記音声認識された前記第１の言語の表記データを出力する、又は（１−ｂ）前記音声認識された認識結果に基づいて決定される変換対象を前記第２の言語に変換し、その変換後の言語の少なくとも表記データを出力し、（２）前記音声入力ステップにより出力された前記第２の言語の音声を受け取った場合、それを音声認識し、且つ、所定の制御指示に基づいて、（２−ａ）前記音声認識された前記第２の言語の表記データを出力する、又は（２−ｂ）前記音声認識された認識結果に基づいて決定される変換対象を前記第１の言語に変換し、その変換後の言語の少なくとも表記データを出力する翻訳ステップと、
前記翻訳ステップでの前記変換対象の決定を支援するための支援ステップと、
前記翻訳ステップにより出力される前記変換後の言語の前記表記データを、前記所定の制御指示に基づいて表示するための表示ステップと、
前記所定の制御指示を、少なくとも前記翻訳ステップ及び前記表示ステップに対して行う制御ステップと、を備えた音声変換方法である。
【００２１】
又、第１１の本発明は、上記第１０の本発明の音声変換方法の、前記翻訳ステップと、前記支援ステップと、前記表示ステップと、前記対話履歴管ステップとをコンピュータに実行させるためのプログラムである。
【００２２】
又、第１２の本発明は、上記第１１の本発明のプログラムを記録した記録媒体であって、コンピュータにより処理可能なことを特徴とする記録媒体である。
【００２３】
上記本発明の構成によれば、例えば、音声変換装置としてユーザが片手で持ってボタンやタッチパネルで簡単に操作できるものを用いる。そして、対面する２人の使用者（一方の使用者が、第１の言語を使用し、他方の使用者が第２の言語を使用する）が、操作権限を手動で獲得する手段、あるいは、操作権限を手動で相手に与える手段、あるいは、自動的に獲得する手段を追加して、どちらに操作権限があるかを明示的に示し、かつ、その使用者が操作しやすい表示と入力手段を提供する。これにより、例えば、表示電力を増加させることなく、従来に比べて表示内容についての使用性の向上を図る事が出来る。
尚、上記従来技術における第１の課題を解決するための、本発明に関連する技術の第１〜第１０の他の発明について以下に述べる。
【００２４】
第１の他の発明は、第１の言語の音声を入力するための音声入力手段と、
前記入力された音声を音声認識するための音声認識手段と、
前記音声の認識結果に対応する、前記第１の言語の一つ又は複数の単語列を抽出し、表示する第１の抽出・表示手段と、
前記表示された単語列から、第２の言語への変換対象となる予定の何れかの単語列を選定するための変換対象選定手段と、
前記選定された単語列の全部又は一部が特定された際、その特定された内容に対応する用語の候補を抽出し、表示する第２の抽出・表示手段と、
前記表示された前記候補から何れかの候補を選定するための候補選定手段と、
前記選定された単語列と、前記選定された候補とに基づいて、前記第２の言語への変換対象を決定し、その決定された変換対象を前記第２の言語の音声言語に変換する変換手段と、を備えた音声変換装置である。
【００２５】
又、第２の他の発明は、前記第１の抽出・表示手段は、前記選定の対象となる複数の単語列と、前記選定された単語列とを、それぞれ予め定められた領域に表示するための表示画面を備えた表示部を有しており、
前記第２の抽出・表示手段は、前記用語の候補を、前記表示画面の一部の領域にウインドウ状に重ねて表示する手段である上記第１の他の発明の音声変換装置である。
【００２６】
又、第３の他の発明は、前記第１の抽出・表示手段は、前記選定された単語列を前記表示画面上に表示する際、前記単語列の一部に対して、前記対応する用語の候補の表示が可能である旨の情報をも付加して表示する手段である上記第２の他の発明の音声変換装置である。
【００２７】
又、第４の他の発明は、前記付加された情報が表示されている前記単語列の一部を、前記表示画面上で特定するための画面表示特定手段を備えた上記第３の他の発明の音声変換装置である。
【００２８】
又、第５の他の発明は、前記変換手段は、前記単語列の内、前記特定された前記一部を、前記選定された候補の用語に置き換えた結果を、前記変換対象として決定する上記第１の他の発明の音声変換装置である。
【００２９】
又、第６の他の発明は、第１の言語の音声を入力する音声入力ステップと、
前記入力された音声を音声認識するための音声認識ステップと、
前記音声の認識結果に対応する、前記第１の言語の一つ又は複数の単語列を抽出し、表示する第１の抽出・表示ステップと、
前記表示された単語列から、第２の言語への変換対象となる予定の何れかの単語列を選定するための変換対象選定ステップと、
前記選定された単語列の全部又は一部が特定された際、その特定された内容に対応する用語の候補を抽出し、表示する第２の抽出・表示ステップと、
前記表示された前記候補から何れかの候補を選定するための候補選定ステップと、
前記選定された単語列と、前記選定された候補とに基づいて、前記第２の言語への変換対象を決定し、その決定された変換対象を前記第２の言語の音声言語に変換する変換ステップと、を備えた音声変換方法である。
【００３０】
又、第７の他の発明は、上記第１〜５の何れか一つの他の発明の音声変換装置の、前記音声認識手段と、前記第１の表示・抽出手段と、前記変換対象選定手段と、前記第２の表示・抽出手段と、前記候補選定手段と、前記変換手段との全部又は一部としてコンピュータを機能させるためのプログラムである。
【００３１】
又、第８の他の発明は、上記第６の他の発明の音声変換方法の、前記音声認識ステップと、前記第１の表示・抽出ステップと、前記変換対象選定ステップと、前記第２の表示・抽出ステップと、前記候補選定ステップと、前記変換ステップとの全部又は一部をコンピュータに実行させるためのプログラムである。
【００３２】
又、第９の他の発明は、上記第７の他の発明のプログラムを担持した媒体であって、コンピュータにより処理可能なことを特徴とする媒体である。
【００３３】
又、第１０の他の発明は、上記第８の他の発明のプログラムを担持した媒体であって、コンピュータにより処理可能なことを特徴とする媒体である。
【００３４】
以上の構成により、上記本発明に関連する技術の他の発明では、例えば、ユーザが片手で持ってボタンやタッチパネルで簡単に操作できる小型のハードウェアを提供することが可能である。そして、例えば、音声通訳すべき用例文中に含まれる単語をクラス化して保持し、クラスを代表する少数の単語のみ認識対象語彙として音声認識部に実装することが可能である。クラスを代表する単語を含む文が発声されると、その単語を含む用例を検索してユーザに提示することが可能である。通常、ユーザは所望の用例を選択して翻訳音声を出力させる。しかし必要があれば、ユーザはその単語をクラス内の他の単語に置換して翻訳音声を出力させればよい。例えば、日本語で「アスピリンはありますか」と入力したい場合には、単語「アスピリン」が属するクラスを代表する単語「薬」に置き換えて、日本語で「何か薬はありますか」と発声し、その後「薬」の部分を「アスピリン」に置き換えればよい。このような段階的な操作によって、大規模な認識対象語彙を実装することなく、音声通訳装置としての利用価値は維持される。
【発明の効果】
【００３５】
本発明は、従来に比べて表示内容についての使用性の向上を図る事が出来るという長所を有する。
【発明を実施するための最良の形態】
【００３６】
以下に、本発明に関連する技術の他の発明の音声変換装置の一実施の形態の音声通訳装置の構成及び動作について、図面を参照しながら述べるとともに、本発明に関連する技術の他の発明の音声変換方法の動作も同時に説明する。
【００３７】
図１は、本実施の形態の音声通訳装置のハードウェア構成を示すブロック図である。
【００３８】
音声入出力装置１０２はユーザの原言語による発声を受け取り、目的言語に通訳された音声を出力する。画像出力装置１０３は、本通訳装置が通訳すべき原言語の用例を表示する。画像指示装置１０５およびボタン１０６は、画像出力装置１０３に表示された用例をユーザに選択させるため使用する。演算制御装置１０１は、音声入出力装置１０２と画像指示装置１０５とボタン１０６から入力される原言語に関するデータを目的言語に関するデータへ音声言語的に変換し、音声入出力装置１０２と画像出力装置１０３に出力する。外部大容量不揮発性記憶装置１０４は、演算制御装置１０１に処理の手順を指示するプログラムとデータを保持する。また、外部データ入出力端子１０７は、演算制御装置１０１が外部機器とプログラムやデータを交換するために使用する。電源装置１０８は、演算制御装置１０１を駆動するために必要な電源を供給する。
【００３９】
ここで、本発明に関連する技術の他の発明の音声入力手段は、音声入力装置１０２に対応し、本発明に関連する技術の他の発明の第１の抽出・表示手段、及び第２の抽出・表示手段は、画像出力装置１０３と演算制御装置１０１等を含む構成部分に対応する。又、本発明に関連する技術の他の発明の画面表示特定手段は、画像指示装置１０５及びボタン１０６に対応する。又、本発明に関連する技術の他の発明の第１の言語が、本実施の形態での原言語に対応し、本発明に関連する技術の他の発明の第２の言語が、本実施の形態での目的言語に対応する。
【００４０】
演算制御装置１０１に、PC/AT互換のマザーボードを使用した具体的な構成例を図２に示す。音声入出力装置２０３はマザーボード２０１のUSB端子を利用して接続する。画像出力装置２０４はマザーボード２０１のデジタルRGBインタフェース端子を利用して接続する。外部大容量不揮発性記憶装置１０４には2.5インチのハードディスクドライブ２０２を使用し、マザーボード２０１とIDEインタフェースで接続する。このハードディスクドライブの替わりにフラッシュメモリディスクを使用してもよい。また、電源装置１０８にはLi-ion２次電池２０８を使用し、+5Vおよび+12Vの電圧をマザーボード２０１に供給する。マザーボード２０１の入出力端子の中で、アナログディスプレイ出力端子、ローカルエリアネットワーク端子、キーボード接続端子を引き出し、外部データ入出力端子２０７を構成する。
【００４１】
画像出力装置２０４の詳細な構成を図３に示す。冷陰極線管のバックライトが背面に実装された表示面積が４インチ、解像度がVGAのLCDユニット３０１に対し、マザーボード３０２のデジタルRGBインタフェースの中から１８ビットを使用して接続する。また、映像の同期信号とバックライトの制御信号も接続する。
【００４２】
画像指示装置２０５およびボタン２０６の詳細な構成を図４に示す。３．８インチの感圧式タッチパネル４０２をタッチパネルコントローラ４０１に接続し、指示位置のX座標とY座標をRS232C規格のシリアルデータに変換してマザーボード４０５のシリアル端子COM1に接続する。ボタン４０３とボタン４０４は、それぞれタッチパネルコントローラ４０１に接続され、ボタンのONまたはOFFの情報は指示位置の情報に付加される。マザーボード４０５に実装されるタッチパネルコントローラ４０１のデバイスドライバ・ソフトウェアによって受信されたシリアルデータは解読され、ボタン４０３はマザーボード４０５にマウスを接続したときの左ボタンに、ボタン４０４は右ボタンに相当するようにマウスクリックイベントが発生する。
【００４３】
音声入出力装置２０３の詳細な構成を図５に示す。USBオーディオインタフェース５０４は入力されるアナログ音声をデジタルデータに変換してマザーボード５０５に送信し、マザーボード５０５（図２の２０１に対応）から送信されるデジタルデータをアナログ音声に変換する。デジタルデータの送受信にはUSBインタフェースを使用する。アナログ音声の収集にはマイク５０３を使用する。また、USBインタフェース５０４の出力はオーディオアンプ５０２によって増幅し、スピーカ５０１から出力する。なお、USBオーディオインタフェース５０４の替わりに、マザーボード５０５に実装されているオーディオインタフェースを使用してもよい。
【００４４】
図２の構成を、ユーザが片手で持つことが可能な筐体に実装した例の斜視図を図６、および、その三面図を図７（ａ）〜図７（ｃ）に示す。主筐体６０１には、画像指示装置２０５と画像表示装置２０４とボタン２０５が実装されている。６０３および６０４はそれぞれ、ボタン４０３およびボタン４０４に相当する。副筐体６０２には、音声入出力装置２０３が実装されている。本通訳装置を利用しない場合は、画像表示装置２０４の表示面を副筐体６０２が覆って保護する。
【００４５】
本通訳装置を利用する場合は、図８のように副筐体８０２を音声入出力装置２０３（マイク８０３）の指向性の方向がユーザの顔を向く所定の位置まで移動させてから利用する。その三面図を図９（ａ）〜図９（ｃ）に示す。すなわち副筐体８０２に実装されたスピーカ８０４がユーザ方向を向くまで持ち上げ、さらにマイク８０３も同じく持ち上げる。この状態でタッチパネル付LCD８０５が使用可能になる。
【００４６】
図１０（ａ）〜図１０（ｃ）に主筐体６０１に対する実装の様子を示す。４インチVGALCDユニット３０１とタッチパネル４０２は重ねられ、タッチパネル付LCD１００５として実装される。図１１（ａ）〜図１１（ｃ）に副筐体６０２に対する実装の様子を示す。
【００４７】
図１２に本発明に関連する技術の他の発明のプログラムとデータの実施の形態であるソフトウェア構成図を示す。図１２において、１２０１は各構成要素に指示を行い、各構成要素からのデータの流れを制御する制御部、１２０２は制御部１２０１からの情報の表示や、ユーザからの入力を制御部１２０１に送るGUI(GraphicalUser Interface)部、１２０３は制御部１２０１からの指示によりユーザの音声を収録する音声入力部、１２０４は音声入力部から送られるユーザの音声を連続音声認識する音声認識部、１２０５は原言語と目的言語の用例の対応を保持する用例データベース、１２０６は用例データベース１２０５において、クラス化されている単語を保持する単語クラス辞書、１２０７は制御部１２０１から送られてくる音声認識結果から、用例データベース１２０５を参照して用例の選択を行う用例選択部、１２０８は制御部１２０１からの指示に従って、用例選択部１２０７により選択された用例の中からクラス化された単語の選択を行う単語選択部、１２０９は制御部１２０１により指定されたクラス化された単語に変わることが可能である単語を単語クラス辞書１２０６を参照することにより、代替単語を選択する代替単語選択部、１２１０は制御部１２０１により指定された用例を用例データベース１２０５および単語クラス辞書１２０６を参照することにより目的言語に変換する言語変換部、１２１１は制御部より指定された目的言語による用例文を音声合成して出力する音声合成部で構成する。尚、ここで、用例データベース１２０５〜言語変換部１２１０をまとめて翻訳部１２２０と呼ぶ。
【００４８】
ここで、本発明に関連する技術の他の発明の音声認識手段は、音声認識部１２０４に対応し、本発明に関連する技術の他の発明の変換対象選定手段は、用例選択部１２０７等に対応する。又、本発明に関連する技術の他の発明の画面表示特定手段は、単語選択部１２０８等に対応し、本発明に関連する技術の他の発明の候補選定手段は、代替単語選択部１２０９等に対応する。又、本発明に関連する技術の他の発明の変換手段は、言語変換部１２１０と音声合成部１２１１などを含む構成部分に対応する。
【００４９】
図１４に、用例データベース１２０５の具体例を示す。用例は対話の1文に対応しており、各用例において予め定められた情報（原言語の構成要素、構成要素の依存関係）とともに、原言語と目的言語の対応を保持している。＜＞で囲まれた原言語の単語は、クラス化された単語であることを示す。クラス化された単語は、同じクラスの単語と置き換えることが可能であることを示す。
【００５０】
図１５に単語クラス辞書１２０６の具体例を示す。ここで、クラスとは「果物」のように抽象度の高い単語のことであり、クラスに属する単語とは、「りんご」や「みかん」のようにクラスの具体的な実体を表現する単語である。なお、クラス化の抽象度は、音声認識部１２０４の性能に応じて変更することにより、効率的に用例選択を行うことが可能である。また、クラスを階層化して単語クラス辞書１２０６を構成してもよい。
【００５１】
図１６にタッチパネル付LCD８０５に表示されたGUI部１２０２の詳細を示す。１６０１は翻訳の方向を指定する翻訳方向指定部、１６０３は音声認識部１２０４により認識された音声認識結果を表示する音声認識結果表示部、１６０４は用例選択部１２０７により、選択された用例文を表示する用例候補表示部、１６０５はユーザにより指定された用例を表示する用例選択結果表示部、１６０６は言語変換部が目的言語に変換した用例を表示する翻訳結果表示部、１６０７、１６０８はそれぞれボタン８０６、ボタン８０７に相当し、ユーザによる入力を行う。また、タッチパネル付LCD８０５に対して、ユーザはポインティング入力を行うことが可能である。
【００５２】
図１３は本発明に関連する技術の他の発明のソフトウェアのフローチャートである。１３０１は翻訳の方向を選択するステップ、１３０２はマイク８０３で音声を入力し音声認識を行うステップ、１３０３は音声認識結果に基づいて用例データベース１２０５から用例を検索するステップ、１３０４は検索した用例からユーザが用例の選択を行うステップ、１３０５はステップ１３０４で選択した用例を修正するか、または翻訳を行うかを決定するステップ、１３０６はステップ１３０４で選択した用例において修正する単語を選択するステップ、１３０７はステップ１３０６で選択した修正する単語に置き換え可能な単語の一覧を出力するステップ、１３０８はステップ１３０７で出力した単語の一覧からユーザが希望する単語を選択するステップ、１３０９はステップ１３０８により変更した単語に用例を置き換えるステップ。１３１０はステップ１３０５により決定された用例文を目的言語に変換するステップ、１３１１は、ステップ１３０９により目的言語に変換された用例を音声合成し、スピーカ８０４から出力するステップである。
【００５３】
以下、本発明に関連する技術の他の発明のソフトウェアの動作を図１３のフローチャートと、図１７から図２５のタッチパネル付LCD８０５に表示されるGUI部１２０２の表示内容を参照しながら説明する。一例として、ユーザが「アスピリンはありますか」という文を翻訳したい場合について説明する。具体的には、ユーザは「薬はありますか」と入力してから、「薬」の部分を「アスピリン」に置き換える操作を行う。本発明に関連する技術の他の発明では、タッチパネルとボタンを利用して2種類の入力操作が可能であるので、以下ではタッチパネル入力、ボタン入力の順で説明する。
【００５４】
タッチパネル入力の場合のステップ１３０１からステップ１３０３までのGUI部１２０２の表示内容を図１７に示す。ステップ１３０１では、ユーザは翻訳方向指定部１７０１をタッチパネル入力によりクリックし日英方向の翻訳を指定する。この時、GUI部１２０２は翻訳方向を制御部１２０１に送信し、制御部１２０１は音声入力部１２０３に音声入力を指示する。ユーザはマイク８０３を用いて「何か薬はありますか」と発声する。音声入力部１２０３は、入力された音声を音声認識部１２０４に送信する。ステップ１３０２では、音声認識部１２０４が指定された翻訳方向に対応する音声認識を行い、誤認識を含んだ認識結果「７日薬はありますか」を制御部１２０１に送信したとする。制御部１２０１は、音声認識結果をGUI部１２０２、および用例選択部１２０７に送信する。GUI部１２０２は送信された音声認識結果を認識結果表示部１７０２に表示する。一方、ステップ１３０３では、用例選択部１２０７が音声認識結果に基づき、以下の方法で用例を検索し、検索された用例を制御部１２０１に送信する。
【００５５】
用例選択部１２０７は、「７日薬はありますか」という音声認識結果から、用例データベース１２０５で定義されている重要語の集合として、「７日」，「薬」，「あり」を抽出する。
【００５６】
ここで、「７日」はクラス化された単語＜日数＞に帰属し、「薬」はクラス化された単語＜薬＞に帰属する。「あり」はいかなるクラス化された単語にも帰属しない。
【００５７】
用例選択部１２０７は、図１４の構成要素の依存関係を順次確認し、依存関係が１つ以上成立する用例の中で、成立数が多い用例から順に選択する。例えば、用例番号１の用例については、重要語の上記集合の中に「かかり」が存在しないので依存関係の成立数は０である。用例番号２の用例については、重要語の上記集合の中に「何か」が存在しないので、構成要素の依存関係の中で、（１→２）は成立しないが、（２→３）は成立する（図１４参照）。したがって、依存関係の成立数は１である。
【００５８】
用例選択部１２０７が、依存関係の成立数が１以上の用例を用例データベース１２０５の中から選択するように設計すると、図１４で用例番号１の用例は選択されず、用例番号２の用例は選択される。重要語の集合の中に「何か」が存在しないので、選択された用例番号２の用例については、
・「薬はありますか」
という表記を出力する。
【００５９】
以下の説明では、用例データベース１２０５の中の他の用例、
・「薬ですか」
・「薬です」
が上記と同様に選択されたとして説明する。
【００６０】
制御部１２０１は、用例選択部１２０７から送信された用例文をGUI部１２０２に送信する。GUI部１２０２は、選択された用例文を用例候補表示部１７０３に表示する。
【００６１】
ステップ１３０４のGUI部１２０２の表示内容を図１８に示す。ステップ１３０４では、用例候補表示部１７０３に表示されている用例候補の中からタッチパネル入力で１８０１をクリックすることにより、ユーザは自分が発声した文章を同じ文意の用例「薬はありますか」を選択する。この時、GUI部１２０２は選択された用例文を制御部１２０１に送信する。
【００６２】
ステップ１３０５のGUI部１２０２の表示内容を図１９に示す。ステップ１３０５では、GUI部１２０２は用例結果表示部１９０１に選択された用例文を表示し、用例候補表示部１９０２をクリアする。その後、用例を決定し翻訳を行うか、用例を修正してクラス化された単語を代替可能な単語で置き換えるかを選択する。この時、ユーザは用例結果表示部１９０１をタッチパネルでクリックすることにより、用例を決定することが可能である。決定された用例は制御部１２０１に送信される。また、ユーザは用例結果表示部１９０１をタッチパネルでダブルクリックすることにより、用例中の単語を置き換えるモードに移行することが可能である。
【００６３】
ステップ１３０５で用例を決定した場合のGUI部１２０２の表示内容を図２０に示す。ステップ１３１０で、制御部１２０１は、ユーザが決定した用例「薬はありますか」を言語変換部１２１０に送信する。言語変換部１２１０は、用例データベース１２０５を用いて目的言語「Anymedicine」に変換し、変換結果を制御部１２０１に送信する。制御部１２０１では、変換結果をGUI部１２０２、および音声合成部１２１１に送信する。ステップ１３１１では、GUI部１２０２は、変換結果を通訳結果表示部２００１に表示する。一方、音声合成部１２１１は、変換結果を音声合成してスピーカ８０４から出力する。
【００６４】
ステップ１３０６のGUI部１２０２の表示内容を図２１に示す。ステップ１３０６では、ユーザがステップ１３０５で、単語選択モードを選択した場合に、変更する単語を選択する。この時、制御部１２０１は、単語選択部１２０８に単語選択を指示する。単語選択部１２０８は、用例の中からクラス化されている単語「薬」を抽出し、制御部１２０１に送信する。制御部１２０１は、GUI部１２０２に単語を送信し、GUI部１２０２は、用例結果表示部２１０１に表示されている「薬」に下線を引きユーザに変更可能な単語であることを表示する。ユーザはタッチパネル入力で、修正したい単語「薬」をクリックする。GUI部１２０２は、選択された単語を制御部１２０１に送信する。
【００６５】
ステップ１３０７のGUI部１２０２の表示内容を図２２に示す。ステップ１３０７では、ステップ１３０６によりユーザに指定された単語「薬」の代替単語の一覧を表示する。制御部１２０１はユーザが指定した単語「薬」を代替単語選択部１２０９に送信する。代替単語選択部１２０９は、図１５に示す単語クラス辞書１２０６を参照し、ユーザが指定した単語「薬」と同じクラスの単語
・「アスピリン」
・「かぜ薬」
・「トローチ」
・「胃腸薬」
を抽出し、制御部１２０１に送信する。制御部１２０１は、GUI部１２０２に代替単語の一覧を送信し、GUI部１２０２は、リストウィンドウ２２０１に代替単語の一覧を表示する。
【００６６】
ステップ１３０８のGUI部１２０２の表示内容を図２３に示す。ステップ１３０８は、リストウィンドウ２２０１に示された代替単語一覧の中から希望する単語を選択する。この時、GUI部１２０２はユーザのタッチパネル入力によりユーザの希望する代替単語２３０１をクリックすることにより代替単語「アスピリン」を取得し、制御部１２０１に送信する。
【００６７】
ステップ１３０９のGUI部１２０２の表示内容を図２４に示す。ステップ１３０９は、指定された代替単語「アスピリン」により用例を「アスピリンはありますか」に変更する。その後、GUI部１２０２は、用例結果表示部２４０１に表示されている用例を「アスピリンはありますか」に変更して表示する。そして、ステップ１３０５に戻る。
【００６８】
図２５は、ステップ１３０５からステップ１３０８を繰り返し、ユーザがステップ１３０５で用例決定を選択し、「アスピリンはありますか」を目的言語「Anyaspirin」に変換し、合成音声を出力するときのGUI部１２０２の表示内容である。
【００６９】
次に、ボタン入力の場合の場合について説明する。以下の説明では、SW1はボタン８０６、SW2はボタン８０７にそれぞれ物理的に相当する。
【００７０】
ステップ１３０１からステップ１３０３までのGUI部１２０２の表示内容を図１７に示す。ステップ１３０１では、SW1をクリックことにより日英方向の翻訳を指定し、SW2をクリックすることにより英日方向の翻訳を指定する。この場合SW１をクリックすることにより日英方向の翻訳を指定する。この時、GUI部１２０２は翻訳方向を制御部１２０１に送信し、制御部１２０１は音声入力部１２０３に音声入力を指示する。ユーザはマイクロホン８０３を用いて「何か薬はありますか」と発声する。音声入力部１２０３は、入力された音声を音声認識部１２０４に送信する。ステップ１３０２では、音声認識部１２０４が指定された翻訳方向に対応する音声認識を行い、誤認識を含んだ認識結果「７日薬はありますか」を制御部１２０１に送信したとする。制御部１２０１は、音声認識結果をGUI部１２０２、および用例選択部１２０７に送信する。GUI部１２０２は送信された音声認識結果を認識結果表示部１７０２に表示する。一方、ステップ１３０３では、用例選択部１２０７が音声認識結果に基づいて、用例を制御部１２０１に送信する。
【００７１】
用例選択部１２０７は、「７日薬はありますか」という音声認識結果から、用例データベース１２０５で定義されている重要語の集合として、「７日」，「薬」，「あり」を抽出する。
【００７２】
ここで、「７日」はクラス化された単語＜日数＞に帰属し、「薬」はクラス化された単語＜薬＞に帰属する。「あり」はいかなるクラス化された単語にも帰属しない。
【００７３】
用例選択部１２０７は、図１４の構成要素の依存関係を順次確認し、依存関係が１つ以上成立する用例の中で、成立数が多い用例から順に選択する。例えば、用例番号１の用例については、重要語の上記集合の中に「かかり」が存在しないので依存関係の成立数は０である。用例番号２の用例については、重要語の上記集合の中に「何か」が存在しないので、構成要素の依存関係の中で、（１→２）は成立しないが、（２→３）は成立する（図１４参照）。したがって、依存関係の成立数は１である。
【００７４】
用例選択部１２０７が、依存関係の成立数が１以上の用例を用例データベース１２０５の中から選択するように設計すると、図１４で用例番号１の用例は選択されず、用例番号２の用例は選択される。重要語の集合の中に「何か」が存在しないので、選択された用例番号２の用例については、
・「薬はありますか」
という表記を出力する。
【００７５】
以下の説明では、用例データベース１２０５の中の他の用例、
・「薬ですか」
・「薬です」
が上記と同様に選択されたとして説明する。
【００７６】
制御部１２０１は、用例選択部１２０７から送信された用例文をGUI部１２０２に送信する。GUI部１２０２は、選択された用例文を用例候補表示部１７０３に表示する。
【００７７】
ステップ１３０４のGUI部１２０２の表示内容を図１８に示す。ステップ１３０４では、用例候補表示部１６０４に表示されている用例候補の中からボタン入力により、ユーザは自分が発声した文章を同じ文意の用例「薬はありますか」を選択する。選択方法は、SW1をクリックすることにより指定される行が一行上に移動し、またSW２をクリックすることにより、指定される行が一行下に移動する。用例を選択する場合には、SW1をダブルクリックすることにより選択する。この時、GUI部１２０２は選択された用例文を制御部１２０１に送信する。
【００７８】
ステップ１３０５のGUI部１２０２の表示内容を図１９に示す。ステップ１３０５では、GUI部１２０２は用例結果表示部１９０１に選択された用例文を表示し、用例候補表示部１９０２をクリアする。その後、用例を決定し翻訳を行うか、用例を修正してクラス化された単語を代替可能な単語で置き換えるかを選択する。この時、ユーザはボタン入力でSW2をクリックすることにより、用例を決定することが可能である。決定された用例は制御部１２０１に送信される。また、ボタン入力でSW1をクリックすることにより、用例中の単語の置き換えモードに移行することが可能であり、制御部１２０１に送信される。
【００７９】
ステップ１３０５で用例を決定した場合のGUI部１２０２の表示内容を図２０に示す。ステップ１３１０で、制御部１２０１は、ユーザが決定した用例「薬はありますか」を言語変換部１２１０に送信する。言語変換部１２１０は、用例データベース１２０５を用いて目的言語「Anymedicine」に変換し、変換結果を制御部１２０１に送信する。制御部１２０１では、変換結果をGUI部１２０２、および音声合成部１２１１に送信する。ステップ１３１１では、GUI部１２０２は、変換結果を通訳結果表示部２００１に表示する。一方、音声合成部１２１１は、変換結果を音声合成してスピーカ８０４から出力する。
【００８０】
ステップ１３０６のGUI部１２０２の表示内容を図２１に示す。ステップ１３０６では、ユーザがステップ１３０５で、単語選択モードを選択した場合に、変更する単語を選択する。この時、制御部１２０１は、単語選択部１２０８に単語選択を指示する。単語選択部１２０８は、用例の中からクラス化されている単語「薬」を抽出し、制御部１２０１に送信する。制御部１２０１は、GUI部１２０２に単語を送信し、GUI部１２０２は、用例結果表示部２１０１に表示されている「薬」に下線を引きユーザに変更可能な単語であることを表示する。ユーザはボタン入力で、修正したい単語「薬」を選択する。すなわち、SW1をクリックすることにより1単語左に移動し、SW2をクリックすることにより1単語右に移動する。また、SW1をダブルクリックすることにより修正単語を選択することが可能である。GUI部１２０２は、選択された単語を制御部１２０１に送信する。
【００８１】
ステップ１３０７のGUI部１２０２の表示内容を図２２に示す。ステップ１３０７では、ステップ１３０６によりユーザに指定された単語「薬」の代替単語の一覧を表示する。制御部１２０１はユーザが指定した単語「薬」を代替単語選択部１２０９に送信する。代替単語選択部１２０９は、図１５に示す単語クラス辞書１２０６を参照し、ユーザが指定した単語「薬」と同一クラスの単語
・「アスピリン」
・「かぜ薬」
・「トローチ」
・「胃腸薬」
を抽出し、制御部１２０１に送信する。制御部１２０１は、GUI部１２０２に代替単語の一覧を送信し、GUI部１２０２は、リストウィンドウ２２０１に代替単語の一覧を表示する。
【００８２】
ステップ１３０８のGUI部１２０２の表示内容を図２３に示す。ステップ１３０８は、リストウィンドウ２２０１に示された代替単語一覧の中から希望する単語を選択する。この時、GUI部１２０２はユーザのボタン入力によりユーザの希望する代替単語「アスピリン」を取得し、制御部１２０１に送信する。入力方法は、SW1をクリックすることにより、1単語上の単語にカーソルが移動し、SW2をクリックすることにより、1単語下の単語にカーソルが移動する。単語を選択するときは、SW1をダブルクリックすることにより選択することが可能である。
【００８３】
ステップ１３０９のGUI部１２０２の表示内容を図２４に示す。ステップ１３０９は、指定された代替単語「アスピリン」により用例を「アスピリンはありますか」に変更する。その後、GUI部１２０２は、用例結果表示部２４０１に表示されている用例を「アスピリンはありますか」に変更して表示する。そして、ステップ１３０５に戻る。
【００８４】
図２５は、ステップ１３０５からステップ１３０８を繰り返し、ユーザがステップ１３０５で、用例決定を選択し、「アスピリンはありますか」を目的言語「Anyaspirin」に変換し、合成音声を出力するときのGUI部１２０２の表示内容である。
【００８５】
なお、以上の説明では、GUI部１２０２に対するユーザの入力をタッチパネル入力、ボタン入力のそれぞれに限定して説明したが、音声認識処理を用いて音声で単語や用例を選択決定することも可能である。また、タッチパネル、ボタン、音声の各入力モダリティを組み合わせて操作することも可能である。また、一例として日本語と英語を取り上げたが、中国語など他の言語についても同様に実施可能であり、本発明に関連する技術の他の発明は言語に依存しない。
【００８６】
又、本発明に関連する技術の他の発明の単語列は、上記実施の形態では、複数の単語から構成された文章の場合を例にして説明したが、これに限らず例えば、「こんにちは」の様に一つの単語から構成されていても良い。
【００８７】
又、本発明に関連する技術の他の発明の第１の抽出・表示手段と、第２の抽出・表示手段は、上記実施の形態では、同一の表示装置により実現する場合について説明したが、これに限らず例えば、それぞれ独立した表示装置により実現する構成としても良い。
【００８８】
以上説明した様に、本発明に関連する技術の他の発明の一例である音声通訳装置は、音声による入力に基づいて用例を選択し、翻訳を行う音声通訳装置であって、前記音声通訳装置のハードウェアが、音声のモダリティとして音声入出力装置を備え、画像のモダリティとして画像出力装置を備え、接触モダリティとして１個以上のボタンと画像指示装置を備え、ユーザによって前記音声入出力装置と前記画像指示装置と前記ボタンから入力される原言語に関するデータを目的言語に関するデータへ音声言語的に変換し、前記音声入出力装置と前記画像出力装置に前記出力データを出力する演算制御装置と、前記演算制御装置に前記処理の手順を指示するプログラムとデータを保持する外部大容量不揮発性記憶装置と、前記演算制御装置が外部機器と前記プログラムとデータを交換するための外部データ入出力端子と、前記演算制御装置を駆動するために必要な電源を供給する電源装置によって構成されることを特徴とする音声通訳装置である。
【００８９】
又、他の一例は、上記演算制御装置としてPC/AT互換のマザーボードを使用することを特徴とする上記音声通訳装置である。
【００９０】
又、他の一例は、上記の外部大容量不揮発性記憶装置として、2.5インチ以下のハードディスクドライブを使用することを特徴とする上記音声通訳装置である。
【００９１】
又、他の一例は、上記外部大容量不揮発性記憶装置として、フラッシュメモリディスクを使用することを特徴とする上記音声通訳装置である。
【００９２】
又、他の一例は、上記画像出力装置として、解像度の縦方向が２４０ドット以上、かつ、横方向が２４０ドット以上の液晶表示装置を使用することを特徴とする上記音声通訳装置である。
【００９３】
又、他の一例は、上記ボタンとしては、２個の機械式ボタンを使用し、上記マザーボードにマウスを接続したときのマウスボタンに機能的に相当させることを特徴とする上記音声通訳装置である。
【００９４】
又、他の一例は、上記画像指示装置としては、上記液晶表示装置の表示面と同等の大きさ、もしくは前期表示面を包含する大きさのタッチパネルを使用することを特徴とする上記音声通訳装置である。
【００９５】
又、他の一例は、上記外部データ入出力端子は、上記マザーボードの入出力端子の中の、キーボード接続端子、アナログディスプレイ出力端子、ローカルエリアネットワーク端子を利用することを特徴とする上記音声通訳装置である。
【００９６】
又、他の一例は、上記音声入出力装置は、上記マザーボードのUSB端子を通じてアナログ音声データとデジタル音声データを入出力するUSBオーディオインタフェースと、ユーザの発声を収集して前記USBオーディオインタフェースに与えるマイクと、前記USBオーディオインタフェースの出力を増幅するオーディオアンプと、前記オーディオアンプに接続されるスピーカによって構成することを特徴とする上記音声通訳装置である。
【００９７】
又、他の一例は、上記音声入出力装置は、上記マザーボードのオーディオインタフェースと、ユーザの発声を収集して前記オーディオインタフェースに与えるマイクと、前記オーディオインタフェースの出力を増幅するオーディオアンプと、前記オーディオアンプに接続されるスピーカによって構成することを特徴とする上記音声通訳装置である。
【００９８】
又、他の一例は、上記電源装置は、リチウムイオン２次電池によって構成されることを特徴とする上記音声通訳装置である。
【００９９】
又、他の一例は、上記音声通訳装置は、ユーザが片手に持つことが可能で、かつ、前記片手の親指によってボタンを容易に操作することが可能で、かつ、他方の手で画像指示装置を操作することが可能で、かつ、画像表示装置の表示面の法線の方向と、音声入出力装置の指向性の方向が前記ユーザの顔に容易に向くようにデザインされていることを特徴とする上記音声通訳装置である。
【０１００】
又、他の一例は、上記音声通訳装置は、ボタンと画像指示装置と画像表示装置が実装される主筐体と、音声入出力装置が実装される副筐体によって構成され、前記音声通訳装置を利用しない場合は前記画像表示装置の表示面を前記副筐体が覆って保護し、かつ、前記音声通訳装置を利用する場合は前記副筐体を前記音声入出力装置の指向性の方向がユーザの顔を向く所定の位置まで移動させてから利用することを特徴とする上記音声通訳装置である。
【０１０１】
又、本発明に関連する技術の他の発明の一例は、音声による入力に基づいて用例を選択し、翻訳を行う音声通訳装置において、前記音声通訳装置のソフトウェアが、ユーザとの入出力を行うGUI部と、音声を入力して音声認識を行う原言語入力部と、前記原言語入力部から入力された原言語から目的言語への翻訳を行う翻訳部と、前記翻訳部により翻訳された目的言語を音声合成して出力する音声合成部と、前記原言語入力部と前記GUI部と前記翻訳部と前記音声合成部を制御する制御部で構成されることを特徴とする音声通訳装置である。
【０１０２】
又、他の一例は、上記用例としては、対話における1文を単位とすることを特徴とする上記音声通訳装置である。
【０１０３】
又、他の一例は、上記用例としては、旅行会話において使用される頻度が高い文型を保持することを特徴とする上記音声通訳装置である。
【０１０４】
又、他の一例は、上記用例に含まれる単語は、前記単語を置き換えることが可能な関連のある単語と共にクラス化されていることを特徴とする上記音声通訳装置である。
【０１０５】
又、他の一例は、上記原言語入力部は、制御部からの指示により音声入力を行う音声入力部と、前記音声入力部から入力される音声に対して連続音声認識を行って単語列に変換する音声認識部で構成されることを特徴とする上記音声通訳装置である。
【０１０６】
又、他の一例は、上記翻訳部は、原言語と目的言語の用例の対応を保持する用例データベースと、前記用例データベースに含まれる単語のクラス情報を保持する単語クラス辞書と、原言語入力部からの入力に基づいて、前記用例データベースから該当する用例を選択する用例選択部と、前記用例選択部により選択された用例の中から修正する単語を選択する単語選択部と、前記単語選択部により選択された単語と置き換えることが可能な単語を前記単語クラス辞書から選択する代替単語選択部と、決定された用例に基づいて前記用例データベースにより目的言語に変換する言語変換部によって構成することを特徴とする上記音声通訳装置である。
【０１０７】
又、他の一例は、上記GUI部は、表示部に翻訳の方向を指定する翻訳方向指定部と、原言語入力部により出力される音声認識結果を表示する音声認識結果表示部と、前記用例選択部により用例データベースから選択された用例を表示する用例候補表示部と、ユーザにより選択された用例を表示する用例結果表示部と、言語変換部により出力される目的言語の用例を出力する通訳結果表示部で構成されることを特徴とする上記音声通訳装置である。
【０１０８】
又、他の一例は、上記GUI部は、ユーザが用例を用例候補表示部に表示された用例の中から選択する場合に、希望する前記用例をタッチパネル操作またはボタン操作によって選択すること特徴とする上記音声通訳装置である。
【０１０９】
又、他の一例は、上記単語選択部は、1個以上の修正可能な単語をユーザに提示する場合に、GUI部の用例結果表示部の修正可能な単語に印を付加することを特徴とする上記音声通訳装置である。
【０１１０】
又、他の一例は、上記修正可能な単語の印は、前記単語に下線を引く、または、前記単語を反転表示する、または、前記単語を太字にする、または、前記単語を点滅表示することを特徴とする上記音声通訳装置である。
【０１１１】
又、他の一例は、上記単語選択部は、ユーザが修正単語を選択するときに、GUI部をタッチパネル操作、または、ボタン操作、または、音声認識による音声操作で決定することを特徴とする上記音声通訳装置である。
【０１１２】
又、他の一例は、上記代替単語選択部は、代替単語を選択する場合に、前記代替単語選択部が単語クラス辞書を用いて代替候補一覧を取得し、GUI部によって前記代替候補一覧をリスト状に並べて表示することを特徴とする上記音声通訳装置である。
【０１１３】
又、他の一例は、上記代替候補一覧から代替候補を選択する場合は、GUI部のタッチパネル操作、または、ボタン操作、または、音声認識による音声操作によって前記代替候補を選択することを特徴とする上記音声通訳装置である。
【０１１４】
又、他の一例は、上記GUI部は、ユーザが希望する用例に変更することができた場合、タッチパネル操作、または、ボタン操作によって用例を決定し、上記言語変換部によって目的言語に翻訳を行い、上記音声合成部によって前記用例の合成音声を出力することを特徴とする上記音声通訳装置である。
【０１１５】
以上述べたところから明らかなように、小型のハードウェアは音声通訳装置として、ユーザが海外旅行に出かけるときに無理なく携行することができる。また、そのユーザインタフェースは片手で簡単に操作することができるのでショッピングやレストランなど、様々なシーンで容易に利用することができる。さらに、クラスを代表する単語を用いて音声を入力し、用例を確定した後、同じクラスの関連する単語と置き換えることができるので、少ない認識対象語彙でも音声通訳装置としての利用価値が低下しない。
【０１１６】
次に、上記従来技術における上記第２の課題を解決するための、本願発明の音声変換装置の一実施の形態の音声入力翻訳装置について、図面を参照しながら説明する。
【０１１７】
本実施の形態の構成を図２６に示す。
【０１１８】
同図に示す様に、音声入力部４１０１、翻訳支援部４１０８、音声翻訳部４１０２、表示部４１０３、音声出力部４１０７によって基本的な音声翻訳機能を実現する。
【０１１９】
ここで、本実施の形態の装置内部の構成については、上記実施の形態において既に説明済みであるので、ここでは詳細な説明は省略する。
【０１２０】
尚、本実施の形態の構成（図２６参照）と、例えば図１２に示した構成との対応関係は次の通りである。図２６の音声入力部４１０１は、図１２の音声入力部１２０３と対応し、音声翻訳部４１０２は翻訳部１２２０及び音声認識部１２０４等に対応する。又、翻訳支援部４１０８及び表示部４１０３はＧＵＩ部１２０２等に対応し、音声出力部４１０７は音声合成部１２１１等に対応する。
【０１２１】
次に、本実施の形態の特有の構成部分について述べる。
【０１２２】
図２６において、言語変換方向制御部４１０５は２人の利用者の、どちらに翻訳装置の操作権限があるかを決定し、音声入力部４１０１の入力形態を制御し、音声翻訳部４１０２に対して翻訳方向を指定し、表示部４１０３の表示内容を指示する。ここで、２人の利用者の内、一方は日本語（本発明の第１の言語に対応）を使用し、他方は英語（本発明の第２の言語に対応）を使用するものとする。
【０１２３】
言語変換方向検出部４１０４は、言語変換方向制御部４１０５が操作権限のある利用者を決定するために必要な情報を収集する。対話管理部４１０６は、表示部４１０３に表示される翻訳対を逐次保持し、それを用いて、利用者の間で交わされた対話の履歴として、何れか一方の言語で表示部４１０３に表示する（図２９参照）。
【０１２４】
以下の例では、図２７等を参照しながら、日本語と英語についての翻訳装置の動作について説明するとともに、本発明の音声変換方法の一実施の形態についても同時に述べる。
【０１２５】
ここで、例えば、図２７に示す様に、翻訳装置を挟んで、図中の下方側に日本語の利用者、上方側に英語の利用者が互いに向き合っているものとする。
【０１２６】
図２７の音声入力翻訳装置は、言語変換方向検出部４１０４がボタンである音声入力翻訳装置である。初期状態として言語変換方向制御部４１０５は日本語から英語への変換方向を指示していると仮定する。入力部４１０１はマイク４２０２とマイク４２０６で構成されるが、日本語の入力をするためにマイク４２０６の入力は遮断される。利用者は音声入力ボタン４２０１を押してから入力部４１０１のマイク４２０２に向かって発声する（例えば「くすりはありませんか」）。発声した音声は音声翻訳部４１０２で翻訳される。
【０１２７】
尚、翻訳部４１０２における翻訳の動作は、上記実施の形態において図１４等を参照して説明しているので、ここでは、詳細な説明は省略するが、概要は以下の通りである。
【０１２８】
音声翻訳部４１０２は、音声入力部４１０１から日本語の音声を受け取った場合、それを音声認識し、その認識結果に対応する、日本語の一つ又は複数の単語列を抽出し、表示部４１０３に用例候補として表示する。
【０１２９】
即ち、表示部４１０３の用例候補選択ウィンドウ４２０３に用例候補が表示されて（例えば、「薬ですか」、「薬はありますか」、「薬です」の３個の用例）、翻訳支援部４１０８を用いて利用者がその中から１つを選択すると（例えばタッチパネルで選択）、用例結果ウィンドウ４２０４に選択された用例が表示されて（例えば「薬はありますか」）、用例を翻訳した英語のテキストが音声出力部４１０７から発声される（例えば"Do you 
have medicine？"）。表示部４１０３から対話管理部４１０６に翻訳対が送られる（例えば、(「薬はありますか」, "Do you have medicine？")という翻訳対）。相手の答えを求めるために、相手に翻訳装置の操作を促す場合は、言語変換方向検出部４１０４であるボタン４２０５を押す。
【０１３０】
言語変換方向制御部４１０５は言語変換方向検出部４１０４からの情報に基づき、音声翻訳部４１０２と表示部４１０３に対して英語から日本語への変換方向を指示する。表示部４１０３の表示内容は、対面の英語の利用者が使いやすいように図２８のように１８０°回転して、英語の表示になる。入力部４１０１は、英語の入力をするためにマイク４３０７の入力が遮断され、マイク４３０３が有効になる。対話履歴ウィンドウ４３０１には、対話管理部４１０６から翻訳対の英語の方が表示される。具体的には、翻訳対として、例えば、「薬はありますか」と"Do you have medicine？"とからなる翻訳対と、「はい」と"Yes, I do."とからなる翻訳対が対話管理部４１０６に保持されている場合、図２９に示す対話履ウィンドウ４４０１には、（日）：「薬はありますか？」、（英）：「はい」が表示される。利用者は音声入力ボタン４３０２を押してから入力部４１０１のマイク４３０３に向かって発声する（例えば"Yes,certainly"）。発声した音声は音声翻訳部４１０２で翻訳される。
【０１３１】
尚、翻訳部４１０２における翻訳の動作は、上記実施の形態において図１４等を参照して説明しているので、ここでは、詳細な説明は省略するが、概要は以下の通りである。
【０１３２】
音声翻訳部４１０２は、音声入力部４１０１から英語の音声を受け取った場合、それを音声認識し、その認識結果に対応する、英語の一つ又は複数の単語列を抽出し、表示部４１０３に用例候補として表示する。
【０１３３】
即ち、表示部４１０３の用例候補選択ウィンドウ４３０４に候補が表示されて（例えば、"Yes, I do."、"Surely."、"Certainly."の３個の用例）、翻訳支援部４１０８を用いて利用者がその中から１つを選択すると（例えばタッチパネルで選択）、用例結果ウィンドウ４３０５に選択された用例が表示されて（例えば"Yes,I do."）、用例を翻訳した日本語のテキストが音声出力部４１０７から発声される（例えば「はい。」）。表示部４１０３から対話管理部４１０６に翻訳対が送られる（例えば、(「はい」,"Yes, I do.")という翻訳対）。相手の答えを求めるために、相手に翻訳装置の操作を促す場合は、言語変換方向検出部４１０４であるボタン４３０６を押す。
【０１３４】
言語変換方向制御部４１０５は言語変換方向検出部４１０４からの情報に基づき、音声翻訳部４１０２と表示部４１０３に対して日本語から英語への変換方向を指示する。表示部４１０３の表示内容は、対面の日本語の利用者が使いやすいように図２９のように１８０°回転して、日本語の表示になる。入力部４１０１は、日本語の入力をするためにマイク４４０５の入力が遮断され、マイク４４０３が有効になる。対話履歴ウィンドウ４４０１には、対話管理部４１０６から翻訳対の日本語の方が表示される。利用者は音声入力ボタン４４０２を押してから入力部４１０１のマイク４４０３に向かって発声する（例えば「ありがとうございます」）。発声した音声は音声翻訳部４１０２で翻訳される。
【０１３５】
尚、翻訳部４１０２における翻訳の動作は、上記実施の形態において図１４等を参照して説明しているので、ここでは、詳細な説明は省略するが、概要は以下の通りである。
【０１３６】
即ち、表示部４１０３の用例候補選択ウィンドウ４４１３に候補が表示されて（例えば、「ありがとう。」の１個の用例）、翻訳支援部４１０８を用いて利用者がその中から１つを選択すると（例えばタッチパネルで選択）、用例結果ウィンドウ４４１４に選択された用例が表示されて（例えば「ありがとう。」）、用例を翻訳した日本語のテキストが音声出力部４１０７から発声される（例えば"Thank you."）。表示部４１０３から対話管理部４１０６に翻訳対が送られる（例えば、(「ありがとう」, "Thank you.")という翻訳対）。さらに相手の答えを求めるために、相手に翻訳装置の操作を促す場合は、言語変換方向検出部４１０４であるボタン４４０４を押す。
【０１３７】
図３０の音声入力翻訳装置は、言語変換方向検出部４１０４がマイク４５０１の傾斜角度センサー４５０２である音声入力翻訳装置である。すなわち、マイク４５０１が日本語の利用者の方に傾斜しているか、英語の利用者の方に傾斜しているかを判断するために角度センサー４５０２を用いている。図３０の状態では言語変換方向制御部４１０５は日本語から英語への変換方向を指示している。利用者は音声入力ボタン４５０３を押してから入力部４１０１のマイク４５０１に向かって発声する（例えば「くすりはありませんか」）。発声した音声は音声翻訳部４１０２で翻訳される。
【０１３８】
尚、翻訳部４１０２における翻訳の動作は、上記実施の形態において図１４等を参照して説明しているので、ここでは、詳細な説明は省略するが、概要は以下の通りである。
【０１３９】
即ち、表示部４１０３の用例候補選択ウィンドウ４５０４に候補が表示されて（例えば、「薬ですか」「薬はありますか」「薬です」の３個の用例）、翻訳支援部４１０８を用いて利用者がその中から１つを選択すると（例えばタッチパネルで選択）、用例結果ウィンドウ４５０５に選択された用例が表示されて（例えば「薬はありますか」）、用例を翻訳した英語のテキストが音声出力部４１０７から発声される（例えば"Do you have
medicine？"）。表示部４１０３から対話管理部４１０６に翻訳対が送られる（例えば、(「薬はありますか」, "Do you have medicine？")という翻訳対）。相手の答えを求めるために、相手に翻訳装置の操作を促す場合は、マイク４５０１を英語の利用者の方に向ける。
【０１４０】
言語変換方向制御部４１０５は言語変換方向検出部４１０４からの情報に基づき、音声翻訳部４１０２と表示部４１０３に対して英語から日本語への変換方向を指示する。表示部４１０３の表示内容は、対面の英語の利用者が使いやすいように図３１のように１８０°回転して、英語の表示になる。対話履歴ウィンドウ４６０１には、対話管理部４１０６から翻訳対の英語の方が表示される。利用者は音声入力ボタン４６０２を押してから入力部４１０１のマイク４６０３に向かって発声する（例えば"Yes,certainly"）。発声した音声は音声翻訳部４１０２で翻訳される。
【０１４１】
尚、翻訳部４１０２における翻訳の動作は、上記実施の形態において図１４等を参照して説明しているので、ここでは、詳細な説明は省略するが、概要は以下の通りである。
【０１４２】
即ち、表示部４１０３の用例候補選択ウィンドウ４６０４に候補が表示されて（例えば、"Yes, I do."、"Surely."、"Certainly."の３個の用例）、翻訳支援部４１０８を用いて利用者がその中から１つを選択すると（例えばタッチパネルで選択）、用例結果ウィンドウ４６０５に選択された用例が表示されて（例えば"Yes,I do."）、用例を翻訳した日本語のテキストが音声出力部４１０７から発声される（例えば「はい。」）。表示部４１０３から対話管理部４１０６に翻訳対が送られる（例えば、(「はい」,"Yes, I do.")という翻訳対）。相手の答えを求めるために、マイク４６０３を日本語の利用者の方へ向ける。
【０１４３】
言語変換方向制御部４１０５は言語変換方向検出部４１０４からの情報に基づき、音声翻訳部４１０２と表示部４１０３に対して日本語から英語への変換方向を指示する。表示部４１０３の表示内容は、対面の日本語の利用者が使いやすいように図３２のように１８０°回転して、日本語の表示になる。対話履歴ウィンドウ４７０１には、対話管理部４１０６から翻訳対の日本語の方が表示される。利用者は音声入力ボタン４７０２を押してから入力部４１０１のマイク４７０３に向かって発声する（例えば「ありがとうございます」）。発声した音声は音声翻訳部４１０２で翻訳される。
【０１４４】
尚、翻訳部４１０２における翻訳の動作は、上記実施の形態において図１４等を参照して説明しているので、ここでは、詳細な説明は省略するが、概要は以下の通りである。
【０１４５】
即ち、表示部４１０３の用例候補選択ウィンドウ４７０４に候補が表示されて（例えば、「ありがとう。」の１個の用例）、翻訳支援部４１０８を用いて利用者がその中から１つを選択すると（例えばタッチパネルで選択）、用例結果ウィンドウ４７０５に選択された用例が表示されて（例えば「ありがとう。」）、用例を翻訳した日本語のテキストが音声出力部４１０７から発声される（例えば"Thank you."）。表示部４１０３から対話管理部４１０６に翻訳対が送られる（例えば、(「ありがとう」, "Thank you.")という翻訳対）。さらに相手の答えを求めるために、相手に翻訳装置の操作を促す場合は、マイク４７０３を英語の利用者の方に向ける。
【０１４６】
図３３の音声入力翻訳装置は、言語変換方向検出部４１０４が本体の傾きを検出するジャイロセンサー４８０１である音声入力翻訳装置である。ジャイロセンサーの状態で言語変換方向制御部４１０５は日本語から英語への変換方向を指示していると仮定する。入力部４１０１はマイク４８０２とマイク４８０３で構成されるが、日本語の入力をするためにマイク４８０３の入力は遮断される。利用者は音声入力ボタン４８０４を押してから入力部４１０１のマイク４８０２に向かって発声する（例えば「くすりはありませんか」）。発声した音声は音声翻訳部４１０２で翻訳される。
【０１４７】
尚、翻訳部４１０２における翻訳の動作は、上記実施の形態において図１４等を参照して説明しているので、ここでは、詳細な説明は省略するが、概要は以下の通りである。
【０１４８】
即ち、表示部４１０３の用例候補選択ウィンドウ４８０５に候補が表示されて（例えば、「薬ですか」「薬はありますか」「薬です」の３個の用例）、翻訳支援部４１０８を用いて利用者がその中から１つを選択すると（例えばタッチパネルで選択）、用例結果ウィンドウ４８０６に選択された用例が表示されて（例えば「薬はありますか」）、用例を翻訳した英語のテキストが音声出力部４１０７から発声される（例えば"Do you have
medicine？"）。表示部４１０３から対話管理部４１０６に翻訳対が送られる（例えば、(「薬はありますか」, "Do you have medicine？")という翻訳対）。相手の答えを求めるために、相手に翻訳装置の操作を促す場合は、音声翻訳装置を相手に差し出してさかさまになるように相手に手に持ってもらう。
【０１４９】
言語変換方向制御部４１０５はジャイロセンサー４９０１からの情報に基づき、音声翻訳部４１０２と表示部４１０３に対して英語から日本語への変換方向を指示する。表示部４１０３の表示内容は、対面の英語の利用者が使いやすいように図３４のように１８０°回転して、英語の表示になる。入力部４１０１は、英語の入力をするためにマイク４９０２の入力が遮断され、マイク４９０３が有効になる。対話履歴ウィンドウ４９０４には、対話管理部４１０６から翻訳対の英語の方が表示される。利用者は音声入力ボタン４９０５を押してから入力部４１０１のマイク４９０３に向かって発声する（例えば"Yes,
certainly"）。発声した音声は音声翻訳部４１０２で翻訳される。
尚、翻訳部４１０２における翻訳の動作は、上記実施の形態において図１４等を参照して説明しているので、ここでは、詳細な説明は省略するが、概要は以下の通りである。
【０１５０】
即ち、表示部４１０３の用例候補選択ウィンドウ４９０６に候補が表示されて（例えば、"Yes, I do."、"Surely."、"Certainly."の３個の用例）、翻訳支援部４１０８を用いて利用者がその中から１つを選択すると（例えばタッチパネルで選択）、用例結果ウィンドウ４９０７に選択された用例が表示されて（例えば"Yes,I do."）、用例を翻訳した日本語のテキストが音声出力部４１０７から発声される（例えば「はい。」）。表示部４１０３から対話管理部４１０６に翻訳対が送られる（例えば、(「はい」,"Yes, I do.")という翻訳対）。相手の答えを求めるために、相手に翻訳装置の操作を促す場合は、音声翻訳装置を相手に差し出してさかさまになるように相手に手に持ってもらう。
【０１５１】
言語変換方向制御部４１０５はジャイロセンサー５００１からの情報に基づき、音声翻訳部４１０２と表示部４１０３に対して日本語から英語への変換方向を指示する。表示部４１０３の表示内容は、対面の日本語の利用者が使いやすいように図３５のように１８０°回転して、日本語の表示になる。入力部４１０１は、日本語の入力をするためにマイク５００２の入力が遮断され、マイク５００３が有効になる。対話履歴ウィンドウ５００４には、対話管理部４１０６から翻訳対の日本語の方が表示される。利用者は音声入力ボタン５００５を押してから入力部４１０１のマイク５００３に向かって発声する（例えば「ありがとうございます」）。発声した音声は音声翻訳部４１０２で翻訳される。
【０１５２】
尚、翻訳部４１０２における翻訳の動作は、上記実施の形態において図１４等を参照して説明しているので、ここでは、詳細な説明は省略するが、概要は以下の通りである。
【０１５３】
即ち、表示部４１０３の用例候補選択ウィンドウ５００６に候補が表示されて（例えば、「ありがとう。」の１個の用例）、翻訳支援部４１０８を用いて利用者がその中から１つを選択すると（例えばタッチパネルで選択）、用例結果ウィンドウ５００７に選択された用例が表示されて（例えば「ありがとう。」）、用例を翻訳した日本語のテキストが音声出力部４１０７から発声される（例えば"Thank you."）。表示部４１０３から対話管理部４１０６に翻訳対が送られる（例えば、(「ありがとう」, "Thank you.")という翻訳対）。さらに相手の答えを求めるために、相手に翻訳装置の操作を促す場合は、音声翻訳装置を相手に差し出してさかさまになるように相手に手に持ってもらう。
【０１５４】
図３６の音声入力翻訳装置は、入力部４１０１と言語変換方向検出部４１０４が音源の方向を検出可能なマイクアレーユニット５１０１である音声入力翻訳装置である。マイクアレーユニット５１０１は、音源の方向を特定してから、指向性の鋭い集音を行う機能を持つものであり、一般的に幾何学的に配置される複数のマイクユニットと各マイクユニットからの出力をデジタル信号処理して１つの出力に変換する演算装置によって構成される。
【０１５５】
日本語の利用者が発声を開始すると（例えば「あの、」）、マイクアレーユニット５１０１は発声者の音声の方向を検出し、発声可能状態となる。発声可能状態でない間は表示部４１０３の背景色が利用者に注意を促す色で（例えば赤色）、発生可能状態になると許可を与えられた色になる（例えば緑色）。マイクアレーユニット５１０１の情報に基づき言語変換方向制御部４１０５は日本語から英語への変換方向を指示する。発生可能状態で、利用者が発声すると（例えば「くすりはありませんか」）、発声した音声は音声翻訳部４１０２で翻訳される。
【０１５６】
尚、翻訳部４１０２における翻訳の動作は、上記実施の形態において図１４等を参照して説明しているので、ここでは、詳細な説明は省略するが、概要は以下の通りである。
【０１５７】
即ち、表示部４１０３の用例候補選択ウィンドウ５１０２に候補が表示されて（例えば、「薬ですか」「薬はありますか」「薬です」の３個の用例）、翻訳支援部４１０８を用いて利用者がその中から１つを選択すると（例えばタッチパネルで選択）、用例結果ウィンドウ５１０３に選択された用例が表示されて（例えば「薬はありますか」）、用例を翻訳した英語のテキストが音声出力部４１０７から発声される（例えば"Do you have
medicine？"）。表示部４１０３から対話管理部４１０６に翻訳対が送られる（例えば、(「薬はありますか」, "Doyou have medicine？")という翻訳対）。
【０１５８】
相手が答えるために発声を開始すると（例えば"Hmm,"）、マイクアレーユニット５２０１は発声者の音声の方向を検出し、発声可能状態となる。言語変換方向制御部４１０５はマイクアレーユニット５２０１からの情報に基づき、音声翻訳部４１０２と表示部４１０３に対して英語から日本語への変換方向を指示する。表示部４１０３の表示内容は、対面の英語の利用者が使いやすいように図３７のように１８０°回転して、英語の表示になる。対話履歴ウィンドウ５２０２には、対話管理部４１０６から翻訳対の英語の方が表示される。発声可能状態で、英語の利用者が発声すると（例えば"Yes,certainly"）、発声した音声は音声翻訳部４１０２で翻訳される。
【０１５９】
尚、翻訳部４１０２における翻訳の動作は、上記実施の形態において図１４等を参照して説明しているので、ここでは、詳細な説明は省略するが、概要は以下の通りである。
【０１６０】
即ち、表示部４１０３の用例候補選択ウィンドウ５２０３に候補が表示されて（例えば、"Yes, I do."、"Surely."、"Certainly."の３個の用例）、翻訳支援部４１０８を用いて利用者がその中から１つを選択すると（例えばタッチパネルで選択）、用例結果ウィンドウ５２０４に選択された用例が表示されて（例えば"Yes,I do."）、用例を翻訳した日本語のテキストが音声出力部４１０７から発声される（例えば「はい。」）。表示部４１０３から対話管理部４１０６に翻訳対が送られる（例えば、(「はい」,"Yes, I do.")という翻訳対）。
【０１６１】
相手が答えるために発声を開始すると（例えば「あ、」）、マイクアレーユニット５３０１は発声者の音声の方向を検出し、発声可能状態となる。言語変換方向制御部４１０５はマイクアレーユニット５３０１からの情報に基づき、音声翻訳部４１０２と表示部４１０３に対して日本語から英語への変換方向を指示する。表示部４１０３の表示内容は、対面の日本語の利用者が使いやすいように図３８のように１８０°回転して、日本語の表示になる。対話履歴ウィンドウ５３０２には、対話管理部４１０６から翻訳対の日本語の方が表示される。発生可能状態で、利用者が発声すると（例えば「ありがとう」）、発声した音声は音声翻訳部４１０２で翻訳される。
【０１６２】
尚、翻訳部４１０２における翻訳の動作は、上記実施の形態において図１４等を参照して説明しているので、ここでは、詳細な説明は省略するが、概要は以下の通りである。  
【０１６３】
即ち、表示部４１０３の用例候補選択ウィンドウ５３０３に候補が表示されて（例えば、「ありがとう。」の１個の用例）、翻訳支援部４１０８を用いて利用者がその中から１つを選択すると（例えばタッチパネルで選択）、用例結果ウィンドウ５３０４に選択された用例が表示されて（例えば「ありがとう。」）、用例を翻訳した日本語のテキストが音声出力部４１０７から発声される（例えば"Thank you."）。表示部４１０３から対話管理部４１０６に翻訳対が送られる（例えば、(「ありがとう」, "Thank you.")という翻訳対）。
【０１６４】
なお、タッチパネル、ボタン、音声の各入力モダリティを組み合わせたり、ボタンをタッチパネルで置換して操作することも可能である。また、一例として日本語と英語を取り上げたが、中国語など他の言語についても同様に実施可能であり、本発明は言語に依存しない。
【０１６５】
以上述べたことから明らかなように、上記構成によれば、表示部に一方の言語の操作画面が全面に表示されるので、小さい表示部であっても翻訳装置の使い勝手が維持される。また、画面の内容から操作権限がどちらにあるのかが理解しやすく、２人の発声が重なることがない。したがって、音声認識の認識率が低下せず、翻訳装置としての性能が低下しない。
【０１６６】
尚、上記実施の形態では、第２の言語については、翻訳結果の表示とともに、音声出力も行う場合について説明したが、これに限らず例えば、翻訳結果の表示のみの構成でも良い。
【０１６７】
又、上記実施の形態では、２人の利用者が、翻訳装置を挟んで対面する形で同装置を使用する場合について説明したが、これに限らず例えば、２人が並んで同装置を使用する構成としても良い。
【０１６８】
具体的には、図３９、図４０に示す構成となる。これらの図に示す通り、第１の言語（例えば、日本語）の利用者は、音声入力ボタン４２０１ａを使用し、第２の言語（例えば、英語）の利用者は、音声入力ボタン４２０１ｂを使用する。この構成では、マイク５５０１が装置の上部中央に一つ設けられている。この場合にも上記構成と同様の効果発揮する。
【０１６９】
又、上記実施の形態では、例えば、図２７、図２８に示す様に用例結果を翻訳対象とする場合について説明したが、これに限らず例えば、用例結果ウィンドウ４２０４に表示された単語列の中から、ユーザにより指定された単語の代替単語の一覧を表示して、その代替単語の中から、所望の単語を選択し、その選択結果を反映したものを翻訳対象とする構成でも良い。即ち、この場合の構成は、図２１〜図２４で述べた構成を、図２７等に示す構成に適用したものである。
【０１７０】
具体的には、図４１〜図４４に示す構成となる。即ち、用例結果ウィンドウ４２０４ａに表示された単語列の中から、ユーザにより指定（図４１）された単語の代替単語の一覧を表示して（図４２）、その代替単語の中から、所望の単語として例えば、アスピリンの単語２３０１を選択し（図４３）、その選択結果を反映した用例結果を用例結果ウィンドウ４２０４ａに表示して（図４４）、それを翻訳対象とするものである。その後の翻訳動作等は、図２８等に示した内容と同じである。これにより翻訳対象の幅がより広がり使用性が向上する。
【０１７１】
本発明は、上述した本発明の音声変換装置の全部又は一部の手段（又は、素子、回路、部等）の機能をコンピュータにより実行させるためのプログラムであって、コンピュータと協働して動作するプログラムである。
【０１７２】
又、本発明は、上述した本発明の音声変換方法の全部又は一部のステップ（又は、工程、動作、作用等）の動作をコンピュータにより実行させるためのプログラムであって、コンピュータと協働して動作するプログラムである。
【０１７３】
又、本発明は、上述した本発明の音声変換方法の全部又は一部のステップの全部又は一部の動作をコンピュータにより実行させるためのプログラムを担持した媒体であり、コンピュータにより読み取り可能且つ、読み取られた前記プログラムが前記コンピュータと協動して前記動作を実行する媒体である。
【０１７４】
又、本発明は、上述した本発明の音声変換装置の全部又は一部の手段の全部又は一部の機能をコンピュータにより実行させるためのプログラムを担持した媒体であり、コンピュータにより読み取り可能且つ、読み取られた前記プログラムが前記コンピュータと協動して前記機能を実行する媒体である。
【０１７５】
又、本発明の一部の手段（又は、装置、素子、回路、部等）、本発明の一部のステップ（又は、工程、動作、作用等）とは、それらの複数の手段又はステップの内の、幾つかの手段又はステップを意味し、あるいは、一つの手段又はステップの内の、一部の機能又は一部の動作を意味するものである。
【０１７６】
又、本発明の一部の装置（又は、素子、回路、部等）とは、それらの複数の装置の内の、幾つかの装置を意味し、あるいは、一つの装置の内の、一部の手段（又は、素子、回路、部等）を意味し、あるいは、一つの手段の内の、一部の機能を意味するものである。
【０１７７】
又、本発明のプログラムの一利用形態は、コンピュータにより読み取り可能な記録媒体に記録され、コンピュータと協働して動作する態様であっても良い。
【０１７８】
又、本発明のプログラムの一利用形態は、伝送媒体中を伝送し、コンピュータにより読みとられ、コンピュータと協働して動作する態様であっても良い。
【０１７９】
又、本発明のデータ構造としては、データベース、データフォーマット、データテーブル、データリスト、データの種類などを含む。
【０１８０】
又、記録媒体としては、ＲＯＭ等が含まれ、伝送媒体としては、インターネット等の伝送媒体、光・電波・音波等が含まれる。
【０１８１】
又、上述した本発明のコンピュータは、ＣＰＵ等の純然たるハードウェアに限らず、ファームウェアや、ＯＳ、更に周辺機器を含むものであっても良い。
【０１８２】
尚、以上説明した様に、本発明の構成は、ソフトウェア的に実現しても良いし、ハードウェア的に実現しても良い。
【産業上の利用可能性】
【０１８３】
本発明にかかる音声変換装置、音声変換方法等は、従来に比べて表示内容についての使用性の向上を図る事が出来るという効果を有し、例えば、音声入力された原言語の発声を目的言語に変換して音声出力する音声変換装置、音声変換方法等として有用である。
【図面の簡単な説明】
【０１８４】
【図１】本発明に関連する技術の他の発明の一実施の形態の音声通訳装置のハードウェア構成を示すブロック図
【図２】PC/AT互換のマザーボードを使用した場合の図１の詳細なブロック図
【図３】画像出力装置２０４の詳細なブロック図
【図４】画像指示装置２０５およびボタン２０６の詳細なブロック図
【図５】音声入出力装置２０３の詳細なブロック図
【図６】音声通訳装置を利用しないときの筐体の全体図
【図７】（ａ）は図６に示す音声通訳装置の詳細な構造を示す正面図  （ｂ）は図６に示す音声通訳装置の詳細な構造を示す側面図  （ｃ）は図６に示す音声通訳装置の詳細な構造を示す平面図
【図８】音声通訳装置を利用するときの筐体の全体図
【図９】（ａ）は図８に示す音声通訳装置の詳細な構造を示す正面図  （ｂ）は図８に示す音声通訳装置の詳細な構造を示す側面図  （ｃ）は図８に示す音声通訳装置の詳細な構造を示す平面図
【図１０】（ａ）は主筐体８０１に図２の各構成要素を実装する方法を示すための正面図  （ｂ）は主筐体８０１に図２の各構成要素を実装する方法を示すための側面図  （ｃ）は主筐体８０１に図２の各構成要素を実装する方法を示すための平面図
【図１１】（ａ）は副筐体８０２に図２の各構成要素を実装する方法を示すための正面図  （ｂ）は副筐体８０２に図２の各構成要素を実装する方法を示すための側面図  （ｃ）は副筐体８０２に図２の各構成要素を実装する方法を示すための平面図
【図１２】本発明に関連する技術の他の発明の一実施の形態の音声通訳装置のソフトウェアの構成を示すブロック図
【図１３】ソフトウェアの処理の流れを示すフローチャート
【図１４】用例データベース１２０５の内容の一例を示す図
【図１５】単語クラス辞書１２０６の内容の一例を示す図
【図１６】GUI部１２０２の表示内容を示す図
【図１７】ステップ１３０１から１３０３までのGUI部１２０２の表示内容を示す図
【図１８】ステップ１３０４の処理におけるGUI部１２０２の表示内容を示す図
【図１９】ステップ１３０５の処理におけるGUI部１２０２の表示内容を示す図
【図２０】ステップ１３１０から１３１１までの処理におけるGUI部１２０２の表示内容を示す図
【図２１】ステップ１３０６の処理におけるGUI部１２０２の表示内容を示す図
【図２２】ステップ１３０７の処理におけるGUI部１２０２の表示内容を示す図
【図２３】ステップ１３０８の処理におけるGUI部１２０２の表示内容を示す図
【図２４】ステップ１３０９の処理におけるGUI部１２０２の表示内容を示す図
【図２５】ステップ１３１０から１３１１までの処理におけるGUI部１２０２の表示内容を示す図
【図２６】本発明の一実施の形態の音声入力翻訳装置の構成を示すブロック図
【図２７】言語変換方向検出部４１０４がボタンである音声翻訳装置の日本語の利用を示す図
【図２８】言語変換方向検出部４１０４がボタンである音声翻訳装置の英語の利用を示す図
【図２９】言語変換方向検出部４１０４がボタンである音声翻訳装置の日本語の利用を示す図
【図３０】言語変換方向検出部４１０４がマイク軸の角度センサーである音声翻訳装置の日本語の利用を示す図
【図３１】言語変換方向検出部４１０４がマイク軸の角度センサーである音声翻訳装置の英語の利用を示す図
【図３２】言語変換方向検出部４１０４がマイク軸の角度センサーである音声翻訳装置の日本語の利用を示す図
【図３３】言語変換方向検出部４１０４がジャイロセンサーである音声翻訳装置の日本語の利用を示す図
【図３４】言語変換方向検出部４１０４がジャイロセンサーである音声翻訳装置の英語の利用を示す図
【図３５】言語変換方向検出部４１０４がジャイロセンサーである音声翻訳装置の日本語の利用を示す図
【図３６】入力部４１０１と言語変換方向検出部４１０４がマイクアレーユニットである音声翻訳装置の日本語の利用を示す図
【図３７】入力部４１０１と言語変換方向検出部４１０４がマイクアレーユニットである音声翻訳装置の英語の利用を示す図
【図３８】入力部４１０１と言語変換方向検出部４１０４がマイクアレーユニットである音声翻訳装置の日本語の利用を示す図
【図３９】本発明の別の実施の形態の音声翻訳装置の日本語の利用を説明するための図
【図４０】本発明の別の実施の形態の音声翻訳装置の英語の利用を説明するための図
【図４１】本発明の更に別の実施の形態の音声翻訳装置の日本語の利用における代替単語の機能を説明するための図
【図４２】本発明の更に別の実施の形態の音声翻訳装置の日本語の利用における代替単語の機能を説明するための図
【図４３】本発明の更に別の実施の形態の音声翻訳装置の日本語の利用における代替単語の機能を説明するための図
【図４４】本発明の更に別の実施の形態の音声翻訳装置の日本語の利用における代替単語の機能を説明するための図
【符号の説明】
【０１８５】
１０１  演算制御装置
１０２  音声入出力装置
１０３  画像出力装置
１０４  外部大容量不揮発性記憶装置
１０５  画像指示装置
１０６  ボタン
１０７  外部データ入出力端子
１０８  電源装置
２０１  マザーボード
２０２  ２．５インチハードディスクドライブ
２０３  音声入出力装置
２０４  画像出力装置
２０５  画像指示装置
２０６  ボタン
２０７  外部データ出力端子
２０８  Li-ion２次電池
３０１  バックライト付４インチVGALCDユニット
３０２  マザーボード
４０１  タッチパネルコントローラ
４０２  ３．８インチ感圧式タッチパネル
４０３  ボタン
４０４  ボタン
４０５  マザーボード
５０１  スピーカ
５０２  オーディオアンプ
５０３  マイク
５０４  USBオーディオデバイス
５０５  マザーボード
６０１  主筐体
６０２  副筐体
６０３  ボタン
６０４  ボタン
７０１  正面図
７０２  右側面図
７０３  上面図
８０１  主筐体
８０２  副筐体
８０３  マイク
８０４  スピーカ
８０５  タッチパネル付LCD
９０１  正面図
９０２  右側面図
９０３  上面図
１００１  正面図
１００２  右側面図
１００３  上面図
１００４  マザーボード
１００５  タッチパネル付LCD
１００６  ２．５インチハードディスクドライブ
１００７  ボタン
１００８  ボタン
１１０１  正面図
１１０２  右側面図
１１０３  上面図
１１０４  マイク
１１０５  スピーカ
１１０６  USBオーディオデバイス
１１０７  オーディオアンプ
１２０１  制御部
１２０２  GUI部
１２０３  音声入力部
１２０４  音声認識部
１２０５  用例データベース
１２０６  単語クラス辞書
１２０７  用例選択部
１２０８  単語選択部
１２０９  代替単語選択部
１２１０  言語変換部
１２１１  音声合成部
１３０１  翻訳の方向を決定するステップ
１３０２  音声認識を行うステップ
１３０３  用例データベースから用例を検索するステップ
１３０４  用例を選択するステップ
１３０５  用例を決定するか修正するかを判断するステップ
１３０６  修正する単語を決定するステップ
１３０７  代替単語一覧を取得するステップ
１３０８  代替単語を決定するステップ
１３０９  用例を修正するステップ
１３１０  言語変換を行うステップ
１３１１  音声合成部を行うステップ
１６０１  翻訳方向指定部
１６０２  翻訳方向指定部
１６０３  認識結果表示部
１６０４  用例候補表示部
１６０５  用例結果表示部
１６０６  通訳結果表示部
１６０７  ボタンSW1
１６０８  ボタンSW2
１７０１  翻訳方向指定部
１７０２  認識結果表示部
１７０３  用例候補表示部
１８０１  選択された用例
１９０１  用例結果表示部
１９０２  用例候補表示部
２００１  通訳結果表示部
２１０１  用例結果表示部
２２０１  リストウィンドウ
２３０１  選択された代替単語
２４０１  用例結果表示部
４１０５  言語変換方向制御部
４１０６  対話履歴管理部
４１０４  言語変換方向検出部
【図１】
2005141759.tif 000003
【図２】
2005141759.tif 000004
【図３】
2005141759.tif 000005
【図４】
2005141759.tif 000006
【図５】
2005141759.tif 000007
【図６】
2005141759.tif 000008
【図７】
2005141759.tif 000009
【図８】
2005141759.tif 000010
【図９】
2005141759.tif 000011
【図１０】
2005141759.tif 000012
【図１１】
2005141759.tif 000013
【図１２】
2005141759.tif 000014
【図１３】
2005141759.tif 000015
【図１４】
2005141759.tif 000016
【図１５】
2005141759.tif 000017
【図１６】
2005141759.tif 000018
【図１７】
2005141759.tif 000019
【図１８】
2005141759.tif 000020
【図１９】
2005141759.tif 000021
【図２０】
2005141759.tif 000022
【図２１】
2005141759.tif 000023
【図２２】
2005141759.tif 000024
【図２３】
2005141759.tif 000025
【図２４】
2005141759.tif 000026
【図２５】
2005141759.tif 000027
【図２６】
2005141759.tif 000028
【図２７】
2005141759.tif 000029
【図２８】
2005141759.tif 000030
【図２９】
2005141759.tif 000031
【図３０】
2005141759.tif 000032
【図３１】
2005141759.tif 000033
【図３２】
2005141759.tif 000034
【図３３】
2005141759.tif 000035
【図３４】
2005141759.tif 000036
【図３５】
2005141759.tif 000037
【図３６】
2005141759.tif 000038
【図３７】
2005141759.tif 000039
【図３８】
2005141759.tif 000040
【図３９】
2005141759.tif 000041
【図４０】
2005141759.tif 000042
【図４１】
2005141759.tif 000043
【図４２】
2005141759.tif 000044
【図４３】
2005141759.tif 000045
【図４４】
2005141759.tif 000046