(57)【要約】【課題】円滑かつ応答性の高い音声翻訳を実現できる。【解決手段】本実施形態に係る音声翻訳装置は、取得部、音声認識部、翻訳部、検索部、選択部および用例提示部を含む。取得部は、第１言語による発話を音声信号として取得する。音声認識部は、音声信号について順次音声認識を行い、音声認識結果の第１言語文字列を得る。翻訳部は、第１言語文字列を第１言語とは異なる第２言語に翻訳し、翻訳結果の第２言語文字列を得る。検索部は、第１言語文字列ごとに第１言語文字列に類似する第１言語での用例である類似用例を検索し、類似用例が存在する場合、類似用例と類似用例を第２言語に翻訳した結果である対訳用例とを得る。選択部は、ユーザ指示により、類似用例が存在する第１言語文字列および対訳用例が存在する第２言語文字列の少なくとも一方を選択文字列として選択する。用例提示部は、選択文字列に関する類似用例および対訳用例を１以上提示する。【選択図】図１
2014010623.tif 000002
【特許請求の範囲】
【請求項１】
第１言語による発話を音声信号として取得する取得部と、
前記音声信号について順次音声認識を行ない、音声認識結果の文字列である第１言語文字列を得る音声認識部と、
前記第１言語文字列を前記第１言語とは異なる第２言語に翻訳し、翻訳結果の文字列である第２言語文字列を得る翻訳部と、
前記第１言語文字列ごとに該第１言語文字列に類似する前記第１言語での用例である類似用例を検索し、該類似用例が存在する場合は、該類似用例と該類似用例を第２言語に翻訳した結果である対訳用例とを得る検索部と、
ユーザの指示により、前記類似用例が存在する第１言語文字列および前記対訳用例が存在する第２言語文字列の少なくとも一方を選択文字列として選択する選択部と、
前記選択文字列に関する類似用例および対訳用例を１以上提示する用例提示部と、を具備することを特徴とする音声翻訳装置。
【請求項２】
前記第１言語文字列および前記類似用例と、前記第２言語文字列および前記対訳用例とをそれぞれ表示する表示部をさらに具備し、
前記用例提示部は、前記第１言語文字列に類似用例が存在する場合、該第１言語文字列および対応する第２言語文字列に、用例が存在することを示す第１記号を関連づけて前記表示部に表示させることを特徴とする請求項１に記載の音声翻訳装置。
【請求項３】
前記用例提示部は、前記選択文字列が選択された場合、複数の類似用例および複数の対訳用例の一覧を提示することを特徴とする請求項１または請求項２に記載の音声翻訳装置。
【請求項４】
前記用例提示部は、前記類似用例および前記対訳用例のどちらか一方が選択された場合、該類似用例および該対訳用例の双方を強調表示し、強調された類似用例または強調された対訳用例が適切であるかどうかの決定を促すための第１通知を提示することを特徴とする請求項１から請求項３のいずれか１項に記載の音声翻訳装置。
【請求項５】
前記類似用例と、該類似用例に対応する対訳用例とを関連づけて格納する格納部をさらに具備する請求項１から請求項４のいずれか１項に記載の音声翻訳装置。
【請求項６】
前記格納部は、前記類似用例と、前記対訳用例と、該類似用例および該対訳用例の少なくとも一方の意図を説明するための注釈とを関連づけて格納することを特徴とする請求項１から請求項４のいずれか１項に記載の音声翻訳装置。
【請求項７】
前記用例提示部は、前記第１言語文字列に類似用例が存在し、かつ該類似用例に前記注釈が関連づく場合、該注釈が存在することを示す第２記号を該第１言語文字列および対応する第２言語文字列に関連づけて前記表示部に表示させることを特徴とする請求項６に記載の音声翻訳装置。
【請求項８】
前記用例提示部は、前記第２言語文字列が選択された際に、前記第１言語で確認を促すための第２通知を前記表示部に表示させることを特徴とする請求項１から請求項７のいずれか１項に記載の音声翻訳装置。
【請求項９】
第１言語による発話を音声信号として取得する取得部と、
前記音声信号について順次音声認識された音声認識結果の文字列である第１言語文字列と、前記第１言語文字列を前記第１言語とは異なる第２言語に翻訳された翻訳結果の文字列である第２言語文字列とを、表示する表示部と、
ユーザから指示された前記表示部上の位置を検出する検出部と、
前記位置に基づいて、前記第１言語文字列および前記第２言語文字列の少なくとも一方を選択文字列として選択する選択部と、
前記選択文字列に関して、前記第１言語文字列に類似する前記第１言語での用例である１以上の類似用例と、該類似用例を第２言語に翻訳した結果である１以上の対訳用例とを提示する用例提示部と、を具備し、
前記表示部は、提示された前記類似用例および前記対訳用例をさらに表示することを特徴とする音声翻訳装置。
【請求項１０】
第１言語による発話を音声信号として取得し、
前記音声信号について順次音声認識を行ない、音声認識結果の文字列である第１言語文字列を得、
前記第１言語文字列を前記第１言語とは異なる第２言語に翻訳し、翻訳結果の文字列である第２言語文字列を得、
前記第１言語文字列ごとに該第１言語文字列に類似する前記第１言語での用例である類似用例を検索し、該類似用例が存在する場合は、該類似用例と該類似用例を第２言語に翻訳した結果である対訳用例とを得、
ユーザの指示により、前記類似用例が存在する第１言語文字列および前記対訳用例が存在する第２言語文字列の少なくとも一方を選択文字列として選択し、
前記選択文字列に関する類似用例および対訳用例を１以上提示することを具備することを特徴とする音声翻訳方法。
【請求項１１】
コンピュータを、
第１言語による発話を音声信号として取得する取得手段と、
前記音声信号について順次音声認識を行ない、音声認識結果の文字列である第１言語文字列を得る音声認識手段と、
前記第１言語文字列を前記第１言語とは異なる第２言語に翻訳し、翻訳結果の文字列である第２言語文字列を得る翻訳手段と、
前記第１言語文字列ごとに該第１言語文字列に類似する前記第１言語での用例である類似用例を検索し、該類似用例が存在する場合は、該類似用例と該類似用例を第２言語に翻訳した結果である対訳用例とを得る検索手段と、
ユーザの指示により、前記類似用例が存在する第１言語文字列および前記対訳用例が存在する第２言語文字列の少なくとも一方を選択文字列として選択する選択手段と、
前記選択文字列に関する類似用例および対訳用例を１以上提示する用例提示手段として機能させるための音声翻訳プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、音声翻訳装置、方法およびプログラムに関する。
【背景技術】
【０００２】
近年のグローバル化に伴い、異なる言語を母語とするユーザ同士のコミュニケーションを支援する音声翻訳装置への期待が高まっている。また実際に、音声翻訳機能を提供するサービスも運用されている。しかし、音声認識または機械翻訳を誤りなく実行することは難しい。そこで、発話された原言語を翻訳した言語である目的言語を利用するユーザが目的言語の訳文を理解できない場合に、理解不能な箇所を指定することで原言語を利用する話者に修正を促す手法がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４０４２３６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、理解不能な箇所の修正は原言語側でユーザが文字列の修正を行なう必要があり、また、目的言語側のユーザも訳文を一文ごとに確認し、その確認の結果を入力しなければならず、応答性の高い会話を実現することが難しい。
【０００５】
本開示は、上述の課題を解決するためになされたものであり、円滑かつ応答性の高い音声翻訳を提供することができる音声翻訳装置、方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本実施形態に係る音声翻訳装置は、取得部、音声認識部、翻訳部、検索部、選択部および用例提示部を含む。取得部は、第１言語による発話を音声信号として取得する。音声認識部は、前記音声信号について順次音声認識を行ない、音声認識結果の文字列である第１言語文字列を得る。翻訳部は、前記第１言語文字列を前記第１言語とは異なる第２言語に翻訳し、翻訳結果の文字列である第２言語文字列を得る。検索部は、前記第１言語文字列ごとに該第１言語文字列に類似する前記第１言語での用例である類似用例を検索し、該類似用例が存在する場合は、該類似用例と該類似用例を第２言語に翻訳した結果である対訳用例とを得る。選択部は、ユーザの指示により、前記類似用例が存在する第１言語文字列および前記対訳用例が存在する第２言語文字列の少なくとも一方を選択文字列として選択する。用例提示部は、前記選択文字列に関する類似用例および対訳用例を１以上提示する。
【図面の簡単な説明】
【０００７】
【図１】本実施形態に係る音声翻訳装置を示すブロック図。
【図２】用例格納部に格納される原言語の用例と目的言語の用例との一例を示す図。
【図３】本実施形態に係る音声翻訳装置の動作を示すフローチャート。
【図４】用例検索処理の詳細を示すフローチャート。
【図５】類似用例および対訳用例の提示処理の詳細を示すフローチャート。
【図６】本実施形態に係る音声翻訳装置の実装例を示す図。
【図７】タッチパネルディスプレイの画面表示の一例を示す図。
【図８】本実施形態に係る音声翻訳装置の動作における第１処理を示す図。
【図９】本実施形態に係る音声翻訳装置の動作における第２処理を示す図。
【図１０】本実施形態に係る音声翻訳装置の動作における第３処理を示す図。
【図１１】本実施形態に係る音声翻訳装置の動作における第４処理を示す図。
【図１２】本実施形態に係る音声翻訳装置の動作における第５処理を示す図。
【図１３】本実施形態に係る音声翻訳装置の動作における第６処理を示す図。
【図１４】本実施形態に係る音声翻訳装置の動作における第７処理を示す図。
【図１５】原言語側のユーザが用例を選択する場合の動作における第１処理を示す図。
【図１６】原言語側のユーザが用例を選択する場合の動作における第２処理を示す図。
【図１７】適切な用例が存在しない場合の表示例を示す図。
【図１８】第２の実施形態に係る用例格納部に格納されるテーブルの一例を示す図。
【図１９】第２の実施形態に係る音声翻訳装置の動作の具体例を示す図。
【図２０】第３の実施形態に係る音声翻訳装置を含む音声認識システムを示す図。
【発明を実施するための形態】
【０００８】
近年、例えばスマートフォン（高機能携帯端末）で動作する音声翻訳アプリケーションソフトが商用化されている。また、音声翻訳機能を提供するサービスも運用されている。これらのアプリケーションソフトおよびサービスは、ユーザが一文あるいは数文といった短い単位で音声を発話し、音声認識により対応する文字列に変換する。さらに、機械翻訳により他の言語の文字列に翻訳し、音声合成により翻訳結果の文字列を音声で読み上げるといった動作をする。原言語を利用するユーザには短い単位で発話すること、目的言語を利用するユーザにはその単位で翻訳結果の確認または音声合成音声の聞き取りを行なうことなどが求められる。  
このため、このような従来のアプリケーションソフトを用いた会話では、待ち時間が頻繁に発生することになり、応答性のよい会話を行なうことが難しいというのが現状である。ユーザに対して一文単位で発話することを求めるような制約を設けることなく、制約なく発話する内容が相手に伝わることが望ましいが、そのような機能は提供されていない。
【０００９】
以下、図面を参照しながら本実施形態に係る音声翻訳装置、方法およびプログラムについて詳細に説明する。なお、以下の実施形態では、同一の参照符号を付した部分は同様の動作をおこなうものとして、重複する説明を適宜省略する。本実施形態では、発話された言語を示す原言語を日本語とし、原言語を翻訳したい言語を示す目的言語を英語として、日本語と英語との間の翻訳を例に説明するが、翻訳処理の対象となる言語は、これらの２言語に限られることなく、あらゆる言語を対象とすることができる。  
（第１の実施形態）  
第１の実施形態に係る音声翻訳装置について図１のブロック図を参照して説明する。  
第１の実施形態に係る音声翻訳装置１００は、音声取得部１０１、音声認識部１０２、機械翻訳部１０３、表示部１０４、用例格納部１０５、用例検索部１０６、ポインティング指示検出部１０７、文字列選択部１０８、用例提示部１０９を含む。
【００１０】
音声取得部１０１は、ユーザが原言語（第１言語ともいう）で発話した音声を音声信号として取得する。  
音声認識部１０２は、音声取得部１０１から音声信号を受け取り、音声信号を音声認識処理し、音声認識した結果の原言語の文字列である原言語文字列を得る。音声認識部１０２は、音声取得部１０１から音声信号が入力される間、音声認識処理における処理単位ごとに順次音声認識が行われ、原言語文字列が得られるたびに後段に渡される。音声認識の処理単位は、音声中に存在するポーズや言語的な区切り、音声認識候補が確定されるとき、または一定の時間間隔により決定される。また、音声認識した結果が取り出せることをイベントによってユーザに通知してもよい。なお、音声認識の具体的な処理は、一般的な処理を行えばよいため、ここでの説明は省略する。
【００１１】
機械翻訳部１０３は、音声認識部１０２から原言語文字列を受け取り、原言語文字列を目的言語（第２言語ともいう）の文字列に機械翻訳し、翻訳結果の文字列である目的言語文字列を得る。機械翻訳の具体的な処理は、一般的な処理を行えばよいため、ここでの説明を省略する。  
表示部１０４は、例えばディスプレイであり、音声認識部１０２から原言語文字列を、機械翻訳部１０３から目的言語文字列をそれぞれ受け取り、原言語文字列および目的言語文字列を表示する。また、後述する用例提示部１０９から類似用例および対訳用例を受け取り、表示する。類似用例は、原言語文字列に類似する原言語での用例である。対訳用例は、類似用例を目的言語に翻訳した結果の用例である。
【００１２】
用例格納部１０５は、原言語の用例（以下、原言語用例ともいう）と目的言語の用例（以下、目的言語用例ともいう）とを関連づけて格納する。用例格納部１０５に格納される原言語の用例と目的言語の用例とについては、図２を参照して後述する。  
用例検索部１０６は、音声認識部１０２から原言語文字列を受け取り、用例格納部１０５に蓄積される原言語の用例から原言語文字列に類似する類似用例を検索する。  
ポインティング指示検出部１０７は、表示部１０４上においてユーザから指示された位置に対応する位置情報を取得する。
【００１３】
文字列選択部１０８は、ポインティング指示検出部１０７から位置情報を受け取り、表示部１０４に表示された文字列のうち、位置情報に対応した原言語文字列または目的言語文字列を選択文字列として選択する。  
用例提示部１０９は、文字列選択部１０８から選択文字列を、用例検索部１０６から選択文字列に関する類似用例および対訳用例をそれぞれ受け取り、類似用例と対訳用例とを表示部１０４に表示させる。また、用例提示部１０９は、選択文字列、選択された類似用例および対訳用例を強調表示する。
【００１４】
次に、用例格納部１０５に格納される原言語用例と目的言語用例との一例について図２を参照して説明する。  
図２に示すように、原言語である原言語用例２０１と、原言語用例２０１に対応する目的言語である目的言語用例２０２とが対応づけられて格納される。具体的には、例えば原言語である「あまり歩けない」と、「あまり歩けない」の翻訳結果である「I can’t walk so long distance.」とが、それぞれ原言語用例２０１と目的言語用例２０２として格納される。
【００１５】
次に、本実施形態にかかる音声翻訳装置１００の動作について図３のフローチャートを参照して説明する。なお、フローチャートには図示していないが、音声認識部１０２ならびに機械翻訳部１０３は並列的に動作するため、図３の処理に先立ち、音声認識部１０２ならびに機械翻訳部１０３の処理を起動しておく。  
ステップＳ３０１では、音声認識部１０２が、音声認識処理を行なった結果の原言語文字列を得る。  
ステップＳ３０２では、表示部１０４が、原言語文字列が表示する。  
ステップＳ３０３では、機械翻訳部１０３が、機械翻訳処理を行なった結果の目的言語文字列を得る。
【００１６】
ステップＳ３０４では、表示部１０４が、目的言語文字列を表示する。なお、表示部１０４では、ステップＳ３０２で原言語文字列を表示せず、目的言語文字列が得られたあとに、原言語文字列と目的言語文字列とを一緒に表示するようにしてもよい。
【００１７】
ステップＳ３０５では、用例検索部１０６が、用例検索処理を行なう。用例検索処理については、図４のフローチャートを参照して後述する。  
ステップＳ３０６では、ポインティング指示検出部１０７が、ユーザからの指示、すなわち意味が不明な目的言語文字列に対するポインティングがあるかどうかを検出する。ユーザからの指示は、例えば、表示部１０４がタッチパネル式のディスプレイであれば、類似用例および対訳用例が存在することを示す記号をタッチすることで、ユーザからの指示があったと検出される。ユーザからの指示を検出した場合は、ステップＳ３０７に進み、ユーザからの指示を検出しない場合は、ステップＳ３０１に戻り、同様の処理を繰り返す。
【００１８】
ステップＳ３０７では、音声認識部１０２が、音声認識処理を一時停止する。  
ステップＳ３０８では、用例提示部１０９が、用例の提示処理を行なう。具体的な用例の提示処理については図５のフローチャートを参照して後述する。  
ステップＳ３０９では、音声認識部１０２が、音声認識処理を再開し、ステップＳ３０１から同様の処理を繰り返す。その後、発話の入力が無くなった場合、またはユーザによる音声認識処理の終了指示があった場合に音声翻訳装置の動作を終了する。
【００１９】
次に、ステップＳ３０５の動作の詳細について図４のフローチャートを参照して説明する。  
ステップＳ４０１では、用例検索部１０６が、原言語文字列を受け取る。  
ステップＳ４０２では、用例検索部１０６が、抽出した原言語文字列に類似用例が存在するかどうかを、用例格納部１０５から検索する。類似用例の検索は、例えば原言語文字列と原言語の用例との編集距離を算出して、閾値以上の一致度を有する場合に原言語の用例が類似用例であると判定してもよいし、形態素解析により単語数の一致度が閾値以上であれば類似用例であると判定してもよい。類似用例が存在する場合は、ステップＳ４０３に進み、類似用例が存在しない場合は、ステップＳ３０５およびステップＳ３０６の処理を終了する。  
ステップＳ４０３では、用例提示部１０９が、類似用例が存在する原言語文字列に類似用例が存在することを示す記号を対応づけて表示部１０４に表示させ、原言語文字列に対応する目的言語文字列に対訳用例が存在することを示す記号を表示部１０４に表示させる。
【００２０】
次に、ステップＳ３０８の類似用例および対訳用例の提示処理について図５のフローチャートを参照して説明する。以下では、特に言及しない限り、類似用例および対訳用例をまとめて用例と呼ぶ。  
ステップＳ５０１では、用例提示部１０９が、通知とともに用例を表示する。通知は、ユーザから意味を確認したい旨に指示があったことを示す確認メッセージである。用例は１つだけ表示してもよいし、複数の用例を一覧（リスト）として提示してもよい。用例のリストの提示方法は、例えば音声認識結果との類似度が高い順に上位５つを提示してもよいし、用例を全て提示してもよいし、提示された用例の履歴を参照して提示するなど任意の方法でもよい。
【００２１】
ステップＳ５０２では、ポインティング指示検出部１０７が、用例のリストの中からある用例がポインティングされたかどうか、すなわち用例が選択されたかどうかを検出する。用例が選択された場合は、ステップＳ５０３に進み、用例が選択されない場合は、ステップＳ５０４に進む。  
ステップＳ５０３では、用例提示部１０９が、選択された用例を強調表示する。具体的には、例えば対訳用例がポインティングされることにより、選択された対訳用例の文字色が反転したり、ハイライト表示されればよい。また、対訳用例が強調表示されると対応する類似用例も強調表示される。逆の場合も同様である。  
ステップＳ５０４では、用例提示部１０９が、確認メッセージ（単に通知ともいう）を提示する。確認メッセージは、選択された用例が適切かどうかをユーザに決定させるためのメッセージである。
【００２２】
ステップＳ５０５では、ポインティング指示検出部１０７が、削除に関する指示があるかどうかを検出する。削除に関する指示は、例えば削除ボタンが選択される場合に、削除指示があると検出される。削除に関する指示がある場合は、ステップＳ５０６に進み、削除に関する指示がある場合は、ステップＳ５０２に戻り、同様の処理を繰り返す。  
ステップＳ５０６では、用例提示部１０９が、提示された用例の中に適切な用例がないものとして、相手方に内容が伝わらなかったことを示す確認メッセージを表示部１０４に表示させる。  
ステップＳ５０７では、ポインティング指示検出部１０７が、確認メッセージに対するユーザからのポインティングがあるかどうかを検出する。確認メッセージがある場合はステップＳ５０８に進み、確認メッセージがない場合は、ユーザからのポインティングがあるまで待機する。
【００２３】
ステップＳ５０８では、ポインティング指示検出部１０７が、ユーザからのポインティングが肯定を示すかどうかを検出する。ユーザからのポインティングが肯定を示さない場合は、ステップＳ５０９に進み、ユーザからのポインティングが肯定を示す場合は、ステップＳ５１０に進む。  
ステップＳ５０９では、用例提示部１０９が、確認メッセージを非表示とし、選択された用例の強調表示を取り消し、通常の表示に戻して、ステップＳ５０２に戻って同様の処理を行なう。  
ステップＳ５１０では、用例提示部１０９が、選択された用例を表示エリアの対応する箇所に追加して表示する。  
ステップＳ５１１では、用例提示部１０９が、処理対象である原言語文字列および目的言語文字列を削除する。  
ステップＳ５１２では、用例提示部１０９が、ステップＳ５０１で表示した用例のリストを非表示にする。以上で用例提示処理を終了する。
【００２４】
次に、音声翻訳装置の実装例について図６を参照して説明する。  
図６は、本実施形態にかかる音声翻訳装置１００をいわゆるタブレット形状のハードウェアに実装する例を示す。図６に示す音声翻訳装置６００は、筐体６０１、タッチパネルディスプレイ６０２およびマイクロフォン６０３を含む。  
筐体６０１は、タッチパネルディスプレイ６０２、マイクロフォン６０３が搭載される。  
タッチパネルディスプレイ６０２は、ディスプレイが静電容量式であれば、指で触れるとその場所がポインティングされたことを検出することができるポインティング機能（ポインティング指示検出部）と文字および画像などを表示することができる表示機能（表示部）とを有する。  
マイクロフォン６０３は、一般的なマイクロフォンを用いればよく、ここでの説明は省略する。
【００２５】
次に、タッチパネルディスプレイ６０２の画面表示の一例について図７を参照して説明する。  
画面表示のレイアウト例として、図７に示すように、画面の左半分に原言語文字列が表示される表示エリア７０１が表示され、画面の右半分に目的言語文字列が表示される表示エリア７０２が表示される。また、画面の右端には、発話開始ボタン７０３、言語切り替えボタン７０４、削除ボタン７０５、終了ボタン７０６が表示される。
【００２６】
発話開始ボタン７０３は、ユーザが発話開始を指示する際にポインティングされる領域である。言語切り替えボタン７０４は、ユーザが原言語と目的言語とを切り替えるためにポインティングされる領域である。削除ボタン７０５は、用例などを削除するためにポインティングされる領域である。終了ボタン７０６は、音声認識処理を終了するためにポインティングされる領域である。  
なお、図７に示すようなレイアウトに限らず、必要に応じてボタン群がポップアップするなどどのような配置および構成であってもよい。また、タッチパネルディスプレイに限らず、スクリーンおよびキーボードの組み合わせといった、画面表示と入力とが独立した状態であってもよい。
【００２７】
次に、本実施形態に係る音声翻訳装置の動作の具体例について図８から図１４までを参照して説明する。ここでは、図６に示す音声翻訳装置６００を用いた動作例を説明する。  
図８では、目的言語側のユーザが発話した場合の表示例を示す。なお図８の例は、目的言語の発話を原言語に機械翻訳する場合であるが、上述した原言語の日本語と目的言語の英語とを入れ替えて上述の処理と同様の処理を行えばよい。具体的には、ユーザが発話音声８０１「Have you already gone around here?」を発話すると、音声認識結果８０２−Ｅとして「Have you already gone around here?」が表示エリア７０２に表示され、音声認識結果８０２−Ｅの機械翻訳結果８０２−Ｊとして「この辺りはもう周られましたか？」が表示エリア７０１に表示される。
【００２８】
図９では、原言語側のユーザが発話した場合の表示例を示す。具体的には、音声取得部１０１が、発話音声９０１として「見て回りたいんだけど、あまり歩きたくないんで、バスツアーとかがいいなあ」を取得し、順次音声認識した結果である原言語文字列９０２−Ｊ「見て回りたい」、９０３−Ｊ「あまり歩きたくない」、９０４−Ｊ「バスツアーとかがいい」を表示エリア７０１に表示する。加えて、音声認識結果に対応する機械翻訳結果である目的言語文字列９０２−Ｅ「I would like to look around.」、９０３−Ｅ「Amari doesn’t want to walk.」、９０４−Ｅ「A bus tour is good.」をそれぞれ表示エリア７０２に表示する。記号９０５は類似用例および対訳用例が存在することを示す記号である。ここで、目的言語文字列９０３−Ｅが機械翻訳誤りのため、意味が通じない訳となっていると仮定する。
【００２９】
図１０では、目的言語側のユーザが、意味が通じない目的言語文字列９０３−Ｅをポインティングした場合を示す。ポインティングの方法は、例えば、記号９０５をタッチすることで選択してもよいし、カーソル１００１を記号９０５に合わせてもよい。また、その際、確認メッセージ１００２−Ｅおよび対応する確認メッセージ１００２−Ｊを表示する。図１０の例では、表示エリア７０１において確認メッセージ１００２−Ｊ「何とおっしゃりたいのでしょうか？」が表示され、表示エリア７０２において確認メッセージ１００２−Ｅ「Can you see what the partner wants to say?」が表示される。
【００３０】
図１１では、ユーザにより目的言語文字列が選択された結果、原言語文字列の類似用例および対応する目的言語文字列の対訳用例がそれぞれの表示エリア７０１、７０２に表示される。具体的には、用例格納部１０５を参照して、類似用例１１０１−Ｊ「あまり歩けない」、１１０２−Ｊ「私はあまり歩きたくない」および１１０３−Ｊ「明日は歩きたい」と、類似用例に対応する対訳用例１１０１−Ｅ「I can’t walk so long distance.」、１１０２−Ｅ「I don’t want to walk.」および１１０３−Ｅ「Tomorrow, I’d like to walk.」が表示される。
【００３１】
図１２では、目的言語側のユーザが対訳用例を選択した場合を示し、例えば選択された対訳用例１２０１−Ｅと対応する類似用例１２０１−Ｊとが共にハイライト表示される。ここでは、対訳用例１２０１−Ｅとして「I can’t walk so long distance.」が選択されてハイライト表示され、対応する類似用例１２０１−Ｊ「あまり歩けない」がハイライト表示される。また、対訳用例が選択された場合に、原言語側の表示エリア７０１に確認メッセージ１２０２「おっしゃりたいことはこの内容でよろしいですか？」が表示される。なお、類似用例および対訳用例がそれぞれ複数表示される場合は、スクロールバー１１０４により類似用例および対訳用例をスクロールしてもよい。
【００３２】
図１３では、原言語側のユーザが、ハイライト表示された類似用例の内容で承諾するかどうかをポインティングする。具体的に図１３では、確認メッセージ１２０２中の「はい」または「いいえ」をタッチする、またはカーソル１００１で指定する。これによって、ポインティング指示検出部１０７が、ユーザが「はい」および「いいえ」のどちらを選択したかを検出する。
【００３３】
図１４では、原言語側のユーザが「はい」を選択した場合、類似用例および対訳用例の一覧表示を取り消し、選択された類似用例および対応する対訳用例をそれぞれの表示エリア７０１、７０２に追加表示すると共に、翻訳誤りである元の原言語文字列と元の目的言語文字列とを削除する。例えば、原言語文字列１４０１−Ｊとして「あまり歩きたくない」を取消線で消し、その上に類似用例「あまり歩けない」を表示する。一方、目的言語文字列１４０１−Ｅとして、「Amari doesn’t want to walk.」を取消線で消し、その上に対訳用例「I can’t walk so long distance.」を表示する。このようにすることで、目的言語側のユーザが翻訳結果の意味が理解できない場合でも、目的言語側のユーザが用例を選択すれば、原言語側のユーザに対応する用例が表示される。原言語側のユーザが選択された類似用例が適切かどうかの決定をするだけでよいので、原言語側のユーザの文の言い換え能力が問われずに、容易にユーザの意図通りの会話をすることができる。
【００３４】
なお、上述の例では、目的言語側のユーザが対訳用例を選択した場合を示すが、原言語側のユーザが類似用例を選択してもよい。原言語側のユーザが類似用例を選択する具体例を図１５および図１６を参照して説明する。  
図１５に示すように、原言語側のユーザが類似用例を選択する。ここでは、類似用例１５０１−Ｊ「私はあまり歩きたくない」を選択すると、ハイライト表示される。類似用例１５０１−Ｊが選択されると、目的言語側の表示エリア７０２にある対訳用例１５０１−Ｅ「I don’t want to walk.」がハイライト表示される。併せて、目的言語側の表示エリアに確認メッセージ１５０２「Can you see what the partner wants to say?」が表示される。
【００３５】
図１６では、目的言語側のユーザがハイライト表示された対訳用例の内容で承諾するかどうかをカーソル１００１などでポインティングする。このように、原言語側のユーザが、発言した内容の原言語文字列の中で類似用例が存在する文がある場合に、原言語側のユーザ自ら類似用例を選択して言い換えることができる。
【００３６】
次に、類似用例および対訳用例の中に適切な用例が存在しない場合を図１７に示す。
【００３７】
目的言語側のユーザまたは原言語側のユーザが、適切な用例が存在しないと判断し、用例を選択しない場合は、処理対象である原言語文字列および目的言語文字列に用例が挿入されない。さらに、処理対象である原言語文字列および目的言語文字列が削除され、確認メッセージ１７０１が表示される。確認メッセージ１７０１は例えば、「申し訳ありませんが、伝わらなかったようです。」といった内容を表示すればよい。  
この場合、処理対象となった目的言語文字列の内容は目的言語側のユーザには伝わらなかったが、少なくとも原言語側のユーザは、発話が機械翻訳された内容が目的言語側のユーザに伝わらなかったことがわかるので、原言語側のユーザが別の内容の発話で言い直すなどの対応が可能となる。
【００３８】
以上に示した第１の実施形態によれば、原言語文字列に類似用例が存在するかどうかを検索し、類似用例が存在し、かつユーザからの選択があった場合に類似用例および対訳用例を提示する。これにより、音声認識結果の原言語文字列および機械翻訳結果の目的言語文字列において理解不能な箇所をユーザの双方で協力して用例を選択することで、不明な箇所を解消し、異なる言語において円滑に会話することができる。また、対訳用例が選択した場合にのみ音声認識を停止して用例を提示することができるので、会話のレスポンス性を損なうことなく会話することができる。
【００３９】
（第２の実施形態）  
第２の実施形態では、用例格納部１０５に原言語の用例または目的言語の用例に注釈を関連づけて格納する点が第１の実施形態と異なる。原言語を目的言語に翻訳する場合、原言語には意味が曖昧な場合がある。例えば、「結構です」という日本語は、「不要です」という断りを日本語ユーザが意図しているのか、「大丈夫です」という承諾を意図しているのかが曖昧である。また同様に、「You’re welcome.」という英語は、「いらっしゃい（Welcom to you）」という歓迎を英語ユーザが意図しているのか、「どういたしまして（Don’t mention it）」という感謝を意図しているのかが曖昧である。  
そこで、第２の実施形態では、原言語文字列または目的言語文字列に注釈を関連づけることで、原言語を話すユーザおよび目的言語を話すユーザの意図を正しく反映させた用例をユーザに提示することができる。
【００４０】
第２の実施形態に係る音声翻訳装置は、第１の実施形態に係る音声翻訳装置１００と同様であるが、用例格納部１０５に格納される用例と、用例検索部１０６における動作とが異なる。  
用例格納部１０５は、原言語の用例と注釈とを対応づけ、目的言語の用例と注釈とを対応づけて格納する。  
用例検索部１０６は、原言語文字列に類似用例が存在する場合、さらに、類似用例に注釈が存在するかどうかを検索する。
【００４１】
次に、第２の実施形態に係る用例格納部１０５に格納されるテーブルの一例について図１８を参照して説明する。  
図１８に示すように、原言語用例１８０１と注釈１８０２とが対応づけられ、目的言語用例１８０３と注釈１８０４とが関連づけられて格納される。具体的には、原言語用例１８０５−Ｊ「結構です」と注釈１８０５−１「大丈夫です」とが関連づけられ、原言語用例１８０６−Ｊ「結構です」と注釈１８０６−１「不要です」とが関連づけられて格納される。このように、複数の意味を有する原言語用例には、それぞれの意味に対応する注釈が付けられる。  
ここで、これら注釈が存在する原言語用例の翻訳である目的言語の用例には、原言語用例ではなく注釈に応じた目的言語での翻訳が格納される。すなわち、原言語用例１８０５−Ｊ「結構です」と注釈１８０５−１「大丈夫です」とに対応する目的言語用例１８０５−Ｅとして、「That’s good.」が関連づけられて格納される。また、原言語用例１８０６−Ｊ「結構です」と注釈１８０６−１「不要です」とに対応する目的言語用例１８０６−Ｅとして、「No thank you.」が関連づけられて格納される。
【００４２】
また、目的言語用例に注釈が存在する場合は、目的言語用例１８０７−Ｅ「You’re welcome.」と注釈１８０７−１「Welcome to you.」とが関連づけられ、目的言語用例１８０８−Ｅ「You’re welcome.」と注釈１８０８−１「Don’t mention it.」とが関連づけられる。ここで、これら注釈が存在する目的言語用例に対応する原言語では、注釈が存在する原言語用例の場合と同様に、注釈に対応した原言語が格納される。例えば、注釈１８０７−１「Welcome to you」の原言語での翻訳である原言語用例１８０７−Ｊ「いらっしゃいませ」が目的言語用例１８０７−Ｅ「You’re welcome.」と注釈１８０７−１「Welcome to you」とに関連づけられて格納される。
【００４３】
同様に、注釈１８０８−１「Welcome to you」の原言語での翻訳である原言語用例１８０８−Ｅ「とんでもありません」が目的言語用例１８０８−Ｅ「You’re welcome.」と注釈１８０７−１「Welcome to you.」とに関連づけられて格納される。このように、同一の原言語用例でも、注釈が存在する場合は、注釈に応じた翻訳を目的言語用例として関連づけて格納する。逆に、同一の目的言語用例でも、注釈が存在する場合は、注釈に応じた翻訳を原言語用例として関連づけて格納する。
【００４４】
次に、第２の実施形態に係る音声翻訳装置の動作の具体例について図１９を参照して説明する。  
図１９は、図１１に示す例と同様であるが、用例のリストが表示される際に類似用例に加えて注釈も共に表示される例を示す。具体的には、類似用例として「結構です（大丈夫です）」、「結構です（不要です）」が一覧として表示される。なお、類似用例に注釈が存在する場合の記号１９０１は、類似用例に注釈がない場合の記号と区別することが望ましい。例えば、注釈がない場合は記号を白抜きとし、注釈がある場合は記号を塗りつぶしとすればよい。これにより、ユーザは意味が曖昧な文であり、注釈が存在することを認識できる。
【００４５】
なお、図１９の例では、類似用例１９０２−Ｊ「結構です［大丈夫です］」、１９０３−Ｊ「結構です［不要です］」と類似用例が２つ提示されているのに対し、対訳用例は、１９０２−Ｅ１「That’s fine,」、１９０２−Ｅ２「All right.」および１９０３−Ｅ「No thank you.」と３つ提示される。これは、対訳用例に対応した類似用例を選択する際に、類似用例および注釈が重複する場合は１つ表示すればよいためである。
【００４６】
以上に示した第２の実施形態によれば、用例に注釈が関連づけられている場合は、用例を表示する際に用例と注釈とを表示することで、目的言語側および原言語側の両方のユーザが注釈を参照することができ、意味の曖昧な用例について適切な意味を示す用例を選択できる。
【００４７】
（第３の実施形態）  
上述の第１および第２実施形態は単一のデバイス内での構成を想定しているが、複数のデバイスに処理を分散させてもよい。第３の実施形態では、サーバとクライアントとに分けて処理を実現する場合を想定する。  
一般に、携帯電話やタブレットＰＣ等のクライアントの計算資源および記憶資源が限定されるデバイスで音声翻訳処理をさせる場合は、データ量および探索空間の自由度に制約が生じる。よって、処理負荷が大きい音声認識、機械翻訳および用例検索の処理を、計算資源および記憶資源の拡張が容易なサーバで動作させることで、クライアントの処理量を軽減することができる。
【００４８】
ここで、第３の実施形態に係る音声翻訳装置を含む音声認識システムについて図２０のブロック図を参照して説明する。  
図２０に示す音声認識システムは、サーバ２０００とクライアント２５００とを含む。
【００４９】
サーバ２０００は、音声認識部２００１、機械翻訳部２００２、用例検索部２００３、用例格納部２００４、サーバ通信部２００５およびサーバ制御部２００６を含む。  
音声認識部２００１、機械翻訳部２００２、用例検索部２００３および用例格納部２００４は、第１の実施形態に係る音声認識部１０２、機械翻訳部１０３、用例検索部１０６および用例格納部１０５と同様の動作を行なうのでここでの説明は省略する。  
サーバ通信部２００５は、後述のクライアント通信部２５０６とデータの送受信を行なう。  
サーバ制御部２００６は、サーバ全体の動作を制御する。
【００５０】
クライアント２５００は、音声取得部２５０１、表示部２５０２、ポインティング指示検出部２５０３、文字列選択部２５０４、用例提示部２５０５、クライアント通信部２５０６およびクライアント制御部２５０７を含む。  
音声取得部２５０１、表示部２５０２、ポインティング指示検出部２５０３、文字列選択部２５０４および用例提示部２５０５は、第１の実施形態にかかる音声取得部１０１、表示部１０４、ポインティング指示検出部１０７、文字列選択部１０８および用例提示部１０９と同様の処理を行なうのでここでの説明は省略する。  
クライアント通信部２５０６は、サーバ通信部２００５とデータの送受信を行なう。  
クライアント制御部２５０７は、クライアント２５００の全体の制御を行なう。
【００５１】
次に、サーバ２０００およびクライアント２５００による音声翻訳処理の一例について説明する。  
クライアント２５００では、音声取得部２５０１がユーザからの音声を取得し、クライアント通信部２５０６が音声信号をサーバ２０００へ送信する。  
サーバ２０００では、サーバ通信部２００５がクライアント２５００からの音声信号を受信し、音声認識部２００１が音声信号について音声認識処理を行なう。その後、機械翻訳部１０３が音声認識結果について機械翻訳処理を行なう。サーバ通信部２００５が、音声認識結果および機械翻訳結果をクライアント２５００へ送信する。また、用例検索部２００３が音声認識結果と類似する類似用例を検索し、類似用例が存在する場合は、類似用例および対応する対訳用例がクライアント２５００に送信される。
【００５２】
クライアント２５００では、クライアント通信部２５０６が音声認識結果および機械翻訳結果とそれぞれに対応する類似用例および対訳用例とを受信し、表示部２５０２が音声認識結果および機械翻訳結果を表示する。ポインティング指示検出部２５０３がユーザからの指示を検出した場合は、用例提示部２５０５が選択文字列に関連する対訳用例および類似用例を提示する。
【００５３】
なお、音声認識結果に類似用例が存在する場合で、クライアント２５００が全ての類似用例を受信せずに、任意の数だけ抽出された類似用例および対応する対訳用例を受信するように設定している場合もある。この場合は、クライアント２５００は、受信していない他の類似用例または対応する対訳用例を受信すべく、リクエストをサーバ２０００に送信する。サーバ２０００の用例検索部２００３は、未抽出の類似用例および対応する対訳用例を抽出し、サーバ通信部２００５がこれらの類似用例および対訳用例を送信する。クライアント２５００では、クライアント通信部２５０６がこれらの類似用例および対訳用例を受信して、新たな類似用例および対訳用例を表示してもよい。
【００５４】
また、サーバ２０００が、類似用例が存在することを示すフラグのみクライアント２５００に送信してもよい。クライアント２５００では、ユーザからのポインティングがあった場合に、選択文字列に関する類似用例および対訳用例のリクエストをサーバ２０００に送信し、サーバ２０００がリクエストに応じて類似用例および対訳用例をクライアント２５００に送信すればよい。このようにすることで必要な場合にのみ用例の検索処理を行なうので、クライアントにおいて音声翻訳処理の動作をより高速に行なうことができる。
【００５５】
以上に示した第３の実施形態によれば、処理負荷が大きい音声認識、機械翻訳および用例検索の処理を、計算資源および記憶資源の拡張が容易なサーバで動作させることで、クライアントの処理量を軽減することができる。
【００５６】
上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した音声翻訳装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃなど）、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の音声翻訳装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合又は読み込む場合はネットワークを通じて取得又は読み込んでもよい。  
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。  
さらに、本実施形態における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。  
また、記録媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本実施形態における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。
【００５７】
なお、本実施形態におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。  
また、本実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本実施形態における機能を実現することが可能な機器、装置を総称している。
【００５８】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行なうことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００５９】
１００，６００・・・音声翻訳装置、１０１，２５０１・・・音声取得部、１０２，２００１・・・音声認識部、１０３，２００２・・・機械翻訳部、１０４，２５０２・・・表示部、１０５，２００４・・・用例格納部、１０６，２００３・・・用例検索部、１０７，２５０３・・・ポインティング指示検出部、１０８，２５０４・・・文字列選択部、１０９，２５０５・・・用例提示部、２０１，１８０１，１８０５，１８０６，１８０７，１８０８・・・原言語用例、２０２，１８０３，１８０５，１８０６，１８０７，１８０８・・・目的言語用例、６０１・・・筐体、６０２・・・タッチパネルディスプレイ、６０３・・・マイクロフォン、７０１，７０２・・・表示エリア、７０３・・・発話開始ボタン、７０４・・・ボタン、７０５・・・削除ボタン、７０６・・・終了ボタン、８０１，９０１・・・発話音声、８０２−Ｅ・・・音声認識結果、８０２−Ｊ・・・機械翻訳結果、９０２−Ｊ，９０３−Ｊ，９０４−Ｊ，１４０１−Ｊ，・・・原言語文字列、９０２−Ｅ，９０３−Ｅ，９０４−Ｅ，１４０１−Ｅ，・・・目的言語文字列、９０５，１９０１・・・記号，１００１・・・カーソル、１００２，１２０２，１５０２，１７０１・・・確認メッセージ、１１０１−Ｊ，１１０２−Ｊ，１１０３−Ｊ，１２０１−Ｊ，１５０１−Ｊ１９０２−Ｊ，１９０３−Ｊ・・・類似用例、１１０１−Ｅ，１１０２−Ｅ，１１０３−Ｅ，１２０１−Ｅ，１５０１−Ｅ１９０２−Ｅ１，１９０２−Ｅ２，１９０３−Ｅ・・・対訳用例、１１０４・・・スクロールバー、１８０２，１８０４，１８０５・・・注釈、２０００・・・サーバ、２００５・・・サーバ通信部、２００６・・・サーバ制御部、２５００・・・クライアント、２５０６・・・クライアント通信部、２５０７・・・クライアント制御部。
【図１】
2014010623.tif 000003
【図２】
2014010623.tif 000004
【図３】
2014010623.tif 000005
【図４】
2014010623.tif 000006
【図５】
2014010623.tif 000007
【図６】
2014010623.tif 000008
【図７】
2014010623.tif 000009
【図８】
2014010623.tif 000010
【図９】
2014010623.tif 000011
【図１０】
2014010623.tif 000012
【図１１】
2014010623.tif 000013
【図１２】
2014010623.tif 000014
【図１３】
2014010623.tif 000015
【図１４】
2014010623.tif 000016
【図１５】
2014010623.tif 000017
【図１６】
2014010623.tif 000018
【図１７】
2014010623.tif 000019
【図１８】
2014010623.tif 000020
【図１９】
2014010623.tif 000021
【図２０】
2014010623.tif 000022