(57)【要約】【課題】翻訳処理を行なう回数を低減させる。【解決手段】複数の言語間における音声の翻訳を行なう音声翻訳プログラムであって、入力を受け付けた第１言語の第１の音声の中に、記憶部に記憶した特定の文字列に対応する音声又は類似する音声が含まれるか否かを判定し、含まれると判定した場合に、前記特定の文字列に対応付けて記憶された前記第１言語の第１の文字列を音声変換することで得られる第２の音声を出力し、前記第２の音声の出力後に入力された前記第１言語の第３の音声の認識結果の一部又は全部を前記特定の文字列に対応付けて記憶された第２の文字列内の所定箇所に反映した文字列に基づいて生成した、第２言語の第４の音声又はテキストを出力する処理を、コンピュータに実行させる。【選択図】図１３
2020154542.tif 000002
【特許請求の範囲】
【請求項１】
複数の言語間における音声の翻訳を行なう音声翻訳プログラムであって、
入力を受け付けた第１言語の第１の音声の中に、記憶部に記憶した特定の文字列に対応する音声又は類似する音声が含まれるか否かを判定し、
含まれると判定した場合に、前記特定の文字列に対応付けて記憶された前記第１言語の第１の文字列を音声変換することで得られる第２の音声を出力し、
前記第２の音声の出力後に入力された前記第１言語の第３の音声の認識結果の一部又は全部を前記特定の文字列に対応付けて記憶された第２の文字列内の所定箇所に反映した文字列に基づいて生成した、第２言語の第４の音声又はテキストを出力する、
処理をコンピュータに実行させることを特徴とする、音声翻訳プログラム。
【請求項２】
前記生成は、前記第３の音声の認識結果の一部又は全部と、前記第１の音声の認識結果の一部又は全部と、前記第２の文字列と、を合成して得られる前記文字列に基づいて、前記第４の音声又は前記テキストを生成する、
ことを特徴とする、請求項１に記載の音声翻訳プログラム。
【請求項３】
複数の言語間における音声の翻訳を行なう音声翻訳プログラムであって、
入力を受け付けた第１言語の第１の音声の中に、記憶部に記憶した特定の文字列に対応する音声又は類似する音声が含まれるか否かを判定し、
含まれると判定した場合に、前記特定の文字列に対応付けて記憶された前記第１言語の第１の文字列を音声変換することで得られる第２の音声を出力し、
前記第２の音声の出力後に入力された前記第１言語の第３の音声の認識結果と前記第１の音声の認識結果とに基づいて生成した、第２言語の第４の音声又はテキストを出力する、
処理をコンピュータに実行させることを特徴とする、音声翻訳プログラム。
【請求項４】
前記特定の文字列に対応付けて記憶する前記第１言語の第１の文字列を、過去に入力を受け付けた前記特定の文字列が含まれる第１言語の音声に対して出力した音声それぞれの出力の頻度に基づいて決定する、
処理を前記コンピュータに実行させることを特徴とする、請求項１〜３のいずれか１項に記載の音声翻訳プログラム。
【請求項５】
前記特定の文字列に対応付けて記憶する前記第１言語の第１の文字列を、過去に入力を受け付けた前記特定の文字列が含まれる第１言語の音声に対して出力した音声の形式に基づいて決定する、
処理を前記コンピュータに実行させることを特徴とする、請求項１〜４のいずれか１項に記載の音声翻訳プログラム。
【請求項６】
前記形式が質問形式の音声である場合に、前記質問形式で出力した音声に対応する文字列を前記特定の文字列に対応付けて記憶する前記第１言語の第１の文字列とする、
ことを特徴とする、請求項５に記載の音声翻訳プログラム。
【請求項７】
前記第１の音声の中に、前記特定の文字列に対応付けて記憶された第２の特定の文字列に対応する音声又は類似する音声が含まれるか否かを判定する、
処理を前記コンピュータに実行させ、
前記第１の音声の中に、前記特定の文字列に対応する音声又は類似する音声が含まれると判定し、且つ、前記第２の特定の文字列に対応する音声又は類似する音声が含まれないと判定した場合に、前記第２の音声を出力する、
ことを特徴とする、請求項１〜６のいずれか１項に記載の音声翻訳プログラム。
【請求項８】
複数の言語間における音声の翻訳を行なう音声翻訳方法であって、
入力を受け付けた第１言語の第１の音声の中に、記憶部に記憶した特定の文字列に対応する音声又は類似する音声が含まれるか否かを判定し、
含まれると判定した場合に、前記特定の文字列に対応付けて記憶された前記第１言語の第１の文字列を音声変換することで得られる第２の音声を出力し、
前記第２の音声の出力後に入力された前記第１言語の第３の音声の認識結果の一部又は全部を前記特定の文字列に対応付けて記憶された第２の文字列内の所定箇所に反映した文字列に基づいて生成した、第２言語の第４の音声又はテキストを出力する、
ことを特徴とする、音声翻訳方法。
【請求項９】
複数の言語間における音声の翻訳を行なう音声翻訳方法であって、
入力を受け付けた第１言語の第１の音声の中に、記憶部に記憶した特定の文字列に対応する音声又は類似する音声が含まれるか否かを判定し、
含まれると判定した場合に、前記特定の文字列に対応付けて記憶された前記第１言語の第１の文字列を音声変換することで得られる第２の音声を出力し、
前記第２の音声の出力後に入力された前記第１言語の第３の音声の認識結果と前記第１の音声の認識結果とに基づいて生成した、第２言語の第４の音声又はテキストを出力する、
ことを特徴とする、音声翻訳方法。
【請求項１０】
複数の言語間における音声の翻訳を行なう音声翻訳装置であって、
入力を受け付けた第１言語の第１の音声の中に、記憶部に記憶した特定の文字列に対応する音声又は類似する音声が含まれるか否かを判定する判定部と、
含まれると判定した場合に、前記特定の文字列に対応付けて記憶された前記第１言語の第１の文字列を音声変換することで得られる第２の音声を出力する第１出力部と、
前記第２の音声の出力後に入力された前記第１言語の第３の音声の認識結果の一部又は全部を前記特定の文字列に対応付けて記憶された第２の文字列内の所定箇所に反映した文字列に基づいて生成した、第２言語の第４の音声又はテキストを出力する第２出力部と、を備える
ことを特徴とする、音声翻訳装置。
【請求項１１】
複数の言語間における音声の翻訳を行なう音声翻訳装置であって、
入力を受け付けた第１言語の第１の音声の中に、記憶部に記憶した特定の文字列に対応する音声又は類似する音声が含まれるか否かを判定する判定部と、
含まれると判定した場合に、前記特定の文字列に対応付けて記憶された前記第１言語の第１の文字列を音声変換することで得られる第２の音声を出力する第１出力部と、
前記第２の音声の出力後に入力された前記第１言語の第３の音声の認識結果と前記第１の音声の認識結果とに基づいて生成した、第２言語の第４の音声又はテキストを出力する第２出力部と、を備える
ことを特徴とする、音声翻訳装置。
【請求項１２】
複数の言語間における音声の翻訳を行なう音声翻訳システムであって、
入力を受け付けた第１言語の第１の音声の中に、記憶部に記憶した特定の文字列に対応する音声又は類似する音声が含まれるか否かを判定する判定部と、
含まれると判定した場合に、前記特定の文字列に対応付けて記憶された前記第１言語の第１の文字列を音声変換することで得られる第２の音声を出力する第１出力部と、
前記第２の音声の出力後に入力された前記第１言語の第３の音声の認識結果と前記第１の音声の認識結果とに基づいて生成した、第２言語の第４の音声又はテキストを出力する第２出力部と、を備える
ことを特徴とする、音声翻訳システム。
【請求項１３】
前記特定の文字列に対応付けて記憶する前記第１言語の第１の文字列を、過去に入力を受け付けた前記特定の文字列が含まれる第１言語の音声に対して出力した音声それぞれの出力の頻度に基づいて決定する決定部、を備える
ことを特徴とする、請求項１２に記載の音声翻訳システム。
【請求項１４】
前記特定の文字列に対応付けて記憶する前記第１言語の第１の文字列を、過去に入力を受け付けた前記特定の文字列が含まれる第１言語の音声に対して出力した音声の形式に基づいて決定する決定部、を備える、
ことを特徴とする、請求項１２に記載の音声翻訳システム。
【請求項１５】
前記特定の文字列に対応付けて記憶する前記第１言語の第１の文字列を、過去に入力を受け付けた前記特定の文字列が含まれる第１言語の音声に対して出力した音声それぞれの出力の頻度と、過去に入力を受け付けた前記特定の文字列が含まれる第１言語の音声に対して出力した音声の形式と、に基づいて決定する決定部、を備える、
ことを特徴とする、請求項１２に記載の音声翻訳システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声翻訳プログラム、音声翻訳方法、音声翻訳装置、及び音声翻訳システムに関する。
【背景技術】
【０００２】
言語の壁を超えたコミュニケーションを実現するための手法の１つとして、複数の言語間における音声の翻訳を行なう音声翻訳機が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１７８９１５号公報
【特許文献２】特開平９−２１８７７０号公報
【特許文献３】特開２０１４−２３８７６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
互いに異なる言語を扱う話者が音声翻訳機を介して対話をする場合、一方の話者が発言した第１言語の第１の音声は、音声翻訳機により、他方の話者が扱う第２言語に翻訳され、第２言語の第２の音声として出力される。また、音声翻訳機から出力された第２の音声を聞いた他方の話者が発言した第２言語の音声は、音声翻訳機により、第１言語に翻訳され、第１言語の音声として出力される。
【０００５】
このように、音声翻訳機を介した対話では、翻訳処理によって、発言内容の言語が変換され、変換後の音声として出力（再生）されるため、同一の言語を扱う話者間の対話と比較して対話にかかる時間（対話時間）が増加する場合がある。
【０００６】
また、一方の話者から音声翻訳機を介して他方の話者に質問をする場合において、質問内容に他方の話者が回答をするのに十分な情報が含まれていない場合、他方の話者から、不足する情報を得るための聞き返しが発生することがある。情報不足である質問によって聞き返しが発生する場合、音声翻訳機を介した対話の往復回数、換言すれば、音声翻訳機が翻訳処理を行なう回数が増加するため、さらに時間がかかることがある。また、当該回数が増加するにつれて、翻訳ミスの発生リスクが高まる。
【０００７】
１つの側面では、本発明は、翻訳処理を行なう回数を低減させることを目的の１つとする。
【課題を解決するための手段】
【０００８】
１つの側面では、音声翻訳プログラムは、複数の言語間における音声の翻訳を行なう音声翻訳プログラムであり、以下の処理をコンピュータに実行させてよい。前記処理は、入力を受け付けた第１言語の第１の音声の中に、記憶部に記憶した特定の文字列に対応する音声又は類似する音声が含まれるか否かを判定してよい。前記処理は、含まれると判定した場合に、前記特定の文字列に対応付けて記憶された前記第１言語の第１の文字列を音声変換することで得られる第２の音声を出力してよい。前記処理は、前記第２の音声の出力後に入力された前記第１言語の第３の音声の認識結果の一部又は全部を前記特定の文字列に対応付けて記憶された第２の文字列内の所定箇所に反映した文字列に基づいて生成した、第２言語の第４の音声又はテキストを出力してよい。
【発明の効果】
【０００９】
１つの側面では、翻訳処理を行なう回数を低減させることができる。
【図面の簡単な説明】
【００１０】
【図１】音声翻訳機を用いる場合の対話時間を説明するための図である。
【図２】音声翻訳機を用いる場合の対話時間を説明するための図である。
【図３】一実施形態に係る音声翻訳システムのハードウェア構成例を示すブロック図である。
【図４】端末が回答者に装着されるカード型のウェアラブルデバイスである場合の端末のハードウェア構成例を示す図である。
【図５】端末の利用態様の一例を示す図である。
【図６】端末の機能構成例を示すブロック図である。
【図７】サーバの機能構成例を示すブロック図である。
【図８】聞き返しテーブルの一例を示す図である。
【図９】文生成テーブルの一例を示す図である。
【図１０】聞き返しテーブルの一例を示す図である。
【図１１】文生成テーブルの一例を示す図である。
【図１２】サーバの動作例を説明するフローチャートである。
【図１３】一実施形態に係る音声翻訳システムを用いる場合の対話時間を説明するための図である。
【図１４】聞き返しテーブルの一例を示す図である。
【図１５】第１変形例に係るサーバの機能構成を示すブロック図である。
【図１６】第１変形例に係る聞き返しテーブルを示す図である。
【図１７】第１変形例に係る類似質問テーブルを示す図である。
【図１８】第２変形例に係るサーバの機能構成を示すブロック図である。
【図１９】第２変形例に係る音声ログに格納される音声データを示す図である。
【図２０】第２変形例に係る更新部による更新処理の動作を説明するフローチャートである。
【図２１】第２変形例に係る聞き返しテーブルを示す図である。
【図２２】第２変形例に係る文生成テーブルを示す図である。
【図２３】第２変形例に係る類似質問テーブルを示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。例えば、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。なお、以下の説明で用いる図面において、同一符号を付した部分は、特に断らない限り、同一若しくは同様の部分を表す。
【００１２】
〔１〕一実施形態
〔１−１〕比較例
図１及び図２は、音声翻訳機を用いる場合の対話時間を説明するための図である。図１の上段には、質問者が英語で「Where is room 201 ?」と質問し、回答者が２０１号室の場所を英語で「xx.」と回答する対話を示す。
【００１３】
一方、図１の下段には、回答者が日本語を扱い、質問者と回答者との間で音声翻訳機を介した対話を行なう場合を示す。音声翻訳機を介した対話では、図１の下段に示すように、以下の「音声」のやり取りが発生する。
【００１４】
（ｉ）質問者が「Where is room 201 ?」と発言する。
（ii）音声翻訳機が（ｉ）を翻訳した「２０１号室はどこですか？」という音声を出力する。
（iii）回答者が（ii）に対して「ｘｘです。」と発言する。
（iv）音声翻訳機が（iii）を翻訳した「xx.」という音声を出力する。
【００１５】
このように、図１の上段と比較して、図１の下段の例では、少なくとも、上記（ii）及び（iv）における、音声翻訳機による翻訳処理にかかる時間と、音声出力にかかる時間との合計時間の分、対話時間が増加する（例えば２倍程度になる）ことが分かる。
【００１６】
図２は、病棟が複数存在する場合の例を示す。図２の上段には、質問者が「Where is room 201 ?」と質問し、回答者が「Which ward ?」と問い返し、質問者が「B ward.」と返答し、回答者がＢ病棟の２０１号室の場所として「xx.」と回答する対話を示す。
【００１７】
一方、図２の下段には、回答者が日本語を扱い、質問者と回答者との間で音声翻訳機を介した対話を行なう場合を示す。音声翻訳機を介した対話では、図２の下段に示すように、以下の「音声」のやり取りが発生する。
【００１８】
（Ｉ）質問者が「Where is room 201 ?」と発言する。
（II）音声翻訳機が（Ｉ）を翻訳した「２０１号室はどこですか？」という音声を出力する。
（III）回答者が（II）に対して「どちらの病棟ですか？」と発言する（問い返す）。
（IV）音声翻訳機が（III）を翻訳した「Which ward ?」という音声を出力する。
（Ｖ）質問者が（IV）に対して「B ward.」と発言（返答）する。
（VI）音声翻訳機が（Ｖ）を翻訳した「Ｂ病棟です。」という音声を出力する。
（VII）回答者が（VI）に対して「ｘｘです。」と発言する。
（VIII）音声翻訳機が（VII）を翻訳した「xx.」という音声を出力する。
【００１９】
このように、図２の上段と比較して、図２の下段の例では、少なくとも、上記（II）、（IV）、（VI）及び（VIII）における、翻訳処理にかかる時間と、音声出力にかかる時間との合計時間の分、対話時間が増加する（例えば２倍程度になる）ことが分かる。
【００２０】
以上のように、音声翻訳機を用いた異言語間のコミュニケーションでは、同一言語間のコミュニケーションの２倍程度の時間がかかることがある。また、翻訳処理の回数が増加することにより、翻訳ミスの発生リスクが高まる可能性がある。
【００２１】
また、翻訳処理は、コンピュータのプロセッサのリソースを利用して実行される、比較的負荷の高い処理である。翻訳処理は、例えば、人工知能（ＡＩ；Artificial Intelligence）の技術を用いた機械学習、一例として深層学習（ディープラーニング）を利用して行なわれることもある。このため、翻訳処理の回数が増加することにより、プロセッサの負荷が高まるため、コンピュータの処理性能の低下、消費電力の増加、バッテリの残量低下、等が発生する場合がある。
【００２２】
さらに、音声翻訳機は、例えば、音声の入力及び出力を行なう端末（「音声翻訳端末」と称されてもよい）と、端末から受信した音声を翻訳して端末に送信するサーバと、を備えたシステムとして実現されることがある。この場合、翻訳処理の回数が増加することによって、サーバのプロセッサの負荷が高まり、また、端末とサーバとの間のネットワークにおいて文字データ等と比較してデータサイズの大きい音声データの通信量が増加する。このため、ネットワークにおいて輻輳が発生し、通信遅延や通信エラー等が発生する場合がある。
【００２３】
そこで、一実施形態では、１つの側面において、翻訳処理を行なう回数を低減させる手法を説明する。
【００２４】
〔１−２〕一実施形態のハードウェア構成例
まず、図３〜図５を参照して、一実施形態に係る音声翻訳システム１のハードウェア（ＨＷ；Hardware）構成例を説明する。
【００２５】
図３は、一実施形態に係る音声翻訳システム１のＨＷ構成例を示すブロック図である。図３に示すように、音声翻訳システム１は、例示的に、１以上の端末２、及び、サーバ３を備えてよい。端末２及びサーバ３は、ネットワーク４を介して相互に通信可能に接続されてよい。
【００２６】
ネットワーク４としては、例えば、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、及び、インターネット、のうちのいずれか１つ、又は、これらの２以上の組み合わせが挙げられる。なお、ネットワーク４には、例えば、ＶＰＮ（Virtual Private Network）等の仮想的なネットワークが含まれてもよい。ネットワーク４は、ルータ（モバイルルータを含む）や無線基地局（フェムトセル等の小型基地局を含む）、等の通信装置を有してよく、１以上の端末２及びサーバ３の各々は、有線（通信ケーブル）又は無線通信を利用してネットワーク４に接続してよい。
【００２７】
（端末２のハードウェア構成例）
端末２は、音声翻訳システム１のユーザインタフェース（ＵＩ；User Interface）として利用される音声翻訳端末の一例である。図３に示すように、端末２は、例示的に、プロセッサ２ａ、メモリ２ｂ、通信ＩＦ２ｃ、マイク２ｄ、及び、スピーカ２ｅを備えてよい。なお、端末２は、これらに加えて、例えばバッテリ等の電源部、操作入力を受け付けるための操作ボタン、等のＨＷ構成を備えてよい。
【００２８】
端末２としては、例えば、ウェアラブルデバイス、スマートホン、タブレット、ラップトップ等のＰＣ（Personal Computer）、携帯電話、等の、音声の入力機能及び出力機能を有する種々の情報処理装置（コンピュータ）が挙げられる。
【００２９】
一実施形態においては、端末２は、図４に例示するように、ユーザ（話者）、例えば回答者に装着されるカード型のウェアラブルデバイスであるものとする。なお、ウェアラブルデバイスとしての端末２は、図４に例示するように、回答者の衣服（例えば胸ポケット）を把持するクリップ等を取り付けるための固定部２ｇ等を備えてもよい。
【００３０】
プロセッサ２ａは、種々の制御や演算を行なう演算処理装置の一例である。プロセッサ２ａは、端末２内の各ブロックとバス２ｆで相互に通信可能に接続されてよい。
【００３１】
プロセッサ２ａとしては、例えば、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＡＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ等の集積回路（ＩＣ；Integrated Circuit）のうちのいずれか１つ、又は、２以上の組み合わせが挙げられる。ＣＰＵはCentral Processing Unitの略称であり、ＭＰＵはMicro Processing Unitの略称である。ＧＰＵはGraphics Processing Unitの略称であり、ＡＰＵはAccelerated Processing Unitの略称である。ＤＳＰはDigital Signal Processorの略称であり、ＡＳＩＣはApplication Specific ICの略称であり、ＦＰＧＡはField-Programmable Gate Arrayの略称である。
【００３２】
メモリ２ｂは、種々のデータやプログラム等の情報を格納するＨＷの一例である。メモリ２ｂとしては、例えばＲＡＭ（Random Access Memory）等の揮発性メモリ、又は、フラッシュメモリやＲＯＭ（Read Only Memory）等の不揮発性メモリが挙げられる。
【００３３】
また、メモリ２ｂは、端末２の各種機能の全部若しくは一部を実現するプログラム（図示省略）を格納してよい。例えば、端末２のプロセッサ２ａは、メモリ２ｂに格納されたプログラムを実行することにより、端末２としての機能を実現できる。
【００３４】
通信ＩＦ２ｃは、ネットワーク４との間の接続及び通信の制御等を行なうＩＦである。例えば、通信ＩＦ２ｃは、ネットワーク４における通信規格に準拠した有線又は無線の通信モジュールを含んでよい。
【００３５】
マイク２ｄは、音声の入力機能の一例である。マイク２ｄは、例えば話者が発言した音声を音声データとして取得する。なお、図４及び図５に例示するように、端末２は、複数のマイク２ｄ−１及び２ｄ−２を備えてもよい。
【００３６】
図５に例示するように、マイク２ｄ−１は、質問者が発言した音声を取得してよく、マイク２ｄ−２は、回答者が発言した音声を取得してよい。例えば、マイク２ｄ−１は、質問者が発言した音声を、回答者が発言した音声よりも高い入力レベルで取得（検出）してよく、マイク２ｄ−２は、回答者が発言した音声を、質問者が発言した音声よりも高い入力レベルで取得（検出）してよい。
【００３７】
このために、マイク２ｄ−１及び２ｄ−２自体に指向性を持たせてもよいし、端末２の筐体におけるマイク２ｄ−１及び２ｄ−２の配置位置や方向、音道の構造等を、対応する話者からの音声がよりマイク２ｄ−１及び２ｄ−２に集音されるように設定してもよい。
【００３８】
スピーカ２ｅは、音声の出力機能の一例である。スピーカ２ｅは、例えば音声データを音声として端末２から出力する。スピーカ２ｅは、端末２の筐体の所定の位置、例えば図４及び図５においては、回答者に装着された場合に質問者に対向する面、等に配置されてよい。
【００３９】
図５に例示するように、スピーカ２ｅとしては、質問者及び回答者の双方において音声が聞き取れるように、指向性の小さい又は無指向性のスピーカが利用されてよい。なお、スピーカ２ｅとして、質問者用のスピーカ及び回答者用のスピーカとして、それぞれに指向性を持たせた複数のスピーカが利用されてもよい。
【００４０】
上述した端末２のＨＷ構成は例示である。従って、端末２内でのＨＷの増減（例えば任意のブロックの追加や削除）、分割、任意の組み合わせでの統合、又は、バスの追加若しくは削除等は適宜行なわれてもよい。例えば、端末２内のブロック２ａ〜２ｅの少なくとも２以上のブロックは、ＳｏＣ（System-on-a-Chip）等の集積回路として統合され、端末２に実装されてもよい。
【００４１】
（サーバ３のハードウェア構成例）
図３に示すように、サーバ３は、例示的に、プロセッサ３ａ、メモリ３ｂ、記憶装置３ｃ、通信ＩＦ３ｄ、Ｉ／Ｏ（Input / Output）部３ｅ、及び、読取部３ｆを備えてよい。
【００４２】
サーバ３としては、例えば、タワー型、ラックマウント型、若しくはブレード型等のサーバ、又は、ＰＣ（Personal Computer）、等の種々の情報処理装置（コンピュータ）が挙げられる。サーバ３は、物理マシンであってもよいし、仮想マシン（ＶＭ；Virtual Machine）であってもよい。また、サーバ３は、複数のサーバを備える情報処理システム、例えば、クラスタシステム又はクラウドシステム等として実現されてもよい。サーバ３が情報処理システムとして実現される場合、情報処理システムが備える複数のサーバの各々が、図３に示すＨＷ構成を備えてよい。
【００４３】
プロセッサ３ａは、種々の制御や演算を行なう演算処理装置の一例である。プロセッサ３ａは、サーバ３内の各ブロックとバス３ｉで相互に通信可能に接続されてよい。なお、プロセッサ３ａは、複数のプロセッサを含むマルチプロセッサであってもよいし、複数のプロセッサコアを有するマルチコアプロセッサであってもよく、或いは、マルチコアプロセッサを複数有する構成であってもよい。プロセッサ３ａとしては、例えば、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＡＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ等の集積回路のうちのいずれか１つ、又は、２以上の組み合わせが挙げられる。
【００４４】
メモリ３ｂは、種々のデータやプログラム等の情報を格納するＨＷの一例である。メモリ３ｂとしては、例えばＤＲＡＭ（Dynamic RAM）等の揮発性メモリが挙げられる。
【００４５】
記憶装置３ｃは、種々のデータやプログラム等の情報を格納するＨＷの一例である。記憶装置３ｃとしては、例えば、ＨＤＤ等の磁気ディスク装置、ＳＳＤ等の半導体ドライブ装置、不揮発性メモリ等の各種記憶装置が挙げられる。不揮発性メモリとしては、例えば、フラッシュメモリ、ＳＣＭ（Storage Class Memory）、ＲＯＭ等が挙げられる。
【００４６】
また、記憶装置３ｃは、サーバ３の各種機能の全部若しくは一部を実現するプログラム３ｇを格納してよい。例えば、プロセッサ３ａは、記憶装置３ｃに格納されたプログラム３ｇをメモリ３ｂに展開して実行することにより、サーバ３としての機能を実現できる。
【００４７】
通信ＩＦ３ｄは、ネットワーク４との間の接続及び通信の制御等を行なうＩＦである。例えば、通信ＩＦ３ｄは、ネットワーク４における通信規格に準拠した有線又は無線の通信モジュールを含んでよい。例えば、プログラム３ｇは、通信ＩＦ３ｄを介して、ネットワーク４からサーバ３にダウンロードされ、記憶装置３ｃに格納されてもよい。
【００４８】
Ｉ／Ｏ部３ｅは、マウス、キーボード、又は操作ボタン等の入力部、並びに、タッチパネルディスプレイ、ＬＣＤ（Liquid Crystal Display）等のモニタ、プロジェクタ、又はプリンタ等の出力部、の一方又は双方を含んでよい。
【００４９】
読取部３ｆは、記録媒体３ｈに記録されたデータやプログラムの情報を読み出すリーダの一例である。読取部３ｆは、記録媒体３ｈを接続可能又は挿入可能な接続端子又は装置を含んでよい。読取部３ｆとしては、例えば、ＵＳＢ（Universal Serial Bus）等に準拠したアダプタ、記録ディスクへのアクセスを行なうドライブ装置、ＳＤカード等のフラッシュメモリへのアクセスを行なうカードリーダ等が挙げられる。なお、記録媒体３ｈにはプログラム３ｇが格納されてもよく、読取部３ｆが記録媒体３ｈからプログラム３ｇを読み出して記憶装置３ｃに格納してもよい。
【００５０】
記録媒体３ｈとしては、例示的に、磁気／光ディスクや、ポータブルストレージ等の非一時的な記録媒体が挙げられる。磁気／光ディスクとしては、例示的に、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク、ＨＶＤ（Holographic Versatile Disc）等が挙げられる。ポータブルストレージとしては、例示的に、フラッシュメモリ、ポータブルＨＤＤ／ＳＳＤ等が挙げられる。
【００５１】
上述したサーバ３のＨＷ構成は例示である。従って、サーバ３内でのＨＷの増減（例えば任意のブロックの追加や削除）、分割、任意の組み合わせでの統合、又は、バスの追加若しくは削除等は適宜行なわれてもよい。例えば、サーバ３において、Ｉ／Ｏ部３ｅ及び読取部３ｆの少なくとも一方は、省略されてもよい。
【００５２】
〔１−３〕機能構成例
次に、図６〜図１０を参照して、一実施形態に係る音声翻訳システム１の機能構成例を説明する。
【００５３】
（端末２の機能構成例）
図６は、端末２の機能構成例を示すブロック図である。図６に示すように、端末２は、例示的に、バッファ２１、音声入力部２２、音声出力部２３、処理部２４、及び、通信部２５を備えてよい。
【００５４】
バッファ２１は、データ、例えば音声データを記憶する記憶領域の一例である。例えば、バッファ２１は、端末２に入力され、又は、端末２から出力される音声データ、端末２とサーバ３との間で送受信される音声データ（例えばパケット）、並びに、端末２において処理される音声データ、等を一時的に記憶する。バッファ２１は、例えば、図３に示すメモリ２ｂの記憶領域の少なくとも一部により実現されてよい。
【００５５】
音声入力部２２は、端末２への音声の入力を受け付ける。例えば、音声入力部２２は、マイク２ｄにより音声データを取得し、取得した音声データをバッファ２１に格納する。
【００５６】
なお、音声入力部２２は、音声データを話者ごとに分類してバッファ２１に格納してもよい。例えば、図４及び図５に示すように、端末２が複数のマイク２ｄ−１及び２ｄ−２を備える場合、音声入力部２２は、マイク２ｄ−１及び２ｄ−２のいずれのマイク２ｄから取得した音声データかを特定可能な情報を、音声データに付加してもよい。
【００５７】
音声出力部２３は、端末２からの音声の出力を行なう。例えば、音声出力部２３は、バッファ２１に格納された出力用の音声データを、スピーカ２ｅにより音声として出力する。なお、スピーカ２ｅが話者ごとのスピーカを備える場合、音声出力部２３は、処理部２４により指定される出力先のスピーカから音声を出力してもよい。
【００５８】
処理部２４は、端末２における種々の処理を行なう。例えば、処理部２４は、入出力される音声データの入出力処理、送受信される音声データの送受信処理、その他、操作入力に応じた処理や電源管理、等を行なってよい。入出力処理には、例えば、音声データの加工やデータ形式変換等が含まれてもよい。送受信処理には、例えば、送信する音声データ（マイク２ｄ（話者）を特定する情報を含んでもよい）の決定や、受信した音声データの出力先のスピーカ２ｅの決定等が含まれてもよい。
【００５９】
通信部２５は、サーバ３との間で音声データの送受信を行なう。例えば、通信部２５は、バッファ２１に格納された音声データに基づきパケットを生成し、生成したパケットを通信ＩＦ２ｃによりサーバ３に送信してよい。また、通信部２５は、通信ＩＦ２ｃによりサーバ３からパケットを受信し、受信したパケットから音声データを抽出してバッファ２１に格納してよい。
【００６０】
（サーバ３の機能構成例）
図７は、サーバ３の機能構成例を示すブロック図である。図７に示すように、サーバ３は、例示的に、メモリ部３１、通信部３２、音声認識部３３、判定部３４、文合成部３５、翻訳部３６、及び、音声合成部３７を備えてよい。
【００６１】
なお、通信部３２、音声認識部３３、判定部３４、文合成部３５、翻訳部３６、及び音声合成部３７の少なくとも１つは、図３に示すサーバ３のプロセッサ３ａがプログラム３ｇを実行することにより実現されてよい。
【００６２】
なお、上記ブロック３２〜３７のうちの少なくとも１つの処理は、例えば、プロセッサ３ａとしてのＣＰＵ等の演算処理装置により実行されてもよく、他の処理は、例えば、プロセッサ３ａとしてのＧＰＵ等の画像処理装置によって実行されてもよい。「他の処理」としては、例えば、翻訳部３６の翻訳処理が挙げられる。なお、「他の処理」に、音声認識部３３、判定部３４、文合成部３５、及び音声合成部３７のうちの少なくとも１つの処理が含まれてもよい。
【００６３】
さらに、上記ブロック３２〜３７のうちの少なくとも１つの処理は、例えば、人工知能（ＡＩ）の技術を用いた機械学習、一例として深層学習（ディープラーニング）を利用して行なわれてもよい。
【００６４】
メモリ部３１は、サーバ３の動作に用いられる種々の情報を記憶する記憶部の一例である。メモリ部３１は、例示的に、音声データ記憶部３１ａ、聞き返しテーブル（ＴＢＬ；Table）３１ｂ、聞き返し音声データ記憶部３１ｃ、及び、文生成ＴＢＬ３１ｄを備えてよい。メモリ部３１は、図３に示すメモリ３ｂ及び記憶装置３ｃの少なくとも一方が有する記憶領域により実現されてよい。
【００６５】
音声データ記憶部３１ａは、サーバ３が端末２から受信した音声データ、及び、サーバ３から端末２に送信する音声データ、をそれぞれ記憶してよい。聞き返し音声データ記憶部３１ｃは、後述する「聞き返し文」の音声データを予め記憶してよい。
【００６６】
通信部３２は、端末２との間で音声データの送受信を行なう。例えば、通信部３２は、音声データ記憶部３１ａ又は聞き返し音声データ記憶部３１ｃに記憶された音声データに基づきパケットを生成し、生成したパケットを通信ＩＦ３ｄにより端末２に送信してよい。また、通信部３２は、通信ＩＦ３ｄにより端末２からパケットを受信し、受信したパケットから音声データを抽出して音声データ記憶部３１ａに格納してよい。
【００６７】
音声認識部３３は、通信部３２が受信した音声データによって表される音声を認識する音声認識処理を行なう。音声認識処理には、例えば、音声データを文字列に変換する変換処理が含まれてよい。また、音声認識処理には、音声データによって表される音声の特徴を分析することで、当該音声の話者を識別する識別処理が含まれてもよい。なお、音声認識処理は、既知の種々の手法により実現可能である。
【００６８】
判定部３４は、入力を受け付けた音声データの文字列に対して、当該音声データが聞き返し対象か否かを判定する聞き返し判定処理、及び、当該音声データが聞き返しに対する応答か否かを判定する応答判定処理、を行なう。
【００６９】
以下の説明では、質問者が扱う（話す）言語を第１言語と表記し、回答者が扱う（話す）言語を第２言語と表記する場合がある。
【００７０】
例えば、判定部３４は、聞き返し判定処理において、入力を受け付けた第１言語の第１の音声の中に、メモリ部３１に記憶した特定の文字列に対応する音声又は類似する音声が含まれるか否かを判定する。なお、上記判定は、入力を受け付けた第１言語の第１の音声が質問形式である場合、例えば文字列に変換された音声データが疑問文である場合に行なわれてよい。一方、判定部３４は、入力を受け付けた音声が、第１言語の平叙文の音声である場合や、第２言語の音声である場合、上記判定を抑止し、入力を受け付けた音声の認識結果である文字列を翻訳部３６に出力してよい。
【００７１】
判定部３４は、聞き返し判定処理において、音声認識部３３により音声データから変換された質問文（文字列）と、メモリ部３１が記憶する聞き返しＴＢＬ３１ｂと、を比較する。そして、判定部３４は、質問文の中に、聞き返しＴＢＬ３１ｂに設定された特定の文字列に対応又は類似する文字列が含まれるか否かを判定する。
【００７２】
図８は、聞き返しＴＢＬ３１ｂの一例を示す図である。聞き返しＴＢＬ３１ｂは、情報不足である質問内容に対する聞き返し文を管理する情報である。なお、図８には、聞き返しＴＢＬ３１ｂをテーブル形式で例示しているが、これに限定されるものではなく、聞き返しＴＢＬ３１ｂは、配列やＤＢ（Database）等の種々の形式であってよい。
【００７３】
図８に示すように、聞き返しＴＢＬ３１ｂは、例示的に、「ＩＤ」、第１の文字列の一例である「聞き返し文」、（第１の）特定の文字列の一例である「条件Ａ（質問文）」、及び、第２の特定の文字列の一例である「条件Ｂ（ＮＯＴ）」の項目を含んでよい。ＩＤ（Identifier）は、聞き返し文を識別する識別情報の一例である。聞き返し文には、質問者に対して聞き返す文字列が設定される。
【００７４】
条件Ａ（質問文）には、聞き返し対象となる質問文が設定される。なお、図８に例示するように、１つの聞き返し文（ＩＤ）に対して、互いに類似の範囲にある複数の条件Ａが設定されてもよい。また、条件Ａにおいて、部屋番号のように質問文に応じて変化する文字列は、任意の文字列が該当し得るようにワイルドカード「*」に置き換えられてよい。
【００７５】
条件Ｂ（ＮＯＴ）には、聞き返し文によって質問者から得たい文字列であって、質問文に含まれていれば聞き返しが不要である文字列が設定される。
【００７６】
判定部３４は、質問文の中に、聞き返しＴＢＬ３１ｂの条件Ａに対応又は類似する文字列が含まれるか否かを判定する。例えば、質問文が「Where is room 201 ?」という文字列である場合、図８に例示するように、ＩＤが「1」のエントリに「Where is room * ?」という文字列が存在するため、判定部３４は、質問文に、条件Ａに対応又は類似する文字列が存在すると判定する。
【００７７】
また、判定部３４は、条件Ａに対応又は類似する質問文の中に、条件Ｂに対応又は類似する文字列が含まれるか否かを判定してもよい。例えば、図８に例示するように、当該条件Ａのエントリにおける条件Ｂには、「A」又は「B」という文字列が存在する。一方、質問文である「Where is room 201 ?」には、「A」又は「B」が含まれないため、判定部３４は、質問文に、条件Ｂに対応又は類似する文字列が存在しないと判定する。
【００７８】
なお、条件Ａ又はＢに「類似する」文字列とは、実質的な意味が同様である文字列を意味してよく、例えば、図８に示す「Where is room * ?」に対する、「I want to visit room *.」のように、質問の内容として同一と扱うことが可能な文字列である。
【００７９】
判定部３４は、質問文に、条件Ａに対応又は類似する文字列が含まれる場合（又は、さらに条件Ｂに対応又は類似する文字列が存在しない場合）、当該条件Ａが設定されたエントリから、聞き返し文及びＩＤの一方又は双方を抽出する。例えば、質問文が「Where is room 201 ?」である場合、図８の例では、判定部３４は、「Which ward, A or B ?」と設定された聞き返し文、又は、ＩＤ「1」を抽出する。
【００８０】
そして、判定部３４は、抽出した聞き返し文又はＩＤに対応する、質問文と同一の言語の音声データの送信を、通信部３２に指示する。例えば、判定部３４は、メモリ部３１に格納された聞き返し音声データ記憶部３１ｃの中から、抽出した聞き返し文又はＩＤに対応する音声データを取得し、通信部３２に出力してもよい。
【００８１】
なお、スピーカ２ｅが話者ごとのスピーカを備える場合、判定部３４は、質問者に対する出力である（質問者側のスピーカから出力させる）音声データであることを示す情報を、聞き返し音声データに付加してもよい。
【００８２】
聞き返し音声データ記憶部３１ｃは、聞き返し文の文字列を音声変換することで得られる、聞き返し文と同一の言語の聞き返し音声データ（第２の音声）を、聞き返し文又はＩＤごとに予め記憶してよい。聞き返し音声データをプリセットとして予めメモリ部３１に格納することにより、聞き返し文の翻訳処理、及び、音声合成処理を省略することができるため、サーバ３のプロセッサ３ａ等の処理負荷を低減させることができる。
【００８３】
このように、判定部３４及び通信部３２は、第１の音声の中に、音声データ記憶部３１ａに記憶した特定の文字列に対応する音声が含まれると判定した場合、特定の文字列に対応付けて記憶された第１言語の第１の文字列を音声変換することで得られる第２の音声を出力する第１出力部の一例である。
【００８４】
なお、質問文に、聞き返しＴＢＬ３１ｂの各条件Ａに対応又は類似する文字列が存在しない場合、当該質問文は、聞き返し対象外である。また、質問文が、「Where is room 201 of A ward ?」のように、条件Ｂの「A」に対応する文字列を含む場合、当該質問文に対する聞き返しは不要である。これらに該当する場合、判定部３４は、聞き返し文の出力を行なわず（抑止し）、通常の音声翻訳を行なうために、翻訳部３６に対して質問文の翻訳を指示してよい。
【００８５】
ところで、聞き返し音声データは、通信部３２から端末２に送信され、端末２の音声出力部２３から聞き返し音声として出力される。質問者は、聞き返し音声に対して応答内容を発言する。応答内容の音声は、応答音声データとして端末２に入力され、端末２からサーバ３に送信されて、通信部３２により音声データ記憶部３１ａに格納される。このように、サーバ３では、聞き返し音声データ（第２の音声）の出力後に、第１言語の応答音声データ（第３の音声）が入力されることが予測される。
【００８６】
このため、判定部３４は、通信部３２が音声データを受信すると、上述した聞き返し判定処理の前に、当該音声データに対して応答判定処理を行なってよい。
【００８７】
例えば、判定部３４は、応答判定処理において、聞き返し音声データの出力後に入力された音声データが、質問者からの応答音声データか否かを判定してよい。この判定は、例えば、音声データが第１言語か否かの判定、音声認識部３３による話者の識別処理の処理結果、及び、受信した音声データに付加された話者（マイク２ｄ）を特定可能な情報、の少なくとも１つに基づき行なわれてよい。
【００８８】
上記判定の結果、受信した音声データが応答音声データではない場合（質問者以外からの音声データである場合）、判定部３４は、当該音声データの音声認識結果の文字列に対し、上述した聞き返し判定処理を実行してよい。
【００８９】
一方、受信した音声データが応答音声データである場合、判定部３４は、当該音声データの音声認識結果の文字列を、文合成部３５に出力してよい。
【００９０】
文合成部３５は、聞き返し文に対する応答文の音声認識結果と、文生成ＴＢＬ３１ｄとに基づいて、合成文を生成する。
【００９１】
図９は、文生成ＴＢＬ３１ｄの一例を示す図である。文生成ＴＢＬ３１ｄは、第１の音声を示す質問文と、第３の音声を示す応答文とに基づく合成文を生成するための情報である。なお、図９には、文生成ＴＢＬ３１ｄをテーブル形式で例示しているが、これに限定されるものではなく、文生成ＴＢＬ３１ｄは、配列やＤＢ等の種々の形式であってよい。
【００９２】
図９に示すように、文生成ＴＢＬ３１ｄは、例示的に、聞き返しＴＢＬ３１ｂのＩＤに対応する「ＩＤ」、「条件」、及び、「生成文」の項目を含んでよい。
【００９３】
条件には、聞き返し文によって質問者から得たい文字列を特定するための情報が設定される。例えば、聞き返し文が「Which ward, A or B ?」（ＩＤ「1」；図８参照）である場合、条件には、図９の１行目に例示するように、質問者から得たい文字列である「A」、又は、当該文字列を特定する情報である「前者」、が設定される。
【００９４】
生成文には、条件に応じて、質問文と応答文とを組み合わせた合成文を生成するための情報が設定されてよい。一例として、生成文には、質問文の「Where is room * ?」と、応答文の「A ward.」の一部とを組み合わせた、「Where is room * of A ward ?」（図９の１行目参照）という、合成文の生成パターンが設定されてよい。当該生成パターンは、特定の文字列に対応付けて記憶された第２の文字列の一例である。なお、生成文において、部屋番号のように質問文に応じて変化する文字列は、任意の文字列が該当し得るようにワイルドカード「*」に置き換えられてよい。
【００９５】
また、生成文には、応答文が条件を満たさない場合、すなわち、応答文に、「A」又は「前者」、或いは、「B」又は「後者」（図９の２行目参照）、のいずれも含まれない場合に用いる、合成文の生成パターンが設定されてよい（図９の３行目参照）。当該生成パターンは、例示的に、少なくとも、「応答文」と、「質問文」とを組み合わせた（結合した）文字列であってよい。一実施形態では、応答文が条件を満たさない場合の生成パターンは、「質問文」＋「聞き返し文」＋「応答文」であるものとする。
【００９６】
文合成部３５は、判定部３４から通知された聞き返し文に対する応答文が、文生成ＴＢＬ３１ｄのいずれの条件に合致するか否かを判定し、合致する条件に対応する合成文を生成し、当該合成文を翻訳部３６に出力する。
【００９７】
図８の例では、文合成部３５は、応答文が条件を満たす場合、応答文の一部又は全部を生成パターン内の所定箇所（例えば「*」部分）に反映した、「Where is room 201 of A ward ?」という文字列を生成する。
【００９８】
また、例えば、文合成部３５は、応答文が「I don’t know.」のように条件を満たさない場合、質問文、聞き返し文、及び応答文を組み合わせ（結合し）、「Where is room 201 ?  Which ward, A or B ?  I don’t know.」という文字列を生成する。
【００９９】
このように、文合成部３５は、情報不足である質問文と、当該質問文の情報を補足するための応答文とを合成して、回答者が質問文に対する回答を行なう十分な情報を含む合成文を生成するのである。
【０１００】
なお、サーバ３（例えば音声認識部３３又は判定部３４）は、文生成ＴＢＬ３１ｄにおける生成文の生成パターンとして利用するために、第１の音声である質問文の文字認識結果、及び、第２の音声である聞き返し文の文字列を、メモリ部３１に格納してもよい。例示的に、当該文字列を格納するログとして、後述する音声ログ３１ｇ（図１８参照）が利用されてもよい。
【０１０１】
翻訳部３６は、入力される第１言語又は第２言語の文字列を、第２言語又は第１言語に翻訳し、翻訳した文字列を音声合成部３７に出力する、翻訳処理を行なう。
【０１０２】
例えば、翻訳部３６は、判定部３４又は文合成部３５から入力される第１言語の文字列を、第２言語の文字列に翻訳してよい。また、翻訳部３６は、判定部３４から入力される第２言語の文字列を、第１言語の文字列に翻訳してよい。翻訳部３６による翻訳処理は、既知の種々の手法により実現可能である。
【０１０３】
音声合成部３７は、翻訳部３６が翻訳した文字列を音声合成することで、当該文字列の言語で表される音声を生成し、生成した音声を音声データ記憶部３１ａに格納する、音声合成処理を行なう。
【０１０４】
例えば、音声合成部３７は、翻訳部３６から入力される第１言語の文字列を、第１言語の音声に音声合成（音声変換）した音声データを生成してよい。また、音声合成部３７は、翻訳部３６から入力される第２言語の文字列を、第２言語の音声に音声合成（音声変換）した音声データを生成してよい。音声合成部３７による音声合成処理は、既知の種々の手法により実現可能である。
【０１０５】
以上のように、文合成部３５、翻訳部３６、及び音声合成部３７は、応答文が文生成ＴＢＬ３１ｄの条件を満たす場合、以下の処理を行ない、音声を出力する第２出力部の一例である。
【０１０６】
第２出力部は、第２の音声の出力後に入力された第１言語の第３の音声の認識結果の一部又は全部を、特定の文字列に対応付けて記憶された第２の文字列内の所定箇所に反映した文字列に基づいて生成した、第２言語の音声又はテキストを出力してよい（図９の１行目及び２行目参照）。
【０１０７】
また、第２出力部は、第２の音声の出力後に入力された第１言語の第３の音声の認識結果と第１の音声の認識結果とに基づいて生成した、第２言語の第４の音声又はテキストを出力してよい（図９の３行目参照）。
【０１０８】
なお、聞き返しＴＢＬ３１ｂ、聞き返し音声データ、及び文生成ＴＢＬ３１ｄは、サーバ３の利用者や管理者等により、音声翻訳システム１の利用形態に応じて想定される質問文や聞き返し文を考慮して決定され、サーバ３の運用前に予め設定されてよい。
【０１０９】
また、図８及び図９に示すように、メモリ部３１は、音声翻訳システム１により扱われる第１言語となり得る言語ごとに、当該言語の文字列が設定された聞き返しＴＢＬ３１ｂ、聞き返し音声データ、及び文生成ＴＢＬ３１ｄのセットを記憶してもよい。
【０１１０】
或いは、メモリ部３１は、音声翻訳システム１により扱われる言語のうちの一部の言語についてのみ、聞き返しＴＢＬ３１ｂ及び文生成ＴＢＬ３１ｄのセットを記憶してもよい。一例として、図１０及び図１１に示すように、聞き返しＴＢＬ３１ｂ及び文生成ＴＢＬ３１ｄには、それぞれ、第１言語以外の言語、例えば、サーバ３において基準となる言語（例えば第２言語）の文字列が設定されてもよい。この場合、判定部３４及び文合成部３５は、音声データの文字認識結果、並びに、聞き返しＴＢＬ３１ｂ及び文生成ＴＢＬ３１ｄの文字列の一方又は双方を、翻訳部３６により翻訳してから、上述した比較、判定、及び文字列操作等を行なってもよい。
【０１１１】
聞き返し文の音声データについては、例えば、音声翻訳システム１が扱う言語数や聞き返し文の種類（数）が多い場合、聞き返し音声データの合計のデータサイズが増大し、サーバ３のメモリ３ｂや記憶装置３ｃの記憶容量を圧迫する可能性がある。そこで、例えば、判定部３４は、聞き返しＴＢＬ３１ｂから抽出した基準言語の聞き返し文の文字列を、翻訳部３６により第１言語に翻訳し、翻訳後の文字列を音声合成部３７により音声化することで取得してもよい。換言すれば、メモリ部３１が聞き返し音声データ記憶部３１ｃを備えない構成、又は、聞き返し音声データ記憶部３１ｃに記憶させる聞き返し音声データ数を制限した構成が許容されてよい。これにより、音声データのデータサイズの増大を抑制できる。
【０１１２】
〔１−４〕動作例
次に、図１２を参照して、上述の如く構成された一実施形態に係る音声翻訳システム１の動作例を説明する。図１２は、サーバ３の動作例を説明するフローチャートである。
【０１１３】
図１２に示すように、サーバ３の通信部３２は、端末２の通信部２５からの音声データの受信を待ち受ける（ステップＳ１、ステップＳ１でＮｏ）。
【０１１４】
端末２から音声データを受信すると（ステップＳ１でＹｅｓ）、通信部３２は、受信した音声データを音声データ記憶部３１ａに格納する。
【０１１５】
音声認識部３３は、音声データ記憶部３１ａに格納された音声データに対して、音声認識処理を行なう。音声認識部３３は、音声認識処理において、当該音声データを音声変換して文字列を取得する（ステップＳ２）。なお、音声認識部３３は、音声認識処理において、音声データから話者の特徴を取得してもよい。
【０１１６】
判定部３４は、応答判定処理において、ステップＳ１で受信した音声データが、聞き返し音声データを送信した送信先である端末２から受信した音声データか否かを判定する（ステップＳ３）。なお、ステップＳ３の判定は、音声データが、第１言語の質問形式の音声であると判定した場合に行なわれてよい。
【０１１７】
聞き返し音声データの送信先端末２から受信した音声データではない場合（ステップＳ３でＮｏ）、判定部３４は、聞き返し判定処理を行なう。聞き返し判定処理では、判定部３４は、ステップＳ２で取得した文字列に、聞き返しＴＢＬ３１ｂの条件Ａに対応又は類似する文字列が含まれるか否かを判定する（ステップＳ４）。
【０１１８】
取得した文字列に、条件Ａに対応又は類似する文字列が含まれない場合（ステップＳ４でＮｏ）、処理がステップＳ８に移行する。一方、条件Ａに対応又は類似する文字列が含まれる場合（ステップＳ４でＹｅｓ）、判定部３４は、取得した文字列に、聞き返しＴＢＬ３１ｂにおいて、当該条件Ａのエントリの条件Ｂに対応又は類似する文字列が含まれるか否かを判定する（ステップＳ５）。
【０１１９】
取得した文字列に、条件Ｂに対応又は類似する文字列が含まれる場合（ステップＳ５でＹｅｓ）、処理がステップＳ８に移行する。一方、取得した文字列に、条件Ｂに対応又は類似する文字列が含まれない場合（ステップＳ５でＮｏ）、判定部３４は、聞き返しＴＢＬ３１ｂにおける当該エントリの聞き返し文に対応する聞き返し音声データを、聞き返し音声データ記憶部３１ｃから取得する。そして、判定部３４は、通信部３２を介して、聞き返し音声データを端末２に送信し（ステップＳ６）、処理がステップＳ１に移行する。
【０１２０】
なお、判定部３４は、聞き返しＴＢＬ３１ｂにおける聞き返し文の文字列を、翻訳部３６により翻訳し、音声合成部３７により音声変換することで、聞き返し音声データを取得してもよい。
【０１２１】
ステップＳ３において、受信した音声データが、聞き返し音声データの送信先端末２から受信した音声データであると判定した場合（ステップＳ３でＹｅｓ）、判定部３４は、ステップＳ２で取得した文字列を文合成部３５に出力する。
【０１２２】
文合成部３５は、文生成ＴＢＬ３１ｄに基づき、入力された文字列の一部又は全部を生成パターンと合成する、又は、当該文字列とメモリ部３１が記憶する質問文とを組み合わせることで合成文を生成し（ステップＳ７）、処理がステップＳ８に移行する。
【０１２３】
ステップＳ８では、翻訳部３６は、判定部３４又は文合成部３５から入力される文字列の言語を、第１言語から第２言語、又は、第２言語から第１言語に翻訳（変換）する。
【０１２４】
次いで、音声合成部３７は、翻訳部３６が翻訳した文字列を音声合成することで音声データを生成し（ステップＳ９）、生成した音声データを音声データ記憶部３１ａに格納する。
【０１２５】
通信部３２は、音声データ記憶部３１ａから音声合成部３７が格納した音声データを読み出して端末２に送信し（ステップＳ１０）、処理がステップＳ１に移行する。
【０１２６】
なお、ステップＳ２及びステップＳ３の処理順序は、逆順であってもよいし、並行して実行されてもよい。また、ステップＳ３において、判定部３４が、音声データが第１言語の平叙文である、又は、音声データが第２言語である、と判定した場合、ステップＳ４及びＳ５の判定をスキップし、ステップＳ８の処理が行なわれてもよい。
【０１２７】
以上のように、一実施形態に係る音声翻訳システム１によれば、回答者から質問者に対する、よくある「聞き返し」を、サーバ３及び端末２により実行することができる。
【０１２８】
図１３は、一実施形態に係る音声翻訳システム１を用いる場合の対話時間を説明するための図である。図１３の上段は、比較例に係る図２の下段と同様である。
【０１２９】
図１３の下段は、サーバ３による制御下で動作する端末２を介した、質問者（図１３の紙面左側）及び回答者（図１３の紙面右側）の対話を示す。図１３の下段に示すように、端末２を介した対話では、以下の「音声」のやり取りが発生する。
【０１３０】
・質問者が「Where is Room 201 ?」と発言する（矢印Ｉ参照）。
・端末２（サーバ３）がＩの音声を分析し、聞き返しを行なうことを決定する（符号II参照）。
・端末２が、IIで決定された「Which ward ?」という聞き返し音声を質問者に出力する（矢印III参照）。
・質問者がIIIの音声に対して「B ward.」と発言（応答）する（矢印IV参照）。
・端末２（サーバ３）がIVの音声を分析し、Ｉ及びIVの音声の文字列を合成し音声を生成する（符号Ｖ参照）。
・端末２がＶで生成された「Ｂ病棟の２０１号室はどこですか？」という音声を回答者に出力する（矢印VI参照）。
・回答者がVIに対して「ｘｘです。」と発言する（矢印VII参照）。
・端末２（サーバ３）がVIIの音声を分析し、当該音声の文字列を翻訳し、音声変換する（符号VIII参照）。
・端末２がVIIIで生成（翻訳）された「xx.」という音声を質問者に出力する（矢印IX参照）。
【０１３１】
図１３の下段に示すように、音声翻訳システム１により、端末２から回答者に出力される音声を、質問者による２回に亘る発言（矢印Ｉ及びIV参照）を集約して翻訳した「Ｂ病棟の」の１回に抑えることができる。これにより、回答者の発話回数が減少するため、スムーズなコミュニケーションが可能になるとともに、会話にかかる時間を削減することができる。
【０１３２】
また、図１３の例では、サーバ３による合計の翻訳回数を、図１３の上段に示す４回から、図１３の下段に示す２回に減少させることができる。これにより、翻訳ミスの発生リスクを低減させることができる。
【０１３３】
さらに、図１３の下段に示す矢印又は符号Ｉ〜Ｖの処理を、いずれも質問者が扱う第１言語によって行なうことができる。これにより、翻訳ミスの発生リスクを低減させることができる。
【０１３４】
また、翻訳回数を減少させることにより、翻訳処理や音声合成処理等を行なうための、サーバ３や端末２の処理性能及びネットワーク４の帯域等のリソースを削減できる。これにより、音声翻訳システム１は、より多くの端末２を備え、これらの端末２にサーバ３及びネットワーク４を共用させることが可能となる。例えば、ＧＰＵ等の画像処理装置によって実行される翻訳処理のように、高負荷な処理の実行回数を減少させることができるため、コンピュータの処理性能の低下、消費電力の増加、バッテリの残量低下、等を抑制することができる。
【０１３５】
さらに、聞き返し文に対する応答文が、文生成ＴＢＬ３１ｄの条件に合致しない場合（期待する返答でない場合）であっても、以下のように、合成文に基づき生成された質問文が、回答者にとって回答に十分な情報となる可能性もある。
【０１３６】
例えば、質問者が病棟を知らないが、入院している人の名前等の情報、或いは、病棟の特徴（例えば「海側の病棟」又は「新しい病棟」）等の、病棟を特定する参考となる情報を知っている場合、合成文には、当該参考となる情報が含まれる。一例として、応答文が「I don’t know. It’s a room where Mr. Suzuki is.」という文字列である場合、合成文（翻訳後）は、「＊号室はどこですか？  Ａ，Ｂのどちらの病棟ですか？  鈴木さんのいる部屋です。」となる。
【０１３７】
このように、質問者が、質問文における曖昧性を、サーバ３から提示された「聞き返し」に対する応答によっても解消できない場合であっても、サーバ３は、回答者に対して、「聞き返し」では曖昧性を解消できなかったことを暗に通知することができる。また、返答文に、質問者が新たに提示した曖昧性を解消するための情報が含まれていた場合に、サーバ３は、回答者に当該情報を併せて通知することができる。これにより、スムーズなコミュニケーションが可能になるとともに、会話にかかる時間を削減することができる。
【０１３８】
なお、「２０１号室はどこですか？」の質問に対して、回答者が、入院している人の名前を聞き返す場合も想定される。このように、聞き返しＴＢＬ３１ｂには、１つの条件Ａ（質問文）に対して、複数の異なる聞き返し文が設定されてもよい。例えば、図１４に示すように、聞き返しＴＢＬ３１ｂには、ＩＤ「2」として、聞き返し文「Who’s visiting ?」、並びに、条件Ｂ「Mr.」、「Ms.」又は「Mrs.」を含む、条件ＡがＩＤ「1」と共通するエントリが設定されてもよい。
【０１３９】
判定部３４は、入力された文字列が、複数のエントリにおける条件Ａに該当する場合、当該複数のエントリの聞き返し文を、例えば「or」で結合（接続）した聞き返し音声データを出力してもよい。或いは、判定部３４は、例えば、ＩＤの小さいエントリの聞き返し音声データを出力し、これに対する返答が、文生成ＴＢＬ３１ｄにおける条件に合致しない場合、他のＩＤのエントリの聞き返し音声データを出力するようにしてもよい。
【０１４０】
〔１−５〕変形例
一実施形態に係る音声翻訳システム１は、上述した構成に限定されるものではなく、例えば、以下のように変形することも可能である。
【０１４１】
〔１−５−１〕第１変形例
図１５は、第１変形例に係るサーバ３Ａの機能構成例を示すブロック図である。第１変形例に係るサーバ３Ａは、主に、判定部３４に代えて判定部３４Ａを備える点、並びに、メモリ部３１Ａが、聞き返しＴＢＬ３１ｂ（図７参照）に代えて、聞き返しＴＢＬ３１ｅ及び類似質問ＴＢＬ３１ｆを備える点が、図７に示すサーバ３と異なる。
【０１４２】
図１６は、聞き返しＴＢＬ３１ｅの一例を示す図であり、図１７は、類似質問ＴＢＬ３１ｆの一例を示す図である。聞き返しＴＢＬ３１ｅ及び類似質問ＴＢＬ３１ｆは、図７に示す聞き返しＴＢＬ３１ｂを分離して管理するテーブルである。
【０１４３】
図１６に示すように、聞き返しＴＢＬ３１ｅには、ＩＤ及び聞き返し文に対して、１対１の関係で１つの質問文が対応付けられてよい。
【０１４４】
図１７に示すように、類似質問ＴＢＬ３１ｆには、ＩＤ（及び聞き返し文）に対して、１対他の関係で１以上の類似質問文が対応付けられてよい。ここで、類似質問文とは、条件Ａの質問文に類似する、同様の趣旨の質問文であり、条件Ａの質問文と共通する聞き返し文が設定される質問文である。図１６及び図１７の例では、条件Ａの質問文が「２０１号室はどこですか？」であり、これに類似する類似質問文が「２０１号室に行きたいのですが。」であることを示している。
【０１４５】
なお、聞き返しＴＢＬ３１ｅの条件Ａには、条件Ａの質問文と、同一ＩＤの類似質問文との中で、音声認識により得られた文字列と合致する頻度が最も高い質問文が設定されてよい。
【０１４６】
判定部３４Ａは、聞き返し判定処理において、聞き返しＴＢＬ３１ｅを参照して、音声認識部３３が取得した文字列と、条件Ａとを比較し、条件Ａに合致しない場合、ＩＤごとに、当該文字列と類似質問ＴＢＬ３１ｆの類似質問文とを比較してよい。
【０１４７】
このように、判定部３４Ａは、入力を受け付けた第１言語の第１の音声の中に、メモリ部３１Ａの聞き返しＴＢＬ３１ｅ及び類似質問ＴＢＬ３１ｆに記憶された特定の文字列に対応する音声又は類似する音声が含まれるか否かを判定してよい。
【０１４８】
以上のように、類似質問文を、聞き返しＴＢＬ３１ｅとは別テーブルで管理することにより、判定部３４Ａは、聞き返し文の種類（ＩＤ数）が多い場合や、条件Ａと同様の趣旨の質問文が多い場合等であっても、条件Ａの判定を効率的に行なうことができる。
【０１４９】
〔１−５−２〕第２変形例
図１８は、第２変形例に係るサーバ３Ｂの機能構成例を示すブロック図である。第２変形例に係るサーバ３Ｂは、主に、更新部３８を備える点、並びに、メモリ部３１Ｂが音声ログ３１ｇを備える点が、図１５に示すサーバ３Ａと異なる。
【０１５０】
なお、第２変形例に係るサーバ３Ｂは、図１５に示す第１変形例に係るサーバ３Ａと同様に、判定部３４Ａを備え、メモリ部３１Ｂが聞き返しＴＢＬ３１ｅ及び類似質問ＴＢＬ３１ｆを備えるものとするが、これに限定されるものではない。例えば、第２変形例に係るサーバ３Ｂは、判定部３４を備え、メモリ部３１Ｂが聞き返しＴＢＬ３１ｂを備える構成であってもよい。
【０１５１】
音声ログ３１ｇは、通信部３２が端末２との間で送受信する音声データの履歴を記録するログである。音声ログ３１ｇでは、例えば、音声認識部３３により音声データから変換された文字列、及び、聞き返し文の文字列等の、サーバ３において送受信される音声データに対応する文字列が、例えばＤＢ等の形式で管理されてよい。音声ログ３１ｇは、上述のように、文生成ＴＢＬ３１ｄにおける生成文の生成パターンとして利用されてもよい。
【０１５２】
図１９は、音声ログ３１ｇに格納される音声データの一例を示す図である。図１９に示すように、音声ログ３１ｇには、例えば、話者を識別する「Ａ」及び「Ｂ」等の識別情報と、話者による音声データの文字列「xxxxx ?」、「yyyyy ?」、「zzzzz」等が格納されてよい。なお、音声ログ３１ｇには、文字列が、例えば時系列に沿って格納されてよく、文字列とともに、タイムスタンプ等の時刻を表す情報が格納されてもよい。
【０１５３】
更新部３８は、音声ログ３１ｇに基づいて、聞き返しＴＢＬ３１ｅ及び類似質問ＴＢＬ３１ｆ、並びに、文生成ＴＢＬ３１ｄの少なくとも１つを更新する。なお、更新部３８は、聞き返しＴＢＬ３１ｅ及び類似質問ＴＢＬ３１ｆに代えて、聞き返しＴＢＬ３１ｂを更新してもよい。
【０１５４】
以下、図２０を参照して、更新部３８による更新処理の動作例を説明する。図２０に示すように、更新部３８は、更新タイミングを待ち合わせる（ステップＳ１１、ステップＳ１１でＮｏ）。更新タイミングとしては、例えば、音声翻訳システム１の運用中又は運用停止中における所定のタイミング、例えば周期的なタイミング等が挙げられる。
【０１５５】
更新タイミングが到来すると（ステップＳ１１でＹｅｓ）、更新部３８は、音声ログ３１ｇを分析し（ステップＳ１２）、話者Ａ及び話者Ｂによる対話における所定の文字列群を抽出する。
【０１５６】
所定の文字列群としては、例えば、図１９のケース１における「xxxxx ?」、「yyyyy ?」及び「zzzzz」を含む複数の文字列や、ケース２における「XXXXX ?」及び「Which ward, A or B ?」を含む複数の文字列、等が挙げられる。このように、所定の文字列群には、話者Ｂ（回答者）による聞き返しが発生したことを示す、話者Ｂから発言された質問形式の文字列（聞き返し文）が含まれてよい。また、所定の文字列群には、当該話者Ｂからの聞き返し文の直前の文字列、又は、聞き返し文の直前及び直後の文字列が含まれてよい。
【０１５７】
更新部３８は、音声ログ３１ｇの分析により、図１９のケース１又は２に該当する文字列群を検出したか否かを判定する（ステップＳ１３）。文字列群を検出していない場合（ステップＳ１３でＮｏ）、処理がステップＳ１１に移行する。
【０１５８】
ケース１又は２に該当する文字列群を検出した場合（ステップＳ１３でＹｅｓ）、更新部３８は、該当する文字列群を拡張候補として抽出し、当該文字列群の出現回数を更新する（ステップＳ１４）。なお、文字列群の出現回数は、例えば、文字列群に含まれる聞き返し文ごとの出現回数であってもよく、メモリ部３１Ｂにおいてテーブルや配列等によりカウント（管理）されてよい。
【０１５９】
更新部３８は、出現回数に基づき、出現頻度が閾値以上の文字列群を検出する（ステップＳ１５）。例えば、更新部３８は、拡張候補の文字列群ごとに、全ての拡張候補の文字列群の合計出現回数に対する出現回数の割合や、所定時間あたりの出現回数、等を算出することで、出現頻度を求め、出現頻度が閾値以上の文字列群を拡張対象に決定してよい。
【０１６０】
そして、更新部３８は、拡張対象の文字列群に基づき、聞き返しＴＢＬ３１ｅ又は３１ｂ、類似質問ＴＢＬ３１ｆ、並びに、文生成ＴＢＬ３１ｄの少なくとも１つを更新し（ステップＳ１６）、処理がステップＳ１１に移行する。
【０１６１】
このように、更新部３８は、聞き返しＴＢＬ３１ｂ又は３１ｂにおける「聞き返し文」を、過去に入力を受け付けた条件Ａが含まれる第１言語の音声に対して出力した音声それぞれの出力の頻度、及び、当該出力した音声の形式、の一方又は双方に基づいて決定する決定部の一例である。
【０１６２】
以下、図２１〜図２３を参照して、図２０のステップＳ１６における更新部３８の処理の一例を説明する。
【０１６３】
（拡張対象の文字列群が図１９のケース１に該当する場合）
例えば、更新部３８は、拡張対象の文字列群が、図１９のケース１に該当する場合、換言すれば、時系列に連続した質問文を含む場合、以下の処理を行なう。
【０１６４】
更新部３８は、聞き返しＴＢＬ３１ｅ又は３１ｂ並びに文生成ＴＢＬ３１ｄのそれぞれにエントリ（ＩＤ「2」）を追加する（図２１及び図２２参照）。そして、更新部３８は、図２１及び図２２、並びに、以下に示すように、拡張対象の文字列群に基づき、追加したエントリを更新する。
【０１６５】
・更新部３８は、時刻が先の（過去の）質問文「xxxxx ?」を聞き返しＴＢＬ３１ｅ又は３１ｂの条件Ａに設定する（図２１参照）。
・更新部３８は、時刻が後の質問文「yyyyy ?」を聞き返しＴＢＬ３１ｅ又は３１ｂの聞き返し文に設定する（図２１参照）。
・更新部３８は、質問文「yyyyy ?」の後に返答された応答文「zzzzz」を聞き返しＴＢＬ３１ｅ又は３１ｂの条件Ｂ、並びに、文生成ＴＢＬ３１ｄの条件に、それぞれ設定する（図２１及び図２２参照）。
・更新部３８は、質問文「xxxxx ?」と、応答文「zzzzz」の一部又は全部とに基づき、文生成ＴＢＬ３１ｄの生成文の生成パターンを設定する（図２２参照）。例えば、図２２の例では、生成パターンは「xxxxx of zzzzz ?」である。
【０１６６】
（拡張対象の文字列群が図１９のケース２に該当する場合）
例えば、更新部３８は、拡張対象の文字列群が、図１９のケース２に該当する場合、換言すれば、聞き返し文が聞き返しＴＢＬ３１ｅ又は３１ｂに登録済であり、且つ、質問文が条件Ａ（質問文又は類似質問文）に存在しない場合、以下の処理を行なう。
【０１６７】
なお、図１９のケース２の例において、聞き返しＴＢＬ３１ｅ又は３１ｂに登録済の聞き返し文は、サーバ３が聞き返し文として出力した、第１言語の「Which ward, A or B ?」である。
【０１６８】
この場合、更新部３８は、類似質問ＴＢＬ３１ｆ又は聞き返しＴＢＬ３１ｂに対して、「Which ward, A or B ?」のＩＤ「1」に対応する類似質問文のエントリを追加する（図２３参照）。そして、更新部３８は、図２３に示すように、拡張対象の文字列群における類似質問文「XXXXX ?」に基づき、追加したエントリを更新する。
【０１６９】
このように、更新部３８は、過去の音声ログ３１ｇを用いて、メモリ部３１Ｂにおける各情報の生成及び更新を行なうことができる。従って、サーバ３Ｂは、音声翻訳システム１における運用環境の変化等に応じて、聞き返しＴＢＬ３１ｅ、類似質問ＴＢＬ３１ｆ、及び文生成ＴＢＬ３１ｄを柔軟に更新することができる。
【０１７０】
〔２〕その他
上述した一実施形態、並びに、第１及び第２変形例に係る技術は、以下のように変形、変更して実施することができる。
【０１７１】
例えば、図７、図１５、又は図１８に示す、サーバ３、３Ａ、又は３Ｂの各機能ブロックは、任意の組み合わせで併合してもよく、それぞれ分割してもよい。
【０１７２】
一例として、判定部３４又は３４Ａの機能は、聞き返し判定処理を行なう聞き返し判定処理部と、応答判定処理を行なう応答判定処理部と、に分割されてもよい。
【０１７３】
また、他の例として、文合成部３５、翻訳部３６、及び音声合成部３７を、翻訳合成部として統合してもよい。この場合、翻訳合成部は、質問文、聞き返し文、及び応答文の少なくとも１つを翻訳し、音声合成してから、音声同士を組み合わせる（結合させる）ことで、回答者に出力する第４の音声を生成してもよい。
【０１７４】
また、判定部３４又は３４Ａ、並びに、文合成部３５は、文字列を用いた判定及び文字列の合成を行なうものとしたが、これに限定されるものではない。判定部３４又は３４Ａ、並びに、文合成部３５の一方又は双方は、音声データ記憶部３１ａ及び聞き返し音声データ記憶部３１ｃに記憶された音声データ、又は、翻訳部３６及び音声合成部３７が生成した音声データを利用して、判定及び合成を行なってもよい。
【０１７５】
さらに、音声合成部３７の処理は、適宜省略されてもよく、サーバ３、３Ａ、又は３Ｂは、翻訳部３６による翻訳後の文字列を、テキストデータとして、端末２に送信してもよい。この場合、端末２は、サーバ３、３Ａ、又は３Ｂからテキストデータを受信し、当該テキストデータを図示しないモニタ等に表示してもよいし、当該テキストデータに基づき音声合成（音声変換）を行ない、スピーカ２ｅから音声を出力してもよい。
【０１７６】
また、一方の話者、例えば質問をする質問者は日本語を話し、他方の話者、例えば質問に対する回答をする回答者は、英語を話すものとして説明したが、これに限定されるものではない。質問者及び回答者が扱う言語は、互いに異なる言語であって、双方向に翻訳処理が可能な種々の言語であってよい。一例として、質問者が英語を話し、回答者が中国語を話す、等の場合においても、一実施形態並びに第１及び第２変形例に係る手法を適用可能である。
【０１７７】
さらに、病院において、質問者が病室の場所を質問し、回答者が病室の場所を回答する場合を例に挙げて説明するが、これに限定されるものではない。一実施形態に係る手法は、店舗や施設での接客、自治体の窓口業務、等の種々の分野に適用可能である。
【０１７８】
また、上述のように、サーバ３、３Ａ、及び３Ｂは、それぞれ、複数のサーバを備える情報処理システム、例えば、クラスタシステム又はクラウドシステム等として実現されてもよい。この場合、サーバ３、３Ａ、又は３Ｂとしての機能は、機能ブロック単位で、又は、機能ブロックを更に分割した単位で、複数のサーバに分散して配置されてよい。また、情報処理システムが備える各サーバは、図３に示すプログラム３ｇの少なくとも一部を、自サーバに配置される機能を実現するための個別のプログラムとして記憶してよい。
【０１７９】
〔３〕付記
以上の一実施形態、並びに、第１及び第２変形例に関し、さらに以下の付記を開示する。
【０１８０】
（付記１）
複数の言語間における音声の翻訳を行なう音声翻訳プログラムであって、
入力を受け付けた第１言語の第１の音声の中に、記憶部に記憶した特定の文字列に対応する音声又は類似する音声が含まれるか否かを判定し、
含まれると判定した場合に、前記特定の文字列に対応付けて記憶された前記第１言語の第１の文字列を音声変換することで得られる第２の音声を出力し、
前記第２の音声の出力後に入力された前記第１言語の第３の音声の認識結果の一部又は全部を前記特定の文字列に対応付けて記憶された第２の文字列内の所定箇所に反映した文字列に基づいて生成した、第２言語の第４の音声又はテキストを出力する、
処理をコンピュータに実行させることを特徴とする、音声翻訳プログラム。
【０１８１】
（付記２）
前記生成は、前記第３の音声の認識結果の一部又は全部と、前記第１の音声の認識結果の一部又は全部と、前記第２の文字列と、を合成して得られる前記文字列に基づいて、前記第４の音声又は前記テキストを生成する、
ことを特徴とする、付記１に記載の音声翻訳プログラム。
【０１８２】
（付記３）
複数の言語間における音声の翻訳を行なう音声翻訳プログラムであって、
入力を受け付けた第１言語の第１の音声の中に、記憶部に記憶した特定の文字列に対応する音声又は類似する音声が含まれるか否かを判定し、
含まれると判定した場合に、前記特定の文字列に対応付けて記憶された前記第１言語の第１の文字列を音声変換することで得られる第２の音声を出力し、
前記第２の音声の出力後に入力された前記第１言語の第３の音声の認識結果と前記第１の音声の認識結果とに基づいて生成した、第２言語の第４の音声又はテキストを出力する、
処理をコンピュータに実行させることを特徴とする、音声翻訳プログラム。
【０１８３】
（付記４）
前記特定の文字列に対応付けて記憶する前記第１言語の第１の文字列を、過去に入力を受け付けた前記特定の文字列が含まれる第１言語の音声に対して出力した音声それぞれの出力の頻度に基づいて決定する、
処理を前記コンピュータに実行させることを特徴とする、付記１〜３のいずれか１項に記載の音声翻訳プログラム。
【０１８４】
（付記５）
前記特定の文字列に対応付けて記憶する前記第１言語の第１の文字列を、過去に入力を受け付けた前記特定の文字列が含まれる第１言語の音声に対して出力した音声の形式に基づいて決定する、
処理を前記コンピュータに実行させることを特徴とする、付記１〜４のいずれか１項に記載の音声翻訳プログラム。
【０１８５】
（付記６）
前記形式が質問形式の音声である場合に、前記質問形式で出力した音声に対応する文字列を前記特定の文字列に対応付けて記憶する前記第１言語の第１の文字列とする、
ことを特徴とする、付記５に記載の音声翻訳プログラム。
【０１８６】
（付記７）
前記第１の音声の中に、前記特定の文字列に対応付けて記憶された第２の特定の文字列に対応する音声又は類似する音声が含まれるか否かを判定する、
処理を前記コンピュータに実行させ、
前記第１の音声の中に、前記特定の文字列に対応する音声又は類似する音声が含まれると判定し、且つ、前記第２の特定の文字列に対応する音声又は類似する音声が含まれないと判定した場合に、前記第２の音声を出力する、
ことを特徴とする、付記１〜６のいずれか１項に記載の音声翻訳プログラム。
【０１８７】
（付記８）
複数の言語間における音声の翻訳を行なう音声翻訳方法であって、
入力を受け付けた第１言語の第１の音声の中に、記憶部に記憶した特定の文字列に対応する音声又は類似する音声が含まれるか否かを判定し、
含まれると判定した場合に、前記特定の文字列に対応付けて記憶された前記第１言語の第１の文字列を音声変換することで得られる第２の音声を出力し、
前記第２の音声の出力後に入力された前記第１言語の第３の音声の認識結果の一部又は全部を前記特定の文字列に対応付けて記憶された第２の文字列内の所定箇所に反映した文字列に基づいて生成した、第２言語の第４の音声又はテキストを出力する、
ことを特徴とする、音声翻訳方法。
【０１８８】
（付記９）
複数の言語間における音声の翻訳を行なう音声翻訳方法であって、
入力を受け付けた第１言語の第１の音声の中に、記憶部に記憶した特定の文字列に対応する音声又は類似する音声が含まれるか否かを判定し、
含まれると判定した場合に、前記特定の文字列に対応付けて記憶された前記第１言語の第１の文字列を音声変換することで得られる第２の音声を出力し、
前記第２の音声の出力後に入力された前記第１言語の第３の音声の認識結果と前記第１の音声の認識結果とに基づいて生成した、第２言語の第４の音声又はテキストを出力する、
ことを特徴とする、音声翻訳方法。
【０１８９】
（付記１０）
前記特定の文字列に対応付けて記憶する前記第１言語の第１の文字列を、過去に入力を受け付けた前記特定の文字列が含まれる第１言語の音声に対して出力した音声それぞれの出力の頻度に基づいて決定する、
ことを特徴とする、付記８又は付記９に記載の音声翻訳方法。
【０１９０】
（付記１１）
前記特定の文字列に対応付けて記憶する前記第１言語の第１の文字列を、過去に入力を受け付けた前記特定の文字列が含まれる第１言語の音声に対して出力した音声の形式に基づいて決定する、
ことを特徴とする、付記８〜１０のいずれか１項に記載の音声翻訳方法。
【０１９１】
（付記１２）
複数の言語間における音声の翻訳を行なう音声翻訳装置であって、
入力を受け付けた第１言語の第１の音声の中に、記憶部に記憶した特定の文字列に対応する音声又は類似する音声が含まれるか否かを判定する判定部と、
含まれると判定した場合に、前記特定の文字列に対応付けて記憶された前記第１言語の第１の文字列を音声変換することで得られる第２の音声を出力する第１出力部と、
前記第２の音声の出力後に入力された前記第１言語の第３の音声の認識結果の一部又は全部を前記特定の文字列に対応付けて記憶された第２の文字列内の所定箇所に反映した文字列に基づいて生成した、第２言語の第４の音声又はテキストを出力する第２出力部と、を備える
ことを特徴とする、音声翻訳装置。
【０１９２】
（付記１３）
複数の言語間における音声の翻訳を行なう音声翻訳装置であって、
入力を受け付けた第１言語の第１の音声の中に、記憶部に記憶した特定の文字列に対応する音声又は類似する音声が含まれるか否かを判定する判定部と、
含まれると判定した場合に、前記特定の文字列に対応付けて記憶された前記第１言語の第１の文字列を音声変換することで得られる第２の音声を出力する第１出力部と、
前記第２の音声の出力後に入力された前記第１言語の第３の音声の認識結果と前記第１の音声の認識結果とに基づいて生成した、第２言語の第４の音声又はテキストを出力する第２出力部と、を備える
ことを特徴とする、音声翻訳装置。
【０１９３】
（付記１４）
前記特定の文字列に対応付けて記憶する前記第１言語の第１の文字列を、過去に入力を受け付けた前記特定の文字列が含まれる第１言語の音声に対して出力した音声それぞれの出力の頻度に基づいて決定する決定部、を備える
ことを特徴とする、付記１２又は付記１３に記載の音声翻訳装置。
【０１９４】
（付記１５）
前記特定の文字列に対応付けて記憶する前記第１言語の第１の文字列を、過去に入力を受け付けた前記特定の文字列が含まれる第１言語の音声に対して出力した音声の形式に基づいて決定する決定部、を備える、
ことを特徴とする、付記１２又は付記１３に記載の音声翻訳装置。
【０１９５】
（付記１６）
前記特定の文字列に対応付けて記憶する前記第１言語の第１の文字列を、過去に入力を受け付けた前記特定の文字列が含まれる第１言語の音声に対して出力した音声それぞれの出力の頻度と、過去に入力を受け付けた前記特定の文字列が含まれる第１言語の音声に対して出力した音声の形式と、に基づいて決定する決定部、を備える、
ことを特徴とする、付記１２又は付記１３に記載の音声翻訳装置。
【０１９６】
（付記１７）
複数の言語間における音声の翻訳を行なう音声翻訳システムであって、
入力を受け付けた第１言語の第１の音声の中に、記憶部に記憶した特定の文字列に対応する音声又は類似する音声が含まれるか否かを判定する判定部と、
含まれると判定した場合に、前記特定の文字列に対応付けて記憶された前記第１言語の第１の文字列を音声変換することで得られる第２の音声を出力する第１出力部と、
前記第２の音声の出力後に入力された前記第１言語の第３の音声の認識結果と前記第１の音声の認識結果とに基づいて生成した、第２言語の第４の音声又はテキストを出力する第２出力部と、を備える
ことを特徴とする、音声翻訳システム。
【０１９７】
（付記１８）
前記特定の文字列に対応付けて記憶する前記第１言語の第１の文字列を、過去に入力を受け付けた前記特定の文字列が含まれる第１言語の音声に対して出力した音声それぞれの出力の頻度に基づいて決定する決定部、を備える
ことを特徴とする、付記１７に記載の音声翻訳システム。
【０１９８】
（付記１９）
前記特定の文字列に対応付けて記憶する前記第１言語の第１の文字列を、過去に入力を受け付けた前記特定の文字列が含まれる第１言語の音声に対して出力した音声の形式に基づいて決定する決定部、を備える、
ことを特徴とする、付記１７に記載の音声翻訳システム。
【０１９９】
（付記２０）
前記特定の文字列に対応付けて記憶する前記第１言語の第１の文字列を、過去に入力を受け付けた前記特定の文字列が含まれる第１言語の音声に対して出力した音声それぞれの出力の頻度と、過去に入力を受け付けた前記特定の文字列が含まれる第１言語の音声に対して出力した音声の形式と、に基づいて決定する決定部、を備える、
ことを特徴とする、付記１７に記載の音声翻訳システム。
【符号の説明】
【０２００】
１    音声翻訳システム
２    端末
２１    バッファ
２２    音声入力部
２３    音声出力部
２４    処理部
２５、３２    通信部
３、３Ａ、３Ｂ    サーバ
３１、３１Ａ、３１Ｂ    メモリ部
３１ａ    音声データ記憶部
３１ｂ、３１ｅ    聞き返しＴＢＬ
３１ｃ    聞き返し音声データ記憶部
３１ｄ    文生成ＴＢＬ
３１ｆ    類似質問ＴＢＬ
３１ｇ    音声ログ
３３    音声認識部
３４、３４Ａ    判定部
３５    文合成部
３６    翻訳部
３７    音声合成部
３８    更新部
４    ネットワーク
【図１】
2020154542.tif 000003
【図２】
2020154542.tif 000004
【図３】
2020154542.tif 000005
【図４】
2020154542.tif 000006
【図５】
2020154542.tif 000007
【図６】
2020154542.tif 000008
【図７】
2020154542.tif 000009
【図８】
2020154542.tif 000010
【図９】
2020154542.tif 000011
【図１０】
2020154542.tif 000012
【図１１】
2020154542.tif 000013
【図１２】
2020154542.tif 000014
【図１３】
2020154542.tif 000015
【図１４】
2020154542.tif 000016
【図１５】
2020154542.tif 000017
【図１６】
2020154542.tif 000018
【図１７】
2020154542.tif 000019
【図１８】
2020154542.tif 000020
【図１９】
2020154542.tif 000021
【図２０】
2020154542.tif 000022
【図２１】
2020154542.tif 000023
【図２２】
2020154542.tif 000024
【図２３】
2020154542.tif 000025