(57)【要約】【課題】利用者Ａと利用者Ｂとの発話の衝突を回避し、利用者Ａが自分の発話した内容が正しく利用者Ｂに翻訳されているかを確認できる音声翻訳装置を提供する。【解決手段】実施形態の音声翻訳装置は、第１音声装置と、第２音声装置と、第１音声装置と第２音声装置の間の音声翻訳を行うサーバと、を有する。サーバは、第１言語の音声信号を入力として音声認識を行う音声認識手段と、その認識した第１言語から第２言語に翻訳する第１機械翻訳手段と、その翻訳した第２言語を第１言語に逆翻訳する第２機械翻訳手段と、その逆翻訳結果を入力として第１音声合成信号を生成する第１音声合成手段と、翻訳結果を入力として第２音声合成信号を生成する第２音声合成手段と、を有する。第２音声合成信号又は第１音声合成信号の時間長を声時間長計測手段で計測し、その時間長に従い第１音声と第２音声との開始時間と終了時間を同期させて音声出力する。【選択図】  図３
2015060332.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも第１言語による音声を取り込む第１音声入力装置と、前記音声を出力する第１音声出力装置とを有する第１音声装置と、
少なくとも第２言語による音声を取り込む第２音声入力装置と、前記音声を出力する第２音声出力装置とを有する第２音声装置と、
前記第１音声装置と前記第２音声装置との間の音声翻訳を行うサーバと、
を有する音声翻訳装置であって、
前記サーバは、
前記第１音声入力装置が出力する前記第１言語の音声信号を入力として音声認識を行う音声認識手段と、
前記音声認識手段が出力する音声認識結果を入力として前記第１言語から第２言語に翻訳する第１機械翻訳手段と、
前記第１機械翻訳手段が出力する翻訳結果を入力として前記第２言語を前記第１言語に逆翻訳する第２機械翻訳手段と、
前記第２機械翻訳手段が出力する逆翻訳結果を入力として第１音声合成信号を生成し、前記第１音声出力装置に向けて出力する第１音声合成手段と、
前記第１機械翻訳手段が出力する前記翻訳結果を入力として第２音声合成信号を生成し、前記第２音声出力装置に向けて出力する第２音声合成手段と、
前記第２音声合成信号の時間長、又は前記第１音声合成信号の時間長を計測する時間長計測手段と、
を有し、
前記時間長計測手段で計測した前記時間長に従い、前記第１音声と第２音声との開始時間と終了時間を同期させて音声出力することを特徴とする音声翻訳装置。
【請求項２】
前記第２音声合成信号の時間長を基準とする時、前記第１音声合成手段は前記第１音声合成信号の長さを前記第２音声合成信号と同じ長さとすることを特徴とする請求項１に記載の音声翻訳装置。
【請求項３】
前記第１音声合成信号の時間長を基準とする時、前記第２音声合成手段は前記第２音声合成信号の長さを前記第１音声合成信号と同じ長さとすることを特徴とする請求項１に記載の音声翻訳装置。
【請求項４】
前記音声認識手段、前記第１機械翻訳手段、前記第２機械翻訳手段、前記第１音声合成手段、前記第２音声合成手段、および前記時間長調整手段が非同期で動作することを特徴とする請求項１に記載の音声翻訳装置。
【請求項５】
音量調整手段を更に設け、
音量調整手段は、
前記第１音声入力装置からの音声入力の大きさが予め定められた音量より大きければ、前記第１音声出力装置から出力される音声の音量を下げ、
前記第１音声入力装置からの音声入力の大きさが予め定められた音量以下であれば、前記第１音声出力装置から出力される音声の音量を標準に設定することを特徴とする請求項１に記載の音声翻訳装置。
【請求項６】
遅延調整手段を更に設け、
前記遅延調整手段は、前記音声認識手段の出力の信頼度、或いは前記第１機械翻訳手段又は前記第２機械翻訳手段の出力の信頼度に基づいて、前記第１音声出力装置からの前記音声出力の開始を遅延させることを特徴とする請求項１に記載の音声翻訳装置。
【請求項７】
少なくとも第１言語による音声を取り込む第１音声入力装置と、前記音声を出力する第１音声出力装置とを有する第１音声装置と、
少なくとも第２言語による音声を取り込む第２音声入力装置と、前記音声を出力する第２音声出力装置とを有する第２音声装置と、
前記第１音声装置と第２音声装置との間の音声翻訳を行うサーバと、
を有する音声翻訳装置の前記サーバにおける音声翻訳方法であって、
前記第１音声入力装置が出力する前記第１言語の音声信号を入力として音声認識を行うステップと、
その音声認識結果を入力として前記第１言語から第２言語に翻訳するステップと、
その翻訳結果を入力として前記第２言語を前記第１言語に逆翻訳するステップと、
その逆翻訳結果を入力として第１音声合成信号を生成するステップと、
前記翻訳結果を入力として第２音声合成信号を生成するステップと、
前記第２音声合成信号の時間長、又は前記第１音声合成信号の時間長を計測し、その計測した前記時間長に従い、前記第１音声合成信号と第２音声合成信号との開始時間と終了時間を同期させて音声出力するステップと、
を有する音声翻訳方法。
【請求項８】
少なくとも第１言語による音声を取り込む第１音声入力装置と、前記音声を出力する第１音声出力装置とを有する第１音声装置と、
少なくとも第２言語による音声を取り込む第２音声入力装置と、前記音声を出力する第２音声出力装置とを有する第２音声装置と、
前記第１音声装置と第２音声装置との間の音声翻訳を行うサーバと、
を有する音声翻訳装置のプログラムであって、
前記第１音声入力装置が出力する前記第１言語の音声信号を前記サーバが受信して音声認識を行う機能と、
前記サーバによって、前記音声認識の結果を入力として前記第１言語から第２言語に翻訳すると共に、その翻訳結果を入力として前記第２言語を前記第１言語に逆翻訳し、その逆翻訳結果を入力として第１音声合成信号を生成すると共に、前記翻訳結果を入力として第２音声合成信号を生成する機能と、
前記サーバから前記第１音声合成信号を前記第１音声出力装置に向けて出力し、前記第２音声合成信号を前記第２音声出力装置に向けて出力する時、前記第２音声合成信号の時間長又は前記第１音声合成信号の時間長を計測し、その計測した前記時間長に従い、前記第１音声合成信号と第２音声合成信号との開始時間と終了時間を同期させて音声出力する機能と、
をコンピュータによって実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、音声翻訳装置、音声翻訳方法およびプログラムに関する。
【背景技術】
【０００２】
近年、文化や経済のグローバル化に伴い、異なる言語を母語とする人同士のコミュニケーションを支援する音声翻訳装置への期待が高まっている。例えば、スマートフォンで動作する音声翻訳アプリケーションソフトが商用化されている。また、音声翻訳機能を提供するサービスも運用されている。
【０００３】
これらのアプリケーションソフトやサービスでは、音声翻訳装置に向かって利用者が一文あるいは数文の短い単位で第１言語の音声で発話すると、音声認識機能により対応する文字列に変換する。更に機械翻訳機能により第１言語（原言語）と異なる第２言語（目的言語）の文字列に翻訳する。最後に音声合成機能により翻訳結果の文字列を第２言語の音声で読み上げるように動作する。第１言語（原言語）の利用者には、短い単位で発話することが求められる。一方、第２言語（目的言語）の利用者には、その単位で翻訳結果の確認や、音声合成された音声の聞き取りを行うこと等が求められる。このため、このようなアプリケーションソフトを用いた会話では、待ち時間が頻繁に発生することになり、応答性のよい会話を行うことが難しいというのが現状である。
【０００４】
また、利用者に対しては、一文単位で発話することを求めるような制約を設けることなく、発話の内容が相手に伝わることが望ましいが、そのような機能は未だ提供されていない。
【０００５】
更に、音声認識や音声合成では、音声入力や音声出力という音声という物理的な信号を処理するため、音声の物理的な時間長が処理時間の制約となる。この制約は、音声翻訳装置を介した会話で、やり取りの応答性を遅らせる原因となっている。
【０００６】
図１４は、従来の音声入力が終わった以降に、音声翻訳装置における利用者の発話と、翻訳結果の音声出力との関係を示す。
【０００７】
図１４において、横軸は時間推移を表している。利用者Ａの第１言語で発話している時間の間（ｔ０〜ｔ１）、音声の取り込みを行う（Ｓ９００）。音声認識結果は、発話が終わった時点以降に確定し出力される（Ｓ９１０）。この音声認識結果を入力として、利用者Ｂが分かる第２言語への機械翻訳を行う（Ｓ９２０)。その機械翻訳結果を入力として、利用者Ｂの第２言語での音声合成を行う（Ｓ９３０)。利用者Ｂに向けた音声出力は、音声合成の結果が得られた時点（ｔ２）で出力が開始し、機械翻訳した音声を出力することになる（Ｓ９４０)。したがって、利用者Ｂにとっては、利用者Ａが発話している間(ｔ０〜ｔ１)は、音声翻訳装置から利用者Ｂ向けの音声が出力されず、時刻ｔ２になって初めて翻訳結果を聞くことができる。
【０００８】
一方、利用者Ａに対しては、利用者Ｂ向けに音声出力がされている間(ｔ２〜ｔ３)は、音声翻訳装置から利用者Ａに向けての音声は出力されない。このような動作は、お互いの音声を直接聞くことができない、遠隔地にいる利用者同士の会話に適用する場合、障害となる。例えば、利用者Ａの発話中に利用者Ｂが発話したり、利用者Ｂに向けての音声出力を行っている際に、利用者Ａが発話したりすると、発話の衝突を招くなどの問題が生じる。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平４−３１９７６９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
機械翻訳が正しく翻訳しているかどうかを確認するために、機械翻訳結果の逆翻訳を行う音声翻訳システムが提案されている。例えば、上記特許文献１においては、利用者Ａの第１言語による音声入力を音声認識し、さらにその音声認識結果を第２言語に機械翻訳する。その機械翻訳結果を第１言語に逆翻訳し、その逆翻訳結果の正誤を利用者Ａが確認した上で、機械翻訳結果の音声出力を行うとことが開示されている。しかしながら、特許文献１では、音声を入力、機械翻訳、逆翻訳、音声合成というステップを順次行うので、その都度待ち時間が発生し、円滑な音声対話を行うことができない問題がある。
【００１１】
本発明が解決しようとする課題は、異なる母語を用いる利用者同士が音声翻訳装置を介して会話する際に、音声による円滑な対話を可能にする音声翻訳装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
実施形態の音声翻訳装置は、少なくとも第１言語による音声を取り込む第１音声入力装置と、前記音声を出力する第１音声出力装置とを有する第１音声装置と、少なくとも第２言語による音声を取り込む第２音声入力装置と、前記音声を出力する第２音声出力装置とを有する第２音声装置と、前記第１音声装置と第２音声装置との間の音声翻訳を行うサーバと、を有する音声翻訳装置であって、前記サーバは、前記第１音声入力装置が出力する前記第１言語の音声信号を入力として音声認識を行う音声認識手段と、前記音声認識手段が出力する音声認識結果を入力として前記第１言語から第２言語に翻訳する第１機械翻訳手段と、前記第１機械翻訳手段が出力する翻訳結果を入力として前記第２言語を前記第１言語に逆翻訳する第２機械翻訳手段と、前記第２機械翻訳手段が出力する逆翻訳結果を入力として第１音声合成信号を生成し、前記第１音声出力装置に向けて出力する第１音声合成手段と、前記第１機械翻訳手段が出力する前記翻訳結果を入力として第２音声合成信号を生成し、前記第２音声出力装置に向けて出力する第２音声合成手段と、前記第２音声合成信号の時間長、又は前記第１音声合成信号の時間長を計測する時間長計測手段と、を有し、前記時間長計測手段で計測した前記時間長に従い、前記第１音声と第２音声との開始時間と終了時間を同期させて音声出力することを特徴とする。
【００１３】
実施形態によれば、音声翻訳装置において、利用者Ａの発話した音声の機械翻訳結果の合成音声を利用者Ｂが聞いている間、利用者Ａが逆翻訳結果の合成音声を聞くことができる。このため、利用者Ａと利用者Ｂとの発話の衝突を回避すると共に、利用者Ａが自分の発話した内容が正しく利用者Ｂに翻訳されているかを確認することができる。
【図面の簡単な説明】
【００１４】
【図１】音声翻訳装置のハードウェア構成の一例を示す図。
【図２】音声翻訳装置のハードウェア構成の他の一例を示す図。
【図３】第１実施形態の要素ブロック図である。
【図４】第１実施形態の処理を示すフローチャートである。
【図５】第１実施形態の音声入力と音声出力の時間的関係を示す図。
【図６】第１実施形態の音声入力と音声出力の時間的関係(原言語音声の音声出力あり)を示す図。
【図７（ａ）】第２実施形態の第１処理のフローチャートである。
【図７（ｂ）】第２実施形態の第２処理のフローチャートである。
【図７（ｃ）】第２実施形態の第３処理のフローチャートである。
【図８】第２実施形態の音声入力と音声出力の時間的関係を示す図。
【図９】第３実施形態の要素ブロック図である。
【図１０】音量調整の処理フローチャートである。
【図１１】第３実施形態の音声入力と音声出力の時間的関係(原言語音声の音声出力あり)を示す図。
【図１２】第４実施形態の要素ブロック図である。
【図１３】第４実施形態の音声入力と音声出力の時間的関係を示す図。
【図１４】従来の音声翻訳システムにおける音声入力と音声出力の時間的関係を示す図。
【発明を実施するための形態】
【００１５】
以下、図面を参照して実施形態の音声翻訳装置、音声翻訳方法およびプログラムを詳細に説明する。
【００１６】
図１は、実施形態に係る音声翻訳装置の全体の構成を示す図である。利用者端末Ａ（１００）は、第１音声装置である。利用者端末Ａ（１００）は、携帯型筐体に、スピーカー１１１、ディスプレイ１１２、マイク１１３、および音声入力ボタン１１４を備えている。同様に、利用者の端末Ｂ（１５０）は、第２音声装置である。利用者端末Ｂ（１５０）は、携帯型筐体に、スピーカー１５１、ディスプレイ１５２、マイク１５３、および音声入力ボタン１５４を備えている。スピーカー１１１，１５１は、機械翻訳結果や逆翻訳結果を音声出力する。ディスプレイ１１２，１５２は、音声認識結果、機械翻訳結果、および逆翻訳結果を表示する。マイク１１３，１５３は、利用者の発話音声を取り込む。音声入力ボタン１１４，１５４は、発話音声の取り込み開始を指示する。
【００１７】
利用者端末Ａ（１００）と利用者端末Ｂ（１５０）は、ネットワーク２００上の音声認識・翻訳サーバ４２０を介して接続され、スマートフォンなどの携帯用電子機器による音声翻訳システムが提供される。
【００１８】
図２は、実施形態に係る音声翻訳装置の他の一例を示す図である。利用者端末Ａ（３００）、第１音声装置である。利用者端末Ａ（３００）は、パソコンの表示装置にスピーカー３１１、ディスプレイ３１２、マイク３１３、音声入力ボタン３１４、およびカメラ３１５などを備える。同様に、利用者端末Ｂ（３５０）は、第２音声装置である。利用者端末Ｂ（３５０）は、パソコンの表示装置にスピーカー３５１、ディスプレイ３５２、マイク３５３、音声入力ボタン３５４、およびカメラ３５５などを備える。各装置の機能は、図２と同じである。カメラ３１５，３５５は、利用者の顔を中心とした上半身を撮影する。図２と同様に、利用者端末Ａ（３００）と利用者端末Ｂ（３５０）は、ネットワーク２００上の音声認識・翻訳サーバ４２０を介して接続され、音声翻訳システムが提供される。ネットワーク２００は、無線通信、又は有線通信のどちらでも構わない。この例は、テレビ会議システムのハードウェア構成に相当するものである。
【００１９】
（第１実施形態）
図３は、第１実施形態の音声翻訳装置の主要部の構成を示すブロック図である。
【００２０】
図３のブロック図では、図１の構成例を示しているが、図２の構成例であってもよい。遠隔地に離れた利用者Ａと利用者Ｂとの双方向での会話を可能とするために、利用者端末Ａ（１００）は、第１音声入力装置４０１と第１音声出力装置４０２とを備えている。同様に、利用者端末Ｂ（１５０）は、第２音声入力装置４１１と第２音声出力装置４１２とを備えている。なお、利用者端末Ａ（１００）の第１音声入力装置４０１は図１のマイク１１３に相当し、第１音声出力装置４０２は図１のスピーカー１１１に相当している。利用者端末Ｂ（１５０）の第２音声入力装置４１１は図１のマイク１５３に相当し、第２音声出力装置４１２は図１のスピーカー１５１に相当している。
【００２１】
両端末間のネットワーク上に設けられる音声認識・翻訳サーバ４２０は、第１音声認識装置４２１、第２音声認識装置４２２、第１機械翻訳装置４２３、第２機械翻訳装置４２４、第１音声合成装置４２５、第２音声合成装置４２６、合成音声時間長計測装置（以下、単に時間長計測装置と称する）４３０、及び制御装置４４０などを備えている。
【００２２】
第１音声認識装置４２１は、利用者端末Ａ（１００）の第１音声入力装置４０１から送信された第１言語（例えば、日本語）の音声を受信して取り込む。第２音声認識装置４２２は、利用者端末Ｂ（１５０）の第２音声入力装置４１１から送信された第２言語（例えば、英語）の音声を受信して取り込む。第１機械翻訳装置４２３は、図示していない翻訳辞書を参照して、第１音声認識装置４２１で認識した第１言語の音声認識結果を第２言語に翻訳し、その翻訳結果を第２音声合成装置４２６に出力する。また、第１機械翻訳装置４２３は、逆翻訳を行うために、第２言語の翻訳結果を第２機械翻訳装置４２４へ出力する。第２機械翻訳装置４２４は、図示していない翻訳辞書を参照して、第２音声認識装置４２２で認識した第２言語の音声認識結果を第１言語に翻訳し、その翻訳結果を第１音声合成装置４２５に出力する。また、第２機械翻訳装置４２４は、逆翻訳を行うために、第１言語の翻訳結果を第１機械翻訳装置４２３へ出力する。
【００２３】
第１音声合成装置４２５は、第２機械翻訳装置４２４から入力された翻訳結果または逆翻訳結果の第１言語の音声合成信号を生成して、利用者端末Ａ（１００）の第１音声出力装置４０２に向けて出力する。第２音声合成装置４２６は、第１機械翻訳装置４２３から入力された翻訳結果または逆翻訳結果の第２言語の音声合成信号を生成して、利用者端末Ｂ（１５０）の第２音声出力装置４１２に向けて出力する。時間長計測装置４３０は、第１音声合成装置４２５が出力する第１言語の音声合成信号、又は第２音声合成装置４２６が出力する第２言語の音声合成信号の長さを測定する。制御装置４４０は、これら装置全体の動作タイミングを制御する。なお、上述した音声翻訳装置の利用者端末Ａ（１００）、利用者端末Ｂ（１５０）、及び音声認識・翻訳サーバ４２０は、ネットワーク通信を行うため、図示しない通信装置を備えている。
【００２４】
次に、図３に示した音声翻訳装置の動作を説明する
図３において、利用者端末Ａ（１００）から利用者Ａが第１言語（例えば、日本語）で発話した場合、第１音声入力装置４０１は、利用者Ａが発話する音声を取り込む。取り込んだ音声は、ネットワーク上の音声認識・翻訳サーバ４２０に送信される。なお、以下の説明では煩雑を避けるため、利用者端末Ａ（１００）と音声認識・翻訳サーバ４２０との間の通信に関する説明、および利用者端末Ｂ（１５０）と音声認識・翻訳サーバ４２０との間の通信に関する説明は省略する。
【００２５】
音声認識・翻訳サーバ４２０の第１音声認識装置４２１は、第１音声人力装置４０１が取り込んだ第１言語の音声を入力として、音声認識を行う。その音声認識結果の第１言語は、第１機械翻訳装置４２３に入力される。第１機械翻訳装置４２３は、音声認識結果を入力として、第１言語を第２言語（例えば、英語）に機械翻訳を実行し、その翻訳結果を第２音声合成装置４２６に出力する。また、第１機械翻訳装置４２３は、逆翻訳を行うため、前記第２言語の翻訳結果を第２機械翻訳装置４２４に出力する。第２機械翻訳装置４２４は、前記第２言語の翻訳結果を元の第１言語に逆翻訳して第１音声合成装置４２５に出力する。
【００２６】
これにより、第２音声合成装置４２６は、第１機械翻訳装置４２３が出力する前記翻訳結果を入力として、利用者Ｂが聞き取る第２言語の音声合成信号を生成する。その第２言語の音声は、利用者端末Ｂ（１５０）の第２音声出力装置４１２から出力される。同様に、第１音声合成装置４２５は、第２機械翻訳装置４２４が出力する前記逆翻訳結果を入力として、利用者Ａが聞き取る第１言語の音声合成信号を生成する。その第１言語の音声は、利用者端末Ａ（１００）の第１音声出力装置４０２から出力される。
【００２７】
この音声出力の動作時に、時間長計測装置４３０は、第２音声合成装置４２６が出力する第２言語の音声合成信号（すなわち、翻訳結果の音声信号）の長さを測定する。そして、第１音声合成装置４２５は、利用者Ａが聞き取る第１言語の音声合成信号（すなわち、逆翻訳結果の音声信号）を生成する時、前記測定結果に基づき、前記第２言語の音声合成信号と同じ長さになるように生成する。
【００２８】
その結果、利用者端末Ｂ（１５０）の第２音声出力装置４１２から出力される第２言語の翻訳結果の音声と、利用者端末Ａ（１００）の第１音声出力装置４０２から出力される第１言語の逆翻訳結果の音声とは、同じ長さで出力されることになる。
【００２９】
ここでは、時間長計測装置４３０は、第２音声合成装置４２６が出力する第２言語の音声合成信号の長さを測定するとしたが、第１音声合成装置４２５が出力する逆翻訳結果の第１言語の音声合成信号を測定して、第２言語の音声合成信号を第１言語の音声合成信号に合わすようにしてもよい。また、第２言語の音声合成信号、及び第１言語の音声合成信号の両方の長さを測定して、両信号を合わせても良い。つまり、第２言語の音声合成信号の時間長を基準とする時、第１音声合成装置４２５は第１言語の音声合成信号の長さを第２言語の音声合成信号と同じ長さとれば良い。一方、第１言語の音声合成信号の時間長を基準とする時、第２音声合成装置４２６は、第２言語の音声合成信号の長さを第１言語の音声合成信号と同じ長さとすれば良い。
【００３０】
同様にして、図３において、利用者端末Ｂ（１５０）から利用者Ｂが第２言語（例えば、英語）で発話した場合、第２音声入力装置４１１は、利用者Ｂが発話する音声を取り込む。音声認識・翻訳サーバ４２０の第２音声認識装置４２２は、第２音声人力装置４１１が取り込んだ第２言語の音声を入力として、音声認識を行う。その音声認識結果の第２言語は、第２機械翻訳装置４２４に入力される。第２機械翻訳装置４２４は、音声認識結果を入力として、第２言語を第１言語（例えば、日本語）に機械翻訳を実行し、その翻訳結果を第１音声合成装置４２５に出力する。また、第２機械翻訳装置４２４は、逆翻訳を行うため、前記第１言語の翻訳結果を第１機械翻訳装置４２３に出力する。第１機械翻訳装置４２３は、前記第１言語の翻訳結果を第２言語に逆翻訳して第２音声合成装置４２６に出力する。
【００３１】
これにより、第１音声合成装置４２５は、第２機械翻訳装置４２４が出力する前記翻訳結果を入力として、利用者Ａが聞き取る第１言語の音声合成信号を生成する。その第１言語の音声は、利用者端末Ａ（１００）の第１音声出力装置４０２から出力される。同様に、第２音声合成装置４２６は、第１機械翻訳装置４２３が出力する前記逆翻訳結果を入力として、利用者Ｂが聞き取る第２言語の音声合成信号を生成する。その第２言語の音声は、利用者端末Ｂ（１５０）の第２音声出力装置４１２から出力される。
【００３２】
この音声出力の動作時に、時間長計測装置４３０は、第１音声合成装置４２５が出力する第１言語の音声合成信号（すなわち、翻訳結果の音声信号）の長さを測定する。そして、第２音声合成装置４２６は、利用者Ｂが聞き取る第２言語の音声合成信号（すなわち、逆翻訳結果の音声信号）を生成する時、前記測定結果に基づき、前記第１言語の音声合成信号と同じ長さになるように生成する。
【００３３】
その結果、利用者端末Ａ（１００）の第１音声出力装置４０２から出力される前記第１言語の音声と、利用者端末Ｂ（１５０）の第２音声出力装置４１２から出力される前記第２言語の音声とは、同じ長さで出力されることになる。
【００３４】
図４は、図３に示した音声翻訳装置の動作を示すフローチャートである。なお、説明を分かり易くするため、図４では、利用者Ａの第１言語（例えば、日本語）の音声を取り込み、利用者Ｂの第２言語（例えば、英語）に翻訳する場合について示している。利用者Ｂの発話も処理するためには、同様のフローで処理を行えばよい。
【００３５】
図４で、Ｓ５１０において、利用者端末Ａ（１００）の音声入力ボタン１１４が押される動作（イベント）を待つ。音声入力ボタン１１４が押されると、Ｓ５２０に通知され、第１音声入力装置４０１、並びに第１音声認識装置４２１を起動する。Ｓ５２０では、第１音声認識装置４２１は、第１音声入力装置４０１（マイク１１３）から取り込んだ、利用者Ａの発話音声に対して音声認識処理を行う。第１音声認識装置４２１は、例えば音声の無音区間（音声信号のパワーが小さい期間が、所定時間（Ｔ１）継続している区間）を検知すると、音声認識結果を確定する。
【００３６】
次のＳ５３０では、第１音声認識装置４２１で確定した音声認識結果を第１機械翻訳装置４２３に入力する。第１機械翻訳装置４２３は、音声認識結果に対して利用者Ａの第１言語（例えば、日本語）から利用者Ｂの第２言語（例えば、英語）へ機械翻訳を行う。次のＳ５４０では、第１機械翻訳装置４２３は、翻訳結果の第２言語（例えば、英語）を第２音声合成装置４２６に入力する。それにより、第２音声合成装置４２３は、第１機械翻訳装置４２３による翻訳結果を第２言語として出力するため音声合成を行う。
【００３７】
次のＳ５５０において、第１機械翻訳装置４２３は、その翻訳結果を第２機械翻訳装置４２４に入力する。これにより、第２機械翻訳装置４２４は、第１機械翻訳装置４２３によって第２言語（例えば、英語）に翻訳されたものを、元の第１言語（例えば、日本語）へ逆翻訳する。第２機械翻訳装置４２４は、逆翻訳結果の第１言語（例えば、日本語）を第１音声合成装置４２５に入力する。
【００３８】
次のＳ５６０において、時間長計測装置４３０は、Ｓ５４０で得た第２言語の音声合成信号の時間長を求める。そして、第１音声合成装置４２５は、時間長計測装置４３０で求めた時間長と同じになるように、Ｓ５５０で得た第１言語に対する音声合成信号を生成する。最後に、Ｓ５７０において、第２音声出力装置４１２はＳ５４０で得た第２言語の音声合成信号（即ち、翻訳結果の音声）を出力し、第１音声出力装置４０２はＳ５６０で得た第１言語の音声合成信号（即ち、逆翻訳結果の音声）を出力する。すなわち、第２音声出力装置４１２から出力される第２言語のフレーズの長さと、第１音声出力装置４０２から出力される第１言語のフレーズの長さは、同じとなる。Ｓ５７０が終了すると、Ｓ５１０に戻り、次のイベントを待つ。
【００３９】
図５は、第１実施形態による利用者Ａの第１言語の発話に対し、第２音声出力装置４１２から出力される翻訳結果（第２言語）の音声と、第１音声出力装置４０２から出力される逆翻訳結果（第１言語）の音声との間の時間的関係を示す。
【００４０】
第１音声入力装置４０１が、利用者Ａの発話、「本日は日本経済の現状についてお話しします」（日本語）を取り込むと、同時に第１音声認識装置４２１は音声認識処理を行う。その後の、図４のＳ５３０〜Ｓ５６０の処理によって、第１音声認識装置４２１で得られた音声認識結果に対する機械翻訳結果として、「1'd like to talk about the current situation of Japan economy today.」（英語）の音声合成信号と、その翻訳結果の逆翻訳結果である「今日、日本経済の現状について話したい」（日本語）の音声合成信号が、それぞれ時間長を同じくして生成される。
【００４１】
したがって、利用者端末Ｂの第２音声出力装置４１２（スピーカ１５１）から出力される翻訳結果の音声と、利用者端末Ａの第１音声出力装置４０２（スピーカ１１１）から出力される逆翻訳結果の音声の出力が同期し、各合成音声が同時刻に音声出力できるようになる。つまり、図５の出力開始時刻ｔ２と出力終了時刻ｔ３がそれぞれ一致する。
【００４２】
なお、図６に示すように、第１音声入力装置４０２が利用者Ａの音声（日本語）を取り込んでいる際に、第２音声出力装置４１２から利用者Ａの音声（日本語）を出力するようにしても構わない。これにより、利用者Ｂは、利用者Ａが発話していることを確認することができる。
【００４３】
（第２実施形態）
第１実施形態では、第１音声認識装置４２１，第２音声認識装置４２２、第１機械翻訳装置４２３，第２機械翻訳装置４２４、第１音声合成装置４２５，第２音声合成装置４２６を順次同期して処理を行うものとして説明した。第２実施形態では、これらの装置が並列に動作し、非同期で処理を行うことを可能とする。なお、以下の説明では、図１と図３のハードウェア構成を参照して説明する。
【００４４】
図７（ａ）乃至図７（ｃ）は、第２実施形態の動作を示すフローチャートである。すなわち、第１音声認識装置４２１，第２音声認識装置４２２、第１機械翻訳装置４２３，第２機械翻訳装置４２４、および第１音声合成装置４２５，第２音声合成装置４２６を並列動作させる場合の処理フローを示す。
【００４５】
先ず、利用者端末Ａ（１００）の音声入力ボタン１１４の押下により、図７（ａ）のフローがスタートする。すなわち、Ｓ６１０において、音声入力ボタン１１４が押されたことを検知するイベント（ＯＮ操作）の発生を待機している。そして、音声入力ボタン１１４が押されると、次のＳ６１１に処理を進める。Ｓ６１１では、第１音声入力装置４０１が動作中であるかどうかをチェックし、動作中でなければＳ６１３で第１音声入力装置４０１と第１音声認識装置４２１を起動する。Ｓ６１１で、第１音声入力装置４０１が動作中であれば、音声入力ボタン１１４のＯＦＦ動作により、Ｓ６１５で第１音声入力装置４０１と第２音声認識装置４２１の動作を停止する。
【００４６】
これにより、音声入力ボタン１１４の操作で、利用者端末Ａ（１００）からの音声入力のオンオフが制御できる。第１音声認識装置４２１は、第１音声入力装置４０１が順次取り込む音声を対象に音声認識を行う。そして、第１音声認識装置４２１は、音声の無音区間を検知すると、それまでに入力された音声の認識結果を確定して、その認識結果を第１機械翻訳装置４２３に出力する。
【００４７】
図７（ｂ）は、第１機械翻訳装置４２３の動作フローを示している。第１機械翻訳装置４２３は、Ｓ６３０において、第１音声認識装置４２１から音声認識結果が入力されるイベントの発生を待機している。そして、第１機械翻訳装置４２３は、第１音声認識装置４２１から音声認識結果を受け取ると、Ｓ６３１で翻訳・合成処理を呼び出し、Ｓ６３０に戻り、次のイベント待ちとなる。
【００４８】
図７（ｃ）は、Ｓ６３１で呼び出された翻訳・合成処理を実行する処理フローである。まず、Ｓ６５０において、第１音声認識装置４２３の音声認識結果を第１機械翻訳装置４２３に入力し、第１機械翻訳装置４２３から利用者Ｂの第２言語に翻訳した翻訳結果を得る。また、Ｓ６５１では、Ｓ６５０で得られた翻訳結果を第２音声合成装置４２６に入力し、第２音声合成装置４２６から第２言語の音声合成信号を得る。さらに、Ｓ６５２では、Ｓ６５０で得た翻訳結果を第２機械翻訳装置４２４に入力し、第２機械翻訳装置４２４から逆翻訳結果を得る。
【００４９】
次にＳ６５３では、第２音声合成装置４２６から出力される音声合成信号の時間長を時間長計測装置４３０で計測する。第１音声合成装置４２５は、その時間長と同じ時間長になるように、第２機械翻訳装置４２４から出力される逆翻訳結果の音声合成信号を生成する。そして、Ｓ６５４で、第１音声出力装置４０２が音声を出力中か否かを判断し、音声出力中でなければＳ６５５において、第２音声出力装置４１２から翻訳結果の音声を出力すると同時に、第１音声出力装置４０２から逆翻訳結果の音声を出力する。
【００５０】
図７（ａ）乃至（ｃ）で示した第２実施形態の処理フローに基づいて、利用者端末Ａ（１００）からの発話、第２音声出力装置４１２からの翻訳結果の音声出力、第１音声出力装置４０２からの逆翻訳結果の音声出力の時間軸の関係を図８に示す。
【００５１】
図８において、利用者端末Ａ（１００）の第１音声入力装置４０１から利用者Ａの発話、「本日は、日本経済の現状についてお話しします」（日本語）が入力された場合に、発話「本日は」の終了時刻ｔ１の後に、時間ｔ２以上の無音区間が存在したと仮定する。すると、第２音声認識装置４２１は無音区間を検知し、そこまでの音声認識結果を出力可能とし、Ｓ６１０にイベントを送る。Ｓ６１０では、イベントを受け取り、翻訳・合成処理を呼び出す。
【００５２】
Ｓ６５０〜Ｓ６５７までは、「本日は」に対応する音声認識結果に対して、翻訳結果の「Today」（英語）の音声合成信号と、逆翻訳結果の「今日」（日本語）の音声合成信号を生成する。そして、Ｓ６５５にて音声出力する(出力開始時刻ｔ２〜出力終了時刻ｔ３)。
【００５３】
同様に、「本日は」以降の利用者端末Ａ（１００）からの発話「日本経済の現状についてお話しします」（日本語）の入力直後に無音区間を検知して、翻訳結果である「1'dlike to talk about the current situation of Japan economy.」（英語）と、逆翻訳結果である「日本経済の現状について話したい」（日本語）の音声合成信号を、図８の同じ時刻（出力開始時刻ｔ５〜出力終了時刻ｔ６）に音声出力する。
【００５４】
（第３実施形態）
図９は、第３実施形態による音声翻訳装置のブロック図を示す。第３実施形態として、音量調整装置７００を備えた点が第１実施形態と異なっている。音量調整装置７００は、第１音声出力装置４０２、ならびに第２音声出力装置４１２から出力する音声の音量を調整することができる。
【００５５】
図１０は、音量調整装置７００による制御を示すフローチャートである。なお、説明を分かり易くするため、図１０では第１音声出力装置４０２の音量を調整する処理フローのみを表している。第２音声出力装置４１２の音量調整は、同様の処理フローで行えばよい。
【００５６】
まず、Ｓ７１０において、音量調整装置７００は、第１音声入力装置４０１が動作中かどうかを確認し、動作中であれば、Ｓ７２０で第１音声入力装置４０１の音量を計測する。そして、音量調整装置７００は、Ｓ７３０で音量が予め定めた閾値ｔｈを超えているかどうかを判断する。音量調整装置７００は、音量が閾値ｔｈを超えていればＳ７４０で第１音声出力装置４０２から出力される音声の音量を標準より下げる。一方、音量が閾値ｔｈ超えていなければ、Ｓ７５０で第１音声出力装置４０２から出力される音声の音量を標準に設定する。そして、音量調整装置７００は、Ｓ７６０で予め定めた時間Ｗだけ処理を休止した後、Ｓ７１０に戻り、次の翻訳に対する音声処理を繰り返す。
【００５７】
この音量調整装置７００による制御によって、利用者Ａ，Ｂに聞き取り易い音量での出力が可能となる。即ち、第１音声入力装置４０１が音声を取り込んでいて、その音声が一定の大きさであれば、利用者Ａが発話している状況であると判定して、第１音声出力装置４０２の音量を標準より下げる。一方、第１音声入力装置４０１が取り込んでいる音声の大きさが小さい場合、或いは無音であれば、利用者Ａが発話していない状況であると判定して、第１音声出力装置４０２から出力される音声の音量を標準に設定する。
【００５８】
また、音量調整装置７００による音量調整では、利用者Ａの発話した言葉の翻訳後の逆翻訳結果（第１言語）を音声によって利用者Ｂにフィードバック出力する際に、利用者Ａがまだ発話し終わっていない場合は、その音量を下げるようにする。
【００５９】
即ち、図１１の時刻ｔ２〜時刻ｔ３の間では、第１音声入力装置４０１は、利用者Ａの発話している音声を取り込んでいるので、音量調整装置７００は逆翻訳結果である「今日」を第１音声出力装置４０２から出力する際、その音声の音量を標準より下げて出力する。一方、利用者Ｂが発話（無音状態であれば）していなければ、その音量を標準にする。図１１の時刻ｔ５〜時刻ｔ６の間では、第１音声入力装置４０１からは音声の入力がないので、音量調整装置７００は第１音声出力装置４０２からの逆翻訳結果「日本経済の現状について話したい」の音量を標準に設定する。
【００６０】
発話している最中に、逆翻訳結果を大きな音量でフィードバック出力すると利用者Ａが混乱するが、このように発話している最中については小さい音量でフィードバック出力することにより混乱を避けることができる。また、逆翻訳結果のフィードバック出力すること、発話を連続して入力できること、相手への翻訳結果の音声出力と逆翻訳結果の音声出力の同期を実現することができる。
【００６１】
（第４実施形態）
図１２は、第４実施形態による音声翻訳装置のブロック図を示す。この第４実施形態は、音声翻訳結果の信頼度に基づいて、翻訳結果並びに逆翻訳結果の音声出力を遅延させることを実現する。第４実施形態と第１実施形態の違いは、遅延調整装置８００を備えている点にある。
【００６２】
遅延調整装置８００では、第１機械翻訳装置４２３又は第２機械翻訳装置４２４からの音声翻訳結果の信頼度に基づいて、音声出力を遅延させる。つまり、音声翻訳結果の信頼度が低い場合は、逆翻訳結果の音声出力の開始時刻を利用者Ａの発話終了以降とするように第１音声出力装置４０２を制御する。
【００６３】
図１３は、第４実施形態における音声入力と音声出力との時間関係を示す。ここでは、第１機械翻訳装置４２３における翻訳結果と、第２機械翻訳装置４２４における逆翻訳結果に応じて、第１音声出力装置４０２からの音声出力に遅延時間を設けている。すなわち、第２実施形態では、図８の時刻ｔ２から第１音声出力装置４０２からの逆翻訳結果の音声を出力している。
【００６４】
これに対し第４実施形態では、発話音声「今日は」の後の無音区間が短い場合に、遅延調整装置８００が第１機械翻訳装置４２３の翻訳結果の信頼度が低いと判断すると、時刻ｔ２〜時刻ｔ５の間は第１音声出力装置４０２からの音声出力を禁止し、時刻ｔ５以降に音声出力するように動作する。なお、第２音声出力装置４１２からの翻訳結果の音声出力も、第１音声出力装置４０２の出力に合わせて時刻ｔ５まで遅延させても良い。
【００６５】
よって、利用者Ａは、発話終了後の時刻ｔ５になって逆翻訳結果を聞き取ることになるので、第１機械翻訳装置４２３又は第２機械翻訳装置４２４の翻訳結果の信頼度が低いと認識し、以降の発話において分かり易く喋るようにすることができる。これにより、音声翻訳装置を介した２者間の会話が、スムーズに行える。
【００６６】
以上の説明したように、実施形態による音声翻訳装置によれば、利用者Ａが発話した音声に対する翻訳結果の合成音声を生成して、利用者Ｂに出力する場合に、その翻訳結果の合成音声の時間長と同じ長さになるように、翻訳結果の逆翻訳結果の合成音声を生成し、利用者Ｂへの音声出力と同期させて利用者Ａへ逆翻訳結果の音声出力を行うことができる。このため、利用者Ａと利用者Ｂとの発話の衝突を回避すると共に、利用者Ａが自分の発話した内容が正しく利用者Ｂに翻訳されているかを確認することを同時に行える。
【００６７】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６８】
１１１，１５１，３１１，３５１‥スピーカー
１１２，１５２，３１２，３５２‥ディスプレイ
１１３，１５３，３１３，３５３‥マイク
１１４，１５４，３１４，３５４‥音声入力ボタン
３１５，３５５‥カメラ
４０１，４１１‥第１、第２音声入力装置
４０２，４１２‥第１、第２音声出力装置
４２０‥音声認識・翻訳サーバ
４２１，４２２‥第１、第２音声認識
４２３，４２４‥第１、第２機械翻訳装置
４２５，４２６‥第１、第２音声合成装置
４３０‥合成音声時間長計測装置
４４０‥制御装置
７００‥音量調整装置
８００‥遅延調整装置
【図１】
2015060332.tif 000003
【図２】
2015060332.tif 000004
【図３】
2015060332.tif 000005
【図４】
2015060332.tif 000006
【図５】
2015060332.tif 000007
【図６】
2015060332.tif 000008
【図７（ａ）】
2015060332.tif 000009
【図７（ｂ）】
2015060332.tif 000010
【図７（ｃ）】
2015060332.tif 000011
【図８】
2015060332.tif 000012
【図９】
2015060332.tif 000013
【図１０】
2015060332.tif 000014
【図１１】
2015060332.tif 000015
【図１２】
2015060332.tif 000016
【図１３】
2015060332.tif 000017
【図１４】
2015060332.tif 000018