(57)【要約】      （修正有）【課題】第１話者と第２話者の言語を特定可能な音声翻訳対話システムを提供する。【解決手段】音声翻訳対話システム１００は、音声翻訳対話装置１１０と、クラウドサーバ装置１３０を含む。音声翻訳対話装置１１０は、翻訳対話支援部２００と音声処理部３００で構成される。翻訳対話支援部２００は、タッチ入力処理部２０１、表示処理部２０２、話者言語選択部２０３、発話話者選択部２０４、対話記録部２０５で構成される。クラウドサーバ装置１３０はアプリケーションサーバ１３１を含み、アプリケーションサーバ１３１は、音声言語識別部１３１a、音声認識部１３１ｂ、翻訳処理部１３１ｃで構成される。発話話者選択部２０４は、第１話者および第２話者の発話選択画像から、タッチ入力で話者を選択する。また、音声言語識別部１３１aは、音声信号がどの言語で発話されたものかを識別する。【選択図】図２
2020113150.tif 000002
【特許請求の範囲】
【請求項１】
異なる言語を話す人間の意思疎通を支援する対面型の音声翻訳対話システムであって、
第１話者が発話する発話モードの場合に、
第１言語を用いて第１話者が発話した音声信号を処理する音声入力処理手段と、
前記の音声信号を音声認識して、前記の第１言語によるテキストを生成する音声認識手段と、
前記の第１言語のテキストを、第２話者が用いる第２言語による翻訳テキストに変換する翻訳処理手段と、
前記の第１言語のテキストと前記の翻訳テキストをディスプレイに表示する表示処理手段と、
前記の翻訳テキストから第２言語の音声信号を出力する音声合成手段を備えたことを特徴とし、
また第２話者が発話する発話モードの場合に、
第２言語を用いて第２話者が発話した音声信号を処理する音声入力処理手段と、
前記の音声信号を音声認識して、前記の第２言語によるテキストを生成する音声認識手段と、
前記の第２言語のテキストを、第１話者が用いる第１言語による翻訳テキストに変換する翻訳処理手段と、
前記の第２言語のテキストと前記の翻訳テキストをディスプレイに表示する表示処理手段と、
前記の翻訳テキストから第１言語の音声信号を出力する音声合成手段を備えたことを特徴とする。
【請求項２】
本システムの構成は、
第１話者へ選択画面や発話テキストおよび翻訳テキストを表示するディスプレイ１と、
第１話者のタッチ入力を検知するタッチパネル１と、
第１話者の発話を音声入力するマイク１と、
第１話者へ翻訳テキストの音声を出力するスピーカ１と、
第２話者へ選択画面や発話テキストおよび翻訳テキストを表示するディスプレイ１と、
第２話者のタッチ入力を検知するタッチパネル２と、
第２話者の発話を音声入力するマイク２と、
第２話者へ翻訳テキストの音声を出力するスピーカ２を備えたことを特徴とする、
請求項１に記載の音声翻訳対話システム。
【請求項３】
請求項２に記載の本システムの構成について、
装置のレイアウトの違いによって、
ディスプレイ１とディスプレイ２の共通化、
タッチパネル１とタッチパネル２の共通化、
マイク１とマイク２の共通化、
スピーカ１とスピーカ２の共通化をそれぞれ図ることが可能な、
請求項１に記載の音声翻訳対話システム。
【請求項４】
請求項２に記載の本システムの構成について、
ディスプレイ１、タッチパネル１、マイク１およびスピーカ１を一体化した情報端末１、さらにディスプレイ２、タッチパネル２、マイク２およびスピーカ２を一体化した情報端末２で構成される、
請求項１に記載の音声翻訳対話システム。
【請求項５】
請求項２に記載の本システムの構成について、
第１話者が使用するマイク１およびスピーカ１の代わりにヘッドセット１を、
第２話者が使用するマイク２およびスピーカ２の代わりにヘッドセット２を備えたことを特徴とする、
請求項１に記載の音声翻訳対話システム。
【請求項６】
第１話者が用いる第１言語および第２話者が用いる第２言語の選択は、
制御プログラムの起動時に音声言語識別手段により決定される、
請求項１に記載の音声翻訳対話システム。
【請求項７】
第１話者が用いる第１言語および第２話者が用いる第２言語の選択は、
制御プログラムの起動時にディスプレイ上に表示された言語を表わすアイコンを第１話者および第２話者それぞれが選択することにより決定される、
請求項１に記載の音声翻訳対話システム。
【請求項８】
請求項６および請求項７に記載の言語選択プロセスにおいて、
第１言語と第２言語の選択が同一であった場合に、第１話者および第２話者に言語の再選択を促す、
請求項１に記載の音声翻訳対話システム。
【請求項９】
第１話者が用いる第１言語はオーナー言語としてあらかじめ登録され、
第２話者が用いる第２言語の選択は、制御プログラムの起動時に音声言語識別手段により決定される、
請求項１に記載の音声翻訳対話システム。
【請求項１０】
第１話者が用いる第１言語はオーナー言語としてあらかじめ登録され、
第２話者が用いる第２言語の選択は、制御プログラムの起動時にディスプレイ上に表示された言語を表わすアイコンを第２話者が選択することにより決定される、
請求項１に記載の音声翻訳対話システム。
【請求項１１】
制御プログラムの起動時または１発話の終了後に、つぎにどちらの話者が発話するかの選択は、
第１話者または第２話者の音声を音声言語識別手段が識別することにより決定される、
請求項１に記載の音声翻訳対話システム。
【請求項１２】
制御プログラムの起動時または１発話の終了後に、つぎにどちらの話者が発話するかの選択は、
ディスプレイ上に表示された第１話者のマイクアイコンを第１話者が選択するか、または第２話者のマイクアイコンを第２話者が選択するかのどちらか早い入力により決定される、
請求項１に記載の音声翻訳対話システム。
【請求項１３】
第１話者または第２話者の発話の音声認識処理は、
音声入力処理部で検知された音声信号をインターネット回線で所定のクラウドサーバ装置に送り、クラウドサーバ内の音声認識手段およびデータベースを用いてなされることを特徴とする、
請求項１に記載の音声翻訳対話システム。
【請求項１４】
第１話者または第２話者の発話の音声認識処理は、
音声入力処理部で検知された音声信号をシステム内に用意された音声認識手段およびデータベースを用いてなされることを特徴とする、
請求項１に記載の音声翻訳対話システム。
【請求項１５】
請求項１３および請求項１４に記載の音声認識処理プロセスにおいて、
第１話者および第２話者の１発話の終了は、一定時間の無音の検出をもって決定される、
請求項１に記載の音声翻訳対話システム。
【請求項１６】
請求項１３および請求項１４に記載の音声認識処理プロセスで得られた発話テキストの相手側の言語への翻訳は、
発話テキストをインターネット回線で所定のクラウドサーバ装置に送り、クラウドサーバ内の翻訳処理手段を用いてなされることを特徴とする、
請求項１に記載の音声翻訳対話システム。
【請求項１７】
請求項１３および請求項１４に記載の音声認識プロセスで得られた発話テキストの、相手側の言語への翻訳は、
音声認識プロセスで得られた発話テキストを、システム内の翻訳処理手段およびデータベースを用いてなされることを特徴とする、
請求項１に記載の音声翻訳対話システム。
【請求項１８】
第１話者または第２話者の１発話終了後、発話テキストおよびこの発話テキストの相手側の言語への翻訳テキストを、ディスプレイ１およびディスプレイ２に表示する、
請求項１に記載の音声翻訳対話システム。
【請求項１９】
請求項１８に記載の発話テキストと翻訳テキストのディスプレイへの表示と同時に、
音声合成手段で音声合成された翻訳テキストを、発話した話者と逆の話者のスピーカに出力する、
請求項１に記載の音声翻訳対話システム。
【請求項２０】
請求項１１または請求項１２に記載の話者の選択のプロセスを実行するかぎりにおいて、
請求項１３〜請求項１９に記載のプロセスを繰り返す、
請求項１に記載の音声翻訳対話システム。
【請求項２１】
話者１と話者２が交わした一連の発話テキストおよび翻訳テキストを、本装置内のメモリに記憶することを可能とする、
請求項１に記載の音声翻訳対話システム。
【請求項２２】
請求項１２に記載の話者の選択のプロセスにおいて、
ディスプレイ上の終了アイコンを選択することにより、請求項１３〜請求項１９に記載のプロセスを終了することを特徴とした、
請求項１に記載の音声翻訳対話システム。
【請求項２３】
請求項１３または請求項１４に記載の音声認識プロセスにおいて、
発話テキストの文中に終了を示す特定の言葉が存在したとき、請求項１３〜請求項１９に記載のプロセスを終了することを特徴とした、
請求項１に記載の音声翻訳対話システム。
【請求項２４】
請求項１１または請求項１２に記載の話者の選択のプロセスにおいて、
第１話者または第２話者のいずれかが情報端末に付属するキーボードの特定のキーを入力したとき、請求項１３〜請求項１９に記載のプロセスを終了することを特徴とした、
請求項１に記載の音声翻訳対話システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異なる言語を話す者の意思疎通を支援する、対面型の音声翻訳対話システムおよびその制御方法とプログラムに関する。
【背景技術】
【０００２】
近年の技術の進歩によって、ウェアラブルな小型の携帯機器を用いて音声翻訳が実現されるようになった。この情報機器は海外旅行時など、異なる言語を話す者の間で行われる対話を対象とした音声翻訳を行なう際に用いられる。
【０００３】
一方、ホテルのコンシェルジュ、観光案内所、タクシー等のケースで、異なる言語を使用する２者が対面または対座して音声翻訳を行ない対話する装置について、具体的な構成と動作を明示したものはなく、またそれらの装置は一般的とはいえない。
【０００４】
特許文献１は、互いに異なる言語を使用する２者の間に配置され、第１の言語および第２の言語の一方から他方への翻訳を行ない、翻訳後の音声を再生する翻訳音声再生装置を開示している。この装置は、翻訳後の音声を出力する方向を制御することで、翻訳後の音声を聴取者に好適に提示する。
【０００５】
特許文献２は、人体に装着されて使用されるウェアラブル翻訳装置として、帽子型翻訳装置を開示する。この翻訳装置はホストの頭部に装着され、ホストにより装置を操作することで、ホストとゲスト間の双方向の会話を翻訳する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−１５０６５７号公報
【特許文献２】WO２０１８/００８２２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
互いに異なる言語を使用する２者の対話を支援する音声翻訳対話システムでは、対話の初めに第１話者と第２話者がどんな言語で発話するか、また対話中に発話された音声が第１話者と第２話者のどちらであるかを装置が確実に認識できなければ、適切な音声認識と翻訳処理が難しくなり、その結果円滑な対話を装置が支援することができない。また発話された音声テキストおよびその翻訳結果のテキストをディスプレイで確認しながら、発話の相手側の話者が翻訳結果のテキストの音声を聞くことができれば、対話がより確実にかつ円滑に行われる。
【０００８】
特許文献１は、第１の言語および第２の言語の一方から他方への翻訳を行ない、翻訳後の音声を再生する翻訳音声再生装置を開示している。この装置は、翻訳後の音声を出力する方向を制御することで、翻訳後の音声を聴取者に好適に提示しているが、第１話者と第２話者の言語の特定方法および発話されている音声の言語の特定方法に関しては、具体的な方法を開示していない。
【０００９】
特許文献２で開示される翻訳装置では、第１の言語および第２の言語の一方から他方への翻訳を行ない、翻訳後の音声を再生する翻訳音声再生装置を開示している。その装置の構成は主にウェアラブルな装置としてホストの頭部に装着され、ホストが装置を操作することでホストとゲスト間の双方向の会話を翻訳する。しかし、第１話者と第２話者の言語の特定方法および発話されている音声の言語の特定方法に関して、具体的な方法を開示していない。
【課題を解決するための手段】
【００１０】
本発明に関わる音声翻訳対話システムは、上述の課題を解決するため、一般的に使用されている制御端末の構成に加えて、第１話者および第２話者それぞれが使用する、ディスプレイ、タッチパネル、マイク、スピーカを備える。前記の制御方法では、プログラムの最初に第１話者と第２話者が使用する言語を前記タッチパネルまたは音声言語識別処理により選択し、対話中は現在の発話者が第１話者であるか第２話者であるかを前記タッチパネルまたは音声言語識別処理により特定し、前記マイクにより第１話者および第２話者の発話を音声入力処理し、前記音声信号を音声認識処理してテキストに変換し、前記テキストを翻訳処理して相手側の言語の翻訳テキストに変換し、前記の発話テキストと前記の翻訳テキストを前記ディスプレイに表示し、前記の翻訳テキストから相手側の言語の音声を合成し前記のスピーカから音声出力させる。
【００１１】
すなわち本発明に関わる音声翻訳対話システムは、互いに異なる言語を使用する２者の間に固定的に配置され、対話の全般にわたって２者間の対話を円滑に支援できることを特徴とする。
【発明の効果】
【００１２】
本発明の音声翻訳対話システムとその制御方法によれば、特別な装置を用いることなく一般的に販売される安価な１セットの装置で、翻訳を含む音声対話を使用者に好適に提示することができる。
【図面の簡単な説明】
【００１３】
【図１】実施の形態１に関わる音声翻訳対話システムの構成を示すブロック図である。
【図２】実施の形態２に関わる音声翻訳対話システムの機能ブロック図である。
【図３】実施の形態２に関わる音声翻訳対話システムの構成を示すブロック図である。
【図４】実施の形態２に関わる音声翻訳対話システムの機能ブロック図である。
【図５】実施の形態１および実施の形態２に関わる音声翻訳対話システムにおいて、音声言語識別処理を用いた時の動作を示すフローチャートである。
【図６】実施の形態１および実施の形態２に関わる音声翻訳対話システムにおいて、話者による言語選択処理を用いた時の動作を示すフローチャートである。
【図７】実施の形態１および実施の形態２に関わる音声翻訳対話システムにおいて、第１話者の言語を日本語に固定した時の動作を示すフローチャートである。
【図８】実施の形態１および実施の形態２に関わる音声翻訳対話システムにおいて、第１話者と第２話者の対話場面の一例を示す図である。
【図９】実施の形態１および実施の形態２に関わる音声翻訳対話システムにおいて、第１話者と第２話者の対話場面の別の例を示す図である。
【図１０】実施の形態１および実施の形態２に関わる音声翻訳対話システムにおいて、第１話者と第２話者の対話場面の別の例を示す図である。
【図１１】実施の形態１および実施の形態２に関わる音声翻訳対話システムにおいて、制御プログラムの初めに第１話者および第２話者が言語選択する時の、ディスプレイ兼タッチパネルの表示内容の一例である。
【図１２】実施の形態１および実施の形態２に関わる音声翻訳対話システムにおいて、第１話者および第２話者が発話選択する時の、ディスプレイ兼タッチパネルの表示内容の一例である。
【図１３】実施の形態１および実施の形態２に関わる音声翻訳対話システムにおいて、第１話者および第２話者が発話選択する時、２者が同一のディスプレイ兼タッチパネルを用いる場合の表示内容の一例である。
【図１４】実施の形態１および実施の形態２に関わる音声翻訳対話システムにおいて、第１話者および第２話者が閲覧する発話内容と翻訳結果を表わす、ディスプレイ兼タッチパネルの表示内容の一例である。
【図１５】実施の形態１および実施の形態２に関わる音声翻訳対話システムにおいて、第１話者と第２話者の対話プロセスを説明する図である。
【発明を実施するための形態】
【００１４】
本発明に関わる音声翻訳対話システムおよびその制御方法について、添付図面に基づいて説明する。
【００１５】
（第１の実施形態）
本発明の第１の実施形態に関わる音声翻訳対話システムについて、図１、図２、図５〜図１５に基づいて説明する。        
【００１６】
（１）音声翻訳対話システムの構成
図１は、第１の実施形態に関わる音声翻訳対話システム１００の構成を示すブロック図である。
【００１７】
音声翻訳対話システム１００は、音声翻訳対話装置１１０、インターネット１２０、クラウドサーバ装置１３０で構成される。
【００１８】
音声翻訳対話装置１１０は、制御部１１１、第１話者が用いる情報端末１（１１２）、第２話者が用いる情報端末２（１１３）、メモリ１１４、通信部１１５を備える。
【００１９】
制御部１１１は、CPU（Central Processing Unit）、MPU（Micro Processing Unit）等で構成され、メモリ１１４に格納された各種プログラムを実行することにより、音声翻訳対話システム１００の全体を制御する。
【００２０】
第１話者用の情報端末１（１１２）は、ディスプレイ１（１１２a）、タッチパネル１（１１２b）、マイク１（１１２d）、スピーカ１（１１２e）を一体的に含むか、または接続されている。
【００２１】
第１話者用のディスプレイ１（１１２a）は、第１話者に対して画像を表示する装置である。ディスプレイ１（１１２a）は、図１１〜図１４に例示される言語選択画像、話者選択画像、発話テキストおよびその翻訳テキストを表示する。
【００２２】
第１話者用のタッチパネル１（１１２b）は、第１話者がタッチ入力で言語選択および話者選択ができる装置であり、ディスプレイ１（１１２a）と一体化している。
【００２３】
第１話者用のマイク１（１１２d）は、第１話者の発話を電気的な音声信号に変換する装置である。
【００２４】
第１話者用のスピーカ１（１１２e）は、第１話者に向けた電気的な音声信号を音声に変換する装置である。
【００２５】
第１話者用のマイク１（１１２c）とスピーカ１（１１２e）の代わりに、図１で示されるように、同じ機能として第１話者用にヘッドセット１（１１２c）を用いてもよい。
【００２６】
第２話者用の情報端末２（１１３）は、第１話者用の情報端末１（１１２）と同様に、ディスプレイ２（１１３a）、タッチパネル２（１１３b）、マイク２（１１３d）、スピーカ２（１１３e）を一体的に含むか、または接続されている。
【００２７】
第２話者用のディスプレイ２（１１３a）、タッチパネル２（１１３b）、マイク２（１１３d）、スピーカ２（１１３e）、ヘッドセット２（１１３c）の機能は、上記の第１話者用の説明と同じなので、ここでは説明を省略する。
【００２８】
メモリ１１４は、例えばRAM（Random Access Memory）、HDD（Hard Disk Drive）、SSD（Solid State Drive）等により構成され、制御部１１１の主記憶装置として機能するとともに、音声翻訳対話システム１００により生成された通話記録を格納する。
【００２９】
通信部１１５は、例えばWi−Fi（登録商標）、IEEE８０２．１１規格等の通信方式に従って、インターネット１２０を介して、音声翻訳対話装置１１０とクラウドサーバ装置１３０の間でデータ通信を行なう通信モジュールである。
【００３０】
インターネット１２０は、音声翻訳対話装置１１０とクラウドサーバ装置１３０の間で取り交わされる信号やデータを高速で通信する。
【００３１】
クラウドサーバ装置１３０は、アプリケーションサーバ１３１、データベースサーバ１３２、データベース１３３を備え、音声翻訳対話装置１１０から受信した音声データ、音声データの言語の種類、翻訳したい言語の種類等のデータを元に、音声言語識別、音声認識、翻訳処理の結果を音声翻訳対話装置１１０に送信する。
【００３２】
アプリケーションサーバ１３１は、クラウドサーバ装置１３０内に用意され、本発明の関連では音声言語識別、音声認識、翻訳処理のプログラムを実行するサーバである。
【００３３】
データベースサーバ１３２は、データベース１３３を内部にもち、アプリケーションサーバ１３１の各プログラムからの要求にしたがってデータベース内の検索を行ない、その結果をアプリケーションサーバ１３１内の各プログラムに返す機能をもつ。
【００３４】
図２は、第１の実施形態に関わる音声翻訳対話システム１００の機能ブロック図である。
【００３５】
音声翻訳対話装置１１０は、翻訳対話支援部２００と音声処理部３００で構成される。
【００３６】
翻訳対話支援部２００は、タッチ入力処理部２０１、表示処理部２０２、話者言語選択部２０３、発話話者選択部２０４、対話記録部２０５で構成される。
【００３７】
タッチ入力処理部２０１は、ディスプレイと一体化したタッチパネルから、第１話者および第２話者がタッチ入力で言語選択および話者選択ができる機能をもつ。
【００３８】
表示処理部２０２は、第１話者および第２話者それぞれのディスプレイに、図１１〜図１４に例示される言語選択画像、話者選択画像、発話テキストおよびその翻訳テキストを表示する機能をもつ。
【００３９】
話者言語選択部２０３は、図１１に例示される第１話者および第２話者の言語選択画像から、各話者がタッチ入力で言語を選択できる機能をもつ。
【００４０】
発話話者選択部２０４は、図１２と図１３に例示される第１話者および第２話者の発話選択画像から、タッチ入力で話者を選択できる機能をもつ。
【００４１】
対話記録部２０５は、図１５に示したような一連の対話の内容を、テキスト形式のデータでメモリ１１４に格納する機能をもつ。
【００４２】
音声処理部３００は、音声入力処理部３０１、音声合成部３０２で構成される。
【００４３】
音声入力処理部３０１は、マイク１（１１２d）およびマイク２（１１３d）で入力された音声信号を、アプリケーションサーバ１３１が扱うことができるデジタルデータに変換処理する機能をもつ。
【００４４】
音声合成部３０２は、翻訳処理部１３１ｃで翻訳処理された翻訳テキストをインターネット１２０経由で受信し、これを音声出力が可能なファイル形式に変換し、スピーカ１（１１２e）またはスピーカ２（１１３e）から音声出力する機能をもつ。
【００４５】
クラウドサーバ装置１３０はアプリケーションサーバ１３１を含む。
【００４６】
アプリケーションサーバ１３１は、音声認識翻訳部１３１a、音声認識部１３１ｂ、翻訳処理部１３１ｃで構成される。
【００４７】
音声言語識別部１３１aは、インターネット１２０経由で受信された音声信号がどの言語で発話されたものかを識別し、その結果をインターネット１２０経由で音声翻訳対話装置１１０に送信する。
【００４８】
音声認識部１３１ｂは、インターネット１２０経由で受信された音声信号を音声認識して言語テキストに変換し、その結果をインターネット１２０経由で音声翻訳対話装置１１０に送信する。
【００４９】
翻訳処理部１３１ｃは、音声認識したテキストを相手側の言語テキストに翻訳し、その結果をインターネット１２０経由で音声翻訳対話装置１１０に送信する。
【００５０】
（２）音声翻訳対話システムの動作
以上のように構成された音声翻訳対話システム１００について、その動作を以下に説明する。
【００５１】
図５は、実施の形態１の音声翻訳対話システム１００の動作を説明するフローチャートである。
【００５２】
ステップS１００において、音声翻訳対話装置１１０は、第１話者用のマイク１（１１２d）から音声入力された発話から、音声言語識別部１３１aで言語識別し、第１話者がどの言語を用いているかを判定する。すなわち、第１話者の発話を音声入力処理部３０１でアプリケーションサーバ１３１が扱うことができるデジタルデータに変換処理した後、このデータをインターネット１２０経由でアプリケーションサーバ１３１に送信し、音声言語識別部１３１aで言語識別し、この結果をインターネット１２０経由で音声翻訳対話装置１１０に送信する。
【００５３】
ステップS１０１において、音声翻訳対話装置１１０は、第２話者用のマイク２（１１３d）から音声入力された発話から、音声言語識別部１３１aで言語識別し、第２話者がどの言語を用いているかを判定する。すなわち、第２話者の発話を音声入力処理部３０１でアプリケーションサーバ１３１が扱うことができるデジタルデータに変換処理した後、このデータをインターネット１２０経由でアプリケーションサーバ１３１に送信し、音声言語識別部１３１aで言語識別し、この結果をインターネット１２０経由で音声翻訳対話装置１１０に送信する。
【００５４】
ステップS１０２において、第１話者の言語と第２話者の言語が同じであるかどうかの判定を行なう。第１話者の言語と第２話者の言語が同じであった場合は、再度ステップS１００、ステップS１０１の処理を繰り返す。
【００５５】
ステップS１０３において、第１話者と第２話者のどちらが発話するかの選択をする。すなわち図１２と図１３に例示される第１話者および第２話者の発話選択画像から、タッチ入力で話者を選択する。
【００５６】
ステップS１０４において、発話を許可された話者はマイク１（１１２ｄ）あるいはマイク２（１１３ｄ）から発話を音声入力する。音声翻訳対話装置１１０は、この音声信号を音声入力処理部３０１でアプリケーションサーバ１３１が扱うことができるデジタルデータに変換処理した後、このデータをインターネット１２０経由でアプリケーションサーバ１３１に送信する。
【００５７】
ステップS１０５において、前記のデジタルデータをアプリケーションサーバ１３１内の音声認識部１３１ｂで処理して言語テキストに変換し、その結果をインターネット１２０経由で音声翻訳対話装置１１０に送信する。
【００５８】
ステップS１０６において、音声翻訳対話装置１１０は前記の言語テキストをインターネット１２０経由でアプリケーションサーバ１３１に送信する。アプリケーションサーバ１３１内の翻訳処理部１３１ｃは、前記の言語テキストを相手側の言語テキストに変換し、その結果をインターネット１２０経由で音声翻訳対話装置１１０に送信する。
【００５９】
ステップS１０７において、音声翻訳対話装置１１０は、ステップ１０５とステップ１０６で得られた発話テキストおよび翻訳テキストを、ディスプレイ１（１１２a）およびディスプレイ２（１１３a）に表示する。表示例を図１４に示す。この例では第１話者と第２話者の画面が同じであるが、表示を相手側の発話の翻訳に絞ってもよい。
【００６０】
ステップS１０７と同時にステップS１０８において、音声翻訳対話装置１１０は、翻訳テキストを音声合成部３０２において音声出力が可能なファイル形式に変換し、第２話者の発話の場合はスピーカ１（１１２e）から、第１話者の発話の場合はスピーカ２（１１３e）から音声出力する。
【００６１】
ステップS１０９において、会話を続けるかどうかの選択をする。請求項２２の例では、図１２と図１３に例示される第１話者および第２話者の発話選択画像で、EXIT部をタッチ入力することによって本プロセスを終了する。いずれかの話者選択をした場合は、ステップ１０３に戻ってプロセスが継続される。請求項２３の例では、ステップ１０５で音声認識したテキストの文中に、終了を示す特定の言葉が存在した時、本プロセスを終了する。終了を示す言葉の例としては、「終了」、「さよなら」、「EXIT」、「BYE」「QUIT」等があるが、これに限定されない。請求項２４の例では、ステップS１０３の話者の選択時に、第１話者または第２話者のいずれかが、情報端末１（１１２）または情報端末２（１１３）に付属するキーボードの特定のキーを入力したとき、本プロセスを終了する。終了を示すキー入力の例としては、ESCキー、CTRL＋SHIFT＋ESCキー等があるが、これに限定されない。
【００６２】
図６は、実施の形態１の音声翻訳対話システム１００の、図５とは別の動作を説明するフローチャートである。図５と異なる点は、ステップS２００とステップS２０１の部分のみである。
【００６３】
ステップS２００において、音声翻訳対話装置１１０は、第１話者の言語選択処理を行なう。図１１に例示される言語選択画像から、第１話者がタッチ入力で言語を選択する。
【００６４】
同じようにステップS２０１において、音声翻訳対話装置１１０は、第２話者の言語選択処理を行なう。図１１に例示される言語選択画像から、第２話者がタッチ入力で言語を選択する。
【００６５】
ステップS２０２以下のステップについては、前記の図５の説明と同じなので、ここでは説明を省略する。
【００６６】
図７は、実施の形態１の音声翻訳対話システム１００の、図５および図６とは別の動作を説明するフローチャートである。図５および図６と異なる点は、ステップS３００とステップS３０１の部分のみである。
【００６７】
ステップS３００において、第１話者をオーナーとしてその言語を固定している。ここでは日本の観光案内所等で、第１話者はオーナーとして常に日本語を話す日本人で、第２話者は外国からのゲストという状況を想定している。
【００６８】
ステップS３０１において、音声翻訳対話装置１１０は、第２話者の言語選択処理を行なう。図１１に例示される言語選択画像から、第２話者がタッチ入力で言語を選択する。
【００６９】
ステップS３０２以下のステップについては、前記の図５および図６の説明と同じなので、ここでは説明を省略する。
【００７０】
図８は、実施の形態１の音声翻訳対話システム１００を用いた、２者の対話場面を示す図である。第１話者５１０と第２話者５２０は対面して着座し、第１話者５１０は情報端末１１２のディスプレイ１（１１２a）兼タッチパネル１（１１２b）、マイク１（１１２d）、スピーカ１（１１２e）を用い、第２話者５２０は情報端末１１３のディスプレイ２（１１３a）兼タッチパネル２（１１３b）、マイク２（１１３d）、スピーカ２（１１３e）を用いて会話を行なう。このケースの場合、請求項３に示したように、スピーカ１（１１２e）とスピーカ２（１１３e）の共通化を図ることが可能である。
【００７１】
図９は、実施の形態１の音声翻訳対話システム１００を用いた、2者の対話場面の別の例を示す図である。第１話者６１０と第２話者６２０は同方向に着座し、第１話者６１０は情報端末１１２のディスプレイ１（１１２a）兼タッチパネル１（１１２b）、マイク１（１１２d）、スピーカ１（１１２e）を用い、第２話者６２０は情報端末１１３のディスプレイ２（１１３a）兼タッチパネル２（１１３b）、マイク２（１１３d）、スピーカ２（１１３e）を用いて会話を行なう。このケースの場合、請求項３に示したように、ディスプレイ１（１１２a）兼タッチパネル１（１１２b）とディスプレイ２（１１３a）兼タッチパネル２（１１３b）の共通化およびスピーカ１（１１２e）とスピーカ２（１１３e）の共通化をそれぞれ図ることが可能である。
【００７２】
図１０は、実施の形態１の音声翻訳対話システム１００を用いた、２者の対話場面の別の例を示す図である。第１話者７１０と第２話者７２０は情報端末１１２と情報端末１１３を共通化した情報端末７３０を挟んで対面している。第１話者７１０はヘッドセット１（１１２ｃ）を用い、第２話者７２０はヘッドセット２（１１３ｃ）を用いて会話を行なう例である。
【００７３】
図１５は、実施の形態１の音声翻訳対話システム１００で、第１話者と第２話者の対話プロセスを説明する図である。ここでは説明の便宜上、第１話者（オーナー）は日本語を話す日本人とし、アメリカ人の第２話者（ゲスト）の質問に答えることを想定して説明を行なう。
【００７４】
図７のステップ３００、ステップ３０１で、第１話者（オーナー）と第２話者（ゲスト）の言語は、すでにそれぞれ日本語、英語と選択されているものとする。またステップ３０３で、オーナーが発話の選択を先にしているものとする。
【００７５】
プロセス８０１において、第１話者である日本人のオーナーが第２話者であるアメリカ人のゲストに、「何かご用ですか？」と日本語で尋ねる。
【００７６】
プロセス８０２において、音声翻訳対話システム１００は、図７のステップ３０４、ステップ３０６、ステップ３０７、ステップ３０８の処理で、日本語の発話テキストおよびその英語への翻訳テキストをオーナーとゲストの両方のディスプレイに表示し、同時にゲストのスピーカに「May I help you?」と英語で音声出力する。この音声をゲストは聞き、理解することができる。
【００７７】
前記のオーナーの発話の後、ステップ３０３でゲストが発話の選択をする。
【００７８】
プロセス８０３において、ゲストは自分が質問したい内容を英語で尋ねる。すなわち、「If you know any Japanese restaurants around here, please let me know.」と発話する。
【００７９】
プロセス８０４において、音声翻訳対話システム１００は、図７のステップ３０４、ステップ３０６、ステップ３０７、ステップ３０８の処理で、英語の発話テキストおよびその日本語への翻訳テキストをオーナーとゲストの両方のディスプレイに表示し、同時にオーナーのスピーカに「この近くにお勧めの日本食レストランがあれば、ご紹介いただけますか？」と日本語で音声出力する。この音声をオーナーは聞き、理解することができる。
【００８０】
以上のステップ８０１〜８０４を終了まで繰り返すことにより、音声翻訳対話システム１００は、前記のオーナーとゲストの対話を円滑に支援する。
【００８１】
（３）効果等
以上のように本実施の形態において、音声翻訳対話システム１００は対面型の音声翻訳対話装置であって、第１話者用のディスプレイ１（１１２a）、タッチパネル１（１１２b）、マイク１（１１２d）、スピーカ１（１１２e）と、第２話者用のディスプレイ２（１１３a）、タッチパネル２（１１３b）、マイク２（１１３d）、スピーカ２（１１３e）を備える。
【００８２】
音声翻訳対話システム１００は、マイク１（１１２d）から受信した第１話者の発話から第１言語のテキストを生成し、このテキストを第２話者に対する第２言語に翻訳する。更にこの翻訳テキストを、音声合成手段を用いてスピーカ２（１１３e）より音声出力すると同時に、前記の発話テキストと翻訳テキストをディスプレイ１（１１２a）およびディスプレイ２（１１３a）に表示する。
【００８３】
また音声翻訳対話システム１００は、マイク２（１１３d）から受信した第２話者の発話から第２言語のテキストを生成し、このテキストを第１話者に対する第１言語に翻訳する。更にこの翻訳テキストを、音声合成手段を用いてスピーカ１（１１２e）より音声出力すると同時に、前記の発話テキストと翻訳テキストをディスプレイ１（１１２a）およびディスプレイ２（１１３a）に表示する。
【００８４】
これにより、音声翻訳対話システム１００は、１セットの装置で、異なる言語を話す第１話者と第２話者の双方向の会話を、円滑に翻訳し支援することができる。
【００８５】
すなわち、第１話者が自身のマイクから入力した発話の第２話者に対する第２言語の翻訳テキストの音声は、第２話者近傍のスピーカから出力されるので、第２話者は第１話者が話した内容を速やかに理解することができ、また逆に、第２話者が自身のマイクから入力した発話の第１話者に対する第１言語の翻訳テキストの音声は、第１話者近傍のスピーカから出力されるので、第１話者は第２話者が話した内容を速やかに理解することができる。同時に前記の発話テキストおよび翻訳テキストが、第１話者と第２話者のそれぞれのディスプレイに表示されるので、２者間で間違いの少ない会話が可能となる。
【００８６】
更に、本実施の形態で用いられる情報端末、ディスプレイ、タッチパネル、マイク、スピーカは一般的に市販されている安価な装置が適用可能で、情報端末に制御プログラムを追加するだけで、上記で説明した音声翻訳対話システムが実現できるという効果がある。
【００８７】
（第２の実施形態）
本発明の第２の実施形態に関わる音声翻訳対話システムについて、図３〜図１５に基づいて説明する。  
【００８８】
（１）音声翻訳対話システムの構成
図３は、第２の実施形態に関わる音声翻訳対話システム１００の構成を示すブロック図である。
【００８９】
音声翻訳対話システム１００は、音声翻訳対話装置１１０のみで構成される。図３の構成で明らかなように、第２の実施形態ではインターネットを介してのクラウドサーバ装置との通信は行わず、音声翻訳対話装置１１０に全ての機能が備わっている。
【００９０】
音声翻訳対話装置１１０は、制御部１１１、第１話者が用いる情報端末１（１１２）、第２話者が用いる情報端末２（１１３）、メモリ１１４、データベース１１６を備える。
【００９１】
制御部１１１は、第１の実施形態と構成が同じであるので、説明を省略する。
【００９２】
情報端末１（１１２）と情報端末２（１１３）は、第１の実施形態と構成が同じであるので、説明を省略する。
【００９３】
通信部は、本発明に関連する部分で外部との通信は行なわないので、不要である。
【００９４】
データベース１１６は、音声言語識別処理、音声認識処理、翻訳処理に必要な各種データを保管しており、必要に応じて制御部１１１によって利用される。
【００９５】
図４は、第２の実施形態に関わる音声翻訳対話システム１００の機能ブロック図である。
【００９６】
音声翻訳対話装置１１０は、翻訳対話支援部２００と音声認識翻訳部４００で構成される。
【００９７】
翻訳対話支援部２００は、第１の実施形態と機能構成が同じであるので、説明を省略する。
【００９８】
音声認識翻訳部４００は、音声入力処理部４０１、音声言語識別部４０２、音声認識部４０３、翻訳処理部４０４、音声合成部４０５で構成される。
【００９９】
音声入力処理部４０１は、マイク１（１１２d）およびマイク２（１１３d）で入力された音声信号を、制御部１１１が扱うことができるデジタルデータに変換処理する機能をもつ。
【０１００】
音声言語識別部４０２は、音声入力処理部４０１で処理された音声信号がどの言語で発話されたものかを識別し、その結果を制御部１１１に送る。
【０１０１】
音声認識部４０３は、音声入力処理部４０１で処理された音声信号を音声認識して言語テキストに変換し、その結果を制御部１１１に送る。
【０１０２】
翻訳処理部４０４は、音声認識したテキストを相手側の言語テキストに翻訳し、その結果を制御部１１１に送る。
【０１０３】
音声合成部４０５は、翻訳処理部４０４で翻訳処理された翻訳テキストを音声出力が可能なファイル形式に変換し、スピーカ１（１１２e）またはスピーカ２（１１３e）から音声出力する機能をもつ。
【０１０４】
（２）音声翻訳対話装置の動作
以上のように構成された音声翻訳対話システム１００の動作および実施形態の説明は、図５〜図１５で表した第１の実施形態と同じであるので、説明を省略する。
【０１０５】
（３）効果等
以上のように本実施の形態において、音声翻訳対話システム１００は対面型の音声翻訳対話装置であって、その効果は第１の実施形態で述べた内容と同じであるので、説明を省略する。但し、本実施の形態においては、インターネット経由でクラウドサーバ装置との通信を必要としないので、簡易な構成で優れた機能を実現することができるという利点がある。
【符号の説明】
【０１０６】
１００  音声翻訳対話システム
１１０  音声翻訳対話装置
１１１  制御部
１１２  情報端末１
１１２a  ディスプレイ１
１１２ｂ  タッチパネル１
１１２ｃ  ヘッドセット１
１１２ｄ  マイク１
１１２e  スピーカ１
１１３  情報端末２
１１３a ディスプレイ２
１１３b タッチパネル２
１１３c ヘッドセット２
１１３d マイク２
１１３e スピーカ２
１１４  メモリ
１１５  通信部
１１６  データベース
１２０  インターネット
１３０  クラウドサーバ装置
１３１  アプリケーションサーバ
１３２  データベースサーバ
１３３  データベース
【図１】
2020113150.tif 000003
【図２】
2020113150.tif 000004
【図３】
2020113150.tif 000005
【図４】
2020113150.tif 000006
【図５】
2020113150.tif 000007
【図６】
2020113150.tif 000008
【図７】
2020113150.tif 000009
【図８】
2020113150.tif 000010
【図９】
2020113150.tif 000011
【図１０】
2020113150.tif 000012
【図１１】
2020113150.tif 000013
【図１２】
2020113150.tif 000014
【図１３】
2020113150.tif 000015
【図１４】
2020113150.tif 000016
【図１５】
2020113150.tif 000017