(57)【要約】【課題】ユーザ間の対話を阻害することなく割り込み発声の出力を制御する機械翻訳装置を提供すること。【解決手段】複数の音声の入力を受付ける入力受付部１０１と、受付けた音声の話者を検出する検出部１０２と、受付けた音声を認識する認識部１０３と、認識部１０３による認識結果を対訳文に翻訳する翻訳部１０４と、受付けた複数の音声のうち先に入力された第１音声の受付から出力までの処理段階と、第１音声に対して検出された話者と、複数の音声のうち第１音声の後に入力された第２音声に対して検出された話者との少なくとも１つに基づいて、対訳文の出力の有無および対訳文の出力の中断を制御する出力制御部１０５と、を備えた。【選択図】        図１
2008077601.tif 000002
【特許請求の範囲】
【請求項１】
複数の音声の入力を受付ける受付手段と、
受付けた前記音声の話者を検出する検出手段と、
受付けた前記音声を認識する認識手段と、
前記認識手段による認識結果を対訳文に翻訳する翻訳手段と、
前記翻訳手段により翻訳された対訳文を音声で出力する出力手段と、
受付けた複数の前記音声のうち先に入力された第１音声の受付から出力までの処理段階と、前記第１音声に対して検出された話者と、複数の前記音声のうち前記第１音声の後に入力された第２音声に対して検出された話者を参照して、前記出力手段の音声の出力を制御する出力制御手段と、
を備えたことを特徴とする機械翻訳装置。
【請求項２】
前記出力制御手段は、前記第１音声の話者と前記第２音声の話者とが異なる場合に、前記第１音声に対する前記対訳文を出力せず、前記第２音声に対する前記対訳文を出力するように制御すること、
を特徴とする請求項１に記載の機械翻訳装置。
【請求項３】
前記出力制御手段は、前記第１音声に対する前記対訳文を出力中である場合に、前記第１音声に対する前記対訳文の出力を中断し、前記第２音声に対する前記対訳文を出力するように制御すること、
を特徴とする請求項１に記載の機械翻訳装置。
【請求項４】
前記出力制御手段は、前記第１音声の話者と前記第２音声の話者とが異なり、かつ、前記第１音声に対する前記対訳文を出力中であり、かつ、前記第２音声の発声時間が予め定められた第１閾値より大きい場合に、前記第１音声に対する前記対訳文の出力を中断し、前記第２音声に対する前記対訳文を出力するように制御すること、
を特徴とする請求項１に記載の機械翻訳装置。
【請求項５】
前記出力制御手段は、さらに、前記第１音声の話者と前記第２音声の話者とが同じであり、かつ、前記第１音声に対する前記対訳文を出力中であり、かつ、前記第２音声の発声時間が予め定められた第２閾値より大きい場合に、前記第１音声に対する前記対訳文の出力を中断し、前記第２音声に対する前記対訳文を出力するように制御すること、
を特徴とする請求項４に記載の機械翻訳装置。
【請求項６】
前記出力制御手段は、前記第１閾値より小さい値である前記第２閾値を用いて前記対訳文の出力を制御すること、
を特徴とする請求項５に記載の機械翻訳装置。
【請求項７】
前記出力制御手段は、前記第１音声の話者と前記第２音声の話者とが同じであり、かつ、前記受付手段が前記第１音声の受付を完了した状態である場合に、前記第１音声に対する前記対訳文と前記第２音声に対する前記対訳文とを出力するように制御すること、
を特徴とする請求項１に記載の機械翻訳装置。
【請求項８】
前記出力制御手段は、前記第１音声の話者と前記第２音声の話者とが同じであり、かつ、前記受付手段が前記第１音声の受付を完了した状態である場合に、前記第１音声に対する前記対訳文を出力せず、前記第２音声に対する前記対訳文を出力するように制御すること、
を特徴とする請求項１に記載の機械翻訳装置。
【請求項９】
前記出力制御手段は、前記第１音声の話者と前記第２音声の話者とが同じであり、かつ、前記受付手段が前記第１音声の受付を完了した状態である場合に、前記第１音声のうち前記第２音声に対応する部分を前記第２音声で置換し、置換した前記第１音声に対する前記対訳文を出力するように制御すること、
を特徴とする請求項１に記載の機械翻訳装置。
【請求項１０】
前記音声の認識結果に含まれる単語である原単語と、前記音声に対する前記対訳文に含まれる単語である対訳単語との間の対応関係を抽出する対応抽出手段と、
前記第１音声の認識結果を表示する表示手段と、をさらに備え、
前記出力制御手段は、さらに、前記第１音声の話者と前記第２音声の話者とが異なる場合に、前記第２音声の発声開始時までに出力された前記第１音声に対する前記対訳文の前記対訳単語を取得し、取得した前記対訳単語に対応する前記原単語を前記対応関係に基づいて取得し、取得した前記原単語を、取得した前記原単語以外の前記原単語と異なる表示態様で前記表示手段に出力するように制御すること、
を特徴とする請求項１に記載の機械翻訳装置。
【請求項１１】
前記第２音声の認識結果に対象を指し示す表現である指示語が含まれる場合に、前記指示語が指し示す単語である対象語を前記第１音声に対する前記対訳文から抽出する指示対象抽出手段と、
前記第１音声の認識結果を表示する表示手段と、をさらに備え、
前記出力制御手段は、さらに、抽出された前記対象語を前記対象語以外の単語と異なる表示態様で前記表示手段に出力するように制御すること、
を特徴とする請求項１に記載の機械翻訳装置。
【請求項１２】
話者と、言語とを対応づけて記憶する記憶手段をさらに備え、
前記翻訳手段は、検出された話者以外の話者に対応する前記言語を前記記憶手段から取得し、前記認識手段による認識結果を前記言語による対訳文に翻訳すること、
を特徴とする請求項１に記載の機械翻訳装置。
【請求項１３】
前記音声の認識結果に基づき、前記音声の意味内容を解析する解析手段をさらに備え、
前記出力制御手段は、さらに解析した前記意味内容に基づいて、前記対訳文の出力を制御すること、
を特徴とする請求項１に記載の機械翻訳装置。
【請求項１４】
前記解析手段は、前記音声の認識結果から、発話の意図を表す予め定められた単語である代表語を抽出することによって前記意味内容を解析すること、
を特徴とする請求項１３に記載の機械翻訳装置。
【請求項１５】
前記解析手段は、前記第２音声の認識結果から、相槌の意図を表す前記代表語を抽出することによって前記第２音声が相槌を意味することを解析し、
前記出力制御手段は、前記第２音声が相槌を意味する場合に、前記第１音声に対する前記対訳文を出力し、前記第２音声に対する前記対訳文を出力しないように制御すること、
を特徴とする請求項１４に記載の機械翻訳装置。
【請求項１６】
前記音声の認識結果に含まれる単語である原単語と、前記音声に対する前記対訳文に含まれる単語である対訳単語との間の対応関係を抽出する対応抽出手段をさらに備え、
前記出力制御手段は、さらに、前記第１音声の言語である第１言語と前記第２音声の言語である第２言語とが異なる場合に、前記第２音声の発声開始時までに出力された前記第２言語による前記対訳文の前記対訳単語を取得し、取得した前記対訳単語に対応する前記原単語を前記対応関係に基づいて取得し、前記第１言語と前記第２言語とのいずれとも異なる第３言語による前記対訳文を出力する際に、取得した前記原単語に対応する前記第３言語による前記対訳文の前記対訳単語を前記対応関係に基づいて取得し、取得した前記第３言語による前記対訳文の前記対訳単語を出力するように制御すること、
を特徴とする請求項１に記載の機械翻訳装置。
【請求項１７】
前記出力手段は、前記対訳文を音声合成して出力すること、
を特徴とする請求項１に記載の機械翻訳装置。
【請求項１８】
前記出力制御手段は、さらに、前記第１音声の言語である第１言語と、前記第２音声の言語である第２言語とのいずれとも異なる第３言語による前記対訳文を出力する際に、前記第１音声の前記第３言語による前記対訳文の音声合成で用いた音声の速度、高さ、音量、および声質の少なくとも１つを含む音声の属性と異なる前記属性で、前記第２音声の前記第３言語による前記対訳文を音声合成して出力するように制御すること、
を特徴とする請求項１７に記載の機械翻訳装置。
【請求項１９】
複数の音声の入力を受付ける受付ステップと、
受付けた前記音声の話者を検出する検出ステップと、
受付けた前記音声を認識する認識ステップと、
前記認識ステップによる認識結果を対訳文に翻訳する翻訳ステップと、
前記翻訳ステップにより翻訳された対訳文を音声で出力する出力ステップと、
受付けた複数の前記音声のうち先に入力された第１音声の受付から出力までの処理段階と、前記第１音声に対して検出された話者と、複数の前記音声のうち前記第１音声の後に入力された第２音声に対して検出された話者とを参照して、前記対訳文の出力を制御する出力制御ステップと、
を備えたことを特徴とする機械翻訳方法。
【請求項２０】
複数の音声の入力を受付ける受付手順と、
受付けた前記音声の話者を検出する検出手順と、
受付けた前記音声を認識する認識手順と、
前記認識手順による認識結果を対訳文に翻訳する翻訳手順と、
前記翻訳手順により翻訳された対訳文を音声で出力する出力手順と、
受付けた複数の前記音声のうち先に入力された第１音声の受付から出力までの処理段階と、前記第１音声に対して検出された話者と、複数の前記音声のうち前記第１音声の後に入力された第２音声に対して検出された話者とを参照して、前記対訳文の出力を制御する出力制御手順と、
をコンピュータに実行させる機械翻訳プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、入力された音声を翻訳して出力する機械翻訳装置、機械翻訳方法および機械翻訳プログラムに関するものである。
【背景技術】
【０００２】
近年、入力された音声を翻訳し、翻訳結果である対訳文を出力する機械翻訳装置の一つとして、原言語による音声入力を対象言語に翻訳して音声出力することによって異言語コミュニケーションを支援する音声翻訳システムなどが開発されている。また、ユーザによる音声入力と、ユーザに対する音声出力により対話を行う音声対話システムが利用されている。
【０００３】
このような音声翻訳システムや音声対話システムに関連して、システムからユーザに対して音声を出力中にユーザから割り込み発声が入力されたときに、出力音声を中止する、または、ユーザの発声内容に応じて出力音声の再生再開の位置を変えるなどの出力の制御方法を変更するバージインと呼ばれる技術が提案されている（例えば、特許文献１）。
【０００４】
【特許文献１】特許第３５１３２３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の方法は、システムとユーザが１対１で対話する状況を考慮した技術であるため、音声翻訳システムのように、複数のユーザ間の対話を媒介するシステムにおける割り込み発声に対する処理に対応できない場合があるという問題があった。
【０００６】
例えば、音声翻訳システムでは、ある話し手の音声を音声翻訳して出力中に使用言語の異なる聞き手が割り込み発声を発声した場合、対話を阻害することなく、元の話し手に割り込み発声の情報を伝える必要がある。ところが、従来のバージイン技術ではシステムからの出力音声が割り込み発声に対して抑制されるだけであり、ユーザ同士の対話の自然性を損なわないようにするための割り込み発声処理を行うことができなかった。
【０００７】
本発明は、上記に鑑みてなされたものであって、ユーザ間の対話を阻害することなく割り込み発声の出力を制御することができる機械翻訳装置、機械翻訳方法および機械翻訳プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するために、本発明は、複数の音声の入力を受付ける受付手段と、受付けた前記音声の話者を検出する検出手段と、受付けた前記音声を認識する認識手段と、前記認識手段による認識結果を対訳文に翻訳する翻訳手段と、前記翻訳手段により翻訳された対訳文を音声で出力する出力手段と、受付けた複数の前記音声のうち先に入力された第１音声の受付から出力までの処理段階と、前記第１音声に対して検出された話者と、複数の前記音声のうち前記第１音声の後に入力された第２音声に対して検出された話者を参照して、前記出力手段の音声の出力を制御する出力制御手段と、を備えたことを特徴とする。
【０００９】
また、本発明は、上記装置を実行することができる機械翻訳方法および機械翻訳プログラムである。
【発明の効果】
【００１０】
本発明によれば、対話を阻害することなく、適切に割り込み発声の翻訳結果の出力を制御することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１１】
以下に添付図面を参照して、この発明にかかる機械翻訳装置、機械翻訳方法および機械翻訳プログラムの最良な実施の形態を詳細に説明する。
【００１２】
（第１の実施の形態）
第１の実施の形態にかかる機械翻訳装置は、割り込み発声を行った話者の情報と、音声翻訳処理の処理状態とに応じて、翻訳結果の出力方式を制御するものである。以下では、主に日本語から英語への機械翻訳について説明するが、原言語および対象言語の組み合わせはこれに限るものではなく、あらゆる言語の組み合わせについて適用することができる。
【００１３】
図１は、機械翻訳装置１００の使用場面を説明するための概念図である。同図では、話者Ａ、話者Ｂ、話者Ｃの３名の話者が機械翻訳装置１００を介して相互に対話する状況を例として挙げている。すなわち、機械翻訳装置１００は、任意の話者の発声を他の話者の利用する言語で翻訳して音声として出力することにより、各話者の対話を仲介する。なお、話者は３名に限定されるものではなく、対話の仲介のために２名以上の話者が存在すればよい。
【００１４】
機械翻訳装置１００は、スピーカとマイクを有するヘッドセット２００ａ、２００ｂ、２００ｃを介して各話者と音声の授受を行う。このように、本実施の形態では、各話者の音声は個々に機械翻訳装置１００に取り込むことを前提とする。ヘッドセット２００ａ、２００ｂ、２００ｃの機能は共通するため、以下では単にヘッドセット２００という場合がある。なお、音声入力のための手段はヘッドセット２００に限られるものではなく、話者ごとに音声を入力可能なものであればあらゆる方法を適用することができる。
【００１５】
なお、マイクロホンアレイのように複数マイクを利用し、音源から各マイクに到達する時間差や音圧の強さの違いを利用することで音源方向を推定するとともに、各話者の音声を抽出するように構成してもよい。
【００１６】
また、本実施の形態では、ある話者の発声自体も他の話者が聞くことができることを前提として説明する。なお、他の話者が、元の話者の原音声を聞くことができない、すなわち、機械翻訳装置１００から出力される翻訳結果の音声出力だけを聞くことができるように構成してもよい。また、ある話者の翻訳結果を出力する場合に、当該話者が自身の発声の翻訳結果を聞くことができるように構成してもよい。
【００１７】
図２は、第１の実施の形態にかかる機械翻訳装置１００の構成を示すブロック図である。同図に示すように、機械翻訳装置１００は、入力受付部１０１と、音声認識部１０３と、検出部１０２と、翻訳部１０４と、出力制御部１０５と、音声出力部１０６と、を備えている。
【００１８】
入力受付部１０１は、ユーザにより発話された音声を受付けるものである。具体的には、図１のように各話者に対応したヘッドセット２００のマイクから入力された音声を電気信号（音声データ）に変換した後、音声データをＡ／Ｄ（アナログデジタル）変換し、ＰＣＭ（パルスコードモジュレーション）形式などによるデジタルデータに変換して出力する。これらの処理は、従来から用いられている音声信号のデジタル化処理と同様の方法によって実現することができる。
【００１９】
また、入力受付部１０１は、入力元を特定できる情報、すなわち話者ごとに装着されたヘッドセット２００のマイクの識別子の情報も出力する。なお、マイクロホンアレイを用いる場合は、マイクの識別子の代わりに、推定した音源方向の情報を、入力元を特定する情報として出力する。
【００２０】
検出部１０２は、音声入力の有無と、音声が入力された時間（音声区間）を検知するとともに、音声入力元の話者を検出するものである。具体的には、検出部１０２は、音量が予め定められた閾値より相対的に長い区間を音声区間として検出する。なお、音声区間の検出方法はこれに限られるものではなく、音声の周波数分析の結果から求められた発声についてのモデルに対する尤度が高い区間を音声区間とする方法など、従来から用いられているあらゆる音声区間検出技術を適用することができる。
【００２１】
また、検出部１０２は、入力受付部１０１から出力されたマイクの識別子から、事前に記憶したマイクの識別子と話者との対応情報などを参照して入力元の話者を決定する。マイクロホンアレイを利用する場合は、検出部１０２は、推定された音源方向の情報から話者を推定するように構成してもよい。また、検出部１０２は、従来から用いられている話者識別技術を用いて入力音声が登録された話者か否かの識別を行う方法など、あらゆる方法を用いて話者の検出を行うように構成することができる。
【００２２】
検出部１０２からは、話者ごとに抽出された音声信号と、音声区間の検出結果とが出力される。
【００２３】
音声認識部１０３は、検出部１０２から出力された音声信号に対して音声認識処理を行うものである。音声認識処理では、ＬＰＣ分析、隠れマルコフモデル（ＨＭＭ：Hidden Markov Model）、ダイナミックプログラミング、ニューラルネットワーク、Ｎグラム言語モデルなどを用いた、一般的に利用されているあらゆる音声認識方法を適用することができる。
【００２４】
翻訳部１０４は、音声認識部１０３が認識した結果に対して翻訳処理を行うものである。翻訳元の言語（原言語）と翻訳先の言語（対象言語）は、各話者が事前に設定し記憶部（図示せず）等に記憶した情報を参照して決定する。
【００２５】
翻訳部１０４による翻訳処理では、音声入力に対して決められた例文を検索してそれに対応した対訳文（翻訳結果）を出力する例文翻訳技術や、統計モデルや予め定められたルールを利用して音声入力を翻訳して対訳文（翻訳結果）を出力するルールベース翻訳技術など、従来から用いられているあらゆる翻訳技術を適用することができる。
【００２６】
なお、音声認識部１０３や翻訳部１０４による処理結果は他の処理部が必要に応じて入手できるものとする。
【００２７】
出力制御部１０５は、予め定められた規則に従い、音声受付処理、音声認識処理、翻訳処理、翻訳結果の出力処理などの各処理の処理状態、話者の情報、および割り込み発声の情報を参照して、翻訳結果の出力方法を決定するものである。
【００２８】
音声出力部１０６は、翻訳部１０４で翻訳した対訳文（翻訳結果）を音声合成等により音声で出力するものである。
【００２９】
図３は、出力制御部１０５が出力方法を決定する規則の一例を示した説明図である。同図では、割り込み発声が入力されたときの、割り込み発声により割り込まれた発声の処理状態と、割り込み発声を行った話者とに応じた出力処理内容に関する規則の例が示されている。出力制御部１０５による出力方法決定処理の詳細については後述する。
【００３０】
また、出力制御部１０５は、決定された出力方法に従い、翻訳部１０４が翻訳した翻訳結果を音声出力部１０６により出力する。この際、翻訳結果を対象言語の合成音声として出力する。音声出力部１０６により行われる音声合成処理は、音声素片編集音声合成、フォルマント音声合成、音声コーパスベースの音声合成などの一般的に利用されているあらゆる方法を適用することができる。
【００３１】
なお、音声出力部１０６による音声出力は、テキストを画面表示するディスプレイなどの表示装置による対象言語のテキスト出力や、プリンタなどへのテキスト印刷による翻訳結果の出力などの種々の出力、表示手段と併用、あるいは代用するように構成してもよい。
【００３２】
以上の構成を有する機械翻訳装置１００の基本的な働きは以下の通りである。まず、ある話し手が発声すると、入力受付部１０１で音声が取り込まれ、検出部１０２で音声区間と話者が検出される。その後、事前に設定された言語情報を参照して、入力音声に対する音声認識および翻訳が行われ、翻訳結果が音声合成されて出力される。他のユーザは翻訳された合成音声を聞くことにより、最初の話し手の発声内容を理解することができる。本実施の形態では、このような音声翻訳の基本的な処理に対して処理中に割り込み発声がされた場合に、対話を阻害することなく適切に翻訳結果を出力する方法を実現している。
【００３３】
次に、このように構成された第１の実施の形態にかかる機械翻訳装置１００による、上述の音声翻訳の基本的な処理を含む音声翻訳処理について説明する。図４は、第１の実施の形態における音声翻訳処理の全体の流れを示すフローチャートである。
【００３４】
まず、入力受付部１０１が、ユーザが発話した音声の入力を受付ける（ステップＳ４０１）。具体的には、入力受付部１０１は、ヘッドセット２００のマイクから入力された音声を電気信号に変換した後、音声データをＡ／Ｄ変換してデジタルデータとして出力する。
【００３５】
次に、検出部１０２が、音声データから音声区間および話者の情報を検出する情報検出処理を実行する（ステップＳ４０２）。情報検出処理の詳細については後述する。
【００３６】
次に、音声認識部１０３が、検出部１０２により検出された音声区間の音声に対し、音声認識処理を実行する（ステップＳ４０３）。音声認識部１０３は、上述のように既存の音声認識技術を利用して音声認識処理を実行する。
【００３７】
次に、翻訳部１０４が、音声認識部１０３による音声認識結果に対する翻訳処理を実行する（ステップＳ４０４）。翻訳部１０４は、上述のように例文翻訳、ルールベース翻訳などの既存の翻訳技術を利用して翻訳処理を実行する。
【００３８】
次に、出力制御部１０５が出力方法決定処理を実行する（ステップＳ４０５）。出力方法決定処理の詳細については後述する。
【００３９】
続いて、音声出力部１０６が、出力方法決定処理で決定された出力方法によって翻訳結果の出力処理を実行し（ステップＳ４０６）、音声翻訳処理を終了する。
【００４０】
なお、図４では、説明の便宜上、所定の処理時間単位（以下、フレームという。）ごとに実行される処理（情報検出処理、出力方法決定処理）と、検出された音声区間ごとに実行される処理（音声認識処理、翻訳処理、出力制御処理）とを連続的に記載している。実際には、各処理は並列的に実行され、例えば、出力方法決定処理による決定内容によっては実行中の翻訳処理が中断される場合などがありうる。このような割り込み処理の詳細については後述する。
【００４１】
次に、ステップＳ４０２の情報検出処理の詳細について説明する。情報検出処理は、一般的な音声認識や対話技術と同様に、フレームという単位ごとに実行されることとする。例えば、１０ｍｓを1フレームとした場合、システム起動開始後の１秒目から3秒目まで音声が入力されたとすると、１００フレーム目から３００フレーム目まで音声入力が存在したことに対応する。
【００４２】
このような単位時間に処理を分割することによって、例えば、５０フレーム分の音声信号が入力された場合に音声認識および翻訳処理を開始するといったように、音声入力が終了する前から並列的に処理を行うことが可能となり、入力音声の終了に近い時点で処理結果を出力することができる。
【００４３】
また、以下では、ユーザごとにマイクで音声が入力され、マイクごとに音声を別々に処理することが可能であり、各マイクのユーザの音声翻訳に関する話者情報、すなわち、使用言語と、音声入力時の出力先言語は各ユーザによって事前に指定されているものとする。
【００４４】
図５は、第１の実施の形態における情報検出処理の全体の流れを示すフローチャートである。なお、同図は、フレームごとの個々のマイクから入力された信号に対する検出部１０２の処理の流れを示した図である。したがって、各フレームで各マイクに対して同図の処理が実行される。
【００４５】
まず、検出部１０２が、処理中のフレームにおけるマイク入力の信号から音声区間の検出を行う（ステップＳ５０１）。複数フレームの情報から音声区間の検出を行う必要がある場合、検出部１０２は、必要フレーム分をさかのぼったフレームから音声区間が開始したと判断してもよい。
【００４６】
次に、検出部１０２は、音声区間が検出されたか否かを判断し（ステップＳ５０２）、検出されなかった場合は（ステップＳ５０２：ＮＯ）、該当フレームではユーザからの音声が入力されなかったものとして検出部における処理は終了して、翻訳処理などの他の処理が実行される。
【００４７】
音声区間が検出された場合は（ステップＳ５０２：ＹＥＳ）、検出部１０２は、予め設定されている情報を参照して入力元のヘッドセット２００に対応する話者の情報を取得する（ステップＳ５０３）。なお、音声区間が検出される場合としては、前のフレームに続いて音声区間が検出される場合と、初めて音声区間が検出される場合がありうる。
【００４８】
次に、検出部１０２は、音声区間が検出されていることを示す情報と、取得した話者の情報とを出力し（ステップＳ５０４）、情報検出処理を終了する。
【００４９】
なお、音声の検出を開始した始端フレームと、それ以降検出されなくなった終端フレームの間が音声区間となる。上述の例の場合、１００フレーム目から３００フレーム目までは、該当マイクの処理について音声が検出され、話者情報とともに検出部１０２から出力される。以上のような処理によって、検出部１０２により、ユーザからの音声入力の有無と、音声入力が存在したときの話者に関する情報を取得することができる。
【００５０】
次に、ステップＳ４０５の出力方法決定処理の詳細について説明する。出力方法決定処理も情報検出処理と同様に、フレームごとに処理されるものとして説明する。図６は、第１の実施の形態における出力方法決定処理の全体の流れを示すフローチャートである。
【００５１】
まず、出力制御部１０５は、検出部１０２が出力した音声区間の情報と、話者の情報とを取得する（ステップＳ６０１）。次に、出力制御部１０５は、取得した情報を参照し、音声区間が検出されたか否かを判断する（ステップＳ６０２）。
【００５２】
音声区間が検出されなかった場合は（ステップＳ６０２：ＮＯ）、何も行わないか、または前フレームまでに決定および実行されていた処理を継続し、現在のフレームにおける出力方法決定処理を終了する。なお、音声区間が新たに検出されない場合には、全く音声が存在しない場合と、検出されている音声が前のフレームと変わらない場合とが含まれる。
【００５３】
音声区間が検出された場合は（ステップＳ６０２：ＹＥＳ）、出力制御部１０５は、実行中の各部の処理の処理状態を取得する（ステップＳ６０３）。次に、出力制御部１０５は、話者と各部の処理状態とに応じた翻訳結果の出力方法を決定する（ステップＳ６０４）。
【００５４】
具体的には、出力制御部１０５は、図３に記載したような規則に従い、出力方法を決定する。以下に、その詳細について説明する。
【００５５】
まず、図３には記載していないが、音声区間が新たに検出され、翻訳部１０４が処理中ではなく、かつ、翻訳結果の音声を出力中でない場合の決定処理について説明する。この場合は、出力制御部１０５は、前のフレームまでに決定された処理内容を継続する。すなわち、この場合は割り込み発声に該当しないため、入力受付処理、翻訳処理などで前のフレームで決定されて継続されていた処理が継続される。
【００５６】
図７は、この場合の出力内容の一例を示す説明図である。同図に示すように、話し手の発声７０１に対して割り込み発声が存在しないため、発声７０１が完了後に翻訳処理が実行され、その翻訳結果７０２が聞き手に対して出力される。
【００５７】
なお、同図では、横軸が時間軸を表し、話し手が発声した場合に、聞き手のユーザにどのようなタイミングで翻訳結果を返すかを表している。矢印は、発声と翻訳結果とが対応することを表している。同図では、発声完了後に翻訳結果を出力する例について示しているが、翻訳処理を同時通訳的に実行し、音声区間検出が終端になる前に翻訳結果の出力を開始するように構成してもよい。
【００５８】
次に、図３に記載された規則に該当する例について説明する。まず、新たに音声が検出されたときに、すでに別の音声が検出されているがその終端は検出されていない場合を考える。図３では、最初の話し手が発声中に、聞き手が割り込んだ場合の出力方法３０１に相当する。
【００５９】
この場合は、最初の話し手の発声に対する翻訳結果の出力を待たずに発声されたことになり、割り込み発声を行った聞き手にとって最初の話し手の音声は不要であったと考えられる。そこで、出力制御部１０５は、最初の話し手の翻訳結果の出力を行わずに、割り込み発声を行った聞き手の翻訳結果のみを出力する出力方法を決定する。
【００６０】
図８は、この場合の出力内容の一例を示す説明図である。同図に示すように、最初に話し手が発声８０１を行った後、本来ならば音声翻訳を行って翻訳結果８０２を出力するが、聞き手が割り込み発声８０３を行ったため、翻訳結果８０２の出力は抑制され、聞き手の割り込み発声の翻訳結果８０４が出力される。なお、同図の点線は、出力が抑制されたことを表している。
【００６１】
翻訳結果の出力の抑制とは、最も単純には音声出力を行わないことで実現する。このような処理を行うことによって、聞き手が話し手に対して急に対話を必要とした場合に、最初の話し手の翻訳結果の出力を抑制することで待ち時間の少ない対話を行うことが可能となる。出力の抑制方法はこれに限られるものではなく、出力の音量を下げるなどのあらゆる方法を適用できる。
【００６２】
次に、最初の話し手の発声について音声区間の終端が検出され、翻訳処理が実行中であり、翻訳結果が出力されていない場合のときに、音声が新たに検出された場合を考える。このとき、新たな音声の話者が最初の話し手と同一であった場合は、新たな発声は最初の発声に対する追加発声とみなすことができる。
【００６３】
図３では、最初の話し手の発声が終了して音声翻訳を処理中であり、翻訳結果を出力する前に、最初の話し手が割り込んだ場合の出力方法３０２に相当する。この場合、出力制御部１０５は、２つの発声に対してまとめて翻訳処理を実行し、その翻訳結果を出力する出力方法を決定する。
【００６４】
図９は、この場合の出力内容の一例を示す説明図である。同図に示すように、最初に話し手が発声９０１を行った後、次の発声９０２が検出される。そして、発声９０１および発声９０２の両方に対応する翻訳結果９０３が出力される。
【００６５】
このような処理により、言い淀みなどが原因で発声の検出が二つに分かれた場合であっても、翻訳結果をまとめて出力することによって、話し手はより正確に発話の意図を伝えることができる。
【００６６】
次に、最初の話し手の発声について音声区間の終端が検出され、翻訳処理が実行中であり、翻訳結果が出力されていない場合のときに、音声が新たに検出され、かつ、新たに検出された音声の話者が最初の話し手と異なる聞き手であった場合を考える。図３では、最初の話し手の発声が終了して音声翻訳を処理中であり、翻訳結果を出力する前に、聞き手が割り込んだ場合の出力方法３０３に相当する。
【００６７】
この場合は、聞き手からみれば最初の話し手の翻訳結果が出力される前に割り込み発声を行った点で、上述の話し手が発声中のときに聞き手が割り込み発声を行った場合（図３の出力方法３０１）と同様であるので、出力制御部１０５は、同様の出力方法３０３を決定する。
【００６８】
次に、新たに音声が検出されたときに、先に入力された音声の翻訳結果を出力中であり、新たに検出された音声の話者が最初の話し手であった場合を考える。図３では、音声翻訳結果を出力中に話し手が割り込んだ場合の出力方法３０４に相当する。
【００６９】
この場合、出力制御部１０５は、新たな割り込み発声の音声区間が話し手用に予め定められた閾値を越えた場合に、出力中であった翻訳結果の音声出力を中断し、割り込み発声の音声の翻訳結果の出力を行う出力方法を決定する。
【００７０】
図１０は、この場合の出力内容の一例を示す説明図である。同図に示すように、最初に話し手が発声１００１を行い、その翻訳結果１００２が出力中であるとする。このとき、同じ話者が割り込み発声１００３を行い、その長さが話し手用の閾値を越えたとすると、翻訳結果１００２出力は中断され、割り込み発声の翻訳結果１００４が出力される。
【００７１】
このような処理により、特別な操作を伴わずに話し手が最初の発言を訂正して新たな発声を行うことが可能となる。また、割り込み発声の時間が話し手用の閾値を越えてから前の発声の中断を行うため、咳などの不要音を話し手が行った場合に誤って出力を中断する可能性を低減することができる。
【００７２】
次に、新たに音声が検出されたときに、先に入力された音声の翻訳結果を出力中であり、新たに検出された音声の話者が聞き手であった場合を考える。図３では、音声翻訳結果を出力中に聞き手が割り込んだ場合の出力方法３０５に相当する。
【００７３】
この場合は、聞き手が話し手の主張を遮ってまで発話を望んだ状況であるとみなすことができる。ただし、咳や相槌などによって誤動作が生じることは防止する必要がある。このため、出力制御部１０５は、新たな割り込み発声の音声区間が聞き手用に予め定められた閾値を越えた場合に、出力中であった翻訳結果の音声出力を中断し、割り込み発声の音声の翻訳結果の出力を行う出力方法を決定する。
【００７４】
図１１は、この場合の出力内容の一例を示す説明図である。同図に示すように、最初の話し手の発声１１０１に対して翻訳結果１１０２が出力されているときに、聞き手が割り込み発声１１０３を行い、その長さが聞き手用に設定された時間より長くなった場合に、翻訳結果１１０２の出力が中断され、聞き手の割り込み発声１１０３の翻訳結果１１０４が出力される。
【００７５】
このような処理により、聞き手は最初の話し手の翻訳結果に対して即時的な応答を行うことができ、その内容を極力速やかに最初の話し手に伝えることができる。また、聞き手は話し手の音声に対して割り込み発声を行い、不要な発声を聞くことなく対話を行うことができる。
【００７６】
また、話し手と聞き手で、割り込み発声の判断に関する時間の閾値に異なる値を設定することで、割り込み発声を行う話者に合わせた処理を行うことができる。すなわち、最初の話し手が割り込み発声を行う際に相槌を行うことは考えられないため、咳などの不要語を棄却するのに十分な時間を閾値として設定する。一方、聞き手の場合は相槌などで話し手の翻訳結果が中断されるのは望ましくないため、簡単な相槌よりは長めの時間を閾値として設定する。
【００７７】
このように、第１の実施の形態にかかる機械翻訳装置では、割り込み発声を行った話者の情報と音声翻訳処理の処理状態とに応じて出力する翻訳結果を制御することができる。これにより、対話を阻害することなく、適切に割り込み発声の翻訳結果の出力を制御することができる。また、特別な操作を必要とすることなく、極力自然な形でユーザ間の音声に対して翻訳処理を行い、その翻訳結果を出力することができる。
【００７８】
なお、最初の話し手の発声が終了して音声翻訳を処理中であり、翻訳結果を出力する前に、最初の話し手が割り込んだ場合の出力方法３０２に関し、以下のような変形例が考えられる。
【００７９】
まず、出力制御部１０５が、後の発声は最初の発声に対する修正の発声とみなし、最初の発声の翻訳結果を後の発声の翻訳結果で置換して出力する出力方法を決定するように構成してもよい。
【００８０】
また、出力制御部１０５は、後の発声と最初の発声との対応関係がとれる場合に、後の発声の翻訳結果を最初の発声の対応部分の翻訳結果で置換した結果を出力する出力方法を決定するように構成してもよい。以下、この場合の出力内容の例について図１２〜図１４を用いて説明する。
【００８１】
図１２および図１３は、形態素解析、構文解析の情報を用いた発声間の対応付けの一例を示す説明図である。
【００８２】
図１２では、「明日ＬＡに行きます」を意味する日本語による最初の発声１２０１に対して形態素解析と構文解析を行った結果、３つの文節に分けられたことが示されている。「明日ロサンゼルスに行きます」を意味する日本語による後の発声１２０２についても同様の解析を行い、３つの文節に分けられた場合、３つの文節相互間でＤＰ（ダイナミックプログラミング）マッチングを行い、各文節間の対応関係を推定する。
【００８３】
その結果、この例では２番目の文節が言い直されていると判断できるため、後の発声の２番目の文節が置換され、「明日ロサンゼルスに行きます」を意味する発声１２０３を翻訳対象として翻訳処理が行われる。
【００８４】
図１３は、「私は神奈川県に住んでいます」を意味する日本語を発声したが、誤認識により「私は香川県に住んでいます」を意味する認識結果１３０１が出力され、ユーザが誤りを訂正するために後の発声として、主語を省略した「神奈川県に住んでいます」を意味する日本語を発声した例を示している。
【００８５】
この場合、主語が省略されているため、後の発声についての解析結果では文節が２つだけ抽出される。この後、上述の例と同様にＤＰマッチングを行うと、例えば、最初の発声に対して最初の文節は脱落し、２番目の文節は置換され、３番目の文節は一致したと判定される。したがって、最初の発声の３つの文節のうち、２番目の文節が後の発声の対応する文節と置換され、「私は神奈川県に住んでいます」意味する発声１３０３を翻訳対象として翻訳処理が行われる。
【００８６】
図１４は、音素表記の情報を用いた発声間の対応付けの一例を示す説明図である。同図では、「私は香川県に住んでいます」を意味する認識結果１４０１と、対応する音素表記１４０２が示されている。また、この例では、後の発声として、誤った箇所に対応する文字列１４０３（「神奈川県に」）のみが発声されており、文字列１４０３の音素表記１４０４が示されている。
【００８７】
このように音素表記された発声に対してＤＰマッチングによる対応付けを行い、対応のとれた範囲の区間内の音素が所定の個数より大きく、一致する度合いが所定の閾値より大きい場合に、後の発声は最初の発声の一部分に対する言い直し発声と判断することができる。
【００８８】
所定の個数としては、例えば６音素（約３音節に相当）を設定する。また、一致する度合いの算出方法としては、音素正解精度を用い、所定の閾値としては、例えば７０％を設定する。音素正解精度（Ａｃｃ）は、以下の（１）式で算出する。
Ａｃｃ＝１００×（総音素数−脱落数−挿入数−置換数）／総音素数  ・・・（１）
【００８９】
なお、総音素数とは、対応する部分の最初の発声の音素数の総数をいう。また、脱落数、挿入数、および置換数とは、それぞれ後の発声において、最初の発声に対して削除、追加、および置換されている音素の個数をいう。
【００９０】
上述の例では、「ＫａｇａｗａｋｅＮｎｉ」の総音素数が１１であり、「ＫａｎａｇａｗａｋｅＮｎｉ」に対して、脱落数は０、挿入数は２（「ｎａ」の部分）、置換数は０であるため、Ａｃｃ＝８２％となる。この場合は、音素数（１１）が所定の個数（６）より大きく、一致する度合いが所定の閾値（７０％）より大きいため、言い直し発声であると判断される。したがって、最初の発声の対応部分が言い直し発声で置換され、「私は神奈川県に住んでいます」意味する発声１４０５を翻訳対象として翻訳処理が行われる。
【００９１】
このように、後の発声と最初の発声との対応関係がとれる場合には、後の発声は最初の発声の言い直しであると判断し、最初の発声を後の発声で修正するため、話し手はより正確に発話の意図を伝えることができる。
【００９２】
（第２の実施の形態）
第２の実施の形態にかかる機械翻訳装置は、最初の発声が割り込まれた箇所と、割り込み発声に含まれる指示語に対応する最初の発声の箇所を明示して、話し手に元の発声の内容を提示するものである。
【００９３】
図１５は、第２の実施の形態にかかる機械翻訳装置１５００の構成を示すブロック図である。同図に示すように、機械翻訳装置１５００は、記憶部１５１０と、表示部１５２０と、入力受付部１０１と、音声認識部１０３と、検出部１０２と、翻訳部１０４と、出力制御部１５０５と、指示対象抽出部１５０６と、対応抽出部１５０７と、を備えている。
【００９４】
第２の実施の形態では、記憶部１５１０と、表示部１５２０と、指示対象抽出部１５０６と、対応抽出部１５０７とを追加したこと、および出力制御部１５０５の機能が第１の実施の形態と異なっている。その他の構成および機能は、第１の実施の形態にかかる機械翻訳装置１００の構成を表すブロック図である図１と同様であるので、同一符号を付し、ここでの説明は省略する。
【００９５】
記憶部１５１０は、話者ごとの言語の情報を格納する言語情報テーブル１５１１を格納する記憶部であり、ＨＤＤ（Hard Disk Drive）、光ディスク、メモリカード、ＲＡＭ（Random Access Memory）などの一般的に利用されているあらゆる記憶媒体により構成することができる。
【００９６】
図１６は、言語情報テーブル１５１１のデータ構造の一例を示す説明図である。同図に示すように、言語情報テーブル１５１１は、話者を一意に識別する情報（ユーザ名）と、話者が使用する原言語の情報（言語）とを対応づけて格納している。
【００９７】
第１の実施の形態では、いずれの言語からいずれの言語に翻訳するか話者自身により事前に指定された情報に従って翻訳を行っていた。これに対し、本実施の形態では、言語情報テーブル１５１１を用いることで、一度設定した言語は話者が変わるまで、再入力せずに用いることができる。
【００９８】
また、言語情報テーブル１５１１を利用することにより、出力制御部１５０５は翻訳結果を、その言語を使用しているユーザに対してのみ出力することができる。例えば、日本語と英語と中国語のユーザが機械翻訳装置１５００を利用している場合、日本語のユーザの発声に対して、英語の翻訳結果が英語のユーザに対してのみ出力され、中国語の翻訳結果が中国語のユーザに対してのみ出力されるように構成することが可能となる。
【００９９】
表示部１５２０は、音声認識部１０３の認識結果や、翻訳部１０４の翻訳結果である翻訳結果を表示可能な表示デバイスである。表示内容は、出力制御部１５０５からの命令を受けて変更することができる。表示部１５２０の数や、表示内容については、色々な例が考えられるが、ここでは一例として、すべてのユーザが視聴可能な１つの表示部１５２０を備え、割り込まれた発声の話者に対して、翻訳を行う前の割り込まれた発声内容が表示されるものとする。表示内容の詳細については後述する。
【０１００】
指示対象抽出部１５０６は、割り込み発声の中に含まれる指示語が指し示す指示対象を、割り込まれた発声に対する翻訳結果から抽出するものである。具体的には、指示対象抽出部１５０６は、最初の話者と異なる話者からなされた割り込み発声の中に代名詞などの指示語が含まれる場合に、割り込まれた発声から、割り込み発声開始時までに出力された部分を取り出し、割り込まれた部分により近い句であって、かつ割り込み発声の指示語に対応する名詞句や動詞句を抽出する。
【０１０１】
対応抽出部１５０７は、翻訳前の文である音声の認識結果と、翻訳結果との間の単語間の対応関係を抽出するものである。ルールベース翻訳により翻訳処理を行う場合、翻訳部１０４は、翻訳処理の入力文である認識結果を構文解析し、解析結果である木を所定のルールで変換して翻訳先の単語に置換する。この場合、対応抽出部１５０７は、変換前後の木構造を照合することにより、元の文章の任意の単語（以下、原単語という。）と翻訳先の文章の単語（以下、対訳単語という。）との対応関係を抽出できる。
【０１０２】
出力制御部１５０５は、第１の実施の形態の出力制御部１０５の機能に加え、指示対象抽出部１５０６および対応抽出部１５０７による抽出結果を参照することにより、指示語に関連する情報、および発声が割り込まれたことに関連する情報を付加した入力文を表示部１５２０に表示する機能を有する。
【０１０３】
具体的には、出力制御部１５０５は、指示対象抽出部１５０６により抽出された指示対象に相当する入力文の部分に、二重下線を付して表示部１５２０に表示する。また、出力制御部１５０５は、割り込み発声が開始された時点で出力されていた翻訳結果の部分に対応する入力文の部分に、下線を付して表示部１５２０に表示する。なお、該当部分の表示態様は下線または二重下線に限られるものではなく、他の単語と区別することが可能であれば、文字の大きさ、色、フォントなどのあらゆる属性を変更した表示態様を適用できる。
【０１０４】
次に、このように構成された第２の実施の形態にかかる機械翻訳装置１５００による音声翻訳処理について説明する。第２の実施の形態の音声翻訳処理は、第１の実施の形態における音声翻訳処理を表す図４と同様であるが、出力方法決定処理の詳細が異なっている。
【０１０５】
具体的には、第２の実施の形態では、第１の実施の形態と同様の方法により音声出力の内容を決定する処理に加え、表示部１５２０に表示する出力内容を決定する処理が実行される。これらの処理は独立した処理であるため、以下では、後者の処理のみを抽出して説明するが、実際には第１の実施の形態と同様の処理も並行して実行される。
【０１０６】
以下に、第２の実施の形態にかかる機械翻訳装置１５００による出力方法決定処理について説明する。図１７は、第２の実施の形態における出力方法決定処理の全体の流れを示すフローチャートである。
【０１０７】
なお、表示する出力内容を決定する処理の個々のステップは、必ずしも１フレームで終了するものではない。このため、図１７では、フレーム単位の処理の流れではなく、必要な個数のフレームを取得して処理を完了したら次のステップに進むことを前提とした処理の流れの概要を表している。
【０１０８】
また、図１７の処理は、翻訳結果の出力中に新たな発声を検出し、その話者が最初の話者と異なる場合に実行される処理である。その他の条件のときの処理は、上述のように第１の実施の形態の図６と同様の処理が実行される。
【０１０９】
まず、出力制御部１５０５は、割り込み発声の検出までに出力されていた元の発声の翻訳結果の単語を取得する（ステップＳ１７０１）。
【０１１０】
例えば、最初の話し手が「これから○○街と××街に行こうと思っています。」を意味する日本語を発声し、翻訳結果として「From now, I would like to go to ○○ street and ×× street.」という文を生成し、生成した翻訳結果を出力中であったとする。
【０１１１】
そして、当該翻訳結果の出力中に、聞き手が「○○ street」を聞いた時点で、その場所に話し手が行くのは危険と考えて、「The street is dangerous for you.」と発声したとする。この例では、「From now, I would like to go to ○○ street」が、割り込み発声の検出までに出力されていた元の発声の翻訳結果の単語として取得される。
【０１１２】
次に、対応抽出部１５０７は、取得した単語に対する翻訳前の音声の認識結果の対応部分を抽出する（ステップＳ１７０２）。具体的には、対応抽出部１５０７は、翻訳時に用いた変換前後の木構造を参照して、翻訳結果の単語に対応する認識結果の単語を抽出する。
【０１１３】
上述の例に対しては、例えば、「From now」、「I would like to」、「go to」、「○○ street」に対応する４つの日本語の語句（「これから」、「○○街と」、「行こうと」、「思っています」）が抽出される。
【０１１４】
次に、指示対象抽出部１５０６は、割り込み発声の認識結果から指示語を検出する（ステップＳ１７０３）。この際、指示対象抽出部１５０６は、事前に登録された単語辞書（図示せず）などを参照して指示語に該当する単語を検出する。上述の例に対しては、例えば、代名詞に対応する部分として「The street」という部分が割り込み発声の認識結果から取得される。
【０１１５】
次に、指示対象抽出部１５０６は、検出した指示語が指し示す元の音声内の指示対象を抽出する（ステップＳ１７０４）。具体的には、指示対象抽出部１５０６は以下のようにして指示対象を抽出する。
【０１１６】
まず、指示対象抽出部１５０６は、割り込まれた発声に対応する認識結果に含まれる単語のうち、割り込まれた時点に最も近い単語から、割り込まれた発声の指示語と置換可能であるかを解析する。置換可能か否かは、例えば、類語辞書を用いて、単語の概念間の距離に基づいて判断する。類語辞書とは、単語を意味的に分類した辞書であり、例えば広義の単語から階層が下るにつれて具体的な単語となるように分類されている。
【０１１７】
図１８は、類語辞書の一例を示す説明図である。同図では、例えば、「通り、ロード、街」などの単語は「何通り」のように地域の名称に使うことができる単語として、同一のノード１８０１にまとめられる。
【０１１８】
このような類語辞書を利用して、指示対象抽出部１５０６は、ノード間の距離が小さいほど置換可能な度合いが高いと判断することができる。例えば、「通り」が属するノード１８０１と、「国道」が属するノード１８０２とは距離が２であるため、比較的置換可能な度合いが高いと判断できる。また、「通り」と、「氷」とは、日本語では発音が近い単語であるが、それぞれが属するノード（ノード１８０１、ノード１８０３）間の距離が大きいため、置換可能な度合いは低いと判断できる。
【０１１９】
そして、指示対象抽出部１５０６は、割り込み時点からの距離に対応したスコアと置換可能な度合いを表現したスコアとの和を算出し、算出したスコアの高い部分を指示対象として推定する。なお、指示対象の推定方法はこれに限られるものではなく、音声対話技術における指示語推定に関するあらゆる方法を適用できる。
【０１２０】
図１９は、指示対象抽出の具体例の示す説明図である。同図では、上述の例で処理される元の発声の翻訳結果と、割り込み時点からの距離を表す数値とが対応づけられて示されている。
【０１２１】
最初に、割り込み時点に最も近い単語である「○○ street」と、指示語「The street」とが置換可能であるか解析する。この例では、当該単語が置換可能であると判断され、「○○ street」が指示対象であると推定される。
【０１２２】
図１７に戻り、出力制御部１５０５は、ステップＳ１７０２で抽出された割り込み時点までの認識結果の対応部分と、ステップＳ１７０４で抽出された指示対象とを明示する出力方法を決定する（ステップＳ１７０５）。具体的には、出力制御部１５０５は、認識結果の対応部分に下線を付し、指示対象に二重下線を付して表示部１５２０に表示するような出力方法を決定する。
【０１２３】
図２０は、表示部１５２０に対する表示方法の一例を示す説明図である。同図は、上述の例に対応し、日本語の話者に対して日本語で割り込みを伝える情報を表示する画面を示した図である。
【０１２４】
同図の上部には、言語情報テーブル１５１１を参照して取得した言語（この例では日本語）で表現されたメッセージとして、「次の発声に対して割り込まれました。」を意味する日本語２００４が表示される。
【０１２５】
また、最初の話し手の発声内容を表示し、割り込まれた時点までに聞き手に出力していた部分に対応する部分である日本語２００１および日本語２００３には下線を付して表示する。さらに、割り込み発声に最も近い部分に対応する日本語２００２には取り消し線を付して表示する。
【０１２６】
また、指示対象抽出部１５０６によって指示対象が「○○ street」であると推定されたため、当該指示対象に対応する元の言語の単語である日本語２００２（「○○街」）に、指示語の推定結果であることを示す二重下線を付して表示する。
【０１２７】
なお、割り込み発声に対しては、第１の実施の形態と同様に翻訳処理が実行され、翻訳結果として「あなたにとってその街路は危険です」を意味する日本語が音声出力される。したがって、最初の話し手は、自分の発声の翻訳結果の出力中に聞き手が割り込み発声を行ったこと、割り込み時点までに相手に伝わった内容、および相手の割り込み発声の「その街路」に対応する部分が元の発声のいずれの部分に相当かを明確に把握することができる。
【０１２８】
なお、対応抽出部１５０７について翻訳部１０４がルールベース翻訳技術で翻訳処理を行う場合の例について説明したが、翻訳部１０４が例文翻訳技術で翻訳処理を行う場合の例について以下に説明する。
【０１２９】
図２１は、例文翻訳における対応抽出処理の具体例を示す説明図である。同図に示すように、ユーザが「例をいくつか挙げると」を意味する日本語２１０１を発声したとすると、音声認識の後、例文を記憶したテーブル（図示せず）から対応する例文が検索され、例えば同図の日本語２１０２が取得される。
【０１３０】
翻訳部１０４は、例文を記憶したテーブルから日本語２１０２に対応する翻訳結果２１０３をさらに取得し、例文翻訳結果として出力する。テーブルは事前に準備するものであるため、翻訳結果２１０３と日本語２１０２との対応も事前に登録しておくことができる。また、ユーザの発声である日本語２１０１と、例文の日本語２１０２との間は、例文との照合を行うときに対応づけることができる。したがって、対応抽出部１５０７は、翻訳前の文である音声の認識結果と、翻訳後の文である翻訳結果との間の単語間の対応関係を可能な範囲で抽出することが可能となる。
【０１３１】
このように、第２の実施の形態にかかる機械翻訳装置では、発声が割り込まれた箇所と、割り込み発声に含まれる指示語に対応する元の発声の箇所を明示して、話し手に元の発声の内容を提示することができる。これにより、話し手は割り込み発声の内容を的確に把握でき、対話を円滑に進めることが可能となる。
【０１３２】
（第３の実施の形態）
第３の実施の形態にかかる機械翻訳装置は、割り込み発声の意図に応じて、元の発声の翻訳結果の出力方式を制御するものである。
【０１３３】
図２２は、第３の実施の形態にかかる機械翻訳装置２２００の構成を示すブロック図である。同図に示すように、機械翻訳装置２２００は、記憶部１５１０と、表示部１５２０と、入力受付部１０１と、音声認識部１０３と、検出部１０２と、翻訳部１０４と、出力制御部２２０５と、解析部２２０８と、を備えている。
【０１３４】
第３の実施の形態では、解析部２２０８を追加したこと、および出力制御部２２０５の機能が第２の実施の形態と異なっている。その他の構成および機能は、第２の実施の形態にかかる機械翻訳装置１５００の構成を表すブロック図である図１５と同様であるので、同一符号を付し、ここでの説明は省略する。
【０１３５】
解析部２２０８は、音声の認識結果を形態素解析し、解析で得られた単語の中から、予め定められた発話の意図を示す単語である代表語を抽出することによって、発話の意図を解析するものである。
【０１３６】
代表語としては、例えば、「ええ」、「なるほど」などを意味する相槌に対応する単語や、「わかりました」などのように同意を意味する単語などを事前に記憶部（図示する）等に登録する。
【０１３７】
出力制御部２２０５は、第２の実施の形態における出力制御部１５０５の機能に加え、解析部２２０８が解析した割り込み発声の発話の意味内容を参照して、翻訳結果の出力を制御するものである。
【０１３８】
図２３は、出力制御部２２０５が発話の意味内容を参照して出力方法を決定するときの規則の一例を示した説明図である。同図では、代表語に応じて、割り込まれた話者、割り込み発声と異なる言語のユーザ、および、割り込み発声と同じ言語のユーザのそれぞれに対して実行される出力処理内容を対応づけた規則の例が示されている。出力制御部２２０５による出力方法決定処理の詳細については後述する。
【０１３９】
次に、このように構成された第３の実施の形態にかかる機械翻訳装置２２００による音声翻訳処理について説明する。第３の実施の形態の音声翻訳処理は、第１および第２の実施の形態における音声翻訳処理を表す図４と同様であるが、出力方法決定処理の詳細が異なっている。
【０１４０】
以下に、第３の実施の形態にかかる機械翻訳装置２２００による出力方法決定処理について説明する。図２４は、第３の実施の形態における出力方法決定処理の全体の流れを示すフローチャートである。
【０１４１】
ステップＳ２４０１からステップＳ２４０４までの、話者と処理状態に応じた出力内容の決定処理は、第１の実施の形態にかかる機械翻訳装置１００におけるステップＳ６０１からステップＳ６０４までと同様の処理である。すなわち、図３に示すような規則に従って、割り込み発声に対する処理が行われる。第３の実施の形態では、これに加えて、以下のような話者と発話意図に応じた出力内容の決定処理が実行される。なお、ステップＳ２４０４の中で、以下に説明するステップＳ２４０５からステップＳ２４０６までの処理を含めて実行するように構成してもよい。
【０１４２】
まず、解析部２２０８が、割り込み発声の認識結果を形態素解析し、代表語を抽出する（ステップＳ２４０５）。具体的には、解析部２２０８は、事前に登録した代表語と一致する単語を、割り込み発声の認識結果に対する形態素解析結果から抽出する。なお、割り込み発声が取得されなかった場合の各フレームでは、本ステップ以下の処理は実行されない。
【０１４３】
次に、出力制御部２２０５は、話者と、解析部２２０８が抽出した代表語とに応じた出力方法を決定する。具体的には、出力制御部２２０５は、図２３に記載したような規則に従い、出力方法を決定する。以下に、その詳細について説明する。
【０１４４】
まず、代表語が「ええ」や「なるほど」などの相槌を意味する単語２３０１の場合は、割り込み発声の翻訳結果を出力せず、割り込まれた翻訳結果の出力を再開する。このような処理により、意味のない割り込み発声に対して翻訳結果を出力し、対話を阻害することを防止できる。なお、割り込まれた発声の再開方法については、既存のバージイン技術によって実現できる。
【０１４５】
次に、代表語が「わかりました」などのように、割り込まれた翻訳結果に対する賛成の意味を表す単語２３０２の場合を考える。この場合は、割り込んだ話者と同じ言語を扱うユーザについては、割り込み発声の翻訳結果は出力されない。割り込み発声自体を聞くことで割り込み発声が同意を意味することを理解できるからである。
【０１４６】
なお、各話者に対応する言語は、記憶部１５１０に記憶された言語情報テーブル１５１１の情報を参照して取得することができる。
【０１４７】
一方、割り込んだ話者の言語以外の言語のユーザに対しては、割り込み発声が同意の内容であることを知らせる必要があるので、割り込み発声の翻訳結果を出力する。
【０１４８】
次に、代表語が「ちがいます」のように否定の意味を表す単語２３０３の場合を考える。この場合は、単語２３０２の場合と同様に、割り込んだ話者と同じ言語を扱うユーザについては、割り込み発声の翻訳結果は出力されない。
【０１４９】
割り込んだ話者の言語以外の言語のユーザに対しては、割り込み発声が否定の内容であることを知らせる必要があるので、割り込み発声の翻訳結果を出力する。このとき、割り込まれたユーザに対しては否定語の内容と、割り込み発声を行ったことが失礼とならないように、「すみませんが」という主旨の字句を翻訳結果に付加して、割り込まれた話者に対して出力する。一方、その他のユーザに対する配慮は不要であるため、入力文に対する翻訳結果をそのまま出力する。
【０１５０】
このような処理により、割り込み発声が割り込まれた話者に対して失礼な印象を与えることを軽減し、対話を潤滑に進めることが可能となる。
【０１５１】
なお、代表語が上記のいずれのカテゴリーにも属さない場合には、割り込み発声のユーザと同じ言語のユーザに対しては割り込み発声の翻訳結果を出力せずに、それ以外のユーザには翻訳結果を出力する。このような処理により、割り込んだ話者と同じ言語を扱う話者に割り込み発声の翻訳結果を伝えるという冗長な処理を省くことができる。
【０１５２】
また、代表語、接頭語、および代表語に対応する処理については、言語ごとに異なる情報を設定するように構成してもよい。さらに、割り込まれた発声の言語と、割り込み発声の言語との双方の情報を参照するように構成してもよい。これにより、例えば、英語のユーザが、日本語で相槌を行った場合にも割り込み発声に対する処理を行うことができる。
【０１５３】
このように、第３の実施の形態にかかる機械翻訳装置では、割り込み発声の意図に応じて、元の発声の翻訳結果の出力方式を制御することができる。これにより、不要に割り込み発声の翻訳結果を出力して対話を阻害することを回避できる。
【０１５４】
（第４の実施の形態）
多数の異なる言語を扱う音声翻訳システムでは、従来のバージイン技術のように割り込みを行った話者に対する出力を制御するだけでは、言語の異なる話者が割り込み発声した場合にどのような意味を持つ割り込み発声であるかを理解させるのが困難である。
【０１５５】
また、特許文献１の方法では、音声翻訳システムが翻訳結果を出力する前に他のユーザが割り込み発声を行った場合など、音声翻訳システム特有の状況に対応できない。
【０１５６】
第４の実施の形態にかかる機械翻訳装置は、３人以上のユーザが使用しており、最初の話し手と割り込み発声を行った聞き手の言語がそれぞれ異なり、さらにそれらの２名と異なる言語を用いるユーザが利用している場合に、各話者に対する翻訳結果の出力内容を一致させるように出力を制御するものである。
【０１５７】
図２５は、第４の実施の形態にかかる機械翻訳装置２５００の構成を示すブロック図である。同図に示すように、機械翻訳装置２５００は、記憶部１５１０と、表示部１５２０と、入力受付部１０１と、音声認識部１０３と、検出部１０２と、翻訳部１０４と、出力制御部２５０５と、対応抽出部１５０７と、を備えている。
【０１５８】
第４の実施の形態では、指示対象抽出部１５０６を削除したこと、および出力制御部２５０５の機能が第２の実施の形態と異なっている。その他の構成および機能は、第２の実施の形態にかかる機械翻訳装置１５００の構成を表すブロック図である図１５と同様であるので、同一符号を付し、ここでの説明は省略する。
【０１５９】
出力制御部２５０５は、最初の話し手の言語（以下、第１言語という。）と割り込み発声を行った聞き手の言語（以下、第２言語という。）とが異なるときに、第１言語および第２言語のいずれとも異なる第３言語を用いるユーザに対して、最初の話し手の翻訳結果のうち、割り込み発声の前までに聞き手に第２言語により出力された部分に相当する第３言語の翻訳結果の部分を出力するように制御するものである。
【０１６０】
次に、このように構成された第４の実施の形態にかかる機械翻訳装置２５００による音声翻訳処理について説明する。第４の実施の形態の音声翻訳処理は、第１〜第３の実施の形態における音声翻訳処理を表す図４と同様であるが、出力方法決定処理の詳細が異なっている。
【０１６１】
具体的には、第４の実施の形態では、第２の実施の形態と同様の方法により出力内容を決定する処理に加え、第３言語のユーザに対する出力内容を決定する処理が実行される。以下では、後者の処理のみを抽出して説明するが、実際には第２の実施の形態と同様の処理も並行して実行される。
【０１６２】
以下に、第４の実施の形態にかかる機械翻訳装置２５００による出力方法決定処理について説明する。図２６は、第４の実施の形態における出力方法決定処理の全体の流れを示すフローチャートである。
【０１６３】
まず、出力制御部２５０５は、割り込み発声が行われた第２言語で出力された翻訳結果のうち、割り込み検出までに出力されていた部分（以下、対訳単語１という。）を取得する（ステップＳ２６０１）。
【０１６４】
次に、対応抽出部１５０７は、取得した対訳単語１に対する元の音声の認識結果の対応部分（以下、原単語１という。）を抽出する（ステップＳ２６０２）。対応部分は、第２の実施の形態と同様に、変換前後の木構造を参照することにより抽出する。
【０１６５】
次に、出力制御部２５０５は、出力が必要な言語を１つ取得する（ステップＳ２６０３）。具体的には、出力制御部２５０５は、機械翻訳装置２２００を利用している話者に対する言語を言語情報テーブル１５１１から取得し、取得した言語から１つの言語を取得する。
【０１６６】
次に、対応抽出部１５０７は、取得した言語による翻訳結果のうち、ステップＳ２６０２で取得した原単語１に対応する部分（以下、対訳単語２という。）を抽出する（ステップＳ２６０４）。
【０１６７】
次に、出力制御部２５０５は、少なくとも取得した対訳単語２をすべて出力するまで翻訳結果を出力するような出力方法を決定する（ステップＳ２６０５）。これにより、割り込み発声の言語で割り込み時点まで出力されていた部分に相当する部分が、他の話者の言語による翻訳結果でも出力することができる。
【０１６８】
次に、出力制御部２５０５は、すべての言語を処理したか否かを判断し（ステップＳ２６０６）、すべての言語を処理していない場合は（ステップＳ２６０６：ＮＯ）、次の言語を取得して処理を繰り返す（ステップＳ２６０３）。すべての言語を処理した場合は（ステップＳ２６０６：ＹＥＳ）、出力方法決定処理を終了する。
【０１６９】
次に、本実施の形態で処理される情報の具体例について説明する。図２７は、各言語による発声または翻訳結果の一例を示す説明図である。
【０１７０】
同図に示す例では、まず、最初の話し手が言語１により発声２７０１を行ったことを前提とする。なお、発声２７０１は、入力文章の解析を行って所定の単位で分割した際の分割結果を模式的に表したものである。すなわち、例えば、「ＡＡＡ」、「ＢＢＢ」がそれぞれ１つの分割単位であることを意味する。
【０１７１】
また、発声２７０１に対して、言語２、言語３で翻訳処理を行い、それぞれ翻訳結果２７０２、翻訳結果２７０３が出力されたものとする。なお、発声２７０１の分割単位内の文字列と同一の文字列を有する部分が、各翻訳結果で対応する部分であることを示している。
【０１７２】
一方、各言語の文法規則の相違や、省略表現などを原因として、元の発声と翻訳結果との間で対応が取れない部分が生じうる。同図では、発声２７０１の分割単位内の文字列と一致しない文字列を有する部分が、各翻訳結果で対応が取れない部分であることを示している。例えば、同図では、言語２の翻訳結果２７０２の「ＧＧＧ」の部分が、発声２７０１と対応の取れない部分であることが示されている。
【０１７３】
同図は、言語２の翻訳結果のうち、「ＧＧＧ」の部分まで出力した時点で、言語２の話者が割り込み発声を行ったことを示している。この場合であっても、本実施の形態によれば、割り込み直後に言語３の翻訳結果の出力を中断するのではなく、言語２の出力済み部分に相当する部分が出力された後に、出力処理を中断することができる。以下に、その手順の具体例について説明する。
【０１７４】
まず、割り込み発声が行われた言語２で、割り込み発声の検出時点までに出力された部分である「ＥＥＥ  ＤＤＤ  ＧＧＧ」を取得する（ステップＳ２６０１）。次に、対応抽出部１５０７が、翻訳前の入力文で対応する部分「ＤＤＤ  ＥＥＥ」を抽出する（ステップＳ２６０２）。
【０１７５】
次に、言語３の翻訳結果のうち、ステップＳ２６０２で抽出した部分「ＤＤＤ  ＥＥＥ」に対応する部分を抽出する（ステップＳ２６０４）。この例では、言語３でも対応する分割単位がすべて存在するため、「ＤＤＤ  ＥＥＥ」が抽出される。
【０１７６】
したがって、出力制御部２５０５は、「ＤＤＤ  ＥＥＥ」が出力されるまで言語３の翻訳結果が出力されるように出力方法を決定する（ステップＳ２６０５）。この例では、割り込み発声時には言語３の翻訳結果は「ＢＢＢ  ＡＡＡ  ＣＣＣ」までしか出力されていなかったが、「ＤＤＤ  ＥＥＥ」が出力されるまで各フレームでの処理を監視し、翻訳結果の出力を継続する。
【０１７７】
これにより、言語３に対する翻訳結果の出力は「ＢＢＢ  ＡＡＡ  ＣＣＣ  ＤＤＤ  ＥＥＥ」となる。このような処理を行うことで、割り込み発声が入力されたときに翻訳結果の出力を全て抑制せず、割り込まれた時点までに各ユーザに伝えられた内容を共通化することによって、対話の文脈が途切れることを防ぐことができる。
【０１７８】
なお、上述のように３つの異なる言語のユーザに対して翻訳結果を出力する際に、音声合成する際のパラメータを変更して、元の発声と割り込み発声とを明確に区別可能に出力するように構成してもよい。音声合成のパラメータとしては、声の性別、声質の特徴、平均的な話速、平均的な声の高さ、平均的な音量などのあらゆるパラメータを用いることができる。
【０１７９】
例えば、上述の例では、言語３の話者に対して、最初の発声（言語１）と、割り込み発声（言語２）がそれぞれ翻訳されて２つの翻訳結果が出力される。この際、最初の発声に翻訳結果に対する音声合成のパラメータを予め定めた量だけ変化させたパラメータを、割り込み発声の翻訳結果に対するパラメータとして利用して音声合成を行う。これにより、ユーザは割り込み発声が存在することを明確に把握できる。
【０１８０】
このように、第４の実施の形態にかかる機械翻訳装置では、最初の話し手と割り込み発声を行った聞き手の言語がそれぞれ異なる場合に、さらにそれらの２名と異なる言語を用いるユーザに対して、翻訳結果の出力内容を一致させて出力することができる。このため、文脈が途切れることにより対話が阻害されることを回避することができる。
【０１８１】
図２８は、第１〜第４の実施の形態にかかる機械翻訳装置のハードウェア構成を示す説明図である。
【０１８２】
第１〜第４の実施の形態にかかる機械翻訳装置は、ＣＰＵ（Central Processing Unit）５１などの制御装置と、ＲＯＭ（Read Only Memory）５２やＲＡＭ（Random Access Memory）５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、各部を接続するバス６１を備えている。
【０１８３】
第１〜第４の実施の形態にかかる機械翻訳装置で実行される機械翻訳プログラムは、ＲＯＭ５２等に予め組み込まれて提供される。
【０１８４】
第１〜第４の実施の形態にかかる機械翻訳装置で実行される機械翻訳プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【０１８５】
さらに、第１〜第４の実施の形態にかかる機械翻訳装置で実行される機械翻訳プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、第１〜第４の実施の形態にかかる機械翻訳装置で実行される機械翻訳プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【０１８６】
第１〜第４の実施の形態にかかる機械翻訳装置で実行される機械翻訳プログラムは、上述した各部（入力受付部、音声認識部、検出部、翻訳部、出力制御部、指示対象抽出部、対応抽出部、解析部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ５１が上記ＲＯＭ５２から機械翻訳プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、各部が主記憶装置上に生成されるようになっている。
【産業上の利用可能性】
【０１８７】
以上のように、本発明にかかる機械翻訳装置、機械翻訳方法および機械翻訳プログラムは、複数の話者の対話を仲介して音声合成して出力する音声翻訳システムに適している。
【図面の簡単な説明】
【０１８８】
【図１】機械翻訳装置の使用場面を説明するための概念図である。
【図２】第１の実施の形態にかかる機械翻訳装置の構成を示すブロック図である。
【図３】出力方法を決定する規則の一例を示した説明図である。
【図４】第１の実施の形態における音声翻訳処理の全体の流れを示すフローチャートである。
【図５】第１の実施の形態における情報検出処理の全体の流れを示すフローチャートである。
【図６】第１の実施の形態における出力方法決定処理の全体の流れを示すフローチャートである。
【図７】出力内容の一例を示す説明図である。
【図８】出力内容の一例を示す説明図である。
【図９】出力内容の一例を示す説明図である。
【図１０】出力内容の一例を示す説明図である。
【図１１】出力内容の一例を示す説明図である。
【図１２】発声間の対応付けの一例を示す説明図である。
【図１３】発声間の対応付けの一例を示す説明図である。
【図１４】発声間の対応付けの一例を示す説明図である。
【図１５】第２の実施の形態にかかる機械翻訳装置の構成を示すブロック図である。
【図１６】言語情報テーブルのデータ構造の一例を示す説明図である。
【図１７】第２の実施の形態における出力方法決定処理の全体の流れを示すフローチャートである。
【図１８】類語辞書の一例を示す説明図である。
【図１９】指示対象抽出の具体例の示す説明図である。
【図２０】表示部に対する表示方法の一例を示す説明図である。
【図２１】例文翻訳における対応抽出処理の具体例を示す説明図である。
【図２２】第３の実施の形態にかかる機械翻訳装置の構成を示すブロック図である。
【図２３】出力方法を決定するときの規則の一例を示した説明図である。
【図２４】第３の実施の形態における出力方法決定処理の全体の流れを示すフローチャートである。
【図２５】第４の実施の形態にかかる機械翻訳装置の構成を示すブロック図である。
【図２６】第４の実施の形態における出力方法決定処理の全体の流れを示すフローチャートである。
【図２７】発声または翻訳結果の一例を示す説明図である。
【図２８】機械翻訳装置のハードウェア構成を示す説明図である。
【符号の説明】
【０１８９】
５１  ＣＰＵ
５２  ＲＯＭ
５３  ＲＡＭ
５４  通信Ｉ／Ｆ
６１  バス
１００  機械翻訳装置
１０１  入力受付部
１０２  検出部
１０３  音声認識部
１０４  翻訳部
１０５  出力制御部
２００ａ、２００ｂ、２００ｃ  ヘッドセット
３０１、３０２、３０３、３０４、３０５  出力方法
７０１  発声
７０２  翻訳結果
８０１  発声
８０２  翻訳結果
８０３  発声
８０４  翻訳結果
９０１、９０２  発声
９０３  翻訳結果
１００１、１００３  発声
１００２、１００４  翻訳結果
１１０１、１１０３  発声
１１０２、１１０４  翻訳結果
１２０１、１２０２、１２０３  発声
１３０１  認識結果
１３０３  発声
１４０１  認識結果
１４０２  音素表記
１４０３  文字列
１４０４  音素表記
１４０５  発声
１５００  機械翻訳装置
１５０５  出力制御部
１５０６  指示対象抽出部
１５０７  対応抽出部
１５１０  記憶部
１５１１  言語情報テーブル
１５２０  表示部
１８０１、１８０２、１８０３  ノード
２００１、２００２、２００３、２００４  日本語
２１０１、２１０２  日本語
２１０３  翻訳結果
２２００  機械翻訳装置
２２０５  出力制御部
２２０８  解析部
２３０１、２３０２、２３０３  単語
２５００  機械翻訳装置
２５０５  出力制御部
２７０１  発声
２７０２、２７０３  翻訳結果
【図１】
2008077601.tif 000003
【図２】
2008077601.tif 000004
【図３】
2008077601.tif 000005
【図４】
2008077601.tif 000006
【図５】
2008077601.tif 000007
【図６】
2008077601.tif 000008
【図７】
2008077601.tif 000009
【図８】
2008077601.tif 000010
【図９】
2008077601.tif 000011
【図１０】
2008077601.tif 000012
【図１１】
2008077601.tif 000013
【図１２】
2008077601.tif 000014
【図１３】
2008077601.tif 000015
【図１４】
2008077601.tif 000016
【図１５】
2008077601.tif 000017
【図１６】
2008077601.tif 000018
【図１７】
2008077601.tif 000019
【図１８】
2008077601.tif 000020
【図１９】
2008077601.tif 000021
【図２０】
2008077601.tif 000022
【図２１】
2008077601.tif 000023
【図２２】
2008077601.tif 000024
【図２３】
2008077601.tif 000025
【図２４】
2008077601.tif 000026
【図２５】
2008077601.tif 000027
【図２６】
2008077601.tif 000028
【図２７】
2008077601.tif 000029
【図２８】
2008077601.tif 000030