(57)【特許請求の範囲】
【請求項１】
ユーザからの電話を受けるステップと、
個人認証サーバを用いて前記ユーザを認証するステップと、
前記認証により特定されたユーザに予め対応づけられて記録される文例集を抽出するステップと、
前記ユーザの発話を電話網を通じて受け取り前記抽出された文例集中の文例を用いて音声認識するステップと、
前記音声認識したユーザの発話に対応する文例を上記文例集から検索するステップと、
上記検索した文例の訳文を電話網を通じて音声で出力するステップとを有することを特徴とする通訳サービス方法。
【請求項２】
請求項１に記載の通訳サービス方法において、
前記文例集を抽出するステップは、一般向け文例集からも抽出することを特徴とする通訳サービス方法。
【請求項３】
請求項１又は２に記載の通訳サービス方法において、
ユーザからの電話を受ける際にユーザの電話器の電話番号を検知し、検知した電話番号に基づき前記認証を行うことを特徴とする通訳サービス方法。
【請求項４】
請求項１又は２に記載の通訳サービス方法において、
ユーザからの電話を受ける際にユーザから個人情報の入力を受け、前記個人情報に基づき前記認証を行うことを特徴とする通訳サービス方法。
【請求項５】
ユーザからのアクセスを個人情報管理サーバで受け取るステップと、
前記個人情報管理サーバ内にもうけられた個人認証サーバを用いて前記ユーザを特定するステップと、
特定したユーザに予め対応づけられて記録される文例集を個人向け文例集のデータベースから抽出するステップと、
抽出した文例集に対するユーザの編集情報を受け取るステップと、
前記編集情報に基づき前記文例集への文例の追加、変更、削除を行った後、前記文例集を前記データベースに登録するステップと、
電話網を介した音声入力を受けて個人認証するステップと、
前記個人認証の結果、前記ユーザと特定された場合に、前記データベースに登録された文例集を読み出して前記音声入力の認識を行うステップと、
前記音声認識結果に対応する文例を上記データベースに登録された文例集から検索するステップと、
前記検索した文例を翻訳して前記電話網を介して出力するステップとを有することを特徴とする通訳サービス方法。
【請求項６】
請求項５に記載の通訳サービス方法において、
ユーザからのアクセスは電話網を通じて行われ、前記ユーザの電話器の電話番号を検知して前記ユーザを特定し、前記ユーザからの音声による指示によって前記編集情報を受け取ることを特徴とする通訳サービス方法。
【請求項７】
請求項５又は６に記載の通訳サービス方法において、
前記ユーザに予め用意した追加登録要文例集を提示し、該文例集から前記ユーザが選択した文例を受け取り、選択された文例とこの外国語の訳文を前記ユーザのデータベースに登録することを特徴とする通訳サービス方法。
【請求項８】
請求項５から７のいずれかに記載の通訳サービス方法において、
追加、変更された文例の外国語の訳文を自動翻訳により作成すると共に、作成された訳文の信頼度をユーザに伝え、更にユーザから精度の高い訳文の要求を受けた場合は、翻訳者に追加、変更された文例を送付して精度の高い訳文を作成することを可能にすることを特徴とする通訳サービス方法。
【請求項９】
請求項８に記載の通訳サービス方法において、
追加、変更された文例と同一もしくは類似の文例がデータベースに含まれるかどうかを検知し、同一もしくは類似の文例が含まれる場合には、訳文の信頼度が十分に高いと判定することを特徴とする通訳サービス方法。
【請求項１０】
請求項５から７のいずれかに記載の通訳サービス方法において、
追加、変更された文例の訳文が作成された際に、その訳文に対応する出力音声を自動作成し、上記自動作成された出力音声の品質を推定してユーザに伝え、更に品質の高い出力音声の要求を受けた場合、オペレータにデータを送付し、品質の高い出力音声を作成することを可能にすることを特徴とする通訳サービス方法。
【請求項１１】
ユーザと文例集とを対応づけて格納する個人向けデータベースと、
ユーザからの電話を受ける手段と、
前記ユーザを認証する手段と、
前記認証されたユーザに予め対応づけて登録されている文例集を前記個人向けデータベースから抽出する手段と、
前記ユーザの発話を電話網を通じて受け取りこれを前記文例集を用いて音声認識する手段と、
前記音声認識したユーザの発話に対応する文例を上記文例集から検索するステップと、
前記検索された文例の訳文を電話網を通じて音声で出力する手段とを有することを特徴とする通訳サービス装置。
【請求項１２】
ユーザからのアクセスを受け取る個人情報管理サーバと、
前記個人情報管理サーバ内にもうけられ、前記ユーザを特定する個人認証サーバと、
各文例集をユーザと対応づけて格納する個人向け文例集のデータベースと、
前記特定されたユーザに対応づけられた前記文例集を前記個人向け文例集のデータベースから抽出する手段と、
抽出した前記文例集に対するユーザの編集情報を受け取る手段と、
前記編集情報に基づき前記文例集への文例の追加、変更、削除を行った後、前記文例集を前記データベースに登録する手段とを有し、
該ユーザからの電話網を介した音声を受けた場合には、前記抽出する手段は該ユーザに対応づけられた文例集を抽出し、
該抽出された文例集を用いて該音声の音声認識を行い、
該音声認識結果に対応する文例を上記ユーザに対応づけられた文例集から検索し、
該検索された文例の翻訳を該電話網を介して出力する手段とを更に有することを特徴とする通訳サービス装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、電話を通じてユーザが音声を入力し、その内容を外国語に変換して出力することを目的とする、通訳サービス方法及び装置に関する。
【０００２】
【従来の技術】
例えば、特開平９−６５４２４には、音声認識サーバと無線携帯端末を用いた音声翻訳システムが開示されている。この音声翻訳システムは、  電話を通じた音声による入力を認識し、外国語に変換し、出力するもので、発話内容を制限しない任意文音声認識技術を用いている。
【０００３】
【発明が解決しようとする課題】
旅行等で音声通訳サービスを使用したい場合に、対話相手と向き合った状況では、入力に対する即座な反応が欲しい。しかし、任意文音声認識を使った通訳システムでは、発話内容に制限がないために、認識誤りが非常に多く生じ、即座に反応が得られにくいという問題があった。また、入力された言語を外国語に変換する際にも、翻訳誤りが頻繁に発生するという問題があった。一方、通訳以外の目的の音声入力システムでは、必要な発声内容があらかじめわかっており、その内容だけに制限された定型文音声認識技術もある。このように、あらかじめ発話内容を制限する定型文音声認識を通訳サービスに使えばこの問題は解決するが、その代わりに、ユーザが通訳したい文が登録されていない場合、その文を入力できないという問題が生じる。
【０００４】
【課題を解決するための手段】
そこで、本発明では、上記の定型文音声認識を使用し、さらに、通訳サービスを使う前に、電話やインターネットなどの多様な手段でサーバにアクセスし、ユーザが自ら文例集を編集することを可能にする手段を提供する。これによって、ユーザは自分の所望の文に対する通訳サービスを利用することができると同時に、精度の高い定型文音声認識による正確で素早いレスポンスを得ることができる。特に、旅行などで使いたい文の多くは、事前にだいたいの予想がつくことが多いため、本発明を用いることにより、旅行開始前や旅行中のホテル滞在時などに所望の文例を予め登録しておき、実際の対話では即座に訳文を出力させることができる。また、対話の現場で新たに通訳したい文例を思い付いた場合でも、相手に話し掛ける前であれば、携帯電話等を使って文例登録を済ませてから話し掛けることにより、同様の効果を得ることができる。これらの使用方法を通じて、訳文および出力音声の品質が保証されていることから、システムの誤認識・誤訳等により意図せざる内容が伝わってしまうことを防ぐこともできる。
【０００５】
【発明の実施の形態】
以下、図を用いて本発明の実施例を説明する。なお、本実施例では、日本語入力を英語出力に通訳する場合の例を示しているが、入力言語および出力言語を他の言語に変えた場合でも、本発明を同じように実施することが可能である。
【０００６】
図１は、本発明を用いた電話による通訳サービス方法および通訳サービス装置の一実施例における処理の概要を表わしている。左側に表した通訳サービス使用時には、ユーザは自分の電話器（１０２）から通訳サービスサーバ（１０８）に電話をかける。通訳サービスサーバは、個人認証サーバ（１１２）を用いてユーザを特定し、そのユーザに対応する文例集を、個人向け文例集（１１８）のデータベースから抽出する。その後、ユーザの声による入力を音声認識サーバ（１１０）で認識し、その内容に応じた外国語に変換、出力する。また、ユーザは自分専用の文例集を使わないように指定することもできる。このようなユーザの指定を受けた場合、もしくは個人認証サーバが非登録ユーザーであるとの認証結果を返した場合には、個人向け文例集の代わりに、一般向け文例集（１１６）を用いる。
【０００７】
図１の右側には、文例登録時に用いられるシステムの構成を表している。文例登録時には、電話器（１０４）の他に、パーソナルコンピューターなどの一般的な端末装置（１０６）を用いることもできる。ユーザは、これらの装置から、音声、電子メール、ＷＷＷなどの手段を用いて個人情報管理サーバ（１１４）にアクセスする。
【０００８】
個人情報管理サーバは、個人認証サーバ（１１２）を使ってユーザを同定し、そのユーザに対応する文例集を、個人向け文例集（１１８）のデータベースから抽出する。こうして抽出された個人向け文例集に対し、個人情報管理サーバは、文例の追加、変更、削除などの処理を行なう。文例の追加を行なう際には、自由入力による追加の他に、あらかじめ用意された追加登録用文例集（１２０）の中から文例を選んで追加することもできる。こうして追加された文例に対しては、外国語の翻訳を付与することが必要であるが、追加登録用文例集にあらかじめ対応する外国語が用意されている場合には、これをそのまま用いる。そうでない場合には、当該文例を機械翻訳サーバ（１２２）に転送し、外国語への翻訳を行なう。また、機械翻訳サーバでの翻訳が困難な場合には、さらにオペレータ（１２４）に転送し、人間による翻訳を行なう。これらの作業にあたって、ユーザが電話器を使って文例登録を行なう際には、音声認識サーバ（１１０）を使って音声で操作することも可能である。
【０００９】
図２は、本特許を使用した通訳サービスを受ける場合の一連の流れの一例を表している。まずユーザが通訳サービスの番号に電話をかける。サーバは、発信者番号通知機能を利用して、ユーザが誰であるかを検出する。あるいは、PB（プッシュボタン）音を使ってユーザのIDとパスワードを送るなど、他の手段で個人認証を行ってもよい。ユーザが特定されると、サーバは「通訳サービスです。日本語をどうぞ」というような応答を返した後、ユーザの個人向け文例集から基本文例をロードし、これらの文例に対する音声認識を開始する。
【００１０】
ここで例えばユーザが「私の名前は鈴木一郎です」というように発声すると、サーバはこれを音声認識し、その結果を復唱する。ユーザはその復唱音声を聞き、これが正しい場合には、例えばボタン１を押して訳文の再生を指示する。サーバは、PB音を認識してユーザの指示を検知し、先程認識した文例の英語訳を再生する。ユーザが何度も再生音を聞きたいときには、繰り返しボタン１を押して再生を指示すればよい。ユーザがこのやりとりに満足し、次の文例を入力したい場合には、例えばボタン２を押して次の文の音声認識開始を指示する。サーバはこのPB音を認識して音声認識を開始する。
【００１１】
ここで、ユーザが基本文例ではなく病院の文例を入力したい場合には、「病院の会話」というように、場面の変更を指示するコマンド語を発声する。なお、コマンドについては、発声ではなくPB音を用いるようなシステム構成も可能である。サーバはこのコマンド発声をサーバが音声認識し、その結果に基づき、「病院で使う文をどうぞ」と応答すると同時に、ユーザの個人向け文例集から病院の会話をロードし、これらの文例に対する音声認識を開始する。この後は、基本文例の場合と同じように、「私は高血圧症です」というような音声入力を認識し、復唱し、ボタン入力に応じて英語音声を出力する。更に同じような動作が続き、場面を変更するコマンドが入力された場合にはそれに応じた文例をロードし、以下、サービス終了のコマンドが入力されるか、もしくは電話が切られるまでこの動作が続く。
【００１２】
図３は、個人向け文例集の内容の一例を表している。個人向け文例集には、ユーザを同定するための個人情報として、ID、名前、電話番号、パスワードなどが付帯している。これらの個人情報は、より高度な使用のために、別のサーバで管理してもよい。その後にユーザが登録した文例が列挙されている。上記図２の説明にもある通り、音声通訳サービス使用時の便宜のため、文例集は使用場面ごとに分類されていることが望ましい。この例では、基本文例の他に、病院の会話、買物の会話といった場面が使われている。これらの場面別に、「こんにちは」といった誰でも使うような文の他に、「私の名前は鈴木一郎です」というような、個人に特化した文例を登録しておくことができる。場面はあらかじめシステムによって設定されているのが普通だが、ユーザが個人的に新たな場面を追加したり、不必要な場面を削除したりすることもできる。
【００１３】
図４は、個人認証サーバの構成の一例を表している。個人認証の元となるデータとしては、電話番号（４１６）、ID、名前、パスワード（４１８）、音声特徴（４２０）などが考えられる。これらは、現在の電話器でも比較的容易に使用できる個人特徴であるが、将来の電話器に高度な情報処理機構が付加された際には、指紋や虹彩などの生体認証用データなどを利用することも考えられる。電話番号を利用する場合には、電話器（４０２）から送られる発信者番号情報を発信者番号検知部（４０６）で検知し、データベースと照合してユーザを特定する。IDや名前、パスワードを用いる場合には、電話器のボタン操作で発生するPB音認識部（４０８）でPB音を認識して、該当するデータと照合する。また、声で名前やパスワードを入力し、音声認識部（４１０）で認識した結果をデータと照合してもよい。声紋などの音声特徴（４２０）を用いる場合には、話者認識部（４１２）で認識を行なう。
【００１４】
図５は、文例登録の一例として、電子メールを使う場合の内容例を表したものである。電子メールを使って文例登録する場合には、宛先アドレスの他に、フォーマットに関するルールを予め決めておき、そのルールに従ったメールを指定されたアドレスに送ることによって登録が行なわれる。このとき、他人による改竄を防ぐために、パスワードの記入を必要とすることも可能である。
【００１５】
追加の例（５０２）では、"APPEND"というサブジェクトで追加であることを示し、本文にその内容と該当するシーンを記入している。シーンの記入が無い場合には、基本文例に入れるなどの処置を取ればよい。パスワードの記入が必要かどうかは、サーバの設定による。削除の例（５０４）では、削除すべき文の内容と該当するシーンを記入している。シーンの記入が無い場合には、一致する文例をすべて削除すればよい。変更の例（５０６）では、文の内容の後に、どのシーンからどのシーンへ変更するのかを記入している。また、場面の切り替えやサービス終了を指示するためのコマンド文の変更をしたい場合には、場面選択の選択肢の中に「コマンド」という分類を用意しておき、この中に記述されたコマンド文を変更・削除・追加等するようにしておけばよい。
【００１６】
図６は、文例登録の一例として、ＷＷＷを使う場合の表示例を表したものである。ユーザが自分のアカウントにログインすると、図のような画面が表示される。個人情報表示部（６０２）には、ID、名前等が表示される。場面選択・表示部（６０４）には、編集対象となっている場面の名前が表示され、例えばこれがプルダウンメニュー等になっていて場面の選択も行えるようになっている。その横には、新規場面登録ボタン（６０６）、場面削除ボタン（６０８）等があって、場面の登録や削除が行えるようになっている。その下の文例表示部（６１０）には、選択した場面に含まれる文例が表示されている。文例の変更や削除を行ないたい場合には、マウス等を使って文例を選択した後に、文例変更ボタン（６１２）や文例削除ボタン（６１４）を押すことで変更や削除を実行する。また、場面変更ボタン（６１６）を使って、場面の変更を行なうこともできる。更に、新規の文例を追加登録したい場合には、新規文例入力部（６１８）に文例を入力し、新規登録ボタン（６２０）を押すことで登録を実行する。
【００１７】
図７は、文例登録の一例として、ＷＷＷを使う場合の図７とは異なるもう一つの方式の表示例を表したものである。ユーザは、自ら文例を入力する代わりに、キーワード入力部（７０４）にキーワードを入力する。検索ボタン（７０４）を押すと、あらかじめサーバに蓄積されている文例データベースから、入力されたキーワードに関連付けられているものが文例表示部（７０８）に表示される。ここで、サーバに蓄積されている文例データベースとは、音声通訳サービス用に用意されている文例集とは異なるもので、音声通訳サービス用の文例集よりも遥かに大規模なものである。音声通訳サービスで用いる場合には、音声認識率を高く保つ必要があるため、あまり多くの文例を対象としてしまうことはできないが、ここでは文字列を使った検索に用いるだけであるので、数千から数万、数十万という単位のデータベースを用意しておくことが望ましい。また、このデータベースには、日本語文とそれに対応する英語文（外国語）を合わせて用意しておくことにより、迅速かつ正確な訳文生成を実現することができる。こうして表示された文例の中から、ユーザは必要な文例を選択し、登録ボタン（７１２）を押すことで自分の個人用文例集に登録することができる。この際、この文例に対応する場面を、場面選択・表示部（７１０）を使って設定することができるが、場面はあらかじめ予想がつくことが多いので、最も可能性の高そうな場面をデフォルトとして表示しておくことが望ましい。
【００１８】
図８は、文例登録の一例として、電話による音声通話を使う場合の処理の流れの例を表したものである。ユーザから電話がかかってくると、サーバは図４で説明したような方式を用いて個人認証（８０２）を行なう。個人認証が成功したら、次に文例登録の方式指定（８０４）を行なう。ここでは例として、自由入力方式とキーワード検索方式を考え、本図で自由入力方式を、次図でキーワード検索方式を説明する。方式指定は、音声あるいはPB音のどちらを使用しても構わない。
【００１９】
自由入力方式では、次に登録したい文例を発声する（８０６）。サーバはこの音声を認識し、結果を復唱する（８０８）。ここで用いる音声認識は、音声通訳サービスで用いる定型文認識とは異なり、あらゆる単語の自由な繋がりを受け付ける任意文認識である。任意文認識の認識率は低く、一度で完全に正しい認識結果が得られることは少ないが、以下に述べる修正を用いて正しい文例を入力する。ユーザは、音声認識結果の復唱を聞き、それが正しいかどうかを判定する（８１０）。正しくない場合には、修正コマンド・修正内容を発声する（８１２）。この修正コマンドと修正内容の発声の仕方には様々なパターンが考えられるが、例えば、間違っている部分だけをもう一度発声するとか、間違っている部分を復唱した後に正しい内容を発声するなどの方式が考えられる。修正を行なう度にサーバは認識結果を復唱し、最終的に正しい認識結果が得られるまでこのサイクルを繰り返す。このようにして文例が確定したら、次に場面を発声し（８１４）、この認識結果を復唱し（８１６）、これが正しいかどうかを判定し（８１８）、正しくない場合には再発声により修正し（８２０）、正しい場面が得られるまで繰り返す。こうして正しい文例と正しい場面が得られたら、この文例は個人用文例集に登録される。
【００２０】
図９は、文例登録の一例として、電話による音声通話を使う場合の図８とは異なるもう一つの処理の流れの例を表したものである。方式指定（９０４）でキーワード検索方式を選んだ場合、ユーザはキーワードを発声する（９０６）。サーバはこの音声を認識し、結果を復唱する（９０８）。ここで用いる音声認識は、文ではなく単語を対象とした孤立単語認識であり、音声通訳サービスで用いるものとは異なる。ユーザは音声認識結果の復唱を聞き、それが正しいかどうかを判定する（９１０）。正しくない場合には、キーワードを再度発声し（９１２）、正しい認識結果が得られるまで同じ動作を繰り返す。あるいは、ボタン操作等により、音声認識結果の第２候補、第３候補等を順次再生させ、入力した単語が再生されたところでこれを選択するという方式を用いてもよい。こうして正しいキーワードが得られると、サーバはこのキーワードに関連付けられた文例を順次再生する（９１４）。ここで用いるキーワードおよび文例のデータベースは、図７で説明した方式の場合と同じものを用いることができる。ユーザは、順次再生される文例の中から、ボタン操作等により所望の文例を選択し（９１６）、その後は、図８の例と同じように、場面の入力を行なう。
【００２１】
図１０は、登録したい文例に対して訳文を作成する方式の概略を示している。図５から図９までのような手段でユーザが日本語文を入力したら（１００２）、その文がサーバが予め持っている対訳データベースに含まれか、もしくは類似文があるかどうかを調べる（１００４）。一般的には、図７ないし図９の文例登録方式で用いる文例データベースと、本図で扱う対訳データベースは一緒に管理することが期待されるので、このデータベースに含まれる文例すべてに対訳を付けて保存しておけば、図７ないし図９の方式で登録した文例については常に対訳が見つかることになる。また、データベース中の文の一部の単語を単純に他の単語で置き換えただけのものについては、対訳も同じように単語の置き換えで容易に作成できることから、データベースに含まれる場合と同様に扱う。これらの場合には、該当するデータを対訳として抽出・出力すれば良い（１００６）。一方、対訳データベースに同一文も類似文も見つからない場合には、機械翻訳システムを用いて対訳を作成する（１００８）。こうして作成された訳文を個人向け文例集に登録する際には、システムからユーザに、「この訳文は機械翻訳で作成されたものであり、誤訳が含まれる可能性がある」旨を通知する（１０１０）。ユーザは、誤訳の虞れを承知でこの文の登録を認めるか、もしくは更に精度の高い翻訳を要求するかのいずれかを選択する（１０１２）。一般的には、更に精度の高い翻訳に対しては相応のコストを支払うことになる。ユーザが「精度の高い翻訳は必要ない」と答えた場合には、機械翻訳で作成された訳文を確定し（１０１４）、文例集に登録する。「精度の高い翻訳が必要である」と答えた場合には、人間の通訳オペレータにデータを送付し、人手で訳文を作成、後日登録する（１０１６）。
【００２２】
図１１は、登録したい文例に対して出力音声を作成する方式の概略を示している。出力音声の作成は、図１０で述べた訳文の作成とほとんど同じ枠組みで行なう。則ち、英語文の入力（１１０２）に対し、音声データベースに同一文もしくは類似文があるかどうかを検索し（１１０４）、見つかればそれをそのまま出力（１１０６）、見つからない場合には音声合成を用いて作成する（１１０８）。この場合も訳文作成の場合と同じように、単純な単語の置き換えについては、韻律情報はそのままで、単語の波形情報のみを置き換えることで自然な出力音声を作成できるため、類似文についても該当するデータを使用することができる。データベースに同一文もしくは類似文が見つからない場合には、発音・韻律等に誤りや不自然さが生じる虞れがあるため、その旨をユーザに通知し（１１１０）、これをそのまま受け入れるか、更に精度の高いものを希望するかの選択を求める（１１１２）。受け入れる場合にはそのまま出力音声として確定し（１１１４）、そうでない場合にはオペレータの作業によって更に高品質の出力音声を作成・登録する（１１１６）。
【００２３】
【発明の効果】
本発明によれば、音声認識精度をあげると共に、ユーザが自分の使いたい文を自由に通訳させることができることができる。また、対話の現場で新たに通訳したい文例を思い付いた場合でも、相手に話し掛ける前であれば、携帯電話等を使って文例登録を済ませてから話し掛けることにより、同様の効果を得ることができる。これらの使用方法を通じて、訳文および出力音声の品質が保証されていることから、システムの誤認識・誤訳等により意図せざる内容が伝わってしまうことを防ぐこともできる。
【図面の簡単な説明】
【図１】本発明を用いたシステムの構成の概要。
【図２】本発明で用いたサービスを使用する場合の処理の例。
【図３】本発明で用いる個人向け文例集の例。
【図４】本発明を用いたシステムの中の個人認証サーバの構成。
【図５】本発明を用いたシステムにおける文例登録の例（１）。
【図６】本発明を用いたシステムにおける文例登録の例（２）。
【図７】本発明を用いたシステムにおける文例登録の例（３）。
【図８】本発明を用いたシステムにおける文例登録の例（４）。
【図９】本発明を用いたシステムにおける文例登録の例（５）。
【図１０】本発明を用いたシステムの中の訳文作成方式。
【図１１】本発明を用いたシステムの中の出力音声作成方式。
【図１】
0004089148.tif 000002
【図２】
0004089148.tif 000003
【図３】
0004089148.tif 000004
【図４】
0004089148.tif 000005
【図５】
0004089148.tif 000006
【図６】
0004089148.tif 000007
【図７】
0004089148.tif 000008
【図８】
0004089148.tif 000009
【図９】
0004089148.tif 000010
【図１０】
0004089148.tif 000011
【図１１】
0004089148.tif 000012