(57)【要約】【課題】  通話相手がどこの場所から電話しても、通話相手の話す言語を特定して、言語翻訳することができるシステムを提供すること。【解決手段】  個人特定手段１２は、通話相手Ａの第１声の音声パターンと、通話相手別音声パターンテーブル１３の音声パターンとを照合し通話相手を特定する。通話相手が特定されると、言語特定手段１４は、言語種別情報テーブル１７を参照して、通話相手の言語種別を特定する。また、通話相手Ａの個人名が特定できない場合、言語特定手段１４は、通話相手の第１声の音声パターンと、言語別音声パターンテーブル１６の音声パターンとを照合し通話相手の言語種別を特定する。音声認識手段１８は、言語別音声認識辞書１９を参照して、通話相手の通話内容を文字情報に変換する。翻訳手段２０は、言語別翻訳辞書２２を参照して、この文字情報を日本語等に翻訳する。翻訳結果は表示／音声出力手段２１から出力される。【選択図】          図２
2005159395.tif 000002
【特許請求の範囲】
【請求項１】
顧客からの電話を受けて、受けた電話の通話相手が話す言語を翻訳して、通話相手と会話する電話受け付け翻訳システムであって、
通話相手が発する最初の音声を、個人名と対応させて記憶した音声パターン記憶手段と、
電話を受け付けた際、通話相手が発する最初の音声パターンと、前記音声パターン記憶手段に登録された音声パターンとを照合し、通話相手を特定する個人特定手段と、
上記個人特定手段により個人が特定された場合に、特定された個人名に対応した言語種別を格納した言語種別情報を参照して、通話相手の言語を特定する言語種別抽出手段と、  特定した言語種別に従って、通話相手が話す言語を翻訳する翻訳手段とを備えた
ことを特徴とする電話受け付け翻訳システム。
【請求項２】
予め登録された言語種別に対応させて言語種別毎の音声パターンを記憶した言語種別記憶手段と、
通話相手が特定できない場合に、通話相手が発する最初の音声パターンと上記言語種別記憶手段に記憶された音声パターンを比較して、通話相手の言語を特定する言語種別特定手段と、
特定された通話相手の喋る言語種別情報を、個人名に対応させて、前記音声パターン記憶手段に登録する言語種別登録手段とを備えた
ことを特徴とする請求項１の電話受け付け翻訳システム。
【請求項３】
顧客からの電話を受けて、受けた電話の通話相手が話す言語を翻訳する電話受け付け翻訳処理を行うプログラムであって、
電話を受け付けた際、通話相手が発する最初の音声を個人名と対応させて記憶した音声パターンと、通話相手が発する最初の音声パターンとを照合し、通話相手を特定する処理と、
上記処理により個人が特定された場合に、特定された個人名に対応した言語種別を格納した言語種別情報を参照して、通話相手の言語を特定する言語種別抽出する処理と、
特定した言語種別に従って、通話相手が話す言語を翻訳する処理をコンピュータに実行させる
ことを特徴とする電話受け付け翻訳処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、受付けた電話の音声パターンなどから通話相手あるいは通話相手が話す言語を特定し、特定された言語種別に基づき、通話相手が話す内容を音声認識して所望の言語に翻訳する電話受付け翻訳システムに関し、特に特定の顧客などから電話を受付けるコールセンタ等に適用するのに好適な電話受付け翻訳システムに関するものである。
【背景技術】
【０００２】
顧客からの質問等に対する回答を顧客に返すシステムとしては、従来から音声自動応答システムを利用した顧客応答システムが種々提案されている( 例えば特許文献１参照）。  上記特許文献１に記載のものは、音声認識を導入することで、音声で得た情報を即時に返信できるようにするととともに、アクセスしてきた顧客を特定し、顧客名等をキーとして顧客の属性情報を格納したデータベースを検索し、顧客に適合したメッセージを選択して、自動音声応答をすることで、種々のサービスを実現するようにしたものである。
一方、コールセンタ等では、日本語以外の言語あるいは日本語の場合でも特殊な方言など（以下ではこれらを合わせて日本語以外の言語という）で話す顧客から電話を受付けることもある。この場合には当該言語を話すことができる対応者に電話を転送する外ないが、各種言語を話すことができる対応者を必要数確保するのは難しく、十分な対応ができないのが現状である。
【０００３】
上記のように、日本語以外の話者との通話を容易にするため、従来から、電話翻訳サービスを行うシステムは種々提案されている。
例えば、特許文献２には、予め記憶された通話相手の使用言語、通話履歴を参照して、翻訳電話サービスの利用を自動的に設定し、電話装置に内蔵した音声認識装置で、音声認識をして、音声認識結果である文字情報を翻訳電話装置に供給し、翻訳を行うようにした翻訳電話装置が記載されている。
【特許文献１】特開２００３−１６９１４７号公報
【特許文献２】特開２００２−１１８６５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
言語を翻訳するシステムでは、使用言語を特定できないと翻訳を行うことができず、使用言語の特定が不可欠である。
受けた電話に対して言語を翻訳する従来のシステムにおいては、通知されてきた電話番号から地域を特定して、その地域で喋る言語種別を判断して言語を翻訳するのが一般的である。また、通話相手がいるＧＰＳの位置情報をもとに、その地域で話される言語種別を特定して翻訳するシステムもある。
上記した通知されてきた電話番号から言語種別を判断する方法は、その電話を特定の人だけでなく、色々な言語を話す複数のものが使用している場合には、電話番号だけでは言語種別を判定することができない。また、通話相手が出張等により、通常電話を掛ける場所以外の場所（あいるは他の国）から電話した場合は言語種別を誤って特定してしまい正しく翻訳が出来ない場合も生ずる。また、電話番号による言語種別の特定は、通話相手先が電話番号非通知モードになっていると、電話番号が分からないため特定が不可能となる。
さらに、上記ＧＰＳの位置情報を使用する方法は、ＧＰＳ位置情報を送信可能な電話器を用いるなど、ＧＰＳ情報を送信しなければならず、通常の電話ではＧＰＳ情報から通話相手の位置を特定するのは難しい。
本発明は上記従来技術の問題点を解決するためになされたものであって、通話相手がどこの場所から電話しても、通話相手の話す言語を特定して、言語翻訳することができるシステムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明においては、上記課題を次のように解決する。
（１）通話相手からの電話を受けて、受けた電話の通話相手が話す言語を翻訳して、通話相手と会話する電話受け付け翻訳システムにおいて、通話相手が発する最初の音声を、個人名と対応させて記憶した音声パターン記憶手段と、電話を受け付けた際、通話相手が発する最初の音声パターンと、前記音声パターン記憶手段に登録された音声パターンとを照合し、通話相手を特定する個人特定手段と、上記個人特定手段により個人が特定された場合に、特定された個人名に対応した言語種別を格納した言語種別情報を参照して、通話相手の言語を特定する言語種別抽出手段と、特定した言語種別に従って、通話相手が話す言語を翻訳する翻訳手段とを設ける。
（２）上記（１）において、予め登録された言語種別に対応させて言語種別毎の音声パターンを記憶した言語種別記憶手段と、通話相手が特定できない場合に、通話相手が発する最初の音声パターンと上記言語種別記憶手段に記憶された音声パターンを比較して、通話相手の言語を特定する言語種別特定手段と、特定された通話相手の喋る言語種別情報を、個人名に対応させて、前記音声パターン記憶手段に登録する言語種別登録手段と設ける。
【発明の効果】
【０００６】
本発明においては、以下の効果を得ることができる。
（１）通話相手を特定して言語の種類を判別しているので、相手がどこから電話しても相手の喋る言語を翻訳することができる。
（２）初めての通話相手で、通話相手の喋る言語種別が不明でも、言語種別を特定する手段により、通話相手の言語種別を特定することができ、翻訳をすることが可能となる。
また、同じ人が電話をかけてきた場合、２度目からは個人を特定して即座に言語種別を特定することができる。
さらに、個人を特定して、個人別に用意された音声認識辞書を用いて音声認識処理を行えば、音声認識精度を向上させることもできる。
【発明を実施するための最良の形態】
【０００７】
図１は本発明の実施例のシステム構成を示す図である。
同図において、１００は交換機であり、交換機１００は公衆網１０１を介して接続され、各交換機１００には、それぞれ通話相手の電話機１０３ｂと、例えばコールセンタ側などに設けられた電話機１０３ａおよび処理装置１０２が接続されている。
上記処理装置１０２は、通話相手からの電話を受付けて、後述するように通話相手を特定するなどして通話相手の言語種別を特定し、音声認識を行って翻訳処理を行う。
なお、図１は、電話機１０３ａ側のみに処理装置１０２を設け、通話相手の言語種別が例えば英語の場合、公衆網１０１を介して送られてくる通話相手の話す内容を上記処理装置１０２で日本語等に翻訳して音声などで対応者の電話機１０３ａに伝え、該対応者の話す日本語等を処理装置１０２で英語等に翻訳して公衆網を介して通話相手の電話機に伝える場合を示しており、以下の実施例ではこの場合について説明するが、例えば、以下のように構成することもできる。
（１）通話相手の電話機１０３ｂ側にも処理装置を設け、該処理装置で、通話相手の話す英語等を日本語に翻訳して公衆網１０１を介して対応者の電話機１０３ａに伝え、該対応者の話す日本語等を、対応者側の処理装置１０２で英語に翻訳して、公衆網を介して通話相手の電話機に伝える。
（２）通話相手の電話機１０３ｂ側にも処理装置を設け、通話相手の話す英語等をそのまま公衆網１０１を介して処理装置１０２に送り、上記処理装置１０２で日本語等に翻訳して音声などで対応者の電話機１０３ａに伝え、該対応者の話す日本語等をそのまま公衆網１０１を介して通話相手に伝え、通話相手側の処理装置で該日本語を英語に翻訳して通話相手に伝える。
【０００８】
図２は、本発明の第１の実施例の処理装置の機能構成を示すブロック図である。
処理装置１０２には、通話相手Ａの音声を音声パターン記憶部１１に登録する音声パターン登録手段１０と、音声パターン記憶部１１に登録された上記通話相手Ａの第１声の音声パターンと、通話相手別音声パターンテーブル１３に記憶された音声パターンとを照合し、通話相手名を特定する個人特定手段１２が設けられている。
上記個人特定手段１２により、通話相手の個人名が特定された場合、言語特定手段１４は、個人名と、個人名に対応させて言語種別を登録した言語種別情報テーブル１７を参照して、通話相手の言語種別を特定し、特定された言語種別を言語種別情報登録部１５に登録する。
また、通話相手Ａの個人名が特定できない場合、言語特定手段１４は、通話相手の第１声の音声パターンと、言語別音声パターンテーブル１６に記憶された音声パターンとを照合し、通話相手の言語種別を特定し、特定された言語種別を言語種別情報登録部１５に登録する。
【０００９】
通話相手Ａの言語種別が特定されると、音声認識手段１８は、言語別音声認識辞書１９を参照して、言語種別情報登録部１５に登録された言語種別に対応した認識辞書を使用して、音声パターン記憶部１１に登録された通話相手の通話内容を文字情報に変換する。
また、翻訳手段２０は、言語別翻訳辞書２２を参照して、言語種別情報登録部１５に登録された言語種別に対応した認識辞書を使用して、通話相手の通話内容を電話対応者Ｂが話すことができる言語（以下では日本語として説明する）に翻訳する。
日本語に翻訳された通話内容は、表示／音声出力手段２１から音声出力されたり、処理装置１０２の表示装置に文字情報として出力される。
対応者Ｂがこの翻訳結果に応じて、通話相手Ａに対して日本語で音声もしく文字入力などで応答すると、この応答内容は、音声の場合には音声認識手段で文字情報に変換され、また、文字入力の場合はそのまま翻訳手段２０に送られて、通話相手Ａの言語に翻訳され、前記した公衆網１０１を介して通話相手Ａに送られる。
また、前記言語特定手段１４で、通話相手の言語が特定されない場合、転送手段２３は、受け付けた電話を多国語で対応できる対応者Ｃに転送する。
【００１０】
図３は、本実施例の処理を示すフローチャートであり、同図により本実施例の処理について説明する。
図３において、通話相手の電話を着信すると、通話相手の音声を取り込み、音声パターン記憶部１１に記憶する（ステップＳ１）。また、個人特定手段１２は、通話相手の第１声と、通話相手別音声パターンテーブルに記憶された音声パターンを比較し、通話相手を特定する（ステップＳ２）。上記通話相手別音声パターンテーブルには、通話相手の個人名と、通話相手の第１声の音声パターンとその出現確率が登録されており、このテーブルに登録された音声パターンと、上記通話相手の第１声を比較することで、通話相手を特定する（通話相手の特定の詳細については後述する）。
通話相手の個人名が特定されると言語種別情報テーブル１７を参照して、通話相手の言語種別を特定し、特定された言語種別を言語種別情報登録部１５に登録する。図４は、言語種別情報テーブル１７の一例を示す図である。言語種別情報テーブルには、同図に示すよう個人名と個人名に対応させて、その人が話す言語種別が登録されており、個人名が特定することで、言語種別が特定される。
【００１１】
一方、個人名が特定されなかった場合、言語特定手段１４は、上記通話相手の第１声の音声パターンと、言語別音声パターンテーブル１６に記憶された音声パターンを比較し、通話相手の話す言語種別を特定する（ステップＳ９，１０）。
言語別音声パターンテーブル１６には、言語種別と、言語種別毎に通話相手の第１声の音声パターンとその出現確率が登録されており、このテーブルに登録された音声パターンと、上記通話相手の第１声を比較することで、言語種別を特定する。言語種別が特定されると、特定された言語種別を言語種別情報登録部１５に登録する（言語種別の特定の詳細については後述する）。
また、言語種別が特定されない場合、電話対応可能な対応者Ｃに電話を転送する（ステップＳ１１，Ｓ１２）。
言語種別が特定されると、言語別音声認識辞書１９を参照して、音声認識手段１８で文字情報に変換し（ステップＳ４）、言語別翻訳辞書２２を参照して、翻訳手段２０で翻訳する（ステップＳ５）。
通話相手の音声が明瞭でないなど上記音声認識手段１８、あるいは翻訳手段２０で翻訳できない場合には、上記したように、電話対応可能な対応者Ｃに電話を転送する（ステップＳ６，Ｓ１２）。翻訳可能であれば、翻訳結果は、音声出力されたり表示装置に文字情報として出力される。
上記ステップＳ４−Ｓ７の処理を通話相手Ａおよび対応者Ｂの通話内容ついて繰り返し、電話が終了すると処理を終わる。
上記実施例では、音声認識辞書として通話相手に共通に使用される言語別認識辞書を用いているが、さらに、通話相手別に音声認識辞書を用意し、通話相手が特定されたら、通話相手に応じた認識辞書を用いて音声認識をするようにしてもよい。これにより、音声認識精度を向上させることができる。
【００１２】
次に、上記個人特定手段による通話相手の個人名の特定処理について詳述する。
図５は通話相手別音声パターンテーブル１３の一例を示す図である。図５に示すように、通話相手別音声パターンテーブルには、個人名と、個人名に対応させて、音声パターンと、その音声パターンが出現する出現確率と、出現回数が登録されている。
通話相手は、例えば日本語の場合、第１声で以下のような音声を発することが想定される。
（ａ）「モシモシ。」
（ｂ）「ハイ、ヤマダデス。」
（ｃ）「ヤマダデス。」
本実施例では、上記応答において、一まとまりの音声からなる１音節単位で（例えば、「モシモシ」、「ハイ」、「ヤマダデス」など）音声パターンを登録しておき、通話相手が発した最初の１音節の音声パターンと上記音声パターンを比較する。
通話相手は、時と場合によって上記（ａ）あるいは（ｂ）あるいは（ｃ）で応答すると考えられ、上記出現確率は、上記のように、最初に現れる音声パターンの出現する確率を示したものである。
【００１３】
図６は、個人特定処理を示すフローチャートである。
まず、通話相手の最初の音声を取り込み（ステップＳ１）、最初の音声パターンＡを、通話相手別音声パターンテーブルの音声パターンと比較する。すなわち、通話相手別音声パターンテーブルから出現率の高い順に音声パターンＢを取り出し、音声パターンＡとＢを比較し、ヒット率をパターンヒット率登録手段に格納する（ステップＳ２，Ｓ３）。
図７にパターンヒット率登録手段の登録例を示す。パターンヒット率登録手段には、上記音声パターンＡと、通話相手別音声パターンテーブルから出現率の高い順に取り出された音声パターンＢとの比較結果であるヒット率が格納される。
上記比較が終了すると、パターンヒット率登録手段に登録されたパターンヒット率を読み出し、ヒット率が一定値を越えているものを検索する（ステップＳ４，Ｓ５）。
ヒット率が一定値を越えているものがあれば、ヒット率が高いものを通話相手と特定する（ステップＳ６，Ｓ７）。また、ヒット率が高いものがなければ、個人が特定できなかったとして、処理を終了する（ステップＳ８）。例えば、図７に示した例では、個人名Ｂの音声パターンＢ１とのヒット率が高いので、通話相手はＢと特定される。
【００１４】
次に、上記言語特定手段による言語特定処理について詳述する。
図８に言語別音声パターンテーブル１６の一例を示す。前記図５と同様、言語音声パターンテーブル１６には、言語の種類と、言語の種類に対応させて、その音声パターンと、その音声パターンが出現する出現確率が登録されている。
上記テーブルには、通話相手が最初に応答すると考えられる各種言語の音声パターンを、予め各言語について１音節ずつ複数種類、前記通話相手別音声パターンテーブルと同様に言語別音声パターンテーブルに登録しておく。
そして、前記個人を特定する場合と同様に、通話相手が最初に発した音声の音声パターンと、予め登録された各種言語の音声パターンとを、出現確率順に照合し、一致率の最も高い言語種別を判定する。
図９は、言語特定処理を示すフローチャートである。
まず、通話相手の最初の音声を取り込み（ステップＳ１）、最初の音声パターンＡを、言語別音声パターンテーブルの音声パターンと比較する。すなわち、個人特定処理の場合と同様、言語別音声パターンテーブルから出現率の高い順に音声パターンＢを取り出し、音声パターンＡとＢを比較し、ヒット率を言語音声パターンヒット率登録手段に格納する（ステップＳ２，Ｓ３）。
上記比較が終了すると、言語音声パターンヒット率登録手段に登録されたパターンヒット率を読み出し、ヒット率が一定値を越えているものを検索する（ステップＳ４，Ｓ５）。
ヒット率が一定値を越えているものがあれば、ヒット率が高いものを通話相手が話す言語と特定する（ステップＳ６，Ｓ７）。また、ヒット率が高いものがなければ、言語を特定できなかったとして、処理を終了する（ステップＳ８）。
【００１５】
上記通話相手別音声パターンテーブルの出現確率は、通話相手から電話を受付ける毎に更新され、また、該テーブルに登録されていないの音声を、通話相手が最初の音声として発したり、あるいは新たな通話相手から電話あった場合、これらの音声を上記テーブルに追加登録する。以下、図１０の(i) −(xi)により、上記出現確率の更新処理、音声パターンの追加処理について説明する。
(i)通話相手が、例えば最初の音声として、（ａ）〜（ｂ）のように答えたとする。
(ii)上記最初の音声パターンが得られたら、最初の音声パターンを仮登録する。例えば、上記（ａ）の場合には、「ハイ」の音声パターンｘが仮登録される。また、（ｂ）の場合には、「Hallo 」の音声パターンｘが仮登録される。
(iii) 仮登録された音声パターンｘと図５に示した通話相手別音声パターンテーブルに登録された音声パターンを照合する。
ここで、音声パターンｘと、図５の通話相手別音声パターンテーブルの照合は図１０に示すように、前記出現確率の高い音声パターンから出現確率の低い音声パターンの順に行われる。
(iv)上記照合により、ヒット率が所定の閾値を越える音声パターンがあれば、前記したように電話を受付けた通話相手は、その音声パターンに対応した個人名のものであるとして、その出現確率を更新する。例えば、照合した結果、前記図５において音声パターンＢ１と音声パターンｘとのヒット率が所定の閾値を越えている場合、電話を受付けた通話相手は、「Ｂさん」であるとして、音声パターンＢ１の出現回数を１増やして、「Ｂさん」の音声パターンＢ１の出現確率を計算して更新する。ここで、上記音声パターンｘと、既存の音声パターンＢ１とを置き換えてもよい。このようにすれば、音声パターンを最新のものに更新することができる。
(v) 以上のように通話相手が特定されたら、前記したように言語種別情報テーブル１７を参照して、通話相手の言語種別を特定し、特定された言語種別を言語種別情報登録部１５に登録する。
【００１６】
(vi)一方、ヒット率が閾値を越える音声パターンがない場合には、前記したように、音声パターンｘと、言語別音声パターンテーブルに登録された言語別音声パターンを比較して、通話相手の話す言語を特定する。
(vii) 通話相手の話す言語が特定できれば、特定された言語種別を言語種別情報登録部１５に登録する。
(viii)通話相手の話す言語が特定できなければ、電話を多国語対応可能な対応者に転送する。
(ix)通話相手の話す言語が特定され、かつ、対応者が電話で会話することにより通話相手との通話により通話相手の個人名がわかった場合には、通話相手の個人名が通話相手別音声パターンテーブルに登録済みであるかを調べる。
(x) 通話相手が、通話相手別音声パターンテーブルに登録済みであれば、通話相手別音声パターンテーブルの該当する個人名の欄に音声パターンｘを新たに登録し、その欄の音声パターンの出現確率を更新する。例えば、図１０に示すように、通話相手がＣの場合、通話相手Ｃの音声パターンに音声パターンｘをＣ４として追加し出現確率を計算して登録する。また、音声パターンＣ１〜Ｃ３の出現確率を更新する。
(xi)通話相手が通話相手別音声パターンテーブルに登録済みでなければ、図１０に示すように、通話相手別音声パターンテーブルに、音声パターンｘを、特定された通話相手名に対応付けて登録する。また、出現確率を登録する（この場合、出現確率は１００％）。
【００１７】
なお、前記言語音声パターンテーブルは、各言語種別について、予め、通話相手が最初に発すると考えられる音声パターンを出現確率とともに登録したものであり、上記通話相手別音声パターンテーブルのように、通話相手が特定される毎に、テーブルの出現確率等を更新することは想定していないが、上記通話相手別音声パターンテーブルと同様、上記図１０で説明したように言語種別が特定できた場合、該特定された言語種別が言語別音声パターンテーブルに登録済みであれば、言語別音声パターンテーブルの該当する言語種別の欄に音声パターンを新たに登録し、その欄の音声パターンの出現確率を更新するようにしてもよい。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施例のシステム構成を示す図である。
【図２】本発明の実施例の処理装置の機能ブロック図である。
【図３】本発明の実施例の全体処理を示すフローチャートである。
【図４】言語種別情報テーブルの一例を示す図である。
【図５】通話相手別音声パターンテーブルの一例を示す図である。
【図６】個人特定処理を示すフローチャートである。
【図７】パターンヒット率登録手段の登録例を示す図である。
【図８】言語別音声パターンテーブルの一例を示す図である。
【図９】言語特定処理を示すフローチャートである。
【図１０】通話相手別音声パターンテーブルの出現確率の更新、音声パターンの追加登録を説明する図である。
【符号の説明】
【００１９】
１０      音声パターン登録手段
１１      音声パターン記憶部  
１２      個人特定手段
１３      通話相手別音声パターンテーブル
１４      言語特定手段
１５      言語種別情報登録部
１６      言語別音声パターンテーブル
１７      言語種別情報テーブル
１８      音声認識手段
１９      言語別音声認識辞書
２０      翻訳手段
２１      表示／音声出力手段
２２      言語別翻訳辞書
２３      電話転送手段
１００ａ  交換機
１００ｂ  交換機
１０１    公衆網
１０２    処理装置
１０３ａ  電話機
１０３ｂ  電話機
【図１】
2005159395.tif 000003
【図２】
2005159395.tif 000004
【図３】
2005159395.tif 000005
【図４】
2005159395.tif 000006
【図５】
2005159395.tif 000007
【図６】
2005159395.tif 000008
【図７】
2005159395.tif 000009
【図８】
2005159395.tif 000010
【図９】
2005159395.tif 000011
【図１０】
2005159395.tif 000012