(57)【要約】【課題】ＶｏＩＰの音声評価技術に関し、評価の自動化と音声品質に関する障害を具体的に特定できる評価システム及び方法の提供にある。【解決手段】音声評価用として種々のパターンにより生成された音声ファイルを対向側の端末から前記ＩＰネットワークを介して受信し、音声認識を行う。認識結果は、認識率として算出され、障害要因解析手段は、この認識率と基準値との比較により障害要因を特定する。そして、この解析値を対向側に送信する。対向側では、この解析値に基づき擬似的に障害を含む評価用音声パケットを送出する。この音声パケットを受信し、音声認識等により求めた解析結果と先に求めた障害要因との相関により障害特定の正当性を検証する。【選択図】      図４
2005026901.tif 000002
【特許請求の範囲】
【請求項１】
ＩＰ（ｉｎｔｅｒｎｅｔ  ｐｒｏｔｏｃｏｌ）ネットワークを介して音声パケット伝送を行うＶＯＩＰ（ｖｏｉｃｅ  ｏｖｅｒ  ｉｎｔｅｒｎｅｔ  ｐｒｏｔｏｃｏｌ）システムの音声を評価する音声評価端末において、
音声評価用として予め生成された音声ファイルを対向側の端末から前記ＩＰネットワークを介して受信する音声受信部と、
前記受信した音声ファイルについて音声認識を行い、認識率を算出する音声認識部と、
前記受信した音声ファイルと、前記音声認識部における認識結果を記憶する記憶部と、を備えたことを特徴とする音声評価端末。
【請求項２】
前記受信部にて受信した音声ファイルをＷＡＶＥファイルに変換するＷＡＶＥ処理部を備え、前記音声認識部は、前記受信した音声ファイルの認識に代えて前記ＷＡＶＥファイルについて音声認識することを特徴とする請求項１記載の音声評価端末。
【請求項３】
前記対向側の端末から送信される音声ファイルには、複数の言語を含むものとし、前記音声認識部は、言語毎にその認識率を算出することを特徴とする請求項１〜２のいずれかに記載の音声評価端末。
【請求項４】
前記認識率と、各種障害について予め定めた基準値とを比較し最も近い障害要因を求める障害要因解析部を備えることを特徴とする請求項１〜３のいずれかに記載の音声評価端末。
【請求項５】
前記障害要因解析部は、比較により求めた障害要因について認識率と基準値の比較により障害の度合いを示す解析値を求めることを特徴とする請求項４記載の音声評価端末。
【請求項６】
前記解析値を前記対向側の端末へ送信し、この解析値に基づき擬似的に障害を発生させた評価用音声パケットを受信し、前記障害要因の正当性を検証することを特徴とする請求項５記載の音声評価端末。
【請求項７】
ＩＰ（ｉｎｔｅｒｎｅｔ  ｐｒｏｔｏｃｏｌ）ネットワークを介して音声パケット伝送を行うＶＯＩＰ（ｖｏｉｃｅ  ｏｖｅｒ  ｉｎｔｅｒｎｅｔ  ｐｒｏｔｏｃｏｌ）システムの音声を評価する音声評価方法において、
一端の音声評価端末は、音声評価用として評価用音声ファイルを生成するステップと、この音声ファイルを前記ＩＰネットワークに送出するステップを有し、他端の音声評価端末は、前記ＩＰネットワークに送出された前記評価用音声ファイルを受信するステップと、前記受信した音声ファイルについて音声認識を行い認識率を算出するステップと、を備えたことを特徴とする音声評価方法。
【請求項８】
前記他端の音声評価端末は、前記認識率と、各種障害について予め定めた基準値とを比較し最も近い障害要因を求めるステップを備えることを特徴とする請求項７記載の音声評価方法。
【請求項９】
前記障害要因を求めるステップは、比較により求めた障害要因について認識率と基準値の比較により障害の度合いを示す解析値を求める処理を含むことを特徴とする請求項８記載の音声評価方法。
【請求項１０】
前記他端の評価端末は、前記解析値を前記一端の評価端末に送信するステップを備え、
また前記一端の評価端末は、前記解析値を受信するステップと、この解析値に基づき擬似的に障害を発生させた評価用音声パケットを生成するステップと、当該評価用音声パケットを前記他端の評価端末に送出するステップとを備え、
前記他端の端末は、更に前記評価用音声パケットを受信するステップと、受信した前記評価用音声パケットを解析することで先に求めた障害要因の正当性を検証するステップとを備えたことを特徴とする請求項９記載の音声評価方法。
【請求項１１】
コンピュータに請求項７〜１０のいずれかに記載の音声評価方法を実行させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）ネットワークを介して音声パケット伝送とデータ送受信とセッション制御とを少なくとも行うＶＯＩＰ（ｖｏｉｃｅ  ｏｖｅｒ  ｉｎｔｅｒｎｅｔ  ｐｒｏｔｏｃｏｌ）システムであって、特にネットワークの音声品質を評価する試験方式に関する。
【０００２】
【従来の技術】
従来の音声通話装置の評価試験方法およびシステムの一例が、特開２００２−３００２５９号公報に記載されている。この従来の評価試験システムは、音声受信手段と、音声通話装置と、音声送出手段と、音声認識手段と、評価手段とから構成されている。
【０００３】
このような構成を有する従来の音声通話装置の評価システムは、次のように動作する。音源が固定メッセージを発生するステップと、評価対象機器である音声通話装置に接続された音声受信手段が前記固定メッセージを受け、前記固定メッセージを前記音声通話装置に応じた形式の信号に変換し、変換された信号を前記音声通話装置に供給するステップと、前記音声通話装置が前記受けた信号に対して所定の処理を行い、接続された音声送出手段に供給するステップと、前記音声送出手段が前記受けた信号に所定の処理及び増幅を行って、可聴音として出力するステップと、音声認識手段が前記可聴音を受信し、音声認識処理を行ってテキスト文書として出力するステップと、前記テキスト文書を、前記音源が発生した固定メッセージのテキスト文書と比較し、これらの違いに基づいた評価を行う。
【０００４】
すなわち、測定するたびに評価結果が変わったりすることもないので、決まった測定値の表示を行い、定量的な評価結果を得ることができる音声通話装置評価試験方法及びシステムである。
【０００５】
【特許文献１】
特開２００２−３００２５９号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、上記公報記載の技術では、定量的な評価結果とオピニオン評価に必要とされる多大な評価時間の短縮を可能とするが、以下のことが問題として挙げられる。
【０００７】
第１に、評価システムのプログラム化が不十分であるため、音声品質の評価をするにあたり作業者を拘束しなければならなかった。
【０００８】
第２に、評価結果に問題があった場合、なにが原因であったかが詳しくわからないということである。その理由は、オピニオン評価の欠点を解消するために考えられたシステムであるためである。
【０００９】
そこで、本発明は、完全に自動化された評価システムの提供を第１の目的とする。
【００１０】
また、本発明の他の目的として、規格化されているＶｏＩＰの通話品質の評価方式として、ＭＯＳ（人間が実際に音を聞いて評価する方式。オピニオン評価）、ＰＳＱＭ（測定器を使用しネットワークを通って劣化した音を原音と比較することにより、客観的に品質評価をする方式）・ＰＥＳＱ（ＰＳＱＭを改良した方式）、Ｒ値（ネットワークの構成要素を数値化して算出する方式）等の欠点を補うことができる音声品質評価システムを提供することにある。
【００１１】
更に、本発明の他の目的は、ＶｏＩＰの通話品質に問題がある場合には、測定結果を用いて、真の問題原因究明を行える音声品質評価方法を提供することにある。
【００１２】
更には、本発明の他の目的は、前述の原因が複合要素からなる場合の評価にも対応し、評価に使用する音声ファイルの使用言語や内容検討および音声認識エンジンのチューニングを行い、要素毎の誤認識の傾向調査や、要素が特定できない場合の評価もできるシステムを提供することにある。
【００１３】
【課題を解決するための手段】
請求項１記載の発明によれば、ＩＰ（ｉｎｔｅｒｎｅｔ  ｐｒｏｔｏｃｏｌ）ネットワークを介して音声パケット伝送を行うＶＯＩＰ（ｖｏｉｃｅ  ｏｖｅｒ  ｉｎｔｅｒｎｅｔ  ｐｒｏｔｏｃｏｌ）システムの音声を評価する音声評価端末において、音声評価用として予め生成された音声ファイルを対向側の端末から前記ＩＰネットワークを介して受信する音声受信部と、前記受信した音声ファイルについて音声認識を行い、認識率を算出する音声認識部と、前記受信した音声ファイルと、前記音声認識部における認識結果を記憶する記憶部と、を備えたことを特徴とする音声評価端末を得ることができる。
【００１４】
請求項２記載の発明によれば、前記受信部にて受信した音声ファイルをＷＡＶＥファイルに変換するＷＡＶＥ処理部を備え、前記音声認識部は、前記受信した音声ファイルの認識に代えて前記ＷＡＶＥファイルについて音声認識することを特徴とする請求項１記載の音声評価端末を得ることができる。
【００１５】
請求項３記載の発明によれば、前記対向側の端末から送信される音声ファイルには、複数の言語を含むものとし、前記音声認識部は、言語毎にその認識率を算出することを特徴とする請求項１〜２のいずれかに記載の音声評価端末を得ることができる。
【００１６】
請求項４記載の発明によれば、前記認識率と、各種障害について予め定めた基準値とを比較し最も近い障害要因を求める障害要因解析部を備えることを特徴とする請求項１〜３のいずれかに記載の音声評価端末をえることができる。
【００１７】
請求項５記載の発明によれば、前記障害要因解析部は、比較により求めた障害要因について認識率と基準値の比較により障害の度合いを示す解析値を求めることを特徴とする請求項４記載の音声評価端末を得ることができる。
【００１８】
請求項６記載の発明によれば、前記解析値を前記対向側の端末へ送信し、この解析値に基づき擬似的に障害を発生させた評価用音声パケットを受信し、前記障害要因の正当性を検証することを特徴とする請求項５記載の音声評価端末を得ることができる。
【００１９】
請求項７記載の発明によれば、ＩＰ（ｉｎｔｅｒｎｅｔ  ｐｒｏｔｏｃｏｌ）ネットワークを介して音声パケット伝送を行うＶＯＩＰ（ｖｏｉｃｅ  ｏｖｅｒ  ｉｎｔｅｒｎｅｔ  ｐｒｏｔｏｃｏｌ）システムの音声を評価する音声評価方法において、一端の音声評価端末は、音声評価用として評価用音声ファイルを生成するステップと、この音声ファイルを前記ＩＰネットワークに送出するステップを有し、他端の音声評価端末は、前記ＩＰネットワークに送出された前記評価用音声ファイルを受信するステップと、前記受信した音声ファイルについて音声認識を行い認識率を算出するステップと、を備えたことを特徴とする音声評価方法を得ることができる。
【００２０】
請求項８記載の発明によれば、前記他端の音声評価端末は、前記認識率と、各種障害について予め定めた基準値とを比較し最も近い障害要因を求めるステップを備えることを特徴とする請求項７記載の音声評価方法を得ることができる。
【００２１】
請求項９記載の発明によれば、前記障害要因を求めるステップは、比較により求めた障害要因について認識率と基準値の比較により障害の度合いを示す解析値を求める処理を含むことを特徴とする請求項８記載の音声評価方法を得ることができる。
【００２２】
請求項１０記載の発明によれば、前記他端の評価端末は、前記解析値を前記一端の評価端末に送信するステップを備え、また前記一端の評価端末は、前記解析値を受信するステップと、この解析値に基づき擬似的に障害を発生させた評価用音声パケットを生成するステップと、当該評価用音声パケットを前記他端の評価端末に送出するステップとを備え、前記他端の端末は、更に前記評価用音声パケットを受信するステップと、受信した前記評価用音声パケットを解析することで先に求めた障害要因の正当性を検証するステップとを備えたことを特徴とする請求項９記載の音声評価方法をえることができる。
【００２３】
請求項１１記載の発明によればコンピュータに請求項７〜１０のいずれかに記載の音声評価方法を実行させるためのプログラムを得ることができる。
【００２４】
【発明の実施の形態】
以下、図面を参照して、この発明の好適な実施の形態を例示的に説明する。ただし、この実施の形態に記載されている構成部品の寸法、材質、その相対配置などは、特に特定的な記載がない限りは、この発明の範囲をそれらのみに限定する趣旨のものではない。
【００２５】
図１に、本発明の一実施の形態にかかる評価方法を適用するネットワーク構成例を示す。評価用データを出力する評価端末Ａ１００とＩＰ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）網を介して当該評価用データを受信し音声品質の評価を実行する評価端末Ｂ１２０が接続されている。なお、これら評価端末は、例えばパーソンあるコンピュータ等の情報端末で構成されることができ、以下に示す音声品質評価用のプログラム制御により動作する。
【００２６】
図２に評価端末Ａ１００のブロック構成図を示す。評価端末Ａ１００は、入力された音声ファイルから評価用音声ファイルを作成する音声入力部１０１と、当該作成された評価用音声ファイルを格納する記憶部１０４と、後述する評価プログラムＡによって生成された評価パターンに基づき記憶部１０４に格納された音声ファイルを送信用のパケットに変換するパケット化部１０２と、ＩＰ通信網の通信路の管理（状態管理）および評価用に生成した前記パケットの送出等を行うソケット管理部１０３と、ネットワークの音声品質を評価する際に起動される評価プログラムＡとを備える。なお、評価プログラムＡ及び後述する評価プログラムＢとは同一機能を有するものとし、端末が送信側であるか受信側であるかの役割に応じて使用する機能を使い分ける。したがって、以下の説明では、評価プログラムＡは、送信側の役割として使用される際には評価パターンの生成及び音声送信プログラムが起動されるものとする。
【００２７】
図３に評価端末Ｂ１２０のブロック構成図を示す。評価端末Ｂ１２０は、ソケット通信の制御とＩＰ通信網からのパケットの受信動作を行い、また受信時に異常がないかの管理を行うソケット管理部１２１と、当該受信パケットをＷＡＶＥファイルに変換するＷＡＶＥ処理部１２２と、前記ＷＡＶＥファイルを記憶する記憶部１２４と、ＷＡＶＥファイルを音声認識装置１２５による認識に適合するフォーマットに変換する音声出力部１２３と、受信された評価用の音声を認識する音声認識装置１２５と、評価プログラムＢとを備える。
【００２８】
次に音声品質評価の動作について説明する。まず、評価端末Ａにおける音声評価用のパケットの送信について説明する。音声ファイルは、種々の言語の特性をふまえた音声品質の評価ができるように、日本語、英語、フランス語、ドイツ語、イタリア語、中国語、韓国語などが含まれるものとする。入力された音声ファイルは、音声入力部１０１にて受信され記憶部１０４に格納される。
【００２９】
ここで、評価プログラムＡの評価パターンの生成モジュールが起動し、前記音声ファイルを評価用として様々なパターンに組み合わせて生成する。このパターン化は、種々の音声評価が行えるよう、言語の種類及び言葉内容の組み合わせにより生成する。続いて、評価プログラムＡの音声送信プログラムが起動し、生成された種々のパターンからなる音声ファイルを記憶部１０４から読み出しパケット処理部１０２によりパケットを生成する。このパケットは、ソケット管理部１０３からＩＰ網へ出力される。ここで、音声送信プログラムは、設定により予め定めた時間に起動するように設定してもよいし、また評価者の手動によるものでもよい。
【００３０】
続いて、評価端末Ｂにおける評価パケットの受信及び評価解析の動作について説明する。
【００３１】
ソケット管理部１２１は、ＩＰ通信網からの評価用パケットを受信し、受信時の異常等をチェックし出力する。
【００３２】
ＷＡＶＥ処理部１２２は、ソケット管理部１２１から受け取った評価用パケットをＷＡＶＥファイルに変換し、記憶部１２４に書き込む。記憶部１２４では、ＷＡＶＥファイルを格納し障害解析時に使えるようにデータベース化を行う。また、ソケット管理部１２１は、変換したＷＡＶＥファイルを音声出力部１２３に出力する。
【００３３】
音声出力部１２３は、受け取ったＷＡＶＥファイルを後段の音声認識装置１２５における認識処理に適合するファイル形式に変換し出力する。
【００３４】
音声認識装置１２５は、受信した音声ファイルについて音声認識を行い、得られた、側音認識、文字認識、不認識などの各種認識結果（通常行われるオピニオン評価結果に値するもの）を記録部１２４に格納する。
【００３５】
次に、評価プログラムＢの解析プログラムにより実行される下記手段の解析処理について説明する。まず、解析プログラムは、認識率解析手段２０１を起動し、記憶部１２４から上記認識結果を読み出し誤認識の判定を行う。具体的には、評価用音声ファイルの使用言語の特性による識別の違いや、その内容、その他各要素などから認識率を算出する。例えば、使用言語毎にその認識率を算出する。
【００３６】
障害要因解析手段２０２では、予め障害の各要因（パケット・ロス、揺らぎ、遅延、エコー等の障害）について基準値を備えており、前段で求めた使用言語毎の認識率とこの基準値との比較によりもっとも近い障害要因を求め、解析値（障害度合いを表す数値）を算出する。この解析値から、パケット・ロスについてはロス率を、揺らぎについては揺らぎ幅を、遅延については時間幅をそれぞれ算出する。そしてこの解析結果は、出力手段２０３を介して記憶部１２４に格納されデータベースとして保持される。
【００３７】
次に、検証プログラムについて説明する。このプログラムは、障害要因解析手段で得た障害の解析値の正当性を検証するためのプログラムである。以下、この検証プログラムについて具体的に説明する。
【００３８】
評価端末Ｂでは、検証プログラムの起動により記憶部１２４から障害要因毎の解析値を読み出し、これをパケット化して評価端末Ａに送信する。
【００３９】
評価端末Ａでは、このパケットを受信すると、障害を擬似的に発生させる検証用音声パケットを生成する。すなわちパケット・ロスの再現については、指定したロス率およびロスタイミングに従い障害がある音声パケットを作成して、音声ファイルとして送出する。ゆらぎの再現については、指定した揺らぎ幅に基づいて送信間隔をランダムに決定して、音声ファイルを送出する。遅延の再現については、指定した時間幅での遅れを加えた音声ファイルを送出する。エコーの再現については、任意の反響幅を持たせた音声ファイルを送出する。
【００４０】
生成された検証用音声パケットを評価端末Ａから評価端末Ｂに送信する。評価端末Ｂは、当該パケットを受信すると、前述と同様に音声認識を行った後、障害要因毎の解析値を算出する。
【００４１】
そして、発生した音声パケットから検出された障害要因と前回得た障害要因との相関関係により障害要因を検証し、最終的な音声品質の評価結果を得る。
【００４２】
【発明の効果】
第１の効果は、通信品質を具体的な数値で示すことができることにある。その理由は、人間の感覚で行っていた評価をコンピュータを使用して数値化したためである。
【００４３】
第２の効果は、障害の原因を自動判定し、同時に評価できることにある。その理由は、評価データの解析を行い、擬似的障害データを使ったシステムをプログラム化したためである。
【００４４】
第３の効果は、障害原因が複数ある場合に対応して評価ができることにある。その理由は、通話品質の障害の原因となる各種データを備え持っているためである。
【００４５】
第４の効果は、音声認識により得られた障害要因について、擬似的に障害を発生させた音声パケットによりその障害要因の正当性について検証することで障害をより具体的に特定し、精度の高い音声評価を可能とすることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の構成を示すネットワークシステムブロック図である。
【図２】本実施形態にかかる送信側のソフトウェア構成を示すブロック図である。
【図３】本実施形態にかかる受信側のソフトウェア構成を示すブロック図である。
【図４】本実施形態にかかる受信側の解析ソフトウェア構成を示すブロック図である。
【符号の説明】
１００  評価端末Ａ
１１０  ＩＰ網
１２０  評価端末Ｂ
１０１  音声入力手部
１０２  パケット処理部
１０３、１２１  ソケット管理部
１０４、１２４  記憶部
１２２  ＷＡＶＥ処理部
１２３  音声出力部
１２５  音声認識装置
２０１  認識率解析手段
２０２  障害要因解析手段
２０３  出力手段
【図１】
2005026901.tif 000003
【図２】
2005026901.tif 000004
【図３】
2005026901.tif 000005
【図４】
2005026901.tif 000006