(57)【要約】特に、第二通信サービスが第一通信サービスが受けない追加の劣化を受けるときに、第二通信サービスが第一通信サービスと等しい質であると認識されるようにするため、第二通信サービスがどのような性能レベルを有すればよいのかということを判定する方法および装置が開示する。ある実施例においては、この発明は、従来の料金−質の非パケット交換電話サービスと実質的に均等であるとパケット交換電話サービスが認識されるために、パケット損失割合とパケット遅延のどの組み合わせが許容可能かということを判定するために適用される。経験的に派生したモデルは、パケット損失割合のような、客観的に測定可能な特性に対するユーザの認識を利用する。
2004520776.tif 000002
【特許請求の範囲】
【請求項１】
許容可能な質を示すと見なされる第一通信サービスと比較して、第二通信サービスの質の許容性を判定するための方法であって、
第一通信サービスに関連する第一の質指標を得るステップと、
第二通信サービスに関連する第二質指標を得るステップと、
もし第一質指標が第一質指標サービスから選択された量よりも大きく異なっているときは第二通信サービスは許容されない質であると判断するステップとを含む、方法。
【請求項２】
前記第一及び第二の質指標は平均オピニオン値である、請求項１に記載の方法。
【請求項３】
前記第一及び第二質指標はユーザにとって好ましくない評価である通信の平均的割合に関連する、請求項１に記載の方法。
【請求項４】
第二通信サービスに関連する質指標を得るステップは、
第二ネットワークの性能特性を測定するステップと第二通信サービスのための期待される質指標を演算するステップとを含む、請求項１に記載の方法。
【請求項５】
予期される質指標を演算する前記ステップは効果マトリックスを適用することによって実行される、請求項４に記載の方法。
【請求項６】
第一通信サービスと比較して第二通信サービスに要求される質性能を決定するための方法であって、
前記第一通信サービスの質を表す第一質指標を得るステップと、
第二通信サービスに関連する第二質指標において第二通信サービスの少なくとも一つの性能特性の影響を判定するステップと、
第一質指標の値の認識で第二質指標を許容可能に維持するために要求される性能特性のための値を決定するステップとを含む、方法。
【請求項７】
前記第一及び第二の質指標は平均オピニオン値である、請求項６に記載の方法。
【請求項８】
前記第一及び第二質指標はユーザによって好ましくないと評価される通信の平均的な割合に関係する、請求項６に記載の方法。
【請求項９】
前記性能特性はパケット損失割合である、請求項６に記載の方法。
【請求項１０】
前記性能特性はパケット遅延である、請求項６に記載の方法。
【請求項１１】
第一通信サービスと比較して第二通信サービスに要求される質の性能を判定する方法であって、
第一通信サービスの質を表す第一質指標を得るステップと、
第二通信サービスに関連する第二質指標において第二通信サービスの第一性能特性の影響を判定するステップと、
第二通信サービスに関連する第二質指標において第二通信サービスの第二性能特性の影響を判定するステップと、
第一性能特性のための選択された値を仮定するステップと、
第一性能特性に対する選択された値の状況で、第一質指標の値の近くで第二質指標を許容可能に維持するために要求される第二性能特性の値を判定するステップとを含む、方法。
【請求項１２】
第一性能特性は他の性能特性と実質的に独立している第二質指標に影響を与える第一性能特性を判定するステップをさらに含む、請求項１１に記載の方法。
【請求項１３】
他の性能特性と実質的に無関係な第二質指標に影響を及ぼす第一性能特性を選択するステップをさらに含む、請求項１１に記載の方法。
【請求項１４】
第二性能特性に実質的に無関係な第二質指標に影響を与える第一性能特性を選択するステップをさらに含む、請求項１１に記載の方法。
【請求項１５】
前記第一及び第二質指標は使用者に好ましくないとして評価される通信の平均割合に関連する、請求項１１に記載の方法。
【請求項１６】
前記第一及び第二質指標は平均オピニオン値である、請求項１１に記載の方法。
【請求項１７】
前記第一性能特性はパケット遅延である、請求項１１に記載の方法。
【請求項１８】
前記第二性能特性はパケット損失割合である、請求項１１に記載の方法。
【請求項１９】
第一通信サービスと比較して第二通信サービスの要求された質性能を判定するための方法であって、
第一通信サービスの質を表す第一質指標を得るステップと、
少なくとも一つの悪化した性能特性を受ける第二通信サービスの質を表す第二質指標を判定するステップと、
第二通信ネットワークを介して発生する通信のための平均した合成品質指標を判定するステップを含み、前記平均した合成質指標は悪化した性能特性なしに発生する第一通信及び悪化した性能特性で発生する第二通信の混合物から生じる平均値であり、
第二通信サービスの要求された質性能を、前記第一通信と前記平均合成質指標を第一指標の値の近くで許容可能に維持するために要求される前記第二通信間の割合として表現するステップを含む、方法。
【請求項２０】
前記第一及び第二並びに平均化された合成質指標は平均オピニオン値である、請求項１９に記載の方法。
【請求項２１】
前記第一、第二及び平均された合成質指標はＰ（ＵＤＩ）値である、請求項１９に記載の方法。
【請求項２２】
与えられた値を有する第一性能特性が通信サービスの質にどのように影響を及ぼすかということを決定する方法であって、前記方法は、
通信サービス内で少なくとも一つの第二性能特性の各種値の発生に関連する元のデータセットを得るステップと、
第一性能特性が第二性能特性の値の発生に有する影響を判定するステップと、
元のデータセットにおいて、第一性能特性が与えられた値に対してセットされたと仮定して、第二性能特性の値の発生を変更することによって変更されたデータセットを演算するステップと、
変更されたデータセットに基づいて通信サービスのための質指標を演算するステップとを含む、方法。
【請求項２３】
前記質指標を演算するステップは効果マトリックスと共に変更されたデータセットをコンボルブ（ｃｏｎｖｏｌｖｅ）することによって実行される、請求項２２に記載の方法。
【請求項２４】
前記質指標は平均オピニオン値である、請求項２２に記載の方法。
【請求項２５】
前記質指標は使用者によって好ましくないと評価される通信の平均割合に関連する、請求項２２に記載の方法。
【請求項２６】
許容可能な質を示す第一通信サービスと比較して、第二通信サービスの許容可能な質を判定する方法であって、
第一通信サービスのために少なくとも一つの性能特性を測定するステップと、
第一通信サービスに対する測定された性能特性から、第一通信サービスに関連する第一平均オピニオン値を判定するステップと、
第二通信サービスのために少なくとも一つの性能特性を測定するステップと、
第二通信サービスのための測定された性能特性から、第二通信サービスに関連する第二平均オピニオン値を判定するステップと、
もし第二平均オピニオン値が第一オピニオン値よりも認識可能な差の閾値よりも大きく少なかったときは、第二通信サービスは許容できない質であると判定するステップを含む、方法。
【請求項２７】
第二通信サービスのＰ（ＵＤＩ）値を判定するステップをさらに含み、前記Ｐ（ＵＤＩ）値は使用者によって好ましくないと評価される通信性能に関連し、もしＰ（ＵＤＩ）が閾値を超えたとき、第二通信は、許容範囲にない質であると判定する、請求項２６に記載の方法。
【請求項２８】
第二通信サービスのＰ（ＵＤＩ）のために前記閾値は０．０６である、請求項２７に記載の方法。
【請求項２９】
前記第二通信サービスは第一通信サービスに影響を与えない少なくとも一つの劣化を受ける、請求項２６に記載の方法。
【請求項３０】
前記劣化はパケット損失である、請求項２９に記載の方法。
【請求項３１】
前記劣化はパケット遅延である、請求項２９に記載の方法。
【請求項３２】
第一通信サービスと比較して第二通信サービスが許容可能な質を達成するために要求される性能を判定する方法であって、
許容可能なＰ（ＵＤＩ）限界を得るステップと、
第一通信サービスの質を表す第一平均オピニオン値を得るステップと、
第二通信サービスのためのパケット遅延の値を判定するステップと、
許容可能なＰ（ＵＤＩ）限界からパケット遅延の値の効果を削減することによって縮小されたＰ（ＵＤＩ）余裕を判定するステップと、
パケット損失の影響のない性能特性のための発生値を含む元のデータセットを得るステップと、
与えられたパケット損失割合に基づいて元のデータセットを変換されたデータセットに変換するステップと、
予測された第二平均オピニオン値を演算するために変換されたデータセットに第二通信サービスのための第二Ｐ（ＵＤＩ）に対して効果マトリックスを適用するステップと、
前記第一平均オピニオン値に許容可能に近い平均化された平均オピニオン値を維持し、第二平均オピニオン値を示す通信の第一最大割合を判定するステップと、
平均化されたＰ（ＵＤＩ）が縮小されたＰ（ＵＤＩ）余裕よりも少ない状態で維持されるよう、前記第二を示す通信の第二最大割合を判定するステップと、
第一及び第二最大割合の内の小さいほうを選択するステップを第二通信サービスにおける通信の最大割合として選択するステップを含み、第二通信サービスは所与のパケット遅延を経験し、パケット損失割合は第一通信サービスと実質的に同じ質を有するとして第二通信サービスが認識されるステップとを含む、方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は一般に電気通信に関し、特にパケット交換された音声信号の質を評価する方法及びシステムに関する。
【０００２】
【従来の技術】
電話接続は常にノイズや減衰やひずみや混線及びエコーといった形態の劣化を受けやすい。このような劣化は、加入者ループや周波数領域多重化装置（ｆｒｅｑｕｅｎｃｙ ｄｏｍａｉｎ ｍｕｌｔｉｐｌｅｘｉｎｇ ｅｑｕｉｐｍｅｎｔ）のような接続のアナログ部分で特によく生じる。デジタル送信はこれらの問題の多くを軽減するが、量子化ノイズまたは誤作動のような新しい劣化を導入する。長距離接続のために完全なデジタル送信を使用したとしても、典型的な電話接続はハイブリッドのような多くのアナログ要素を含んでいるため、そこで欠陥が生じる。
【０００３】
装置の質の悪い接続、または故障した要素は電話顧客が不愉快な思いをし、また耐えられないと思うような状態を作り出し、そのため、接続は極端に質の悪いものと見なされる。そのような質の悪い接続が高い頻度で生じると、顧客はサービスプロバイダまたは監督機関に不平を言うかもしれず、または単にサービスプロバイダを変更する。それゆえ電話接続の質に対する認識は長距離電話サービスの評判及び市場性に影響を及ぼす大きな因子である。
【０００４】
質の悪さに対処するために、電話サービスプロバイダは電話線、装置の要素または終端間（ｅｎｄ−ｔｏ−ｅｎｄ）電話接続に対して客観的な質のための対策を施す方法を開発してきた。これらの対策はサービスプロバイダが障害、ピンポイントの弱点要素を判断し、ユーザが質の低下を認識するような欠陥を修正するのに役立つ。
【０００５】
多くのそのような客観的な測定は技術分野においてよく知られまた標準化されている。経験から導き出された閾値によって、アナリストは測定を許容可能な値の表と比較することによって質の問題の存在とその深刻さを推測することができる。例えばテスト信号と静かな経路ノイズの出力レベルが電子的に測定されうる。信号レベルのある範囲はイヤホン（ｅａｒｐｉｅｃｅ）において許容可能な音量となるように電話のレシーバに到達しなければならず、かつ、ユーザにおいて許容できないようなノイズを経験しないように、Ｃ加重ノイズ（Ｃ−ｗｅｉｇｈｔｅｄ ｎｏｉｓｅ）は信号レベルよりも実質的に小さくなければならない、ということはよく知られている。特定の接続のための信号とノイズ測定の組み合わせは、ユーザが電話を通して会話を聞くことが困難であると主張する可能性を判断するために使用されてもよい。
【０００６】
これらの客観的な測定の任意の一つに対してユーザの質の認識に対する極端な値の効果は明らかであり、「効果がない」及び「実質的な悪化」状態を規定するための粗い閾値は存在する。しかしながら、中間の値及び劣化の組み合わせに対しては許容可能及び許容不能間の、接続の質を表す値のはっきりした区分は一般的には存在しない。話の明瞭さ及び認識された接続の質は、例えば、話の内容、話者のリズム、聞いている人の主観的な認識及びユーザの電話サービスに対する順応度を含む多くの変数による。その結果、客観的な測定の値と接続の質に対するユーザの認識との相関関係は統計的であり、母集団（ｐｏｐｕｌａｔｉｏｎ）のユーザに対する多くの異なった種類の劣化及び感度のばらつきの組み合わせによって表される。
【０００７】
この発明者によるこの分野における初期の作業において、客観的な測定と認識された質との間のマップを生成した。その結果、例えば、所与の回路が信号レベル、ノイズ、ひずみ、混線及びエコーを電子測定装置によって測定し、平均のユーザによってかなり劣化があるまたは質が悪いと報告されるような会話の割合を予測する。そのようなマップは展開する前に新しい線または装置の要素のための報告された劣化を解析し、また許容可能な性能を判断するための強力なツールとなることが証明された。
【０００８】
マップは測定可能な特性の各種組み合わせを有する電話回線を生成または見つけ、その後多くの呼び出し者の母集団にそのような電話回線を使用してテスト呼び出しをしてもらい、各呼び出しの質を主観的に判断してもらうことによって生成された。各テスト呼び出しに対して、分析された回線は接続されたユーザに対して明示された劣化の各々に対して「無し、多少、多量」のスケールで評価される。劣化はノイズ、ボリューム、ひずみ及びエコーを含む。主観的に評価された劣化の各々は選択された客観的に測定が可能な特性と関連づけられる。各特性に対する「無し、多少、多量」の評価でのそのような経験的な試みを大量に行うことによって得られた統計は、通信サービスの質を特徴づけるサービス属性テスト（Ｓｅｒｖｉｃｅ Ａｔｔｒｉｂｕｔｅ Ｔｅｓｔ）（ＳＡＴ）と呼ばれる。
【０００９】
上記した各テスト呼び出しに対して、各呼び出し者はオピニオン値（ｏｐｉｎｉｏｎ ｓｃｏｒｅ）が与えられ、これは数値のスケールで回路の質の全体を評価する。さらに、各呼び出し者はまた劣化の全体の影響が接続を次のどれに対応するか判断する。
【００１０】
使用不能（Ｕ；伝達経路は全く使用できない）
困難（Ｄ；話者及び聞き手によって適応を要求するほど十分な困難を引き起こす）
いらいらする（Ｉ；騒がしいが、話者及び聞き手によって適応を要求するほどではない）
目立つ（Ｎ；無視できるほど些細である）または
気づかない（Ｏ；質に対して影響がない）
最初の３つの応答（使用不能、困難、またはいらいらする）のいずれか一つを引き出す呼び出しまたは接続の割合はＰ（ＵＤＩ）と呼ばれる。Ｐ（ＵＤＩ）は顧客満足度の計器としてサービスプロバイダにとって特に興味のあるものである。というのは、全体の満足度は平均のオピニオン値に関わらず、Ｐ（ＵＤＩ）の増加と共に減少するからである。
【００１１】
接続特性の客観的な測定に関して得られた劣化のユーザレポートと共に、劣化及び認識品質のユーザレポートを含む経験的なデータの分析は、それから客観的な測定からのユーザの質に対する認識を予測するための二段階の開発を支持した。第一は各劣化のために報告された「無し」、「多少」及び「多量」（Ｎ、Ｓ、Ｍ）の可能な組み合わせの各々で、呼び出しの割合の関数としてＰ（ＵＤＩ）及び平均のオピニオン値の予測をサポートするモデルが生成されたことである。それから、客観的な測定が、客観的な測定の関数としてユーザによって報告されるであろうＮ、Ｓ、Ｍの評価の割合を予測するための劣化のユーザレポートと関連づけられたことである。これら二つの要素から、接続のための客観的な特性の測定を行い、得られた測定の組をＰ（ＵＤＩ）及び平均のオピニオン値によって表された、ありそうなユーザの質に対する認識の評価に変換することが、その後可能になった。
【００１２】
伝統的な回線交換式の電話ネットワークはそのようなアプローチによって大規模に特徴づけられてきたが、パケット交換式電話（インターネット電話）に対する最近の傾向は何らかの新しい劣化を受ける電話伝達経路を特徴づける必要性を生み出した。パケット交換式ネットワークは一般に、転送遅れが固定されたり、データパケットが順に到着したり、または均等に到着することを確実にするという点においては一般的に適していない。この動作はデータファイルやメッセージを転送するためには許容できる。というのは、順序通り到着しなかったパケットは単に並べ替えればよいし、失ったパケットは再送信すればよいからである。しかしながら、パケット交換式電話においては、音声信号はデジタル化され、別個のパケットの安定した流れに符号化される。音声データパケットの送信における中断や遅延のばらつきはたとえそれがミリセカンドのオーダであっても、受信側で音声信号を再構成する能力に影響を与えうる。この問題は「コーデック」（ｃｏｄｅｃ）がデータ送信の帯域幅のより効率的な使用のためにデジタル化された音声信号を圧縮または符号化するために使用されたとき、より拡大される。もし複雑なコーデックが使用され、データの流れが音声の波形を再構成するために要求される決定的なパケットを失うと、その結果は一時的な抜け、不明瞭な話、ひずみまたはブーブーいう音として聞こえるかもしれない。
【００１３】
「ＶｏＩＰ」と省略して表されることがある、インターネットプロトコル上での音声は、多くの潜在的な技術的及び経済的な利点を提供する。しかしながら、ＶｏＩＰの大規模な展開はＶｏＩＰ転送によってどれほど音声伝達経路の品質がユーザの認識に影響を与えるのかということに関する混乱によって妨げられる。いわゆる「料金―質」（”ｔｏｌｌ−ｑｕａｌｉｔｙ）電話サービスと競争するためにＶｏＩＰから収益をあげ、展開しようとしている企業にとってはユーザがサービスの質を受け入れられないと判断し、従来の電話ネットワークに戻るという大きなリスクがある。
【００１４】
パケット交換電話においてサービスの悪化を認識させることなくパケットの遅延及びパケットの損失のどれが発生すると耐えうるかということを判断するニーズがある。従来の電話ネットワークは大規模な実験によって十分特徴づけられた、確立された第一の通信サービスである。パケット交換環境は第一通信サービスと類似でありかつ違いを有する第二の通信サービスと見なされる。
【００１５】
それゆえ、第一通信サービスの質がよいと特徴づけられかつ許容可能と見なされるときは、第二通信サービスは第一通信サービスに匹敵するという必須の性能を確立する必要がある。これは第二通信サービスが第一通信サービスに対し、適応されないような追加の欠陥の影響を受けやすいとかそのような追加の欠陥が深刻でかつ頻度が多いように変化する場合は特に重要である。さらに、その挙動において異なったコーデック計画が変化し、パケット損失を起こしやすいため、特定のコーデック計画の状況で第二通信ネットワークの必須の性能を特徴づける必要がある。
【００１６】
多重に加えられた欠陥を考慮し、合成された質の要求に向けて各々加えられた欠陥の影響を分配し、加えられた欠陥の組み合わせを受けやすい通信サービスの要求された性能を表現する、役に立つ方法を考案する技術が要求される。
【００１７】
第一通信サービスの知識が第二通信サービスの許容可能な性能を決定するのにかなりの時間及び努力を費やすかもしれないため、第一及び第二通信サービスの両方に共通の欠陥に関連した確立した統計に出来るだけ頼るようにすることがさらに好ましい。
【００１８】
この発明は、特に第二通信サービスが第一通信サービスによって経験されないような追加の劣化を受けやすいときに、第一通信サービスと等しい品質であると第二通信サービスが認識されるために、第二サービスがどのような性能のレベルを維持しなければならないかを決定する技術を提供する。この発明は例えば、パケット切り替え電話サービスが従来のパケットトール品質のパケットを切り替えない電話サービスと実質的に同等であると認識されることが望まれる場合に、パケット損失及びパケット遅延のどのような組み合わせが許容されるかということを決定するために役立つ。第二通信サービスに対して要求される性能は客観的に測定可能な特性という条件で表現される。さらに、コーデックがパケット交換転送と共に使用される場合には、この発明は特定のコーデック計画の状況で第二通信サービスの性能を特徴づける。
【００１９】
適切なモデルを適用することによって、質の指数を予測するために使用されてもよい測定可能な性能特性によって、通信サービスの質が決定される。平均オピニオン値（ｍｅａｎ ｏｐｉｎｉｏｎ ｓｃｏｒｅ）（ＭＯＳ）及びＰ（ＵＤＩ）のようなこれらの質指数は平均のサービスの使用者によって認識される通信サービスの質を要約する。この発明は、第二通信サービスの平均オピニオン値が第一サービスの平均オピニオン値に対してある量より少なく異なっているとき、第二通信サービスが第一サービスと同等であると認識されると見なされるかもしれない技術を提供する。例えば、平均オピニオン値が０．０から４．０の目盛にあったとき、もし第二サービスのＭＯＳが第一サービスの０．２単位内にあれば、第二サービスは第一サービスと本質的に同じ質であると認識されるということが認定された。言い換えると、そのような場合における０．２の差は認識されない。この開示はさらに、サービスのＰ（ＵＤＩ）は、他の因子に関わらず、ユーザに対してサービスが許容されるためには、０．０６より少ない値に維持しなければならないということを教示する。このように、ある事例においては、第二通信サービスのＭＯＳは受け入れられた第一通信サービスのＭＯＳの０．２ポイント以内に維持されなければならず、第二サービスのＰ（ＵＤＩ）は、すべての劣化を考慮したとき、０．０６より小さい値に維持されなければならないということがわかった。
【００２０】
第一通信サービスに関連して第二通信サービスが評価される場合、及び第二通信サービスが追加の劣化の影響を受ける場合は、第二通信サービスの質は第一通信サービスのために既存のデータに基づいて大きくは決定されてもよい。そのような元のデータは何千ものテスト呼び出しからの役に立つデータを含んでいるであろうため、これは実質的に有利である。この発明の教示に従って、第一通信サービスに関連する、あらかじめ存在するデータのほとんどが第二通信サービスの状況においては追加の劣化の影響を反映するよう修正されうる。この局面は第二通信サービスを特徴づけるために経験的な大多数の実験を繰り返す必要性を未然に防いでいる。
【００２１】
この発明は通信サービスの質においてパケット転送現象の影響を考慮する技術を提供する。この発明は、サービスがパケットに基づかない通信サービスと実質的に同じ品質であると認識されるようにパケットに基づく通信サービスのために、パケット損失及びパケット遅延の点において、必要な性能特性を確立するための技術を提供する。
【００２２】
好ましい模範的なこの発明の実施例に従って、パケット交換式ネットワークにおけるパケット損失は、話のひずみの形で出現することに基づくことによって説明される。もしパケット化された音声信号がいくつかのパケットをなくすと、聞き手はスピーチのひずみに気づく。スピーチのひずみの厳しさは、もしあるとすれば、どのコーデックの計画が採用されているのかによるかもしれない。認識されたスピーチひずみに基づくパケット損失の影響が特徴づけられ、それからこの関係がパケット損失のさらなる影響を反映するために既存のサービス属性データを変換するために使用される技術が教示される。
【００２３】
この発明は、多数の劣化の内のどれが、及び最終的な判断基準の内のどれが、通信サービスの性能を維持するための限定的な因子になるのかということを決定する技術を提供する。ある模範的な実施例において、要求された性能の全般的なプロファイルを生成するために、反復的なアプローチがパケット遅延及びパケット損失の値の各種組み合わせと共に取られる。
【００２４】
劣化の発生におけるランダムなばらつきに対処するために、この発明の好ましい実施例は平均的な質の要求を満たしながらも、所与の最悪のケースの劣化に対して、通信のどの割合が屈服するのかという点の性能の基準を述べることを含む。
【００２５】
この発明はまた互いに関連する多数の劣化に関連した技術を提供する。例えば、パケット交換通信に関して、パケット遅延は非線形的にＰ（ＵＤＩ）に影響を与えるが、他の特性には無関係であるということがわかった。この発明のある局面はパケット遅延の衝撃を独立に評価するための方法を提供し、それから他の性能特性によって引き起こされる、悪化する可能性のある余裕を減らす。
【００２６】
この発明の技術は伝達経路に応じて主観的な測定を置き換えるための客観的な測定を許容する。例えば、これは伝達経路がサービスに使用される前に伝達経路の性能または通信要素を評価する上での改良を生じる。インターネット電話経路の客観的な評価は認識された質に関連する方法で表現される。
【００２７】
この発明は各種方法において使用されうる。例えば、電話システムまたは電話システムの一部（例えば、線または装置の要素）は商業的に使用される前にテストされうる。別の適応例では、ワークステーションが客観的な測定を格納しかつ分析する。このワークステーションはネットワークのトラブルシューティングを行うエンジニアによって、または、各種オプションの質を比較する、セールスエンジニアによって使用されうる。この発明は通信ネットワークのための自動の、リアルタイム制御システムにおいてまた使用されうる。
【００２８】
【発明の実施の形態】
各種実施例の製造及び使用が以下に詳細に議論される。しかしながら、この発明は特定の文脈の広い多様性で実施されうる多くの適応可能な発明概念を提供するということを理解すべきである。議論されている特定の実施例はこの発明を生産及び使用するための単なる特定の方法を例示したもので、この発明の範囲を規定するものではない。
【００２９】
ある局面においてこの発明は、パケット交換通信サービスにおける客観的な測定と認識された質との間の相関関係を許容する。図１ａ及び１ｂはこの発明が使用される通信ネットワークの二つの例の単純化されたブロック図を例示する。まず図１ａを参照して、ハイブリッド電話ネットワーク１０は回線交換ネットワークの１４及び２２と、パケット交換ネットワーク部１８とを含む。ハイブリッド電話ネットワーク１０を使用するために、開始電話１２は回線交換ネットワーク１４で呼び出しを開始する。好ましい実施例において、開始電話１２は通常の電話で回線交換ネットワーク１４は公衆交換電話ネットワーク（ＰＳＴＮ）である。しかしながらこの発明は独自の（ｐｒｏｐｒｉｅｔａｒｙ）装置及び私用の（ｐｒｉｖａｔｅ）ネットワークにも等しく適応可能である。
【００３０】
回線交換ネットワーク１４は呼び出しの経路を、インターネット電話ゲートウエイ（ＩＴＧ）と時折呼ばれる、ゲートウエイ１６に決める。ゲートウエイ１６は回線交換電話信号をパケット交換ネットワーク１８と互換性のあるパケットに変換する。多くのプロトコルが使用されうるが、パケット交換音声を搬送するほとんどの最新のネットワークは、インターネットプロトコル（ＩＰ）を使用する。ゲートウエイ１６はアドレス（例えばＩＰに基づくネットワークのためのＩＰアドレス）のディレクトリ（図示なし）にアクセスを有する。このディレクトリを使用することによって、ゲートウエイ１６はパケットを適切な出口ゲートウエイ２０にアドレス指定をする。
【００３１】
音声信号はそれからパケット交換ネットワーク１８を介してゲートウエイ１６からゲートウエイ２０に転送される。パケット交換ネットワーク１８は収束されたネットワークと時折呼ばれるが、音声呼び出し、データ、ビデオのストリームなどを単一の線上で各種の媒体を組み合わせる。これらの異なるすべての媒体はみじん切りされ、別々のデータブロックまたはパケットにされる。上記したように、パケット交換式ネットワーク１８はＩＰ基準のネットワークでありうる。
【００３２】
ＩＰ基準のネットワークの一つの例は公衆のインターネットである。この文脈において、「インターネット」（大文字の”Ｉ”）または公衆インターネットは大多数の物理的なネットワークを単一の論理的なネットワークにリンクするためにインターネットプロトコル（ＩＰ）を使用する相互接続されたネットワークの世界的な収集を意味する。物理的に、インターネットは巨大な、ほとんど１００カ国をつなぐ世界的なネットワークであり、非常に多くの学術的商業的政府機関の及び軍隊のネットワークを含む。
【００３３】
パケット交換式ネットワーク１８は別のＩＰ基準のネットワークや他の通信ネットワークを含んでもよい。例えば、パケット交換ネットワーク１８は公衆インターネットに接続されない相互ネットを含みうる。この文脈において、「インターネット」（小文字”ｉ”）は単一の論理的なネットワークを形成するために、共通のプロトコルによって相互接続された別の物理的ネットワークの任意の収集である。相互ネットは多分、必ずしもインターネットプロトコルを使用する必要はない。単一の実体（ｅｎｔｉｔｙ）によって所有される相互ネットは時折、イントラネットまたは仮想のプライベートネットワークと呼ばれる。ネットワーク１８はインターネットに接続または接続されないイントラネットを含んでもよい。
【００３４】
最終の配送については、ゲートウエイ２０はパケットを回線交換ネットワーク２２と互換性のあるフォーマットに変換する。以前と同様に、好ましい実施例においては、回線交換ネットワーク２２はＰＳＴＮである。言い換えると、回線交換ネットワーク１４及び回線交換ネットワーク２２は、国または世界の二つの異なる部分における同じネットワークの二つの部分であってもよい。電話呼び出しは受信電話２４に経路が決められる。
【００３５】
図１ｂの電気通信ネットワークは、終端間（ｅｎｄ−ｔｏ−ｅｎｄ）パケット交換ネットワークであるという点を除いて図１ａのものと同様である。この場合において、開始する電話１２´はパケット交換信号を発生し、これらをパケット交換ネットワーク１８´に直接提供する。この実施例において、パケットは電話１２´によって、または電話１２´に比較的近い装置（例えば同じ建物内）（図示なし）のいずれかによって発生される。呼び出しはパケット交換ネットワーク１８´を介して受信電話２４´に経路が決められる。
【００３６】
ハイブリッド及び終端間（ｅｎｄ−ｔｏ−ｅｎｄ）パケット交換ネットワークの更なる詳細は１９９６年１１月１８日に出願され共通に譲渡された特許出願番号０８／７５１，０２３（弁護士ドケット番号ＶＯＮ−９６−００１）及び１９９７年２月１０日に出願された出願番号０８／７９８，３５０（譲受人ドケット番号ＶＯＮ−９７−００４）に記載されており、これらの記載を参照により引用する。
【００３７】
図２は通信サービスの客観的及び主観的測定からのデータがこの発明の好ましい実施例に従って処理される方法を述べている。図２においてデータフローダイアグラム２００は変換２１４を適用することによって認識された劣化２１６を引き出すために使用される客観的測定２１２を含む。客観的測定２１２は信号出力（ＰＷＲ）、Ｃ加重された（Ｃ−ｗｅｉｇｈｔｅｄ）ノイズ（ＮＳＥ）、エコーパス遅延（ＥＰＤ）、エコーパスロス（ＥＰＬ）、及び波形ひずみ（ＤＳＴ）を含む。劣化２１６は、認識された劣化、すなわち低ボリューム（ＬＶ）、ノイズ（ＮＳ）、エコー（ＥＣ）及びスピーチひずみ（ＳＤ）のようなの主観的な評価に類似する。客観的測定２１２の各種組み合わせは主観的に評価された劣化２１６の異なる一つに影響する、ことに注意のこと。ここで先に述べたように、信号出力、ノイズレベルなどの条件が変化する状態での経験的な実験によって、変換２１４は客観的評価２１２の所与の組み合わせに応答して報告される劣化２１６を正確に予測するよう構成されうる。変換２１４が経験的な実験によって確立されるであろう方法はここで前の方で手短にまた米国出願番号０９／２２０，７３３に述べられている。
【００３８】
変換２１４は選択された信号転送の実際の機構に関係なく、客観的な測定を劣化にマップ化するということに注意のこと。信号及びノイズレベル並びに他の特性の特定の組み合わせを示す任意の通信サービスは、信号が無線信号、ＰＣＭコーデック、長距離ＴＤＭ装置またはパケット交換データネットワークを実際に妨害しているかどうかに関わらず、聞き手によって同様に評価される。
【００３９】
特定の通信サービスの質が測定されるとき、客観的測定２１２の多くの組が記録されてもよい。測定のそのような各々の組は変換２１４を用いて劣化２１６の組に変換される。劣化２１６の組は無し、多少または多量の表現でそれぞれが評価された、４つの劣化ＬＶ、ＮＳ、ＥＣ及びＳＤを含んでもよい。テスト呼び出しを行うことによって通信サービスから劣化２１６の主観的な測定を直接収集するという実務は、変換２１４が既に十分確立しているときには単調でかつ不利であるが、この実務も可能である。
【００４０】
測定セット２１０は劣化２１６の組に変換された客観的測定２１２を含んでもよく、通信サービスを介してテスト呼び出しから直接得られた主観的に評価された劣化２１６の組を含んでもよい。所与の通信サービスに関連する多数の測定セット２１０はサービスのためにサービス属性テスト（ＳＡＴ）データ２２０を含むと言われてもよい。米国特許出願第０９／２２０，７３３号に記載されているように、所与の通信サービスのためのＳＡＴデータ２２０はそのサービスのための平均オピニオン値及びＰ（ＵＤＩ）の評価を生み出すために効果マトリックス２６０でコンボルブ（ｃｏｎｖｏｌｖｅ）されてもよい。変換２１４と同様に、効果マトリックス２６０は報告された劣化を全体的なＭＯＳ及びＰ（ＵＤＩ）に相関づけるために大多数の経験的な観察から構成されうる予測モデルである。
【００４１】
この発明の好ましい実施例に従えば、ＳＡＴデータ２２０は効果マトリックス２６０でコンボルブされる前にさらなる処理を経験する。パケット損失割合（ＰＬＲ）変換２２２は仮定されたパケット損失割合２２４に基づいて適応される。以下に詳細に述べられるように、変換２２２はＳＡＴデータ２２０の中で劣化の各種組み合わせの報告の割合を再分配する。本質的に、スピーチひずみ劣化の報告はパケット損失がどれほど多く発生するかに比例して増加される。変換２２２はすべての他の劣化が無視できるとき、スピーチひずみ対パケット損失割合の報告に関連する表２２６を利用する。変換２２２の結果は変換されたＳＡＴデータ２３０であり、これはＰＬＲ変換２２２の前にＳＡＴデータ２２０にどんな別の劣化が存在しようとも、それに関連してパケット損失のレベルの影響を受ける通信サービスの性能を反映する。
【００４２】
変換されたＳＡＴデータ２３０はそれからコンボルブ（ｃｏｎｖｏｌｖｅ）処理ブロック２３２によって表されるように効果マトリックス２６０でコンボルブされる。その結果は、先に入力として提供されたパケット損失２２４の割合を考慮したＭＯＳおよびＰ（ＵＤＩ）値の評価されたセットになる。
【００４３】
次にパケット遅延の効果はＰ（ＵＤＩ）に適用される。パケット遅延２４４は処理ブロック２４２によって表されるように、入力として提供され、Ｐ（ＵＤＩ）へのパケット遅延の効果は演算されＰ（ＵＤＩ）に適用される。パケット遅延が大きければ大きいほど、Ｐ（ＵＤＩ）は増加すると一般に言われる。この発明者によって、パケット遅延が他の劣化と無関係にＰ（ＵＤＩ）に影響を与えるということが実験的に確かめられた。それゆえ、すべての他の劣化が明らかにされた後でパケット遅延の影響を適用し、そして変換２１４または効果マトリックス２６０の展開を繰り返すことなくパケット遅延の効果を適用することで十分である。
【００４４】
パケット遅延がブロック２４２で考慮された後、その結果は所与のパケット遅延及び表されたパケット損失割合の両方で通信サービスを行うためのＭＯＳ及びＰ（ＵＤＩ）の合成となる。
【００４５】
好ましい実施例に従って、ＳＡＴデータは、従来の料金−質（ｔｏｌｌ−ｑｕａｌｉｔｙ）の電話接続のような第一通信サービスに関連する。出力、ノイズ、エコーおよび波形ひずみの観点から、パケット交換サービスの性能は最適化された電話接続に匹敵するかまたはそれより優れていると推測される。第二通信サービスに対する必須の性能を控えめに評価するために、第二通信サービスはせいぜい第一通信サービスの質と一致すると仮定される。パケット交換対回線交換電話の場合では、これは合理的な仮定である。というのは、先に述べたように、パケット交換転送に基づく通信システムはある点においてあるアナログの装置を含み、従来のアナログ電話接続の多くの劣化を受けるからである。
【００４６】
図２は模範的な実施例に従った各種の情報間の相互作用を述べるために示されている。データが作用される実際の処理ステップは以下に図６及び図７に関連して述べられる。
【００４７】
客観的に測定可能な特性の各々は音声信号の認識された質の明示につながる。表１に選択された測定可能な特性に対応するいくつかの兆候を列挙する。他の特性も代わりに使用されうる。
【００４８】
【表１】
2004520776.tif 000003
【００４９】
各客観的な特性のレベルは兆候を多くの主観的な定量化に分類する母集団の期待された割合に変換される。異なる兆候（すなわち質特性）は主観的な定量化の異なった数を有しうる。例えば、好ましい実施例において、無し、多少及び多量の３つの主観的な定量化分類が各質特性に規定されている。テスト被験者は、もしそれがなければ「無し」とし、もしそれが存在し、非常に注目に値する場合は、「多量」と評価し、それ以外は「多少」と評価するよう劣化の存在を評価するよう指示される。
【００５０】
主観的評価者は客観的測定と無し−多少−多量の評価間の相関関係を判断するために使用される。典型的な多数の主観的評価者は（例えば４４人以上）システムを評価するために使用される。これらの主観的な評価者はテストメッセージを聞き、兆候上の客観的特性の影響を評価する。例えば、これらの評価者は変化する信号ノイズ（客観的特性）と共にテスト信号または一連のテスト信号を聞きそれからその信号が「無し」、「多少」または「多量」のやかましさ（質特性）を有すると述べる。同じテストが音声信号に対する認識効果を判定するために他の客観的特性のために実行される。これらのテストは一度に一つの特性を変化させることによって、または一つの客観的特性よりも多くを変化させることによってこれらのテストは実行されうる。評価者は音声信号上の効果及びメッセージの全体的な質を評価するよう通常頼まれる。
【００５１】
評価音声メッセージは客観的特性の選択された一つを変化させることによって発生される。例えば、最初の評価メッセージは３５ｄＢｒｎｃノイズ、−２５ｄＢロス、１分間に１パケットの割合のパケット損失、−２５ｄＢのエコー経路ロス及び２０ミリ秒のエコー経路遅延を有してもよい。他の評価メッセージはこれらの特性に対して異なった値の組を有する。メッセージ内容の独立性を保証するために、客観的特性の同じ組み合わせを有する各種メッセージが使用されてもよい。
【００５２】
評価音声メッセージは経験的テストの前に発生されうるかまたはリアルタイムの電話での会話でありうる。パラメータがあらかじめ研究所において正確に変化され、内容が一定に保たれうるため先に発生されたメッセージは有用である。両端の当事者は呼び出しを評価できるため、リアルタイム会話は有用である。
【００５３】
テスト呼び出しからの経験的なデータは、ノイズ、信号レベル、ひずみ及びエコーの認識された質レベルへの客観的な特性の組み合わされた効果をマップ化するために捕獲され、かつ要約される。このマップは基礎をなす転送と独立しているため、例えば共通のアナログ電話からとられた数字がここでも適応されてもよい。しかしながら、テスト中の回線が、たとえば異なる帯域幅を有することによってデータを発生するために使用される回線と実質的に異なるときは、新しい特性が要求される。
【００５４】
テストデータは主観的な定量化の組み合わせの各々のために平均オピニオン値（ＭＯＳ）を展開するために使用されうる。平均オピニオン値はすべての（またはほとんどの）主観的評価者のための平均スコアを提供する。例えば、システムはＢ（非常に悪い）、Ｐ（悪い）、Ｆ（まあよい）、Ｇ（よい）及びＥ（優れている）がそれぞれ０，１，２，３及び４で評価されるシステムが使用されうる。従って、完全なスコアは４である（例えば、評価者が”Ｅ”すなわち４点をつけた場合）。
【００５５】
好ましい実施例において、ＢＰＦＧＥに評価されたＭＯＳはラインが許容可能であるＰ（ＵＤＩ）の可能性と共に使用される。例えば、ＭＯＳの３．６は非常によく、ユーザの満足を保証すると通常考えられるが、Ｐ（ＵＤＩ）がＭＯＳに関わらず６％より大きいときはユーザはそれにも関わらず質の粗末さに不平を言うという研究があるため、組み合わせは価値のある情報を提供する。それゆえ、全体的なサービスの許容可能性の予測はＭＯＳ及びＰ（ＵＤＩ）の両方を考慮して最良に行われる。
【００５６】
この発明の発明者は、音声信号がパケット交換ネットワークを介して送信されたとき、パケット交換ネットワークにおけるパケット損失のレベルを和らげるための光がスピーチひずみとして認識されるような方法で音声スピーチ信号に影響を与えうるということを確定した。
【００５７】
使用されているコーデックの形式に応じて、パケット損失は、もしあれば、ひずんだ波形を引き起こす、すなわちいわゆる「ウオーブル」（ｗａｒｂｌｅ）効果を引き起こす短いドロップアウト（ｄｒｏｐｏｕｔ）を発生させるかもしれない。この新しいひずみの形態はパケットのロスの割合の客観的な測定と相関されうる。図３ａ−３ｃは音声信号のパケット損失の効果の一例を例示する。図３ａは評価できるパケット損失のない（「無し」）の音声信号を例示する。図３ｂは一分間に５パケットの割合でパケット損失がある音声信号を示し、図３ｃは一分間に１５パケットの割合でパケット損失のある音声信号を例示する。これらの異なるレベルの効果は音声信号においてスピーチひずみの主観的な認識に関係し、スピーチひずみの他の評価が無いときに、ほとんどすべてのユーザが図３ａの場合には「無し」と報告し、図３ｃの場合は「多量」と報告すると推測される。さらなる経験的なテストによって、図３ｂの場合の「無し」、「多少」及び「多量」の割合が明らかになる。
【００５８】
パケット損失の深刻さ及びそのようなロスに対する所与のコーデック計画の感度に応じて、パケット損失割合の発生はスピーチひずみ及びドロップアウト効果の混合を引き起こすかもしれない。深刻なドロップアウト効果は話されたすべての音節及び単語を消し去ってしまうかもしれない。一般に、パケット損失が理解度に影響を与えるドロップアウトを引き起こすほど深刻な場合は、パケット損失の問題は料金−質（ｔｏｌｌ−ｑｕａｌｉｔｙ）のスピーチ経路が確立される前に明らかに修正されていなければならない。ここで教示される方法の主なる意図は、スピーチ信号は少なくとも理解できるような、悪化の形態をより深刻にしないよう特徴づけることである。それゆえ、ドロップアウトの効果はここで教示される模範的な実施例においては測定されないかまたは明確には考慮されない。
【００５９】
添付の図９は所与のコーデック計画の下でかつパケット損失割合の関数として認識されたスピーチひずみの測定を行うための例示的なテスト装置９００を示す図である。スピーチのような耳に聞こえる音入力９０１はマイクロフォン９０２で受信され、接続９５０で現れるアナログの電気信号に変換される。ＡＤ変換器９０４が入来アナログ信号を規則的な時間間隔でサンプリングし、各サンプリング時のアナログ信号の瞬間的な値をデジタル表示として生成する。これが信号９０１のデジタル表示として、接続９５２でデジタルデータの流れになる。
【００６０】
多くの場合において、コーデック９０６はデジタル化されたサンプルの流れを受け入れるために採用され、それらを代わりの表示に変換する。コーデック９０６は例えば、一般的なＧ．７２９Ａ符号化を実行してもよい。コーデック９０６の符号化機能はデジタル化されたサンプルを各デジタル化されたサンプル点を明白に伝達することなく実質的に波形を再生することを許容する、コンパクトなデジタル的に符号化された記述に変換する。コーデック９０６からの符号化されたデジタル表現は接続９５４に沿ったデータの流れとして出力される。パケットインターフェイス９０８は接続９５４からのデータの流れをパケット化し、パケットを目的地パケットインターフェイス９１２に転送するためにデータネットワーク９１０に配送する。目的地パケットインターフェイス９１２は受信したパケットをできるだけ収集し、データの流れを再構成する。理想的には、接続９６４に沿って存在する、このデータの流れは、接続９５４でデータの流れと同一であるべきである。しかしながら、ネットワーク９１０内のパケット損失のために、９６４に沿ったデータの流れは元のデータの流れの完全な複製にならないかもしれない。接続９６４に沿ったデータの流れはコーデック９１４に入力され、コーデック９１４の符号化機能は接続９６２に沿っての音声入力９０１のデジタル化された表現を再構成するよう試みる。コーデック及びパケット転送機構が適切に動作すれば、接続９６２に沿ったデジタル化された信号は接続９５２に沿って存在する信号のかなり正確な再生になる。最後に、接続９６２に沿ったデータの流れはデジタルからアナログへのコンバータ９１６に提供され、このコンバータは接続９６０に沿ったアナログ信号を再生する。このアナログ信号は増幅され、スピーカ、電話の受話器（ｅａｒｐｉｅｃｅ）または他の変換器９１８に供給され、通信された音声を聞く聴取者９７０によって聞かれる音波を生成する。
【００６１】
ネットワーク９１０は現実のパケットネットワークまたはそのシュミレーションであってもよい。接続９６８を介して制御を行うことにより、テストコントローラ９２０はネットワーク９１０で発生されるパケット損失の割合を引き起こす。テストコントローラ９２０は、それからテストコントローラ９２０によって付加されたパケット損失割合に応じて聴取者９７０から認識されたひずみについての情報を収集する。パケット損失割合の多くのレベルに対する経験的なひずみの観察を集積した後に、使用される所与のコーデック計画に対する「無し−多少−多量」ひずみ対パケット損失割合の平均的な報告を要約する報告表が発生される。図１０に概略が示されたのと同様の方法を用いて、テストコントローラ９２０はパケット損失割合の設定及び対応するひずみ評価の収集を調整する。テストコントローラ９２０の役割はコンピュータまたはテスト装置コントローラのような自動化されたシステムにおいて実現されてもよいし、パケット損失割合を調整し、かつ主観的なひずみ観察を記録する人間のオペレータによって単に満たされてもよい。
【００６２】
図９は接続９６８に沿う入力によって制御された調整可能なパケット損失割合を有するとして表わされているが、当業者は、各種パケット損失割合のためのひずみデータを得るための各種方法があることを認識するであろう。ネットワーク９１０は現実のパケット交換ネットワークであってもよく、送信パケットインターフェイス９０８と受信パケットインターフェイス９１２の間でのパケット損失の発生を測定するための手段が採用されてもよい。ネットワーク９１０上の負荷はほぼ一杯の能力まで増えるため、パケット損失割合は増加する傾向にある。ネットワーク上の負荷を制御することによって、各種のパケット損失割合は対応するひずみ測定と共に得られうる。別の変形例では、活性化されたネットワークのパケット損失割合はトラフィック容量が変動するにつれて単純にモニタされる。十分な観察時間が経った後、各種パケット損失割合が観察され、結果のひずみは記録されてもよい。測定されたパケット損失割合は、主観的なひずみ観察があるパケット損失割合の発生と相関してもよいように、テストコントローラ９２０への入力として単に提供されてもよい。
【００６３】
パケット損失を注入するために実際の転送ネットワークを使用することとは別に、ネットワークを使用することなくパケット環境をシュミレートすることが可能である。デジタル化された音声信号は接続９５２に存在するかもしれないが、コンピュータシステムのデータファイルの形式で格納されてもよい。信号を符号化及び復号化するプロセスはデータファイルの上で作動するソフトウエアによって実行されてもよい。パケット化、及びパケットのロスはソフトウエアにおいて同様にシュミレートされてもよい。結果として得られる信号データは、パケット損失のあらゆる影響が判断されるように、Ｄ／Ａコンバータおよびラウドスピーカに対して分析されまたはストリーム化されてもよい。よりリアルタイムな代案として、デジタル信号プロセッサ（ＤＳＰ）がコーデック機能をエミュレートするために採用されてもよく、各種の割合で人工的なパケット損失を注入するために使用されてもよい。
【００６４】
これらの技術のすべてが所与のコーデック計画のために各種パケット損失割合でのひずみを特徴づけるということになる。この特徴ずけは大多数の異なる聴取者のために好ましくは実行され、その結果は平均化され、正規化される。表２は特徴づけられた結果を表すための例の形式を表現する。
【００６５】
【表２】
2004520776.tif 000004
【００６６】
表２にはパケット損失割合の各々の値について、「無し」、「多少」及び「多量」として報告されているひずみの相対的な割合が表され、これらは加えると１になる。例えば、一秒間あたり１パケットの平均パケット損失割合を受ける所与のコーデック配置は経験的なサンプルの４５％において悪化なしと、サンプルの３５％がある程度の悪化であると、またサンプルの２０％が「多量」な悪化を有すると報告されうる。
【００６７】
後で図６及び図７を参案して述べるように、表２において経験的に決定された関係はパケット損失の所与の発生を反映するためにＳＡＴデータの本体を変換するために使用されてもよい。
【００６８】
この発明は各種背景において使用されてもよい。例えば、ある実施例においては、パケット交換領域において新しい影響を説明するために、いくつかの劣化がより大きなもしくはより少ない影響を有する新しい会話言語または符号化計画、または新しい経路帯域のために、経験的な実験を繰り返すことが考えられる。
【００６９】
例えば、中国語とは対照的に、英語で話された音声信号に対する経験的なテスト結果は異なってもよい。その結果、米国におけるネットワークは中国におけるネットワークとは異なったように最適化されうる。国際的な呼び出し計画を設定するときには、ユーザは言語を特定し、呼び出しはこの言語のために必要な最適化するための経路を通る。この仕様はすべての呼び出しのためでもあり、または他方端の電話番号に応じて異なって最適化されたものを含みうる。
【００７０】
ある局面において、この発明はパケット交換接続の質をどのように測定及び表現するか、特に、実際に発売される前に、接続または要素に対する、呼び出し者の反応をどのように予側するのかという課題を解決する。この技術は各種応用において使用可能である。
【００７１】
一つの実施例は、多分、興味のあるネットワークに接続されたワークステーションが考えられる。そこではこの発明のプロセスに従って客観的測定値が格納されかつ分析される。ネットワーク内の課題領域を探すエンジニアまたは、各種オプションの質を比較するセールスエンジニアはネットワークのある部分またはすべてに適用可能な予測を実行するためにワークステーションにアクセスしてもよい。
【００７２】
別の実施例は測定を実行する、または、パケット損失割合及びパケット遅延を含むテスト中の伝達経路に関連するデータを受信するテスト装置が考えられる。この実施例は、上記プロセスをテスト中の伝達経路のための質指標としてＰ（ＵＤＩ）及びＭＯＳを出力するために適用する。テスト装置は、経路の性能を最もよく改良するために客観的測定のどれが調整されるべきかを特定するための感度解析を実行してもよい。この発明がなければ、技術者はより重要な因子がドロップアウトによってひずまされるかもしれない状態で、ノイズパラメータに基づいて決定をするようになるかもしれない。
【００７３】
例として、図５はパケット交換式音声経路の質を評価するためのシステム５００を例示する。レシーバ５１０はパケット交換式音声経路（図示なし）に接続されている。レシーバ５１０は、例えばルータ（図４のルータ３０，３２，３４を参照）、ゲートウエイ（図１ａのゲートウエイ１６，２０を参照）、または経路の別の部分に接続されうる。代わりにレシーバはネットワークに接続されない装置の特定の要素に接続されうる。とにかく、レシーバ５１０はパケット交換式音声接続から音声信号を受信する。
【００７４】
測定回路５２０はレシーバ５１０に接続されている。測定回路５２０は音声信号の客観的特性を測定する。好ましくは、これらの客観的特性の一つはパケット損失の割合である。上で議論したように、客観的特性の各々はユーザによって認識される音声信号の質に影響を与える複数の質特性に関連している。上記した技術を用いて、客観的特性の測定が質特性の各々の主観的な定量化に変換される。
【００７５】
システム５００は効果マトリックス（図２の要素２６０を参照）を格納するデータベース５３０を含む。以前と同様に、効果マトリックスは各質特性のための主観的な定量化の異なった組み合わせを含む音声信号のための質情報を提供する。質情報は、平均オピニオン値（ＭＯＳ）データ及び音声信号が許容可能な質レベル（例えば、Ｐ（ＵＤＩ））の音声信号であるという可能性の両方の指標として好ましくは含む。
【００７６】
コンピュータ装置５４０は所与の入力音声信号に対する質情報を演算するソフトウエアを実行する。このソフトウエアは、パケット損失及びパケット遅延及び音声信号に対する質情報を発生するための効果マトリックスを含む客観的特性の測定を使用する。例えば、ソフトウエアは客観的特性を主観的な定量化の特定の組み合わせに好ましくは変換する。それは、測定されたパケット損失割合に基づいて主観的な定量化を変換し、効果マトリックスを変換された主観データに適用し、合成された予測されたＰ（ＵＤＩ）及びＭＯＳ値に到着させるために、パケット遅延の効果を適用する。
【００７７】
ひとたび質情報が演算されると、それは出力回路５５０で使用される。出力回路５５０は特定の用途による。例えば、エンジニアリングテストセットの場合は、出力回路５５０は目に見えるディスプレイまたはファイル（例えば、システムメモリまたはディスク）を含んでもよい。出力回路５５０はまたデータがコンピュータ５４０から転送されるポートを含みうる。
【００７８】
別の例として、商業ネットワーク評価の適用においては、出力回路５５０はリアルタイム制御回路（例えば、図４の例において用いられるように）への接続を含みうる。代わりに、または追加として、出力回路は、例えば、携帯電話（ｐａｇｅｒ）、ｅメール、音声表示及び／または視覚表示器によってサービスメッセージを技術者に提供しうる。もちろんエンジニアリングテストセットの例と共に提供された例も商業ネットワーク評価への適用及びその逆も可能である。
【００７９】
この発明のさらなる用途は、電話ネットワークに対するリアルタイムの制御システムとしての利用である。そのようなシステムを図４を参照して説明する。図４は図１ａに関して述べられた例と同様のハイブリッドネットワークを例示する。制御システムは図１ｂに示されたような、終端間（ｅｎｄ−ｔｏ−ｅｎｄ）パケット交換電話システムと共に同様に作動する。
【００８０】
まず始めに、図４のブロック図は（図１ａ及び図１ｂと同様に）、「現実世界」のネットワークが含むものを単純化したものであると理解される。単純かのために、多くの装置が図４において例示されていない。例えば、パケット交換ネットワーク内の経路が３つのルータ３０，３２及び３４によって例示されている。典型的な現実世界システムにおいては、他の要素と共により多くのルータが使用される。
【００８１】
上で議論したように、電話１２及び２４のユーザは会話を続行できるように、電話呼び出しはゲートウエイ１６とゲートウエイ２０（２０ａまたは２０ｂ）の間で経路が設定される。特に、ゲートウエイ１６はルータ３０に接続されている。ルータ３０はパケットのアドレスを読み、（パケット間において変化しうる任意の多くの経路を介して）、それらをルータ３２に送信する。ルータ３２は信号を回線交換電話ネットワーク２２及びそれから電話２４へ提供するゲートウエイ２０ｂに接続されている。
【００８２】
検出回路３６はルータ３２に接続され、ルータ３２でパケット交換信号の客観的特性を測定するために使用される。例えば、検出回路３６はルータで失われたパケットの数を測定するためにコンピュータ（例えばルータ３２に仕えるのと同じコンピュータ）上で実行されるソフトウエアであってもよい。パケット損失及びリアルタイム転送遅延のような客観的特性に基づいて、検出回路は信号のＰ（ＵＤＩ）を演算する。もしＰ（ＵＤＩ）がある閾値を超えたときは、検出回路がメッセージを、信号がネットワークの厄介な部分から離れた経路をとるようにさせる、ルータ３０へ送るようにする。例示された例において、ルータ３０は音声トラフィックをルータ３４に再経路づけする。ルータ３４はゲートウエイ２０ａに接続されている。検出回路３６はＭＯＳまたは他の質に関連した指標をもまた演算し、それによって信号を再経路設定してもよい。
【００８３】
検出回路３６はネットワークの多くの異なる点で組み込まれる。このようにして、エラーの源が検出される。この情報を用いて、呼び出しの再経路が設定され、サービス職員は通知されうる。例えば、自動メッセージ、例えば、目で見える指示、携帯電話（ｐａｇｅｒ）、ｅメールが、エラーが発見されたとき開始される。ここで述べられたようなシステムを用いることによって、低品質の音声接続を予測及び修正することによって不満足な顧客の数を減らす。
【００８４】
さらに別の例として、この発明はネットワーク要素のデザインにおける補佐として使用されてもよい。この発明は数学的モデルを提供しているため、技術者は要素の一つの特性がもし変化したとしたら何が起こるかということを予測できる。例えば、技術者はコストを下げるために、エコーキャンセラの性能要求を下げたいと望んでもよい。新しい装置を製作する前にそのような再設計の効果が予測され、設計を完成させる前に任意の所望のデザイン修正を行うことができる。
【００８５】
図６は第二通信サービスが第一通信サービスによって遭遇されなかった劣化を受けるという場合に第一通信サービスと同様の質を有する認識されるようにするためには、第二通信サービスにはどのような性能が要求されるのかということを決定するプロセスを示す。第一通信サービスの質は十分特徴づけられ、プロセスへの入力として提供されたＳＡＴ統計によって述べられている。第二通信サービスは例えばパケット損失やパケット遅延のような変化する劣化の発生を受ける。図６のプロセスは第一通信サービスと実質的に同じ質であると認識されつつも、第二通信サービスが最悪の劣化をどの程度の頻度で示しうるかということを決定する。
【００８６】
図６において、プロセス６００は、所与のパケット遅延及びパケット損失割合が入力として提供される、ステップ６０２で始まる。ここで。プロセス６００の残りは、第二通信サービスが第一通信サービスと実質的に同じ質であると認識されることを維持しつつ、所与のパケット遅延及びパケット損失割合を示す通信の最大割合を決定するために実行される。
【００８７】
ステップ６０２における入力及び開始プロセスの後、ステップ６０４が実行され、そこでは第一通信サービスのＳＡＴ測定が得られる。ＳＡＴ測定の獲得は貯蔵所（ｒｅｐｏｓｉｔｏｒｙ）からの以前にコンパイルされたデータを単に検索することと通常は等しくなる。しかし、必要なときにそのようなデータを収集するための測定を含んでもよい。先に述べたように、ＳＡＴ測定は、それぞれの呼び出しが劣化の各形式の認識された効果によって主観的に評価されると共に、通信の質の全体的な評価をして、何千ものテスト電話呼び出しから編集されたデータである。各劣化が「無し−多少−多量」の点で評価され、劣化レベルの各組み合わせは、ある可能性で報告される。例えば、低ボリューム、ノイズ、ひずみ及びエコーのそれぞれを表す「無し−多少−多少−無し」のような報告された値の組み合わせはテスト呼び出しのある割合において報告されてもよい。ステップ６０４の目的のために、劣化の各組み合わせに対するこの特性割合のみが必要である。
【００８８】
次にステップ６０６において、効果モデルがステップ６０４において得られたＳＡＴ測定に基づく予期される平均オピニオン値ＭＯＳ１を取り出すよう適用される。ＭＯＳ１は、回線交換式電話ネットワークを介した料金−質（ｔｏｌｌ−ｑｕａｌｉｔｙ）接続のような、第一通信サービスによって典型的に提供された質を表す。Ｐ（ＵＤＩ）１値は第一通信サービスに関連した「ベースライン」（ｂａｓｅｌｉｎｅ）値を表すＰ（ＵＤＩ）１がまた得られる。
【００８９】
ステップ６０６において、第一通信サービスと等しいかまたはより優れていると認識される第二通信ネットワークに要求される質測定を述べるＭＯＳＲＥＱ及びＰ（ＵＤＩ）ＲＥＱが得られる。
【００９０】
好ましい模範的な実施例に従って、ＭＯＳＲＥＱ値はＭＯＳ１から単に０．２を引くことによって得られる。これは、平均オピニオン値における０．２単位より少ない差は認識されないという観察に基づいている。第一通信ネットワークのＭＯＳの０．２ポイント内のＭＯＳを示す第二通信サービスネットワークは同様の質であると認識される。
【００９１】
ステップ６０６において、Ｐ（ＵＤＩ）ＲＥＱは好ましい模範的な実施例に従って任意に０．０６に設定される。これはＰ（ＵＤＩ）が０．０６を超えるとすべての通信サービスは悪化したと認識されるという経験的な観察に基づいている。Ｐ（ＵＤＩ）の場合においては、この閾値は第一通信サービスのＰ（ＵＤＩ）１に固執するよりもより重要である。
【００９２】
ステップ６０８に進んで、ステップ６０４によって得られたＳＡＴデータはパケット損失割合が認識されたスピーチひずみにどのように影響を与えるのかという経験的な観察に基づいた表と組み合わされている（表２参照）。その結果は、特定のパケット損失割合の影響を反映するように変更された発生の割合でＳＡＴデータの変換されたバージョンである。引き伸ばされたドロップアウトのような、パケット損失の他の兆候と独立したスピーチひずみを客観的に測定する能力が与えられると、この方法で既存のＳＡＴデータ本体にあるスピーチひずみ値に変換することはもっともらしく思われる。ＳＡＴデータが変換されるプロセスは図７を参照して以下に述べる。
【００９３】
ステップ６１０において、ステップ６０８からの変換されたＳＡＴデータは、第二通信サービスが所与のパケット損失割合を受けたときに期待されるＭＯＳ及びＰ（ＵＤＩ）値を判定するためにＴＳＡＴモデルと共にコンボルブ（ｃｏｎｖｏｌｖｅ）される。これらの値はＭＯＳ２及びＰ（ＵＤＩ）２で表される。
【００９４】
それから処理はステップ６１２に続き、そこでＰ（ＵＤＩ）へのパケット遅延の貢献が評価され、Ｐ（ＵＤＩ）ＲＥＱの値から差し引かれる。実験からパケット遅延が追加する対応でＰ（ＵＤＩ）に影響を与え、他の形式の悪化に無関係であるということがわかった。それゆえ、パケット遅延の効果を差し引くことによって、Ｐ（ＵＤＩ）ＲＥＱの余裕を単に下げることが有効である。
【００９５】
Ｐ（ＵＤＩ）に対するパケット遅延の効果は図８に示されたグラフ８００のようなプロットによって近似される。グラフ８００はパケット損失の効果を特徴づけるための先に述べたのと同様の経験的な実験によって決定されてもよい。カーブ８１０はパケット遅延のような転送遅延とユーザが会話を妨げる遅延について不平を言う事例の割合との間の関係を示す。そのような遅延は通信経路の両端及びネットワークを介して送信されているデータまたは信号における時間遅延の符号化及び復号化から生じるかもしれない。そのような遅延はエコー遅延と独立しており、二つのユーザ間の通常の会話を干渉するように非常に長いものになりうる。
【００９６】
転送遅延は相互妨害、説明のない話者の躊躇または会話の流れにおける予期せぬ休止による次に誰が話せばよいのかという混乱を引き起こす。会話している当事者間の自然の調整は不愉快な劣化となり、通信サービスが使用できなくなることさえありうる。
【００９７】
存在するＰ（ＵＤＩ）及びシステム性能にさらに影響を与えるであろうパケット遅延が与えられると、修正されたＰ（ＵＤＩ）が以下に従って演算されてもよい。
【００９８】
Ｐ（ＵＤＩ）´＝Ｐ（ＵＤＩ）＋（１−Ｐ（ＵＤＩ））＊ｆ（ｔ）
ここでｆ（ｔ）は経験的に派生した曲線８１０を述べる正規化された関数である。
【００９９】
図６のステップ６１２に戻って、パケット遅延効果が評価され、Ｐ（ＵＤＩ）ＲＥＱのための、Ｐ（ＵＤＩ）ＲＥＱｒによって表される、縮小された値が演算するために使用された後、プロセスはステップ６１４に進み、そこでは悪化された呼び出しの最大割合がステップ６０６において先に設定された最小ＭＯＳ要求に基づいて演算される。
【０１００】
パケット交換転送を用いた通信サービスは一定のパケット損失割合を多分経験しない。パケット損失割合はセッション間において刻一刻と変化する。そのような通信サービスの認識された品質は所与のパケット損失割合によって悪化されたいくつかの例の平均であり、影響を受けず、かつ料金−質（ｔｏｌｌ−ｑｕａｌｉｔｙ）回線切り替え転送と匹敵するいくつかの例や、中間品質のいくつかの例が存在する。従って、許容可能な性能を述べる好ましい方法は、所与のパケット遅延に対して、通信サービスは所与の最悪の場合のパケット損失割合を経験するかもしれない高いＭＯＳ及び低いＰ（ＵＤＩ）のための十分な平均値を維持する時間の最大値を表現することである。
【０１０１】
ステップ６１４において、悪化しない例に対する悪化した例の要求された割合はＰ１ｍｏｓのための以下の式を解くことによって決定される。
【０１０２】
ＭＯＳ１（１−Ｐ１ｍｏｓ）＋ＭＯＳ２（Ｐ１ｍｏｓ）＝ＭＯＳＲＥＱ
この式は通信事例のリニアな混合体を表す。そこでは、通信事例はパケット損失はないがＭＯＳ１によって、主観的に評価される事例と、最悪のパケット損失を経験し、悪化された値のＭＯＳ２を有する事例を含む。Ｐ１ｍｏｓは悪化された事例の最高の割合であり、それによって混合体はＭＯＳＲＥＱによって設定された限界になる。
【０１０３】
ステップ６１６において、Ｐ（ＵＤＩ）基準、Ｐ（ＵＤＩ）ＲＥＱｒに基づいて決定される。割合Ｐｌｕｄｉは以下の式を解くことによって決定されてもよい。
【０１０４】
Ｐ（ＵＤＩ）１＊（１−Ｐｌｕｄｉ）＋Ｐ（ＵＤＩ）２＊（Ｐｌｕｄｉ）＝Ｐ（ＵＤＩ）ＲＥＱｒ
次にステップ６１８に進んで、Ｐｌｍｏｓ及びＰｌｕｄｉの二つの割合の、小さい方が限定因子であるとして選択される。ＭＯＳＲＥＱ及びＰ（ＵＤＩ）ＲＥＱｒ基準の両方共満たす必要があるため、二つの割合の小さいほうが両方の条件を満たす悪化された通信の最大許容割合を決定する。
【０１０５】
ステップ６２０において、ステップ６１８において選択された小さい方の割合は、第二通信サービスが所与の第一通信サービスと実質的に同じ質であると認識されるように、悪化した通信の最大許容可能な割合を表現するためにプロセスから出力される。出力値は所与のパケット損失割合によって影響されないよう要求される通信の最大割合を表現するために、代わりに、１引く、ステップ６１８において決定された割合として報告されてもよい。
【０１０６】
最後に所与のパケット遅延に対する許容可能な性能を決定するプロセス及びパケット損失割合がステップ６２２で終了される。当業者が理解するように、プロセス６００は、これらの効果を受ける通信サービスのための許容可能な性能の特徴を発生するために、パケット遅延およびパケット損失割合の各種組み合わせ用に繰り返してもよい。
【０１０７】
図７を参照して、プロセス７００は、それによってＳＡＴデータがあるパケット損失割合の効果を考慮するために変更されうるプロセスを記載する。特に、プロセス７００において、パケット損失がスピーチひずみの認識されたレベルに対する効果によって考慮される。
【０１０８】
プロセス７００は図６のステップ６０８において先に導入したＳＡＴデータの変換を記載する。
【０１０９】
プロセス７００はステップ７０２で開始し、そこでは特定のパケット損失割合が入力として提供される。プロセス７００の残りはこの与えられたパケット損失割合の状況において生じる。
【０１１０】
次にステップ７０４において、ＳＡＴデータがパケット損失を受けない通信サービスのために得られる。この開示の状況では、このベースライン性能データが第一通信サービス、すなわち従来の料金−質（ｔｏｌｌ−ｑｕａｌｉｔｙ）接続の経験的にテストされた特性に対応する。
【０１１１】
ＳＡＴデータにおいて４つの特性が記録されており、各特性が３つの値（無し、多少、多量）、を有している場合、ＳＡＴデータは８１の値の組み合わせを含む。値の各組み合わせはクアドラグラムと呼ばれる。ＳＡＴにおける各クアドラグラムは関連するカウントまたは発生の割合を有している。
【０１１２】
ステップ７０６はＳＡＴデータにおけるクアドラグラムのサブセットを選択するステップに関する。そこでは、報告されたスピーチひずみ特性は「無し」から「多少」及び「多量」まで変化し、他の特性は固定されたパターンである。これは、ステップ７０６において、３つのクアドラグラムがステップ７０８−７１２において続く処理のための状況として選択されうるということを意味する。
【０１１３】
それからステップ７０８において、ステップ７０６において選択された３つのクアドラグラムの各々に関連した発生の割合がＳＡＴデータから検索される。これらの値はＣｎ，Ｃｓ及びＣｍによって表される。
【０１１４】
プロセスはステップ７１０に続く。そこでは、パケット損失割合を認識されたスピーチひずみにマップ化する別のテーブルが調べられる。そのようなテーブルの一つは先に示した表２によって例示される。ステップ７０２において入力されたパケット損失割合に対して、そうでなければ最適状態である。「無し−多少−多量」として報告されたスピーチひずみの相対的な割合を見出すためにこの表を使用する。これらの値はＰｎ，Ｐｓ，Ｐｍによって表される。
【０１１５】
ステップ７１２において、ステップ７０６において選択されたクアドラグラムのためとして報告された割合が所与のパケット損失割合のために付加された悪化を反映するために変更される。結局、ステップ７０４からのＳＡＴデータはパケット損失を受けるとして新しいＳＡＴデータ表を表ずるために変換される。割合Ｐｎ，Ｐｓ，Ｐｍは、以下に示すように変換されたＳＡＴデータＣｎ´，Ｃｓ´，Ｃｍ´を生ずるために元のＳＡＴ割合Ｃｎ，Ｃｓ，Ｃｍに作用する。
【０１１６】
Ｃｎ´＝Ｃｎ−Ｃｎ（Ｐｓ＋Ｐｍ）
Ｃｓ´＝Ｃｓ＋（Ｃｎ）（Ｐｓ）−Ｃｓ（０．５Ｐｓ＋Ｐｍ）
Ｃｍ´＝Ｃｍ＋（Ｃｎ）（Ｐｍ）＋Ｃｓ（０．５Ｐｓ＋Ｐｍ）
ステップ７１４において、その中にあるすべてのクアドラグラムを意味する全ＳＡＴデータがＳＡＴデータの変換されたバージョンを生ずるためにステップ７０６−７１２によって処理されたかどうかが判定される。そのように変更されていない残りのクアドラグラムがあれば、プロセスはステップ７０６に戻り、さらなる未処理のクアドラグラムを選択する。当業者が認識するように、組織的なまたは連続的なアプローチが組織的にクアドラグムパターンを「ステップスルー」（ｓｔｅｐ ｔｈｒｏｕｇｈ）し、すべてのＳＡＴデータが変換されることを確信するために実行される。
【０１１７】
ステップ７１４において、すべてのクアドラグラムが処理されたと判断されたならば、ステップ７１６が実行され、特定のパケット損失割合に応じて変更されたＳＡＴデータ表を完全に変換したＳＡＴデータ表を出力する。プロセスはそれからステップ７１８で終了する。
【０１１８】
この発明が例示的実施例を参照して述べられたが、この記載は限定的な意味に解釈されるものとされていない。各種修正及び例示的実施例の組み合わせ並びに発明の実施例が記載を参照して当業者には明らかである。それゆえ、添付のクレームがそのような修正または実施例を包含することが意図される。
【図面の簡単な説明】
この発明は、追加の特徴及びその利点は、添付の図面と共に以下の詳細な模範的な実施例の記載を読むことによってよりよく理解されるであろう。
【図１ａ及び１ｂ】この発明を使用しうる二つの通信ネットワークの例である。
【図２】通信サービスにおける客観的及び主観的測定がこの発明の模範的な実施例に従ってどのように処理されるのかということを図的に説明したものである。
【図３ａ−図３ｃ】パケット化された音声信号のパケット損失の効果を例示する波形である。
【図４】この発明の品質制御システムを含む通信ネットワークのブロック図である。
【図５】通信経路を評価するために使用されうる装置のブロック図である。
【図６】第二通信サービスにおいて、第一通信サービスと実質的に同じ質であると認識されるが、所与のパケット遅延及びパケット損失割合を受ける、通信の最大割合を判定するための処理を示すフローチャートである。
【図７】サービス属性テストデータが所与のパケット損失割合の存在を反映するために変換される処理のフローチャートである。
【図８】通信サービスのためにユーザの不平が生じたときにパケット遅延の効果を表現するグラフである。
【図９】認識されたひずみによってパケット損失割合の影響を評価するための装置を示すブロック図である。
【図１】
2004520776.tif 000005
【図２】
2004520776.tif 000006
【図３】
2004520776.tif 000007
【図４】
2004520776.tif 000008
【図５】
2004520776.tif 000009
【図６】
2004520776.tif 000010
【図７】
2004520776.tif 000011
【図８】
2004520776.tif 000012
【図９】
2004520776.tif 000013
【国際公開パンフレット】
2004520776.tif 000014
2004520776.tif 000015
2004520776.tif 000016
2004520776.tif 000017
2004520776.tif 000018
2004520776.tif 000019
2004520776.tif 000020
2004520776.tif 000021
2004520776.tif 000022
2004520776.tif 000023
2004520776.tif 000024
2004520776.tif 000025
2004520776.tif 000026
2004520776.tif 000027
2004520776.tif 000028
2004520776.tif 000029
2004520776.tif 000030
2004520776.tif 000031
2004520776.tif 000032
2004520776.tif 000033
2004520776.tif 000034
2004520776.tif 000035
2004520776.tif 000036
2004520776.tif 000037
2004520776.tif 000038
2004520776.tif 000039
2004520776.tif 000040
2004520776.tif 000041
2004520776.tif 000042
2004520776.tif 000043
2004520776.tif 000044
2004520776.tif 000045
2004520776.tif 000046
2004520776.tif 000047
2004520776.tif 000048
2004520776.tif 000049
2004520776.tif 000050
2004520776.tif 000051
2004520776.tif 000052
2004520776.tif 000053
2004520776.tif 000054
2004520776.tif 000055
2004520776.tif 000056
2004520776.tif 000057
2004520776.tif 000058
2004520776.tif 000059
【国際公開パンフレット（コレクトバージョン）】
2004520776.tif 000060
【国際調査報告】
2004520776.tif 000061