(57)【特許請求の範囲】
【請求項１】
音声客観評価法を実行するプログラムが実装される客観品質測定装置と、音声を劣化させる設定を施される複数の音声伝送経路を使用し、この音声伝送経路を経由して劣化した音声を使用して客観品質測定装置の客観評価結果から主観評価結果を推定するに際して、或る範囲内の評価回数で目的とする評価の精度が得られるか否かを検証し、目的精度を得る最小評価回数を導出する主観品質推定方法において、
ＣＰＵを具備し、演算プログラム記憶メモリを具備し、初期条件記憶メモリを具備し、初期条件記憶メモリに最大評価回数ｎmax 、客観評価結果に基づいて主観評価結果を推定する際の誤差の信頼幅に真の値が存在する確率がαであるとした場合の許容残差ｄ、確率α、および主観評価結果の推定値を確率変数Ｍで表した時、その平均値ｇ、分散その他の分布の特定に必要な統計量σg をパラメータとして持つＭの累積分布関数Ｇ
ここで、Ｐrob ［Ｍ＜ｙ］＝Ｇ（ｙ、ｇ、σg ）
但し、ｙは確率に対応する確率変数存在範囲の上限
を初期条件として記憶しておき、
主観評価結果記憶メモリに主観評価結果を記憶しておき、
客観評価結果記憶メモリに客観評価結果を記憶しておき、
回帰分析、残差の標準偏差を求める回帰分析部に主観評価結果および客観評価結果を評価回数を付与して入力し、回帰分析を行なって回帰曲線を求めると共にＭの累積分布関数Ｇを決定するパラメータσg を計算して求め、
客観評価結果に基づいて主観評価結果を推定する際の誤差の信頼幅を計算し、  計算された信頼幅とその許容残差ｄとの間の大小を比較し、ｄ＞信頼幅が成立するなら得られた結果である回帰曲線：ｆ（ｘ）を客観評価結果から主観評価結果を推定する際の関係式とし、この時に使用したサンプル数を必要な最小評価回数と決定して終了し、そうでなければ、サンプル数ｎ＜最大評価回数ｎmax であるか否かを比較し、ｎ＜ｎmax なら各設定条件に対して新たに２回目以降の音声を収録してこれ以降の処理を実行し、ｎ＜ｎmax でなければｎmax より小さい評価回数で設定した正確さの評価は不可能であると判定して終了する、ことを特徴とする主観品質推定方法。
【請求項２】
音声客観評価法を実行するプログラムが実装される客観品質測定装置と、音声を劣化させる設定を施される複数の音声伝送経路を使用し、この音声伝送経路を経由して劣化した音声を使用して客観品質測定装置の客観評価結果から主観評価結果を推定するに際して、或る範囲内の評価回数で目的とする評価の精度が得られるか否かを検証し、目的精度を得る最小評価回数を導出する主観品質推定装置において、
ＣＰＵを具備し、
演算プログラム記憶メモリを具備し、
最大評価回数ｎmax 、客観評価結果に基づいて主観評価結果を推定する際の誤差の信頼幅に真の値が存在する確率がαであるとした場合の許容残差ｄ、確率α、および主観評価結果の推定値を確率変数Ｍで表した時、その平均値ｇ、分散その他の分布の特定に必要な統計量σg をパラメータとして持つＭの累積分布関数Ｇ
ここで、Ｐrob ［Ｍ＜ｙ］＝Ｇ（ｙ、ｇ、σg ）
但し、ｙは確率に対応する確率変数存在範囲の上限
を初期条件として記憶する初期条件記憶メモリを具備し、
主観評価結果を記憶する主観評価結果記憶メモリを具備し、
客観評価結果を記憶する客観評価結果記憶メモリを具備し、
主観評価結果および客観評価結果を評価回数を付与し入力し、回帰分析、残差の標準偏差を求める回帰分析部を具備し、
客観評価結果に基づいて主観評価結果を推定する際の誤差の信頼幅を計算する信頼幅計算部を具備し、
計算された信頼幅とその許容残差ｄとの間の大小を比較し、ｄ＞信頼幅が成立するなら得られた結果である回帰曲線：ｆ（ｘ）を客観評価結果から主観評価結果を推定する際の関係式とし、この時に使用したサンプル数を必要な最小評価回数と決定して終了し、そうでなければ、サンプル数ｎ＜最大評価回数ｎmax であるか否かを比較し、ｎ＜ｎmax なら各設定条件に対して新たに２回目以降の音声を収録してこれ以降の処理を実行し、ｎ＜ｎmax でなければｎmax より小さい評価回数で設定した正確さの評価は不可能であると判定して終了する評価数比較部を具備する、
ことを特徴とする主観品質推定装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、客観品質測定装置を使用した主観品質推定法およびこの方法を実施する装置に関し、特に、或る音声伝送経路の品質評価において、客観評価装置を使用して複数の音声を測定評価し、その評価値に基づいて或る音声伝送経路の品質である主観評価結果を推定するに際して或る範囲内の評価回数で目的とする評価の精度が得られるか否かを検証し、目的精度を得る最小評価回数を導出する客観品質測定装置を使用した主観品質推定方法およびこの方法を実施する装置に関する。
【０００２】
【従来の技術】
音声品質評価の仕方の従来例を説明する。
（ステップ１）  人間が音声を実際に聴取し、当該音声の品質に対して評点を付与する。
（ステップ２）  評点を２０ないし３０個程度の複数個収集し、平均値（MeanOpinion Score：ＭＯＳ）を音声の品質とする。
これは主観評価法と称されている。
【０００３】
この主観評価法は、評価に手間暇を多く要するところから、客観品質測定装置を使用して音声品質評価を計算機上で実行する客観評価法（ITU-T Recommendation P.861,“Objectiv quality measurement of telephone-band(300-3400Hz)speech codecs”の勧告  参照）も開発提案されている。
図７を参照して客観品質測定装置の概念を説明しておく。図７において、基準入力信号を一方の入力端子から入力し、知覚モデルを介して基準入力信号の内的な表現を得ると共に、基準入力信号を音声伝送経路を伝送せしめて出力された歪んだ出力信号を他方の入力端子から入力し、知覚モデルを介して歪んだ出力信号の内的な表現を得る。基準入力信号の内的な表現と、歪んだ出力信号の内的な表現の差分が聞こえ方の違いを決定し、認識モデルを介して客観音声品質が得られる。
【０００４】
この客観品質測定装置による客観評価法は、先の主観評価法に取って代わるものとして開発されたものであり、同一条件について得られた客観評価法による評価結果と主観評価法による評価結果は、１対１の対応をすることが望まれる。しかし、実際は様々の理由により１対１の対応をするには到らない。そこで、同一条件について複数個の客観評価結果を求め、これらの平均値を客観評価結果とすることが推奨されてきた。
【０００５】
【発明が解決しようとする課題】
複数個の客観評価結果の平均値に基づいて音声品質を評価する際の平均を取るべき客観評価結果の数について、先の勧告に目安が記載されているが、この目安は経験的なものであり、この客観評価結果の数を決める手法は明らかにされていない。
従って、この発明は、平均を取るべき客観評価結果の数に関して、その評価結果の正確さ、即ち、客観評価結果の平均値に基づいて主観評価結果を推定する際の正確さと最大評価回数を決めたとき、最大評価回数より小さい数の客観評価結果の平均値を使用して予め設定した評価の精度が得られるか否かを判定し、目安とする精度を得るに平均を取るべき最小評価回数を導出する客観品質測定装置を使用した主観品質推定法およびこの方法を実施する装置を提供するものである。
【０００６】
【課題を解決するための手段】
［請求項１］  音声客観評価法を実行するプログラムが実装される客観品質測定装置と、音声を劣化させる設定を施される複数の音声伝送経路を使用し、この音声伝送経路を経由して劣化した音声を使用して客観品質測定装置の客観評価結果から主観評価結果を推定するに際して、或る範囲内の評価回数で目的とする評価の精度が得られるか否かを検証し、目的精度を得る最小評価回数を導出する主観品質推定方法において、
ＣＰＵ１を具備し、演算プログラム記憶メモリ２を具備し、初期条件記憶メモリ３を具備し、初期条件記憶メモリ３に最大評価回数ｎmax 、客観評価結果に基づいて主観評価結果を推定する際の誤差の信頼幅に真の値が存在する確率がαであるとした場合の許容残差ｄ、確率α、および主観評価結果の推定値を確率変数Ｍで表した時、その平均値ｇ、分散その他の分布の特定に必要な統計量σg をパラメータとして持つＭの累積分布関数Ｇ
ここで、Ｐrob ［Ｍ＜ｙ］＝Ｇ（ｙ、ｇ、σg ）
但し、ｙは確率に対応する確率変数存在範囲の上限を初期条件として記憶しておき、
主観評価結果記憶メモリ４に主観評価結果を記憶しておき、
客観評価結果記憶メモリ５に客観評価結果を記憶しておき、
回帰分析、残差の標準偏差を求める回帰分析部６に主観評価結果および客観評価結果を評価回数を付与して入力し、回帰分析を行なって回帰曲線を求めると共にＭの累積分布関数Ｇを決定するパラメータσg を計算して求め、
客観評価結果に基づいて主観評価結果を推定する際の誤差の信頼幅を計算し、
計算された信頼幅とその許容残差ｄとの間の大小を比較し、ｄ＞信頼幅が成立するなら得られた結果である回帰曲線：ｆ（ｘ）を客観評価結果から主観評価結果を推定する際の関係式とし、この時に使用したサンプル数を必要な最小評価回数と決定して終了し、そうでなければ、サンプル数ｎ＜最大評価回数ｎmax であるか否かを比較し、ｎ＜ｎmax なら各設定条件に対して新たに２回目以降の音声を収録してこれ以降の処理を実行し、ｎ＜ｎmax でなければｎmax より小さい評価回数で設定した正確さの評価は不可能であると判定して終了する、主観品質推定方法を構成した。
【０００７】
そして、［請求項２］音声客観評価法を実行するプログラムが実装される客観品質測定装置と、音声を劣化させる設定を施される複数の音声伝送経路を使用し、この音声伝送経路を経由して劣化した音声を使用して客観品質測定装置の客観評価結果から主観評価結果を推定するに際して、或る範囲内の評価回数で目的とする評価の精度が得られるか否かを検証し、目的精度を得る最小評価回数を導出する主観品質推定装置において、
ＣＰＵを具備し、
演算プログラム記憶メモリを具備し、
最大評価回数ｎmax 、客観評価結果に基づいて主観評価結果を推定する際の誤差の信頼幅に真の値が存在する確率がαであるとした場合の許容残差ｄ、確率α、および主観評価結果の推定値を確率変数Ｍで表した時、その平均値ｇ、分散その他の分布の特定に必要な統計量σg をパラメータとして持つＭの累積分布関数Ｇ
ここで、Ｐrob ［Ｍ＜ｙ］＝Ｇ（ｙ、ｇ、σg ）
但し、ｙは確率に対応する確率変数存在範囲の上限を初期条件として記憶する初期条件記憶メモリを具備し、
【０００８】
主観評価結果を記憶する主観評価結果記憶メモリを具備し、
客観評価結果を記憶する客観評価結果記憶メモリを具備し、
主観評価結果および客観評価結果を評価回数を付与し入力し、回帰分析、残差の標準偏差を求める回帰分析部を具備し、
客観評価結果に基づいて主観評価結果を推定する際の誤差の信頼幅を計算する信頼幅計算部を具備し、
計算された信頼幅とその許容残差ｄとの間の大小を比較し、ｄ＞信頼幅が成立するなら得られた結果である回帰曲線：ｆ（ｘ）を客観評価結果から主観評価結果を推定する際の関係式とし、この時に使用したサンプル数を必要な最小評価回数と決定して終了し、そうでなければ、サンプル数ｎ＜最大評価回数ｎmax であるか否かを比較し、ｎ＜ｎmax なら各設定条件に対して新たに２回目以降の音声を収録してこれ以降の処理を実行し、ｎ＜ｎmax でなければｎmax より小さい評価回数で設定した正確さの評価は不可能であると判定して終了する評価数比較部を具備する、主観品質推定装置を構成した。
【０００９】
【発明の実施の形態】
この発明の実施の形態を実施例を参照して説明する。
この発明の実施例においては、客観評価結果が同じ値となる音声に対して主観評価結果の分布は平均が異なるだけで分布の形は客観評価結果に関わらず一定である、という仮定１を満足する。
各音声に関して、図７の客観品質測定装置を使用して客観評価値（ＰＳＱＭ）を求める。この場合、客観品質測定装置に対して以下の初期条件を予め決定した後、入力設定する。
【００１０】
・最大評価回数ｎmax
・客観評価結果に基づいて主観評価結果を推定する際の誤差の信頼幅（推定値±ｄ／２間）に真の値が存在する確率がαであるとした場合の許容残差ｄ、確率α
・主観評価結果の推定値を確率変数Ｍで表した時、その平均値ｇ、分散その他の分布の特定に必要な統計量σg をパラメータとして持つＭの累積分布関数Ｇ
ここで、Ｐrob ［Ｍ＜ｙ］＝Ｇ（ｙ、ｇ、σg ）
但し、ｙは確率に対応する確率変数存在範囲の上限、Ｇは一例として正規分布、σg は標準偏差とする。
【００１１】
一方において、客観品質測定に使用した各音声と同一の音声に関して、対応する主観評価値（ＭＯＳ）を求める。
以下、図１のフローチャートを参照して説明する。
（ステップ１）  ｎ＝１
（ステップ２）  音声伝送経路の相違、劣化条件の違いその他の客観評価法の対象となる３６通り程度の各設定条件の元で１回目の音声を記録する。
（ステップ３）  各設定条件の音声に関して主観評価値（ＭＯＳ）を求める。
【００１２】
（ステップ４）  各設定条件の音声に関して、客観評価値（ＰＳＱＭ）を求める。
（ステップ５）  ｘ軸にステップ４の結果である客観評価値を取り、ｙ軸にステップ３の結果である主観評価値（ＭＯＳ）を取り、回帰分析を行い、その回帰曲線をｙ＝ｆ（ｘ）とおく。ここで、σg に相当する統計量を求める（なお、回帰分析については、武藤  眞介  著  「統計解析ハンドブック」  朝倉書店  １９９５年６月  発行  参照）。
（ステップ６）  客観評価結果がＰのとき、主観評価結果の推定値である確率変数Ｍの累積分布関数はｐ＝Ｇ（ｙ、ｆ（Ｐ）、σg ）と置くことができ、その逆関数は仮定１より、ｙ＝ｆ（Ｐ）＋Ｇ＾（ｐ、σg ）と置くことができる。客観評価結果の平均値がＰのとき、真の主観評価結果：Ｍ（Ｐ）が
【００１３】
【数１】
0003698310.tif 000002
が成立するなら、得られた結果である回帰曲線：ｆ（ｘ）は充分な精度が得られているとしてこれを推定値とし、ｆ（ｘ）を客観評価結果から主観評価結果を推定する際の関係式とし、この時に使用したサンプル数を必要なサンプル数として終了する。
そうでなければ、ｆ（ｘ）の精度は不充分であるとして、次の（ステップ８）に進む。
【００１４】
（ステップ８）  サンプル数ｎ＜最大評価回数ｎmax であるか否かを比較し、ｎ＜ｎmax なら、（ステップ２）と同様に各設定条件に対して新たに２回目の音声を記録し、ｎに１を加えてｎ＝２とし、（ステップ３）に戻り、これ以降の処理を実行する。
以下、同様である。ｎ＜ｎmax でなければ、ｎmax より小さい評価回数で設定した正確さの評価は不可能であると判定し、終了する。
具体的数値を代入して更に具体的に説明する。
或る音声客観評価法（以降、ＰＳＱＭ、と表記する）を実行するプログラムが実装された客観品質測定装置Ｔと、複数の音声伝送経路Ｌを使用する。この音声伝送経路Ｌは３６通りに条件を変化させ、音声を劣化させる設定をすることができる。この音声伝送経路Ｌを経由して劣化した音声を使用し、客観品質測定装置Ｔの評価結果に基づいて主観評価結果（以降、ＭＯＳ、と表記）を推定するに、客観品質測定装置Ｔにおける客観評価結果を平均する際の客観評価結果の個数を求める。
【００１５】
・最大評価回数ｎmax ＝１６とする。
・推定精度に関して、ｄ＝１. ０、α＝９０％とする。即ち、ｎ回の客観評価値の平均値に基づいて推定された主観品質±０. ５の範囲内に、真の主観評価値が存在する確率が９０％となるｎを求める。
・客観評価結果が或る値を取ったときの主観評価結果の分布として正規分布を採用し、その分布を決定するに必要なパラメータを標準偏差とする。即ち、
ｆ（Ｐ）＋Ｇ＾（ｐ、σg ）＝ｆ（Ｐ）＋ｑnorm （ｐ）×σg ・・・・（３）
とする。但し、ｑnorm は、標準正規分布の累積分布関数の逆関数とする。
【００１６】
・回帰分析は、三次多項式を使用して行なうこととする。
（ステップ１）  音声伝送経路Ｌの３６の各条件について劣化した音声を収録する。回帰分析を行うには主観評価値であるＭＯＳと客観評価値であるＰＳＱＭは対応がとれている必要があり、以下の表１の通り、１回目の条件１の音声評価値について、ＭＯＳ：１.９５とＰＳＱＭ：２.９７５が対応をとられている。条件２の音声についても、ＭＯＳ：４.３０とＰＳＱＭ：１.４２０が対応をとられている。以降の条件３〜３６についても同様に対応がとられている。
【００１７】
【表１】
0003698310.tif 000003
（ステップ２）  （ステップ１）で得られた値の対を、ＰＳＱＭをｘ軸、ＭＯＳをｙ軸にとったグラフに表し、三次多項式による回帰曲線と残差の標準偏差を求める。１回目の測定結果のグラフを図２に示す。残差の標準偏差は、σg ＝０. ５２８であった。
【００１８】
（ステップ３）  ９０％の信頼幅は、ｑnorm（１＋α／２）×σg −ｑnorm（１−α／２）×σg ＝１. ７３８となり、目標の１. ０より大きい。すなわち十分な精度が得られていないとし、音声伝送経路Ｌの３６の各条件について劣化した音声を新たに収録する。
（ステップ４）  各条件１〜３６に関して、評価値の平均値を求める。表２の場合も、表１の場合と同様に、１回目の各条件の音声評価値および２回目の各条件の音声評価値について、主観評価値と客観評価値は対応がとられている。即ち、１回目の条件１の音声評価値についてはＭＯＳ：１. ９５とＰＳＱＭ：２. ９７５が対応をとられている。２回目の条件１の音声評価値についてはＭＯＳ：１. ９５とＰＳＱＭ：３. ０００が対応をとられている。そして、平均値についても、条件１のＭＯＳ：１. ９５とＰＳＱＭ：２. ９８８とが対応をとられている。条件２以降の平均値についても同様に対応がとられている。
【００１９】
【表２】
0003698310.tif 000004
（ステップ５）  前項で得られたデータを、ＰＳＱＭの平均値をｘ軸、ＭＯＳの平均値をｙ軸にとってグラフに表し、三次多項式による回帰曲線と残差の標準偏差を求める。グラフを図３に示す。残差の標準偏差は０. ４５２となって、推定精度は改善されているが、９０％の信頼幅は、
ｑnorm（１＋α／２）×σg −ｑnorm（１−α／２）×σg ＝１. ４８７０９７６であり、未だ充分な精度は得られていない。よって、音声伝送経路Ｌの３６通りの各条件において、劣化した音声を新たに収録する。
【００２０】
（ステップ６）  以上の音声収録、評価を繰り返していった時の平均を取る設定条件毎の音声数を横軸、許容残差ｄ：信頼幅を縦軸にとったグラフが図４である。設定条件毎の音声数が１４の場合は信頼幅は１. ０００７６となり、充分な精度が得られていないが、条件毎の音声数を１５に増加すると信頼幅は０. ９９１６２となるので充分な精度が得られたことになる。
設定条件毎の音声数が１５の場合、ＰＳＱＭをｘ軸、ＭＯＳをｙ軸にとったグラフを図５に示す。図５に示される回帰曲線が客観評価結果と主観評価結果の対応関係ということになる。
【００２１】
以上の主観品質推定法の実施例は、要約すると次の通りのものとなる。
各設定条件に対して音声を１５回収録し、収録された音声のそれぞれに対して客観評価を実行し、各設定条件毎に客観評価値の平均値を求める。図５に示される曲線を使用して主観評価結果を推定する。その際の９０％信頼幅は上側および下側を合わせて１. ０である。
図６は主観品質推定装置の実施例を説明する図である。
【００２２】
１はＲＯＭおよびＲＡＭを有するＣＰＵである。２は演算プログラム記憶メモリである。３は初期条件記憶メモリであり、最大評価回数ｎmax 、客観評価結果に基づいて主観評価結果を推定する際の誤差の信頼幅に真の値が存在する確率がαであるとした場合の許容残差ｄ、確率α、および主観評価結果の推定値を確率変数Ｍで表した時、その平均値ｇ、分散その他の分布の特定に必要な統計量σg をパラメータとして持つＭの累積分布関数Ｇ（ｙ、ｇ、σg ）＝Ｐrob［Ｍ＜ｙ］を初期条件として記憶している。４は主観評価結果記憶メモリであり、主観評価結果を評価回数ｎを付与し記憶している。５は客観評価結果記憶メモリであり、客観評価結果を評価回数ｎを付与して記憶している。６は回帰分析部であり、主観評価結果および客観評価結果を評価回数を付与して入力し、回帰分析して、残差の標準偏差を求める部位である。７は信頼幅計算部であり、客観評価結果に基づいて主観評価結果を推定する際の誤差の信頼幅を計算する。８は信頼幅比較部であり、計算された信頼幅とその許容残差との間の大小ｄ＞信頼幅を比較して客観評価結果から主観評価結果を推定する際の関係式および評価回数を推定するに使用する。９は評価回数比較部である。この評価回数比較部９は、ｄ＞信頼幅が成立するなら得られた結果である回帰曲線：ｆ（ｘ）を客観評価結果から主観評価結果を推定する際の関係式とし、この時に使用したサンプル数を必要な最小評価回数と決定して終了し、そうでなければ、サンプル数ｎ＜最大評価回数ｎmax であるか否かを比較し、ｎ＜ｎmax なら各設定条件に対して新たに２回目以降の音声を収録してこれ以降の処理を実行し、ｎ＜ｎmax でなければｎmax より小さい評価回数で設定した正確さの評価は不可能であると判定して終了する。
【００２３】
なお、以上の主観品質推定法およびこの方法を実施する装置は音声品質の評価のみではなく、画像品質その他の評価にも適用することができる。
【００２４】
【発明の効果】
以上の通りであって、この発明によれば、或る音声伝送経路の品質評価において、音声客観評価法を実行するプログラムが実装される客観品質測定装置と、音声を劣化させる設定を施される複数の音声伝送経路を使用して複数の音声を測定評価し、その評価値に基づいて或る音声伝送経路の品質である主観評価結果を推定するに際して或る範囲内の評価回数で目的とする評価の精度が得られるか否かを検証し、目的精度を得る最小評価回数を導出する構成を具備することにより、最低評価回数を容易に導出する主観品質推定方法およびこの方法を実施する装置を提供することができる。
【図面の簡単な説明】
【図１】  実施例のフローチャート。
【図２】  １回目の測定結果のグラフを示す図。
【図３】  ２回の測定結果のグラフを示す図。
【図４】  音声数と信頼幅の関係を示す図。
【図５】  音声数が１５の場合の客観評価結果と主観評価結果の関係を示す図。
【図６】  実施例を説明する図。
【図７】  客観品質測定装置を説明する図。
【符号の説明】
１  ＣＰＵ
２  演算プログラム記憶メモリ
３  初期条件記憶メモリ
４  主観評価結果記憶メモリ
５  客観評価結果記憶メモリ
６  回帰分析部
７  信頼幅計算部
８  信頼幅比較部
９  評価回数比較部
【図１】
0003698310.tif 000005
【図２】
0003698310.tif 000006
【図３】
0003698310.tif 000007
【図４】
0003698310.tif 000008
【図５】
0003698310.tif 000009
【図６】
0003698310.tif 000010
【図７】
0003698310.tif 000011