OPEN STM Tips
QoE の監視・評価方法

1. 背景・目的
IP ネットワークのブロードバンド化や映像符号化/映像信号処理技術の発展に伴い、動画配信サイト、ネット電話、オンラインゲーム、ネット取引等、動画や通話・リアル
タイム通信を前提とした双方向サービスが、伝送メディア毎に様々な形で、それぞれの成熟期に入りつつある。
快適なコンテンツの安価な提供には、エンドユーザーが体感する品質(QoE: Quality ofExperience)に関する監視・評価方法の確立が求められる。特に動画や音声の品質評価については、品質評価を継続的かつシステマチックに行い、主観評価を物理的な特徴
量に置換し、人間の主観的な判断を介さずに QoE を推定できる、客観評価手法・基準の標準化が重要であり、ITU(International Telecommunication Union: 国際電気通信連合)
等の国際機関が活発に活動している。
情報通信業界全体における世界的な潮流と並行する形で、ケーブルでも主に DOCSISの分野で、品質の監視指標が継続的に強化・拡張されている。
本 Tips では、品質監視のコンセプト、DOCSIS の QoS 指標、QoE 評価の方法について説明する。

2. 対象読者
ネットワーク事業者、システムインテグレータ、ネットワークインテグレータ、プログラマー

3. 参考文献・関連文書
DOCSIS 3.0 OSSI CM-SP-OSSIv3.0 (以降、「OSSI3.0」)
CM-SP-MULPIv3.0 (以降、「MULPI3.0」)
NTT サービスインテグレーション基盤研究所 映像品質評価法(http://www.ntt.co.jp/qos/technology/visual/index.html)
OSSBN-TIPS-11-03-001/01
OPEN STM AE エンジニアリングガイド

4. その他
本 Tips 中の図表番号につき、OSSI 3.0 からの抜粋には原文の番号をそのまま流用し、独自に作成した図表には”Tips-*”の形式で番号を付与した。

5. 最終更新日
2011 年 6 月 10 日

文書番号: OSSBN-TIPS-11-06-002/01
All Rights Reserved, Copyright © OSS BroadNet 2011
1 / 15

OPEN STM Tips
QoE の監視・評価方法

6. 詳細
6.1 品質監視のコンセプト
6.1.1

QoE とは「QoE」（quality of experience）は、IP 電話や動画配信などのサービスに対して，ユーザーが感じるサービス品質を表し、例えば「音がぶつぶつ途切れる」「チャンネルを切り替えても映像がなめらかに表示される」等の主観的な印象により表現される品質指標である。電気通信情報学会による QoE の訳語は「ユーザー体感品質」である。
ユーザーの体感品質を表わす QoE に対し、
「QoS」
（quality of service）はネットワーク
性能の客観的な指標を表わす。
ネットワークの設計・調整では、最初に QoE を決め、その後、QoE を実現できるパケット遅延，ゆらぎ，消失等の QoS パラメータを設定するのがセオリーである。
電話を例に取ると、QoE 尺度には MOS（mean opinion score）値が使用される。MOS
値は、総務省による IP 電話の番号割当基準である「R 値」と対応付けられる。通信事業者は基準 R 値を満たすようにネットワークを設計し、品質を担保している。
ただし，実際の通信時には状況が刻々と変化するため，必ずしも期待通りの QoE が得られるとは限らない。一定品質 QoE の安定的な提供には、通信中のエラー、遅延、ジッタ等の QoS パラメータを継続的に監視・分析し、迅速に QoE を推定後、適切に機器を制御する方式が求められる。

6.1.2

標準化団体による QoS/QoE の検討作業
ITU の QoS/QoE 標準化作業は、主に NGN の IPTV を対象に、ITU-T SG12 を主たる検討主体に、IETF（Internet Engineering Task Force）、ETSI(European Telecommunications
Standards Institute)、ATIS(Alliance for Telecommunications Industry Solutions)、3 GPP(Third
Generation Partnership Project)等、世界各国の各種機関と調整しながら進められてきた。
SG12 やその他の各機関の活動成果は、幾つかは既に勧告化され普及期に入っており、更なる勧告化の検討が現在も進められている。
QoE 関連の勧告のうち、特に映像配信と音声通話の品質評価に関する主要な ITU-T/R
勧告の一覧を Figure 6.1.1 に示す。

文書番号: OSSBN-TIPS-11-06-002/01
All Rights Reserved, Copyright © OSS BroadNet 20112 / 15

OPEN STM Tips
QoE の監視・評価方法

勧告番号P.10/G.100 AppendixＩ
BT.500
P.910
J.140
BT.710BT.1129
BT.802/BT.1210
G.107

コンテンツ
通信全般
映像全般
映像全般
映像全般
HDTV
SDTV
映像全般
IP 電話

G.113
G.1070(G.WBEM)
P.564
Y.1540/1541
Y.1542/1543
Y.IPmulti
P.NAMS
P.NBAMS
G.IPTV_PMPD
G.IPTV_PMMM
G.IPTV_PMR
G.OMVAS

IP 電話
TV 電話
IP 電話
IP パケット
IP パケット
IP パケット
IPTV
IPTV
IPTV
IPTV
IPTV
映像配信

内容
ITU による QoE の定義
TV 映像品質の主観評価法
マルチメディアアプリケーション映像の主観品質評価法
デジタルケーブル TV 映像の主観品質評価法
HDTV 映像の主観品質評価法
SDTV 映像の主観品質評価法
主観評価で用いる標準映像
通称”E-model”．通話品質を規定する R 値が、旧郵政省令(事業用電気通信設備規則)にて採用
音声コーデック品質定義
マルチメディア版”E-model”
パケット交換による音声通話 QoS のフレームワーク
IP パケット転送の QoS 指標と目標値
複数キャリア経由時の QoS 指標と測定方法(NGN)
マルチキャスト通信の QoS 指標
パケットヘッダ情報による映像品質推定方法
ビットストリーム情報による映像品質推定方法
性能指標の定義
PMPD の測定方法
PMPD のレポート方法
アプリケーションのオピニオンモデル

Figure 6.1.1 映像の品質評価に関する主要な ITU-T/R 勧告の一覧(含ドラフト)
Figure 6.1.1 に示す一覧は、ケーブル等、個別の伝送メディアによらず、情報通信産業
全体に幅広く応用できる勧告群であり、今後各国の事業者・メーカーによる具体的な
品質評価手法の検討に際し、様々な立場の従事者に共通の包括的な概念を提示するものである。
事業者や監視アプリケーション開発者には、QoE/QoS 指標の具体的な選択やシステム
設計に先立ち、ITU の仕事などを参考に、最初に包括的な観点から QoE を把握・イメ
ージ後、個別の対象に特化した工夫・応用へと検討を進める事を推奨する。
以降本 Tips では、この観点から順にドリルダウンしながら検討・考察を進める。

文書番号: OSSBN-TIPS-11-06-002/01
All Rights Reserved, Copyright © OSS BroadNet 2011
3 / 15

OPEN STM Tips
QoE の監視・評価方法
6.1.3

品質監視点の定義
Figure 6.1.1 に示す勧告草案のうち、G.IPTV_PMPD における品質監視点の定義を Figure
6.1.2 に示す。

Figure 6.1.2 G.IPTV_PMPD における品質監視点の定義
ケーブルネットワークに置き換えた場合、領域 A はデジアナ変換や PEG 変換等のトランスコーディング、領域 B はストレージからの読み出し処理、領域 C は HOG から各局へのバックボーン網、領域 D はケーブル網、領域 E は STB や E-MTA 等のデコーダー機能を持った端末と Wi-Fi などのホームネットワーク環境を表わす。
最終的なユーザー体感品質である QoE を向上するには、品質の劣化要因を洗い出した
上で、QoE に直接的な相関のある QoS 指標を、領域別に設定する必要がある。

6.1.4

QoE の劣化要因
QoE の劣化には、素材映像からユーザー端末まで様々な要因が存在する。
素材映像の品質要因には、映像撮影条件（フォーカス、明るさ、コントラスト等）やカメラ性能などがある。また、素材映像の符号化に際し、符号化方式（MPEG2、MPEG4、H.264 等）の選択や符号化パラメータの設定が品質を左右する。符号化パラメータの具体例としては、符号化ビットレート（映像信号の圧縮率）、空間解像度（VGA、QVGA、
CIF、QCIF 等）、時間解像度（フレームレート）等がある。符号化した映像データをIP ネットワークで伝送する際には、ネットワークの輻輳により IP パケットの転送遅
延時間の揺らぎや IP パケットの欠落（パケット損失）が発生すると、映像品質を低下させる要因となる。最後に、ユーザー端末での復号処理や、端末・ディスプレイの表示能力による影響も受ける。

文書番号: OSSBN-TIPS-11-06-002/01
All Rights Reserved, Copyright © OSS BroadNet 2011
4 / 15

OPEN STM Tips
QoE の監視・評価方法
映像配信サービスの場合、QoE を劣化させる要因は、空間的歪と時間的歪に大別される。空間的歪は画質や画面解像度の低下を引き起こすものであり、モザイク状に発生する歪（ブロック歪）の発生が代表的・特徴的な劣化である。また、時間的歪はフレームレートの低下やフリーズが代表例であり、映像の動きの滑らかさが失われ、ギク
シャクして見えるのが特徴的な劣化である。さらに、映像の乱れ（破綻）など、時空間的に発生する歪も存在する。
代表的な映像品質の劣化症状例を Figure 6.1.4 に示す。

歪の種類

空間的歪

劣化の見え方

解像度低下・ぼけ
ブロック歪
偽輪郭

時間的歪

ジャーキネスフリッカ
動きぼけ途切れ/フリーズ
モスキートノイズ

時空間的歪

エッジビジネス乱れ(破綻)

細かい模様や輪郭がぼけ、精細度が低下
モザイク・幾何学パターンの歪
明るさや色が緩やかに変化する部分に生じる偽の輪郭動きがギクシャクして見える
輝度レベルが変動し、ちらついて見える
動いている領域がぼけて見える
再生が途切れる/画面が停止する
エッジや色の変化の激しい部分で起こるノイズ(蚊が飛び回るように見える)
エッジ部分がザラザラしてちらつく
画面の一部または全体的に原型を留めな
い程の歪

符号化
劣化
○
○
○

伝送
劣化

○
○
○

○

○

○
○
○
○

Figure 6.1.4 代表的な映像品質の劣化症状例

6.1.5

QoE 劣化の主要因と監視方式
Figure 6.1.2 と Figure 6.1.4 に基づく QoE 劣化の主要因と監視方式例を Figure 6.1.5 に示
す。
領域

A

B
C
D
E

QoE 劣化の主要因
不適切な符号化パラメータ選択
トランスコーディング
統計多重によるデータ欠損
衛星放送の受信不安定
出力揺らぎ
ストレージへの I/O 集中
CPU への負荷集中
不適切な CDN 配置設計
遅延、遅延揺らぎ、損失(エラー)
スループット不安定
NTSC 再変換
復号化エラー
ホームネットワーク不安定

監視方式例
符号化・統計多重化後の TS 出力を
リアルタイムにデコードし、QoS し
きい値超過を検出
HITS や HOG 配信元、転送元に監視ツールを設置
CDN 構成要素の CPU, メモリ、I/O
消費等を定常的に監視
VOD ベンダーの専用監視ソフトまたは汎用 NMS
汎用 NMS
アクセス網に特化した専用 NMS
STB 内に監視プログラムを常駐または主要監視点に復号化回路を備える
専用モニタ装置を分散配置

Figure 6.1.5 QoE 劣化の主要因と監視方式例
本 Tips では以降、特に Figure 6.1.5 の領域 D に限定し、詳細の検討を進める。
他の領域については、関連する他 Tips や文献・規格等を適宜参照されたい。
文書番号: OSSBN-TIPS-11-06-002/01
All Rights Reserved, Copyright © OSS BroadNet 2011
5 / 15

OPEN STM Tips
QoE の監視・評価方法
6.1.6

領域 D の QoS 指標
Figure 6.1.5 では、遅延・遅延揺らぎ・損失・スループット不安定を、領域 D の QoE
劣化の主要因に挙げている。ここでは ITU 勧告や総務省令を参照しながら、これらの要因が QoE に与える影響について考察する。
Figure 6.1.1 中、特に Y.1541 は IP ネットワークのエンド・ツー・エンド(UNI 間)の転送品質として実現すべき水準を定量的な目標値として示している。
Y.1541 に定める品質クラスの一覧を Figure 6.1.6 に示す。
指標
平均遅延(IPTD)
遅延ゆらぎ(IPDV)
損失率(IPLR)
誤り率(IPER)
順序逆転率(IPRR)

クラス 1
100ms
50ms

クラス 2
400ms
50ms

クラス 3
100ms
1*10-3
1*10-4
-

クラス 4
400ms
-

クラス 5
1s
-

クラス 6
-

Figure 6.1.6 Y.1541 に定める品質クラスの一覧
Figure 6.1.6 より、ITU による検討でも、遅延、遅延揺らぎ、損失の 3 要素を、特に重要な指標と位置付けている事が分かる。一方で国内でも、総務省令(事業用電気通信設
備規則)において、NGN の代表的なサービスである IP 電話(VoIP)の IP 転送品質について、UNI-NNI 間の IP パケットを、転送遅延: 50ms 以下、遅延揺らぎ: 10ms 以下、損失率: 0.05%以下と規定している。
音声通話やビデオ会議など、リアルタイム性の高いアプリケーションの場合、許容範
囲を超えた遅延・遅延揺らぎ・損失の発生は、音声にエコーや途切れ、映像に歪やフリーズを発生させ、程度が甚だしい場合にはコミュニケーションが不能となる。
また、総務省令が想定している NGN は、アプリケーション毎に一定の通信帯域を保証する高機能ネットワークだが、現在のインターネット接続の主流であるベストエフ
ォート型の帯域共有メディアの場合には、スループットがより重要な指標となる。
例えば G.711 の PCM コーデックによる音声通話では、64kbps の通信帯域を固定的に消費するが、ベストエフォート型ではそもそも一定帯域が保証されないため、ネットワーク輻輳状況によるスループットの変動が、通話の QoE を大きく左右する。一方でストリーミング型映像配信では、遅延・遅延揺らぎはバッファリングで概ね吸収できるが、スループット不安定はバッファリングの限界を超過し易く、再バッファリングによる再生中断や、フリーズ等の QoE 低下を引き起こす。
以上より領域 D では、遅延、遅延揺らぎ、損失の 3 指標については対話型アプリケー
ションを想定し、可能な限り総務省令と同水準を目指す一方で、ベストエフォート型に特有のスループットについては、伝送メディアの特性に応じ、合理的に基準値を定める方針が望ましい。

文書番号: OSSBN-TIPS-11-06-002/01
All Rights Reserved, Copyright © OSS BroadNet 2011
6 / 15

OPEN STM Tips
QoE の監視・評価方法
6.2 DOCSIS の QoS 指標
収集すべき QoS 指標

6.2.1

DOCSIS ネットワークは、下り方向に TDM、上り方向に TDMA(A-TDMA/S-CDMA)を採用した、時分割多重原理による同期型デジタルデータ伝送方式である。従って、CM 同士による送信タイミングの競合は、原理的に発生しない。
また、DOCSIS では CMTS と CM 間の最大伝送距離を 160km、最近点と最遠点の CMの最大距離を 25km 弱と定めているが、この程度の距離範囲では電磁波の伝播速度に起因する伝播遅延差がμs 単位と桁違いに小さいため、QoE への影響は無視できる。
以上の前提で、収集すべき QoS 指標について、伝送方向別に分けて考察する。

6.2.1.1

下り方向

共有帯域幅を超えるトラフィックが一時的に発生する場合、CMTS のバッファに対象
パケットが一旦キューイングされた後、宛先 CM の QoS レベルや、パケットのポート
番号、TOS 等の優先情報に基づき、CMTS が送出フローを制御する。この場合、スループットは CMTS 送出時に決まり、CMTS-CM 間では変化しない。
損失は、トラフィック量が CMTS のバッファサイズを超過時、設定ポリシーに従いCMTS が超過分のパケットを破棄するオーバーフローによる影響が支配的であり、CMTS-CM 間の伝送エラーによる損失は稀である。これは、ケーブルの下りが比較的安定な事による。
CMTS による遅延・遅延揺らぎは、UGS 動作時を除き、バッファ設定とのトレードオ
フ関係にある。バッファサイズと有効期間を調整してオーバーフローを抑制すると、遅延と遅延揺らぎの程度が増す。但し CMTS は安定動作が最優先であり、一般的にはメモリ消費抑制にバッファを小さく設定する。このため、体感品質に影響する程の遅延・遅延揺らぎを生じる事は比較的少なく(n 秒〜μ秒単位)、QoE 上は概ね無視できる。

6.2.1.2

上り方向

上り方向の単一 CH セットで、共有帯域幅を超えるトラフィックが一時的に発生する
場合、各 CM の QoS レベルに基づき、CMTS が各 CM からの送信タイミング要求を処理する。この場合、スループットは CMTS-CM 間の輻輳状況により変化する。
損失は、トラフィック量が CM のバッファサイズを超過時、オーバーフローが発生する。また、流合雑音の影響による CMTS-CM 間の伝送エラーも、比較的高い頻度で発生する。
一方で CM による遅延・遅延揺らぎの体感品質への影響は、バッファサイズが小さいため発生しにくく、QoE 上は無視できる。

文書番号: OSSBN-TIPS-11-06-002/01
All Rights Reserved, Copyright © OSS BroadNet 20117 / 15

OPEN STM Tips
QoE の監視・評価方法
収集すべき QoS 指標の抽出

6.2.1.3

収集すべき QoS 指標の一覧を Figure 6.2.1.3 に示す。
方向

下り

上り

取得元
CMTS

QoS 指標スループット(bps)

QoE 相関○CMTS

オーバーフロー損失(%)○

CM

伝送エラー損失(%)

-

CMTS
CMTS
CMTS

遅延(ms)
遅延揺らぎ(ms)
スループット(bps)○CM

オーバーフロー損失(%)

○

CMTS

伝送エラー損失(%)

○

CMTS
CMTS

遅延(ms)
遅延揺らぎ(ms)-

備考
通過バイト数の増分から計算
通過パケット数と破棄パケット数の増分から計算定常性がないため、QoE ではなく一時的な伝送障害として監視すべき
影響が少ないため無視
同上
通過バイト数の増分から計算
通過パケット数と破棄パケット数の増分から計算流合雑音による定常性のため QoE と相関あり. OPEN STM の CWL と等価影響がほぼないため無視
同上

Figure 6.2.1.3 収集すべき QoS 指標の一覧
網掛け行は QoE との相関を現実的に確認できる指標であり、表中の「QoE 相関」列と対応している。上り伝送エラー損失(%)の備考欄にある CWL については、OPEN
STM AE エンジニアリングガイドを参照されたい。
なお Figure 6.2.1.3 より、QoS 指標は CM 別・上り/下り単位に収集する必要があるた
め、収集する状態情報のレコード単位としては、サービスフローが適切である。
この場合、QoE を十分に監視できる端末が、サービスフローにより上り/下りの QoS
指標を別々に収集できる 1.1 QoS CM に限られる。
すなわち、サービスフローをサポートしておらず、SID 単位による上り指標しか収集できない 1.0 CoS CM の場合には、監視範囲が上りに限定される。
しかしながら現実的には、QoE の監視が必要なサービスクラスを提供する端末は、
2011 年 6 月現在、殆ど全て 1.1 QoS CM なので、実用上は問題ないと思われる。
以降、端末が 1.1 QoS CM である事を前提に、検討を進める。

文書番号: OSSBN-TIPS-11-06-002/01
All Rights Reserved, Copyright © OSS BroadNet 20118 / 15

OPEN STM Tips
QoE の監視・評価方法
6.2.2

QoS 指標の収集方法

Figure 6.2.1.3 に示した各 QoS 指標を定期的に収集する場合、CMTS には IPDR ないしは SNMP、CM には SNMP を使用する。
各 QoS 指標の収集方法を Figure 6.2.2 に示す。
方向

QoS 指標取得元

スループット

CMTS

オーバー
フロー損失

CMTS

スループット

CMTS

下り

上り

オーバー
フロー損失

伝送エラー
損失

IPDR 属性名<SAMIS>
ServiceOctetPassed
ServiceTimeActive<SAMIS>
servicePktsPassed
serviceSlaDropPkts<SAMIS>
ServiceOctetPassed
ServiceTimeActive

CM

収集不可

CMTS

<CMTS-CM-US>
CmtsCmUsUnerroreds
CmtsCmUsCorrecteds
CmtsCmUsUncorrectables※上り CH 指標(要平均)

SNMP オブジェクト名
CMTS 負荷が高いため非推奨

同上

同上<DOCS-QOS-MIB/DOCS-QOS3-MIB>
docsQosServiceFlowPkts,
docsQosServiceFlowLogPkts
docsQosServiceFlowPolicedDropPkts,
docsQosServiceFlowLogPolicedDropPkts<DOCS-IF3-MIB>
docsIf3CmtsCmUsStatusUnerroreds
docsIf3CmtsCmUsStatusCorrecteds
docsIf3CmtsCmUsStatusUncorrectables※上り CH 指標(要平均)

Figure 6.2.2 各 QoS 指標の収集方法
薄い網掛けは 3.0 のみ有効だが 1.1/2.0 に等価な項目がある項目、濃い網掛けは 1.1/2.0
では動かない項目、網掛け無は全バージョンで動く項目を示す。すなわち Figure 6.2.2の QoS 指標は全て、CMTS/CM の DOCSIS バージョンによらず利用可能である。
収集項目の詳細については、他 Tips を参照されたい。
CMTS への負荷を考慮し、CMTS からの情報収集には、可能な限り IPDR の使用が望ましい。IPDR の収集間隔には、Time-Interval セッションの最小デフォルトである 15分以上の設定が、CMTS 負荷抑制の観点からも望ましい。
一方で、各 CM は収集間隔中、必ずしも連続的に通信を行っているわけではなく、また仮に連続的に通信を行っていたとしても、発生するトラフィック量はアプリケーシ
ョンの内容により変動する点に注意が必要である。すなわち QoE との十分な相関を得
るには、収集間隔は可能な限り短くするべきである。
人間が端末機器に能動的に行うアプリケーション操作の実行時間は、概ね数分から 10
数分程度である。一方でストリーミングメディアによる映像配信の 1 番組単位は、投稿動画の 5 分弱からテレビ番組の構成単位である 30 分の倍数程度の範囲である。
以上より、QoS 指標の収集間隔には、15〜30 分程度の設定が望ましい。

文書番号: OSSBN-TIPS-11-06-002/01
All Rights Reserved, Copyright © OSS BroadNet 20119 / 15

OPEN STM Tips
QoE の監視・評価方法
QoS 指標の計算方法

6.2.3
6.2.3.1

下りスループット

例として、15 分インターバル間隔で、3 分置きに 2 分間のビデオ通話を計 3 回行う場合を考える。
Figure 6.2.2 より、ServiceOctetPassed すなわち通過バイト数を QoS 指標とし、前回値として 45,678k バイト、今回値として 56,789k バイトが測定され、増分が 11,111k バイトであったと仮定する。これを単純に 15 分で徐算すると、11,111k * 8 / (15*60) ≒100kbps となる。しかしながら、ユーザーが実際に体感する QoE は、3 分*3 回の無通話時間を除いた計 6 分で徐算した 11,111k * 8 / (6*60) ≒ 250kbps となる筈であり、計算値との乖離は 3 倍近くに及ぶ。この問題を解消するには、各インターバル内で、実際にデータトラフィックがネットワーク上に流れた時間の総和を収集し、上述の例における 6 分相当の値として、実効スループットを計算すれば良い。
具体的には、Figure 6.2.2 のもう一つの QoS 指標である ServiceTimeActive すなわちサービスフロー活性期間を用いる。同指標は、対象サービスフローがアクティブであった期間の総和(秒)を表わすので、前回値と今回値の差分秒を計算すれば、上述の例における 6 分相当の分母として扱える。
下りスループットの計算式を式(1)に示す。
下りスループット(bps) =(今回 ServiceOctetPassed – 前回 ServiceOctetPassed) * 8/ (今回 ServiceTimeActive – 前回 ServiceTimeActive)

6.2.3.2… (1)下りオーバーフロー損失

下りオーバーフロー損失の計算式を式(2)に示す。
下りオーバーフロー損失(%) =(今回 serviceSlaDropPkts – 前回 serviceSlaDropPkts)/ ((今回 servicePktsPassed–前回 servicePktsPassed)+ (今回 serviceSlaDropPkts–前回 serviceSlaDropPkts)) * 100

6.2.3.3… (2)上りスループット

上りスループットの計算式を式(3)に示す。
上りスループット(bps) =(今回 ServiceOctetPassed – 前回 ServiceOctetPassed) * 8/ (今回 ServiceTimeActive – 前回 ServiceTimeActive)… (3)

文書番号: OSSBN-TIPS-11-06-002/01
All Rights Reserved, Copyright © OSS BroadNet 201110 / 15

OPEN STM Tips
QoE の監視・評価方法
6.2.3.4

上りオーバーフロー損失

上りオーバーフロー損失の計算には、CM から SNMP で Figure 6.2.2 に示す 4QoS 指標を収集する。docsQosServiceFlowPkts, docsQosServiceFlowPolicedDropPkts は継続中のサービスフローを、docsQosServiceFlowLogPkts, docsQosServiceFlowLogPolicedDropPkts
は終了サービスフローを表わす。
ここでは表記の簡便のために、継続中の上りサービスフローに限定し、オーバーフロ
ー損失の計算式を(4)に示す。終了フローについては、適宜読み替えられたい。
下りオーバーフロー損失(%) =(今回 docsQosServiceFlowPolicedDropPkts – 前回 docsQosServiceFlowPolicedDropPkts)/ ((今回 docsQosServiceFlowPkts –前回 docsQosServiceFlowPkts)+ (今回 docsQosServiceFlowPolicedDropPkts–前回 docsQosServiceFlowPolicedDropPkts))* 100

6.2.3.5… (4)上り伝送エラー損失

上り伝送エラー損失の計算式は、OPEN STM AE の CWL(Code Word Loss)に等価である。従って、CWL に限っては、AE の収集・計算値の流用により、簡易に QoE 監視を実現できる。
CWL だけの簡易な形式ではなく、包括的に QoE を監視したい場合、ないしは IPDR
により CMTS 負荷を抑制したい場合、IPDR の各 QoS 指標を収集する。
IPDR による収集を前提に、下り伝送エラー損失の計算式を式(5)に示す。
下り伝送エラー損失(%) =(今回 CmtsCmUsUncorrectables –前回 CmtsCmUsUncorrectables)/ ((今回 CmtsCmUsUnerroreds –前回 CmtsCmUsUnerroreds)+ (今回 CmtsCmUsCorrecteds –前回 CmtsCmUsCorrecteds)+ (今回 CmtsCmUsUncorrectables –前回 CmtsCmUsUncorrectables)) * 100… (5)なお、上り伝送エラー損失は、サービスフロー単位の指標ではなく、上りチャンネル
単位の指標である。3.0 上りマルチチャンネル構成で動作中の CM で、サービスフロ
ー単位の QoE として取り扱いたい場合には、複数 CH の値を平均する計算処理が別途必要になるので注意されたい。

文書番号: OSSBN-TIPS-11-06-002/01
All Rights Reserved, Copyright © OSS BroadNet 201111 / 15

OPEN STM Tips
QoE の監視・評価方法
6.3 QoE 評価の方法
6.3.1

QoS 設定の事前取得

QoE は、定期的に収集した QoS 指標と、CM のサービスフローに予め設定された QoSとの乖離により、ある程度定量的に評価できる。
定期的に収集する QoS 指標のうち、特にスループットと関連の深い、CM のサービスフローに予め設定される主な QoS 設定を Figure 6.3.1 に示す。
QoS 指標
SCN
最低保証
速度
最大連続
速度
優先度

単位
-

ServiceClassName

IPDR 属性名

docsQosParamSetServiceClassName

SNMP オブジェクト名

bps

ServiceMinReservedRate

docsQosParamSetMinReservedRate

bps

ServiceMaxSustained

docsQosParamSetMaxTrafficRate-

ServiceTrafficPriority

docsQosParamSetPriority

備考
値が 0 の場合は無保証。
単位時間内に送信可
能な最大バイト数。
1~7: 7 が最大。

Figure 6.3.1 CM のサービスフローに予め設定される主な QoS 設定
Figure 6.3.1 は SCN に紐付く静的な設定情報なので、手動でシステムに予め登録しておくか、ないしは IPDR か SNMP により CMTS から必要時のみ収集・更新する。
CM の契約更新時、CM の SCN が更新されるため、各 CM の SCN が不定期に変化する可能性がある。このため定期的な収集処理では、各 QoS 指標と合わせて SCN を収集し、CM の各 QoS 指標と Figure 6.3.1 の静的な設定情報を SCN で対応付ける。

6.3.2

スループット評価

6.2.3 により計算された上り/下りスループットは、正常時には最低保証速度と最大連続速度の中間値を取る。従って、例えば最低保証速度を 1、最大連続速度を 5 として 5段階のスケールを設定し、スループットが含まれるスケールを 0~5 に換算して表現す
れば、VoIP の MOS 値相当の主観指標に近しい概念の主観指標が得られる。
この場合のスケールは、0 を 0bps、1 を最低保証速度、5 を最大連続速度に設定し、最小自乗法で導出した近似関数に基づき配分設定する。障害によりスループットが最小保証速度を下回る場合、1 未満の小数となる。

6.3.3

損失評価
6.2.3 により計算された上り/下り損失は、方向別の合算値により、損失を原因とする
QoE スコアに換算できる。
5 段階評価への換算については、損失のない状態である 0%を 5、許容範囲としては、
6.1.6 に示した NGN ベースの IP 電話(VoIP)の損失率である 0.05%を運用の目安の意味
で 2 とし、後は常用対数基準でスケールに展開する。すなわち、0.005%に 3、0.0005%に 4、0.5%に 1 を対応付け、損失の QoE 評価とする。

文書番号: OSSBN-TIPS-11-06-002/01
All Rights Reserved, Copyright © OSS BroadNet 201112 / 15

OPEN STM Tips
QoE の監視・評価方法
6.3.4

下り QoE の日次評価の出力例
下り QoE の日次評価の出力例を Figure 6.3.4 に示す。

下り QoE(日次)

5

最大
連続速度

大変良い
4

良い
3

普通
2

許容損失
0.05%

1

最低
保証速度

悪い
大変悪い
0

0

00:00

06:00

12:00

24:00

18:00

: 下りスループット(bps)

対象年月日
CMTS DOCS Ver,
CMTS MAC
最大連続速度(bps)
最低保証速度(bps)
最大スループット
最低スループット
平均スループット
スループット QoE

2011/06/09
3.0
AABBCCDDEE
10,000,000
512,000
8,700,000
346,000
5,200,000
2.6

分析タイプ
CM モードCM MAC
サービスクラス名
優先度
最大損失(%)
最低損失(%)
総合損失(%)
損失 QoE: 下り損失(%)

24H
1.1 QoS
001122334455
10M_Standard
2
0.000500.00007
4.8

Figure 6.3.4 下り QoE の日次評価の出力例
本例では下り QoE を対象に、24 時間の傾向を分析し、総合 QoE を算出している。
使用時間帯は 20:30-02:30 および早朝 07:00-08:00 であり、これ以外の時間帯にはトラフィックが発生していない。このような無トラフィック期間は、最低スループット、
平均スループット、総合損失の計算対象から全て除外されている。
スループット QoE と損失 QoE は単純に平均できないので、それぞれ独立に 24 時間の総合評価を行っている。
なお、5 段階採点はあくまで主観的な評価方法なので、最終的には ISP の事業ポリシ
ーに従い基準を定めるべきである。このため、いずれの QoE についても、ISP が随時スケールを設定・調整できる柔軟な仕様が望まれる。

文書番号: OSSBN-TIPS-11-06-002/01
All Rights Reserved, Copyright © OSS BroadNet 201113 / 15

OPEN STM Tips
QoE の監視・評価方法
6.3.5

直近 QoS 状態の出力例
直近 QoS 状態の出力例を Figure 6.3.5 に示す。
CMTS MACAABBCCDDEE
最大連続速度CM MAC
001122334455
最低保証速度
サービスクラス名
10M_Standard
優先度
Forward
ForwardReturnReturn
日付時刻
throughput
overflow loss
throughput
overflow loss
2011/06/10
8,713,121
0%
235,1130.0005%08:15:0110
2011/06/10
6,520,160
0.0002%
1,212,002
0%
08:00:0125
2011/06/10
7,254,0080%
138,0190.0002%
07:45:0070
・
・
・
・
・
・
・
・
・
・
・
・
・
・
・

10,000,000
512,000
2
ReturnRx error loss
0%0.0001%0%・・・Figure 6.3.5 直近 QoS 状態の出力例
顧客クレーム対応等の業務では、過去の品質状況の履歴検索に先立ち、直近品質の推移を迅速に把握する必要がある。
「顧客絞込み検索」→「一覧表示」→「詳細表示」の画面遷移内に、Figure 6.3.5 の項
目・表現を適宜組み入れる事により、顧客対応業務の効率改善を図れる。
ISP 内のクレーム対応業務を QoE スコアで統一的に運用したい場合、Figure 6.3.5 の項目に、更に下りスループット、下り損失、上りスループット、上り損失の各 QoE スコ
アを加えると良い。

文書番号: OSSBN-TIPS-11-06-002/01
All Rights Reserved, Copyright © OSS BroadNet 201114 / 15

OPEN STM Tips
QoE の監視・評価方法
6.4 その他
6.4.1

QoE 監視システムの構成
QoE 監視のユーザーは、顧客対応を行う Tier-1/2 が中心になる。
このため、現行の OPEN ADMIN/STM 製品については、CE と TIMS Net に画面機能が、
TIMS Net と AE に通信機能が実装される。
更に、SNMP の IPDR 置換により、通信処理の高速化と CMTS 負荷の低減を図りたい
場合には、TIMS Net と 1:1 の関係で IPDR Collector を配置する。
QoE 関連の各画面機能は、Edition 4 より順次提供される予定である。
IPDR Collector は、OPEN STM シリーズの新製品として提供される予定である。

6.4.2

多角的な評価手法
特にスループットについては、単位時間内の QoE 評価に加え、週次・月次等の一定期間を基準とした傾向分析や、同一タイミングにおける複数ユーザー間の QoE 評価比較などにより、様々な視点・切り口から、ネットワークの全体システム性能を、より多角的に評価できる可能性がある。
多角的な評価手法の詳細については、他 Tips を参照されたい。
以上

文書番号: OSSBN-TIPS-11-06-002/01
All Rights Reserved, Copyright © OSS BroadNet 201115 / 15