(57)【要約】  本発明は、ネットワーク上で配信される、予測ブロック単位符号化技術に従って符号化された符号化データフレームの系列のコラプション指示を決定する方法に関する。本発明の方法は、前記符号化データフレームの系列を復号化して復号データフレームの系列を得る復号化ステップと、前記復号化ステップに基づいて、復号データアイテムと関連するバイナリ値を含み、該バイナリ値は関連するデータアイテムがコラプションのために復号されなかった場合または前記関連するデータアイテムがコラプションのために復号されなかった参照データアイテムを参照して予測される場合に第１の値、そうでない場合に第２の値を有する信頼性マップを作成するステップと、前記バイナリ値に基づいてコラプションメトリックを計算するステップとを具える。
2008521268.tif 000002
【特許請求の範囲】
【請求項１】
ネットワーク上で配信される、予測ブロック単位符号化技術に従って符号化された符号化データフレームの系列のコラプション指示を決定する方法であって、
前記符号化データフレームの系列を復号化して復号データフレームの系列を得る復号化ステップと、
前記復号化ステップに基づいて、復号データアイテムと関連するバイナリ値を含み、該バイナリ値は関連するデータアイテムがコラプションのために復号されなかった場合または前記関連するデータアイテムがコラプションのために復号されなかった参照データアイテムを参照して予測される場合に第１の値、そうでない場合に第２の値を有する信頼性マップを作成するステップと、
前記バイナリ値に基づいてコラプションメトリックを計算するステップと、
を具えることを特徴とするコラプション指示決定方法。
【請求項２】
前記コラプションメトリックは前記信頼性マップ内のバイナリ値の総数に対する第１の値を有するバイナリ値の数の比であることを特徴とする請求項１記載の方法。
【請求項３】
ネットワーク上で配信される、予測ブロック単位符号化技術に従って符号化された符号化データフレームの系列のコラプション指示を決定する装置であって、
前記符号化データフレームの系列を復号化して復号データフレームの系列を得るデコーダと、
前記復号化ステップに基づいて、復号データアイテムと関連するバイナリ値を含み、該バイナリ値は関連するデータアイテムがコラプションのために復号されなかった場合または前記関連するデータアイテムがコラプションのために復号されなかった参照データアイテムを参照して予測される場合に第１の値、そうでない場合に第２の値を有する信頼性マップを作成する手段と、
前記バイナリ値に基づいてコラプションメトリックを計算する手段と、
を具えることを特徴とするコラプション指示決定装置。
【請求項４】
請求項３記載の装置を具えるモバイル装置。
【請求項５】
請求項１に記載の方法をプロセッサで実行するためのプログラム命令を具えるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワーク上で配信される符号化データフレーム系列のコラプション指示を決定する方法に関するものであり、前記フレームは予測ブロック符号化技術に従って符号化されている。
この方法は、例えば受信データ内容のコラプションの程度を監視するために携帯電話に使用できる。
【背景技術】
【０００２】
３ＧＰＰは携帯ネットワークによるマルチメディアコンテンツの配信を可能にするサービスを規定している。文書ＴＳ26.243はＰＳＳ（Packet Switched Streaming）サービスを規定している。このサービスは、ＵＤＰ（User Datagram Protocol）の上位のＲＴＰ（Real Time Transport Protocol）をトランスポート層として用いてオーディオおよびビデオのような連続性メディアをストリーミングするものである。このトランスポートプロトコルは信頼性がなく、クライアントがサーバにより送られたデータの全てを得ることを保証しない。このため、エンドユーザに提示されるコンテンツは破壊される可能性があり、サービスプロバイダは顧客ケアポリシーを実現するためもしくはその請求戦略に適応するためにコラプションの程度を監視することが重要である。
【０００３】
３ＧＰＰ ＰＳＳ Rlease 6には、サービスプロバイダにエンドユーザのQｏＥを報告するためにいくつかのメトリックが定義されている。非予測符号化フォーマットに対しては、パケットロスは正確に１つのメディアアクセス単位（即ちメディアの１つの基本要素）のコラプションを生ずるため、その手段はストレートフォワードである。これに反し、予測符号化方式に対しては、パケットロスとコラプション結果との間に直接的なマッピング（対応付け）は存在しない。エラーは復号データ系列内を伝搬し、復号メディアがもう破壊されない時点を正確に知ることは容易でない。これは、特に慣例のビデオ符号化方式（ＭＰＥＧ、Ｈ２６３、Ｈ２６４）に対して真実である。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、従来のメトリックにとって代わる、ネットワーク上に配信された符号化データフレーム系列のコラプション指示を決定する方法を提供することにある。
【課題を解決するための手段】
【０００５】
この目的のために、本発明によるネットワーク上で配信される符号化データフレーム系列のコラプション標識を決定する方法は、
前記符号化データフレームの系列を復号化して復号データフレームの系列を得る復号化ステップと、
前記復号化ステップに基づいて、復号データアイテムと関連するバイナリ値を含み、該バイナリ値は関連するデータアイテムがコラプションのために復号されなかった場合または前記関連するデータアイテムがコラプションのために復号されなかった参照データアイテムを参照して予測される場合に第１の値、そうでない場合に第２の値を有する信頼性マップを作成するステップと、
前記バイナリ値に基づいてコラプションメトリックを計算するステップと、
を具えることを特徴とする。
【０００６】
従って、本発明は、ネットワーク上で配信される符号化データフレーム系列のコラプションの程度を指示する新しいメトリックを提案するだけでなく、前記メトリックの直接的な実施も提案する。加えて、本発明の方法は所定の瞬時に、復号データフレーム系列内の破壊されたデータアイテムの数を限定計算コストで正確に測定することができる。
【０００７】
本発明の一実施例では、コラプションメトリックは前記バイナリ値の総数に対する第１の値を有するバイナリ値の比とする。
【０００８】
本発明は、ネットワーク上で配信される符号化データフレーム系列のコラプション標識を決定する方法を実施する装置、この装置を具えるモバイル装置、およびこの方法を実行する命令を具えるコンピュータプログラムプロダクトにも関する。
【０００９】
本発明のこれらの特徴および他の特徴は以下に記載する実施例を参照すると明らかになる。
【発明を実施するための最良の形態】
【００１０】
以下に、本発明を一例として図面につき詳細に説明する。
本発明は符号化データフレームの系列のコラプション標識を決定する方法に関する。以下の説明はＭＰＥＧビデオ圧縮方式によるビデオフレーム符号化の場合について行っている。しかし、当業者であれば、これらのフレームは、予測ブロック単位符号化技術で符号化されているならオーディオまたはテキストフレームとすることもできること明らかである。また、当業者であれば、本発明はＨ２６１，Ｈ２６１，Ｈ２６４のような他のビデオ圧縮方式を用いるビデオプレーヤに適用でき、またリアルビデオ（real Video）(登録商標)またはマイクロソフトＶＣ−９（登録商標）にも適用できること明であり、エラーが発生しやすい転送システム上でフレームの系列を受信することができる。
【００１１】
本発明の原理は、復号処理の間中復号データフレームのデータアイテム（即ち復号ビデオフレームの場合にはピクセル）の信頼性マップを維持することにある。
【００１２】
図１には、符号化ビデオフレーム系列の部分１００が示されている。符号化ビデオフレーム系列は、例えば再同期マーカ１１０、フレームヘッダ１２０およびフレームデータ１３０を含む。このような系列においていくつかのデータ１４０が失われると、直ちに、再同期マーカ１１０が見つかるまで復号処理が停止される。その結果、デコーダに依存して、現在のビデオフレームの終了に相当する１つまたは数個のデータブロックのロスまたは数個のビデオフレームのロスさえ生じ得る。
【００１３】
図２Ａには復号ビデオフレームの構造が示されている。このビデオフレームはデータブロックに分割されている。符号化ビデオフレームの系列のネットワーク伝送中に、データは破壊されている。破壊されてないデータブロック２１０は復号され表示される。符号化データブロックが破壊されたデータを含む場合、このデータブロックは復号できず、例えば黒ピクセルを含むボイドデータブロック２２０が表示される。この破壊データブロック２２０に続くデータブロックも復号できず、従ってボイドブロック２３０が表示される。復号処理は、前に説明したように、再同期マーカが見つかると再開する。例えば、図２Ａの場合には、次の再同期マーカは次のフレーム開始コードである。
【００１４】
図２Ｂには、図２Ａの復号フレームに対応する信頼性マップ２５０が示されている。この信頼性マップは、復号ビデオフレームと同じ大きさを有し、２つの異なる値、ピクセルが信頼できる場合“０”、そうでない場合に”１”、を持つことができるピクセルを具える。復号処理の開始時に、信頼性マップの全てのピクセルは０にセットされ、信頼できるとみなされる。信頼性マップは、ロスが検出されるまで不変のままとなる。ロスが検出されると、信頼性マップは次のように更新される。即ち、復号されなかったピクセルはすべて１にセットされる。これらの復号されなかったピクセルは、いくつかのビデオフレームが紛失した場合にはビデオフレーム全体になることも、紛失したデータブロックに対応するピクセルのみになることもある。
【００１５】
こうして、現ビデオフレームが復号されるたびに、復号化情報を用いて現信頼性マップが作成される。この現信頼性マップの作成が予測データブロックの場合について図３に示されている。各予測データブロック、即ち参照フレーム４１０内の参照データブロック４１１に対して予測される現フレーム４２０内のデータブロック４２１ごとに、対応する動きベクトル４３０を現信頼性マップに適用することによって（即ち動き補償処理を当業者に既知の原理に従って現データブロックに適用することによって）このデータブロック４２１のピクセルの信頼性値を得る。即ち、参照フレーム内の参照ピクセルが信頼できる場合には、対応する現ピクセルを信頼できる（“０”値）とし、そうでない場合は信頼できない（“１”値）とする。各イントラ符号化データブロック、即ち他のデータブロックを参照することなく予測されるデータブロックに対しては、このイントラ符号化データブロックが復号された場合は全ての信頼性値を“０”にセットし、そうでない場合は“１”にセットする。  
【００１６】
厳密に言えば、ビデオフレームは、このビデオフレームと関連する信頼性マップの１つのピクセルが０でない限り、破壊されている。しかし、上述の方法はピクセル単位で信頼性情報を提供する。従って、例えば破壊されたピクセルのパーセンテージに基づく段階的メトリックを定義することができる。このメトリックは、ビデオフレーム単位で、ビームフレームのグループ単位で、またはビデオフレームの系列全体に対して提供することができる。
【００１７】
本願発明の特定の応用分野はモバイルマルチメディアである。本願発明の方法によれば、マルチメディアストリーミングサービスを提供する電気通信オペレータは、ストリーミングセッション中におけるエンドユーザの実際のＱｏＥを監視することができる。メトリックにより与えられるコラプションの程度に基づいて、電気通信オペレータは顧客ケアポリシーの実現また請求戦略の適応が可能となる。オペレータは是正処置を講ずることもできる。例えば、電気通信オペレータ側のエンコーダは、メトリック値に応答して、現データブロックに続くデータブロックを参照データブロックを参照しないで符号化する（即ちイントラ符号化する）ことができる。
【００１８】
上述した実施例は本発明を限定するものでなく、当業者であれば本発明の範囲を逸脱することなく多くの変更例を設計することができる点に注意されたい。特許請求の範囲において、単語「具える」は、各請求項または明細書に記載された構成要素やステップ以外の素子やステップの存在を除外するものではない。また、各構成要素が複数存在することが特定されていなくても、複数存在することを除外するものではない。本発明はいくつかの個別の素子を具えるハードウエアによっても、適切にプログラムされたコンピュータによっても実現できる。いくつかの手段を列挙する装置請求項において、これらの手段のいくつかはハードウエアの同一の要素によって具体化してもよい。また、いくつかの手段が互いに異なる従属請求項に記載されているという単なる事実によって、これらの手段の組み合わせの使用が否定されるわけではない。
【図面の簡単な説明】
【００１９】
【図１】図１は符号化ビデオフレームの系列の一部分を示す図である。
【図２】図２Ａはネットワークで伝送中に破壊されたデータを含む復号ビデオフレームの構造を示す図、  図２Ｂは図２Ａの復号ビデオフレームに対応する本発明による信頼性マップを示す図である。
【図３】図３は予測データブロックの場合における信頼性マップの作成方法を示す図である。
【図１】
2008521268.tif 000003
【図２Ａ】
2008521268.tif 000004
【図２Ｂ】
2008521268.tif 000005
【図４】
2008521268.tif 000006
【手続補正書】
【提出日】平成19年6月18日(2007.6.18)
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】図３
【補正方法】追加
【補正の内容】
【図３】
2008521268.tif 000007
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】図４
【補正方法】削除
【補正の内容】
【国際調査報告】
2008521268.tif 000008
2008521268.tif 000009