(57)【要約】本発明は、ビットストリーム内の徐々に変化するトランジションを示すピクチャを検出する方法および装置を提供する。この方法は、符号化されたピクチャを含むビットストリームにアクセスするステップと、ビットストリームを画素情報の導出のために復号することなく、そのビットストリームからの情報を使用して、そのビットストリーム内の徐々に変化するトランジションを示すピクチャを判定するステップと、を含む。【選択図】図２
2015530034.tif 000002
【特許請求の範囲】
【請求項１】
符号化されたピクチャを含むビットストリームにアクセスするステップと、
ビットストリームを画素情報の導出のために復号することなく、該ビットストリームからの情報を使用して、該ビットストリーム内の徐々に変化するトランジションを示すピクチャを判定するステップと、
を含む方法。
【請求項２】
前記判定するステップは、前記ビットストリーム内の徐々に変化するトランジションを示すピクチャを、検出されるピクチャと該検出されるピクチャの周囲のピクチャにおける１組の連続するピクチャとのイントラ・マクロブロック（ＭＢ）比率の関数として判定することを含む、請求項１に記載の方法。
【請求項３】
前記判定するステップは、
前記検出されるピクチャのイントラ・マクロブロック比率が第１の閾値を超え、
前記第１の閾値を超えるイントラ・マクロブロック比率を有する前記ビットストリーム内の前記検出されるピクチャの周囲のフレームにおける１組の連続するピクチャの数が第２の閾値を超え、
前記１組の連続するピクチャの周囲のフレームにおける別の１組の連続するピクチャの平均イントラ・マクロブロック比率に対する前記１組の連続するピクチャの平均イントラ・マクロブロック比率の比率が第３の閾値を超える場合に、
前記ビットストリーム内の徐々に変化するトランジションを示すピクチャを判定する、請求項１に記載の方法。
【請求項４】
フレーム内のイントラ・マクロブロック比率は、フレーム内のマクロブロックの合計数に対するイントラ・モードのマクロブロックの数の比率である、請求項２または３に記載の方法。
【請求項５】
フレーム内のイントラ・マクロブロック比率は、フレーム内の受信、復号されたマクロブロックの合計数に対するイントラ・モードのマクロブロックの数の比率である、請求項２または３に記載の方法。
【請求項６】
前記第２の閾値が前記ビデオ・ビットストリームのフレーム・レートの関数として設定される、請求項３に記載の方法。
【請求項７】
符号化されたピクチャを含むビットストリームにアクセスする復号器と、
ビットストリームを画素情報の導出のために復号することなく、該ビットストリームからの情報を使用して、該ビットストリーム内の徐々に変化するトランジションを示すピクチャを判定する徐々に変化するトランジションを示すピクチャ検出器と、を含む装置。
【請求項８】
前記徐々に変化するトランジションを示すピクチャ検出器は、前記ビットストリーム内の徐々に変化するトランジションを示すピクチャを、検出されるピクチャと、当該検出されるピクチャの周囲のピクチャにおける１組の連続するピクチャとのイントラ・マクロブロック（ＭＢ）比率の関数として判定する、請求項７に記載の装置。
【請求項９】
前記徐々に変化するトランジションを示すピクチャ検出器は、
前記検出されるピクチャのイントラ・マクロブロック比率が第１の閾値を超え、
前記第１の閾値を超えるイントラ・マクロブロック比率を有する前記ビットストリーム内の前記検出されるピクチャの周囲のフレームにおける１組の連続するピクチャの数が第２の閾値を超え、
前記１組の連続するピクチャの周囲のフレームにおける別の１組の連続するピクチャの平均イントラ・マクロブロック比率に対する前記１組の連続するピクチャの平均イントラ・マクロブロック比率の比率が第３の閾値を超える場合に、
前記ビットストリーム内の徐々に変化するトランジションを示すピクチャを判定する、請求項７に記載の装置。
【請求項１０】
フレーム内のイントラ・マクロブロック比率は、フレーム内のマクロブロックの合計数に対するイントラ・モードのマクロブロックの数の比率である、請求項８または９に記載の装置。
【請求項１１】
フレーム内のイントラ・マクロブロック比率は、フレーム内の受信、復号されたマクロブロックの合計数に対するイントラ・モードのマクロブロックの数の比率である、請求項８または９に記載の装置。
【請求項１２】
前記第２の閾値が前記ビデオ・ビットストリームのフレーム・レートの関数として設定される、請求項９に記載の装置。
【請求項１３】
ピクチャに対するシーンカット・アーティファクトを、前記徐々に変化するトランジションを示すピクチャの検出器からの前記ピクチャに対する判定結果の関数として実行するシーンカット・アーティファクト検出器をさらに含む、請求項７に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的には、ビデオ品質の評価に関する。特に、本発明は、ビデオ・ビットストリーム内の徐々に変化するトランジションを示すピクチャを検出する方法および装置に関する。
【背景技術】
【０００２】
ビデオ品質の評価においては、場合によっては、ビデオ・ビットストリーム内のフレームが、徐々に変化するトランジション、例えば、フェードイン・ピクチャ、フェードアウト・ピクチャ、およびクロスフィールド・ピクチャを含むトランジションを示すピクチャであるかどうかを検出する必要がある。
【０００３】
徐々に変化するトランジションを示すピクチャを検出する従来の解決法は、画素領域で行われる。
【０００４】
しかしながら、アプリケーションのシナリオによっては、徐々に変化するトランジションを示すピクチャの検出のために画素情報を利用可能ではない。例えば、ＩＴＵ−ＴのＰ．ＮＢＡＭＳ（ビデオ・ストリーミングのパフォーマンスの評価のための非直感的なビットストリーム・モデル（Ｎｏｎ−ｉｎｔｒｕｓｉｖｅ  ｂｉｔｓｔｒｅａｍ  ｍｏｄｅｌ  ｆｏｒ  ｔｈｅ  ａｓｓｅｓｓｍｅｎｔ  ｏｆ  ｐｅｒｆｏｒｍａｎｃｅ  ｏｆ  ｖｉｄｅｏ  ｓｔｒｅａｍｉｎｇ））においては、ビデオ・ビットストリームを画素レベルに復号することなく、ビデオ・ビットストリームの品質がセットトップ・ボックスで評価される。この場合、ビデオ・ビットストリーム内の徐々に変化するトランジションを示すピクチャの検出は、圧縮されたビデオ・ビットストリームのレベルで行わなければならない。
【発明の概要】
【０００５】
従来技術の上述した問題に鑑み、本発明は、ビットストリームを画素に復号することなく、ビットストリームのレベルでビデオ・ビットストリーム内の徐々に変化するトランジションを示すピクチャを検出することを提案する。
【０００６】
本発明の発明者は、隣接するフレームのイントラ・マクロブロック（ＭＢ）比率よりも大きなイントラ・マクロブロック比率を有するビットストリーム内の１組の連続するフレームが、高確率で、徐々に変化するトランジションを示すピクチャの位置となることを見出した。この見出したことは、ビットストリームのレベルでの徐々に変化するトランジションを示すピクチャの検出の解決法を提案するのに役立つものである。
【０００７】
本発明の一態様によれば、ビットストリーム内の徐々に変化するトランジションを示すピクチャを検出する方法が提供される。この方法は、符号化されたピクチャを含むビットストリームにアクセスするステップと、そのビットストリームを画素情報の導出のために復号することなく、そのビットストリームからの情報を使用して、ビットストリーム内の徐々に変化するトランジションを示すピクチャを判定するステップと、を含む。
【０００８】
本発明の一態様によれば、ビットストリーム内の徐々に変化するトランジションを示すピクチャを検出する装置が提供される。この装置は、符号化されたピクチャを含むビットストリームにアクセスする復号器と、そのビットストリームを画素情報の導出のために復号することなく、そのビットストリームからの情報を使用して、ビットストリーム内の徐々に変化するトランジションを示すピクチャを判定する徐々に変化するトランジションを示すピクチャ検出器と、を含む。
【０００９】
本発明の更なる態様および利点は、本発明の以下の詳細な説明に記載されていることが理解できるであろう。
【００１０】
添付図面は、実施形態の原理を説明する記載と併せて、本発明の実施形態の理解を深めるために提供されているものである。本発明は、実施形態に限定されるものではない。
【図面の簡単な説明】
【００１１】
【図１】徐々に変化するトランジションを示すピクチャおよびそのピクチャのイントラ・マクロブロック（ＭＢ）比率を示す例示的な図である。
【図２】本発明の実施形態に係るビットストリーム内の徐々に変化するトランジションを示すピクチャを検出する方法を示すフローチャートである。
【図３】本発明の実施形態に係る徐々に変化するトランジションを示すピクチャを検出する例示的な処理を示すフローチャートである。
【図４】本発明の実施形態に係るビットストリーム内の徐々に変化するトランジションを示すピクチャを検出する方法を使用したビデオ品質モニタの例を示すブロック図である。
【発明を実施するための形態】
【００１２】
図面を参照して本発明の実施形態を詳細に説明する。以下の説明において、説明を簡潔にするために、公知の機能および構成については幾らかの詳細な説明を省略することがある。
【００１３】
図１は、徐々に変化するトランジションを示すピクチャおよびそのピクチャのイントラ・マクロブロック（ＭＢ）比率を示す例示的な図である。
【００１４】
図１に示されているように、縦軸は、フレームのイントラＭＢ比率を示している。フレームのイントラＭＢ比率は、フレーム内のＭＢの合計数に対するイントラ・モードのＭＢの数の比率として定義することができる。さらに、フレームのイントラＭＢ比率は、フレーム内の受信され、復号されたＭＢの合計数に対するイントラ・モードのＭＢの数の比率として定義することができる。図１に示された２９〜３３のインデックスが付けられたフレームは、徐々に変化するトランジションを示すピクチャである。これらの連続するフレームのイントラＭＢ比率は、周囲のフレームのＭＢ比率よりも大幅に高いことが分かるであろう。しかしながら、このことは、他よりも高いイントラＭＢ比率を有する幾つかの連続するフレームが存在する場合にのみに当てはまることに注意すべきである。１つのフレームのみが他よりも高いイントラＭＢ比率を有する場合には、そのフレームは、シーンの変更があれば、実際には、シーンカット・フレームである。上述した周囲のフレームについては、対象のフレームの前後の隣接するフレーム、または、連続するフレームであると理解することができる。
【００１５】
図２は、本発明の実施形態に係るビットストリーム内の徐々に変化するトランジションを示すピクチャを検出する方法を示すフローチャートである。
【００１６】
図２に示された方法２００においては、ビデオ・ビットストリームがステップ２１０において入力され、そのビデオ・ビットストリーム内の徐々に変化するトランジションを示すピクチャが検出される。
【００１７】
ステップ２２０において、検出されるピクチャのイントラＭＢ比率が所定の第１の閾値を超えているかどうかが判定される。ステップ２２０の判定結果が「いいえ」である場合には、制御がステップ２３０に受け渡され、ピクチャが徐々に変化するトランジションを示すピクチャでないと検出される。
【００１８】
ステップ２２０の判定結果が「はい」である場合には、制御がステップ２４０に受け渡され、検出されるピクチャの周囲のピクチャにおける第１の閾値を超えるイントラＭＢ比率を有する１組の連続するピクチャの数が所定の第２の閾値を超えているかどうかが判定される。ステップ２４０の判定結果が「いいえ」である場合には、制御がステップ２３０に受け渡され、ピクチャが徐々に変化するトランジションを示すピクチャでないと検出される。
【００１９】
ステップ２４０の判定結果が「はい」である場合には、制御がステップ２５０に受け渡され、上記１組の連続するピクチャの周囲のピクチャにおける別の１組の連続するピクチャの平均イントラＭＢ比率に対する上記１組の連続するピクチャの平均イントラＭＢ比率の比率が第３の所定の閾値を超えているかどうかが判定される。ステップ２５０の判定結果が「いいえ」である場合には、制御がステップ２３０に受け渡され、ピクチャが徐々に変化するトランジションを示すピクチャでないと検出される。
【００２０】
ステップ２５０の判定結果が「はい」である場合には、ステップ２６０において、ピクチャが徐々に変化するトランジションを示すピクチャであると検出される。
【００２１】
上述した徐々に変化するトランジションを示すピクチャを検出する方法の１つの適用例は、シーンカット・アーティファクト検出の場合である。ビデオ・ビットストリーム内の２つの隣接するピクチャの間に有意なシーンの変更が存在し、第２のピクチャにパケット損失がある場合には、隠蔽された第２のピクチャは、非常に強い視認可能なアーティファクトを有することが理解できるであろう。これらのアーティファクトは、シーンカット・アーティファクトと呼ばれる。通常、シーンカット・アーティファクトの検出は、ビットストリームのビデオ品質の評価に必要である。しかしながら、パケット損失が徐々に変化するトランジションを示すピクチャに発生している場合には、エラーの隠蔽されたピクチャにおけるアーティファクトが、視認しづらくなり、このことがシーンカット・アーティファクトに対して大変有効であることが分かった。したがって、シーンカットの候補となるピクチャが徐々に変化するトランジションを示すピクチャであることを前もって判定できれば、この候補となるピクチャのシーンカット・アーティファクトをさらに検出する必要がない。
【００２２】
図３は、本発明の実施形態に係る徐々に変化するトランジションを検出する方法を実施する例示的な処理を示すフローチャートである。
【００２３】
図３に示されているように、ビデオ・ビットストリームが入力され、ビットストリーム内の徐々に変化するトランジションを示すピクチャが検出される。
【００２４】
ステップ３００１において、他よりも大きなイントラＭＢ比率を有する１組の連続するフレームに対するカウンタｃｎｔ＿ｓｈｏｒｔが初期化される。即ち、ｃｎｔ＿ｓｈｏｒｔ＝０となる。
【００２５】
ステップ３００２において、検出されるフレーム（以下、現在のフレームと称する。）のイントラＭＢ比率が第１の閾値ＩＮＴＲＡ＿ＴＨＲＤＬＯＷを超えているかどうかが判定される。例えば、第１の閾値ＩＮＴＲＡ＿ＴＨＲＤＬＯＷは、０．３または０．４に設定される。現在のフレームのイントラＭＢ比率が第１の閾値ＩＮＴＲＡ＿ＴＨＲＤＬＯＷを超えていない場合には、現在のフレームは、徐々に変化するトランジションを示すピクチャでないと決定される。制御がステップ３０１０に受け渡され、ビデオ・ビットストリームの全てのフレームの位置が処理されているかどうかが判定される。
【００２６】
現在のフレームのイントラＭＢ比率が第１の閾値ＩＮＴＲＡ＿ＴＨＲＤＬＯＷを超えている場合には、制御がステップ３００３に受け渡され、カウンタｃｎｔ＿ｓｈｏｒｔの値が１だけ増加され、ｆａｄｅｉｎｔｒａによって示される変数にイントラ比率の値が記録される。
【００２７】
次のステップ３００４において、２＊ｗｉｎ＿ｓｈｏｒｔ＊ｆｒａｍｅ＿ｒａｔｅのフレーム長の短いウインドウ内の現在のフレームの周囲のフレームに存在するＩＮＴＲＡ＿ＴＨＲＤＬＯＷを超えるイントラＭＢ比率を有する連続するフレームの個数が計算され、これに応じてカウンタｃｎｔ＿ｓｈｏｒｔの値が増加される。例えば、ｗｉｎ＿ｓｈｏｒｔは、０．５ｓ（０．５秒）に設定される。この１組の連続するフレームは、候補となる徐々に変化するトランジションを示すフレームとして選択することができる。
【００２８】
ステップ３００５において、カウンタｃｎｔ＿ｓｈｏｒｔの値が第２の閾値ＴＨＤ＿ＦＡＤＥＰＩＣＳ未満であるかどうかが判定される。第２の閾値ＴＨＤ＿ＦＡＤＥＰＩＣＳは、ビットストリームのフレーム・レートの関数として、例えば、ｆｒａｍｅ＿ｒａｔｅ＊ｔとして設定することができる。例えば、ｔ＝０．１ｓであり、これは、０．１秒に対応する。第２の閾値が２未満となるべきでないことが理解できよう。この理由は、第２の閾値が２未満であると、フレームが実際には、潜在的なシーンカット・フレームとなるからである。
【００２９】
ｃｎｔ＿ｓｈｏｒｔが第２の閾値ＴＨＤ＿ＦＡＤＥＰＩＣＳ未満である場合には、現在のフレームが徐々に変化するトランジションを示すピクチャでないと判定される。この理由は、徐々に変化するトランジションを示すコンテンツが徐々に変化するトランジションを示すピクチャと見えるには一般的に時間を要するからである。そして、制御がステップ３０１０に受け渡され、ビデオ・ビットストリームの全てのフレームの位置が処理されているかどうかが判定される。
【００３０】
ｃｎｔ＿ｓｈｏｒｔが第２の閾値ＴＨＤ＿ＦＡＤＥＰＩＣＳを超えている場合には、制御がステップ３００６に受け渡され、候補となる徐々に変化するトランジションを示すフレームの平均イントラＭＢ比率、即ち、ｆａｄｅｉｎｔｒａ/＝ｃｎｔが計算される。
【００３１】
次のステップ３００７において、２＊ｗｉｎ＿ｌｏｎｇのフレーム長のより長いウインドウにおける周囲のフレーム内の別の１組のフレーム（候補となる徐々に変化するトランジションを示すフレームを除く）の平均イントラＭＢ比率ｆａｄｅａｖｇが計算される。一例においては、ｗｉｎ＿ｌｏｎｇは、１．５ｓ（１．５秒）に設定される。なお、ビデオの機能に適応した符号化器の選択よりもむしろ、所定のＧＯＰの開始でＩフレームが使用されるため、好ましくは、ステップ３００７において、周囲のフレーム内のＰフレームの平均イントラＭＢ比率を計算する点に注意すべきである。
【００３２】
次のステップ３００８において、別の１組のフレームの平均ＭＢ比率に対する徐々に変化するトランジションを示すフレームの候補の平均イントラＭＢ比率の比率、ｆａｄｅｉｎｔｒａ／ｆａｄｅａｖｇが第３の閾値ＴＨＤ＿ＦＡＤＥＲＡＴＩＯを超えているかどうかが判定される。例えば、第３の閾値ＴＨＤ＿ＦＡＤＥＲＡＴＩＯを３に設定することができる。
【００３３】
上記比率、ｆａｄｅｉｎｔｒａ/ｆａｄｅａｖｇが第３の閾値ＴＨＤ＿ＦＡＤＥＲＡＴＩＯを超えていない場合には、制御がステップ３０１０に受け渡され、ビデオ・ビットストリームの全てのフレームの位置が処理されているかどうかが判定される。
【００３４】
上記比率、ｆａｄｅｉｎｔｒａ/ｆａｄｅａｖｇが第３の閾値ＴＨＤ＿ＦＡＤＥＲＡＴＩＯを超えている場合には、制御がステップ３００９に受け渡され、現在のフレームが徐々に変化するトランジションを示すピクチャとして判定、マークされる。図３に示されているように、徐々に変化するトランジションを示すピクチャは、ｂ＿ｆａｄｅ＿ｐｉｃ
＝ ｔｒｕｅによってマークされている／示されている。
【００３５】
ステップ３０１０において、ビデオ・ビットストリームの全てのフレームの位置が処理されているかどうかが判定される。判定結果が「いいえ」である場合には、制御がステップ３００１に戻る。結果が「はい」である場合には、制御がステップ３０９９に受け渡される。
【００３６】
上述した処理の擬似コードは、以下の通りである。
2015530034.tif 000003
/＊より大きなイントラ比率を有する連続するフレームが潜在的なフェードインおよびフィードアウトの位置である＊／
2015530034.tif 000004
2015530034.tif 000005
/＊潜在的な徐々に変化するトランジションを示すピクチャの平均イントラＭＢ比率は、長いウインドウにおける平均イントラＭＢ比率よりも大幅に大きくなる＊／
2015530034.tif 000006
2015530034.tif 000007
【００３７】
図４は、本発明の実施形態に従ったビットストリーム内の徐々に変化するトランジションを示すピクチャを検出する方法を使用したビデオ品質モニタ４００の例を示すブロック図である。
【００３８】
ビデオ品質モニタ４００に対する入力には、ビットストリームを含むトランスポート・ストリームが含まれることがある。この入力は、ビットストリームを含む他のフォーマットであることもある。
【００３９】
デマルチプレクサ４０１は、ビットストリームから、パケット・レイヤ情報、例えば、パケット数、バイト数、フレーム・サイズを取得する。
【００４０】
復号器４０２は、入力ストリームを解析し、さらなる情報、例えば、フレーム・タイプ、予測残差、および、動きベクトルを取得する。復号器４０２は、ピクチャを再構築することもあるし、ピクチャを再構築しないこともある。他の実施形態においては、復号器は、デマルチプレクサの機能を実行することがある。
【００４１】
徐々に変化するトランジションを示すピクチャの検出器４０３は、トランスポート・ストリーム内のフレームが徐々に変化するトランジションを示すピクチャであるかどうかを検出する。図２を参照して説明される方法２００および図３を参照して説明される特定の処理が徐々に変化するトランジションを示すピクチャの検出器４０３によって使用されることがある。
【００４２】
徐々に変化するトランジションを示すピクチャの検出器４０３の検出結果を、ビデオ品質モニタ４００のシーンカット・アーティファクト検出器４０４に供給することができる。上述したように、徐々に変化するトランジションを示すピクチャとして判定されるトランスポート・ストリーム内のフレームは、シーンカット・アーティファクト検出のための候補フレームとしては選択されない。
【００４３】
マクロブロック・レベルでシーンカット・アーティファクトが検出された後、品質予測器４０５は、アーティファクトを品質スコアにマッピングする。品質予測器４０５は、他のタイプのアーティファクトを考慮してもよく、さらに、エラー伝搬によって生じたアーティファクトを考慮することができる。
【００４４】
ビデオ品質モニタ４００は、コンテンツ・クリエータ、コンテンツ配信者、または、ユーザ装置によって使用されることがある。いずれのアプリケーションにおいても、ビデオ品質モニタ４００によって提供される品質の尺度を様々なビデオ・パラメータおよびエラー隠蔽技術に適応させるために使用して、ビデオ品質を向上させることができる。
【００４５】
本発明は、ハードウエア、ソフトウエア、ファームウエア、特定用途プロセッサ、またはこれらを組み合わせた様々な形態で実施可能であることが理解できよう。
【００４６】
さらに、添付図面に描かれたシステムの構成要素および方法ステップの幾つかは、好ましくは、ソフトウエアの形態によって実施されるため、システムの構成要素（または処理ステップ）間の実際の接続は、本発明がプログラムされる方法によって異なる場合があることが理解できよう。本明細書の開示する内容に基づいて、関連する技術に関して通常の技術を有するものであれば、本発明の実施態様または構成、さらに、類似する実施態様または構成を企図することができるであろう。
【図１】
2015530034.tif 000008
【図２】
2015530034.tif 000009
【図３】
2015530034.tif 000010
【図４】
2015530034.tif 000011
【国際調査報告】
2015530034.tif 000012
2015530034.tif 000013