(57)【要約】【課題】第１の符号化フォーマットの入力ビデオを第２の符号化フォーマットの出力ビデオにトランスコードする方法を説明する。【解決手段】ビデオはセグメントのセットを含み、各セグメントはフレームを含む。まず、本方法は、入力ビデオ内の、ダウンサンプリングに対して回復力があるセグメントのセット及びフル解像度のセグメントのセットを求める。次に、本方法は、ダウンサンプリングに対して回復力があるセグメントのセットをダウンサンプリングして、ダウンサンプリングされたセグメントのセットを生成する。そして、本方法は、フル解像度のセグメントのセット及びダウンサンプリングされたセグメントのセットを使用して入力ビデオをトランスコードして、異なる解像度を有する少なくとも２つのセグメントを含む出力ビデオを生成する。【選択図】図１
2010233220.tif 000002
【特許請求の範囲】
【請求項１】
第１の符号化フォーマットの入力ビデオを第２の符号化フォーマットの出力ビデオにトランスコードする方法であって、前記ビデオはセグメントのセットを含み、各セグメントは少なくとも１つのフレームを含み、前記方法は、コンピュータによって実行され、
前記入力ビデオ内の、ダウンサンプリングに対して回復力があるセグメントのセットを求めるステップと、
前記ダウンサンプリングに対して回復力があるセグメントのセットを適応的にダウンサンプリングして、ダウンサンプリングされたセグメントのセットを生成するステップと、
前記ダウンサンプリングされたセグメントのセットを使用して前記入力ビデオをトランスコードして、異なる解像度を有する少なくとも２つのセグメントを含む前記出力ビデオを生成するステップと
を含む、第１の符号化フォーマットの入力ビデオを第２の符号化フォーマットの出力ビデオにトランスコードする方法。
【請求項２】
前記求めるステップは、
ダウンサンプリング動作及びアップサンプリング動作によって前記入力ビデオのセグメントを変更して、基準信号を生成すること、
前記セグメントと前記基準信号との間の差分を測定すること、並びに
前記差分及び閾値に基づいて、前記セグメントを、前記ダウンサンプリングに対して回復力があるセグメントとして選択することをさらに含む
請求項１記載の方法。
【請求項３】
前記求めるステップは、
前記セグメントの動きベクトルを所定の閾値と比較した結果に基づいて、前記セグメントを、前記ダウンサンプリングに対して回復力があるセグメントとして選択することをさらに含む
請求項１記載の方法。
【請求項４】
前記セグメントから抽出される離散コサイン変換係数を閾値と比較するステップと、
前記比較に基づいて、前記セグメントを、前記ダウンサンプリングに対して回復力があるセグメントとして選択するステップとをさらに含む
請求項１記載の方法。
【請求項５】
前記ダウンサンプリングに対して回復力があるセグメントのセット内の各セグメントを、垂直倍率及び水平倍率に関連付けて、両方の倍率の値に従って前記ダウンサンプリングが実施されるようにするステップをさらに含む
請求項１記載の方法。
【請求項６】
前記垂直倍率は１に等しく、前記水平倍率は１よりも大きい
請求項５記載の方法。
【請求項７】
前記水平倍率は１に等しく、前記垂直倍率は１よりも大きい
請求項５記載の方法。
【請求項８】
前記水平倍率は前記垂直倍率に等しい
請求項５記載の方法。
【請求項９】
前記水平倍率は前記垂直倍率と異なる
請求項５記載の方法。
【請求項１０】
前記セグメントのセット内の各セグメントは一定の解像度を有する
請求項１記載の方法。
【請求項１１】
前記入力ビデオ内のフル解像度のセグメントのセットを求めるステップをさらに含み、
前記入力ビデオをトランスコーディングするステップは、前記フル解像度のセグメントのセットをさらに使用している
請求項１記載の方法。
【請求項１２】
前記入力ビデオをトランスコードするステップは、トランスコーディングのモードに従って実施される
請求項１記載の方法。
【請求項１３】
前記トランスコーディングのモードは瞬時モードであり、前記ダウンサンプリングされるセグメントが、現在の入力フレームの特徴に基づいて、前記ダウンサンプリング後に即座にトランスコードされるようになっている
請求項１２記載の方法。
【請求項１４】
前記トランスコーディングのモードは予測モードであり、
前記求めるステップは、
前記セグメントのセット内の現在のセグメントの特徴を測定すること、及び
前記特徴に基づいて、次のセグメントを選択して、前記ダウンサンプリングに対して回復力があるセグメントのセット内に入れることをさらに含む
請求項１２記載の方法。
【請求項１５】
各セグメントはピクチャグループのためのフレームを含み、前記トランスコーディングのモードは遅延モードであり、前記求めるステップは、前記フレームの特徴を使用する
請求項１２記載の方法。
【請求項１６】
入力ビデオ内の、ダウンサンプリングに対して回復力があるセグメントのセットを求めるように構成される適応解像度選択器と、
前記ダウンサンプリングに対して回復力があるセグメントのセットを適応的にダウンサンプリングして、ダウンサンプリングされたセグメントのセットを生成するように構成されるダウンサンプリングモジュールと、
前記適応的にダウンサンプリングされたセグメントのセットを使用して前記入力ビデオをトランスコードして、異なる解像度の少なくとも２つのセグメントを有する出力ビデオを生成するように構成されるトランスコーディングモジュールと
を備える適応ビデオトランスコーダ。
【請求項１７】
前記適応解像度選択器は、前記ダウンサンプリングに対して回復力があるセグメントのセット内のセグメント毎に垂直倍率及び水平倍率を求めるようにさらに構成され、
前記ダウンサンプリングモジュールは、両方の倍率に従ってダウンサンプリングを行うようにさらに構成される
請求項１６記載の適応ビデオトランスコーダ。
【請求項１８】
第１の符号化フォーマットの入力ビデオを第２の符号化フォーマットの出力ビデオに適応ビデオトランスコードする方法であって、前記入力ビデオの各セグメントは一定の解像度を有し、前記方法は、コンピュータによって実行され、
前記入力ビデオ内の、ダウンサンプリングに対して回復力があるセグメントのセットを求めるステップと、
前記出力ビデオ内の、ダウンサンプリングに対して回復力があるセグメントのセットのみの解像度が低減されるように、前記入力ビデオを前記出力ビデオにトランスコードするステップと
を含む、第１の符号化フォーマットの入力ビデオを第２の符号化フォーマットの出力ビデオに適応ビデオトランスコードする方法。
【請求項１９】
前記トランスコードするステップは、
ダウンサンプリング及びアップサンプリングによって前記入力ビデオのセグメントを変更して、基準信号を生成すること、
前記入力ビデオのセグメントを前記基準信号と比較して、倍率を求めること、及び
前記倍率に従って前記入力ビデオの前記セグメントをダウンサンプリングすることをさらに含む
請求項１８記載の方法。
【請求項２０】
前記入力ビデオは前記ビデオのセグメントのビットストリーム情報を含み、
前記セグメントのビットストリーム情報に基づいて倍率を求めるステップと、
前記倍率に従って前記セグメントをダウンサンプリングするステップとをさらに含む
請求項１８記載の方法。
【請求項２１】
前記ビットストリーム情報は水平動きベクトル及び垂直動きベクトルを含み、
前記倍率は水平倍率及び垂直倍率を含み、
前記水平動きベクトルの大きさを水平閾値と比較して、前記水平倍率を求めるステップと、
前記垂直動きベクトルの大きさを垂直閾値と比較して、前記垂直倍率を求めるステップとをさらに含む
請求項２０記載の方法。
【請求項２２】
前記水平閾値は、水平閾値のセットの一部であり、前記垂直閾値は垂直閾値のセットの一部であり、各水平閾値及び各垂直閾値は、それぞれ特定の水平倍率及び垂直倍率に対応する
請求項２１記載の方法。
【請求項２３】
前記ビットストリーム情報は離散コサイン変換係数を含み、
前記倍率を求めるステップは、前記離散コサイン変換係数に基づく
請求項２０記載の方法。
【請求項２４】
前記第２の符号化フォーマットはＨ．２６４／ＡＶＣである
請求項１８記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、包括的にはビデオ処理に関し、より詳細には適応ビデオトランスコーディングに関するものである。
【背景技術】
【０００２】
トランスコーディングは、１つの符号化ビデオから別の符号化ビデオへのデジタル対デジタル変換である。ビデオトランスコーディング方法は、デジタルビデオ、すなわちビットストリームを、第１の符号化フォーマットから第２の符号化フォーマットに変換する。第２のフォーマットは、ストレージ要件及び伝送要件が低減されることのようなさらなる利点を提供することができる。たとえば、ビデオレコーダは、ビデオトランスコーディングを使用して、ＭＰＥＧ−２フォーマットのビデオをＨ．２６４／ＡＶＣフォーマットに変換して、Ｈ．２６４／ＡＶＣフォーマットの改良された圧縮効率を利用することができる。
【０００３】
通常、トランスコーダは、エンコーダに接続されているデコーダを備える。たとえば、ＭＰＥＧ−２デコーダをＨ．２６４／ＡＶＣエンコーダに接続することで基準トランスコーダが形成される。基準トランスコーダは、Ｈ．２６４／ＡＶＣエンコーダにおいて動き推定を実施する必要があることから、計算上複雑である。基準トランスコーダの計算量は、入力ＭＰＥＧ−２ビデオビットストリームからの動き情報及びモード情報を再利用することによって低減することができる。しかしながら、このような情報を、最も費用効率が良く且つ有用な方法で再利用することは、既知の課題である。
【０００４】
基準ＭＰＥＧ−２対Ｈ．２６４／ＡＶＣトランスコーダの計算量を低減するために、トランスコーディング中の、動きベクトルのマッピング又は解像度の低減、すなわちダウンサンプリングのような方法が説明されてきた。
【０００５】
従来のビデオトランスコーダにおいて、ビデオデータは通常、量子化器によって部分的に変換される。精密な量子化器は、高いビットレート又はストレージ要件を有する高品質の圧縮ビデオを生成する。粗い量子化器は、ストレージ要件が低減された低品質の圧縮ビデオを生成する。
【０００６】
エンコーダ又はトランスコーダの性能は、所与のビットレートに対して、トランスコーディング動作前にビデオフレームの解像度を低減し、その後、その符号化ビデオを復号した後に解像度を増加させることによって改善することができる。ビデオの解像度が低減されているため、所与のビットレートに対してより精密な量子化器を使用することができる。
【０００７】
しかしながら、解像度と量子化器雑音との間のトレードオフは、ビデオ品質の低減につながる場合がある。ビデオにおける精密な細部がダウンサンプリングによってぼやけ、非常に精密な量子化器が使用された場合であっても、復号及びアップサンプリングされた後、ビデオ内に目に見えるアーチファクトが現れるまでになる場合がある。
【０００８】
従来のトランスコーディング方法は、トランスコーディング動作の前にビデオの解像度を低減するか、又はフル解像度のビデオを符号化するかのいずれかであり、前者は後に復号されるビデオの品質を低下させ、後者はトランスコーディング動作の計算量を増大させる。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
後に復号されるビデオの品質を低下させることなく、ビデオトランスコーディング動作の計算量を低減することが望まれている。
【課題を解決するための手段】
【００１０】
本発明の目的は、後に復号されるビデオの品質を低下させることなくビデオトランスコーディングの計算量を低減する方法を提供することである。
【００１１】
本発明のさらなる目的は、ビデオのコンテンツに基づいて、フル解像度トランスコーディングと、解像度低減トランスコーディングとの間で適応的に切り換えることを可能にする方法を提供することである。
【００１２】
本発明の実施の形態は、ビデオの異なるセグメントは、ダウンサンプリング動作に対して、同じビデオの他のセグメントとは異なる感度を有するという認識に基づくものである。したがって、トランスコーディングの前に、ビデオの、ダウンサンプリングに対して回復力のあるセグメントのみにダウンサンプリングを行うことによって、ビデオトランスコーディング全体の計算量を、後に復号及びアップサンプリングされるビデオの品質を低下させることなく低減させることができる。さらに、ビデオの、ダウンサンプリングに対して回復力のあるセグメントは、ビデオ自体のコンテンツに基づいて選択され、それによって、該ビデオのコンテンツに基づいて、フル解像度トランスコーディングと、解像度低減トランスコーディングとの間で適応的に切り換えることが可能になる。
【００１３】
本発明の１つの実施の形態は、第１の符号化フォーマットの入力ビデオを第２の符号化フォーマットの出力ビデオにトランスコードする方法であって、ビデオはセグメントのセットを含み、各セグメントはフレームを含み、該方法は、コンピュータによって実行され、該方法は、
入力ビデオ内の、ダウンサンプリングに対して回復力があるセグメントのセットを求めるステップと、
入力ビデオ内のフル解像度のセグメントのセットを求めるステップと、
ダウンサンプリングに対して回復力があるセグメントのセットをダウンサンプリングするステップであって、ダウンサンプリングされたセグメントのセットを生成する、ダウンサンプリングするステップと、
フル解像度のセグメントのセット及びダウンサンプリングされたセグメントのセットを使用して入力ビデオをトランスコードするステップであって、異なる解像度を有する少なくとも２つのセグメントを含む出力ビデオを生成する、トランスコードするステップと、
を含む、方法を説明する。
【００１４】
別の実施の形態は、適応ビデオトランスコーダであって、
入力ビデオ内の、ダウンサンプリングに対して回復力があるセグメントのセット及びフル解像度のセグメントのセットを求めるように構成される適応解像度選択器と、
ダウンサンプリングに対して回復力があるセグメントのセットをダウンサンプリングして、ダウンサンプリングされたセグメントのセットを生成するように構成されるダウンサンプリングモジュールと、
ダウンサンプリングされたセグメントのセット及びフル解像度のセグメントのセットを使用して入力ビデオをトランスコードして、異なる解像度の少なくとも２つのセグメントを有する出力ビデオを生成するように構成されるトランスコーディングモジュールと、
を備える、適応ビデオトランスコーダを説明する。
【００１５】
さらに別の実施の形態は、第１の符号化フォーマットの入力ビデオを第２の符号化フォーマットの出力ビデオに適応ビデオトランスコードする方法であって、入力ビデオの各セグメントは一定の解像度を有し、該方法は、コンピュータによって実行され、該方法は、
入力ビデオ内の、ダウンサンプリングに対して回復力があるセグメントのセットを求めるステップと、
出力ビデオ内の、ダウンサンプリングに対して回復力があるセグメントのセットのみの解像度が低減されるように、入力ビデオを出力ビデオにトランスコードするステップと、
を含む、方法を説明する。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施の形態による、ビデオのコンテンツに基づいてビデオを適応的にトランスコードする方法及びシステムのブロック図である。
【図２】本発明の一実施の形態による、フル解像度のビデオの品質測定法に基づいてビデオを適応的にトランスコードする方法のブロック図である。
【図３】本発明の一実施の形態による、ビットストリーム情報に基づいてビデオを適応的にトランスコードする方法のブロック図である。
【図４】本発明の一実施の形態による適応解像度トランスコーダのブロック図である。
【図５】本発明の一実施の形態による、品質測定法に基づく適応解像度トランスコーダのブロック図である。
【図６】本発明の一実施の形態による、圧縮データに基づく適応解像度トランスコーダのブロック図である。
【発明を実施するための形態】
【００１７】
図１は、本発明の実施の形態による、入力ビデオ１１０を適応的にトランスコードして（１００）、出力ビデオ１３１を生成する方法及びシステム１００を示している。トランスコーディングはビデオのコンテンツに基づく。ビデオはフレーム１２０を含む。ビデオ１１０はセグメントのセット１１５、たとえばセグメント１１７に分割される。セグメント１１７は１つ又は複数のフレーム１２０を含むことができる。
【００１８】
ビデオのセグメント１１７のコンテンツ１４０を分析し（１５０）、該コンテンツを所定の閾値１７０と比較して、セグメントがダウンサンプリングに対して回復力があるか否か（１５５）を判断する。
【００１９】
本明細書及び添付の特許請求の範囲のために、本明細書において定義するように、ビデオの、ダウンサンプリングに対して回復力があるセグメントとは、ダウンサンプリング及びトランスコードされた後、復号されたセグメントの解像度及び品質が、ダウンサンプリング及びトランスコーディングを行う前の該ダウンサンプリングに対して回復力があるセグメントの解像度及び品質とほぼ等しくなるように、復号及びアップサンプリングすることができるセグメントである。
【００２０】
セグメント１１７がダウンサンプリングに対して回復力があるセグメントである場合、セグメント１１７のダウンサンプリングされたバージョン１６０がエンコーダ１３０に送信される。そうでない場合、セグメント１１７のフル解像度バージョン１６５がエンコーダ１３０に送信される。方法１００はビデオの全てのセグメント１１７について反復される。
【００２１】
フル解像度セグメントのセット及びダウンサンプリングされたセグメントのセットを使用して入力ビデオをトランスコードして、第２の符号化フォーマットの出力ビデオを生成する。出力ビデオは、異なる解像度を有する少なくとも２つのセグメントを含む。
【００２２】
ビデオのコンテンツをセグメント毎に分析して、特定のセグメントがダウンサンプリングに対して回復力があるか否かを判断する。１つの実施の形態は、フル解像度のビデオ１４４に基づいてセグメント１１７を分析する（１５０）。代替的な一実施の形態は、符号化ビデオから取り出されるビットストリーム情報１４６を分析する。
【００２３】
図２は、入力ビデオ１１０から復号されるフル解像度のビデオの品質測定法に基づいて、ダウンサンプリングに対して回復力があるセグメント２７０を求める方法２００を示している。ビデオのフル解像度セグメント１６５を、まずダウンサンプリングし（２２０）、次にアップサンプリングして（２３０）、基準信号２３５の解像度がセグメント１６５の解像度と等しくなるような基準信号２３５を生成する。基準信号２３５とフル解像度セグメント１６５との間の差分を測定し（２４０）、測定結果２４５を所定の閾値２５０と比較して（２６０）、セグメントを、ダウンサンプリングに対して回復力があるセグメント２７０として特定する。
【００２４】
閾値２５０は、１つの閾値、又は水平ダウンサンプリング及び垂直ダウンサンプリングそれぞれのための別個の閾値を含むことができる。さらに、ダウンサンプリング２２０のための水平倍率及び垂直倍率を変化させることによって、最適なダウンサンプリングパラメータを求めることができる。
【００２５】
差分の測定は、基準信号２３５と入力ビデオ１１０との間の平均二乗誤差（ＭＳＥ）、又は測定に関する平均絶対誤差とすることができる。
【００２６】
図３は、符号化ビデオ１１０、たとえばセグメント３１０のセグメントのセット１１５から取り出されるビットストリーム情報３４０に基づいて、ダウンサンプリングに対して回復力があるセグメントを求める方法３００を示している。ビットストリーム情報３４０の例は、動きベクトル３２０と、離散コサイン変換（ＤＣＴ）係数３３０とを含むがこれらに限定されない。
【００２７】
符号化ビデオから抽出されるＤＣＴ係数を分析することによって、セグメント３１０がダウンサンプリングに対して回復力があるか否かを判断することができる。入力ビットストリームからの高周波数成分のほとんどがゼロである場合、通常、セグメント内に存在する精密な細部又は鋭いエッジの数はわずかであり、該セグメントがダウンサンプリングに対して回復力がある可能性がより高い。
【００２８】
したがって、動きベクトル３２０又はＤＣＴ係数３３０のようなビットストリーム情報３４０を閾値３５０と比較する（３６０）ことによって、セグメント３１０がダウンサンプリングに対して回復力があるセグメントであるか否かを判断する。さらに、多様な閾値３５０、たとえば異なる複数の大きさの垂直ダウンサンプリング及び水平ダウンサンプリングのための閾値を使用することによって、後続のダウンサンプリングのための倍率３７０を求めることができる。たとえば、垂直動きベクトル及び水平動きベクトルの双方の大きさが所定の垂直閾値及び水平閾値未満である場合、垂直倍率及び水平倍率の双方が１となり、すなわち、セグメント３１０はダウンサンプリングに対して回復力がない。
【００２９】
垂直動きベクトルの大きさが垂直倍率２の閾値よりも大きいが、垂直倍率３の閾値よりも小さい場合、垂直倍率は２となる。同様に、水平倍率を、水平動きベクトルの大きさを複数の水平閾値と比較することによって求める。通常、倍率は２の累乗の大きさ、たとえば１、２、４、８を有する。
【００３０】
水平倍率は、垂直倍率と等しい必要はない。さらに、１つの実施の形態では、水平閾値は水平閾値のセットの一部であり、垂直閾値は垂直閾値のセットの一部であり、各水平閾値及び各垂直閾値は、それぞれ特定の水平倍率及び垂直倍率に対応する。
【００３１】
例
図４は、本発明の１つの実施の形態によるトランスコーダを示している。入力ビデオビットストリーム１１０は、ビデオデコーダ４２０によって処理されて、フル解像度のビデオ４２５、並びに動きベクトル４１５及び符号化モード４１７を含むマクロブロック情報が生成される。
【００３２】
適応解像度選択器４３０は、ビデオデコーダ４２０の出力に従って、水平方向及び垂直方向の双方に対する解像度倍率対（ｓｘ，ｓｙ）４３５を求める。適応解像度選択器４３０は、システムがフル解像度のビデオ４２５をトランスコードするか、又は解像度が低減されたビデオ４４５をトランスコードするかを判断すると共に、ダウンサンプリング４４０の各次元における倍率を決定する。たとえば、解像度倍率（１，１）はフル解像度トランスコーディングを意味し、解像度倍率（２，１）は、２倍の水平ダウンサンプリングを行い、垂直方向においてはダウンサンプリングを行わないことを意味する。倍率は、他の値、たとえば３、４、３．５を有することができる。ビデオ４４５の解像度は、時間と共に適応的に変化することができる。
【００３３】
空間解像度は、ビットストリーム内の或る点において示される。たとえば、Ｈ．２６４／ＡＶＣ符号化フォーマットにおいて、符号化されたビデオシーケンスにおけるフレームの空間解像度は、瞬時復号更新（ＩＤＲ）画像において変化してもよい。符号化されたビデオシーケンスにおけるフレームの新たな空間解像度は、ＩＤＲアクセスユニットの一部として、シーケンスパラメータセット（ＳＰＳ）構文によって示される。同様に、ＭＰＥＧ２符号化フォーマットにおいて、空間解像度における変化は、シーケンスヘッダ内で示すことができる。
【００３４】
トランスコーダが現在のフレームの空間解像度と後続のフレームの空間解像度とを適合させる場合、システムは、Ｈ．２６４／ＡＶＣの場合に次のＩＤＲアクセスユニットまで待機するか、若しくはＭＰＥＧ−２の場合にシーケンスヘッダまで待機するか、又は、変更が即座に発効するようにフレームをトランスコードすることができる。フレーム又はピクチャグループ（ＧＯＰ）に関する決定は、前のフレーム及び後続のフレームの双方を含む幾つかのフレームに対する解像度選択の集合的なセットに基づいて行うこともできる。
【００３５】
解像度低減が選択される場合、フル解像度のビデオ４２５を、解像度倍率４３５によってダウンサンプリングする（４４０）。ビデオデコーダの出力を使用して解像度倍率に従って動きベクトルマッピングを実施することによって、マッピングされた動きベクトル４１５がもたらされる。ビデオデコーダの出力を使用して解像度倍率に従って量子化器選択及びモード選択も実施することによって、出力量子化器及び出力符号化モード４１７がもたらされる。
【００３６】
ビデオエンコーダは、マッピングされた動きベクトル、出力量子化器、及び出力符号化モードに従って、フル解像度のビデオ又は解像度が低減されたビデオのいずれかを符号化し（４５０）、トランスコードされた出力ビットストリーム４６０を生成する。
【００３７】
セグメント品質に基づく適応解像度選択
図５は、本発明の一実施の形態による、フレーム品質測定法に基づく適応解像度トランスコーダを示している。フレーム又はフィールドとして表すことができる、ビデオビットストリーム１１０の各セグメントを、セグメントのフル解像度のビデオ５２５に復号し（５２０）、解像度倍率５３５で水平且つ／又は垂直にダウンサンプリングする（５４０）。次に、結果として生じる、解像度がより低いフレーム５４５を、アップサンプリング（５５０）及びフィルタリングし、その結果、解像度が最初に復号されたビデオ５２５に一致する、ダウンサンプリング／アップサンプリングされたセグメント５５５が生じる。このダウンサンプリング／アップサンプリングされたフレームと、最初に復号されたフレームとの間の差分５４７を取り、次に適応解像度選択器５３０の誤り測定計算５３７に渡す。
【００３８】
適応解像度選択器は、ダウンサンプリング／アップサンプリングされたセグメントと、最初に復号されたセグメントとの間の差分５４７に、測定値（measure）５３７を適用する。この測定値は、閾値又は閾値のセット５３９と比較される。たとえば、測定値はＭＳＥである。フレームのダウンサンプリング／アップサンプリングが画像品質を大幅に劣化させない場合、ＭＳＥは小さい。低減された解像度へのトランスコーディングは、全体のフレーム品質を大幅に劣化させるべきでなく、このため、適応解像度選択器は、ＭＳＥが所与の閾値未満であることに起因して解像度低減モードに切り換わる。しかしながら、ＭＳＥが閾値よりも大きい場合、トランスコーダはフル解像度モードに切り替わり、フレーム品質の大幅な低下を回避する。最初に復号されたフレームと、ダウンサンプリング／アップサンプリングされたフレームとの差分に基づく他の測定値、たとえば差分絶対値和（ＳＡＤ）も使用することができる。
【００３９】
解像度を選択した後、フル解像度のビデオフレーム又は解像度が低減されたビデオフレームを、計算量が低減されたエンコーダ４５０に渡す。エンコーダ４５０は、入力ビットストリームからマッピングされたパラメータ４１５及び４１７を使用して、トランスコードされた出力ビットストリーム４６０を生成する。パラメータは、動きベクトル情報と、マクロブロックモード情報と、量子化器情報とを含むことができる。
【００４０】
圧縮データに基づく適応解像度選択
図６は、符号化ビデオ１１０に基づく適応解像度トランスコーダを示している。この実施の形態では、適応解像度選択器に対する入力は、入力ビデオビットストリームから直接抽出されるデータである。この方法によって、図５に示すようなアップサンプリング及び差分計算の必要性がなくなる。
【００４１】
より低い解像度に切り換えるか否かを決定するのに使用することができる、抽出されるビットストリーム情報の一例は、フレーム間の水平動きベクトル及び／又は垂直動きベクトルの大きさである。２つのフレーム間の水平動きベクトルの平均の大きさ６３５が閾値６３７と比較して大きい場合、これらの２つのフレーム間の動き量は大きい可能性が高い。フレームがカメラによって取得されるとき、動きによって通常ぼやけが生じるため、水平動きベクトルの大きさが大きいフレーム対は、ほとんど又は全く動きがないフレーム対よりもダウンサンプリングプロセス／アップサンプリングプロセスから受ける品質低下が少ない可能性が高い。したがって、適応解像度選択器は、平均水平動きベクトルの大きさが或る所与の閾値よりも大きい場合、水平解像度低減モードに切り換えることができる。同様の方法を垂直動きベクトルに対して適用することができる。
【００４２】
適応解像度選択器に対する入力の別の例は、入力ビットストリームから抽出されるＤＣＴ係数である。入力ビットストリームからの高周波成分のうちのほとんどがゼロである場合、対応するビデオフレーム内に存在する精密な細部又は鋭いエッジの数はわずかである。したがって、より低い解像度を使用してフレームをトランスコードすることができる。大量の高周波数係数アクティビティが存在する場合、解像度は同じままに留まる。水平解像度倍率及び垂直解像度倍率は異なることができる。
【００４３】
解像度変更のタイミング
幾つかの実施の形態では、トランスコーディングは、トランスコーディングのモード、たとえば、瞬時モード、予測モード、及び遅延モードに従って実施される。
【００４４】
瞬時モードでは、適応解像度選択器は現在の入力フレームの特徴を分析する。解像度を変更するという決定が行われると、フレームは即座に瞬時復号更新（ＩＤＲ）画像にトランスコードされる。すなわち、ダウンサンプリングされるセグメントは、ダウンサンプリング後に即座にトランスコードされる。しかしながら、過度に多くのフレームをＩＤＲ画像にトランスコードすることによって、符号化効率が低減し得る。
【００４５】
瞬時モードは、解像度変更の頻度を限定することができる。このモードは、解像度変更動作をＧＯＰの限界までにしかならないように制限することができる。全ての予測されるフレーム及びそれらの対応する基準フレームは同じ解像度を有するため、解像度変更を、たとえば入力Ｉフレーム又は入力Ｐフレームに限定して、計算量を低減すると共に符号化効率を維持することもできる。
【００４６】
予測モードでは、適応解像度選択器は、一連のフレーム又はＧＯＰから特徴を測定し、該特徴を使用して、次のＣＯＰにおいて解像度変更を始動するか否かを決定する。１つの実施の形態では、セグメントのセット内の現在のセグメントの特徴を測定し、該特徴に基づいて次のセグメントを選択し、ダウンサンプリングに対して回復力があるセグメントのセット内に入れる。
【００４７】
この決定はＧＯＰがトランスコードされる前に行われるため、解像度変更動作及びトランスコーディング動作を同時に実施し、それによって計算量及びコストを低減することができる。
【００４８】
遅延モードでは、各セグメントはピクチャグループ（ＧＯＰ）のためのフレームを備え、現在のＧＯＰにおけるフレームの特徴をバッファリング及び測定する。次に、該フレームの特徴を使用して、現在のＧＯＰの解像度を変更するか、又はＧＯＰ内で変更を始動するかの決定を行う。このモードにおいて双方の実施の形態を使用することができるが、第２の実施の形態がより適切である。これは、適応解像度選択器におけるアクティビティ測定がフレームバッファを必要としないためである。
【００４９】
本発明を特定の好ましい実施の形態を参照して説明してきたが、様々な他の適合及び変更を本発明の精神及び範囲内で行うことができることを理解されたい。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲内に入る全ての変形及び変更を包含することである。
【図１】
2010233220.tif 000003
【図２】
2010233220.tif 000004
【図３】
2010233220.tif 000005
【図４】
2010233220.tif 000006
【図５】
2010233220.tif 000007
【図６】
2010233220.tif 000008
【外国語明細書】
2010233220.tif 000009
2010233220.tif 000010
2010233220.tif 000011
2010233220.tif 000012
2010233220.tif 000013
2010233220.tif 000014
2010233220.tif 000015
2010233220.tif 000016
2010233220.tif 000017
2010233220.tif 000018
2010233220.tif 000019
2010233220.tif 000020
2010233220.tif 000021
2010233220.tif 000022
2010233220.tif 000023
2010233220.tif 000024
2010233220.tif 000025
2010233220.tif 000026
2010233220.tif 000027
2010233220.tif 000028
2010233220.tif 000029
2010233220.tif 000030
2010233220.tif 000031
2010233220.tif 000032
2010233220.tif 000033
2010233220.tif 000034