(57)【要約】  マルチパスエンコーダにおける効率的な１パスのエンコーディングのための方法および装置を提供する。装置は、１パスのエンコーディングの前に入力イメージデータの少なくとも一部をサブサンプリングすることによって、少なくとも１つのピクチャに関する当該入力イメージデータの当該１パスのエンコーディングを実行するためのマルチパスビデオエンコーダを含む。当該サブサンプリングは、空間的サブサンプリングおよび時間的サブサンプリングの少なくとも１つである。
2010507983.tif 000002
【特許請求の範囲】
【請求項１】
１パスのエンコーディングの前に入力イメージデータの少なくとも一部をサブサンプリングすることによって少なくとも１つのピクチャに関する前記入力イメージデータの前記１パスのエンコーディングを実行するためのマルチパスビデオエンコーダ（３００）を含む装置であって、
前記サブサンプリングは、空間的サブサンプリングおよび時間的サブサンプリングの少なくとも１つであることを特徴とする装置。
【請求項２】
前記マルチパスビデオエンコーダ（３００）は、前記少なくとも１つのピクチャの少なくとも１つの空間分解能を減少させることによって、前記入力イメージデータの少なくとも一部を空間的にサブサンプリングすることを特徴とする請求項１に記載の装置。
【請求項３】
前記マルチパスビデオエンコーダ（３００）は、前記少なくとも１つのピクチャの少なくとも１つを規則的にスキップすることによって、前記入力イメージデータの少なくとも一部を時間的にサブサンプリングすることを特徴とする請求項２に記載の装置。
【請求項４】
前記マルチパスビデオエンコーダ（３００）は、前記少なくとも１つのピクチャの少なくとも１つを不規則にスキップすることによって、前記入力イメージデータの少なくとも一部を時間的にサブサンプリングすることを特徴とする請求項２に記載の装置。
【請求項５】
前記マルチパスビデオエンコーダ（３００）は、前記少なくとも１つのピクチャの少なくとも１つをトリミングすることによって、前記入力イメージデータの少なくとも一部を空間的にサブサンプリングすることを特徴とする請求項１に記載の装置。
【請求項６】
前記マルチパスビデオエンコーダ（３００）は、前記少なくとも１つのピクチャの少なくとも１つを規則的にスキップすることによって、前記入力イメージデータの少なくとも一部を時間的にサブサンプリングすることを特徴とする請求項５に記載の装置。
【請求項７】
前記マルチパスビデオエンコーダ（３００）は、前記少なくとも１つのピクチャの少なくとも１つを不規則にスキップすることによって、前記入力イメージデータの少なくとも一部を時間的にサブサンプリングすることを特徴とする請求項５に記載の装置。
【請求項８】
前記マルチパスビデオエンコーダ（３００）は、前記少なくとも１つのピクチャの少なくとも１つを規則的にスキップすることによって、前記入力イメージデータの少なくとも一部を時間的にサブサンプリングすることを特徴とする請求項１に記載の装置。
【請求項９】
前記マルチパスビデオエンコーダ（３００）は、前記少なくとも１つのピクチャの少なくとも１つを不規則にスキップすることによって、前記入力イメージデータの少なくとも一部を時間的にサブサンプリングすることを特徴とする請求項１に記載の装置。
【請求項１０】
前記マルチパスビデオエンコーダ（３００）は、前記１パスのエンコーディングからの情報の解析を当該情報の複雑性解析の前に実行し、前記情報は、後続するパスのエンコーディングに使用されることを特徴とする請求項１に記載の装置。
【請求項１１】
前記１パスのエンコーディングからの情報の解析は、前記後続するパスのエンコーディングの前記入力イメージデータに関する圧縮パラメータの統計的な推定を提供するために、前記情報の複雑性解析の前に実行されることを特徴とする請求項１０に記載の装置。
【請求項１２】
少なくとも１つのピクチャに関する入力イメージデータの１パスのエンコーディングを、当該１パスのエンコーディングの前に、当該入力イメージデータの少なくとも一部をサブサンプリングすることによって実行するステップ６０５、７０５）を含む方法であって、
前記サブサンプリング（６０５、７０５）は、空間的サブサンプリングおよび時間的サブサンプリングの少なくとも１つであることを特徴とする方法。
【請求項１３】
前記サブサンプリングすることは、前記少なくとも１つのピクチャの少なくとも１つの空間分解能を減少させることによって、前記入力イメージデータの少なくとも一部を空間的にサブサンプリングする（６０５、７０５）ことを特徴とする請求項１２に記載の方法。
【請求項１４】
前記サブサンプリングすることは、前記少なくとも１つのピクチャの少なくとも１つを規則的にスキップすることによって、前記入力イメージデータの少なくとも一部を時間的にサブサンプリングする（６０５、７０５）ことを特徴とする請求項１３に記載の方法。
【請求項１５】
前記サブサンプリングすることは、前記少なくとも１つのピクチャの少なくとも１つを不規則にスキップすることによって、前記入力イメージデータの少なくとも一部を時間的にサブサンプリングする（６０５、７０５）ことを特徴とする請求項１３に記載の方法。
【請求項１６】
前記サブサンプリングすることは、前記少なくとも１つのピクチャの少なくとも１つをトリミングすることによって、前記入力イメージデータの少なくとも一部を空間的にサブサンプリングする（６０５、７０５）ことを特徴とする請求項１２に記載の方法。
【請求項１７】
前記サブサンプリングすることは、前記少なくとも１つのピクチャの少なくとも１つを規則的にスキップすることによって、前記入力イメージデータの少なくとも一部を時間的にサブサンプリングする（６０５、７０５）ことを特徴とする請求項１６に記載の方法。
【請求項１８】
前記サブサンプリングすることは、前記少なくとも１つのピクチャの少なくとも１つを不規則にスキップすることによって、前記入力イメージデータの少なくとも一部を時間的にサブサンプリングする（６０５、７０５）ことを特徴とする請求項１６に記載の方法。
【請求項１９】
前記サブサンプリングすることは、前記少なくとも１つのピクチャの少なくとも１つを規則的にスキップすることによって、前記入力イメージデータの少なくとも一部を時間的にサブサンプリングする（６０５、７０５）ことを特徴とする請求項１２に記載の方法。
【請求項２０】
前記サブサンプリングすることは、前記少なくとも１つのピクチャの少なくとも１つを不規則にスキップすることによって、前記入力イメージデータの少なくとも一部を時間的にサブサンプリングする（６０５、７０５）ことを特徴とする請求項１２に記載の方法。
【請求項２１】
前記１パスのエンコーディングからの情報の解析を、当該情報の複雑性解析の前に実行するステップ（７１５）をさらに含み、前記情報は、後続するパスのエンコーディングに使用されることを特徴とする請求項１３に記載の方法。
【請求項２２】
前記１パスのエンコーディングからの情報の解析は、前記後続するパスのエンコーディングのための前記入力イメージデータに関する圧縮パラメータの統計的な推定を提供するために、前記情報の複雑性解析の前に実行される（７１５）ことを特徴とする請求項２１に記載の方法。
【請求項２３】
少なくとも１つのピクチャに関する入力イメージデータの１パスのエンコーディングを実行するためのマルチパスビデオエンコーダ（３００）であって、後続するパスのエンコーディングの前に起こる後続の複雑性解析に使用される情報の信頼性を向上させるために、当該１パスのエンコーディングからの情報の解析を実行するためのマルチパスビデオエンコーダ（３００）を備えたことを特徴とする装置。
【請求項２４】
少なくとも１つのピクチャに関する入力イメージデータの１パスのエンコーディングを実行するステップと、
前記１パスのエンコーディングからの情報の解析を実行して（７１５）、後続するパスのエンコーディングの前に起こる後続の複雑性解析に使用される当該情報の信頼性を向上させるステップと
を含むことを特徴とする方法。
【請求項２５】
前記１パスのエンコーディングからの前記情報の解析は、前記後続するパスのエンコーディングのための前記入力イメージデータに関する圧縮パラメータの統計的な推定を提供するために、前記情報の複雑性解析の前に実行される（７１５）ことを特徴とする請求項２４に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の原理は、一般にビデオエンコーディングに関し、より具体的にはマルチパスエンコーダ（ｍｕｌｔｉ−ｐａｓｓ  ｅｎｃｏｄｅｒ）における効率的な１パス（ｆｉｒｓｔ−ｐａｓｓ）のエンコーディングのための方法および装置に関する。
【背景技術】
【０００２】
マルチパスビデオエンコーディングシステムの効率は、入力ビデオに関する利用可能な情報の正確性によって決まる。ビデオに関する情報は、メタデータとして得られるか、または第１のエンコーディングパスにおいて収集され得る。この情報を使用して、効率的なマルチパスアルゴリズムは、全てのピクチャに対して一定のビデオ品質が得られるような方法で、ビットをビデオシーケンスの特定のセグメントに割り当てる。ビデオに関する情報に信頼性がある場合は、複数のピクチャにわたって複数のビットをより正確に分散させることができる。
【０００３】
複数のビットを複数のピクチャにわたって適切に分散させるために、典型的には、１パスを使用して、コード化されるべきビデオに対する情報を収集する。１パスは、事前解析（ｐｒｅ−ａｎａｌｙｓｉｓ）またはフルエンコーディング（ｆｕｌｌ−ｅｎｃｏｒｄｉｎｇ）のいずれかを伴うことができる。フルエンコーディングは、イントラモード（ｉｎｔｒａ  ｍｏｄｅ）でのみピクチャをエンコードすることによる単純な手法で行うことができる。フルエンコーディングは、インターモード（ｉｎｔｅｒ  ｍｏｄｅ）とイントラモードでピクチャをエンコードすることによる標準的な手法で行うこともできる。フルエンコーディングを用いる１パスは、ビデオの複雑性に関する、より信頼性のある情報を収集し、事前解析と比べて良好なビデオ品質をもたらす。さらに、１パスエンコーダが、２パスエンコーダと類似する構成設定で動作する場合、１パスから収集されるデータの信頼性は高くなる。しかしながら、これは、計算上より複雑である。
【０００４】
一般的に、ほとんどのマルチパスビデオエンコーディングシステムには、マルチパスエンコーディングシステム全体の計算上の複雑性において制限がある。したがって、このようなシステムは、典型的に、２パスエンコーダと非常に類似する設定の下で動作する１パスエンコーダを有することができない。このことは絶対的な状況ではないが、ほとんどのマルチパスエンコーディングシステムに関して非常に典型的なシナリオである。一般的に、１パスエンコーダは、後続する複数のパスに信頼性のある統計値を提供しつつ、迅速に稼動する必要がある。
【０００５】
１パスのエンコーディングの複雑性は、特定のマルチパスエンコーディングシステムの設計によって決まる。例えば、第１の従来技術のマルチパスビデオエンコーディングシステムでは、１パスのエンコーディングは、高品質レベルで実行され、多く時間を要する。このレベルの複雑性は、一部のアプリケーションに対しては許容可能な可能性があるが、リアルタイムまたはリアルタイムに近いレスポンスを目的とするほとんどのシステムは、単純であるが効率的な第１のエンコーディングパスを必要とする。
【０００６】
上述したように、マルチパスシステムの１パスを、事前解析ステップ／ステージ（以下、「事前解析ステージ」と称する）として、またはフルエンコーディングとして実装することができる。
【０００７】
マルチパスビデオエンコーディングシステムの１パスとしての事前解析ステージに関して、事前解析ステージは、単純なピクチャの差分計算または分散計算を実行して、ビデオ情報を収集することができる。第２のパスのエンコーディングは、１パスから収集された情報に基づいて実行される。事前解析の複雑性は、フルエンコーディングパスと比べると低い（すなわち、１パスの実行時間は短い）。しかしながら、事前解析から収集される情報は、あまり信頼性がなく、これはビデオ品質に関するパフォーマンス全体に影響する。高品質であることが、多くの高解像度ビデオアプリケーションの主要な要件であるので、１パスには、フルエンコーディングのような高度な方法が必要である。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
マルチパスビデオエンコーディングシステムの１パスとしてのフルエンコーディングのステージに関して、フルエンコーディングを様々な方法で実行することができる。
【０００９】
例えば、１パスのフルエンコーディングステージの一例として、１パスのフルエンコーディングを、元の入力ビデオシーケンスを使用してイントラのみのエンコーディングで実行することができる。この場合、イントラピクチャのエンコーディングから得られるビットを使用して、後続するパスで使用されるイントラピクチャまたはインターピクチャのビットを予測することができる。しかし、イントラピクチャとインターピクチャは、異なるそれぞれの方法を使用してエンコードされるため、イントラピクチャからインターピクチャのビットを予測することは、あまり信頼性がない。
【００１０】
１パスのフルエンコーディングステージの他の例として、１パスのフルエンコーディングを、元の入力ビデオシーケンスを使用して、固定のエンコーダ構成設定を用いることによってイントラエンコーディングおよびインターエンコーディングで実行することができる。このタイプのエンコーディングは、イントラのみのエンコーディング方法と比べて、より信頼性のある情報を生成して、後続パスにおけるピクチャのビットを予測することができる。しかしながら、１パスのエンコーディングにおいて使用される固定の構成設定は、後続パスの構成設定と合致しないことがある。このため、後続パスに対するビット分配の正確性が害されることがある。
【００１１】
１パスのフルエンコーディングの状態のさらに別の例として、１パスのフルエンコーディングを、元の入力ビデオシーケンスを使用して様々なエンコーダ構成設定で実行することもできる。エンコーダの構成設定を変更することは、１パスのエンコーディングが、それらの設定の各々に対して複数回行われることを意味する。１パスのエンコーディングに最も良いパフォーマンスを生じさせる設定が、２パスのエンコーディングに適用される場合は、この手法で、全体としてより良いビデオ品質を得ることができる。
【００１２】
したがって、フルエンコーディングを用いる１パスは、ビデオ品質を改善するが、エンコーディング時間に関しては非効率的である。
【００１３】
図１を見ると、マルチパスビデオエンコーディングシステムが、参照番号１００で全体的に示されている。
【００１４】
マルチパスビデオエンコーディングシステム１００は、１パスエンコーダ１１０を含み、当該１パスエンコーダ１１０は、２パスエンコーダ１３０の第１の入力と信号通信で接続される第１の出力を有する。１パスエンコーダ１１０の第２の出力は、複雑性アナライザ（ｃｏｍｐｌｅｘｉｔｙ  ａｎａｌｙｚｅｒ）１２０の入力と信号通信で接続される。複雑性アナライザ１２０の出力は、２パスエンコーダ１３０の第３の入力と信号通信で接続される。
【００１５】
１パスエンコーダ１１０の第１の入力、および２パスエンコーダ１３０の第２の入力は、ビデオソース信号を受信するための、マルチパスビデオエンコーディングシステム１００への入力として利用可能である。１パスエンコーダ１１０の第２の入力、および２パスエンコーダ１３０の第４の入力は、構成データ（ｃｏｎｆｉｇｕｒａｔｉｏｎ  ｄａｔａ）を受信するための、マルチエンコーディングシステム１００の入力として利用可能である。２パスエンコーダ１３０の出力は、ビットストリームを出力するための、マルチパスビデオエンコーディングシステム１００の出力として利用可能である。
【００１６】
したがって、上述したように、マルチパスビデオエンコーディングシステム１００への入力は、エンコーディングされる元のビデオソースと、各エンコーダが使用する構成データである。エンコーダの設定を決定する構成データは、パス毎に異なるものとすることができる。同一のビデオソースが、１パスエンコーダと２パスエンコーダの両方に典型的なマルチパスエンコーダの入力として与えられる。１パスエンコーダ１１０によって実行される、１パスのエンコーディングから得られる情報は、複雑性アナライザ１２０によって解析される。２パスエンコーダ１３０は、入力ビデオソースに加えて、複雑性アナライザ１２０と１パスエンコーダ１１０の両方からの情報を入力として直接取得することができる。複雑性アナライザ１２０によって２パスエンコーダ１３０に渡される情報は、各ピクチャタイプに対するビットとすることができる。１パスエンコーダ１１０から２パスエンコーダ１３０に渡される情報は、動きベクトル（ｍｏｔｉｏｎ  ｖｅｃｔｏｒｓ）とすることができる。マルチパスビデオエンコーディングシステム１００の出力は、例えば、ＩＳＯ／ＩＥＣ（国際標準化機構／国際電気標準会議）のＭＰＥＧ−４（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ−４）第１０部ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｒｄｉｎｇ）、国際電気通信連合電気通信標準化部門（ＩＴＵ−Ｔ）のＨ．２６４勧告（以下、「ＭＰＥＧ−４ＡＶＣ規格」と称する）、およびＩＳＯ／ＩＥＣ  ＭＰＥＧ−２規格などのビデオ圧縮規格の１つに典型的には準拠している、圧縮されたビットストリームである。
【００１７】
図２を見ると、マルチパスビデオエンコーディングを実行するための方法が参照番号２００で全体的に示されている。
【００１８】
方法２００は、コントロールを機能ブロック２０９（例えば、手動操作の機能ブロック）に渡す、開始ブロック２０１を含む。機能ブロック２０９は、エンコーダのセットアップを実行し、コントロールを機能ブロック２１０に渡す。機能ブロック２１０は、第１のエンコーディングパスを実行し、コントロールを機能ブロック２２０に渡す。機能ブロック２２０は、複雑性解析を実行し、コントロールを機能ブロック２３０に渡す。機能ブロック２３０は、第２のエンコーディングパスを実行し、コントロールを終了ブロック２４０に渡す。
【課題を解決するための手段】
【００１９】
従来技術のこれらおよび他の欠点および不都合な点は、マルチパスエンコーダにおける効果的な１パスのエンコーディングのための方法および装置に関する本発明の原理によって解決される。
【００２０】
本発明の原理の一態様にかかる装置を提供する。当該装置は、１パスのエンコーディングの前に入力イメージデータの少なくとも一部のサブサンプリングをすることによって少なくとも１つのピクチャに関する入力イメージデータの１パスのエンコーディングを実行するための、マルチパスビデオエンコーダを含む。当該サブサンプリングは、空間的サブサンプリングおよび時間的サブサンプリングの少なくとも１つである。
【００２１】
本発明の原理の他の態様にかかる方法を提供する。当該方法は、１パスのエンコーディングの前に入力イメージデータの少なくとも一部のサブサンプリングをすることによって、少なくとも１つのピクチャに関する入力イメージデータの１パスのエンコーディングを実行することを含む。当該サブサンプリングは、空間的サブサンプリングおよび時間的サブサンプリングの少なくとも１つである。
【００２２】
本発明の原理のさらに別の態様にかかる装置を提供する。当該装置は、少なくとも１つのピクチャに関する入力イメージデータの１パスのエンコーディングを実行するマルチパスビデオエンコーダであって、後続するパスのエンコーディングの前に起こる後続の複雑性解析に使用する情報の信頼性を向上させるために、当該１パスのエンコーディングからの情報の解析を実行するマルチパスビデオエンコーダを含む。
【００２３】
本発明の原理のさらに別の態様にかかる方法を提供する。当該方法は、少なくとも１つのピクチャに関する入力イメージデータの１パスのエンコーディングを実行することと、後続するパスのエンコーディングの前に起こる後続の複雑性解析に使用するための情報の信頼性を向上させるために当該１パスのエンコーディングからの情報の解析を実行することとを含む。
【００２４】
本発明の原理のさらに別の態様にかかる、マルチパスビデオエンコーダにおいて使用するための装置を提供する。当該エンコーダは、少なくとも１つのピクチャに関する入力イメージデータの１パスのエンコーディングを少なくとも実行するためのものである。当該装置は、当該１パスのエンコーディングの前に当該入力イメージデータの少なくとも一部をサブサンプリングするためのサブサンプラー（ｓｕｂ−ｓａｍｐｌｅｒ）を含む。当該サブサンプリングは、空間的サブサンプリングおよび時間的サブサンプリングの少なくとも１つである。
【００２５】
本発明の原理のさらに別の態様にかかる、マルチパスビデオエンコーダにおいて使用するための方法を提供する。当該エンコーダは、少なくとも１つのピクチャに関する入力イメージデータの１パスのエンコーディングを少なくとも実行するためのものである。当該方法は、当該１パスのエンコーディングの前に当該入力イメージデータの少なくとも一部をサブサンプリングすることを含む。当該サブサンプリングは、空間的サブサンプリングおよび時間的サブサンプリングの少なくとも１つである。
【００２６】
本発明の原理のさらに別の態様にかかる、マルチパスビデオエンコーダにおいて使用する装置を提供する。当該エンコーダは、少なくとも１つのピクチャに関する入力イメージデータの１パスのエンコーディングを少なくとも実行するためのものである。当該装置は、後続するパスのエンコーディングの前に起こる後続の複雑性解析に使用する情報の信頼性を向上させるために当該１パスのエンコーディングからの情報の解析を実行するサブサンプリングアナライザを含む。
【００２７】
本発明の原理のさらなる態様にかかる、マルチパスビデオエンコーダにおいて使用するための方法を提供する。当該エンコーダは、少なくとも１つのピクチャに関する入力イメージデータの１パスのエンコーディングを少なくとも実行するためのものである。当該方法は、後続するパスのエンコーディング前に生起する後続する複雑性解析において使用するための情報の信頼性を向上させるために、当該１パスのエンコーディングからの情報の解析を実行することを含む。
【００２８】
本発明の原理に関するこれらおよび他の態様、特性および利点は、以下の例示的な実施形態の詳細な説明を添付の図面とともに読むことにより、明らかになるであろう。
【００２９】
本発明の原理は、例示の図に基づいてより良く理解されるであろう。
【図面の簡単な説明】
【００３０】
【図１】先行技術にかかるマルチパスビデオエンコーディングシステムのブロック図である。
【図２】先行技術にかかるマルチパスビデオエンコーディングを実行するための方法のブロック図である。
【図３】本発明に原理の一実施形態にかかる、本発明の原理が適用されるサブサンプリングを伴う例示的なマルチパスビデオエンコーディングシステムのブロック図である。
【図４】本発明に原理の一実施形態にかかる、本発明の原理が適用されるサブサンプリングおよび情報解析を伴う例示的なマルチパスビデオエンコーディングシステムのブロック図である。
【図５】本発明に原理の一実施形態にかかる、本発明の原理が適用されるマルチパスビデオエンコーディングシステムにおいて使用するための例示的なビデオエンコーダのブロック図である。
【図６】本発明に原理の一実施形態にかかる、本発明の原理が適用されるサブサンプリングを伴うマルチパスビデオエンコーディングのための例示的な方法のフロー図である。
【図７】本発明に原理の一実施形態にかかる、本発明の原理が適用されるサブサンプリングおよび情報解析を伴うマルチパスビデオエンコーディングのための例示的な方法のフロー図である。
【発明を実施するための形態】
【００３１】
本発明の原理は、マルチパスエンコーダにおける効果的な１パスのエンコーディングのための方法および装置に関する。
【００３２】
この「発明を実施するための形態」において本発明の原理を説明する。したがって、当業者は、本明細書に明確に記載または図示されていなくとも、本発明の原理を具現化し本発明の精神および範囲内に含まれる、様々な変更を行うことができることが理解されよう。
【００３３】
本明細書に記載され全ての例示および条件的表現は、技術の促進のために発明者によって寄与された本発明の原理および概念を理解する際に読者の助けとなるよう、教示的な目的が意図されており、このような具体的に記載された例示および条件に限定されないものとして解釈されるべきである。
【００３４】
さらに、本発明の原理、態様、および実施形態に言及している本明細書の全ての記述、ならびにそれらの特定の例示は、それらの構造的均等物および機能的均等物の両方を包含するように意図されている。さらに、このような均等物は、現在周知の均等物と将来開発される均等物の両方、すなわち構造に関わらず、同一の機能を実行するように開発される全ての要素を含むことが意図されている。
【００３５】
したがって、例えば、本明細書で提示されるブロック図が、本発明の原理を具現化する例示的な回路の概念ビューを表していることは、当業者には認識されよう。同様に、全てのフローチャート、フロー図、状態遷移図、疑似コードなどは、実質的にコンピュータ読み取り可能媒体で表すことができ、したがってコンピュータまたはプロセッサコンピュータが明示的に示されているか否かに関わらずコンピュータまたはプロセッサによって実行される、様々な処理を表していることが認識されよう。
【００３６】
図面に示された様々な要素の機能を、専用のハードウェア、および適切なソフトウェアに関連するソフトウェアを実行可能なハードウェアの使用を介して提供することができる。プロセッサによって提供されるとき、当該機能を、単一の専用プロセッサ、単一の共有プロセッサ、または一部が共有されることがある複数の個別のプロセッサによって提供することができる。さらに、用語「プロセッサ」または「コントローラ」の明示的な使用は、ソフトウェアを実行することができるハードウェアのみを言及していると解釈されるべきではなく、限定ではないが、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを格納するためのＲＯＭ（ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）、および不揮発性のストレージも暗示的に含むことがある。
【００３７】
他のハードウェア、すなわち、従来および／またはカスタムハードウェアが含まれることもある。同様に、図面に示されている全てのスイッチは、単に概念的なものである。これらの機能を、プログラムロジックのオペレーションを通じて、専用ロジックを通じて、プログラム制御と専用ロジックとのインタラクションを通じて、または手動であっても実行することができ、特定の技術は、本明細書の文脈からより具体的に理解されるように実装者によって選択可能である。
【００３８】
本明細書の請求項において、特定の機能を実行するための手段として表わされる任意の要素は、例えば、ａ）その機能を実行する複数の回路要素の組み合わせ、またはｂ）ファームウェア、マイクロコードなどを含む任意の形態のソフトウェアであって、その機能を実行する当該ソフトウェアを実行するための適切な回路と組み合わされたものなどを含め、その機能を実行する任意の方法を含むことが意図されている。特許請求の範囲によって定義される本発明の原理は、記載される様々な手段によって提供される機能が、特許請求の範囲によって提唱される手法で組み合わされ、結合されるという事実に属する。したがって、これらの機能を提供することができる全ての手段は、本明細書に示されているものと均等であると見なされる。
【００３９】
本明細書において、本発明の原理の「一実施形態」または「ある実施形態」への言及は、実施形態に関連して説明される特定の特徴、構造、特性などが、本発明の原理の少なくとも１つの実施形態に含まれていることを意味する。したがって、本明細書を通して様々な箇所に現れる「一実施形態において」または「ある実施形態において」というフレーズは、必ずしも全て同じ実施形態を指しているものではない。
【００４０】
また、「イメージデータ」というフレーズは、静止画および動画（すなわち、動きを含む一連の画像）のいずれかに対応するデータを指すことが意図されていることも認識されたい。
【００４１】
「および／または」という用語の使用、例えば、「Ａおよび／またはＢ」の場合は、１番目に挙げられたオプション（Ａ）の選択、２番目に挙げられたオプション（Ｂ）の選択、または両方のオプション（ＡとＢ）の選択を含むことが意図されていることを認識されたい。さらなる例として、「Ａ、Ｂ、および／またはＣ」の場合、このフレーズは、1番目に挙げられたおオプション（Ａ）の選択、２番目に挙げられたオプション（Ｂ）の選択、３番目に挙げられたオプション（Ｃ）の選択、１番目および２番目に挙げられたオプション（ＡとＢ）の選択、１番目および３番目に挙げられたオプション（ＡとＣ）の選択、２番目および２番目に挙げられたオプション（ＢとＣ）の選択、または３つ全てのオプション（ＡとＢとＣ）の選択を含むことが意図されている。このことは、本分野および関連する分野の当業者によって容易に理解されるものとして、多数の要素が列挙された場合に関しても拡張されるべきである。
【００４２】
図３を見ると、サブサンプリングを有する例示的なマルチパスビデオエンコーディングシステムが、参照番号３００で全体的に示されている。
【００４３】
マルチパスビデオエンコーディングシステム３００は、１パスエンコーダ３１０の第１の入力と信号通信で接続される出力を有する、サブサンプラー（ｓｕｂ−ｓａｍｐｌｅｒ）３０５を含む。１パスエンコーダ３１０は、複雑性アナライザ３２０の入力と信号通信で接続される第１の出力を有する。複雑性アナライザ３２０の出力は、２パスエンコーダ３３０の第１の入力と信号通信で接続される。１パスエンコーダ３１０の第２の出力は、２パスエンコーダ３３０の第２の入力と信号通信で接続される。
【００４４】
サブサンプラー３０５の入力、および２パスエンコーダの第４の入力は、ビデオソース信号の受信のために、マルチパスビデオエンコーディングシステム３００の入力として利用可能である。１パスエンコーダ３１０の第２の入力、および２パスエンコーダ３３０の第３の入力は、構成データの受信のためにマルチパスビデオエンコーディングシステム３００の入力として利用可能である。２パスエンコーダ３３０の出力は、ビットストリームの出力のために、マルチパスビデオエンコーディングシステム３００の出力として利用可能である。
【００４５】
図４を見ると、サブサンプリングおよび情報の解析を伴う例示的なマルチパスビデオエンコーディングシステムが、参照番号４００で全体的に示されている。
【００４６】
マルチパスビデオエンコーディングシステム４００は、１パスエンコーダ４１０の第１の入力と信号通信で接続される出力を有する、サブサンプラー４０５を含む。１パスエンコーダ４１０は、サブサンプリングアナライザ４１５の入力と信号通信で接続される第１の出力を有する。サブサンプリングアナライザ４１５の出力は、複雑性アナライザ４２０の入力と信号通信で接続される。複雑性アナライザ４２０の出力は、２パスエンコーダ４３０の第１の入力と信号通信で接続される。１パスエンコーダ４１０の第２に出力は、２パスエンコーダ４３０の第２の入力と信号通信で接続される。
【００４７】
サブサンプラー４０５の入力、および２パスエンコーダの第４の入力は、ビデオソース信号の受信のために、マルチパスビデオエンコーディングシステム４００の入力として利用可能である。１パスエンコーダ４１０の第２の入力、および２パスエンコーダ４３０の第３の入力は、構成データの受信のために、マルチパスビデオエンコーディングシステム４００の入力として利用可能である。２パスエンコーダ４３０の出力は、ビットストリームの出力のために、マルチパスビデオエンコーディングシステム４００の出力として利用可能である。
【００４８】
図５を見ると、本発明の原理を適用することができるマルチパスビデオエンコーディングシステムにおいて使用するためのビデオエンコーダが、参照番号５００で全体的に示されている。
【００４９】
ビデオエンコーダ５００は、コンバイナ５８５の非反転（ｎｏｎ−ｉｎｖｅｒｔｉｎｇ）入力と信号通信する出力を有するフレーム順序付けバッファ（ｆｒａｍｅ  ｏｒｄｅｒｉｎｇ  ｂｕｆｆｅｒ）５１０を含む。コンバイナ５８５の出力は、変換器（ｔｒａｎｓｆｏｒｍｅｒ）および量子化器（ｑｕａｎｔｉｚｅｒ）５２５の第１の入力と信号通信で接続される。変換器および量子化器５２５の出力は、エントロピーコーダ５４５の第１の入力、ならびに反転変換器（ｉｎｖｅｒｓｅ  ｔａｎｓｆｏｒｍｅｒ）および反転量子化器（ｉｎｖｅｒｓｅ  ｑｕａｎｔｉｚｅｒ）５５０の第１の入力と信号通信で接続される。エントロピーコーダ５４５の出力は、コンバイナ５９０の第１の非反転入力と信号通信で接続される。コンバイナ５９０の出力は、出力バッファ５３５の第１の入力と信号通信で接続される。
【００５０】
エンコーダコントローラ５０５の第１の出力は、フレーム順序付けバッファ５１０の第２の入力と、反転変換器および反転量子化器５５０の第２の入力と、ピクチャタイプ決定モジュール５１５の入力と、マクロブロック（ｍａｃｒｏｂｌｏｃｋ）タイプ（ＭＢ−タイプ）決定モジュール５２０の入力と、イントラ予測（ｉｎｔｒａ  ｐｒｅｄｉｃｔｉｏｎ）モジュール５６０の第２の入力と、非ブロック化（ｄｅｂｌｏｃｋｉｎｇ）フィルタ５６５の第２の入力と、モーションコンペンセータ（ｍｏｔｉｏｎ  ｃｏｍｐｅｎｓａｔｏｒ）５７０の第１の入力と、モーションエスティメータ（ｍｏｔｉｏｎ  ｅｓｔｉｍａｔｏｒ）５７５の第１の入力と、参照ピクチャバッファ５８０の第２の入力と信号通信で接続される。
【００５１】
エンコーダコントローラ５０５の第２の出力は、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）インサータ５３０の第１の入力と、変換器および量子化器５２５の第２の入力と、エントロピーコーダ５４５の第２の入力と、出力バッファ５３５の第２の入力と、ＳＰＳ（Ｓｅｑｕｅｎｃｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｒ）およびＰＰＳ（Ｐｉｃｔｕｒｅ  Ｐａｒａｍｅｔｅｒ  Ｓｅｔ）インサータ５４０の入力と信号通信で接続される。
【００５２】
ピクチャタイプ決定モジュール５１５の第１の出力は、フレーム順序付けバッファ５１０の第３の入力と信号通信で接続される。ピクチャタイプ決定モジュール５１５の第２の出力は、マクロブロックタイプ決定モジュール５２０の第２の入力と接続される。
【００５３】
ＳＰＳおよびＰＰＳインサータ５４０は、コンバイナ５９０の第３の非反転入力と信号通信で接続される。
【００５４】
反転量子化器および反転変換器５５０の出力は、コンバイナ５２５の第１の非反転入力と信号通信で接続される。コンバイナ５２５の出力は、イントラ予測モジュール５６０の第１の入力と、非ブロック化フィルタ５６５の第１の入力と信号通信で接続される。非ブロック化フィルタ５６５の出力は、参照ピクチャバッファ５８０の第１の入力と信号通信で接続される。参照ピクチャバッファ５８０の出力は、モーションエスティメータ８７５の第２の入力と接続される。モーションエスティメータ５７５の第１の出力は、モーションコンペンセータ５７０の第２の出力と信号通信で接続される。モーションエスティメータ５７５の第２の出力は、エントロピーコーダ５４５の第３の入力と信号通信で接続される。
【００５５】
モーションコンペンセータ５７０の出力は、スイッチ５９７の第１の入力と信号通信で接続される。イントラ予測モジュール５６０の出力は、スイッチ５９７の第２の入力と信号通信で接続される。マクロブロックタイプ決定モジュール５２０の出力は、スイッチ５９７の第３の入力と信号通信で接続される。スイッチ５９７の出力は、コンバイナ５２５の第２の非反転入力と、コンバイナ５８５の反転入力と信号通信で接続される。
【００５６】
フレーム順序付けバッファ５１０およびエンコーダコントローラ５０５の入力は、入力ピクチャ５０１を受信するためのエンコーダ５００の入力として利用可能である。さらに、ＳＥＩインサータ５３０の入力は、メタデータを受信するためにエンコーダ５００の入力として利用可能である。出力バッファ５３５の出力は、ビットストリームを出力するためのエンコーダ５００の出力として利用可能である。
【００５７】
上述したように、本発明の原理は、マルチパスエンコーダにおける効果的な１パスのエンコーディングのための方法および装置に関する。ある実施形態において、本発明の原理は、可変ビットレートのマルチパスビデオエンコーダでて実装される。可変ビットレートのマルチパスエンコーダの目的は、異なるピクチャ間でビット割り当てを変化させることによって一定のビデオ品質を提供することである。そのために、典型的に、１パスを使用して、コード化されるべきビデオに対する情報を収集する。１パスは、事前解析またはフルエンコーディングのいずれかとすることができる。フルエンコーディングを用いる１パスは、ビデオの複雑性に関するより信頼性のある情報を収集して、事前解析と比べてより良いビデオ品質を得る。しかし、フルエンコーディングは、計算上より複雑である。複雑性を低く維持するために、ある実施形態において、本発明の原理に関連して本明細書で説明される方法および装置は、入力ビデオシーケンスのサブサンプリングを実行して、早くて効果的な１パスのビデオエンコーディングを実行する。ある実施形態において、サブサンプリング法には、空間（ｓｐａｔｉａｌ）サブサンプリング技術および／または時間（ｔｅｍｐｏｒａｌ）サブサンプリング技術が含まれる。空間および時間サブサンプリングを実行する異なる実施形態も、本明細書で提案されることを認識されたい。
【００５８】
さらに、ある実施形態において、本発明の原理にかかるサブサンプリング技術または任意の他の事前解析の技術が使用されると、１パスのエンコーディングから取得された情報を解析して、より信頼性のある情報を複雑性アナライザに提供する、サブサンプリングアナライザも提案する。したがって、本明細書で提供されるサブサンプリングアナライザは、本明細書内で説明される本発明の原理にかかるサブサンプリングを用いた１パスのフルエンコーディングだけには限定されず、本明細書内で提供される本発明の教示を与えられると、本分野および関連する分野の当業者は、本発明の原理の趣旨を維持しつつ他のタイプの１パスのフルエンコーディングスキームで使用することができる。
【００５９】
本発明の様々な実施形態にしたがって、ビデオ情報の正確な基準を提供しつつ、マルチパスビデオエンコーダの１パスのエンコーディングを高速化するために、いくつかの例示的なアプローチを提案する。ある実施形態において、これは、入力ビデオシーケンスをサブサンプリングすることによって行われる。図４において、機能ブロック４０５は、提案するビデオサブサンプリングブロックの、マルチパスビデオエンコーディングシステム４００の全体における例示的な位置を示す。空間分解能（ｓｐａｔｉａｌ  ｒｅｓｏｌｕｔｉｏｎ）および／または時間分解能（ｔｅｍｐｏｒａｌ  ｒｅｓｏｌｕｔｉｏｎ）を減少させることによって、提案するビデオサブサンプリングを行うことができる。サブサンプリングを使用するマルチパスビデオエンコーディングの例示的な方法は、本明細書において図６に関連して以下に示され、説明される。本発明の原理は、本明細書に記載された以下の方法、またはこれらの様々な変形形態だけに限定されないことを認識されたい。したがって、当技術分野または関連技術分野の当業者は、本明細書で提供される本発明の原理の教示を与えられることにより、本発明の趣旨を維持しつつ、マルチパスエンコーダ内の効果的な１パスのエンコーディングのための入力ビデオのサブサンプリングを実行する、これらおよび様々な他の方法を検討するであろう。
【００６０】
方法１：空間分解能の減少
本発明の原理にかかる第１の方法（以下、「第１の方法」と称する）に関連する実施形態において、入力ビデオシーケンスの空間分解能は、１パスにおいて処理される前に減少される。第１の方法を、事前解析パスおよびフルエンコーディング１パスの両方に適用することができることを理解されたい。第１の方法は、１パスにおいて処理されるサンプルの数を減少させるものであり、１パスの処理方法を変えることはない。
【００６１】
第１の方法に関連する実施形態において、空間分解能の減少は、半分または４分の１などの、より小さな分解能となるように、入力ピクチャのピクセル数をサブサンプリングすることによって得られる。サブサンプリングを、最近傍によって、あるいは、これには限られないが双一次（ｂｉｌｉｎｅａｒ）または双三次（ｂｉ−ｃｕｂｉｃ）イメージ補間を含む補間フィルタベースの方法を使用することによって、異なる方法で実行することができることを理解されたい。サブサンプリングを実行するための上述の方法は単に例示であり、本明細書において提供される本発明の原理の教示により、当技術分野および関連する技術分野の当業者は、本発明の原理の趣旨を維持しつつ、本発明の原理に従ってサブサンプリングを実行してマルチパスエンコーダにおける効果的な１パスのエンコーディングを提供する、これらおよび様々な他の方法を検討するであろうことを理解されたい。
【００６２】
第１の方法に関連する他の実施形態において、空間分解能の減少は、フル分解能の入力ピクチャを、半分または４分の１などのより小さな分解能までトリミングする（ｃｒｏｐｐｉｎｇ）ことによって得られる。より小さな分解能を、様々なトリミング方法によって得ることができる。例えば、幅の１／４および高さの１／４を、イメージの右部、左部、上部および下部から対称的にトリミングすると、半分の分解能を得ることができる。別の例として、異なる数の水平ピクセルを、イメージの下部と上部からトリミングし、および／または異なる数の垂直ピクセルを、イメージの左部と右部から非対称にトリミングすることができる。
【００６３】
方法２：時間的分解能の減少
本発明の原理にかかる第２の方法（以下、「第２の方法」と称する）に関連する実施形態において、入力ビデオシーケンスの時間分解能は、１パスで処理される前に減少される。第２の方法を、第１の方法の場合のように、事前解析パスおよびフルエンコーディングの１パスの両方に適用することができる。
【００６４】
第２の方法を第１の方法と比較した場合の１つの相違点は、第２の方法は、ピクチャサイズを元のピクチャサイズと同一に保ちつつ、第１のパスにおいて処理されるサンプルの数を減少させることである。第１の方法と同様に、第２の方法も１パスの処理方法を変えることはない。
【００６５】
第２の方法に関連する実施形態において、時間分解能の減少は、あるＳＯＰ（Ｓｅｔ  ｏｆ  Ｐｉｎｃｕｒｅｓ：ピクチャのセット）をＳＯＰ１つおきにスキップすることによる、規則的なサブサンプリングによって得られることがある。この実施形態において、スキップされるピクチャの数は、あるＳＯＰ内のピクチャの数と同一であってよい。ＳＯＰの長さは、１以上の任意の数とすることができる。
【００６６】
第２の方法に関連する他の実施形態において、時間分解能の減少は、各ＳＯＰの最後のＮ個のピクチャを規則的にスキップすることによって得られることがあり、ここでＮはＳＯＰの長さより小さい。
【００６７】
第２の方法に関連するさらに別の実施形態において、時間分解能の減少は、各ＳＯＰの最初のＭ個のピクチャを不規則にスキップすることによって得られることがあり、ここでＭはＳＯＰの長さより小さい。
【００６８】
方法３：空間分解能および時間分解能の両方の減少
本発明の原理にかかる第３の方法（以下、第３の方法と称する）に関連する実施形態において、入力ビデオシーケンスの空間分解能および時間分解能を、１パスにおける処理される前に減少させる。この方法を、第１の方法および第２の方法の場合と同様に、事前解析パスおよびフルエンコーディング１パスの両方に適用することができる。
【００６９】
第３の方法は、限定ではないが、以下の実施形態を含め、第１の方法および第２の方法の可能な組み合わせの全てを含む。
【００７０】
ある実施形態において、半分の分解能とする空間的サブサンプリングを、１つおきにＳＯＰをスキップすることによる規則的な時間的サブサンプリングと組み合せることができる。
【００７１】
別の実施形態において、半分の分解能とする空間的サブサンプリングを、不規則な時間的サブサンプリングと組み合わせることができる。
【００７２】
説明した第１、第２および第３の方法を適用して、２つより多いパスを有するマルチパスエンコーディングアルゴリズムをサポートすることができる。説明した方法を、マルチパスエンコーダに基づく以前の事前解析にも適用することができる。
【００７３】
情報解析を実行して信頼性ある情報を複雑性解析に提供するための方法案
典型的なマルチパスエンコーダにおいて、１パスエンコーダから得られる情報は、複雑性アナライザによって解析される。複雑性アナライザの効率性は、当該複雑性アナライザが利用可能な情報の信頼性および量によって決まる。ある実施形態において、我々は、１パスから得られる情報を解析して処理する方法を提案し、複雑性アナライザにとってより信頼性のある情報を生成する。マルチパスビデオエンコーダブロック図を、提案するアナライザのブロックとともに図４に関連して図示して説明し、また、提案する情報解析を用いる、対応する方法を、図７に関連して図示して説明する。提案するサブサンプリングアナライザは、提案するサブサンプリング方法が実行中のとき、または他の事前解析方法がマルチパスエンコーディングシステム内で使用されているときのいずれかに使用されることが可能である。
【００７４】
サブサンプリングアナライザは、これらには限られないが、量子化パラメータ、ピクチャ毎のビット、およびピクチャタイプを含む情報を、提案するビデオサブサンプリングブロックとともに実行される１パスのエンコーディングから取得し、複雑性アナライザによって使用されるサブサンプリングされていないビデオに関する情報を推定（ｅｓｔｉｍａｔｅ）する。以下の推定手順を、サブサンプリングを伴わない１パスの情報が、サブサンプリングを伴う１パスの後に得られる情報によって推定される、特定の実施形態において使用することができる。
【００７５】
あるピクチャのセット内のＰ（ｐｒｅｄｉｃｔｉｖｅ：予測）ピクチャの平均ＱＰ（ｑｕａｎｔｉｚａｔｉｏｎ  ｐａｒａｍｅｔｅｒ：量子化パラメータ）を、推定する必要があると仮定する。ここで、ｑp_pass1は、変数を表す。提案するサブサンプリング方法を用いた１パス、およびその後の１パスのエンコーディングから得られる、Ｐピクチャの平均量子化パラメータ（すなわちｑp_pass1_subsampled）、Ｂ（ｂｉ−ｐｒｅｄｉｃｔｉｖｅ：双予測）ピクチャの平均量子化パラメータ（すなわちｑB_pass1_subsampled）、およびＩ（ｉｎｔｒａ:イントラ）ピクチャの平均量子化パラメータ（すなわちｑI_pass1_subsampled）を使用することによって、ｑp_pass1を推定したいとする。ｑp_pass1を、以下のように推定することができる。
【００７６】
【数１】
2010507983.tif 000003
【００７７】
ここで、αI、αP、αBは、重み係数であり、ｑp_pass1_subsampled、ｑB_pass1_subsampled、ｑI_pass1_subsampledは既知の値（提案するサブサンプリング方法を用いた１パスのエンコーディングから得られる情報）である。トレーニングデータを使用することによって、α＝［αI  αP  αB]を得ることができる。言い換えると、様々なＳＯＰの長さおよびＳＯＰの構造を使用することによってオフラインでシミュレーションを実行し、サブサンプリングされていないビデオを有する１パスの情報を最も良く推定する係数を、見つけることができる。
【００７８】
重み係数を見つけるための１つの方法は、以下の等式を解くことによる方法である。
【００７９】
【数２】
2010507983.tif 000004
【００８０】
ここで、ｑI_pass1_subsampled_sop1からｑI_pass1_subsampled_sopN、ｑP_pass1_subsampled_sop1からｑP_pass1_subsampled_sopN、ｑB_pass1_subsampled_sop1からｑB_pass1_subsampled_sopN、ｑP_pass1_sop1からｑP_pass1_sopNが、シミュレーションから得られる。
【００８１】
上記の例において、Ｐピクチャの量子化パラメータの推定を示した。同じ推定手順を使用して、Ｐピクチャ、Ｉピクチャ、またはＢピクチャの量子化パラメータもしくはビットを推定することができる。さらに、異なる事前解析アルゴリズムを使用する１パスのエンコーディングにとっても、提案するサブサンプリングアナライザは有効である可能性がある。
【００８２】
図６を見ると、サブサンプリングを伴うマルチパスビデオエンコーディングの例示的な方法が、参照番号６００で全体的に示されている。
【００８３】
方法６００は、コントロールを機能ブロック６０５にパスする開始ブロック６０１を含む。機能ブロック６０５は、ビデオサンプリングを実行し、コントロールを機能ブロック６０９（例えば、手動操作の機能ブロック）に渡す。機能ブロック６０９は、エンコーダのセットアップを実行させ、コントロールを機能ブロック６１０に渡す。機能ブロック６１０は、第１のエンコーディングパスを実行し、コントロールを機能ブロック６２０に渡す。機能ブロック６２０は、複雑性解析を実行し、コントロールを機能ブロック６３０に渡す。機能ブロック６３０は、第２のエンコーディングパスを実行し、コントロールを終了ブロック６４０に渡す。
【００８４】
図７を見ると、サブサンプリングおよび情報解析を伴うマルチパスビデオエンコーディングの例示的な方法が、参照番号６００で全体的に示されている。
【００８５】
方法７００は、コントロールを機能ブロック７０５に渡す開始ブロック７０１を含む。機能ブロック７０５は、ビデオサンプリングを実行し、コントロールを機能ブロック７０９（例えば、手動操作の機能ブロック）に渡す。機能ブロック７０９は、エンコーダのセットアップを実行させ、コントロールを機能ブロック７１０に渡す。機能ブロック７１０は、第１のエンコーディングパスを実行し、コントロールを機能ブロック７１５に渡す。機能ブロック７１５は、サブサンプリング解析を実行し、コントロールを機能ブロック７２０に渡す。機能ブロック７２０は、複雑性解析を実行し、コントロールを機能ブロック７３０に渡す。機能ブロック７３０は、第２のエンコーディングパスを実行し、コントロールを終了ブロック７４０に渡す。
【００８６】
その一部は上述されている、本発明の多くの付随の利点／特徴の一部をここで説明する。例えば、ある利点／特徴は、１パスのエンコーディングの前に入力イメージデータの少なくとも一部をサブサンプリングすることによって、少なくとも１つのピクチャに関する当該入力イメージデータの当該１パスのエンコーディングを実行するためのマルチパスビデオエンコーダを含む装置である。サブサンプリングは、空間的サブサンプリングおよび時間的サブサンプリングの少なくとも１つである。
【００８７】
他の利点／特徴は、上述したようなマルチパスビデオエンコーダを有する装置であって、当該マルチパスビデオエンコーダが、少なくとも１つのピクチャの少なくとも１つの空間分解能を減少させることによって、入力イメージデータの少なくとも一部を空間的にサブサンプリングする装置である。
【００８８】
他の利点／特徴は、上述したような少なくとも１つのピクチャの少なくとも１つの空間分解能を減少させるマルチパスビデオエンコーダを有する装置であって、当該マルチパスビデオエンコーダが、当該少なくとも１つのピクチャの少なくとも１つを規則的にスキップすることによって、入力イメージデータの少なくとも一部を時間的にサブサンプリングする装置である。
【００８９】
さらに別の利点／特徴は、上述したような少なくとも１つのピクチャの少なくとも１つの空間解像度を減少させるマルチパスビデオエンコーダを有する装置であって、当該マルチパスビデオエンコーダが、当該少なくとも１つのピクチャの少なくとも１つを不規則にスキップすることによって、入力イメージデータの少なくとも一部を時間的にサブサンプリングする装置である。
【００９０】
さらに別の利点／特徴は、上述したようなマルチパスビデオエンコーダを有する装置であって、当該マルチパスビデオエンコーダが、少なくとも１つのピクチャの少なくとも１つをトリミングすることによって、入力イメージデータの少なくとも一部を空間的にサブサンプリングする装置である。
【００９１】
さらに、別の利点／特徴は、上述したような少なくとも１つのピクチャの少なくとも１つをトリミングするマルチパスビデオエンコーダを有する装置であって、当該マルチパスビデオエンコーダが、当該少なくとも１つのピクチャの少なくとも１つを規則的にスキップすることによって、入力イメージデータの少なくとも一部を時間的にサブサンプリングする装置である。
【００９２】
さらに、別の利点／特徴は、上述したような少なくとも１つのピクチャの少なくとも１つをトリミングするマルチパスビデオエンコーダを有する装置であって、当該マルチパスビデオエンコーダが、当該少なくとも１つのピクチャの少なくとも１つを不規則にスキップすることによって、入力イメージデータの少なくとも一部を時間的にサブサンプリングする装置である。
【００９３】
また、別の利点／特徴は、上述したようなマルチパスビデオエンコーダを有する装置であって、当該マルチパスビデオエンコーダが、少なくとも１つのピクチャの少なくとも１つを規則的にスキップすることによって、入力イメージデータの少なくとも一部を時間的にサブサンプリングする装置である。
【００９４】
さらに、別の利点／特徴は、上述したようなマルチパスビデオエンコーダを有する装置であって、当該マルチパスビデオエンコーダが、少なくとも１つのピクチャの少なくとも１つを不規則にスキップすることによって、入力イメージデータの少なくとも一部を時間的にサブサンプリングする装置である。
【００９５】
さらに、別の利点／特徴は、上述したようなマルチパスビデオエンコーダを有する装置であり、当該マルチパスビデオエンコーダは、１パスのエンコーディングからの情報の解析を当該情報の複雑性解析の前に実行し、当該情報は、後続するパスのエンコーディングに使用される。
【００９６】
さらに、別の利点／特徴は、上述したような１パスのエンコーディングからの情報の解析を当該情報の複雑性解析の前に実行するマルチパスビデオエンコーダを有する装置であって、当該複雑性解析の前の１パスのエンコーディングからの情報の解析が、後続するパスのエンコーディングのための入力イメージデータの圧縮パラメータの統計的な推定を提供するために実行される装置である。
【００９７】
さらに、別の利点／特徴は、上述したような１パスのエンコーディングからの情報の解析を当該情報の複雑性解析の前に実行するマルチパスビデオエンコーダを有する装置であり、圧縮パラメータの統計的な推定は、サブサンプリングを伴わない入力イメージデータに関連するものである。
【００９８】
また、別の利点／特徴は、上述したような１パスのエンコーディングからの情報の解析を当該情報の複雑性解析の前に実行するマルチパスビデオエンコーダを有する装置であって、当該情報が、量子化パラメータ、ピクチャ毎のビット、およびピクチャタイプの少なくとも１つを含む装置である。
【００９９】
さらに、別の利点／特徴は、マルチパスビデオエンコーダにおいて使用するための装置である。当該エンコーダは、少なくとも１つのピクチャに関する入力イメージデータの１パスのエンコーディングを少なくとも実行するためのものである。当該装置は、当該１パスのエンコーディングの前に当該入力イメージデータの少なくとも一部をサブサンプリングするためのサブサンプラーを含む。当該サブサンプリングは、空間的サブサンプリングおよび時間的サブサンプリングの少なくとも１つである。
【０１００】
さらに、別の利点／特徴は、上述したようなサブサンプラーを有する装置であって、当該サブサンプラーが、少なくとも１つのピクチャの少なくとも１つの空間分解能を減少させることによって入力イメージデータの少なくとも一部を空間的にサブサンプリングする装置である。
【０１０１】
さらに、別の利点／特徴は、上述したような少なくとも１つのピクチャの少なくとも１つの空間分解能を減少させるサブサンプラーを有する装置であって、当該サブサンプラーが、当該少なくとも１つのピクチャの少なくとも１つを規則的にスキップすることによって入力イメージデータの少なくとも一部を時間的にサブサンプリングする装置である。
【０１０２】
さらに、別の利点／特徴は、上述したような少なくとも１つのピクチャの少なくとも１つの空間分解能を減少させるサブサンプラーを有する装置であって、当該サブサンプラーが、当該少なくとも１つのピクチャの少なくとも１つを不規則にスキップすることによって入力イメージデータの少なくとも一部を時間的にサブサンプリングする装置である。
【０１０３】
また、別の利点／特徴は、上述したようなサブサンプラーを有する装置であって、当該サブサンプラーが、少なくとも１つのピクチャの少なくとも１つをトリミングすることによって入力イメージデータの少なくとも一部を時間的にサブサンプリングする装置である。
【０１０４】
さらに、別の利点／特徴は、上述したような少なくとも１つのピクチャの少なくとも１つをトリミングするサブサンプラーを有する装置であって、当該サブサンプラーが、当該少なくとも１つのピクチャの少なくとも１つを規則的にスキップすることによって入力イメージデータの少なくとも一部を時間的にサブサンプリングする装置である。
【０１０５】
さらに、別の利点／特徴は、上述したような少なくとも１つのピクチャの少なくとも１つをトリミングするサブサンプラーを有する装置であって、当該サブサンプラーが、当該少なくとも１つのピクチャの少なくとも１つを不規則にスキップすることによって入力イメージデータの少なくとも一部を時間的にサブサンプリングする装置である。
【０１０６】
さらに、別の利点／特徴は、上述したようなサブサンプラーを有する装置であって、当該サブサンプラーが、少なくとも１つのピクチャの少なくとも１つを規則的にスキップすることによって入力イメージデータの少なくとも一部を時間的にサブサンプリングする装置である。
【０１０７】
また、別の利点／特徴は、上述したようなサブサンプラーを有する装置であって、当該サブサンプラーが、少なくとも１つのピクチャの少なくとも１つを不規則にスキップすることによって入力イメージデータの少なくとも一部を時間的にサブサンプリングする装置である。
【０１０８】
さらに、別の利点／特徴は、上述したようなサブサンプラーを有する装置であって、１パスのエンコーディングからの情報の解析を当該情報の複雑性解析の前に実行するためのサブサンプリングアナライザをさらに含む装置である。
【０１０９】
さらに、別の利点／特徴は、上述したようなサブサンプラーおよびサブサンプリングアナライザを有する装置であって、１パスのエンコーディングからの情報の解析が、後続するパスのエンコーディングのための入力イメージデータに関する圧縮パラメータの統計的な推定を提供するために、当該情報の複雑性解析の前に実行される装置である。
【０１１０】
さらに、別の利点／特徴は、上述したようなサブサンプラーおよびサブサンプリングアナライザを有する装置であり、圧縮パラメータの統計的な推定は、サブサンプリングを伴わない入力イメージデータに関連するものである。
【０１１１】
また、別の利点／特徴は、上述したようなサブサンプラーおよびサブサンプリングアナライザを有する装置であって、当該情報が、量子化パラメータ、ピクチャ毎のビット、およびピクチャタイプの少なくとも１つを含む装置である。
【０１１２】
本発明の原理のこれらおよび他の特徴は、関連する技術分野の当業者によって本明細書の教示に基づいて容易に解明されるであろう。本発明の原理の教示を、ハードウェア、ソフトウェア、ファームウェア、専用のプロセッサ、またはそれらの組み合わせといった様々な形態で実装することができる。
【０１１３】
本発明の原理の教示は、ハードウェアとソフトウェアとの組み合わせとして実装されることが最も好ましい。さらに、ソフトウェアを、プログラム記憶ユニットにおいて明白に具現化されるアプリケーションプログラムとして実装することができる。アプリケーションプログラムを、任意の適切なアーキテクチャを備えるマシンにロードし、当該マシンによって実行することができる。当該マシンは、好ましくは、１つまたは複数の中央処理装置（ＣＰＵ）、ＲＡＭ、入出力（Ｉ／Ｏ）インタフェースなどのハードウェアを有するコンピュータプラットフォームにおいて実装される。コンピュータプラットフォームには、オペレーティングシステムおよびマイクロインストラクション（ｍｉｃｒｏｉｎｓｔｒｕｃｔｉｏｎ）コードも含めることができる。本明細書において説明された様々なプロセスおよび機能を、ＣＰＵによって実行され得るマイクロインストラクションコードの部分、アプリケーションプログラムの部分、またはそれらの任意の組み合わせいずれかとすることができる。さらに、追加データ記憶装置および印刷装置などの他の様々な周辺ユニットを、当該コンピュータプラットフォームに接続することができる。
【０１１４】
添付の図に示された、構成要素であるシステムコンポーネントおよび方法の一部は、ソフトウェアで実装されるのが好ましいので、システムコンポーネント間の実際の接続またはプロセスの機能ブロックは、本発明の原理がプログラムされる手法に応じて異なる可能性があることをさらに理解されたい。本明細書の教示によると、関連する技術分野の当業者は、本発明の原理のこれらおよび類似する実装または構成を予期することができる。
【０１１５】
本明細書において、例示的な実施形態を、添付の図面を参照して説明してきたが、本発明の原理は、これらの実施形態そのものに限定されず、本発明の原理の範囲または趣旨から逸脱することなく、様々な変更および修正が関連する技術分野の当業者によって達成されるであろう。このような変更および修正の全ては、添付の特許請求の範囲において説明される本発明の原理の範囲内に含まれるように意図されている。
【図１】
2010507983.tif 000005
【図２】
2010507983.tif 000006
【図３】
2010507983.tif 000007
【図４】
2010507983.tif 000008
【図５】
2010507983.tif 000009
【図６】
2010507983.tif 000010
【図７】
2010507983.tif 000011
【国際調査報告】
2010507983.tif 000012
2010507983.tif 000013
2010507983.tif 000014