(57)【要約】映像オブジェクトの特性に基づいてマスクの種類を動的に選択する、映像オブジェクト符号化システム及び方法について記載する。映像オブジェクト符号化システムは、所定の基準を用いて映像オブジェクトを評価するオブジェクト評価システム、及び映像オブジェクトの評価に基づいて映像オブジェクトの複数のマスクの種類の１つを生成するマスク生成システムを有する。
2004538728.tif 000002
【特許請求の範囲】
【請求項１】
映像オブジェクト符号化システムであって：
所定の基準を用いて映像オブジェクトを評価するオブジェクト評価システム；  及び
前記映像オブジェクトの前記評価に基づいて前記映像オブジェクトの複数のマスク種類の１つを生成するマスク生成システムを有することを特徴とするシステム。
【請求項２】
請求項１記載の前記映像オブジェクト符号化システムであって、前記複数のマスク種類が：
ピクセル・ベース・マスク；
バウンディング・ボックス・マスク；  及び
マクロブロック・ベース・マスクを有することを特徴とするシステム。
【請求項３】
請求項１記載の前記映像オブジェクト符号化システムであって、前記所定の基準が前記映像オブジェクトの形状を検査することを特徴とするシステム。
【請求項４】
請求項１記載の前記映像オブジェクト符号化システムであって、前記所定の基準が前記映像オブジェクトのテクスチャを検査することを特徴とするシステム。
【請求項５】
請求項１記載の前記映像オブジェクト符号化システムであって、前記所定の基準が前記映像オブジェクトに関する動き情報を検査することを特徴とするシステム。
【請求項６】
請求項３記載の前記映像オブジェクト符号化システムであって、前記所定の基準は、前記映像オブジェクト形状が有意に円形であるかどうかを有することを特徴とするシステム。
【請求項７】
請求項３記載の前記映像オブジェクト符号化システムであって、前記所定の基準は、前記映像オブジェクト形状の区域が生成されたバウンディング・ボックスの区域と有意に相似であるかどうかを有することを特徴とするシステム。
【請求項８】
請求項７記載の前記映像オブジェクト符号化システムであって、前記所定の基準は、前記映像オブジェクトについて生成されたマクロブロック・ベース形状の区域が前記生成されたバウンディング・ボックスの前記区域と有意に相似であるかどうかを有することを特徴とするシステム。
【請求項９】
請求項８記載の前記映像オブジェクト符号化システムであって、前記所定の基準は、マクロブロック・ベース形状の前記区域が前記映像オブジェクト形状の前記区域より大きいかどうかを有することを特徴とするシステム。
【請求項１０】
請求項１記載の前記映像オブジェクト符号化システムであって、さらにMPEG-4符号器を有することを特徴とするシステム。
【請求項１１】
記録可能媒体上に格納された、実行時に映像オブジェクトを符号化するプログラム製品であって：
所定の基準を用いて映像オブジェクトを評価するよう構成されたプログラム・コード；  及び
前記映像オブジェクトについて複数のマスク種類の１つを前記映像オブジェクトの前記評価に基づいて生成するよう構成されたプログラム・コードを有することを特徴とするプログラム製品。
【請求項１２】
請求項１１記載のプログラム製品であって、前記複数のマスク種類が：
ピクセル・ベース・マスク；
バウンディング・ボックス・マスク；  及び
マクロブロック・ベース・マスクを有することを特徴とするプログラム製品。
【請求項１３】
請求項１１記載のプログラム製品であって、前記所定の基準が前記映像オブジェクトの形状を検査することを特徴とするプログラム製品。
【請求項１４】
請求項１１記載のプログラム製品であって、前記所定の基準が前記映像オブジェクトのテクスチャを検査することを特徴とするプログラム製品。
【請求項１５】
請求項１１記載のプログラム製品であって、前記所定の基準が前記映像オブジェクトに関する動き情報を検査することを特徴とするプログラム製品。
【請求項１６】
請求項１３記載のプログラム製品であって、前記所定の基準は、前記映像オブジェクト形状が有意に円形かどうかを有することを特徴とするプログラム製品。
【請求項１７】
請求項１３記載のプログラム製品であって、前記所定の基準は、前記映像オブジェクト形状の区域が生成されたバウンディング・ボックスの区域と有意に相似であるかどうかを有することを特徴とするプログラム製品。
【請求項１８】
請求項１７記載のプログラム製品であって、前記所定の基準は、前記映像オブジェクトについて生成されたマクロブロック・ベース形状の区域が前記生成されたバウンディング・ボックスの前記区域と有意に相似であるかどうかを有することを特徴とするプログラム製品。
【請求項１９】
請求項１８記載のプログラム製品であって、前記所定の基準は、マクロブロック・ベース形状の前記区域が前記映像オブジェクト形状の前記区域よりも大きいかどうかを有することを特徴とするプログラム製品。
【請求項２０】
オブジェクト・ベースの映像通信システムにおける映像オブジェクト符号化の方法であって：
所定の基準を用いて映像オブジェクトを評価する工程；  及び
前記映像オブジェクトの複数のマスク種類の１つを前記映像オブジェクトの前記評価に基づいて生成する工程を有することを特徴とする方法。
【請求項２１】
請求項２０記載の方法であって、前記複数のマスク種類が：
ピクセル・ベース・マスク；
バウンディング・ボックス・マスク；  及び
マクロブロック・ベース・マスクを有することを特徴とする方法。
【請求項２２】
請求項２０記載の方法であって、前記所定の基準が前記映像オブジェクトの形状を検査することを特徴とする方法。
【請求項２３】
請求項２０記載の方法であって、前記所定の基準が前記映像オブジェクトのテクスチャを検査することを特徴とする方法。
【請求項２４】
請求項２０記載の方法であって、前記所定の基準が前記映像オブジェクトに関する動き情報を検査することを特徴とする方法。
【請求項２５】
請求項２２記載の方法であって、前記評価する工程は、前記形状が有意に円形であるかを検査する工程を有することを特徴とする方法。
【請求項２６】
請求項２２記載の方法であって、前記評価する工程は：
バウンディング・ボックスを生成する工程；  及び
前記オブジェクト形状の区域が前記生成されたバウンディング・ボックスの区域と有意に相似であるかを判定する工程を有することを特徴とする方法。
【請求項２７】
請求項２６記載の方法であって、前記評価する工程は：
マクロブロック・ベース形状を生成する工程；  及び
前記マクロブロック・ベース形状の区域が前記生成されたバウンディング・ボックスの前記区域と有意に相似であるかを判定する工程を有することを特徴とする方法。
【請求項２８】
請求項２７記載の方法であって、前記評価する工程はマクロブロック・ベース形状の前記区域が前記オブジェクト形状の前記区域よりも大きいかどうかを判定する工程を有することを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像通信システムにおけるオブジェクト・ベース符号化、特にオブジェクト・ベース符号化環境においてマスクを選択するシステム及び方法に関するものである。
【背景技術】
【０００２】
パーソナル・コンピューティング及びインターネットの出現によって、ディジタル・データ、特にディジタル映像データ、の伝送に対する莫大な需要が創出された。しかしながら、電話線のような低容量通信チャネルによって映像データを伝送する能力は依然として、継続した課題のままである。
【０００３】
この課題に対応するよう、映像信号の符号化された表現を、各々が独立して符号化及び操作し得る、映像の、要素すなわちオブジェクト、に分解するシステムが開発されている。例えば、MPEG-4はエムペグ(MPEG)によって開発された圧縮標準で、映像オブジェクトを操作するものである。各々の映像オブジェクトは、別々に符号化される、形状、動き及びテクスチャ情報の形態による、時間及び空間情報によって特徴付けられる。
【０００４】
映像オブジェクトの時間におけるインスタンスは映像オブジェクト・プレーン（VOP）と呼ばれるものである。この種の表現を用いることによって、拡張されたオブジェクト操作、ビット・ストリーム編集、オブジェクト・ベースのスケーラビリティー、などを可能にする。それぞれのVOPはテクスチャ及び形状表現によって完全に説明し得る。当該形状情報は、2値形状マスク、アルファ・プレーン、あるいは、透明なオブジェクトにおける多値形状として表現し得る。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
アルファ・プレーンにおいて映像オブジェクトを符号化するよう捕捉するには、オブジェクトの形状に整合する、あるいは近似する、形状マスクが用いられる。オブジェクト・ベースの符号化で、アルファ・プレーンにおいて一般に用いられるマスクには：
（１）ピクセル・レベルにおいてオブジェクトにぴったりと整合する任意の形状（すなわち、ピクセル・ベース・マスク）;
（２）オブジェクト形状の境界を示すバウンディング・ボックス（例えば、長方形）；又は
（３）マクロブロック・ベース・マスクがある。
オブジェクトの形状及び複雑性によって、各マスク種類を実現するビット・レート要求は変わり得る。さらに、1つのマスク種類は形状符号化により少ないビット数を必要とし得る一方、同一のマスク種類はテクスチャ符号化にはより多くのビット数を必要とする結果をもたらし得る。
【０００６】
したがって、ビット・レート節約を最大化するのに最善のマスクを自動選択し得るシステムに対するニーズが存在する。
【課題を解決するための手段】
【０００７】
本発明は、上記及び他のニーズを、オブジェクトの実際の特性（例えば、符号化された形状、テクスチャ及び動き情報）に基づいて最善のマスクを動的に選択する映像オブジェクト符号化システムを設けることによって、解決するものである。
【発明を実施するための最良の形態】
【０００８】
本発明の第１の特徴は、所定の基準を用いて映像オブジェクトを評価するオブジェクト評価システム、及び映像オブジェクトの評価に基づいて映像オブジェクトの複数のマスク種類の１つを生成するマスク生成システムを有する映像オブジェクト符号化システムを設けるものである。
【０００９】
本発明の第２の特徴は、所定の基準を用いて映像オブジェクトを評価するよう構成されたプログラム・コード、及び映像オブジェクトの評価に基づいて映像オブジェクトの複数のマスクの種類の１つを生成するよう構成されたプログラム・コードを有し、実行時に、映像オブジェクトを符号化する、記録可能な媒体に格納されたプログラム製品を設けるものである。
【００１０】
本発明の第３の特徴は、所定の基準を用いて映像オブジェクトを評価する工程、及び映像オブジェクトの評価に基づいて映像オブジェクトの複数のマスク種類の１つを生成する工程を有する、オブジェクト・ベースの映像通信システムにおいて映像オブジェクトを符号化する方法を設けるものである。
【実施例】
【００１１】
次に、参照図面によれば、図１は映像データ２７からの映像オブジェクト２６を符号化されたオブジェクト２８に符号化するオブジェクト符号化システム１０を表したものである。映像オブジェクトは、オブジェクト符号化システム１０によって複数のマスク種類から選択された種類のマスクを用いて、映像データから隔離される。適切なマスク種類を選択するよう、オブジェクト符号化システム１０は、映像オブジェクトの特性を評価するオブジェクト評価システム１２、選択された種類のマスクを生成するマスク生成システム１４、及び該生成されたマスクを用いて映像オブジェクトを符号化するオブジェクト符号器１６を有する。オブジェクト符号化システム１０はスタンドアロン型システムとして実現し得る、あるいは、MPEG-4符号器のような、より大きなシステムに組み入れ得ることを特筆する。
【００１２】
この好適実施例によれば、当該符号化処理過程においては、いくつかの異なったマスク種類１７、１９、２１の何れか１つを利用し得る。オブジェクト符号化システム１０は映像オブジェクト２６の特性に基づいて入力された映像オブジェクト２６について生成される最善のマスク種類を判定する。活用する最善のマスクの種類を判定するよう、オブジェクト評価システム１２は映像オブジェクトの特性を評価するのに用い得る１つ以上の基準１１、１３、１５を設けるものである。図１に表された実施例においては、オブジェクト評価システム１２は、形状基準１１、テクスチャ基準１３、及び動き基準１５を有する、３つの異なった、基準の区分を設けるものである。したがって、映像オブジェクト２６が符号化を必要とする場合、その形状、テクスチャ及び/又は動き特性は形状評価システム１２によって評価し得、及びその評価に基づいて、マスク種類が選択される。
【００１３】
形状基準１１、テクスチャ基準１３及び動き基準１５は映像オブジェクト２６を分類するのに役立つテンプレート又は指針を設けるものである。当該分類に基づいて、オブジェクトを符号化するのに最善のマスク種類はマスク生成システム１４によって選択及びさらに生成し得る。例えば、もし形状基準１１が映像オブジェクト２６を評価するのに用いられた場合、映像オブジェクト２６に符号化された形状情報はオブジェクトを分類するよう評価されるものである（例えば、有意に円形である、有意に正方形である、など。）。形状が分類されると、必要となる結果、すなわち、ビット・レート効率と表現の正確性の、ある所定のバランスを設けるよう、適切なマスク種類を用い得る。同様に、テクスチャ基準１３が用いられた場合、映像オブジェクト２６に符号化されたテクスチャ情報が評価され、及び、動き基準１５が用いられた場合、映像オブジェクト２６に符号化された動き情報が評価されるものである。他の基準も同様に利用することが可能であり、及びそのような他の基準がこの発明の範囲に入るものであることも特筆する。
【００１４】
マスク生成システム１４はオブジェクト評価システム１２の処理結果に基づいて適切なマスク種類を生成する。図１に表された実施例においては、ピクセル・ベース・マスク１７、バウンディング・ボックス・マスク１９及びマクロブロック・ベース・マスク２１を有する、３つのマスクの種類が例示されている。これらのマスク種類のそれぞれ、及びここに表されていないほかの種類のものは、ビット・レート効率及び表現の正確性の異なったレベルを設けるものである。したがって、異なったマスク種類を、異なった所定の性能要求を満たすよう用い得る。図１に記載されたそれぞれのマスク種類は当業者において周知のものであり、及び、したがって、更なる詳細は説明しないものとする。
【００１５】
マスク生成システム１４が必要となる結果を達成するのに最善のマスク種類を選択した後、該選択されたマスク２４が生成され、及びオブジェクト符号器１６に供給され、該オブジェクト符号器１６は映像オブジェクト２６を受け取り、該オブジェクトは符号化され、及び符号化されたオブジェクト２８が出力される。（例えば、MPEG-4によって教示されたような）マスクを用いてオブジェクトを符号化する処理手順は又、当業者において周知のものであり、及び、したがって、詳細には説明しないものとする。
【００１６】
次に図２を参照すれば、形状基準１１が、映像オブジェクトを評価し、かつ、マスク種類を選択する例について表されている。この例示の場合においては、第１工程では、オブジェクト形状が有意に円形であるかを判定する（３２）。該形状が有意に円形であれば、ピクセル・ベース・マスクが用いられる（３４）。該オブジェクト形状が有意に円形でない場合、バウンディング・ボックス（すなわち、当該オブジェクトを捕捉する四角形のボックス）が生成される（３６）。次に、該生成されたバウンディング・ボックスの区域が当該オブジェクト形状の区域に有意に近いかを判定する（３８）。当該バウンディング・ボックスの区域が当該オブジェクト形状の区域に有意に近くない場合、ピクセル・ベース・マスクが用いられる（３４）。有意に近い場合は、マクロブロック・ベース形状（すなわち、オブジェクトを捕捉する１６×１６のピクセル・ブロックのコレクション）が生成される（３７）。
【００１７】
次に、該生成されたマクロブロック・ベース形状の区域が当該バウンディング・ボックスの区域に有意に近いかどうかを判定する（４０）。有意に近くない場合、バウンディング・ボックス・マスクが用いられる（４２）。有意に近い場合、当該マクロブロック・ベース形状の区域が当該実際のオブジェクトの区域より有意に大きいかどうかが判定される（４４）。有意に大きい場合、当該バウンディング・ボックス・マスクが用いられる（４２）。有意に大きくない場合、マクロブロック・ベース・マスクが用いられる（４６）。
【００１８】
図２に表されたロジックは、オブジェクトの形状を評価するよう用い得る多くの考えられる基準の１つを設けるものであることを特筆する。
【００１９】
さらに、本明細書及び特許請求の範囲に記載された、システム、機能、方法、及びモジュールは、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの組み合わせによって実現し得る。それらは、本明細書及び特許請求の範囲に記載された方法を実行するよう形成されたコンピュータ・システム又は他の装置のどれによっても実現し得るものである。ハードウェアとソフトウェアとの典型的な組み合わせとしては、コンピュータ・プログラムを有していて、該プログラムがロード及び実行された時、本明細書及び特許請求の範囲に記載された方法を実行するようなコンピュータ・システムを制御する汎用コンピュータ・システムが有り得る。また、本発明の機能的タスクの１つ以上を実行する専用ハードウェアを有する特定用途向けコンピュータを利用し得る。本発明はさらに、本明細書及び特許請求の範囲に記載された方法及び機能の実現を可能にする全ての特徴を有し、及び、コンピュータ・システムにロードされた時、これらの方法及び機能を実行することが可能となる、コンピュータ・プログラム製品に組み込み得る。本発明に関する、コンピュータ・プログラム、ソフトウェア・プログラム、プログラム、プログラム製品、又はソフトウェアは、情報処理能力を有するシステムに、直接に、あるいは下記の何れか又は両方の後、の何れかに、特定の機能を実行させるよう企図された一連の命令の、何らかの言語、コード又は表記による、何らかの表現を意味するものである：
（ａ）他の言語、コード又は表記への変換；及び/又は
（ｂ）異なった題材形態による再生。
【００２０】
上記の本発明の好適実施例は図示及び説明の目的で記載されたものである。それらは、完全な記載、あるいは、開示されたまさにその形態に本発明を制限すること、を予定したものではなく、及び上記記載の観点から多くの変更例及び変形例が可能であることは自明である。そのような、当業者に明白な変更例及び変形例は、本発明の特許請求の範囲に記載の請求項の範囲に入ることを予定したものである。
【図面の簡単な説明】
【００２１】
【図１】本発明の好適実施例によるオブジェクト符号化システムの機能図である。
【図２】本発明による形状基準の系統線を例示する図である。
【図１】
2004538728.tif 000003
【図２】
2004538728.tif 000004
【国際公開パンフレット】
2004538728.tif 000005
2004538728.tif 000006
2004538728.tif 000007
2004538728.tif 000008
2004538728.tif 000009
2004538728.tif 000010
2004538728.tif 000011
2004538728.tif 000012
2004538728.tif 000013
2004538728.tif 000014
2004538728.tif 000015
2004538728.tif 000016
【国際公開パンフレット（コレクトバージョン）】
2004538728.tif 000017
【国際調査報告】
2004538728.tif 000018
2004538728.tif 000019