(57)【要約】【課題】シンプルプロファイルのデータとコアプロファイルのデータとの間に互換性を持たせて、復号化処理におけるデータ量削減や再符号化の処理負荷の低減をすることができる画像処理装置及び画像処理方法を提供する。【解決手段】埋め込み情報分離部２０１で、任意形状のオブジェクトデータを含む画像データの符号化データであって、オブジェクトデータの形状データを所定のブロック単位で電子透かしによって埋め込んだ符号化データから形状データが抽出される。そして、ブロック判定部２０３によって判定される形状データが抽出されたブロックについて、ビデオ復号化部２０２でその符号化データを復号化してオブジェクトデータを獲得する。また、獲得されたオブジェクトデータはビデオ出力部２０４で出力される。【選択図】　図２
2004080096.tif 000002
【特許請求の範囲】
【請求項１】
画像データを入力する入力手段と、
前記画像データを符号化して符号化データを生成する符号化手段と、
前記画像データから任意形状のオブジェクトを抽出し、オブジェクトの形状データを生成する形状データ生成手段と、
前記形状データを電子透かしによって前記符号化データに埋め込む埋め込み手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記符号化手段が、前記画像データを所定サイズのブロック単位に符号化し、
前記埋め込み手段が、前記形状データに基づいて、それぞれのブロック内に前記オブジェクトデータが存在する場合と存在しない場合とで、該ブロック内の高周波成分の符号化係数に１ビットの差を与える
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
任意形状のオブジェクトの形状データを所定のブロック単位で電子透かしによって埋め込んだ画像の符号化データを入力する入力手段と、
前記符号化データから前記形状データを抽出する抽出手段と、
前記形状データが抽出されたブロックについて、前記符号化データを復号化してオブジェクトの画像データを獲得する復号化手段と、
オブジェクトの画像データを出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項４】
任意形状のオブジェクトの形状データを所定のブロック単位で電子透かしによって埋め込んだ画像の符号化データを入力する入力手段と、
前記符号化データから前記形状データを抽出する抽出手段と、
前記形状データが抽出されたブロックについて、前記符号化データを復号化してオブジェクトの画像データを獲得する復号化手段と、
前記形状データに基づいて、前記オブジェクトの画像データと形状データを符号化する符号化手段と
を備えることを特徴とする画像処理装置。
【請求項５】
任意形状のオブジェクトデータの形状データを所定のブロック単位で電子透かしによって埋め込んだ画像の符号化データを入力する入力手段と、
前記符号化データから前記形状データを抽出する抽出手段と、
前記形状データが抽出されたブロックについて、前記符号化データを復号化してオブジェクトの画像データを獲得する復号化手段と、
前記形状データと復号化された前記オブジェクトの画像データとを入力し、該形状データの輪郭を抽出し、前記形状データを抽出された前記輪郭に基づいて変形する形状データ変形手段と、
変形された前記形状データに基づいて、復号化されたオブジェクトの画像データと形状データを符号化する符号化手段と
を備えることを特徴とする画像処理装置。
【請求項６】
前記任意形状のオブジェクトの形状データを含む画像データの符号化データが、請求項１又は２に記載の画像処理装置によって生成されたことを特徴とする請求項３から５までのいずれか１項に記載の画像処理装置。
【請求項７】
前記形状データが、複数の画素単位に与えられる１ビットの情報であることを特徴とする請求項１から６までのいずれか１項に記載の画像処理装置。
【請求項８】
前記複数の画素が、符号化処理時の処理単位である画素群であることを特徴とする請求項７記載の画像処理装置。
【請求項９】
前記符号化手段が、ＭＰＥＧ−４のシンプルプロファイルに準拠して符号化することを特徴とする請求項１、２、４、５のいずれか１項に記載の画像処理装置。
【請求項１０】
前記復号化手段が、ＭＰＥＧ−４のシンプルプロファイルに準拠して復号化することを特徴とする請求項３から５までのいずれか１項に記載の画像処理装置。
【請求項１１】
前記符号化手段が、ＭＰＥＧ−４のコアプロファイルに準拠して符号化することを特徴とする請求項４又は５に記載の画像処理装置。
【請求項１２】
画像データを符号化して符号化データを生成する符号化工程と、
前記画像データから任意形状のオブジェクトを抽出し、オブジェクトの形状データを生成する形状データ生成工程と、
前記形状データを電子透かしによって前記符号化データに埋め込む埋め込み工程と
を有することを特徴とする画像処理方法。
【請求項１３】
前記符号化工程が、前記画像データを所定サイズのブロック単位に符号化し、
前記埋め込み工程が、前記形状データに基づいて、それぞれのブロック内に前記オブジェクトデータが存在する場合と存在しない場合とで、該ブロック内の高周波成分の符号化係数に１ビットの差を与える
ことを特徴とする請求項１２記載の画像処理方法。
【請求項１４】
任意形状のオブジェクトの形状データを所定のブロック単位で電子透かしによって埋め込んだ画像の符号化データから前記形状データを抽出する抽出工程と、
前記形状データが抽出されたブロックについて、前記符号化データを復号化してオブジェクトの画像データを獲得する復号化工程と
を有することを特徴とする画像処理方法。
【請求項１５】
任意形状のオブジェクトの形状データを所定のブロック単位で電子透かしによって埋め込んだ画像の符号化データから前記形状データを抽出する抽出工程と、
前記形状データが抽出されたブロックについて、前記符号化データを復号化してオブジェクトの画像データを獲得する復号化工程と、
前記形状データに基づいて、前記オブジェクトの画像データと形状データを符号化する符号化工程と
を有することを特徴とする画像処理方法。
【請求項１６】
任意形状のオブジェクトデータの形状データを所定のブロック単位で電子透かしによって埋め込んだ画像の符号化データから前記形状データを抽出する抽出工程と、
前記形状データが抽出されたブロックについて、前記符号化データを復号化してオブジェクトの画像データを獲得する復号化工程と、
前記形状データと復号化された前記オブジェクトの画像データとを入力し、該形状データの輪郭を抽出し、前記形状データを抽出された前記輪郭に基づいて変形する形状データ変形工程と、
変形された前記形状データに基づいて、復号化されたオブジェクトの画像データと形状データを符号化する符号化工程と
を有することを特徴とする画像処理方法。
【請求項１７】
前記任意形状のオブジェクトの形状データを含む画像データの符号化データが、請求項１２又は１３に記載の画像処理方法によって生成されたことを特徴とする請求項１４から１６までのいずれか１項に記載の画像処理方法。
【請求項１８】
前記形状データが、複数の画素単位に与えられる１ビットの情報であることを特徴とする請求項１２から１７までのいずれか１項に記載の画像処理方法。
【請求項１９】
前記複数の画素が、符号化処理時の処理単位である画素群であることを特徴とする請求項１８記載の画像処理方法。
【請求項２０】
前記符号化工程が、ＭＰＥＧ−４のシンプルプロファイルに準拠して符号化することを特徴とする請求項１２、１３、１５、１６のいずれか１項に記載の画像処理方法。
【請求項２１】
前記復号化工程が、ＭＰＥＧ−４のシンプルプロファイルに準拠して復号化することを特徴とする請求項１４から１６までのいずれか１項に記載の画像処理方法。
【請求項２２】
前記符号化工程が、ＭＰＥＧ−４のコアプロファイルに準拠して符号化することを特徴とする請求項１５又は１６に記載の画像処理方法。
【請求項２３】
コンピュータに、
画像データを符号化して符号化データを生成する符号化手順と、
前記画像データから任意形状のオブジェクトを抽出し、オブジェクトの形状データを生成する形状データ生成手順と、
前記形状データを電子透かしによって前記符号化データに埋め込む埋め込み手順と
を実行させるためのプログラム。
【請求項２４】
コンピュータに、
任意形状のオブジェクトの形状データを所定のブロック単位で電子透かしによって埋め込んだ画像の符号化データから前記形状データを抽出する抽出手順と、前記形状データが抽出されたブロックについて、前記符号化データを復号化してオブジェクトの画像データを獲得する復号化手順と
を実行させるためのプログラム。
【請求項２５】
コンピュータに、
任意形状のオブジェクトの形状データを所定のブロック単位で電子透かしによって埋め込んだ画像の符号化データから前記形状データを抽出する抽出手順と、前記形状データが抽出されたブロックについて、前記符号化データを復号化してオブジェクトの画像データを獲得する復号化手順と、
前記形状データに基づいて、前記オブジェクトの画像データと形状データを符号化する符号化手順と
を実行させるためのプログラム。
【請求項２６】
コンピュータに、
任意形状のオブジェクトデータの形状データを所定のブロック単位で電子透かしによって埋め込んだ画像の符号化データから前記形状データを抽出する抽出手順と、
前記形状データが抽出されたブロックについて、前記符号化データを復号化してオブジェクトの画像データを獲得する復号化手順と、
前記形状データと復号化された前記オブジェクトの画像データとを入力し、該形状データの輪郭を抽出し、前記形状データを抽出された前記輪郭に基づいて変形する形状データ変形手順と、
変形された前記形状データに基づいて、復号化されたオブジェクトの画像データと形状データを符号化する符号化手順と
を実行させるためのプログラム。
【請求項２７】
請求項２３から２６までのいずれか１項に記載のプログラムを格納することを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像に含まれる任意形状のオブジェクトの符号化又は復号化を行う画像処理装置及び画像処理方法に関する。
【０００２】
【従来の技術】
動画像の符号化方式として、これまでに様々なものが、国際標準規格として制定されている。例えば、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｏｒｇａｎｉｚａｔｉｏｎ　ｆｏｒ　Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ：国際標準化機構）のＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｃｏｄｉｎｇ　Ｅｘｐａｒｔｓ　Ｇｒｏｕｐ）−１、ＭＰＥＧ−２、ＭＰＥＧ−４等がよく知られている。
【０００３】
ＭＰＥＧ−４は、従来の一般的な矩形形状をした画像の符号化だけでなく、その画像内に含まれている任意形状の画像の符号化にも対応している。すなわち、ＭＰＥＧ−４ではいくつかのプロファイルが定義されており、シンプルプロファイルでは、矩形形状の画像データのみ扱うことが可能であるが、コアプロファイルでは、任意形状の画像データを扱うことも可能である。
【０００４】
ここで、矩形形状の画像データの従来の符号化・復号化方式と、その中に含まれる任意形状の画像データ（以下、「オブジェクト」と称す。）の従来の符号化・復号化方式について、図面を用いて簡単に説明する。
【０００５】
図１５は、従来技術による矩形形状の画像データのビデオ符号化を行う画像処理装置の構成の一例を示すブロック図である。まず、ビデオ入力部１５０１は、カメラやファイル等を介して一般的な矩形形状の画像データを入力し、必要に応じてフォーマット変換を行い、ビデオ符号化部１５０２への出力を行う部分である。そして、ビデオ符号化部１５０２は、入力したデジタル画像データをいくつかの小領域にブロック分割し、ブロック毎の符号化処理を行う。例えば、ビデオ符号化部１５０２は、ＤＣＴ（離散コサイン変換）、量子化、可変長符号化等の処理を行ってビットストリームを出力する。
【０００６】
図１６は、従来技術による任意形状の画像データのビデオ符号化を行う画像処理装置の構成の一例を示すブロック図である。図１６において、ビデオ入力部１５０１の処理は前述した図１５におけるビデオ入力部１５０１と同じ処理である。そして、図１６では、オブジェクトと背景を分離するためのオブジェクト抽出部１６０１がさらに追加されている。例えば、オブジェクトの抽出方法は、初期輪郭を与えてその輪郭線を追跡する方式や、背景画像との差分によって抽出する方式等がよく知られている。オブジェクトの抽出を行うことによって、形状データが得られる。ここで、形状データとは、その位置がオブジェクトの画素であるか否かを示す２値データである。尚、形状データはマスクデータとも呼ばれる。
【０００７】
また、ビデオオブジェクト符号化部１６０２には、オブジェクト抽出部１６０１から画像データと形状データの両方が入力され、画像データと形状データのそれぞれを符号化する。図１３は、ＭＰＥＧ−４におけるコアプロファイルに対応した任意形状ビデオ符号化処理を行う装置の細部構成を示すブロック図である。通常、ＭＰＥＧ−４におけるこの処理は、マクロブロック毎に行われる。マクロブロックとは、画面を小領域に分割した処理単位であり、例えば、輝度データと形状データが１６×１６画素、色差データが８×８画素で構成されている。
【０００８】
図１７は、従来技術による矩形形状の画像データのビデオ復号化を行う画像処理装置の構成の一例を示すブロック図である。まず、ビデオ復号化部１７０１は、入力されたビットストリームの可変長復号化、逆量子化、逆ＤＣＴ等の処理を行って画像データを出力する。そして、ビデオ出力部１７０２では、ビデオ復号化部１７０１から出力されたデータをＲＧＢの色変換等を行ってディスプレイ等に表示する。
【０００９】
図１８は、従来技術による任意形状の画像データのビデオ復号化を行う画像処理装置の構成の一例を示すブロック図である。まず、ビデオオブジェクト復号化部１８０１は、入力されたビットストリームの復号を行う。図１４は、ＭＰＥＧ−４におけるコアプロファイルに対応した任意形状ビデオ復号化処理を行う装置の細部構成を示すブロック図である。上述した符号化処理時と同様に、処理の単位はマクロブロックである。そして、任意形状の復号化処理においては、オブジェクトの画像データの他に、オブジェクトの形状データも併せて復号化される。
【００１０】
一方、オブジェクト合成部１８０２では、復号化されたオブジェクトデータと背景データの合成を行う。尚、符号化処理時とは別の背景を用意しておき、復号化処理時に合成する場合は、背景画像を新たに入力して形状データに基づいて、画素単位で背景画像とオブジェクト画像の選択を行う。ここで、背景画像がない場合は、オブジェクト以外の部分を黒とする等の処理を行う。このようにして合成された画像データは、図１７の画像処理装置と同様に、ビデオ出力部１７０１でディスプレイ等に表示される。
【００１１】
上述したように、ＭＰＥＧ−４によるビデオの符号化処理では、シンプルプロファイルとして、図１５、１７に示すような矩形形状の画像データの符号化・復号化処理や、コアプロファイルとして、図１６、１８に示すような任意形状の画像データの符号化・復号化処理のいずれの構成を取ることも可能である。また、シンプルプロファイルで符号化したデータは、コアプロファイルで復号化することが可能である。尚、ＭＰＥＧ−４に関する詳細は、工業調査会発行、三木編著、「ＭＰＥＧ−４のすべて」に記載されている。
【００１２】
【発明が解決しようとする課題】
しかしながら、上述した図１５から図１８までの画像処理装置を組み合わせた場合であっても、コアプロファイルで符号化したデータはシンプルプロファイルで復号化することができないという問題がある。
【００１３】
また、シンプルプロファイルとコアプロファイルでは、コアプロファイルの処理の方が負荷が重い。従って、ＣＰＵの能力の低い装置による復号化処理ではシンプルプロファイルの利用が考えられるが、扱われるデータ量は、シンプルプロファイルでは全画面のデータ処理をするためにシンプルプロファイルの方が多くなってしまう。
【００１４】
従って、シンプルプロファイルのままで、コアプロファイルのように一部のブロックの処理を省くことができれば、復号化処理として大きなメリットになると考えられる。また、シンプルプロファイルの画像データを復号化してコアプロファイルに再符号化する際も、オブジェクトの形状データを保有していれば、再符号化時のオブジェクト抽出処理を簡略化することができる。
【００１５】
本発明は、このような事情を考慮してなされたものであり、シンプルプロファイルのデータとコアプロファイルのデータとの間に互換性を持たせて、復号化処理におけるデータ量削減や再符号化の処理負荷の低減をすることができる画像処理装置及び画像処理方法を提供することを目的とする。
【００１６】
【課題を解決するための手段】
上記課題を解決するために、本発明に係る画像処理装置は、画像データを入力する入力手段と、前記画像データを符号化して符号化データを生成する符号化手段と、前記画像データから任意形状のオブジェクトを抽出し、オブジェクトの形状データを生成する形状データ生成手段と、前記形状データを電子透かしによって前記符号化データに埋め込む埋め込み手段とを備えることを特徴とする。
【００１７】
また、本発明に係る画像処理装置は、前記符号化手段が、前記画像データを所定サイズのブロック単位に符号化し、前記埋め込み手段が、前記形状データに基づいて、それぞれのブロック内に前記オブジェクトデータが存在する場合と存在しない場合とで、該ブロック内の高周波成分の符号化係数に１ビットの差を与えることを特徴とする。
【００１８】
さらに、本発明に係る画像処理装置は、任意形状のオブジェクトの形状データを所定のブロック単位で電子透かしによって埋め込んだ画像の符号化データを入力する入力手段と、前記符号化データから前記形状データを抽出する抽出手段と、前記形状データが抽出されたブロックについて、前記符号化データを復号化してオブジェクトの画像データを獲得する復号化手段と、オブジェクトの画像データを出力する出力手段とを備えることを特徴とする。
【００１９】
さらにまた、本発明に係る画像処理装置は、任意形状のオブジェクトの形状データを所定のブロック単位で電子透かしによって埋め込んだ画像の符号化データを入力する入力手段と、前記符号化データから前記形状データを抽出する抽出手段と、前記形状データが抽出されたブロックについて、前記符号化データを復号化してオブジェクトの画像データを獲得する復号化手段と、前記形状データに基づいて、前記オブジェクトの画像データと形状データを符号化する符号化手段とを備えることを特徴とする。
【００２０】
さらにまた、本発明に係る画像処理装置は、任意形状のオブジェクトデータの形状データを所定のブロック単位で電子透かしによって埋め込んだ画像の符号化データを入力する入力手段と、前記符号化データから前記形状データを抽出する抽出手段と、前記形状データが抽出されたブロックについて、前記符号化データを復号化してオブジェクトの画像データを獲得する復号化手段と、前記形状データと復号化された前記オブジェクトの画像データとを入力し、該形状データの輪郭を抽出し、前記形状データを抽出された前記輪郭に基づいて変形する形状データ変形手段と、変形された前記形状データに基づいて、復号化されたオブジェクトの画像データと形状データを符号化する符号化手段とを備えることを特徴とする。
【００２１】
さらにまた、本発明に係る画像処理装置は、前記形状データが、複数の画素単位に与えられる１ビットの情報であることを特徴とする。
【００２２】
さらにまた、本発明に係る画像処理装置は、前記複数の画素が、符号化処理時の処理単位である画素群であることを特徴とする。
【００２３】
さらにまた、本発明に係る画像処理装置は、前記符号化手段が、ＭＰＥＧ−４のシンプルプロファイルに準拠して符号化することを特徴とする。
【００２４】
さらにまた、本発明に係る画像処理装置は、前記復号化手段が、ＭＰＥＧ−４のシンプルプロファイルに準拠して復号化することを特徴とする。
【００２５】
さらにまた、本発明に係る画像処理装置は、前記符号化手段が、ＭＰＥＧ−４のコアプロファイルに準拠して符号化することを特徴とする。
【００２６】
【発明の実施の形態】
以下、図面を参照して、本発明の好適な実施の形態について詳細に説明する。
【００２７】
＜第１の実施形態＞
本発明の第１の実施形態について、図１、６を用いて説明する。
【００２８】
図１は、本発明の第１の実施形態におけるビデオ符号化を行う画像処理装置の細部構成を示すブロック図である。ビデオ入力部１０１の処理は、上述した図１５におけるビデオ入力部１５０１と同じである。ビデオ入力部１０１から出力されたデジタルビデオデータは、ビデオ符号化部１０２とオブジェクト抽出部１０３にそれぞれ入力される。ビデオ符号化部１０２は、図１５におけるビデオ符号化部１５０２の処理と全く同じ処理を行う。従って、ビデオ符号化部１０２からは、シンプルプロファイルで符号化したビットストリームは、埋め込み情報合成部１０４に対してそのまま出力される。
【００２９】
オブジェクト抽出部１０３は、入力した画像データからオブジェクトを抽出し、その結果を形状データとして出力する。この形状データは、埋め込み情報合成部１０４に入力され、そこでビデオの符号化データの中に埋め込まれる。しかしながら、埋め込む情報が大きすぎる場合は、ビデオデータが破綻してしまう恐れがある。そこで、埋め込む情報量を減らすため、本実施形態では、オブジェクト抽出の精度を画像を小領域に分割した単位であるマクロブロック単位とする。
【００３０】
すなわち、マクロブロック内にオブジェクトの一部分（例えば、オブジェクトを構成する画素の一部）が存在する場合は「１」、存在しない場合は「０」というように、１マクロブロック当たり１ビットのデータを出力する。このようにして埋め込み情報合成部１０４では、符号化したビデオデータにオブジェクト抽出のデータを少ないデータ量で埋め込む処理を行う。
【００３１】
すなわち、本発明は、ビデオ入力部１０１から画像データが入力され、ビデオ符号化部１０２で当該画像データを符号化して符号化データが生成される。また、オブジェクト抽出部１０３で、入力された画像データから任意形状のオブジェクトを抽出して、オブジェクトの形状データが生成される。そして、埋め込み情報合成部１０４で形状データを電子透かしによって符号化データに埋め込むことを特徴とする。
【００３２】
また、本発明は、形状データが、複数の画素単位に与えられる１ビットの情報であることを特徴とする。さらに、本発明は、複数の画素が、符号化処理時の処理単位である画素群であることを特徴とする。
【００３３】
ここで、埋め込み情報合成部１０４における埋め込み処理の一例として、ビデオのマクロブロック毎に１ビットのデータを埋め込んでいく処理の詳細について説明する。埋め込み処理の一例として、各マクロブロックの最も高周波の係数を±１の範囲で増減させて奇数・偶数を透かしデータに従って意図的に符号化データを変更する。すなわち、埋め込むデータの１ビットが０であれば最後の係数を偶数に、１であれば奇数にする。埋め込むマクロブロックのＥＯＢの前の符号を読み出し、必要であればこれを変更する。
【００３４】
例えば、直前の符号が０ラン長が８で値が３であった時、埋め込む値が０であれば、ラン長が８で値が４の符号に置換する。実際の符号では、「１１１１１１１１１１１０１１０１１０」を「１１１１１１１１１１１０１１０１１１」に置換する。値が１であれば何もしない。尚、本発明における埋め込み処理は上記方法に限定されるものではなく、特開平１１−３４１４５２号の「動画像電子透かしシステム」に記載されている方法等を使用しても良い。
【００３５】
すなわち、本発明は、ビデオ符号化部１０２が、入力された画像データを所定サイズのブロック単位に符号化し、埋め込み情報合成部１０４が、形状データに基づいて、それぞれのブロック内にオブジェクトデータが存在する場合と存在しない場合とで、ブロック内の高周波成分の符号化係数に１ビットの差を与えることを特徴とする。
【００３６】
図６は、本発明の第１の実施形態における埋め込み情報合成部１０４における処理手順を説明するためのフローチャートである。まず、マクロブロックの符号化データを読み出し（ステップＳ６０１）、ＥＯＢの前の符号を置換することで１ビットの情報を埋め込む（ステップＳ６０２）。そして、１マクロブロックに対して１ビットを埋め込んだ後、全マクロブロックに対してデータの埋め込みが終わったかどうかの判定を行う（ステップＳ６０３）。そして、全マクロブロックの処理が終わった段階で、情報の埋め込み処理が終了する。従って、データの埋め込まれたビットストリームは、データの埋め込まれる前のビットストリームと構造上の違いはない。すなわち、本発明は、ビデオ符号化部１０２が、ＭＰＥＧ−４のシンプルプロファイルに準拠して符号化することを特徴とする。
【００３７】
次に、このビットストリームを図１７に示した画像処理装置において復号化処理した場合について説明する。このビットストリームは、通常の矩形符号化処理したビットストリームと全く同じ構造をしているので、従来のビデオオブジェクト復号化部１７０１を用いても問題なく復号化することが可能である。このとき、復号化されるビデオデータは、各マクロブロック毎に最も高周波の係数が±１ビットの範囲でずれていることになる。このため高周波成分にわずかな歪を生じることとなるが、人間の視覚特性上この差を知覚することは難しい。従って、ビデオ出力部１７０２で表示される画像は、従来のものと同等となる。
【００３８】
本実施形態の説明では、埋め込むデータを１マクロブロックあたり１ビットとしたが、本発明は特にこの関係に限定されるものではない。すなわち、１マクロブロックあたり１ビット以上埋め込んでも良い。また、１マクロブロックのサイズを変えても良い。しかし、マクロブロックの大きさに対して埋め込まれるデータ量が増えれば、復号画像の歪は埋め込まれたデータの影響で大きくなる。
【００３９】
以上説明したように、第１の実施形態によれば、任意形状の画像データの符号化に必要な形状データを矩形形状のビデオ符号化データに埋め込むことで、任意形状に対応したビデオ復号化が可能で、かつ、矩形形状での復号化も行えるといった高い互換性を持つビットストリームを生成することができる。
【００４０】
＜第２の実施形態＞
本発明の第２の実施形態について、図２、７、１０を用いて説明する。
【００４１】
図２は、本発明の第２の実施形態におけるビデオ復号化を行う画像処理装置の細部構成を示すブロック図である。本実施形態に係る画像処理装置に入力されるビットストリームは、第１の実施形態において説明したオブジェクトに関する情報が埋め込まれたものである。すなわち、本発明は、任意形状のオブジェクトデータを含む画像データの符号化データが、第１の実施形態で説明した画像処理装置によって生成されたことを特徴とする。
【００４２】
まず、埋め込み情報分離部２０１では、ビットストリームから埋め込まれている情報の抽出を行う。これは、マクロブロックの符号化データから、ＥＯＢの前の符号を置換することで、埋め込みデータの抽出とデータ埋め込み前の符号化ビデオデータの復元が可能となる。抽出された埋め込みデータは、マクロブロック単位のオブジェクト情報である。
【００４３】
次いで、ブロック判定部２０３では、オブジェクト情報に基づいて、マクロブロック単位に復号するブロックとそうでないブロックの判定を行う。一方、ビデオ復号化部２０２は、埋め込みデータ抽出後のビットストリームの復号化処理を行う。このとき、すべてのマクロブロックを復号するのではなく、ブロック判定部２０３で選択されたブロックのみを復号する。ビデオ復号化部２０２からの出力は、マクロブロック単位で復号化されたオブジェクト画像となる。この処理の詳細については後述する。また、ビデオ出力部２０４はディスプレイ等であり、復号化された画像を表示する。
【００４４】
すなわち、本発明は、埋め込み情報分離部２０１で、任意形状のオブジェクトの形状データを所定のブロック単位で電子透かしによって埋め込んだ符号化データから形状データが抽出される。そして、ブロック判定部２０３によって判定される形状データが抽出されたブロックについて、ビデオ復号化部２０２でその符号化データを復号化してオブジェクトの画像データを獲得する。また、獲得されたオブジェクトの画像データはビデオ出力部２０４で出力されることを特徴とする。
【００４５】
ここで、埋め込み情報分離部２０１及びビデオ復号化部２０２における詳細な処理手順について説明する。図７は、本発明の第２の実施形態における埋め込み情報分離部２０１及びビデオ復号化部２０２における詳細な処理手順について説明するためのフローチャートである。
【００４６】
まず、埋め込み情報分離部２０１では、ビットストリームの中からマクロブロックを検出し（ステップＳ７０１）、埋め込み情報の抽出を行う（ステップＳ７０２）。この処理は、先に説明したようにマクロブロックのＥＯＢを検出し、その前のビットを操作することで、分離可能となる。次に、抽出した情報から、そのマクロブロックにオブジェクトが含まれるか否かを判定する（ステップＳ７０３）。その結果、オブジェクトのマクロブロックである場合（Ｙｅｓ）、そのマクロブロックがイントラマクロブロックか否かを判定する（ステップＳ７０４）。イントラマクロブロックとは、フレーム内符号化されているマクロブロックのことである。
【００４７】
その結果、当該オブジェクトのマクロブロックがイントラマクロブロックではない、すなわちフレーム間符号化が行われているブロックの場合（Ｎｏ）、参照領域の復号化を行い（ステップＳ７０５）、マクロブロック復号化を行う（ステップＳ７０６）。一方、ステップＳ７０４でイントラマクロブロックであると判定された場合（Ｙｅｓ）、他のフレームを参照しないので、そのままマクロブロック復号化を行う（ステップＳ７０６）。
【００４８】
また、ステップＳ７０３でマクロブロックがオブジェクトではないと判定された場合（Ｎｏ）、復号化する必要がないので処理を飛ばすことができる。そして、ステップＳ７０７は終了判定であり、全マクロブロックの処理が終わるまで、ステップＳ７０１から前述した処理を繰り返す。
【００４９】
図１０を用いて、この関係を画面イメージで説明する。図１０は、本発明の第２の実施形態におけるビデオ復号化画像によって処理される画像のイメージ図である。図１０（ａ）は、埋め込み情報から各マクロブロックがオブジェクトであるか否かを判定した結果を示している。黒色のマクロブロック１２０１がオブジェクトでないと判定されたマクロブロック、白色のマクロブロック１２０２がオブジェクトと判定されたマクロブロックである。これらのマクロブロックがイントラマクロブロックでないとすると、参照フレームで、参照される領域を復号しておかなければならない。図１０（ｂ）の画像は参照フレームを示しており、符号１２０３の斜線表示されたマクロブロックは、参照される可能性のある領域として拡張された復号化対象ブロックである。
【００５０】
本実施形態では、フレーム間処理に基づく動きベクトルのサーチ範囲が、１マクロブロック分（１６×１６画素）である場合について説明したが、サーチ範囲が更に広い場合は、更に広い範囲を復号しておく必要がある。また、参照領域の復号化を行う前に、マクロブロックの動きベクトルの復号化を先に行って、動きベクトルの参照先を求め、参照されている領域を含むマクロブロックのみを復号化するということも可能である。この場合は、隣接するマクロブロック全てを復号化する必要はなくなる。
【００５１】
また、図１０（ｃ）は、以上述べた処理によって得られた結果を示したものであり、オブジェクト画像をマクロブロックサイズの精度で復号化した画面のイメージ図である。
【００５２】
以上説明したように、第２の実施形態によれば、入力が矩形形状に対応したビットストリームから埋め込まれた形状データを抽出し、これを利用することによって、復号化処理の負荷削減を行うことができる。
【００５３】
＜第３の実施形態＞
本発明の第３の実施形態について、図３、４、８、１１を用いて説明する。
【００５４】
本発明の第３の実施形態は、シンプルプロファイルのビットストリームをコアプロファイルのビットストリームに再符号化するものである。図３は、本発明の第３の実施形態におけるビデオ復号化・符号化処理を行う画像処理装置の細部構成を示すブロック図である。
【００５５】
図３において、埋め込み情報分離部２０１とビデオ復号化部２０２の処理は、図２に示す第２の実施形態に係る画像処理装置の場合と同じである。ここで、ビデオオブジェクト符号化部３０１は、ビデオ復号化部２０２によって復号された矩形形状の画像データと、埋め込み情報分離部２０１によって抽出されたオブジェクト情報（形状データ）とを入力する。そして、ビデオオブジェクト符号化部３０１では、入力された画像データと形状データとから、オブジェクトの符号化すなわち任意形状の画像符号化を行う。
【００５６】
図８は、本発明の第３の実施形態における埋め込み情報分離及びビデオ復号化・符号化処理の細部処理を説明するためのフローチャートである。図８のフローチャートにおいて、ステップＳ８０１とステップＳ８０２の処理は、図７に示したステップＳ７０１とステップＳ７０２の処理と同様である。マクロブロックから埋め込み情報が抽出された後、抽出された情報からマスクデータを生成する（ステップＳ８０３）。また、マクロブロックの復号化を行う（ステップＳ８０４）。そして、ステップＳ８０５の終了判定まで、以上の処理を繰り返す。
【００５７】
図１１は、本発明の第３の実施形態におけるビデオ復号化処理によって処理される画像のイメージ図である。図１１（ａ）は、復号された画像データ、図１１（ｂ）は、埋め込み情報から生成された形状データである。
【００５８】
そして、ステップＳ８０５で全マクロブロックを処理したと判定された後（Ｙｅｓ）は、マクロブロック単位の処理を繰り返し行う。まず、マクロブロックを検出し（ステップＳ８０６）、そのマクロブロックにおける任意形状を符号化する（ステップＳ８０７）。ここで、任意形状符号化を行う装置のブロック図は、従来技術で説明した図１３のＭＰＥＧ−４による符号化を行う装置を用いる。そして、ステップＳ８０８で終了判定を行い、全マクロブロックの処理が終わったところで、任意形状による再符号化が完了することになる。
【００５９】
図１１（ａ）の矩形符号化領域１１０１に対し、図１１（ｃ）の符号１１０２が任意形状での符号化対象領域を示している。
【００６０】
上記説明では、再符号化の前に全画面の復号化を行っていたが、第２の実施形態を利用して、一部のマクロブロックの復号化だけで、再符号化することも可能である。図４は、本発明の第３の実施形態における他のビデオ復号化・符号化処理を行う画像処理装置の細部構成を示すブロック図である。図４において、埋め込み情報分離部２０１からブロック判定部２０３までの処理は、図２の画像処理装置で説明したものと同様であり、ビデオオブジェクト符号化部３０１は、図３に示す画像処理装置で説明したものと同様である。尚、これらの各部については、内部の処理が一部異なっているが、全体として、オブジェクトの情報を埋め込んだビットストリームを入力し、そのデータに基づいて任意形状データを再符号化する、という構造が同じである。
【００６１】
すなわち、本発明は、埋め込み情報分離部２０１で、任意形状のオブジェクトの形状データを所定のブロック単位で電子透かしによって埋め込んだ符号化データから形状データが抽出される。そして、ビデオ復号化部２０２で、形状データが抽出されたブロックについて、符号化データを復号化してオブジェクトの画像データが獲得される。そして、ビデオオブジェクト符号化部３０１において、形状データに基づいて、オブジェクトの画像データと形状データが符号化されることを特徴とする。
【００６２】
以上説明したように、第３の実施形態によれば、入力が矩形形状に対応したビットストリームである場合であっても、埋め込まれた形状データを抽出し、これを利用することによって、任意形状での再符号化を行うことができる。
【００６３】
＜第４の実施形態＞
本発明の第４の実施形態について、図５、９、１２を用いて説明する。
【００６４】
第４の実施形態は、第３の実施形態における再符号化のオブジェクトの精度を更に向上させるものである。
【００６５】
図５は、本発明の第４の実施形態におけるビデオ符号化・復号化処理を行う画像処理装置の細部構成を示すブロック図である。図３に示す画像処理装置との違いは、ビデオ符号化部２０２とビデオオブジェクト符号化部３０１との間に、形状データ精度変換部５０１が追加されていることにある。
【００６６】
図９は、本発明の第４の実施形態における画像処理装置の埋め込み情報分離処理及びビデオ復号化・符号化処理を詳細に説明するためのフローチャートである。図９のフローチャートにおいて、ステップＳ９０１からステップＳ９０５までの処理は、図８のフローチャートにおけるステップＳ８０１からステップＳ８０５と同じである。
【００６７】
図９に示すように、全マクロブロックの処理を終えた段階（ステップＳ９０５でＹｅｓの場合）で、初期輪郭設定を行う（ステップＳ９０６）。図１２は、本発明の第４の実施形態におけるビデオ復号化処理される画像のイメージ図である。初期輪郭設定とは、図１２（ａ）に示されるマスクデータのオブジェクト境界に輪郭線を設定するものであり、図１２（ｂ）の符号１２０１が初期輪郭を示している。尚、符号１２０２は実際のオブジェクトの輪郭を示す。
【００６８】
次に、輪郭線収束を行う（ステップＳ１２０２）。輪郭線を収束させる方法としては、スネーク（Ｓｎａｋｅｓ）と呼ばれる動的輪郭モデルのエネルギー最小化手法等がよく知られている。スネークは、輪郭線が抽出されたときに最小となるエネルギー関数を定義し、適当な初期値からその極小解を反復計算により求めるものである。エネルギー関数は、エッジ点を通る制約の外部エネルギーと滑らかさの制約である内部エネルギーの線形和で定義される。この方法の詳細は、Ｍｉｃｈａｅｌ　Ｋａｓｓ，Ａｎｄｒｅｗ　Ｗｉｔｋｉｎ，ａｎｄ　Ｄｅｍｅｔｒｉ　Ｔｅｒｚｏｐｏｕｌｏｓ，”Ｓｎａｋｅｓ：　Ａｃｔｉｖｅ　Ｃｏｎｔｏｕｒ　Ｍｏｄｅｌｓ”，　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｊｏｕｒｎａｌ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ，Ｖｏｌ．１，Ｎｏ．３，ｐｐ．３２１−３３１，１９８８に記載されている。
【００６９】
また、図１２（ｃ）と（ｄ）は、初期輪郭がオブジェクトの境界に収束していく様子を示しており、図１２（ｅ）は、最終的な収束結果を示している。ステップＳ９０８では、マスクデータの更新を行い、図１２（ｆ）の結果を得ることができる。尚、ステップＳ９１０以降の処理は、図８のステップＳ８０６以降の処理と同様である。
【００７０】
すなわち、本発明は、埋め込み情報分離部２０１で、任意形状のオブジェクトデータを含む画像データの符号化データであって、オブジェクトデータの形状データを所定のブロック単位で電子透かしによって埋め込んだ符号化データから形状データが抽出される。次いで、ビデオ復号化部２０２で、形状データが抽出されたブロックについて、符号化データを復号化してオブジェクトの画像データが獲得される。さらに、形状データ精度変換部５０１で、形状データと復号化されたオブジェクトの画像データとを入力し、形状データの輪郭を抽出し、形状データが抽出された輪郭に基づいて変形される。そして、ビデオオブジェクト符号化部３０１で、変形された形状データに基づいて、復号化されたオブジェクトの画像データと形状データが符号化されることを特徴とする。
【００７１】
以上説明したように、第４の実施形態によれば、入力が矩形形状に対応したビットストリームであっても、埋め込まれた形状データを抽出し、これを利用することによって、任意形状での再符号化時の精度向上を図ることができる。
【００７２】
＜他の実施形態＞
尚、本発明は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用してもよい。
【００７３】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７４】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７５】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【００７６】
【発明の効果】
以上説明したように、本発明によれば、シンプルプロファイルのデータとコアプロファイルのデータとの間に互換性を持たせて、復号化処理におけるデータ量削減や再符号化の処理負荷の低減をすることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態におけるビデオ符号化を行う画像処理装置の細部構成を示すブロック図である。
【図２】本発明の第２の実施形態におけるビデオ復号化を行う画像処理装置の細部構成を示すブロック図である。
【図３】本発明の第３の実施形態におけるビデオ復号化・符号化処理を行う画像処理装置の細部構成を示すブロック図である。
【図４】本発明の第３の実施形態における他のビデオ復号化・符号化処理を行う画像処理装置の細部構成を示すブロック図である。
【図５】本発明の第４の実施形態におけるビデオ符号化・復号化処理を行う画像処理装置の細部構成を示すブロック図である。
【図６】本発明の第１の実施形態における埋め込み情報合成部１０４における処理手順を説明するためのフローチャートである。
【図７】本発明の第２の実施形態における埋め込み情報分離部２０１及びビデオ復号化部２０２における詳細な処理手順について説明するためのフローチャートである。
【図８】本発明の第３の実施形態における埋め込み情報分離及びビデオ復号化・符号化処理の細部処理を説明するためのフローチャートである。
【図９】本発明の第４の実施形態における画像処理装置の埋め込み情報分離処理及びビデオ復号化・符号化処理を詳細に説明するためのフローチャートである。
【図１０】本発明の第２の実施形態におけるビデオ復号化画像によって処理される画像のイメージ図である。
【図１１】本発明の第３の実施形態におけるビデオ復号化処理によって処理される画像のイメージ図である。
【図１２】本発明の第４の実施形態におけるビデオ復号化処理される画像のイメージ図である。
【図１３】ＭＰＥＧ−４におけるコアプロファイルに対応した任意形状ビデオ符号化処理を行う装置の細部構成を示すブロック図である。
【図１４】ＭＰＥＧ−４におけるコアプロファイルに対応した任意形状ビデオ復号化処理を行う装置の細部構成を示すブロック図である。
【図１５】従来技術による矩形形状の画像データのビデオ符号化を行う画像処理装置の構成の一例を示すブロック図である。
【図１６】従来技術による任意形状の画像データのビデオ符号化を行う画像処理装置の構成の一例を示すブロック図である。
【図１７】従来技術による矩形形状の画像データのビデオ復号化を行う画像処理装置の構成の一例を示すブロック図である。
【図１８】従来技術による任意形状の画像データのビデオ復号化を行う画像処理装置の構成の一例を示すブロック図である。
【符号の説明】
１０１　ビデオ入力部
１０２　ビデオ符号化部
１０３　オブジェクト抽出部
１０４　埋め込み情報合成部
２０１　埋め込み情報分離部
２０２　ビデオ復号化部
２０３　ブロック判定部
２０４　ビデオ出力部
３０１　ビデオオブジェクト符号化部
５０１　形状データ精度変換部
【図１】
2004080096.tif 000003
【図２】
2004080096.tif 000004
【図３】
2004080096.tif 000005
【図４】
2004080096.tif 000006
【図５】
2004080096.tif 000007
【図６】
2004080096.tif 000008
【図７】
2004080096.tif 000009
【図８】
2004080096.tif 000010
【図９】
2004080096.tif 000011
【図１０】
2004080096.tif 000012
【図１１】
2004080096.tif 000013
【図１２】
2004080096.tif 000014
【図１３】
2004080096.tif 000015
【図１４】
2004080096.tif 000016
【図１５】
2004080096.tif 000017
【図１６】
2004080096.tif 000018
【図１７】
2004080096.tif 000019
【図１８】
2004080096.tif 000020