(57)【要約】【課題】マルチオブジェクトに対応したシステムにおいては通常の処理を行い、マルチオブジェクトに非対応のシステムに対しては互換性を確保して、付加機能を除いた基本機能であるオーディオやビデオの処理をすることができる画像処理装置及び画像処理方法を提供する。【解決手段】入力されたデータストリームが分離部２０１でオーディオデータとビデオデータに分離する。ビデオデータには、オブジェクトデータとシーン記述データが電子透かしによって埋め込まれており、埋め込み情報分離部２１４でこれらのデータが分離される。それぞれの符号化データは、オーディオ復号化部２０３、ビデオ復号化部２０６、オブジェクト復号化部２０９、シーン記述復号化部２１２で復号化され、それらのデータは合成部２１５で合成される。そして、オーディオデータがオーディオ出力部２１６から出力され、映像データは表示部２１７で表示される。【選択図】　図２
2004080097.tif 000002
【特許請求の範囲】
【請求項１】
基本オブジェクトデータを入力する第１の入力手段と、
前記基本オブジェクトデータを符号化する第１の符号化手段と、
複数の基本オブジェクトデータが入力された場合、符号化された該複数の基本オブジェクトデータを多重化する多重化手段と
を備える画像処理装置であって、
所定の付加データを入力する第２の入力手段と、
前記付加データを符号化する第２の符号化手段と、
符号化された所定の基本オブジェクトデータに対して、符号化された前記付加データを電子透かしによって埋め込む合成手段と
をさらに備え、
前記付加データが、前記複数の基本オブジェクトデータで構成されるシーンに関して記述したシーン記述データである
ことを特徴とする画像処理装置。
【請求項２】
所定の付加オブジェクトデータを入力する第３の入力手段と、
前記付加オブジェクトデータを符号化する第３の符号化手段と
をさらに備え、
前記合成手段が、符号化された所定の基本オブジェクトデータに対して、符号化された前記付加データ及び符号化された前記付加オブジェクトデータを電子透かしによって埋め込む
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
符号化された複数の基本オブジェクトデータが多重化されたデータストリームを入力する入力手段と、
前記データストリームを複数の符号化された基本オブジェクトデータに分離する分離手段と、
分離された前記基本オブジェクトデータに、前記複数の基本オブジェクトデータで構成されるシーンに関して記述したシーン記述データが電子透かしによって埋め込まれているか否かを判定する判定手段と、
前記基本オブジェクトデータに前記シーン記述データが埋め込まれている場合、符号化された前記基本オブジェクトデータから前記シーン記述データを抽出する抽出手段と、
抽出された前記シーン記述データを復号化する第１の復号化手段と、
前記シーン記述データが抽出された後の前記基本オブジェクトデータを復号化する第２の復号化手段と、
復号化された前記シーン記述データに基づいて、復号化された前記複数の基本オブジェクトデータを合成する合成手段と、
合成された結果を出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項４】
前記判定手段が、前記基本オブジェクトデータに前記シーン記述データが埋め込まれているか否かを判定することができない場合、又は、前記基本オブジェクトデータに前記シーン記述データが埋め込まれていない場合、符号化された前記基本オブジェクトデータを復号化する第３の復号化手段をさらに備え、
前記合成手段が、復号化された前記複数の基本オブジェクトデータを合成する
ことを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記判定手段は、分離された前記基本オブジェクトデータに対してさらに付加オブジェクトデータが電子透かしによって埋め込まれているか否かを判定し、
前記付加オブジェクトデータが埋め込まれている場合、前記抽出手段が、さらに前記付加オブジェクトデータを抽出し、
前記合成手段が、復号化された前記シーン記述データに基づいて、復号化された前記複数の基本オブジェクトデータと復号化された前記付加オブジェクトデータとを合成する
ことを特徴とする請求項３又は４に記載の画像処理装置。
【請求項６】
前記基本オブジェクトデータが、矩形形状のビデオデータ又はオーディオデータであることを特徴とする請求項１から５までのいずれか１項に記載の画像処理装置。
【請求項７】
前記付加オブジェクトデータが、任意形状のビデオデータ、ＣＧデータ、オーディオデータ又はテキストデータのいずれかであることを特徴とする請求項１から６までのいずれか１項に記載の画像処理装置。
【請求項８】
前記シーン記述データのフォーマットが、ＭＰＥＧ−４システムのＢＩＦＳに準拠することを特徴とする請求項１から７までのいずれか１項に記載の画像処理装置。
【請求項９】
基本オブジェクトデータを符号化する第１の符号化工程と、
所定の付加データを符号化する第２の符号化工程と、
符号化された所定の基本オブジェクトデータに対して、符号化された前記付加データを電子透かしによって埋め込む合成工程と、
複数の基本オブジェクトデータが入力された場合、符号化された該複数の基本オブジェクトデータを多重化する多重化工程と
を有し、
前記付加データが、前記複数の基本オブジェクトデータで構成されるシーンに関して記述したシーン記述データである
ことを特徴とする画像処理方法。
【請求項１０】
所定の付加オブジェクトデータを符号化する第３の符号化工程をさらに有し、
前記合成工程が、符号化された所定の基本オブジェクトデータに対して、符号化された前記付加データ及び符号化された前記付加オブジェクトデータを電子透かしによって埋め込む
ことを特徴とする請求項９記載の画像処理方法。
【請求項１１】
符号化された複数の基本オブジェクトデータが多重化されたデータストリームを複数の符号化された基本オブジェクトデータに分離する分離工程と、
分離された前記基本オブジェクトデータに、前記複数の基本オブジェクトデータで構成されるシーンに関して記述したシーン記述データが電子透かしによって埋め込まれているか否かを判定する判定工程と、
前記基本オブジェクトデータに前記シーン記述データが埋め込まれている場合、符号化された前記基本オブジェクトデータから前記シーン記述データを抽出する抽出工程と、
抽出された前記シーン記述データを復号化する第１の復号化工程と、
前記シーン記述データが抽出された後の前記基本オブジェクトデータを復号化する第２の復号化工程と、
復号化された前記シーン記述データに基づいて、復号化された前記複数の基本オブジェクトデータを合成する合成工程と
を有することを特徴とする画像処理方法。
【請求項１２】
前記判定工程が、前記基本オブジェクトデータに前記シーン記述データが埋め込まれているか否かを判定することができない場合、又は、前記基本オブジェクトデータに前記シーン記述データが埋め込まれていない場合、符号化された前記基本オブジェクトデータを復号化する第３の復号化工程をさらに有し、
前記合成工程が、復号化された前記複数の基本オブジェクトデータを合成する
ことを特徴とする請求項１１記載の画像処理方法。
【請求項１３】
前記判定工程は、分離された前記基本オブジェクトデータに対してさらに付加オブジェクトデータが電子透かしによって埋め込まれているか否かを判定し、
前記付加オブジェクトデータが埋め込まれている場合、前記抽出工程が、さらに前記付加オブジェクトデータを抽出し、
前記合成工程が、復号化された前記シーン記述データに基づいて、復号化された前記複数の基本オブジェクトデータと復号化された前記付加オブジェクトデータとを合成する
ことを特徴とする請求項１１又は１２に記載の画像処理方法。
【請求項１４】
前記基本オブジェクトデータが、矩形形状のビデオデータ又はオーディオデータであることを特徴とする請求項９から１３までのいずれか１項に記載の画像処理方法。
【請求項１５】
前記付加オブジェクトデータが、任意形状のビデオデータ、ＣＧデータ、オーディオデータ又はテキストデータのいずれかであることを特徴とする請求項９から１４までのいずれか１項に記載の画像処理方法。
【請求項１６】
前記シーン記述データのフォーマットが、ＭＰＥＧ−４システムのＢＩＦＳに準拠することを特徴とする請求項９から１５までのいずれか１項に記載の画像処理方法。
【請求項１７】
コンピュータに、
基本オブジェクトデータを符号化する第１の符号化手順と、
所定の付加データを符号化する第２の符号化手順と、
符号化された所定の基本オブジェクトデータに対して、符号化された前記付加データを電子透かしによって埋め込む合成手順と、
複数の基本オブジェクトデータが入力された場合、符号化された該複数の基本オブジェクトデータを多重化する多重化手順と
を実行させるためのプログラムであって、
前記付加データが、前記複数の基本オブジェクトデータで構成されるシーンに関して記述したシーン記述データであることを特徴とするプログラム。
【請求項１８】
コンピュータに、
符号化された複数の基本オブジェクトデータが多重化されたデータストリームを複数の符号化された基本オブジェクトデータに分離する分離手順と、
分離された前記基本オブジェクトデータに、前記複数の基本オブジェクトデータで構成されるシーンに関して記述したシーン記述データが電子透かしによって埋め込まれているか否かを判定する判定手順と、
前記基本オブジェクトデータに前記シーン記述データが埋め込まれている場合、符号化された前記基本オブジェクトデータから前記シーン記述データを抽出する抽出手順と、
抽出された前記シーン記述データを復号化する第１の復号化手順と、
前記シーン記述データが抽出された後の前記基本オブジェクトデータを復号化する第２の復号化手順と、
復号化された前記シーン記述データに基づいて、復号化された前記複数の基本オブジェクトデータを合成する合成手順と
を実行させるためのプログラム。
【請求項１９】
請求項１７又は１８に記載のプログラムを格納することを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数のオブジェクトで構成されるシーンの画像を符号化する画像処理装置及び画像処理方法、並びにその符号化画像を復号化する画像処理装置及び画像処理方法に関する。
【０００２】
【従来の技術】
動画像の符号化方式として、これまでに様々なものが、国際標準規格として制定されている。例えば、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｏｒｇａｎｉｚａｔｉｏｎ　ｆｏｒ　Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ：国際標準化機構）のＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｃｏｄｉｎｇ　Ｅｘｐａｒｔｓ　Ｇｒｏｕｐ）−１、ＭＰＥＧ−２、ＭＰＥＧ−４等がよく知られている。
【０００３】
ＭＰＥＧ−４は、従来のビデオ、オーディオ信号の圧縮符号化に加えて、静止画像、コンピュータ・グラフィックス（ＣＧ）画像、分析合成系の音声符号化、ＭＩＤＩ（Ｍｕｓｉｃａｌ　Ｉｎｓｔｒｕｍｅｎｔ　Ｄａｔａ　Ｉｎｔｅｒｆａｃｅ）等による合成オーディオや、テキスト等も含めた総合マルチメディアの符号化規格である。そのために、ＭＰＥＧ−４では、符号化対象の一つ一つをオブジェクトと捉え、これらを合成したシーンを２次元のディスプレイ上に表示するための符号化フォーマットも規定している。
【０００４】
図１０は、オーディオ信号とビデオ信号を符号化する従来のマルチオブジェクト非対応の符号化システムの構成を示すブロック図である。図１０において、オーディオ入力部１００１は、アナログ信号をサンプリングし、デジタル信号に変換したり、ファイルからデータを読み込む等、符号化処理を行うための前処理を行う部分である。オーディオ符号化部１００２では、デジタル入力信号を符号化し、圧縮したデータをビットストリームとして出力する。オーディオパケット化部１００３は、多重化処理を行うためにビットストリームをパケット単位で分割する処理である。
【０００５】
一方、ビデオ入力部１００４は、カメラからの入力信号をデジタル信号に変換したり、ファイルから読み込んだ信号のフォーマット変換を行う等、符号化処理を行うための前処理を行う部分である。ビデオ符号化部１００５では、デジタル入力信号を符号化し、圧縮したデータをビットストリームとして出力する。ビデオパケット化部１００６は、多重化処理を行うためにビットストリームをパケット単位で分割する処理である。多重化部１００７では、パケット化されたオーディオデータとビデオデータとを１つのデータストリームにまとめる処理が行われる。
【０００６】
図１２は、従来例におけるマルチオブジェクト非対応の復号システムの構成を示すブロック図である。図１２において、分離部１２０１では、オーディオ信号とビデオ信号とが符号化されて多重化されたデータストリームをパケット単位で分離し、データ毎にオーディオ復号化バッファ１２０２、ビデオ復号化バッファ１２０６にそれぞれ出力する。そして、オーディオ復号化バッファ１２０２では、パケット化されているデータを復号化処理できるようなビットストリームに戻し、オーディオ復号化部１２０３でオーディオデータに復号する。そして、オーディオ合成メモリ１２０４で出力データを生成し、オーディオ出力部１２０５においてオーディオ出力を行う。
【０００７】
一方、ビデオ復号化バッファ１２０６でも同様に、パケット化されているデータを復号化処理できるようなビットストリームに戻し、ビデオ復号化部１２０７でビデオデータに復号する。ビデオ合成メモリ１２０８で出力データを生成し、表示部１２０９においてビデオ出力を行う。図９Ａは、マルチオブジェクト非対応の復号化システムの表示部１２０９で表示されるビデオ出力例を示す概要図である。
【０００８】
上述した従来の符号化・復号化システムの構成は、ＭＰＥＧ−１、２、４に共通して利用可能な形態であるが、ＭＰＥＧ−４では更に、先に説明したようなシーン合成が可能なシステム構成を取る事もできる。すなわち、シーンを構成する複数のオブジェクトとその関連を示す「シーン記述」も併せて符号化する。
【０００９】
図１１は、従来例におけるマルチオブジェクト対応の符号化システムの構成を示すブロック図である。図１１において、オーディオ入力部１１０１からオーディオパケット化部１１０３までのオーディオ信号処理は、図１０におけるオーディオ入力部１００１からオーディオパケット化部１００３までの処理と同様である。また、ビデオ入力部１１０４からビデオパケット化部１１０６までのビデオ信号処理は、図１０におけるビデオ入力部１００４からビデオパケット化部１００６までの処理と同様である。
【００１０】
図１１において、オブジェクト入力部１１０７は、上記各部とは別のデータの入力部である。オーディオ入力部１１０１におけるオーディオデータや、ビデオ入力部１１０４におけるビデオデータもそれぞれ一つのオブジェクトであるので、データの中身はオーディオでもビデオでもよく、その他にテキストデータやＣＧデータ等も扱うことができる。ここではＣＧデータを用いて作成したボタンをオブジェクトの例として説明する。
【００１１】
オブジェクト入力部１１０７で入力されたボタンデータは、オブジェクト符号化部１１０８においてデータ圧縮が行われ、オブジェクトパケット化部１１０９において多重化のためのパケット分割処理が行われる。一方、シーン記述入力部１１１０は、シーン構成を記述したデータを入力する部分である。具体的には、ボタンをビデオ画面上のどの位置に配置するか、ボタンをクリックしたときに、どのような動作をさせるようにするのか、といった記述がなされる。
【００１２】
ここで、ＭＰＥＧ−４におけるシーン記述フォーマットは、ＢＩＦＳ（Ｂｉｎａｒｙ　Ｆｏｒｍａｔ　ｆｏｒ　Ｓｃｅｎｅ）と呼ばれており、ＶＲＭＬ（Ｖｉｒｔｕａｌ　Ｒｅａｌｉｔｙ　Ｍｏｄｅｌｉｎｇ　Ｌａｎｇｕａｇｅ）を基にしている。シーン記述符号化部１１１１では、記述したシーンのデータをバイナリデータに変換する。そしてこのバイナリデータもシーン記述パケット化部１１１２においてパケット分割される。パケット化されたシーンのデータは、オーディオ、ビデオ及びオブジェクトデータとともに多重化部１１１３において一つのデータストリームにまとめられる。
【００１３】
次に、図１３は、従来例におけるマルチオブジェクト対応の復号化システムの構成を示すブロック図である。分離部１３０１の機能は、図１２の分離部１２０１と同様であるが、扱うデータが、従来のオーディオやビデオの他に、ＣＧで作成されるボタン画像やシーン記述情報等が含まれている。また、オーディオ、ビデオに関する復号化処理は、図１２を用いて上述した場合の処理と同様であり、オーディオ復号化バッファ１３０２からビデオ合成メモリ１３０７が、それぞれ、オーディオ復号化バッファ１２０２からオーディオ合成メモリ１２０４及びビデオ復号化バッファ１２０６からビデオ合成メモリ１２０８に対応している。
【００１４】
一方、オブジェクト復号化バッファ１３０８は、オブジェクトを復号化するためのビットストリームを再構成し、オブジェクト復号化部１３０９で復号化を行う。復号化されたデータは、オブジェクト合成メモリ１３１０に一旦保存される。また、シーン記述復号化バッファ１３１１では、シーン記述情報を復号化するためのビットストリームを再構成し、シーン記述復号化部１３１２で復号化を行う。復号化されたシーン記述情報は、シーン記述合成メモリ１３１３に一旦保存される。
【００１５】
そして、合成部１３１４では、シーン記述情報に基づいて、シーンの合成が行われる。この例におけるシーンは、図８に示すように、オーディオ、ビデオ、ボタンにより構成されているものとする。図８は、シーングラフの説明図であり、シーンはオーディオとビデオとボタンで構成される。合成部１３１４においてシーンの合成が完成すると、オーディオ出力部１３１５からオーディオの出力、表示部１３１６から合成したビデオの出力を行う。
【００１６】
図９Ｂは、マルチオブジェクト対応の復号化システムの表示部１３１６で表示されるビデオ出力例を示す概要図である。図９Ｂにおいて、ビデオ画像の左下にＣＧ画像の「Ｌｉｎｋ」というボタンが合成されている。例えば、この「Ｌｉｎｋ」ボタンをクリックしたときの動作として、インターネットブラウザを起動し、指定したＵＲＬへジャンプするようシーン記述がされている場合、関連情報を同時に表示することも可能である。
【００１７】
尚、ＭＰＥＧに関するアルゴリズムの詳細は、ＩＥインスティテュート社発行、大久保榮、川島正久監修の「Ｈ．３２３／ＭＰＥＧ−４教科書」等に記載されているので、これ以上の説明は省略する。
【００１８】
【発明が解決しようとする課題】
しかしながら、上述した図１０と図１２に示されるようなマルチオブジェクト非対応の符号化・復号化システムと、図１１と図１３に示すようなマルチオブジェクト対応の符号化・復号化システムとでは、互いに互換性がないという問題がある。すなわち、オーディオやビデオに共通のＭＰＥＧ−４の符号化・復号化方式を用いた場合であっても、システム構成がマルチオブジェクト対応になっていないので、マルチオブジェクトのデータの中からオーディオやビデオの部分のみを取り出し、再生するというような使い方をすることができない。従って、不特定多数の人に動画配信を行う場合には、マルチオブジェクト対応と非対応の両方の符号化データを用意しておかなければならならず、大幅な作業効率の低下を招くこととなる。
【００１９】
本発明は、このような事情を考慮してなされたものであり、マルチオブジェクトに対応したシステムにおいては通常の処理を行い、マルチオブジェクトに非対応のシステムに対しては互換性を確保して、付加機能を除いた基本機能であるオーディオやビデオの処理をすることができる画像処理装置及び画像処理方法を提供することを目的とする。
【００２０】
【課題を解決するための手段】
上記課題を解決するために、本発明は、基本オブジェクトデータを入力する第１の入力手段と、前記基本オブジェクトデータを符号化する第１の符号化手段と、複数の基本オブジェクトデータが入力された場合、符号化された該複数の基本オブジェクトデータを多重化する多重化手段とを備える画像処理装置であって、所定の付加データを入力する第２の入力手段と、前記付加データを符号化する第２の符号化手段と、符号化された所定の基本オブジェクトデータに対して、符号化された前記付加データを電子透かしによって埋め込む合成手段とをさらに備えることを特徴とする。
【００２１】
また、本発明に係る画像処理装置は、前記付加データが、前記複数の基本オブジェクトデータで構成されるシーンに関して記述したシーン記述データであることを特徴とする。
【００２２】
さらに、本発明に係る画像処理装置は、所定の付加オブジェクトデータを入力する第３の入力手段と、前記付加オブジェクトデータを符号化する第３の符号化手段とをさらに備え、前記合成手段が、符号化された所定の基本オブジェクトデータに対して、符号化された前記付加データ及び符号化された前記付加オブジェクトデータを電子透かしによって埋め込むことを特徴とする。
【００２３】
さらにまた、本発明に係る画像処理装置は、符号化された複数の基本オブジェクトデータが多重化されたデータストリームを入力する入力手段と、前記データストリームを複数の符号化された基本オブジェクトデータに分離する分離手段と、分離された前記基本オブジェクトデータに、前記複数の基本オブジェクトデータで構成されるシーンに関して記述したシーン記述データが電子透かしによって埋め込まれているか否かを判定する判定手段と、前記基本オブジェクトデータに前記シーン記述データが埋め込まれている場合、符号化された前記基本オブジェクトデータから前記シーン記述データを抽出する抽出手段と、抽出された前記シーン記述データを復号化する第１の復号化手段と、前記シーン記述データが抽出された後の前記基本オブジェクトデータを復号化する第２の復号化手段と、復号化された前記シーン記述データに基づいて、復号化された前記複数の基本オブジェクトデータを合成する合成手段と、合成された結果を出力する出力手段とを備えることを特徴とする。
【００２４】
さらにまた、本発明に係る画像処理装置は、前記判定手段が、前記基本オブジェクトデータに前記シーン記述データが埋め込まれているか否かを判定することができない場合、又は、前記基本オブジェクトデータに前記シーン記述データが埋め込まれていない場合、符号化された前記基本オブジェクトデータを復号化する第３の復号化手段をさらに備え、前記合成手段が、復号化された前記複数の基本オブジェクトデータを合成することを特徴とする。
【００２５】
さらにまた、本発明に係る画像処理装置は、前記判定手段は、分離された前記基本オブジェクトデータに対してさらに付加オブジェクトデータが電子透かしによって埋め込まれているか否かを判定し、前記付加オブジェクトデータが埋め込まれている場合、前記抽出手段が、さらに前記付加オブジェクトデータを抽出し、前記合成手段が、復号化された前記シーン記述データに基づいて、復号化された前記複数の基本オブジェクトデータと復号化された前記付加オブジェクトデータとを合成することを特徴とする。
【００２６】
さらにまた、本発明に係る画像処理装置は、前記基本オブジェクトデータが、矩形形状のビデオデータ又はオーディオデータであることを特徴とする。
【００２７】
さらにまた、本発明に係る画像処理装置は、前記付加オブジェクトデータが、任意形状のビデオデータ、ＣＧデータ、オーディオデータ又はテキストデータのいずれかであることを特徴とする。
【００２８】
さらにまた、本発明に係る画像処理装置は、前記シーン記述データのフォーマットが、ＭＰＥＧ−４システムのＢＩＦＳに準拠することを特徴とする。
【００２９】
【発明の実施の形態】
以下、図面を参照して、本発明の好適な実施形態について詳細に説明する。
【００３０】
＜第１の実施形態＞
本発明の第１の実施形態について、図１、３、４、６を用いて説明する。
【００３１】
図１は、本発明の第１の実施形態におけるマルチオブジェクトに対応した符号化システムの構成を示すブロック図である。図１において、オーディオ入力部１０１からオーディオパケット化部１０３のオーディオデータの処理は、図１０に示したオーディオ入力部１００１からオーディオパケット化部１００３、若しくは、図１１に示したオーディオ入力部１１０１からオーディオパケット化部１１０３の処理と同様である。
【００３２】
また、ビデオ入力部１０４とビデオ符号化部１０５のビデオデータの処理については、図１０に示したビデオ入力部１００４とビデオ符号化部１００５及び図１１に示したビデオ入力部１１０４とビデオ符号化部１１０５の処理と同様である。
【００３３】
図１において、埋め込み情報合成部１１０は、符号化されたビデオデータに対して、オブジェクトの符号化データとシーン記述の符号化データを埋め込む処理を行う。尚、オブジェクトの符号化データは、オブジェクト入力部１０６とオブジェクト符号化部１０７を介して生成され、シーン記述符号化データは、シーン記述入力部１０８とシーン記述符号化部１０９を介して生成される。
【００３４】
この際、埋め込まれるデータは、ビデオデータの一部を加工することにより生成されるので、データの形式としてはビデオデータそのものとして扱うことができる。従って、埋め込み情報合成部１１０の出力データに対しては、従来のビデオデータと同様に、ビデオパケット化部１１１においてパケット分割の処理が行われる。また、多重化部１１２では、オーディオパケットデータとビデオパケットデータを多重化して、一つのストリームを作成する。尚、このストリームの構造は、図１０を用いて前述したものと同じ構成になる。
【００３５】
すなわち、本発明は、基本オブジェクトデータを入力する第１の入力手段（オーディオ入力部１０１、ビデオ入力部１０４）と、基本オブジェクトデータを符号化する第１の符号化手段（オーディオ符号化部１０２、ビデオ符号化部１０５）と、複数の基本オブジェクトデータが入力された場合、符号化された複数の基本オブジェクトデータを多重化する多重化手段（多重化部１１２）とを備える画像処理装置である。そして、所定の付加データを入力する第２の入力手段（シーン記述入力部１０８）と、付加データを符号化する第２の符号化手段（シーン記述符号化部１０９）と、符号化された所定の基本オブジェクトデータに対して、符号化された付加データを電子透かしによって埋め込む合成手段（埋め込み情報合成部１１０）とをさらに備え、付加データが、複数の基本オブジェクトデータで構成されるシーンに関して記述したシーン記述データであることを特徴とする。
【００３６】
さらに、本発明は、所定の付加オブジェクトデータを入力する第３の入力手段（オブジェクト入力部１０６）と、付加オブジェクトデータを符号化する第３の符号化手段（オブジェクト符号化部１０７）とをさらに備える。そして、合成手段（埋め込み情報合成部１１０）が、符号化された所定の基本オブジェクトデータに対して、符号化された付加データ及び符号化された付加オブジェクトデータを電子透かしによって埋め込むことを特徴とする。
【００３７】
図１に示した符号化システムをパーソナルコンピュータを使って実現する際のハードウェア構成を、図３を用いて説明する。図３は、本発明の第１の実施形態における符号化システムのハードウェア構成を示すブロック図である。図３において、中央演算装置（ＣＰＵ）３０１は、バス３０２を介して、さまざまな装置とデータの入出力を行う。メモリ３０３は、本システムの制御に必要なオペレーティングシステム（ＯＳ）や、アプリケーションソフトウェアの一時記憶領域である。端末３０４は、制御に関する入力インタフェースであり、キーボードやマウスがこれに相当する。
【００３８】
記憶装置３０５は、プログラムやデータを記憶しておく領域である。また、３０６はデータの入力装置であり、オーディオやビデオのデータを入力するインタフェースを備えている。３０７はモニタで、映像情報の出力装置である。３０８はスピーカで、オーディオの出力装置である。３０９は通信インタフェースであり、コンピュータ外部とのデータ入出力を行う装置である。
【００３９】
図４は、本発明の第１の実施形態におけるメモリ３０３の使用、格納領域を示す図である。図４に示すように、メモリ３０３の領域は、ＯＳの他に、プログラムの格納領域とデータの格納領域に分かれている。プログラムには、符号化ソフトウェアやデータ埋め込みのソフトウェア等がある。また、データに関しては、オーディオデータやビデオデータ、ボタンデータ、シーン記述データ等、扱うオブジェクトの数だけデータ領域が必要となる。また処理過程に必要なワークエリアも確保される。
【００４０】
ここで、埋め込み情報合成部１１０におけるデータの埋め込みには、電子透かしの技術を応用することができる。これは、画像データや音声データの再生時にデータの変化がないか、または変化が知覚できないレベルで情報データを埋め込む技術である。画像に対して電子透かしを埋め込む技術としては、特開平１０−２４３３９８号の「動画像エンコードプログラムを記録した記録媒体及び動画像エンコード装置」や特開平１１−３４１４５０号の「電子透かし埋め込み装置および抽出装置」等が開示されている。
【００４１】
また、オーディオデータに関しても同様であり、特開２００１−２０２０８９の「音声データに透かし情報を埋め込む方法、透かし情報埋め込み装置、透かし情報検出装置、透かし情報が埋め込まれた記録媒体、及び透かし情報を埋め込む方法を記録した記録媒体」や特開平１１−３１６５９９号の「電子透かし埋め込み装置、オーディオ符号化装置および記録媒体」等が開示されている。ここでは、追加するオブジェクトの符号化データとシーン記述に関するデータをビデオデータに埋め込む処理を説明するが、特にビデオデータに限定する必要はなく、オーディオデータに埋め込んでも、オーディオ、ビデオ両方のデータに埋め込んでも構わない。
【００４２】
図６は、本発明の第１の実施形態における埋め込み情報合成部１１０における埋め込み処理手順を詳細に説明するためのフローチャートである。まず、ＣＧデータで作成されたボタンオブジェクトの符号化を行い（ステップＳ６０１）、次に、シーン記述データ（ＢＩＦＳデータ）の符号化を行う（ステップＳ６０２）。これらの符号化データが、ビデオ符号化データに埋め込まれるデータとなる。そして、埋め込むデータのセットを行う（ステップＳ６０３）。尚、データ長はＬとする。
【００４３】
次いで、ビデオの符号化が全てのマクロブロックで終了しているかどうかを判定する（ステップＳ６０４）。その結果、符号化していないマクロブロックがある場合（Ｎｏ）、その中にデータを埋め込むことができる。すなわち、マクロブロックの符号化を行う（ステップＳ６０５）。そして、データ長Ｌが０（埋め込むデータが存在する）かどうかを判断する（ステップＳ６０６）。その結果、埋め込むデータがある場合（Ｎｏ）、そのマクロブロックに１ビットデータを埋め込む（ステップＳ６０７）。
【００４４】
そして、１ビットデータを埋め込んだ後、残りのデータ長を１つデクリメントする（ステップＳ６０８）。このように１つのマクロブロックにつき、１ビットずつデータを埋め込んでいく操作を繰り返す。ここで、ステップＳ６０６において、埋め込むデータがなくなった（Ｌ＝０）と判断した場合（Ｙｅｓ）、通常のマクロブロック符号化を全マクロブロック終了まで繰り返す。また、ステップＳ６０４の終了判定で全マクロブロックの処理が終わったと判定された場合（Ｙｅｓ）、埋め込み完了である。但し、本実施形態ではステップＳ６０９とＳ６１０でエラー判定処理を加えている。これは、データの埋め込みが完了する前に、全マクロブロックが符号化されてしまったときのためのエラー処理である。
【００４５】
ここでは、埋め込み方法の一例として、ビデオのマクロブロック毎に１ビットのデータを埋め込んでいく方法について説明する。各マクロブロックの最も高周波の係数を±１の範囲で増減させて、奇数・偶数を透かしデータに従って意図的に符号化データを変更する。すなわち、埋め込むデータの１ビットが０であれば、最後の係数を偶数に、１であれば奇数にする。埋め込むマクロブロックのＥＯＢの前の符号を読み出し、必要であればこれを変更する。
【００４６】
例えば、直前の符号が０ラン長が８で値が３であった時、埋め込む値が０であれば、ラン長が８で値が４の符号に置換する。実際の符号では、「１１１１１１１１１１１０１１０１１０」を「１１１１１１１１１１１０１１０１１１」に置換する。また、値が１であれば何もしない。尚、本発明の適用は上述の方法だけに限定されず、特開平１１−３４１４５２号の「動画像電子透かしシステム」に記載されている方法等を使用しても良い。
【００４７】
上述したように、本発明では、基本オブジェクトデータが、矩形形状のビデオデータ又はオーディオデータであることを特徴とする。また、付加オブジェクトデータが、任意形状のビデオデータ、ＣＧデータ、オーディオデータ又はテキストデータのいずれかであることを特徴とする。さらに、シーン記述データのフォーマットが、ＭＰＥＧ−４システムのＢＩＦＳに準拠することを特徴とする。
【００４８】
以上説明したように、本発明によれば、データの埋め込み処理により、マルチオブジェクト非対応のデータストリームを生成する符号化システムを得ることができる。
【００４９】
＜第２の実施形態＞
次に、本発明の第２の実施形態について、図２、３、５、７〜９を用いて説明する。
【００５０】
図２は、本発明の第２の実施形態におけるマルチオブジェクトに対応した復号化システムの構成を示すブロック図である。図２において、分離部２０１の処理は、図１２におけるオーディオ復号化バッファ１２０１で説明した処理と同様であり、多重化されているビットストリームをパケット単位で分離し、データ毎にオーディオ復号化バッファ２０２とビデオ復号化バッファ２０５とにそれぞれ出力する。
【００５１】
尚、第１の実施形態で述べたように、オーディオデータには埋め込み処理がなされていないので、オーディオデータについての復号化は通常の復号化処理を行う。すなわち、オーディオ復号化バッファ２０２では、パケット化されているデータを復号化処理できるようなビットストリームに戻し、オーディオ復号化部２０３でオーディオデータに復号する。そして、オーディオ合成メモリ２０４で出力データを生成する。
【００５２】
一方、ビデオ復号化バッファ２０５では、パケット化されているデータを復号化処理できるようなビットストリームに戻す。このビットストリームには、埋め込まれているデータがあるので、埋め込み情報分離部２１４で、データの分離を行う。
【００５３】
付加データの分離後、ビデオデータは、そのままビデオ復号化部２０６に出力され、ビデオ合成メモリ２０７で画像が生成される。分離された付加データは、１ビット毎に出力されるので、オブジェクト復号化バッファ２０８およびシーン記述復号化バッファ２１１に一旦蓄えられ、復号化が可能になったところで復号化処理が行われる。
【００５４】
一方、オブジェクト復号化部２０９、オブジェクト合成メモリ２１０、シーン記述復号化部２１２、シーン記述合成メモリ２１３における処理は、図１３におけるオブジェクト復号化部１３０９、オブジェクト合成メモリ１３１０、シーン記述復号化部１３１２、シーン記述合成メモリ１３１３の処理と同様である。そして、合成部２１５では、シーン記述データに基づいてシーンの合成を行い、オーディオ出力部２１６よりオーディオの出力を、表示部２１７より合成した映像シーンを出力する。尚、これらの合成部２１５から表示部２１７の処理も、図１３の合成部１３１４から表示部１３１６と同様である。従って、このときのビデオ出力は、図１３のシステムの場合と同様に、図９Ｂに示される表示例が得られることになる。
【００５５】
また、この復号化システムをパーソナルコンピュータ等を使って実現する際のハードウェア構成は、第１の実施形態で説明した図３に示す構成と同様である。ここで、図５は、本発明の第２の実施形態におけるメモリ３０３の使用、格納領域を示す図である。図５に示すように、メモリ領域は、ＯＳの他に、プログラムの格納領域とデータの格納領域に分かれている。ここで、プログラムには、復号化ソフトウェアやデータ抽出のソフトウェア等がある。また、データに関しては、オーディオデータやビデオデータ、ボタンデータ、シーン記述データ等、扱うオブジェクトの数だけデータ領域が必要となる。また処理過程に必要なワークエリアも確保される。
【００５６】
図７は、本発明の第２の実施形態における埋め込み情報分離部２１４の処理手順を詳細に説明するためのフローチャートである。まず、ビデオ符号化データに付加データが埋め込まれているかどうかの判定を行う（ステップＳ７０１）。その結果、データの埋め込みがある場合（Ｙｅｓ）、１ビットのデータを抽出する（ステップＳ７０２）。そして、データを分離した後のビデオ符号化データの復号化処理を行う（ステップＳ７０３）。ここでは、処理単位をマクロブロックとしている。
【００５７】
さらに、埋め込まれていた全データが抽出されたかどうかの判定を行う（ステップＳ７０４）。その結果、全データが抽出された場合（Ｙｅｓ）、ボタンオブジェクト復号化（ステップＳ７０５）、ＢＩＦＳデータ復号化を行う（ステップＳ７０６）。一方、全てのデータが抽出されていない場合（Ｎｏ）、これらの復号化処理を行わず、ステップＳ７０７の判定処理に進む。ステップＳ７０７では、全てのマクロブロックを復号化したかどうかの判定を行う。尚、このフローチャートでは、マクロブロックの数が、埋め込まれるビット数よりも多いという前提の処理になっている。
【００５８】
次に、マルチオブジェクトに非対応の復号化システムで、第１の実施形態による符号化システムで生成したストリームを復号する場合について、図１２を用いて説明する。分離部１２０１に入力されるデータストリームは、図２におけるデータストリームと構造的には全く同じものである。特にオーディオデータは何ら変更を加えていないので、従来と全く同じデータが再生される。ビデオデータは、各マクロブロック毎に最も高周波の係数が±１ビットの範囲でずれていることになる。このデータをそのまま復号化すると、高周波成分にわずかな歪を生じることとなるが、視覚特性上この差を知覚することは難しい。従って、ビデオ復号化部１２０７とビデオ合成メモリ１２０８を経て、表示部１２０９で出力される画像は、図９Ａと同等の画像が得られることになる。
【００５９】
上述したように、本発明は、符号化された複数の基本オブジェクトデータが多重化されたデータストリームを複数の符号化された基本オブジェクトデータに分離する分離手段（分離部２０１）と、分離された基本オブジェクトデータに、複数の基本オブジェクトデータで構成されるシーンに関して記述したシーン記述データが電子透かしによって埋め込まれているか否かを判定して、基本オブジェクトデータにシーン記述データが埋め込まれている場合、符号化された基本オブジェクトデータからシーン記述データを抽出する抽出手段（埋め込み情報分離部２１４）と、抽出されたシーン記述データを復号化する第１の復号化手段（シーン記述復号化部２１２）と、シーン記述データが抽出された後の基本オブジェクトデータを復号化する第２の復号化手段（例えば、ビデオ復号化部２０６）と、復号化されたシーン記述データに基づいて、復号化された複数の基本オブジェクトデータを合成する合成手段（合成部２１５）と、合成された結果を出力する出力手段（例えば、表示部２１７やオーディオ出力部２１６）とを備えることを特徴とする。
【００６０】
また、本発明は、基本オブジェクトデータにシーン記述データが埋め込まれているか否かを判定することができない場合、又は、基本オブジェクトデータにシーン記述データが埋め込まれていない場合、符号化された基本オブジェクトデータを復号化する第３の復号化手段（例えば、オーディオ復号化部２０３）をさらに備え、合成手段（合成部２１５）が、復号化された複数の基本オブジェクトデータを合成することを特徴とする。
【００６１】
さらに、本発明は、分離された前記基本オブジェクトデータに対してさらに付加オブジェクトデータが電子透かしによって埋め込まれているか否かを判定し、付加オブジェクトデータが埋め込まれている場合、抽出手段（埋め込み情報分離部２１４）が、さらに付加オブジェクトデータを抽出し、合成手段（合成部２１５）が、復号化されたシーン記述データに基づいて、復号化された複数の基本オブジェクトデータと復号化された付加オブジェクトデータとを合成することを特徴とする。
【００６２】
以上説明したように、本発明によれば、入力されたデータストリームは、マルチオブジェクト非対応の復号化システムでも再生可能であり、また、このデータストリームから埋め込みデータを抽出する復号化システムにより、マルチオブジェクト対応の出力を得ることもできる。このように、マルチオブジェクトに対応しているか否かに関わらず、共通のデータストリーム扱える効率のよい画像処理を提供することができる。
【００６３】
＜他の実施形態＞
尚、本発明は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用してもよい。
【００６４】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６５】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６６】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【００６７】
【発明の効果】
以上説明したように、本発明によれば、マルチオブジェクトに対応したシステムにおいては通常の処理を行い、マルチオブジェクトに非対応のシステムに対しては互換性を確保して、付加機能を除いた基本機能であるオーディオやビデオの処理をすることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態におけるマルチオブジェクトに対応した符号化システムの構成を示すブロック図である。
【図２】本発明の第２の実施形態におけるマルチオブジェクトに対応した復号化システムの構成を示すブロック図である。
【図３】本発明の第１の実施形態における符号化システムのハードウェア構成を示すブロック図である。
【図４】本発明の第１の実施形態におけるメモリ３０３の使用、格納領域を示す図である。
【図５】本発明の第２の実施形態におけるメモリ３０３の使用、格納領域を示す図である。
【図６】本発明の第１の実施形態における埋め込み情報合成部１１０における埋め込み処理手順を詳細に説明するためのフローチャートである。
【図７】本発明の第２の実施形態における埋め込み情報分離部２１４の処理手順を詳細に説明するためのフローチャートである。
【図８】シーングラフの説明図である。
【図９Ａ】マルチオブジェクト非対応の復号化システムの表示部１２０９で表示されるビデオ出力例を示す概要図である。
【図９Ｂ】マルチオブジェクト対応の復号化システムの表示部１３１６で表示されるビデオ出力例を示す概要図である。
【図１０】オーディオ信号とビデオ信号を符号化する従来のマルチオブジェクト非対応の符号化システムの構成を示すブロック図である。
【図１１】従来例におけるマルチオブジェクト対応の符号化システムの構成を示すブロック図である。
【図１２】従来例におけるマルチオブジェクト非対応の復号システムの構成を示すブロック図である。
【図１３】従来例におけるマルチオブジェクト対応の復号化システムの構成を示すブロック図である。
【符号の説明】
１０１　オーディオ入力部
１０２　オーディオ符号化部
１０３　オーディオパケット化部
１０４　ビデオ入力部
１０５　ビデオ符号化部
１０６　オブジェクト入力部
１０７　オブジェクト符号化部
１０８　シーン記述入力部
１０９　シーン記述符号化部
１１０　埋め込み情報合成部
１１１　ビデオパケット化部
１１２　多重化部
２０１　分離部
２０２　オーディ復号化バッファ
２０３　オーディオ復号化部
２０４　オーディオ合成メモリ
２０５　ビデオ復号化バッファ
２０６　ビデオ復号化部
２０７　ビデオ合成メモリ
２０８　オブジェクト復号化バッファ
２０９　オブジェクト復号化部
２１０　オブジェクト合成メモリ
２１１　シーン記述復号化バッファ
２１２　シーン記述復号化部
２１３　シーン記述合成メモリ
２１４　埋め込み情報分離部
２１５　合成部
２１６　オーディオ出力部
２１７　表示部
【図１】
2004080097.tif 000003
【図２】
2004080097.tif 000004
【図３】
2004080097.tif 000005
【図４】
2004080097.tif 000006
【図５】
2004080097.tif 000007
【図６】
2004080097.tif 000008
【図７】
2004080097.tif 000009
【図８】
2004080097.tif 000010
【図９Ａ】
2004080097.tif 000011
【図９Ｂ】
2004080097.tif 000012
【図１０】
2004080097.tif 000013
【図１１】
2004080097.tif 000014
【図１２】
2004080097.tif 000015
【図１３】
2004080097.tif 000016