(57)【要約】【課題】動画像を構成するフレームに対応する高品位な静止画像に関する情報を電子透かしによって動画像の符号化データ中に埋め込むことができる画像処理装置及び画像処理方法を提供する。【解決手段】連続する静止画像がカメラ２から入力され、静止画像符号化器６で符号化され、記憶装置１２に格納される。ここで、静止画像に関する情報が透かし情報として透かし生成器９で生成される。一方、連続する静止画像が縮小器３で所定解像度の動画像に変換され、その動画像が動画像符号化器４で符号化される。そして、透かし挿入器１０において、符号化された動画像に対して、透かし情報を電子透かしによって埋め込まれ、記憶装置１３に格納される。【選択図】　図１
2004080095.tif 000002
【特許請求の範囲】
【請求項１】
静止画像を連続して入力する入力手段と、
前記静止画像を符号化する第１の符号化手段と、
符号化された前記静止画像を記憶する静止画像記憶手段と、
前記静止画像に関する情報を透かし情報として生成する透かし生成手段と、
連続して入力された前記静止画像を所定解像度の動画像に変換する変換手段と、
前記動画像を符号化する第２の符号化手段と、
符号化された前記動画像に対して、前記透かし情報を電子透かしによって埋め込む埋め込み手段と、
前記透かし情報が埋め込まれた前記動画像を記憶する動画像記憶手段と
を備えることを特徴とする画像処理装置。
【請求項２】
動画像を入力する入力手段と、
前記動画像を階層符号化する第１の符号化手段と、
符号化された前記動画像を記憶する第１の記憶手段と、
前記動画像を構成する静止画像に関する情報を透かし情報として生成する透かし生成手段と、
前記動画像を所定解像度に変換する変換手段と、
解像度が変換された前記動画像を符号化する第２の符号化手段と、
符号化された前記動画像に対して、前記透かし情報を電子透かしによって埋め込む埋め込み手段と、
前記透かし情報が埋め込まれた前記動画像を記憶する第２の記憶手段と
を備えることを特徴とする画像処理装置。
【請求項３】
前記第１の符号化手段が、ＪＰＥＧ符号化方式に準拠して前記静止画像を符号化することを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記第１の符号化手段が、ＭＰＥＧ−４符号化方式に準拠して前記動画像を符号化することを特徴とする請求項２記載の画像処理装置。
【請求項５】
前記第２の符号化手段が、ＭＰＥＧ−４符号化方式に準拠して前記動画像を符号化することを特徴とする請求項１から４までのいずれか１項に記載の画像処理装置。
【請求項６】
前記静止画像に関する情報が、該静止画像の格納場所を示す情報であることを特徴とする請求項１から５までのいずれか１項に記載の画像処理装置。
【請求項７】
高品位の静止画像を格納する格納手段と、
前記静止画像に関する情報が透かし情報として埋め込まれた符号化動画像を入力する入力手段と、
前記符号化動画像の所定フレームから前記透かし情報を抽出する透かし抽出手段と、
前記透かし情報に基づいて前記高品位の静止画像を獲得する静止画像獲得手段と、
獲得された前記静止画像を出力する静止画像出力手段と
を備えることを特徴とする画像処理装置。
【請求項８】
前記動画像のフレームから前記所定フレームを指示する指示手段をさらに備え、
前記透かし抽出手段が、指示されたフレームに埋め込まれている透かし情報を抽出する
ことを特徴とする請求項７記載の画像処理装置。
【請求項９】
前記静止画像を格納する格納手段とネットワークを介して接続されており、
前記静止画像に関する情報が、該静止画像の格納されている場所を示す情報であることを特徴とする請求項８記載の画像処理装置。
【請求項１０】
前記静止画像に関する情報が、ＵＲＬで表現されていることを特徴とする請求項９記載の画像処理装置。
【請求項１１】
連続する静止画像を符号化する第１の符号化工程と、
前記静止画像に関する情報を透かし情報として生成する透かし生成工程と、
連続する前記静止画像を所定解像度の動画像に変換する変換工程と、
前記動画像を符号化する第２の符号化工程と、
符号化された前記動画像に対して、前記透かし情報を電子透かしによって埋め込む埋め込み工程と
を有することを特徴とする画像処理方法。
【請求項１２】
動画像を階層符号化する第１の符号化工程と、
前記動画像を構成する静止画像に関する情報を透かし情報として生成する透かし生成工程と、
前記動画像を所定解像度に変換する変換工程と、
解像度が変換された前記動画像を符号化する第２の符号化工程と、
符号化された前記動画像に対して、前記透かし情報を電子透かしによって埋め込む埋め込み工程と
を有することを特徴とする画像処理方法。
【請求項１３】
前記第１の符号化工程が、ＪＰＥＧ符号化方式に準拠して前記静止画像を符号化することを特徴とする請求項１１記載の画像処理方法。
【請求項１４】
前記第１の符号化工程が、ＭＰＥＧ−４符号化方式に準拠して前記動画像を符号化することを特徴とする請求項１２記載の画像処理方法。
【請求項１５】
前記第２の符号化工程が、ＭＰＥＧ−４符号化方式に準拠して前記動画像を符号化することを特徴とする請求項１１から１４までのいずれか１項に記載の画像処理方法。
【請求項１６】
前記静止画像に関する情報が、該静止画像の格納場所を示す情報であることを特徴とする請求項１１から１５までのいずれか１項に記載の画像処理方法。
【請求項１７】
所定の格納装置に格納された高品位の静止画像に関する情報が透かし情報として埋め込まれた符号化動画像の所定フレームから前記透かし情報を抽出する透かし抽出工程と、
前記透かし情報に基づいて前記高品位の静止画像を前記所定の格納装置から獲得する静止画像獲得工程と
を有することを特徴とする画像処理方法。
【請求項１８】
前記動画像のフレームから前記所定フレームを指示を受け付ける指示工程をさらに有し、
前記透かし抽出工程が、指示されたフレームに埋め込まれている透かし情報を抽出する
ことを特徴とする請求項１７記載の画像処理方法。
【請求項１９】
前記静止画像に関する情報が、該静止画像の格納されている場所を示す情報であることを特徴とする請求項１７又は１８に記載の画像処理方法。
【請求項２０】
前記静止画像に関する情報が、ＵＲＬで表現されていることを特徴とする請求項１９記載の画像処理装置。
【請求項２１】
コンピュータに、
連続する静止画像を符号化する第１の符号化手順と、
前記静止画像に関する情報を透かし情報として生成する透かし生成手順と、
連続する前記静止画像を所定解像度の動画像に変換する変換手順と、
前記動画像を符号化する第２の符号化手順と、
符号化された前記動画像に対して、前記透かし情報を電子透かしによって埋め込む埋め込み手順と
を実行させるためのプログラム。
【請求項２２】
コンピュータに、
動画像を階層符号化する第１の符号化手順と、
前記動画像を構成する静止画像に関する情報を透かし情報として生成する透かし生成手順と、
前記動画像を所定解像度に変換する変換手順と、
解像度が変換された前記動画像を符号化する第２の符号化手順と、
符号化された前記動画像に対して、前記透かし情報を電子透かしによって埋め込む埋め込み手順と
を実行させるためのプログラム。
【請求項２３】
コンピュータに、
所定の格納装置に格納された高品位の静止画像に関する情報が透かし情報として埋め込まれた符号化動画像の所定フレームから前記透かし情報を抽出する透かし抽出手順と、
前記透かし情報に基づいて前記高品位の静止画像を前記所定の格納装置から獲得する静止画像獲得手順と
を実行させるためのプログラム。
【請求項２４】
請求項２１から２３までのいずれか１項に記載のプログラムを格納することを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像から高解像度の静止画像を獲得する画像処理装置及び画像処理方法に関する。
【０００２】
【従来の技術】
一般に、動画像の符号化方式として、フレーム内符号化方式であるＭｏｔｉｏｎ　ＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｃｏｄｉｎｇ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）やＤｉｇｉｔａｌ　Ｖｉｄｅｏ等の符号化方式や、フレーム間予測符号化を用いたＨ．２６１、Ｈ．２６３、ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｃｏｄｉｎｇ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）−１、ＭＰＥＧ−２、ＭＰＥＧ−４等の符号化方式が知られている。これらの符号化方式は、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｏｒｇａｎｉｚａｔｉｏｎ　ｆｏｒ　Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ：国際標準化機構）やＩＴＵ（Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｕｎｉｏｎ：国際電気通信連合）によって国際標準化されている。さらに新しい静止画符号化方式であるＪＰＥＧ−２０００符号化方式やそれを用いた動画像符号化方式、さらに低ビットレートの動画像符号化方式のＨ．２６４の標準化も進められている。
【０００３】
一方、家庭へのパーソナルコンピュータの普及や、通信インフラの整備が進んできており、インターネットによる情報の流通が盛んになってきている。このため、インターネットで動画像を利用するためにＭＰＥＧ−４符号化方式が注目されている。ＭＰＥＧ−４方式では、特に低ビットレートでの伝送や、スケーラビリティといった回線事情に合わせた伝送が可能になっている。
【０００４】
上述したようなデジタル符号化規格の普及に伴い、映像や音楽等のコンテンツ業界からは著作権保護の問題が強く提起されるようになってきた。これに対応して、コンテンツの保護に関する標準化も進み、ＭＰＥＧ−４符号化方式では、ファイルシステムにＩＰＭＰ　ＯＤを用いてセキュリティ情報を記述したり、セキュリティ情報によって再生を制限する方法が標準化された。そして、セキュリティに関する情報や暗号化のために電子透かし技術が開発されている。この電子透かし技術とは、データ再生時にデータが変化しないか、又は変化が知覚できないレベルで著作権に関するデータ等を埋め込む技術のことである。
【０００５】
ビデオデータに対して電子透かしを埋め込む技術としては、特開平１０−２４３３９８号の「動画像エンコードプログラムを記録した記録媒体及び動画像エンコード装置」や特開平１１−３４１４５０号の「電子透かし埋め込み装置及び抽出装置」等に開示されている。また、オーディオデータに関しても同様に、特開２００１−２０２０８９の「音声データに透かし情報を埋め込む方法、透かし情報埋め込み装置、透かし情報検出装置、透かし情報が埋め込まれた記録媒体、及び透かし情報を埋め込む方法を記録した記録媒体」や特開平１１−３１６５９９号の「電子透かし埋め込み装置、オーディオ符号化装置及び記録媒体」等に電子透かしを埋め込む技術が開示されている。
【０００６】
また、動画像から高精細な静止画像を得ようといった技術も開示されている。例えば、特開平８−２３５９５号には、動きベクトルに基づいて振れの少ない静止画像を得る技術が開示されている。
【０００７】
【発明が解決しようとする課題】
しかしながら、ＭＰＥＧ−４符号化方式のような低ビットレートでの動画像においてその静止画像を表示すると、画像サイズが小さいという問題や、劣化が大きいために印字品質には耐えられないといった問題が生じる。　このような低ビットレートの動画像では、上述したような方法で高精細な静止画像を作ることもできない。
【０００８】
例えば、ＭＰＥＧ−４符号化方式のシンプル・プロファイル（Ｓｉｍｐｌｅ　Ｐｒｏｆｉｌｅ）では、ＣＩＦ等のサイズの画像が典型的であり、その画像は非常に小さい。そのため、空間解像度に関するスケーラビリティ符号を用いることも可能であるが、該当するフレームの静止画像のデータを呼び出すためには、先頭から目標のフレームまでを復号する必要があり、再生に時間がかかるとともに複雑な処理が必要となっている。また、特開平９−９２１４号の「デジタル画像情報多重化伝送方法、送信装置及び受信装置」に記載されているように静止画像を別途多重化する方法や、特開平８−２１４３１４号の「画像伝送装置」のようにフレーム内符号化データを挿入する方式もあるが、これらの方式では符号量が増大し、低ビットレートでの伝送は難しくなる。
【０００９】
一方、別な領域や場所にある静止画像データを呼び出すために、その位置等をファイルのフォーマットや符号化データに付与することで解決できる可能性もある。符号によっては任意のデータを書き込むデータ領域、例えば各フレームにおいて、ＭＰＥＧ−２であればｕｓｅｒ＿ｄａｔａに、追加情報を記載することができる。しかしながら、ＭＰＥＧ−４ではフレーム単位ではそれに類する領域は存在しない。このため、独自のコードを挿入する必要が生じ、互換性を損なうことになってしまう。
【００１０】
本発明は、このような事情を考慮してなされたものであり、動画像を構成するフレームに対応する高品位な静止画像に関する情報を電子透かしによって動画像の符号化データ中に埋め込むことができ、他の符号化方式による符号化データとの互換性を保ったまま、低解像度の動画像から高解像度の静止画像の獲得を好適に行うことができる画像処理装置及び画像処理方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記課題を解決するために、本発明に係る画像処理装置は、静止画像を連続して入力する入力手段と、前記静止画像を符号化する第１の符号化手段と、符号化された前記静止画像を記憶する静止画像記憶手段と、前記静止画像に関する情報を透かし情報として生成する透かし生成手段と、連続して入力された前記静止画像を所定解像度の動画像に変換する変換手段と、前記動画像を符号化する第２の符号化手段と、符号化された前記動画像に対して、前記透かし情報を電子透かしによって埋め込む埋め込み手段と、前記透かし情報が埋め込まれた前記動画像を記憶する動画像記憶手段とを備えることを特徴とする。
【００１２】
また、本発明に係る画像処理装置は、動画像を入力する入力手段と、前記動画像を階層符号化する第１の符号化手段と、符号化された前記動画像を記憶する第１の記憶手段と、前記動画像を構成する静止画像に関する情報を透かし情報として生成する透かし生成手段と、前記動画像を所定解像度に変換する変換手段と、解像度が変換された前記動画像を符号化する第２の符号化手段と、符号化された前記動画像に対して、前記透かし情報を電子透かしによって埋め込む埋め込み手段と、前記透かし情報が埋め込まれた前記動画像を記憶する第２の記憶手段とを備えることを特徴とする。
【００１３】
さらに、本発明に係る画像処理装置は、前記第１の符号化手段が、ＪＰＥＧ符号化方式に準拠して前記静止画像を符号化することを特徴とする。
【００１４】
さらにまた、本発明に係る画像処理装置は、前記第１の符号化手段が、ＭＰＥＧ−４符号化方式に準拠して前記動画像を符号化することを特徴とする。
【００１５】
さらにまた、本発明に係る画像処理装置は、前記第２の符号化手段が、ＭＰＥＧ−４符号化方式に準拠して前記動画像を符号化することを特徴とする。
【００１６】
さらにまた、本発明に係る画像処理装置は、前記静止画像に関する情報が、該静止画像の格納場所を示す情報であることを特徴とする。
【００１７】
さらにまた、本発明に係る画像処理装置は、高品位の静止画像を格納する格納手段と、前記静止画像に関する情報が透かし情報として埋め込まれた符号化動画像を入力する入力手段と、前記符号化動画像の所定フレームから前記透かし情報を抽出する透かし抽出手段と、前記透かし情報に基づいて前記高品位の静止画像を獲得する静止画像獲得手段と、獲得された前記静止画像を出力する静止画像出力手段とを備えることを特徴とする。
【００１８】
さらにまた、本発明に係る画像処理装置は、高品位の静止画像を格納する格納手段と、前記静止画像に関する情報が透かし情報として埋め込まれた符号化動画像を入力する入力手段と、前記符号化動画像の所定フレームから前記透かし情報を抽出する透かし抽出手段と、前記透かし情報に基づいて前記高品位の静止画像を獲得する静止画像獲得手段と、獲得された前記静止画像を出力する静止画像出力手段とを備えることを特徴とする。
【００１９】
さらにまた、本発明に係る画像処理装置は、前記動画像のフレームから前記所定フレームを指示する指示手段をさらに備え、前記透かし抽出手段が、指示されたフレームに埋め込まれている透かし情報を抽出することを特徴とする。
【００２０】
さらにまた、本発明に係る画像処理装置は、前記静止画像を格納する格納手段とネットワークを介して接続されており、前記静止画像に関する情報が、該静止画像の格納されている場所を示す情報であることを特徴とする。
【００２１】
さらにまた、本発明に係る画像処理装置は、前記静止画像に関する情報が、ＵＲＬで表現されていることを特徴とする。
【００２２】
【発明の実施の形態】
以下、図面を参照して、本発明の好適な実施形態について説明する。
【００２３】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る画像符号化システムの構成を示すブロック図である。図１に示すように、本実施形態に係る画像符号化システムは、画像処理装置１とそれに接続するカメラ２、記憶装置１２、１３及び通信インタフェース（Ｉ／Ｆ）１４とから構成されている。カメラ２は、画像をフレーム単位で連続して画像処理装置１に入力する。記憶装置１２は、画像処理装置１で処理された静止画像符号化データを蓄積する。記憶装置１３は、透かしデータが埋め込まれた符号化データを蓄積する。また、通信インタフェース１４は、通信回線１５を介してデータのやり取りを不図示の他の装置等と行うためのインタフェースである。
【００２４】
図１に示すように、画像処理装置１はさらに複数の機器から構成される。縮小器３は、カメラ２で入力された画像をフレーム単位で縮小する。また、動画像符号化器４は、縮小器３で縮小された画像を動画像の符号化方式でフレーム単位で符号化する。尚、本実施形態では、動画像符号化器４の符号化方式をＭＰＥＧ−４符号化方式を例にとって説明するが、本発明の適用はこの方式だけに限定されるものではない。また、符号メモリ５は、動画像符号化器４でフレーム単位で符号化した結果の符号化データを格納する。
【００２５】
一方、静止画像符号化器６は、カメラ２で入力された静止画像の符号化を行う。尚、本実施形態では、静止画像符号化器６の符号化方式をＪＰＥＧ符号化方式を例にとって説明するが、本発明の適用はこの方式だけに限定されるものではない。記憶装置１２は、この静止画像符号化データを蓄積する。この際、記憶装置１２を制御し、ファイル管理等を行うのが記憶装置制御器７である。
【００２６】
また、メモリ８は、画像符号化システムを識別するデータを格納している。そして、透かし生成器９は、記憶装置制御器７とメモリ８の出力から透かしデータを生成する。透かし挿入器１０は、透かしデータを符号化データに埋め込む。尚、記憶装置１３は、生成された符号化データを記録する。そして、記憶装置制御器１１は、記憶装置１３を制御し、ファイル管理等を行う。
【００２７】
上記のように構成された本実施形態に係る画像符号化システムにおける動画像データの符号化処理における各部の動作の詳細について次に説明する。
【００２８】
符号化処理に先立って、まず、本画像符号化システムの各部が初期化される。すなわち、符号メモリ５が０でクリアされる。また、通信インタフェース１４は、通信回線１５を介して受信側と通信を確立する。記憶装置制御器７は、記憶装置１２の空き領域を確保し、ファイル名を設定する。また、記憶装置制御器１１は、記憶装置１３の空き領域を確保し、ファイル名を設定する。
【００２９】
次に、カメラ２で撮像された画像データは、１フレーム単位で縮小器３と静止画像符号化器６に入力される。縮小器３は、予め決められた縮小率で画像を縮小し、動画像符号化器４に縮小画像を出力する。動画像符号化器４では、各フレームをＭＰＥＧ−４符号化方式で符号化し、符号メモリ５に格納する。
【００３０】
同時に、静止画像符号化器６に入力された画像データは、ＪＰＥＧ符号化方式で符号化され、記憶装置制御器７に符号化されたデータが出力される。記憶装置制御器７では、記憶装置１２の空き領域に対してファイル名を設定し、静止画像データを蓄積する。ファイル名を透かし生成器９に入力する。
【００３１】
一方、メモリ８には本装置がネットワーク上で認識できる情報が格納されている。尚、本実施形態ではＵＲＬを格納しているものとするが、本発明の適用はこれだけに限定されるものではない。また、透かし生成器９は、メモリ８からＵＲＬを読み出し、その文字数Ｃをカウントする。そして、ＵＲＬの文字数Ｃを８ビットで表し、その後にＵＲＬの文字列を続ける。さらに、記憶装置制御器７で命名したファイル名の長さＦをカウントし、文字列をつなげる。すなわち、（Ｃ＋Ｆ＋１）バイトの透かしデータを生成する。生成された透かしデータは透かし挿入器１０に入力される。
【００３２】
透かし挿入器１０では、符号メモリ５から読み出した符号化データに、透かし生成器９で生成された透かしデータを埋め込む。埋め込みの方法としては、例えば、各ブロックの最も高周波の係数を±１の範囲で増減させて奇数・偶数を透かしデータに従って意図的に符号化データを変更する方法等で透かしデータを用いれば良い。すなわち、埋め込むデータの１ビットが０であれば、最後の係数を偶数に、１であれば奇数にする。埋め込むマクロブロックのＥＯＢの前の符号を読み出し、必要であればこれを変更する。
【００３３】
例えば、直前の符号において０ラン長が８で値が３であった時、埋め込む値が０であれば、ラン長が８で値が４の符号に置換する。実際の符号では、「１１１１１１１１１１１０１１０１１０」　を「１１１１１１１１１１１０１１０１１１」に置換する。値が１であれば何もしない。尚、本発明の適用はこれだけに限定されず、特開平１１−３４１４５２号の「動画像電子透かしシステム」に記載されている方法等の既存の方法を使用しても良い。
【００３４】
このようにして透かし挿入器１０において透かしデータが埋め込まれた符号化データは、記憶装置制御器１１、通信インタフェース１４を介して通信回線１５に送出する。同時に、記憶装置１３の所定の位置に蓄積することも可能である。
【００３５】
すなわち、本実施形態では、静止画像がカメラ２から連続して入力される。そして、画像処理装置１は、静止画像符号化器６で入力された静止画像を符号化し、符号化された静止画像を記憶装置１２に記憶する。また、静止画像に関する情報を透かし情報として透かし生成器９で生成する。一方、連続して入力された静止画像を縮小器３で所定解像度の動画像に変換し、その動画像を動画像符号化器４で符号化する。そして、透かし挿入器１０において、符号化された動画像に対して、透かし情報を電子透かしによって埋め込む。さらに、画像処理装置１において、透かし情報が埋め込まれた動画像は、記憶装置１３に記憶される。
【００３６】
次に、受信側から、通信インタフェース１４を介して、静止画像符号化データが要求された場合の静止画像データの出力動作を説明する。
【００３７】
受信側では、ＵＲＬから通信回線１５を介して通信インタフェース１４を探索し、静止画像符号化データが要求される。通信インタフェース１４は、記憶装置制御器７に対して、ＵＲＬに記載されたファイル名を入力する。記憶装置制御器７は、記憶装置１２上の該当するファイルを読み出し、通信インタフェース１４、通信回線１５を介して、要求してきた受信側に当該ファイルを送信する。
【００３８】
以上、符号化データの蓄積・送信までの処理の簡単な流れを、図１０を用いて説明する。図１０は、第１の実施形態に係る画像符号化システムにおける動画像符号化処理を説明するためのフローチャートである。尚、以下で説明する動作の主体は上述した画像符号化システムの各部である。
【００３９】
まず、装置の初期化を行い（ステップＳ２０１）、処理の終了判断が行われる（ステップＳ２０２）。そして、通信インタフェース１４から静止画像の要求があるか否かを判定し（ステップＳ２０３）、要求が無ければステップＳ２０４に進み、要求があればステップＳ２１１に進む。
【００４０】
ステップＳ２０４においては、入力された画像データをＪＰＥＧ符号化方式で符号化する。次に、ＵＲＬ、ファイル名等の情報を生成する（ステップＳ２０５）。また、静止画像符号化データを記憶装置１２のファイル名のファイルに格納する（ステップＳ２０６）。さらに、入力されたフレームデータを縮小し、ＭＰＥＧ−４符号化方式で符号化する（ステップＳ２０７）。さらにまた、ＵＲＬ、ファイル名から透かしデータを生成する（ステップＳ２０８）。そして、透かしデータをＭＰＥＧ−４符号化データに埋め込み（ステップＳ２０９）、ＭＰＥＧ−４符号化データを、通信インタフェース１４を介して送信したり、記憶装置１３に蓄積したりする（ステップＳ２１０）。
【００４１】
一方、ステップＳ２０３において静止画像符号化データの要求があったと判断された場合、ＵＲＬに続くファイル名を読み込み、該当するファイルの符号化データを記憶装置１２から読み出す（ステップＳ２１１）。さらに、要求された静止画像符号化データを通信インタフェース１４、通信回線１５を介して、受信側に送信する（ステップＳ２１２）。その後、上述したステップＳ２０４の処理が行われる。
【００４２】
上述したような一連の選択動作によって、動画像の各フレームの静止画像データに関する情報を電子透かしによって埋め込むことにより、復号側で静止画像データが必要になった場合に該当する符号化データの送受信を容易に行うようにすることが可能である。また、電子透かしとして埋め込むために、これらを解釈できない受信機に送られた場合であっても、問題なく復号ができ、互換性が確保される。同時に、この情報の付加に伴う符号長の増大も起きない。
【００４３】
また、ＭＰＥＧ−４符号化方式のように各フレームで任意のデータを挿入できないような符号化方式でも情報を付加した符号化が可能になる。さらに、ＵＲＬによってデータの保存場所を検索するので、例えば、静止画像と動画像が異なるコンピュータ或いはサーバにある場合であっても正しく再生することができる。
【００４４】
尚、本実施形態においては動画像のＭＰＥＧ−４符号化方式を用いて処理したが、他の符号化方式、例えば、Ｈ．２６１、ＭＰＥＧ−１、ＭＰＥＧ−２、Ｍｏｔｉｏｎ　ＪＰＥＧでもよい。また、静止画像の符号化方式もＪＰＥＧ符号化方式としたが、これだけに限定されるものではなく、ＪＰＥＧ−２０００符号化方式や他の符号化方式であってもよい。また、本実施形態の各部又は全部の機能をソフトウェア処理を行うための演算プログラムで記述し、ＣＰＵ等によって処理をさせてもよい。
【００４５】
尚、本実施形態においては静止画像の要求があった場合、要求された静止画像符号化データを送信してから静止画像、動画像の符号化を行なったが、これを平行して行なってももちろん構わない。
【００４６】
＜第２の実施形態＞
図２は、本発明の第２の実施形態に係る画像復号システムの構成を示すブロック図である。本実施形態では上述した第１の実施形態と同様に、静止画像符号化方式としてＪＰＥＧ符号化方式を、動画像符号化方式としてＭＰＥＧ−４符号化方式を例にとって説明するが、これに限定されるものではない。
【００４７】
図２に示すように、本実施形態に係る画像復号システムは、画像処理装置５１とそれに接続する端末５２、通信インタフェース５３、モニタ６２及びプリンタ６３とから構成されている。端末５２は、不図示のユーザが画像処理装置５１等の起動、各種条件の設定、再生、静止画像の印字等の指示を行うための入力装置である。通信インタフェース５３は、通信回線５４を介して他の装置等とデータのやり取りを行うインタフェースである。尚、通信回線５４には上述した第１の実施形態に係る画像符号化システムが接続されているものとする。また、モニタ６２は、画像処理装置５１で復号されて再生された画像データを表示する。さらに、プリンタ６３は、画像処理装置５１で復号された再生された画像データを印字する。
【００４８】
図２に示すように、画像処理装置５１はさらに複数の機器から構成される。画像処理装置５１内において、５５は端末５２の指示や各部の情報から各部を制御する制御器を示す。また、５６は制御器５５の指示に基づき、出力先を切り替えるセレクタを示す。５７は符号化データから透かしデータを抽出する透かし抽出器を示す。５８は抽出された透かしデータから静止画像に関する情報を再生する静止画像情報再生器を示す。５９は再生した静止画像に関する情報をフレーム単位で格納しているメモリを示す。６０はＭＰＥＧ−４符号化方式で動画像をフレーム単位で復号する動画像復号器を示す。６１はＪＰＥＧ符号化方式で静止画像を復号する静止画像復号器を示す。
【００４９】
上記のように構成された第２の実施形態に係る画像復号システムにおける動画像データの復号処理における各部の動作の詳細について次に説明する。
【００５０】
第２の実施形態においては、第１の実施形態と同様に、動作に先立って、各部の初期化が行われる。端末５２から受信する画像データが選択され、接続される。そして、接続後、伝送されてくる動画像符号化データを受信する。また、セレクタ５６はその出力先を透かし抽出器５７としておく。
【００５１】
通信インタフェース５３を介して受信された符号化データは、フレーム単位で画像処理装置５１に入力され、セレクタ５６に入力される。セレクタ５６は入力された符号化データを透かし抽出器５７に入力する。透かし抽出器５７では第１の実施形態の図１に示す画像処理装置１における透かし挿入器１０の逆の手順に従って（Ｃ＋Ｆ＋１）バイトの透かしデータを抽出し、静止画像情報再生器５８に入力する。透かしデータに抽出が終わった符号化データはそのまま動画像復号器６０に入力され、復号処理されて画像データが再生され、モニタ６２で表示される。
【００５２】
また、静止画像情報再生器５８は、（Ｃ＋Ｆ）バイトのデータから静止画像符号化データがある装置のＵＲＬと該当するファイル名を再生し、メモリ５９に格納する。制御器５５は、端末５２から一旦停止と静止画印字に関する指示が無い場合はそのまま通信インタフェース５３からの符号化データの受信を継続する。これにより、連続して符号化データの読み出しが行われ、モニタ６２上で動画像が再生される。
【００５３】
端末５２から静止画像の印字の指示が入力された場合、制御器５５はメモリ５９からＵＲＬとファイル名を読み出し、ＵＲＬを通信インタフェース５３を介して送信し、該当する画像符号化システムを探索する。該当する画像符号化システムが発見された場合、これに接続してファイル名を送る。そして、符号化データが送信されるのを待つ。
【００５４】
静止画像の符号化データが送信されてきた後、制御器５５は、セレクタ５６に出力先を静止画像復号器６１とし、入力されたＪＰＥＧ符号化データを静止画像復号器６１に入力する。入力されたＪＰＥＧ符号化データは高精細な静止画像を復号し、プリンタ６３で印字する。この時もモニタ６２では該当する画像データ一旦停止の状態で表示されている。
【００５５】
すなわち、本実施形態に係る画像処理装置５１には、所定の格納装置に格納された高品位の静止画像に関する情報が透かし情報として埋め込まれた符号化動画像が入力される。そして、透かし抽出器５７で、符号化動画像の所定フレームから透かし情報を抽出する。また、静止画像情報再生器５８で再生された透かし情報に基づいて、静止画像復号器６１で高品位の静止画像を獲得する。獲得された静止画像がプリンタ６３から出力される。
【００５６】
以上、符号化データの復号までの処理を簡単な流れを、図１１を用いて説明する。図１１は、第２の実施形態に係る画像復号システムにおける画像復号処理手順を説明するためのフローチャートである。尚、以下で説明する動作の主体は上述した画像復号システムの各部である。
【００５７】
まず、装置の初期化を行い、通信回線の接続等を行う（ステップＳ３０１）。そして、復号処理の終了判断を行う（ステップＳ３０２）。その結果、復号処理が終了したと判断された場合は当該処理を終了する。一方、復号処理が終了していないと判断された場合は、通信インタフェース５３を介して１フレーム分の符号化データを読み込む（ステップＳ３０３）。さらに、符号化データから透かしデータを抽出し（ステップＳ３０４）、端末５２から一旦停止や静止画像印字の要求の有無を判定する（ステップＳ３０５）。
【００５８】
その結果、要求が無いと判定された場合はステップＳ３０６に進み、要求があると判定された場合はステップＳ３０７に進む。ステップＳ３０６では、ＭＰＥＧ−４符号化方式で復号し、モニタ６２に再生画像を表示する。一方、ステップＳ３０５で要求があった場合、ＵＲＬを介してファイル名を通信インタフェース５３から送信する（ステップＳ３０７）。また、静止画像符号化データを受信する（ステップＳ３０８）。さらに、受信した静止画像符号化データをＪＰＥＧ符号化方式に従って復号し、プリンタ６３で印字する（ステップＳ３０９）。尚、ステップＳ３０６及びステップＳ３０９の処理後は、ステップＳ３０２に進む。
【００５９】
このような一連の選択動作によって、透かしによって埋め込まれた動画像の各フレームの静止画像データに関する情報を解釈することにより、静止画像データのある場所の特定が容易になり、必要になった場合に該当する符号化データの送受を容易に行うようにすることが可能である。また、この情報の付加に伴う符号長の増大もない。
【００６０】
また、ＭＰＥＧ−４符号化方式のように各フレームで任意のデータを挿入できないような符号化方式でも情報を簡単に取得することが可能になる。ＵＲＬによってデータの保存場所を検索するので、例えば、静止画像と動画像が異なるコンピュータ、サーバにあっても正しく再生することができる。尚、本実施形態の各部または全部の機能をソフトウェアで記述し、ＣＰＵ等の演算装置によって処理をさせてもよい。
【００６１】
尚、本実施形態においては動画像のＭＰＥＧ−４符号化方式をとしたが、他の符号化方式、例えば、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４、ＭＰＥＧ−１、ＭＰＥＧ−２、Ｍｏｔｉｏｎ　ＪＰＥＧでもよい。また、静止画像の符号化方式もＪＰＥＧ符号化方式としたが、これに限定されず、ＪＰＥＧ−２０００符号化方式や他の符号化方式であってもよい。
【００６２】
＜第３の実施形態＞
図３は、本発明の第３の実施形態に係る画像符号化システムの構成を示すブロック図である。尚、前述の第１の実施形態における図１に示す画像符号化システムと同様の構成要素については同一番号を付してその詳細な説明は省略する。
【００６３】
図３において、１０１は本発明の第３の実施形態に基づく画像処理装置のブロック図である。１０２はフレーム単位で画像データを格納するフレームメモリである。１０３は電子透かしの埋め込みを行いながら動画像の符号化を行う動画像符号化器である。尚、本実施形態ではＭＰＥＧ−４符号化方式を例にとり、電子透かしの埋め込みに関しては、前述の特開平１０−２４３３９８号のような方式を例にとって説明する。但し、符号化方式や電子透かしの埋め込み方式に関してはこれらに限定されるものではない。
【００６４】
また、１０４は動画像符号化器であり、階層符号化を行うものである。ここでは、ＭＰＥＧ−４符号化方式のエンハンスメントレイヤ符号化を行うものとして説明を行う。１０５は記憶装置１２を制御し、ファイル管理等を行う記憶装置制御器を示す。１０６は画像符号化システムを識別するデータを格納したメモリを示す。ここでは本システムのネットワーク上でのＩＰアドレスを格納しているものとする。１０７は動画像符号化器１０４、記憶装置制御器１０５とメモリ１０６の出力から透かしデータを生成する透かし生成器であり、生成された透かしデータは動画像符号化器１０３で埋め込まれる。
【００６５】
上記のように構成された画像復号システムにおける動画像データの処理動作における各部の動作の詳細について次に説明する。
【００６６】
第３の実施形態においては、前述の第１の実施形態と同様に、動作に先立って、各部の初期化が行われる。通信インタフェース１４は、通信回線１５を介して受信側と通信を確立する。記憶装置制御器１１は、記憶装置１３の空き領域を確保し、ファイル名を設定する。記憶装置制御器１０５は、記憶装置１２の空き領域を確保し、ファイル名を設定し、ファイル名は透かし生成器１０７に入力される。動画像符号化器１０４のパラメータである、出力符号長カウンタＥを０にリセットする。
【００６７】
さらに、動画像符号化器１０４は、ＭＰＥＧ−４符号化方式のヘッダを生成して記憶装置１２の所定の領域に格納する。また、動画像符号化器１０３ファイル名をｕｓｅｒ＿ｄａｔａに記述してＭＰＥＧ−４符号化方式のヘッダを生成し、通信インタフェース１４を介して通信回線１５に送信する。また、生成された符号長を出力符号長カウンタＥに加算する。
【００６８】
カメラ２で撮像された画像データは、フレーム単位でフレームメモリ１０２に格納される。フレームメモリ１０２の画像データは、縮小器３と動画像符号化器１０４に入力される。縮小器３では、画像を縮小し、動画像符号化器１０３に入力する。動画像符号化器１０３は、ＭＰＥＧ−４符号化方式でベースレイヤの符号化データを生成し、後述する透かしデータを埋め込み、結果を符号メモリ５に格納する。また、動画像符号化器１０３は符号化の際に使用する局所復号画像を動画像符号化器１０４に入力する。
【００６９】
動画像符号化器１０４では、動画像符号化器１０３の局所復号画像を拡大してフレームメモリ１０２から読み込まれた画像データの参照画像を生成し、予測を行ってエンハンスメントレイヤの符号化データを生成して記憶装置制御器１０５に入力する。記憶装置制御器１０５では記憶装置１２の所定の領域に符号化データを蓄積する。また、生成された符号長を出力符号長カウンタＥに加算して透かし生成器１０７に入力する。
【００７０】
メモリ１０６には、本装置がネットワーク上で認識できる情報が格納されている。ここではシステムのＩＰアドレスを格納しているものとするが、これだけに限定されるものではない。メモリ透かし生成器１０７は、メモリ１０６からＩＰアドレスを読み出す。ここで、ＩＰアドレスは４バイトのアドレスである。記憶装置制御器１０５で命名したファイル名の長さＦをカウントする。透かしデータの長さを１バイトで表す。また、出力符号長カウンタＥを３バイトで表すものとする。したがって、透かしデータの長さは（Ｆ＋８）である。透かしデータの先頭から透かしデータの長さ、出力符号長カウンタＥ、その後にＩＰアドレスの文字列をつなげる。さらに、記憶装置制御器１０５で命名したファイル名の文字列をつなげる。このようにして、（Ｆ＋８）バイトの透かしデータを生成する。生成された透かしデータは動画像符号化器１０３に入力され符号化データの中に埋め込まれる。
【００７１】
このようにして、生成された符号化データは符号メモリ５に格納され、記憶装置制御器１１を介して、通信インタフェース１４を介して通信回線１５に送信し、記憶装置１３に格納する。
【００７２】
一方、受信側から、通信インタフェース１４を介して、静止画像符号化データが要求された場合の静止画像データの出力動作を以下で説明する。受信側でＩＰアドレスから、通信回線１５から通信インタフェース１４にアクセスが来て、静止画像符号化データが要求される。通信インタフェース１４は記憶装置制御器１０５に対して、送信されてきたファイル名と符号長Ｅを入力する。記憶装置制御器１０５は記憶装置１２上の該当するファイルを読み出し、ファイルの先頭から符号長Ｅだけ読み飛ばし、そこから読み出した符号化データを通信インタフェース１４、通信回線１５を介して、要求してきた受信側に送信する。
【００７３】
すなわち、本実施形態では、カメラ２から動画像が入力される。そして、画像処理装置１０１は、動画像符号化器１０４で動画像を階層符号化し、符号化された動画像を記憶装置１２に記憶する。また、動画像を構成する静止画像に関する情報を透かし生成器１０７で透かし情報として生成する。一方、縮小器３で、動画像を所定解像度に変換し、解像度が変換された動画像を動画像符号化器１０３で符号化する。また、動画像符号化器１０３は、符号化された動画像に対して、透かし情報を電子透かしによって埋め込む。そして、画像処理装置１０１は、透かし情報が埋め込まれた動画像を記憶装置１３に記憶する。
【００７４】
以上説明した符号化データの蓄積・送信までの処理を簡単な流れを、図１２を用いて説明する。図１２は、第３の実施形態に係る画像符号化システムにおける動画像符号化処理を説明するためのフローチャートである。尚、以下で説明する動作の主体は上述した画像符号化システムの各部である。
【００７５】
まず、装置の初期化を行う（ステップＳ４０１）。すなわち、エンハンスメントレイヤの符号化データのファイル名を決定してファイルをオープンすると同時に、ヘッダデータを生成し、格納する。次に、処理の終了判断を行う（ステップＳ４０２）。その結果、符号化処理が終了したと判断された場合は当該処理を終了する。一方、符号化処理が終了していないと判断された場合は、通信インタフェース１４から静止画像の要求があるか否かが判定される（ステップＳ４０３）。その結果、要求が無ければステップＳ４０６に進み、要求があればステップＳ４０４に進む。
【００７６】
ステップＳ４０６では、カメラ２からフレームデータを入力する。そして、それまでのエンハンスメントレイヤの符号長、ＩＰアドレス、ファイル名から透かしデータを生成する（ステップＳ４０７）。また、フレームデータを縮小してＭＰＥＧ−４符号化方式のベースレイヤ符号化を行うと同時に透かしデータの埋め込みを行う（ステップＳ４０８）。そして、フレームデータをベースレイヤ符号化の局所復号画像を参照画像としながら符号化する（ステップＳ４０９）。さらに、生成したエンハンスメントレイヤの符号化データを格納する（ステップＳ４１０）。そして、ベースレイヤの符号化データを送信し（ステップＳ４１１）
、上述したステップＳ４０２の処理に移る。
【００７７】
一方、ステップＳ４０３で静止画像の要求があった場合には、記憶装置１２からファイル名と符号長から読み出すデータの先頭位置を求め、（エンハンスメントレイヤ）符号化データを読み出す（ステップＳ４０４）。そして、読み出された符号化データを送信し（ステップＳ４０５）、上述したステップＳ４０６の処理に移る。
【００７８】
このような一連の選択動作によって、動画像の各フレームの静止画像データに関する情報を符号化しながら透かしとして埋め込むことにより、復号側で静止画像データが必要になった場合に該当する符号化データの送受を容易に行えるようにすることが可能である。さらには、静止画像を送った動画像との予測誤差を送って再生できるようになるため、別の静止画像符号化を用いた場合に比べて符号化効率を向上できる。また、透かしとして埋め込むため、これらを解釈できない受信機に送られても、問題なく復号ができ、互換性が確保される。同時に、この情報の付加に伴う符号長の増大も起きない。
【００７９】
また、ＭＰＥＧ−４符号化方式のように各フレームで任意のデータを挿入できないような符号化方式でも情報を付加した符号化が可能になる。ＩＰアドレスにてデータの保存場所を検索するので、例えば、静止画像と動画像が異なるコンピュータやサーバにある場合であっても正確かつ低遅延で再生することができる。
【００８０】
尚、本実施形態においては動画像のＭＰＥＧ−４符号化方式をとしたが、他の符号化方式、例えば、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４、ＭＰＥＧ−１、ＭＰＥＧ−２、Ｍｏｔｉｏｎ　ＪＰＥＧでももちろんかまわない。また、静止画像の符号化方式もＭＰＥＧ−４符号化方式としたが、これに限定されず、ＪＰＥＧ−２０００符号化方式や他の符号化方式であってもかまわない。また、本実施形態の各部又は全部の機能をソフトウェアで記述し、ＣＰＵ等の演算プログラムによって処理をさせてももちろんかまわない。さらに、記憶装置１３や記憶装置制御器１１は、本画像符号化システムが符号化データの記録を行わなければ省略してもかまわない。
【００８１】
＜第４の実施形態＞
図４は、本発明の第４の実施形態に係る画像復号システムの構成を示すブロック図である。本実施形態においても、動画像符号化方式としてＭＰＥＧ―４符号化方式を例にとって説明するが、これに限定されるものではない。尚、前述の第２の実施形態における図２のシステムと同様の構成要素については同一番号を付してその詳細な説明は省略する。
【００８２】
図４において、１５１は本発明の第４の実施形態に係る画像処理装置である。また、１５２はＭＰＥＧ−４符号化方式のベースレイヤの符号化データをフレーム単位で復号し、その中から透かしデータを抽出する動画像復号器である。さらに、１５３は抽出された透かしデータからエンハンスメントレイヤ符号化された静止画像に関する情報を再生する静止画像情報再生器である。１５４はエンハンスメントレイヤの符号化データを復号して印刷用静止画像を生成する静止画像復号器である。１５５は端末５２の指示や各部の情報から各部を制御する制御器である。
【００８３】
上記のように構成された画像復号システムにおける動画像データの復号処理動作における各部の動作の詳細について次に説明する。
【００８４】
第４の実施形態においても第２の実施形態と同様に、動作に先立って、各部の初期化が行われる。すなわち、端末５２から受信する画像データが選択され、接続される。接続後、伝送されてくる動画像符号化データを受信する。また、セレクタ５６は、その出力先を動画像復号器１５２としておく。
【００８５】
受信された符号化データはフレーム単位で画像処理装置１５１に入力され、セレクタ５６に入力される。セレクタ５６は入力された符号化データを動画像復号器１５２に入力する。動画像復号器１５２では、第３の実施形態の図３における動画像符号化器１０３の逆の手順に従って（Ｆ＋８）バイトの透かしデータを抽出しつつ、ベースレイヤのフレームデータを再生する。得られた透かしデータは、静止画像情報再生器１５３に入力され、復号画像のフレームデータはモニタ６２で表示される。
【００８６】
静止画像情報再生器１５３は、（Ｆ＋８）バイトのデータから静止画像符号化データがある装置のＩＰアドレスと該当するファイル名、出力符号長カウンタＥを再生し、メモリ５９に格納する。制御器１５５は端末５２から一旦停止と静止画印字に関する指示が無い場合はそのまま通信インタフェース５３からの符号化データの受信を継続する。これにより、連続して符号化データの受信が行われ、モニタ６２上で動画像が再生される。
【００８７】
静止画像の印字の指示が入力された場合、制御器１５５はメモリ５９からＩＰアドレスとファイル名、出力符号長カウンタＥを読み出し、ＩＰアドレスを、通信インタフェース５３を介して送信し、該当する画像符号化システムを接続するする。接続後、ファイル名、出力符号長カウンタＥを送る。符号化データが送信されるのを待つ。
【００８８】
静止画像の符号化データが送信されてきた後、制御器１５５は、セレクタ５６に出力先を静止画像復号器１５４とし、入力されたＭＰＥＧ−４符号化方式のエンハンスメントレイヤの符号化データを静止画像復号器１５４に入力する。入力されたエンハンスメントレイヤ符号化データは、動画像復号器１５２の復号画像を拡大し、復号結果から予測誤差を再生して高精細な静止画像を再生し、プリンタ６３で印字する。続いて、セレクタ５６に出力先を動画像復号器１５２とし、入力されたＭＰＥＧ−４符号化方式のベースレイヤの符号化データを動画像復号器１５２に入力する。モニタ６２では該当する画像データが表示されている。
【００８９】
以上の符号化データの復号までの処理を簡単な流れを、図１３を用いて説明する。図１３は、第４の実施形態に係る画像復号システムにおける画像復号処理手順を説明するためのフローチャートである。尚、以下で説明する動作の主体は上述した画像復号システムの各部である。
【００９０】
まず、装置の初期化を行い、通信回線の接続等を行う（ステップＳ５０１）。次に、処理の終了判断を行う（ステップＳ５０２）。その結果、復号処理が終了していると判断された場合は当該処理を終了する。一方、復号処理が終了していないと判断された場合は、ステップＳ５０３において、通信インタフェース５３を介して１フレーム分の符号化データを受信する。そして、符号化データを復号しつつ、透かしデータを抽出する（ステップＳ５０４）。さらに、端末５２から一旦停止や静止画像印字の要求の有無を判定する（ステップＳ５０５）。その結果、要求が無ければステップＳ５０６に進み、要求があればステップＳ５０７に進む。
【００９１】
ステップＳ５０６では、復号して得られた再生画像を、モニタ６２で表示する。そして、ステップＳ５０２の処理に戻る。
【００９２】
一方、ステップＳ５０５で要求があった場合、ＩＰアドレスを介してファイル名と出力符号長Ｆを通信インタフェース５３から送信する（ステップＳ５０７）。次いで、静止画像符号化データを受信し（ステップＳ５０８）、ベースレイヤの画像データを復号した画像と符号化データから静止画像を復号してプリンタ６３で印字する（ステップＳ５０９）。その後、上述したステップＳ５０６の処理を行う。
【００９３】
このような一連の選択動作によって、透かしによって埋め込まれた動画像の各フレームの静止画像データに関する情報を解釈することにより、静止画像データのある場所の特定が容易になり、必要になった場合に該当する符号化データの送受を容易に行えるようにすることが可能である。この情報の付加に伴う符号長の増大も起きていない。
【００９４】
また、ＭＰＥＧ−４符号化方式のように各フレームで任意のデータを挿入できないような符号化方式でも情報を簡単に取得することが可能になる。ＩＰアドレスにてデータの保存場所を検索するので、例えば、静止画像と動画像が異なるコンピュータ、サーバにあっても正しく再生することができる。
【００９５】
尚、本実施形態の各部または全部の機能をソフトウェアで記述し、ＣＰＵ等の演算装置によって処理をさせてももちろんかまわない。尚、本実施形態においては動画像のＭＰＥＧ−４符号化方式をとしたが他の符号化方式、例えば、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４、ＭＰＥＧ−１、ＭＰＥＧ−２、Ｍｏｔｉｏｎ　ＪＰＥＧでももちろんかまわない。また、静止画像の符号化方式もＭＰＥＧ−４符号化方式のエンハンスメントレイヤの符号化を用いたが、これに限定されず、ＪＰＥＧ−２０００符号化方式や他の符号化方式であってもかまわない。
【００９６】
＜第５の実施形態＞
図５は、本発明の第５の実施形態に係る画像符号化システムの構成を示すブロック図である。図５において、３００は装置全体の制御及び種々の処理を行う中央演算装置（ＣＰＵ）、３０１は本装置の制御に必要なオペレーティングシステム（ＯＳ）、ソフトウェア、演算に必要な記憶領域を提供するメモリである。
【００９７】
また、３０２は種々の装置を接続し、データ、制御信号をやり取りするバスを示す。３０３はプログラムの起動、各種条件の設定、再生の指示を行うための端末を示す。３０４はソフトウェアを蓄積する記憶装置を示す。３０５は画像データを蓄積する記憶装置、３０６は画像を撮像するカメラを示す。記憶装置３０４、３０５は、本システムから切り離して移動できる可搬可能なメディアで構成することも可能である。また、３０７は画像を表示するモニタ、３０８は通信回路を示し、ＬＡＮ、公衆回線、無線回線、放送電波等で構成されている。３０９は通信回路３０８を介して画像データを送受信する通信インタフェース、３１０は画像を印字するプリンタを示す。
【００９８】
本実施形態においてメモリ３０１には、装置全体を制御し、各種ソフトウェアを動作させるためのＯＳや動作させるソフトウェアを格納し、画像データを格納する画像エリア、生成した符号化データを格納する符号エリア、各種演算や符号化の際の符号化モードや各フレームの符号長等のパラメータ等を格納しておくワーキングエリアが存在する。
【００９９】
次に、このような構成における動画像データの符号化処理について説明する。まず、処理に先立ち、端末３０３から装置全体に対して起動が指示され、各部が初期化される。これによって記憶装置３０４に格納されているソフトウェアがバス３０２を介してメモリ３０１に展開され、ソフトウェアが起動される。
【０１００】
図８は、第５の実施形態におけるメモリ３０１のメモリの使用及び格納状況を説明するための概要図である。図８に示すように、メモリ３０１には、装置全体を制御し、各種ソフトウェアを動作させるためのＯＳ、動画像を符号化する動画像符号化ソフトウェア、各フレームを静止画像として符号化する静止画像符号化ソフトウェア、画像を縮小する画像縮小ソフトウェア、透かしデータの生成と埋め込みを行う透かし埋め込みソフトウェアが格納されている。尚、本実施形態では、動画像符号化ソフトウェアとしてはＭＰＥＧ−４符号化方式で符号化するソフトウェア、静止画像符号化ソフトウェアとしてはＪＰＥＧ２０００符号化方式で符号化し、Ｍｏｔｉｏｎ　ＪＰＥＧ２０００としてファイルを生成するソフトウェアとして説明をするが、これらだけに限定されるものではない。
【０１０１】
次に、ＣＰＵ３００における動画像データの符号化動作を説明する。図６は、第５の実施形態に係る画像符号化システムにおけるＣＰＵ３００で行われる符号化動作の手順を説明するためのフローチャートである。
【０１０２】
まず、初期化が行われ、静止画像符号化結果の符号長をカウントするカウンタＬｓも０にリセットされる（ステップＳ１）。次に、動画像符号化データを格納するための記憶装置３０５上の空き領域を確保し、ファイル名を設定して、ファイルをオープンする（ステップＳ２）。同時に、静止画像符号化データである、Ｍｏｔｉｏｎ　ＪＰＥＧ符号化データを格納するための記憶装置３０５上の空き領域を確保し、ファイル名を設定して、ファイルをオープンする。
【０１０３】
次いで、静止画像符号化のヘッダデータを生成し、静止画像符号化データのファイルに書き込む（ステップＳ３）。また、動画像符号化のヘッダデータを生成する。その後、メモリ３０１上の透かし埋め込みソフトウェアによって静止画像符号化データのファイル名を透かしデータとして埋め込み、動画像符号化データのファイルに書き込む。さらに、カメラ３０６からの入力が終了したか否かを判定し（ステップＳ４）、終了していなければステップＳ５に、終了していればステップＳ１４に進む。
【０１０４】
ステップＳ５では、カメラ３０６から画像データを１フレーム分入力し、メモリ３０１の画像エリアに格納する。次に、メモリ３０１上の画像縮小ソフトウェアを用いて、画像エリアの入力フレームデータの画像を縮小し、画像エリアの別領域に格納する（ステップＳ６）。そして、動画像符号化ソフトウェアを用いて、画像エリアの縮小画像をＭＰＥＧ−４符号化方式で符号化し、符号化データをメモリ３０１上の符号エリアに格納する（ステップＳ７）。
【０１０５】
その後、画像エリアの縮小画像をＪＰＥＧ２０００符号化方式で符号化し、符号化データをメモリ３０１上の符号エリアに格納する（ステップＳ８）。さらに、符号エリアからＪＰＥＧ２０００符号化方式で符号化したデータを読み出し、Ｍｏｔｉｏｎ　ＪＰＥＧ２０００のファイルを構成するのに必要なヘッダを付与して記憶装置３０５上にある静止画像符号化データのファイルの所定位置に書き込み、符号エリアのＪＰＥＧ２０００符号化データと、画像エリアの入力画像データの領域を開放する（ステップＳ９）。尚、この時のヘッダを付与したときの符号長をＬｃとする。
【０１０６】
次いで、符号長カウンタＬｓを表す透かしデータを生成する（ステップＳ１０）。ここでは３バイトの固定長で符号長カウンタＬｓを表すこととする。透かしデータを生成した後、符号エリアからＭＰＥＧ−４符号化方式で符号化した符号化データを読み出し、メモリ３０１上の透かし埋め込みソフトウェアを用いて、ＭＰＥＧ−４符号化データに透かしデータを埋め込んで符号エリアに格納する。格納し終わったら、元のＭＰＥＧ−４符号化データの領域は開放する（ステップＳ１１）。
【０１０７】
次いで、記憶装置３０５上にある動画像符号化データのファイルの所定位置に書き込み、符号エリアのＭＰＥＧ−４符号化データと、画像エリアの縮小画像データの領域を開放する（ステップＳ１２）。そして、符号長Ｌｃを符号長カウンタＬｓに加え（ステップＳ１３）、ステップＳ４に戻る。
【０１０８】
ここで、ステップＳ４において、カメラ３０６からの入力が終了し、全てのフレームの符号化が終了した場合は、ステップＳ１４に進む。ステップＳ１４では、静止画像符号化データファイル、動画像符号化ファイルをクローズし、全ての処理を終了する。
【０１０９】
上述したような一連の選択動作により、記録メディア上で静止画像のフレームの読み出しに必要な情報を生成し、関連する動画像のフレームの符号化データに透かしとして埋め込むことにより、復号時に静止画像のフレーム操作を容易に行えるようにすることが可能である。
【０１１０】
尚、本実施形態においては静止画像の符号化方式をＭｏｔｉｏｎ　ＪＰＥＧ２０００としたが他の符号化方式、例えば、ＪＰＥＧや、前述した第３の実施形態のようにＭＰＥＧ−４の上位の階層としての符号化でももちろんかまわない。また、本実施形態においては動画像の符号化方式をＭＰＥＧ−４としたが他の符号化方式、例えば、Ｈ．２６１、Ｈ．２６３、Ｈ．２６４、ＭＰＥＧ−１、ＭＰＥＧ−２、Ｍｏｔｉｏｎ　ＪＰＥＧでももちろんかまわない。
【０１１１】
さらに、本実施形態では、動画像ファイルに対応する静止画像ファイルのファイル名を透かしデータとして動画像符号化データに埋め込みを行ったが、これに限定されず、記録装置のファイル管理の機構等を用いて関連付けを行ってももちろんかまわない。
【０１１２】
＜第６の実施形態＞
本実施形態では、画像データの復号処理について説明する。尚、画像復号システムの構成は、第５の実施形態で説明した図５の画像符号化システムを復号処理に用いる。また、本実施形態でも動画像符号化方式をＭＰＥＧ−４符号化方式、静止画像符号化方式をＪＰＥＧ２０００符号化方式として説明するが、本発明の適用は特にこれに限定されることはない。そして、本実施形態では、第５の実施形態で生成され、記憶装置３０５に格納された符号化データの復号処理を例にとって説明する。
【０１１３】
図５に示されるシステム構成において、処理に先立って、端末３０３から記憶装置３０５に蓄積されている動画像符号化データから復号する符号化データを選択し、プログラムの起動が指示される。これによって記憶装置３０４に格納されているソフトウェアがバス３０２を介してメモリ３０１に展開され、ソフトウェアが起動される。
【０１１４】
図９は、第６の実施形態に係る画像復号システムにおけるメモリ３０１のメモリの使用・格納状況を示す概要図である。図９に示すように、メモリ３０１には、装置全体を制御し各種ソフトウェアを動作させるためのＯＳ、静止画像を復号する静止画像復号ソフトウェア、動画像を復号する動画像復号ソフトウェア、画像を拡大する画像拡大ソフトウェア、透かしデータの抽出と解析を行う透かし抽出ソフトウェアが格納されている。
【０１１５】
また、メモリ３０１には、符号化の際に画像を格納する画像エリア、生成された符号や透かしの埋め込みが行われた符号化データを格納する符号エリア、各種演算のパラメータ等を格納するワーキングエリアが存在する。そして、このような構成において、処理に先立って符号化データが記憶装置３に入力される。
【０１１６】
次に、ＣＰＵ３００による動画像データの復号動作を説明する。図７は、第６の実施形態に係る動画像復号処理動作を説明するためのフローチャートである。まず、各部の初期化が行われ（ステップＳ１０１）、ステップＳ１０２に進む。ステップＳ１０２では、端末３０３で選択された動画像符号化データのファイルをオープンしてステップＳ１０３に進む。
【０１１７】
ステップＳ１０３では、動画像符号化データのヘッダデータを読み出し復号して復号に必要なパラメータを設定する。同時に、静止画像符号化データファイルのファイル名を透かしデータから抽出し、メモリ３０１上のワーキングエリアに格納してステップＳ１０４に進む。ステップＳ１０４では、動画像符号化データの全ての復号が終了したか否かを判定し、終了していなければステップＳ１０５に、終了していればステップＳ１１４に進む。
【０１１８】
ステップＳ１０５では、記憶装置３０５から１フレーム分の符号化データを読み出し、メモリ３０１上の符号エリアに格納し、ステップＳ１０６に進む。ステップＳ１０６では、メモリ３０１上の透かし抽出ソフトウェアを用いてフレームの符号化データから透かしデータを抽出し、透かしデータを解析する。透かしデータから、符号長すなわち対応する静止画像の符号化データの先頭位置を抽出し、メモリ３０１上のワーキングエリアにデータが存在する場合は更新し、存在しない場合は格納して、ステップＳ１０７に進む。
【０１１９】
ステップＳ１０７では、メモリ３０１上の符号エリアに格納されている符号化データをメモリ３０１上の動画像復号ソフトウェアを用いて復号して画像データをメモリ３０１上の画像エリアに格納し、モニタ３０７に表示する。表示終了後にメモリ３０１上の画像データの領域を開放して、ステップＳ１０８に進む。
【０１２０】
ステップＳ１０８では、端末３０３からの静止画像印字の要求の有無を判定する。その結果、要求が無いと判定された場合はステップステップＳ１０４に戻り、次のフレームの処理を行う。一方、要求があると判定された場合はステップＳ１０９に進む。
【０１２１】
ステップＳ１０８で静止画像印字要求があったと判断された場合、ステップＳ１０９では、メモリ３０１上のワーキングエリアに格納された静止画像データファイル名のファイルをオープンして、ステップＳ１１０に進む。ステップＳ１１０では、メモリ３０１上のワーキングエリアに格納された符号長分符号化データを読み飛ばす、またはシークして、ステップＳ１１１に進む。ステップＳ１１１では、静止画像の符号化データを読み出し、メモリ３０１上の符号エリアに格納して、ステップＳ１１２に進む。
【０１２２】
ステップＳ１１２では、静止画像の符号化データをメモリ３０１上の静止画像復号ソフトウェアを用いて復号して画像データをメモリ３０１上の画像エリアに格納し、プリンタ３１０に送り印字する。印字終了後にメモリ３０１上の静止画像データの領域を開放してステップＳ１１３に進む。ステップＳ１１３では、静止画像データのファイルをクローズし、ステップＳ１０４に戻り、次のフレームの処理を行う。
【０１２３】
一方、ステップＳ１０４で復号が終了した場合、動画像符号化データのファイルをクローズし（ステップＳ１１４）、すべての処理を終了する。
【０１２４】
このような一連の選択動作によって、記録メディア上でも、透かしによって埋め込まれた動画像の各フレームの静止画像データに関する情報を解釈することにより、復号時に静止画像のフレーム操作を容易に行えるようにすることが可能である。
【０１２５】
尚、本実施形態においては静止画像の符号化方式をＪＰＥＧ２０００としたが他の符号化方式、例えば、ＪＰＥＧや、第３の実施形態のようにＭＰＥＧ−４の上位の階層としての符号化であってももちろんかまわない。また、本実施形態においては動画像の符号化方式をＭＰＥＧ−４としたが、他の符号化方式、例えば、Ｈ．２６１、ＭＰＥＧ−１、ＭＰＥＧ−２、Ｍｏｔｉｏｎ　ＪＰＥＧでもよい。
【０１２６】
さらに、動画像ファイルに対応する静止画像ファイルのファイル名を透かしデータとして動画像符号化データに埋め込みを行ったが、これに限定されず、記録装置のファイル管理の機構等を用いて関連付けを行ってもよい。
【０１２７】
さらに、本実施形態においては透かしデータから、符号長すなわち対応する静止画像の符号化データの先頭位置をワーキングエリアにデータが存在する場合は更新したが、これを記憶しておくことで、端末３０３からのランダムサーチや逆転再生などにおいても簡単に静止画像呼び出すことが可能になる。
【０１２８】
＜他の実施形態＞
本発明は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置等）に適用してもよい。
【０１２９】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１３０】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１３１】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【０１３２】
【発明の効果】
以上説明したように、本発明によれば、動画像を構成するフレームに対応する高品位な静止画像に関する情報を電子透かしによって動画像の符号化データ中に埋め込むことができ、他の符号化方式による符号化データとの互換性を保ったまま、低解像度の動画像から高解像度の静止画像の獲得を好適に行うことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る画像符号化システムの構成を示すブロック図である。
【図２】本発明の第２の実施形態に係る画像復号システムの構成を示すブロック図である。
【図３】本発明の第３の実施形態に係る画像符号化システムの構成を示すブロック図である。
【図４】本発明の第４の実施形態に係る画像復号システムの構成を示すブロック図である。
【図５】本発明の第５の実施形態に係る画像符号化システムの構成を示すブロック図である。
【図６】第５の実施形態に係る画像符号化システムにおけるＣＰＵ３００で行われる符号化動作の手順を説明するためのフローチャートである。
【図７】第６の実施形態に係る動画像復号処理動作を説明するためのフローチャートである。
【図８】第５の実施形態におけるメモリ３０１のメモリの使用及び格納状況を説明するための概要図である。
【図９】第６の実施形態に係る画像復号システムに係る画像符号化システムにおけるメモリ３０１のメモリの使用・格納状況を示す概要図である。
【図１０】第１の実施形態に係る画像符号化システムにおける動画像符号化処理を説明するためのフローチャートである。
【図１１】第２の実施形態に係る画像復号システムにおける画像復号処理手順を説明するためのフローチャートである。
【図１２】第３の実施形態に係る画像符号化システムにおける動画像符号化処理を説明するためのフローチャートである。
【図１３】第４の実施形態に係る画像復号システムにおける画像復号処理手順を説明するためのフローチャートである。
【符号の説明】
１、５１、１０１、１５１　画像処理装置
２　カメラ
３　縮小器
４、１０３、１０４　動画像符号化器
５　符号メモリ
６　静止画像符号化器
７、１１、１０５　記憶装置制御器
８、５９、１０６　メモリ
９、１０７　透かし生成器
１０　透かし挿入器
１２、１３　記憶装置
１４、５３　通信インタフェース
１５、５４　通信回線
５２　端末
５５、１５５　制御器
５６　セレクタ
５７　透かし抽出器
５８、１５３　静止画像情報再生器
６０、１５２　動画像復号器
６１、１５４　静止画像復号器
６２　モニタ
６３　プリンタ
【図１】
2004080095.tif 000003
【図２】
2004080095.tif 000004
【図３】
2004080095.tif 000005
【図４】
2004080095.tif 000006
【図５】
2004080095.tif 000007
【図６】
2004080095.tif 000008
【図７】
2004080095.tif 000009
【図８】
2004080095.tif 000010
【図９】
2004080095.tif 000011
【図１０】
2004080095.tif 000012
【図１１】
2004080095.tif 000013
【図１２】
2004080095.tif 000014
【図１３】
2004080095.tif 000015