(57)【要約】【課題】  複数のオブジェクトで構成されるコンテンツに対して一部のオブジェクトが改ざんされてオリジナルの組み合わせが破壊されるような改ざんを好適に検出可能なデータを生成することができる情報処理装置、情報処理方法、情報処理プログラム及び記録媒体を提供する。【解決手段】  マイクやカメラ等から同時に再生される複数のオブジェクトが入力され、埋め込み情報生成器１１０、１１１において第１のオブジェクトに関する第１の情報と、第１のオブジェクトと異なるオブジェクトに関する第２の情報が取得される。次いで、透かし埋め込み器１１２、１１３で、第２の情報を第１のオブジェクト内に電子透かしとして埋めまれ、第１の情報を第１のオブジェクトとは異なるオブジェクト内に電子透かしとして埋め込む。そして、電子透かしが埋め込まれた複数のオブジェクトを多重化して出力する。【選択図】  図１
2005218019.tif 000002
【特許請求の範囲】
【請求項１】
同時に再生される複数のオブジェクトを入力する入力手段と、
第１のオブジェクトに関する第１の情報を取得する第１の取得手段と、
前記複数のオブジェクトのうち前記第１のオブジェクトと異なるオブジェクトに関する第２の情報を取得する第２の取得手段と、
前記第２の情報を前記第１のオブジェクト内に電子透かしとして埋め込む第１の埋め込み手段と、
前記第１の情報を前記複数のオブジェクトのうち前記第１のオブジェクトとは異なるオブジェクト内に電子透かしとして埋め込む第２の埋め込み手段と、
電子透かしが埋め込まれた前記複数のオブジェクトを多重化して出力する出力手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記第１及び第２のオブジェクトを符号化する符号化手段をさらに備え、
前記第１の取得手段が、符号化された前記第１のオブジェクトから前記第１の情報を取得し、
前記第２の取得手段が、前記第１のオブジェクトと異なる符号化されたオブジェクトから前記第２の情報を取得し、
前記第１の埋め込み手段が、符号化された前記第１のオブジェクト内に前記第２の情報を埋め込み、
前記第２の埋め込み手段が、前記第１のオブジェクトとは異なる符号化された前記オブジェクト内に前記第１の情報を埋め込む
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記第１の取得手段が、前記符号化手段によって前記第１のオブジェクトが符号化されたときの情報を前記第１の情報として取得し、
前記第２の取得手段が、前記符号化手段によって前記第１のオブジェクトとは異なるオブジェクトが符号化されたときの情報を前記第２の情報として取得する
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
電子透かしが埋め込まれた、同時に再生される複数のオブジェクトを入力する入力手段と、
第１のオブジェクトに関する第１の情報を取得する第１の取得手段と、
前記入力手段で入力された前記複数のオブジェクトのうち、前記第１のオブジェクトとは異なるオブジェクトから該第１のオブジェクトに関する第２の情報を取得する第２の取得手段と、
前記第１の情報と前記第２の情報とを比較する比較手段と、
前記第１の情報と前記第２の情報とが一致する場合、前記第１のオブジェクトを再生する再生手段と
を備えることを特徴とする情報処理装置。
【請求項５】
前記入力手段から入力された前記複数のオブジェクトのすべてについて、それぞれのオブジェクトから取得された該オブジェクトに関する情報と、該オブジェクトとは異なるオブジェクトから取得された情報とが一致する場合、前記再生手段が、前記複数のオブジェクトを同時に再生することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記第１の情報と前記第２の情報とが不一致の場合、前記第１のオブジェクトが改ざんされたことを報知する報知手段をさらに備えることを特徴とする請求項４又は５に記載の情報処理装置。
【請求項７】
前記入力手段が、符号化された前記複数のオブジェクトと入力し、
前記比較手段による比較結果から前記第１の情報と前記第２の情報とが一致する場合に前記複数のオブジェクトを復号する復号手段をさらに備え、
前記再生手段が、復号された前記複数のオブジェクトを同時に再生する
ことを特徴とする請求項４から６までのいずれか１項に記載の情報処理装置。
【請求項８】
前記復号された複数のオブジェクトと合成して一のオブジェクトにする合成手段をさらに備え、
前記再生手段が、合成された前記一のオブジェクトを再生する
ことを特徴とする請求項７に記載の情報処理装置。
【請求項９】
前記出力手段が、電子透かしが埋め込まれた前記複数のオブジェクトを多重化して可搬記録媒体又は通信回線を介して接続された他装置に出力することを特徴とする請求項１から３までのいずれか１項に記載の情報処理装置。
【請求項１０】
前記入力手段が、電子透かしが埋め込まれた同時に再生される複数のオブジェクトを可搬記録媒体又は通信回線を介して接続された他装置から入力することを特徴とする請求項４から８までのいずれか１項に記載の情報処理装置。
【請求項１１】
前記入力手段が、画像データ及びオーディオデータを入力し、
前記再生手段が、前記画像データ及び前記オーディオデータを同時に再生する
ことを特徴とする請求項４から８までのいずれか１項に記載の情報処理装置。
【請求項１２】
前記入力手段が、複数の画像データを入力し、
前記合成手段が、前記複数の画像データを合成して合成画像を生成し、
前記再生手段が、前記合成画像を再生する
ことを特徴とする請求項８に記載の情報処理装置。
【請求項１３】
前記入力手段が、複数の音声データを入力し、
前記合成手段が、前記複数の音声データを合成して合成音声を生成し、
前記再生手段が、前記合成音声を再生する
ことを特徴とする請求項８に記載の情報処理装置。
【請求項１４】
同時に再生される複数のオブジェクトを入力する入力工程と、
第１のオブジェクトに関する第１の情報を取得する第１の取得工程と、
前記複数のオブジェクトのうち前記第１のオブジェクトと異なるオブジェクトに関する第２の情報を取得する第２の取得工程と、
前記第２の情報を前記第１のオブジェクト内に電子透かしとして埋め込む第１の埋め込み工程と、
前記第１の情報を前記複数のオブジェクトのうち前記第１のオブジェクトとは異なるオブジェクト内に電子透かしとして埋め込む第２の埋め込み工程と、
電子透かしが埋め込まれた前記複数のオブジェクトを多重化する多重化して出力する出力工程と
を有することを特徴とする情報処理方法。
【請求項１５】
前記第１及び第２のオブジェクトを符号化する符号化工程をさらに有し、
前記第１の取得工程が、符号化された前記第１のオブジェクトから前記第１の情報を取得し、
前記第２の取得工程が、前記第１のオブジェクトと異なる符号化されたオブジェクトから前記第２の情報を取得し、
前記第１の埋め込み工程が、符号化された前記第１のオブジェクト内に前記第２の情報を埋め込み、
前記第２の埋め込み工程が、前記第１のオブジェクトとは異なる符号化された前記オブジェクト内に前記第１の情報を埋め込む
ことを特徴とする請求項１４に記載の情報処理方法。
【請求項１６】
前記第１の取得工程が、前記符号化工程によって前記第１のオブジェクトが符号化されたときの情報を前記第１の情報として取得し、
前記第２の取得工程が、前記符号化工程によって前記第１のオブジェクトとは異なるオブジェクトが符号化されたときの情報を前記第２の情報として取得する
ことを特徴とする請求項１５に記載の情報処理方法。
【請求項１７】
電子透かしが埋め込まれた、同時に再生される複数のオブジェクトを入力する入力工程と、
第１のオブジェクトに関する第１の情報を取得する第１の取得工程と、
前記入力手段で入力された前記複数のオブジェクトのうち、前記第１のオブジェクトとは異なるオブジェクトから該第１のオブジェクトに関する第２の情報を取得する第２の取得工程と、
前記第１の情報と前記第２の情報とを比較する比較工程と、
前記第１の情報と前記第２の情報とが一致する場合、前記第１のオブジェクトを再生する再生工程と
を有することを特徴とする情報処理方法。
【請求項１８】
前記入力工程から入力された前記複数のオブジェクトのすべてについて、それぞれのオブジェクトから取得された該オブジェクトに関する情報と、該オブジェクトとは異なるオブジェクトから取得された情報とが一致する場合、前記再生工程が、前記複数のオブジェクトを同時に再生することを特徴とする請求項１７に記載の情報処理方法。
【請求項１９】
前記第１の情報と前記第２の情報とが不一致の場合、前記第１のオブジェクトが改ざんされたことを報知する報知工程をさらに有することを特徴とする請求項１７又は１８に記載の情報処理方法。
【請求項２０】
前記入力工程が、符号化された前記複数のオブジェクトと入力し、
前記比較工程による比較結果から前記第１の情報と前記第２の情報とが一致する場合に前記複数のオブジェクトを復号する復号工程をさらに有し、
前記再生工程が、復号された前記複数のオブジェクトを同時に再生する
ことを特徴とする請求項１７から１９までのいずれか１項に記載の情報処理方法。
【請求項２１】
コンピュータに、請求項１７から２０までのいずれか１項に記載の情報処理方法を実行させるための情報処理プログラム。
【請求項２２】
請求項２１に記載の情報処理プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像と音声とが互いに関連付けられた動画像の改ざんを検出する情報処理装置、情報処理方法、情報処理プログラム及び記録媒体に関する。
【背景技術】
【０００２】
動画像の符号化方式として、フレーム内符号化方式を用いたＭｏｔｉｏｎ  ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）やＤｉｇｉｔａｌ  Ｖｉｄｅｏ等の符号化方式、或いは、フレーム間予測符号化方式を用いたＨ．２６１、Ｈ．２６３、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）−１、ＭＰＥＧ−２、ＭＰＥＧ−４等の符号化方式が知られている。特に、ＭＰＥＧ−４符号化方式はオブジェクト符号化方式と呼ばれ、画像中に含まれる物体をオブジェクトとして個別に符号化することが可能であり、これらを合成したり、編集したりすることが可能である。尚、これらの符号化方式は、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｏｒｇａｎｉｚａｔｉｏｎ  ｆｏｒ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ：国際標準化機構）やＩＴＵ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｕｎｉｏｎ：国際電気通信連合）によって国際標準化されている。
【０００３】
上述したようなデジタル符号化規格の普及に伴い、コンテンツ業界からは著作権保護に関する問題が強く提起されるようになってきた。これに対して、コンテンツの保護に関する標準化が進み、例えばＭＰＥＧ−４符号化方式では、そのファイルシステムにＩＰＭＰ ＯＤを用いたセキュリティ情報を記述することや、セキュリティ強化のために再生を制限する方法が標準化された。このようなセキュリティ情報の記述や暗号化の一手法として、電子透かし技術が知られている。この技術は、データ再生時にデータが変化しないか、或いは変化する場合であってもその変化が人間の視覚では知覚できないレベルでデータを埋め込む技術である。このような透かしデータは、特に画像データやオーディオデータに対する改ざん防止や著作権の保護を行うために用いられる。
【０００４】
画像データに対して電子透かしを埋め込む技術としては、「動画像エンコードプログラムを記録した記録媒体及び動画像エンコード装置」に関する発明（特許文献１）や、「電子透かし埋め込み装置および抽出装置」に関する発明（特許文献２）等が開示されている。また、オーディオデータに対して電子透かしを埋め込む技術についても同様に、「音声データに透かし情報を埋め込む方法、透かし情報埋め込み装置、透かし情報検出装置、透かし情報が埋め込まれた記録媒体、及び透かし情報を埋め込む方法を記録した記録媒体」に関する発明（特許文献３）や、「電子透かし埋め込み装置、オーディオ符号化装置および記録媒体」に関する発明（特許文献４）等が開示されている。
【０００５】
さらに、静止画像に対してその一部を画像処理等で改ざんした場合に、これを検出する方法として、「デジタルカメラおよび画像改竄検出システム」に関する発明（特許文献５）等が開示されている。
【特許文献１】特開平１０−２４３３９８号公報
【特許文献２】特開平１１−３４１４５０号公報
【特許文献３】特開２００１−２０２０８９号公報
【特許文献４】特開平１１−３１６５９９号公報
【特許文献５】特開２００１−７８０７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述したそれぞれの技術を用いた場合であっても、動画像データのように画像データとオーディオデータとが組み合わされて構成されるようなデータに対して、例えば、オーディオデータの一部又は全部を第三者が編集ソフト等を用いて他のデータに置き換えたような場合、動画像データとの関係からその行為がデータの改ざんであると検知することができない。例えば、あるシーンを音声を録音しながらビデオカメラで撮影した後、撮影された同じシーンについて音声データだけを別の音声データに入れ替えたような場合、その音声データが動画像データを撮影したときに録音されたオリジナルの音声データであるかどうかを判断することはできない。
【０００７】
また、オブジェクト単位での符号化がされ、複数のオブジェクトで構成されるような符号化データでは、必要なオブジェクトが削除されていたり、無関係のオブジェクトが追加されていたりしても、これをデータの改ざんとして検知することは難しい。
【０００８】
さらに、画像データやオーディオデータ等のコンテンツのファイルフォーマットについては、フレームの同期やフレームの制御に関して各種各様の方式が採用されている。例えば、同じＭｏｔｉｏｎ ＪＰＥＧのファイルであっても、ＡＶＩファイルフォーマットやＱｕｉｃｋＴｉｍｅファイルフォーマットでは制御等が異なる。従って、ＭＰＥＧ−４符号化方式のファイルフォーマットから他のファイルフォーマットに変換したような場合、もとのＭＰＥＧ−４符号化方式のファイルフォーマットで著作権保護に関する処理を行っていても、変換後のファイルフォーマットがこれをサポートしないフォーマットであった場合には、その情報は失われてしまう可能性があるといった問題が生じる。
【０００９】
本発明は、このような事情を考慮してなされたものであり、複数のオブジェクトで構成されるコンテンツに対して一部のオブジェクトが改ざんされてオリジナルの組み合わせが破壊されるような改ざんを好適に検出可能なデータを生成することができる情報処理装置、情報処理方法、情報処理プログラム及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明に係る情報処理装置は、
同時に再生される複数のオブジェクトを入力する入力手段と、
第１のオブジェクトに関する第１の情報を取得する第１の取得手段と、
前記複数のオブジェクトのうち前記第１のオブジェクトと異なるオブジェクトに関する第２の情報を取得する第２の取得手段と、
前記第２の情報を前記第１のオブジェクト内に電子透かしとして埋め込む第１の埋め込み手段と、
前記第１の情報を前記複数のオブジェクトのうち前記第１のオブジェクトとは異なるオブジェクト内に電子透かしとして埋め込む第２の埋め込み手段と、
電子透かしが埋め込まれた前記複数のオブジェクトを多重化して出力する出力手段と
を備えることを特徴とする。
【００１１】
また、本発明に係る情報処理方法は、
電子透かしが埋め込まれた、同時に再生される複数のオブジェクトを入力する入力工程と、
第１のオブジェクトに関する第１の情報を取得する第１の取得工程と、
前記入力手段で入力された前記複数のオブジェクトのうち、前記第１のオブジェクトとは異なるオブジェクトから該第１のオブジェクトに関する第２の情報を取得する第２の取得工程と、
前記第１の情報と前記第２の情報とを比較する比較工程と、
前記第１の情報と前記第２の情報とが一致する場合、前記第１のオブジェクトを再生する再生工程と
を有することを特徴とする。
【００１２】
さらに、本発明に係る情報処理プログラムは、コンピュータに、上記情報処理方法を実行させることを特徴とする。
【００１３】
さらにまた、本発明に係るコンピュータ読み取り可能な記録媒体は、上記情報処理プログラムを格納したことを特徴とする。
【発明の効果】
【００１４】
本発明によれば、複数のオブジェクトで構成されるコンテンツに対して一部のオブジェクトが改ざんされてオリジナルの組み合わせが破壊されるような改ざんを好適に検出可能なデータを生成することができる。
【００１５】
例えば、それぞれのオブジェクト（データ）に固有の情報を透かしデータとして他方のデータの中に埋め込むことにより、それぞれのデータの同一性、すなわち、正しい組み合わせの判別を容易に行うことができるようになる。また、透かしデータとして固有の情報を埋め込むことにより、特定のファイルフォーマットに依存せず、種々のファイルフォーマットで記述された場合でも、再生に関して問題を生じないという効果も得られる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照して、本発明の好適な実施形態について説明する。
【００１７】
＜第１の実施携帯＞
図１は、本発明の第１の実施形態における画像を撮像して音声と共に記録するカムコーダシステム（情報処理装置）の構成を示すブロック図である。図１において、１０１はオーディオデータを入力するマイクであり、１０２はレンズ等から構成される光学系であり、１０３は光学系１０２から入力される光の強度によって電気信号を生成するＣＣＤ等で構成される光電変換器である。
【００１８】
また、１０４及び１０５はそれぞれマイク１０１及び光電変換器１０３から入力されるアナログ電気信号をデジタル信号に変換するＡ／Ｄ変換器である。そして、１０６及び１０７はそれぞれＡ／Ｄ変換器１０４、１０５で変換されたデジタル信号をフレーム毎に蓄積するフレームメモリである。１０８はフレーム単位でオーディオ符号化を行うオーディオ符号化器である。１０９はフレーム単位でビデオ符号化を行うビデオ符号化器である。
【００１９】
さらに、１１０はオーディオ符号化器１０８の出力から透かしデータとして埋め込む情報を生成する埋め込み情報生成器である。１１１はビデオ符号化器１０９の出力から透かしデータとして埋め込む情報を生成する埋め込み情報生成器である。１１２は埋め込み情報生成器１１１で生成されたビデオデータに関する埋め込み情報をオーディオ符号化データに透かしデータとして埋め込む透かし埋め込み器である。１１３は埋め込み情報生成器１１０で生成されたオーディオデータに関する埋め込み情報をビデオ符号化データに透かしデータとして埋め込む透かし埋め込み器である。
【００２０】
そして、１１４は透かし埋め込み器１１２、１１３でビデオデータに関する透かし情報が埋め込まれたオーディオ符号化データと、オーディオデータに関する透かし情報が埋め込まれたビデオ符号化データとを多重化してストリームを出力する多重化器である。１１５は多重化器１１４から出力されたストリームを記録媒体１１６に対して記録するとともに、記録媒体１１６に記録されたストリームを後述する分離器１１７に対して読み出す記録媒体制御器である。尚、記憶媒体１１６は光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等で構成されるが、これらに限定されない。
【００２１】
１１７は前述したように記録媒体制御器１１５によって記録媒体１１６に記録されたストリームからオーディオ符号化データとビデオ符号化データを分離する分離器である。１１８はオーディオ符号化データからビデオデータに関する埋め込み情報である透かしデータを抽出する透かし抽出器であり、１１９はビデオ符号化データからオーディオデータに関する埋め込みデータである透かしデータを抽出する透かし抽出器である。１２０及び１２１は埋め込み情報生成器であり、それぞれ前述した埋め込み情報生成器１１０及び１１１と同様に動作する。
【００２２】
また、１２２及び１２３はそれぞれ透かし抽出器１１９、１１８で抽出された透かしデータと、埋め込み情報生成器１２０、１２１で生成された埋め込み情報とを比較する比較器である。１２４は比較器１２２、１２３の出力から、データの改ざんの有無を判定する判定器である。
【００２３】
１２６はオーディオ符号化データを復号してオーディオデータを再生するオーディオ復号器である。１２７は復号されたオーディオデータをフレーム毎に蓄積するフレームメモリである。１２８はフレームメモリ１２７内のオーディオデータをデジタル信号からアナログ信号に変換するＤ／Ａ変換器であり、１２９はアナログのオーディオ信号を再生して音を出すスピーカである。
【００２４】
一方、１３０はビデオ符号化データを復号してビデオデータ（画像データ）を再生するビデオ復号器である。１３１は復号されたビデオデータをフレーム毎に蓄積するフレームメモリである。１３２はフレームメモリ１３１内のビデオデータをデジタル信号からアナログ信号に変換するＤ／Ａ変換器であり、１３３はアナログのビデオ信号を表示するビューワ（表示器）であり、ＬＣＤ等で構成される。
【００２５】
≪動画像記録処理≫
次に、上述したように構成されたカムコーダシステムにおける動画像の記録動作について説明する。尚、本実施形態においては、ビデオ符号化方式としてＭＰＥＧ−４符号化方式を、オーディオ符号化方式としてＡＡＣ符号化方式を例にとって説明する。また、説明を容易にするために、フレームサイズをビデオの１フレームの間隔とする。
【００２６】
最初に、符号化データの記録処理について説明する。図１に示されるカムコーダシステムに電源が入れられると、まず各部の初期化が行われる。例えば、光電変換器１０３のセンサ間のバラツキ補正、フレームメモリ１０４、１０５のクリア等が行われる。また、記録媒体制御器１１５は記録媒体１１６上の空いている領域の先頭に書き込み位置をセットする。
【００２７】
次いで、ユーザによってカムコーダシステムの録画ボタンが押されると、動画像の記録が開始される。これにより、多重化器１１４は多重化に必要なヘッダデータを生成し、記録媒体制御器１１５を介して記録媒体１１６上の所定の領域に動画像を書き込む。一方、オーディオ符号化器１０６はＡＡＣ符号化方式に従ってヘッダを生成し、ビデオ符号化器１０９はＭＰＥＧ−４符号化方式に従ってヘッダを生成する。そして、生成されたそれぞれのヘッダデータは、多重化器１１４及び記録媒体制御器１１５を介して、記録媒体１１６の所定の位置に格納される。
【００２８】
続いて、各フレームの処理について説明する。光電変換器１０３は、光学系１０２を介して入力された光を電気信号に変換し、Ａ／Ｄ変換器１０５でデジタル信号に変換されてフレーム単位でフレームメモリ１０７に格納される。そして、ビデオ符号化器１０９はＭＰＥＧ−４符号化方式に従って、入力されたフレーム単位で当該ビデオデータ（画像データ）を符号化する。生成された符号化データは埋め込み情報生成器１１１と透かし埋め込み器１１３に入力される。
【００２９】
同時に、マイク１０１から入力されたオーディオ信号はＡ／Ｄ変換器１０４でデジタル信号に変換され、フレーム単位でフレームメモリ１０６に格納される。そして、オーディオ符号化器１０８はＡＡＣ符号化方式に従って、入力されたフレーム単位でオーディオデータを符号化する。生成された符号化データは埋め込み情報生成器１１０と透かし埋め込み器１１２に入力される。
【００３０】
埋め込み情報生成器１１０では、オーディオデータ符号化器１０８から入力された符号化データの中から予め決められたビットデータを読み出す。例えば、先頭から３ビット目、９ビット目、１７ビット目、…といったように、予め決められたビットを１６ビット分読み出してオーディオデータに関する埋め込み情報とする。また、埋め込み情報生成器１１１では、ビデオ符号化器１０９から入力された符号化データから予め決められたビットデータを読み出す。例えば、先頭から５４ビット目、６１ビット目、７７ビット目、…といったように、予め決められたビットを１６ビット分読み出してビデオデータに関する埋め込み情報とする。
【００３１】
透かし埋め込み器１１２は、埋め込み情報生成器１１１で生成されたビデオデータに関する埋め込み情報をオーディオ符号化データに埋め込み、多重化器１１４に入力する。一方、透かし埋め込み器１１３は、埋め込み情報生成器１１１で生成されたビデオデータに関する埋め込み情報をビデオ符号化データに埋め込み、多重化器１１４に入力する。尚、透かし埋め込み器１１３における埋め込み情報の埋め込みの方法としては、例えば４バイトの値を埋め込む場合は、埋め込み情報の生成に関係ない部分のビットストリームの３２個のサンプルのＬＳＢをそれに当てれば良い。
【００３２】
例えば、透かし埋め込み器１１２、１１３における埋め込み情報の埋め込みの方法としては、各ブロックの最も高周波の係数を±１の範囲で増減させて、奇数・偶数を透かしデータに従って意図的に符号化データを変更する方法等で透かしデータを用いれば良い。すなわち、埋め込むデータの１ビットが、０であれば最後の係数を偶数にし、１であれば奇数にする。
【００３３】
そして、埋め込み情報の生成に関係ない部分のビットストリームから埋め込むマクロブロックのＥＯＢの前の符号を読み出し、必要であればこれを変更する。例えば、直前の符号において、０ラン長が８で値が３である場合、埋め込む値が０であれば、ラン長が８で値が４の符号に置換する。実際の符号では、「１１１１１１１１１１１０１１０１１０」 を「１１１１１１１１１１１０１１０１１１」に置換する。一方、値が１であれば何もしない。尚、本発明で実施可能な電子透かしの埋め込み方法はこれだけに限定されず、その他にも特開平１１−３４１４５２号公報の「動画像電子透かしシステム」に記載されている方法等の既存の他の方法を使用しても良い。
【００３４】
多重化器１１４では透かし埋め込み器１１２、１１３で埋め込み情報が埋め込まれたそれぞれの符号化データを多重化し、多重化されたストリームは記録媒体制御器１１５を介して記録媒体１１６の所定の位置に格納される。尚、ユーザが本カムコーダシステムの録画ボタンを放したり、再度押したりすることによって、録画が終了したと判断されることによって本処理が終了する。
【００３５】
上述した動画像の撮像から符号化データの蓄積までの一連処理について図７を用いて説明する。図７は、第１の実施形態に係るカムコーダシステムにおける動画像記録処理を説明するためのフローチャートである。
【００３６】
カムコーダシステムでは、まず、符号化データを多重化するためのヘッダを生成して記録装置に格納する（ステップＳ１）。次に、本処理の終了判断を行う（ステップＳ２）。そして、未終了の場合はビデオデータのフレームデータをフレームメモリ１０７に入力する（ステップＳ３）。そして、ビデオ符号化器１０９において、入力されたビデオデータの１フレーム分をＭＰＥＧ−４符号化方式に従って符号化する（ステップＳ４）。また、埋め込み情報生成器１１１において、上述したようにビデオデータに関する埋め込み情報を生成する（ステップＳ５）。
【００３７】
一方、上記ステップＳ３〜Ｓ７の処理と並行或いは上記処理後、オーディオデータのフレームデータをフレームメモリ１０６に入力する（ステップＳ６）。そして、オーディオ符号化器１０８により、入力されたオーディオデータの１フレーム分がＡＡＣ符号化方式に従って符号化される（ステップＳ７）。さらに、埋め込み情報生成器１１０において、オーディオデータに関する埋め込み情報が生成される（ステップＳ８）。
【００３８】
そして、透かし埋め込み器１１２において、ビデオ符号化データに対してステップＳ８で生成されたオーディオデータに関する埋め込み情報が電子透かしとして埋め込まれる（ステップＳ９）。さらに、透かし埋め込み器１１３において、オーディオ符号化データに対してステップＳ５で生成されたビデオデータに関する埋め込み情報が電子透かしとして埋め込まれる（ステップＳ１０）。そして、多重化器１１４でこれらの埋め込み情報が埋め込まれた符号化データが多重化され、多重化されたストリームが記録媒体制御器１１５を介して記憶装置１１６に格納される（ステップＳ１１）。その後、ステップＳ２に戻って、動画像の撮影が終わるまで上記処理が繰り返えされる。
【００３９】
このような一連の選択動作により、オーディオ符号化データおけるフレーム毎で変化するデータを電子透かしとしてビデオ符号化データに埋め込み、ビデオ符号化データにおけるフレーム毎で変化するデータを電子透かしとしてオーディオ符号化データに埋め込むことにより、フレーム単位でオーディオデータとビデオデータとの同一性に関する改ざんの検出を容易にする符号化データの生成が好適に行うことが可能となる。
【００４０】
尚、本実施形態においては、動画像の符号化方式をＭＰＥＧ−４としたが、他の符号化方式、例えば、Ｈ．２６１、ＭＰＥＧ−１、ＭＰＥＧ−２、Ｍｏｔｉｏｎ ＪＰＥＧであってもよい。また、同様に、オーディオの符号化方式もこれに限定されず、ＭＰＥＧ Ｌａｙｅｒ２符号化やＡＤＰＣＭ符号化等のその他の符号化方式を用いてもよい。
【００４１】
さらに、本実施形態に係るカムコーダシステムの各処理部又は全部の機能をソフトウェアで記述して、ＣＰＵ等の演算装置によって同様の処理を実行させてもよい。また、本実施形態では、符号化データに透かしデータを後で埋め込むように構成したが、これに限定されず、例えば特開平１１−２８４５１６号公報の「データ処理装置、データ処理方法及び記録媒体」に記載されているように、符号化しながら透かしデータの埋め込みを行うようにしてもよい。
【００４２】
また、本実施形態ではオーディオデータのフレームサイズをビデオの１フレームの間隔としたが、これに限定されず、オーディオデータのフレームサイズとビデオデータのフレームサイズが異なっていてもよい。例えば、オーディオデータが２０ｍｓ間隔、ビデオデータが３３ｍｓ間隔であったとしても、ビデオデータの時間間隔にオーディオデータのフレームの切れ目があれば、その切れ目から始まる符号化データに関して透かしデータを作成し、ビデオの符号化データに複数の透かしデータを埋め込むことで同様に上記処理の実行が可能である。
【００４３】
≪動画像再生処理≫
次に、図１に示す第１の実施形態に係るカムコーダシステムにおける動画像再生処理について説明する。
【００４４】
本処理においても、まず再生動作に先立って、各部の初期化が行われる。例えば、記録媒体制御器１１５は、記録媒体１１６に蓄積された符号化データの先頭に読み出し位置を設定する。
【００４５】
続いて、記録媒体制御器１１５によって記録媒体１１６から符号化データが読み出される。読み出された符号化データは分離器１１７に入力される。分離器１１７では、入力された符号化データからオーディオ符号化データとビデオ符号化データとを分離し、フレーム単位でオーディオ符号化データは透かし抽出器１１８に、ビデオ符号化データは透かし抽出器１１９に出力される。
【００４６】
透かし抽出器１１８では、オーディオ符号化データに埋め込まれているビデオデータに関する埋め込み情報を抽出して、その結果を比較器１２３に出力するとともに、オーディオ符号化データを埋め込み情報生成器１２０とオーディオ復号器１２６にそれぞれ出力する。同様に、透かし抽出器１１９では、ビデオ符号化データに埋め込まれているオーディオデータに関する埋め込み情報を抽出し、その結果を比較器１２２に出力するとともに、ビデオ符号化データを埋め込み情報生成器１２１とビデオ復号器１３０にそれぞれ出力する。
【００４７】
埋め込み情報生成器１２０は、入力されたオーディオ符号化データからオーディオデータに関する埋め込み情報を埋め込み情報生成器１１０と同様に生成する。また、埋め込み情報生成器１２１は、入力されたビデオ符号化データからビデオデータに関する埋め込み情報を埋め込み情報生成器１１１と同様に生成する。
【００４８】
比較器１２２では、透かし抽出器１１９で抽出されたオーディオデータに関する埋め込み情報と、埋め込み情報生成器１２０で生成されたオーディオデータに関する埋め込み情報とを比較し、一致又は不一致の結果を判定器１２４に入力する。一方、比較器１２３では、透かし抽出器１１８で抽出されたビデオデータに関する埋め込み情報と、埋め込み情報生成器１２１で生成されたビデオデータに関する埋め込み情報とを比較し、一致又は不一致の結果を判定器１２４に入力する。判定器１２４は、比較器１２２、１２３の比較結果からいずれのデータについても一致した場合に、オーディオ復号器１２６及びビデオ復号器１３０の両復号器に復号の許可を与える。また、両方とも一致しない、或いはいずれかが一致しない場合は、各復号器での復号を禁止する。尚、各復号器は、判定器１２４により復号禁止の指示がされた場合は、次のフレームデータが入力されるまで動作しない。
【００４９】
一方、判定器１２４により復号が許可された場合、ビデオ符号化データはビデオ復号器１３０に入力され、オーディオ符号化データはオーディオ復号器１２６に入力される。そして、それぞれの復号器で復号されてオーディオデータはフレームメモリ１２７に、ビデオデータはフレームメモリ１３１に格納される。フレームメモリ１２７に格納されたオーディオデータは、さらにＤ／Ａ変換器１２８でアナログ信号に変換され、スピーカ１２９で再生される。また、フレームメモリ１３１に格納されたビデオデータは、さらにＤ／Ａ変換器１３２でアナログ信号に変換され、ビューワ１３３に表示される。
【００５０】
上述した動画像の再生までの処理の流れについて以下で説明する。図８は、第１の実施形態に係るカムコーダシステムにおける動画像再生処理を説明するためのフローチャートである。
【００５１】
まず、図１に示すカムコーダシステムの初期化を行い（ステップＳ５１）、多重化された符号データのストリームのヘッダを解釈する（ステップＳ５２）。そして、動画像再生処理の終了判断を行う（ステップＳ５３）。その結果、未終了の場合は、記録媒体制御部１１５により記録媒体１１６の所定の位置から多重化された符号化データが読み出され、分離器１１７で１フレーム単位でオーディオ符号化データとビデオ符号化データに分離される（ステップＳ５４）。
【００５２】
次に、透かし抽出器１１９でビデオ符号化データからオーディオデータに関する埋め込み情報が抽出され（ステップＳ５５）、透かし抽出器１１８でオーディオ符号化データからビデオデータに関する埋め込み情報が抽出される（ステップＳ５６）。
【００５３】
そして、埋め込み情報生成器１２１では、入力されたビデオ符号化データからビデオデータに関する埋め込み情報が生成される（ステップＳ５７）。また、埋め込み情報生成器１２０では、入力されたオーディオ符号化データからオーディオデータに関する埋め込み情報が生成される（ステップＳ５８）。
【００５４】
そして、比較器１２２において、ステップＳ５５で抽出されたオーディオデータに関する埋め込み情報とステップＳ５８で生成されたオーディオデータに関する埋め込み情報とが比較される（ステップＳ５９）。その結果、両埋め込み情報が一致すればステップＳ６０に進み、不一致の場合はステップＳ５３に戻る。ステップＳ６０では、比較器１２３において、ステップＳ５６で抽出されたビデオデータに関する埋め込み情報とステップＳ５７で生成されたビデオデータに関する埋め込み情報とが比較され、両埋め込み情報が一致する場合はステップＳ６１に進み、不一致の場合はステップＳ５３に戻る。
【００５５】
ステップＳ６１において、オーディオ復号器１２６はオーディオ符号化データを復号し、１フレーム分のオーディオデータを再生する。同時に、ステップＳ６２において、ビデオ復号器１３０はビデオ符号化データを復号し、１フレーム分のビデオデータを再生する。
【００５６】
そして、ステップＳ６３では、ステップＳ６２で再生されたビデオデータ（画像データ）をビューワ１３３に表示し、ステップＳ６１で再生されたオーディオデータをスピーカ１２９から出力する。このとき、ビデオデータとオーディオデータとは同時に再生される。その後、ステップＳ５３に進んで、次のフレームの処理を行う。尚、ステップＳ５３において、全ての符号化データに関して処理が終了したと判定された場合は、本再生処理を終了する。
【００５７】
このような一連の選択動作により、オーディオデータとビデオデータに埋め込まれたフレーム毎で変化するデータを比較することにより、細かい単位でデータの改ざんを検知することができ、それをユーザに知らせることが可能になる。
【００５８】
尚、本実施形態においては、動画像の符号化方式をＭＰＥＧ−４としたが、他の符号化方式、例えば、Ｈ．２６１、ＭＰＥＧ−１、ＭＰＥＧ−２、Ｍｏｔｉｏｎ ＪＰＥＧであってもよい。また、同様に、オーディオの符号化方式もこれに限定されず、ＭＰＥＧ Ｌａｙｅｒ２符号化やＡＤＰＣＭ符号化等のその他の符号化方式を用いてもよい。
【００５９】
さらに、本実施形態に係るカムコーダシステムの各処理部又は全部の機能をソフトウェアで記述して、ＣＰＵ等の演算装置によって同様の処理を実行させてもよい。また、本実施形態では、符号化データに透かしデータを後で埋め込むように構成したが、これに限定されず、例えば特開平１１−２８４５１６号公報の「データ処理装置、データ処理方法及び記録媒体」に記載されているように、復号しながら透かしデータの抽出を行うようにしてもよい。
【００６０】
＜第２の実施形態＞
図２は、本発明の第２の実施形態に係る情報処理装置（カムコーダシステム）の構成を示すブロック図である。ここで、図２に示す情報処理装置の各部について、第１の実施形態における図１のカムコーダシステムの各部と同様の機能を果たす部分に関しては同じ符号を与ており、その説明を省略する。
【００６１】
図２において、１５０はオーディオデータをフレーム単位で符号化するオーディオ符号化器である。オーディオ符号化器１５０は、透かし埋め込み器１１２に対してはオーディオ符号化データを出力するが、埋め込み情報生成器１５２に対しては符号化データとは別の情報を出力する点で図１のオーディオ符号化器１０８とは異なる。また、１５１はビデオデータをフレーム単位で符号化するビデオ符号化器である。ビデオ符号化器１５１は、透かし埋め込み器１１３に対してはビデオ符号化データを出力するが、埋め込み情報生成器１５３に対しては符号化データとは別の情報を出力する点で図１のビデオ符号化器１０９とは異なる。
【００６２】
さらに、１５２及び１５３は埋め込み情報生成器であり、各符号化器から提供される符号化データと異なる情報から埋め込み情報を生成する点で、図１の埋め込み情報生成器１１０、１１１とは異なる。
【００６３】
一方、１５４はオーディオ復号器であり、復号の際に符号化データから生成された埋め込み情報ではなく別の情報を抽出する点で図１のオーディオ復号器１１８とは異なる。また、１５５はビデオ復号器であり、復号の際に符号化データから生成された埋め込み情報ではなく別の情報を抽出する点で図１のビデオ復号器１１９とは異なる。さらに、１５６及び１５７は埋め込み情報生成器であり、埋め込み情報生成器１５２、１５３と同様に動作する。
【００６４】
さらに、図２において、１５８は判定器１２４の結果を表示するインジケータであり、ＬＥＤ等で構成される。
【００６５】
本実施形態に係る情報処理装置においても、第１の実施形態に係るカムコーダシステムと同様に、１フレーム毎にオーディオ符号化器１５０とビデオ符号化器１５１でオーディオデータ及びビデオデータが符号化される。ここで、本実施形態において、オーディオ符号化器１５０及びビデオ符号化器１５１では、それぞれの符号化処理に際して発生する処理情報をそれぞれのデータに関する埋め込み情報とするために抽出する。例えば、オーディオ符号化については、短期窓を使用した回数等を埋め込み情報とし、ビデオ符号化については、マクロブロックの符号化モードの数、例えば、Ｉｎｔｒａ＋ｑで符号化したマクロブロックの数等を埋め込み情報とする。
【００６６】
オーディオ符号化器１５０から出力された符号化時の処理情報は、埋め込み情報生成器１５２に入力され、埋め込み情報として透かし埋め込み器１１３に入力される。また、ビデオ符号化器１５１から出力された符号化時の処理情報は、埋め込み情報生成器１５３に入力され、埋め込み情報として透かし埋め込み器１１２に入力される。埋め込み情報生成器１５２、１５３では、入力された処理情報に対して暗号化した情報を埋め込み情報として生成したり、複数の情報に基づいて新たな情報を埋め込み情報として生成する。例えば、ビデオデータであれば、マクロブロックのタイプの比率を求めたり、動きベクトルの平均値を求め、これを埋め込み情報とすることができる。
【００６７】
このようにして電子透かしが埋め込まれた符号化データは、第１の実施形態と同様に記録媒体１１６に記録（格納）されることとなる。
【００６８】
次に、記録媒体１１６に記録された符号化データの復号及び再生について説明する。第１の実施形態と同様に、記録媒体制御器１１５で読み出された符号化データは分離器１１７でオーディオ符号化データとビデオ符号化データとに分離され、各透かし抽出器１１８、１１９に入力される。透かし抽出器１１８、１１９ではそれぞれの符号化データに埋め込まれている埋め込み情報が抽出され、オーディオデータに関する情報が比較器１２２に、ビデオデータに関する情報が比較器１２３に入力される。
【００６９】
そして、オーディオ復号器１５４及びビデオ復号器１５５は、それぞれの符号化データを復号しつつ、復号に際して得られた情報を埋め込み情報生成器１５６、１５７に出力する。埋め込み情報生成器１５５、１５７は、埋め込み情報生成器１５２、１５３と同様に埋め込み情報を生成して、比較器１２２、１２３にそれぞれ入力する。
【００７０】
比較器１２２、１２３及び判定器１２４は第１の実施形態に係るカムコーダシステムと同様に、それぞれの埋め込み情報が一致したか否かを判定し、判定器１２４は１つでも一致しないものがあれば、インジケータ１５８を点灯して、ユーザにその旨を報知する。また、すべて一致する場合は、インジケータ１５８を消灯する。尚、全て一致する場合にインジケータ１５８を点灯して、そうでない場合に消灯するようにしてもよい。また、それ以外にもユーザに判定結果を報知できるものであれば、文字情報や図形情報等でその旨を表示する表示画面によってインジケータ１５８の点灯に代えてもよい。
【００７１】
尚、埋め込む情報に関しても、上述したようにオーディオ符号化については短期窓を使用した回数等を埋め込み情報、ビデオ符号化についてはマクロブロックの符号化モードの数（例えば、Ｉｎｔｒａ＋ｑで符号化したマクロブロックの数等）だけに限定されず、ビデオデータであればイントラマクロブロックの数や、動きベクトルの最大値や中間値等の情報やフレーム単位の符号長等の情報であってもよい。
【００７２】
このような一連の選択動作により、符号化データからではなく、符号化時に生成される埋め込み情報が埋め込まれたフレーム毎に変化するデータを比較することにより、細かい単位でのデータの改ざんを好適に検知することができ、それをユーザに知らせて警告等をすることが可能になる。
【００７３】
＜第３の実施形態＞
図３は、本発明の第３の実施形態に係る、複数のオブジェクトを撮像して合成して記録する画像通信システムの構成を示すブロック図である。図３において、２００は背景となる風景、２０１は風景２００に合成される人物を示している。尚、ここでは説明を容易にするために、合成の対象となるオブジェクトを背景と人物の２つとして説明するが、３つ以上のオブジェクトを用いる場合であっても同様に実現することが可能である。
【００７４】
図３において、２０２及び２０３はそれぞれ背景２００及び人物２０１を撮像するビデオカメラである。また、２０４及び２０５は撮像データのビデオ符号化を行うビデオ符号化器である。以下では、一例としてＭＰＥＧ−４符号化方式を用いた符号化処理によって説明を行うが、この符号化方式だけに限定されるものではない。尚、ビデオ符号化器２０５は、撮像データ中から人物２０１を識別して切り出しを行い、任意形状で符号化するコアプロファイル符号化を行うものとする。また、ビデオ符号化器２０４ではシンプルプロファイル符号化を行うものとする。
【００７５】
２０６及び２０７は埋め込み情報生成器であり、ビデオ符号化器２０４、２０５から取得される符号化処理の際の情報を埋め込み情報として生成する。２０８及び２０９は生成された埋め込み情報をそれぞれの符号化データに電子透かしとして埋め込む透かし埋め込み器である。２１０はそれぞれのビデオ符号化データを多重化して一のストリームを生成する多重化器である。また、２１１は生成されたストリームを無線回線又は有線回線を用いて送信する送信器である。
【００７６】
２１２は送信器２１１から送信されてきたストリームを受信する受信器である。２１３は受信されたストリームからそれぞれのビデオ符号化データを分離する分離器である。２１４及び２１５は分離されたそれぞれのビデオ符号化データから埋め込まれている透かしデータを抽出する透かし抽出器である。また、２１６及び２１７は分離されたそれぞれのビデオ符号化データを復号するビデオ復号器である。そして、２２０及び２２１はそれぞれビデオ復号機２１７２１６、２１７で復号されたビデオデータを記憶するフレームメモリである。
【００７７】
さらに、２１８及び２１９は埋め込み情報生成器であり、それぞれ埋め込み情報生成器２０６、２０７と同様に動作する。２２２及び２２３は透かし抽出器２１４、２１５で抽出された透かしデータと埋め込み情報生成器２１８、２１９で生成された埋め込み情報とを比較する比較器である。２２４は比較器２２２、２２３の出力からデータの改ざんの有無を判定する判定器である。２２５はそれぞれのビデオデータの各フレームデータを合成して出力する合成器である。２２６は合成されたビデオデータを表示するモニタである。
【００７８】
上述した構成を備える第３の実施形態に係る画像通信システムにおける動画像の通信動作について以下に説明する。
【００７９】
最初に、符号化データの送信処理について説明する。第３の実施形態に係る画像通信システムは、送信に先立って各部の初期化を行う。また、送信器２１１と受信器２１２の間で通信回線を確保したり、無線の送受信が可能なことを確認したりする。
【００８０】
多重化器２１０は多重化に必要なヘッダデータを生成し、送信器２１１から受信器２１２に送信しておく。そのため、ビデオ符号化器２０４は、ＭＰＥＧ−４符号化方式のシンプルプロファイル符号化に従ってヘッダを生成する。また、ビデオ符号化器２０５は、ＭＰＥＧ−４符号化方式のコアプロファイル符号化に従ってヘッダを生成する。生成されたそれぞれのヘッダデータは、多重化器２１０及び送信器２１１を介して、受信器２１２に送信される。
【００８１】
ビデオカメラ２０２は背景２００を撮像し、ビデオカメラ２０１は人物２０１の撮像を開始する。そして、ビデオ符号化器２０４と２０５は、互いの同期を取って動作し、同じタイミングでフレームデータを生成していく。ビデオ符号化器２０４は入力されたフレームデータを矩形のビデオデータとして符号化するシンプルプロファイル符号化を行う。この符号化データは透かし埋め込み器２０８に出力される。また、符号化時の情報として全ブロックの最初のＡＣ係数値を埋め込んで、情報生成器２０６に入力する。同時に、ビデオ符号化器２０５では入力されたフレームデータから人物２０１の領域を切り出し、コアプロファイル符号化が行われる。この符号化データは透かし埋め込み器２０９に出力される。また、ビデオ符号化器２０５は符号化時の情報として任意形状を表すマスク画像を埋め込んで、情報生成器２０７に入力する。
【００８２】
埋め込み情報生成器２０６では、ビデオ符号化器２０４から入力された符号化時の情報及びＡＣ係数を用いて埋め込み情報を生成する。ここでは一例として、入力されたＡＣ係数の平均値と最大値を算出し、これらを１０ビットずつとした２０ビットの埋め込み情報を生成するものとする。また、埋め込み情報生成器２０７では、ビデオ符号化器２０５から入力された符号化時の情報及びマスク画像を用いて埋め込み情報を生成する。ここでは一例として、入力されたマスク画像の人物２０１を表す領域部分の面積を算出し、２０ビットの埋め込み情報を生成するものとする。
【００８３】
透かし埋め込み器２０８は埋め込み情報生成器２０７で生成されたビデオの埋め込み情報をビデオ符号化データに埋め込み、多重化器２１０に入力する。同時に、透かし埋め込み器２０９は埋め込み情報生成器２０６で生成されたビデオデータの埋め込み情報をビデオ符号化データに埋め込み、多重化器２１０に入力する。これらの埋め込みの方法としては、第１の実施形態における透かし埋め込み器１１３と同じ方式を使用するものとする。
【００８４】
そして、多重化器２１０は、それぞれのビデオ符号化データを多重化してストリームを生成し、送信器２１１を介して、受信器２１２に送信する。
【００８５】
受信器２１１を介して入力されたストリームは、分離器２１３に入力される。分離器２１３では、入力されたストリームから各ビデオデータの符号化データを分離し、背景２００に関する符号化データは透かし抽出器２１４に、人物２０１に関する符号化データは透かし抽出器２１５に、フレーム単位で出力される。
【００８６】
透かし抽出器２１４では、ビデオ符号化データに埋め込まれた人物２０１のビデオに関する埋め込み情報を抽出し、その結果であるマスク画像の人物２０１を表す領域部分の面積を比較器２２３に、ビデオ符号化データをビデオ復号器２１６に出力する。一方、透かし抽出器２１５では、ビデオ符号化データに埋め込まれた背景２００のビデオに関する埋め込み情報を抽出し、その結果であるＡＣ係数の平均値と最大値を比較器２２２に、ビデオ符号化データをビデオ復号器２１７に出力する。
【００８７】
ビデオ復号器２１６は、入力された背景２００のビデオ符号化データを復号し、再生した画像のフレームデータをフレームメモリ２２０に格納する。同時に、ビデオ復号器２１６は復号した各ブロックの最初のＡＣ係数値を埋め込み情報生成器２１８に出力する。同様にして、ビデオ復号器２１７は、入力された人物２０１のビデオ符号化データを復号し、再生した画像とそのマスク画像のフレームデータをフレームメモリ２２１に格納する。同時に、ビデオ復号器２１７は、復号したマスク画像を埋め込み情報生成器２１９に出力する。
【００８８】
埋め込み情報生成器２１８は、ビデオ復号器２１６から入力されたＡＣ係数から埋め込み情報生成器２０６と同様に、ＡＣ係数の平均値と最大値を算出し、その結果を比較器２２２に入力する。一方、埋め込み情報生成器２１９はビデオ復号器２１７から入力されたマスク画像から埋め込み情報生成器２０６と同様に、マスク画像の人物２０１を表す領域部分の面積を算出し、その結果を比較器２２３に入力する。
【００８９】
比較器２２２では、透かし抽出器２１５で抽出されたＡＣ係数の平均値と最大値と、埋め込み情報生成器２１８で生成されたＡＣ係数の平均値と最大値とを比較し、一致又は不一致の結果を判定器２２４に入力する。比較器２２３では、透かし抽出器２１４で抽出されたマスク画像の人物２０１を表す領域部分の面積と、埋め込み情報生成器２１９で生成されたマスク画像の人物２０１を表す領域部分の面積とを比較し、一致又は不一致の結果を判定器２２４に入力する。判定器２２４は、比較器２２２、２２３の結果がいずれも「一致」である場合には特に動作しないが、いずれか一方でも一致しない場合は合成器２２５に対して「不一致」が生じたことを知らせる。
【００９０】
判定器２２４で不一致が生じていない場合、合成器２２５はフレームメモリ２２０の背景２００のフレームデータとフレームメモリ２２１の人物２０１のフレームデータを合成してモニタ２２５に表示する。一方、判定器２２４で不一致が生じていた場合は同様に合成した上で、「本データは改ざんされています。」といった趣旨のテロップ等を合成してモニタ２２５に表示することでユーザに報知する。或いは、判定器２２４で不一致が生じていた場合は合成されたデータを表示することなく、その旨だけをユーザに報知するようにしてもよい。
【００９１】
このような一連の選択動作により、同期等の関連性がある符号化データに関して、フレーム毎で変化するデータを比較することにより、細かい単位で改ざんを検知することができ、それをユーザに知らせることが可能になる。
【００９２】
また、本実施形態ではビデオの符号化としてＭＰＥＧ−４符号化方式を例にとって説明したが、これに限定されず、ＭＰＥＧ−２、Ｈ．２６４、Ｍｏｔｉｏｎ  ＪＰＥＧ等の符号化方式を用いてもよい。また、本実施形態ではビデオデータの符号化を例にとって説明したが、これに限定されず、対象がオーディオデータ同士であったり、その他のデータであったりしてももちろんかまわない。例えば、オーケストラが演奏する各楽器には、楽器毎に収録されたオーディオデータには関連性が存在することから、個々の楽器ごとに入力された音声に基づいて、それらの音声を合成してオーケストラが演奏するような音声を出力することが可能である。
【００９３】
＜第４の実施形態＞
図４は、本発明の第４の実施形態に係る情報処理装置の構成を示すブロック図である。図４において、３００は情報処理装置全体の制御及び種々の処理を行う中央演算装置（ＣＰＵ）、３０１は本情報処理装置の制御に必要なオペレーティングシステム（ＯＳ）、ソフトウェア、及び演算に必要な記憶領域を提供するメモリである。また、３０２は情報処理装置内の各装置を接続し、データや制御信号をやり取りするためのバスである。３０３は情報処理装置の起動、各種条件の設定、及び再生の指示を行うための操作端末である。３０４はソフトウェアを記憶（蓄積）する記憶装置である。３０５は符号化データ等のストリームを蓄積する記憶装置である。尚、記憶装置３０４、３０５は、本情報処理装置から切り離して移動できる可搬可能な記憶媒体（メディア）で構成してもよい。３０６はＸ線写真を撮像するＸ線カメラである。３０７は画像を表示するモニタ、３０９は通信回路であり、ＬＡＮ、公衆回線、無線回線、及び放送電波等で構成されている。３０８は通信回路３０９を介して他装置からストリームを送受信する通信インタフェースである。
【００９４】
メモリ３０１には情報処理装置全体を制御し、各種ソフトウェアを動作させるためのＯＳや動作させるソフトウェアを格納する格納エリア、画像データを格納するための画像エリア、生成した符号化データを格納する符号エリア、各種演算や符号化の際のパラメータ等や透かしに関するデータ等を格納しておくワーキングエリア等が存在する。
【００９５】
このような構成を備えた第４の実施形態に係る情報処理装置における画像データの符号化処理について説明する。
【００９６】
処理に先立ち、操作端末３０３から情報処理装置全体に対して起動が指示され、各部が初期化される。これにより、記憶装置３０４に格納されているソフトウェアがバス３０２を介してメモリ３０１上に展開され、ソフトウェアが起動する。
【００９７】
図９は、本発明の第４の実施形態に係る情報処理装置のメモリ３０１における符号化時のメモリの使用及び格納状況を説明するための図である。図９に示すように、メモリ３０１には、情報処理装置全体を制御して各種ソフトウェアを動作させるためのＯＳ、画像データを符号化する画像符号化ソフトウェア（例えば、ＪＰＥＧ２０００符号化ソフトウェア）、モニタ３０７に画像を表示して端末３０３からユーザが領域を指定する領域指定ソフトウェア、透かしデータの生成と埋め込みを行う透かし埋め込みソフトウェア、符号化データを通信する通信ソフトウェア、符号化データを多重化する多重化ソフトウェア等が格納されている。尚、画像符号化ソフトウェアはＪＰＥＧ２０００符号化方式で符号化するソフトウェアに限定されるものではない。
【００９８】
このような構成の情報処理装置において、処理に先立って操作端末３０３を用いて画像の入力をＸ線カメラ３０６によって行う。次に、ＣＰＵ３００によるＸ線カメラ３０６で撮像された画像データを記憶装置３０５に記録する動作について説明する。図１１は、第４の実施形態における情報処理装置で撮像されたＸ線画像データを記憶装置３０５に記憶する処理を説明するためのフローチャートである。尚、本実施形態では、特に、ＪＰＥＧ２０００符号化方式のＲＯＩ符号化を行うこととする。
【００９９】
まず、Ｘ線カメラ３０６によって患者（例えば、患者の胸部等）のＸ線写真を撮影し、撮像されたＸ線画像をメモリ３０１の画像エリアに格納する（ステップＳ２０１）。次に、領域指定ソフトウェアを起動し、撮像されたＸ線画像から注目領域の指定を行う（ステップＳ２０２）。そこで、領域指定ソフトウェアは、画像エリアの画像データをモニタ３０７上に表示し、ユーザが表示された画像に基づいて操作端末３０３やデジタイザ等で注目領域を指定する。その様子を図５に示す。すなわち、図５は、第４の実施形態においてＸ線カメラ３０６によって撮像されモニタ３０７上に表示されたＸ線写真の一例である。本実施形態では、図５に示されるＸ線画像において中央の胃腸の部分を注目領域として指定するものとする。尚、ステップＳ２０２で指定された注目領域の領域情報は、メモリ３０１のワーキングエリアに格納される。
【０１００】
その後、ＪＰＥＧ２０００符号化ソフトウェアを起動し、最初に画像エリアに格納された画像データ全体に対して離散ウェーブレット変換を施し、その結果を画像エリアに格納する（ステップＳ２０３）。尚、離散ウェーブレット変換は画像をサブバンドごとに分割する。図６は、離散ウェーブレット変換におけるサブバンドの様子を示す図である。図６に示す例では分割回数は３である。ここで、図６に示すように、それぞれのサブバンドを低周波のサブバンドからＬＬ、Ｌ１、Ｌ２、Ｌ３、Ｈ１、Ｈ２、Ｈ３と呼ぶこととする。
【０１０１】
そして、各サブバンドについて所定の量子化パラメータに従って量子化を行ってｎビットに量子化する（ステップＳ２０４）。尚、本実施形態では、一例として、量子化によって各係数は６ビットに量子化されたこととする。
【０１０２】
次いで、各サブバンドにおいて、画像エリアに格納されている領域情報に基づき、サブバンド毎に領域情報を反映させ、その領域の内側の変換係数に関する統計情報を検出する（ステップＳ２０５）。図１２は、第４の実施形態に係る領域内統計情報の検出処理（ステップＳ２０５）の詳細を説明するためのフローチャートである。尚、本実施形態では、統計情報として、サブバンドのそれぞれの領域内に含まれる変換係数の上位（ｎー１）ビット（例えば、本実施形態では５ビット）で最大値と最小値を用いるが、これに限定されるものではない。
【０１０３】
まず、最低周波サブバンドＬＬの最大値ＬＬｍａｘと最小値ＬＬｍｉｎとを算出し、メモリ３０１のワーキングエリアに格納する（ステップＳ２２０）。次に、低周波サブバンドＬ１、Ｌ２、Ｌ３の各最大値Ｌ１ｍａｘ、Ｌ２ｍａｘ、Ｌ３ｍａｘと最小値Ｌ１ｍｉｎ、Ｌ２ｍｉｎ、Ｌ３ｍｉｎを算出し、メモリ３０１のワーキングエリアに格納する（ステップＳ２２１）。そして、最高周波サブバンドの最大値Ｈ１ｍａｘ、Ｈ２ｍａｘ、Ｈ３ｍａｘと最小値Ｈ１ｍｉｎ、Ｈ２ｍｉｎ、Ｈ３ｍｉｎとを算出し、メモリ３０１のワーキングエリアに格納する（ステップＳ２２２）。以上が、ステップＳ２０５における第４の実施形態に係る領域内統計情報の検出処理の詳細である。
【０１０４】
次いで、注目領域の外側の変換係数に関する統計情報を抽出する（ステップＳ２０６）。図１３は、第４の実施形態に係る領域外統計情報の検出処理（ステップＳ２０６）の詳細を説明するためのフローチャートである。尚、以下では、一例として領域外統計情報として、サブバンドのそれぞれの領域外に含まれる変換係数の最上位ビットが１である係数の数を用いるが、これに限定されるものではない。例えば、第３ビットが１である係数でもかまわないし、その他の情報を用いてももちろんかまわない。
【０１０５】
まず、最低周波サブバンドＬＬの領域外の最上位ビットが１である数ＬＬｍｓｂを算出し、メモリ３０１のワーキングエリアに格納する（ステップＳ２２３）。次いで、低周波サブバンドＬ１、Ｌ２、Ｌ３の各領域外の最上位ビットが１である数Ｌ１ｍｓｂ、Ｌ２ｍｓｂ、Ｌ３ｍｓｂを算出し、メモリ３０１のワーキングエリアに格納する（ステップＳ２２４）。そして、最高周波サブバンドＨ１、Ｈ２、Ｈ３の各領域外の最上位ビットが１である数Ｈ１ｍｓｂ、Ｈ２ｍｓｂ、Ｈ３ｍｓｂを算出し、メモリ３０１のワーキングエリアに格納する（ステップＳ２０５）。以上が、ステップＳ２０６における第４の実施形態に係る領域外統計情報の検出処理の詳細である。
【０１０６】
次いで、変換係数に関する統計情報を電子透かしとして画像エリアに格納されている変換係数に埋め込む（ステップＳ２０７）。図１４は、第４の実施形態に係る電子透かしの埋め込み処理の詳細を説明するためのフローチャートである。ここで、説明を簡単にするため、透かしデータの埋め込み方法として、所定の順番でＬＳＢのビットを操作し、埋め込む値が１であればそのＬＳＢを１に、０でれば０に置換することで実現するものとする。
【０１０７】
まず、サブバンドＬＬの領域内の最大値ＬＬｍａｘと最小値ＬＬｍｉｎをサブバンドＬＬの領域外の変換係数に埋め込む（ステップＳ２３０）。次に、サブバンドＬ１の領域内の最大値Ｌ１ｍａｘと最小値Ｌ１ｍｉｎをサブバンドＬ２の領域外の変換係数に埋め込む（ステップＳ２３１）。次いで、サブバンドＬ２の領域内の最大値Ｌ２ｍａｘと最小値Ｌ２ｍｉｎをサブバンドＬ１の領域外の変換係数に埋め込む（ステップＳ２３２）。さらに、サブバンドＬ３の領域内の最大値Ｌ３ｍａｘと最小値Ｌ３ｍｉｎをサブバンドＬ３の領域外の変換係数に埋め込む（ステップＳ２３３）。
【０１０８】
次いで、サブバンドＨ１の領域内の最大値Ｈ１ｍａｘと最小値Ｈ１ｍｉｎをサブバンドＨ２の領域外の変換係数に埋め込む（ステップＳ２３４）。さらに、サブバンドＨ２の領域内の最大値Ｈ２ｍａｘと最小値Ｈ２ｍｉｎをサブバンドＨ３の領域外の変換係数に埋め込む（ステップＳ２３５）。そして、サブバンドＨ３の領域内の最大値Ｈ３ｍａｘと最小値Ｈ３ｍｉｎをサブバンドＨ１の領域外の変換係数に埋め込む（ステップＳ２３６）。また、サブバンドＬＬの領域外の最上位ビットが１である数ＬＬｍｓｂをサブバンドＬＬの領域内の変換係数に埋め込む（ステップＳ２３７）。
【０１０９】
さらに、サブバンドＬ１の領域外の最上位ビットが１である数Ｌ１ｍｓｂをサブバンドＬ２の領域内の変換係数に埋め込む（ステップＳ２３８）。次いで、サブバンドＬ２の領域外の最上位ビットが１である数Ｌ２ｍｓｂをサブバンドＬ１の領域内の変換係数に埋め込む（ステップＳ２３９）。さらに、サブバンドＬ３の領域外の最上位ビットが１である数Ｌ３ｍｓｂをサブバンドＬ３の領域内の変換係数に埋め込む（ステップＳ２４０）。
【０１１０】
さらにまた、サブバンドＨ１の領域外の最上位ビットが１である数Ｈ１ｍｓｂをサブバンドＨ２の領域内の変換係数に埋め込む（ステップＳ２４１）。次いで、サブバンドＨ２の領域外の最上位ビットが１である数Ｈ２ｍｓｂをサブバンドＨ３の領域内の変換係数に埋め込む（ステップＳ２４２）。さらに、サブバンドＨ３の領域外の最上位ビットが１である数Ｈ３ｍｓｂをサブバンドＨ１の領域内の変換係数に埋め込む（ステップＳ２４３）。以上のようにして、ステップＳ２０７では、電子透かしの埋め込みが実行される。
【０１１１】
次いで、ＪＰＥＧ２０００のＲＯＩ符号化方式の手順に従い、領域内の変換係数のビットをｍビット上位にビットシフトする（ステップＳ２０８）。そして、領域内の最上位のビットプレーンからビットプレーン符号化し、領域外の再開のビットプレーンまで全てを符号化し、符号化結果をメモリ３０１の符号エリアに格納する（ステップＳ２０９）。さらに、記憶装置３０５上に符号化データを書き込む領域を確保して符号化データを記憶装置３０５に出力し、先頭アドレスから符号エリア内の符号化データを書き込む（ステップＳ２１０）。その後、全ての符号化データが格納された場合、メモリ３０１上の各エリアのメモリを開放して全てのソフトウェアを停止する。
【０１１２】
本実施形態では記憶装置３０５に格納する例について説明したが、通信ソフトウェアを起動して、符号エリア内の符号化データを通信インタフェース３０８を介して通信回線３０９に送信してもよい。
【０１１３】
続いて、ＣＰＵ３００による記憶装置３０５に記録された符号化データを復号する動作について説明する。図１５は、本発明の第４の実施形態において記憶装置３０５に記録された符号化データを復号する動作について説明するためのフローチャートである。ここでは、一例として、上記で符号化したＪＰＥＧ２０００符号化の符号化データを用いる。
【０１１４】
図１０は、本発明の第４の実施形態に係る情報処理装置のメモリ３０１における復号時のメモリの使用及び格納状況を説明するための図である。図１０に示すように、メモリ３０１には、情報処理装置全体を制御して各種ソフトウェアを動作させるためのＯＳ、画像データを復号する画像復号ソフトウェア（例えば、ＪＰＥＧ２０００復号ソフトウェア）、オーディオデータを復号するオーディオ復号データ、透かしデータの抽出を行う透かし抽出ソフトウェア、多重化されたデータを分離する多重分離ソフトウェア等が格納されている。尚、画像復号ソフトウェアはＪＰＥＧ２０００復号方式で復号するソフトウェアに限定されるものではない。
【０１１５】
まず、記憶装置３０５から復号する符号化データを読み込み、メモリ３０１上の符号エリアに格納する（ステップＳ３０１）。次いで、ＪＰＥＧ２０００符号化方式の復号方法に従ってビットプレーン符号化を復号し、ビットシフトされた量子化結果を再生してメモリ３０１上の画像エリアに格納する（ステップＳ３０２）。そして、この量子化結果からｍビット以上のデータを持つ領域を検出することで注目領域を判定し、その領域情報をメモリ３０１上のワーキングエリアに格納する（ステップＳ３０３）。
【０１１６】
次いで、電子透かしを抽出する（ステップＳ３０４）。尚、電子透かしの抽出は、図１４のフローチャートを用いて上述した電子透かしの挿入の逆処理を行えばよい。すなわち、メモリ３０１上のワーキングエリアの領域情報を参照して、各サブバンドの領域内の埋め込み情報として、ＬＬｍａｘ、ＬＬｍｉｎ、Ｌ１ｍａｘ、Ｌ１ｍｉｎ、Ｌ２ｍａｘ、Ｌ２ｍｉｎ、Ｌ３ｍａｘ、Ｌ３ｍｉｎ、Ｈ１ｍａｘ、Ｈ１ｍｉｎ、Ｈ２ｍａｘ、Ｈ２ｍｉｎ、Ｈ３ｍａｘ、Ｈ３ｍｉｎ、及び、領域外の埋め込み情報ＬＬｍｓｂ、Ｌ１ｍｓｂ、Ｌ２ｍｓｂ、Ｌ３ｍｓｂ、Ｈ１ｍｓｂ、Ｈ２ｍｓｂ、Ｈ３ｍｓｂを再生し、メモリ３０１上のワーキングエリアにそれぞれ格納する。
【０１１７】
次いで、メモリ３０１上の画像エリアに格納されたビットシフトされた量子化結果とワーキングエリアの領域情報とを参照して、各サブバンドの領域内の統計情報を生成する（ステップＳ３０５）。尚、ステップＳ３０５における領域内統計情報の生成方法は、図１２を用いて前述した通りである。尚、ここで生成された最大値と最小値をそれぞれ、ＬＬｍａｘ、ＬＬｍｉｎ、Ｌ１ｍａｘ、Ｌ１ｍｉｎ、Ｌ２ｍａｘ、Ｌ２ｍｉｎ、Ｌ３ｍａｘ、Ｌ３ｍｉｎ、Ｈ１ｍａｘ、Ｈ１ｍｉｎ、Ｈ２ｍａｘ、Ｈ２ｍｉｎ、Ｈ３ｍａｘ、Ｈ３ｍｉｎとする。
【０１１８】
その後、各サブバンドの領域外の統計情報を生成する（ステップＳ３０６）。尚、ステップＳ３０６における領域外統計情報の生成方法は図１３を用いて前述した通りである。尚、ここで生成された最上位ビットが１である数をそれぞれ、ＬＬｍｓｂ、Ｌ１ｍｓｂ、Ｌ２ｍｓｂ、Ｌ３ｍｓｂ、Ｈ１ｍｓｂ、Ｈ２ｍｓｂ、Ｈ３ｍｓｂとする。
【０１１９】
そして、ＪＰＥＧ２０００のＲＯＩ符号化方式の手順に従い、領域内の変換係数のビットをｍビット下位にビットシフトする（ステップＳ３０７）。次いで、逆量子化を行い（ステップＳ３０８）、逆離散ウェーブレット変換を施して再生画像を得て、メモリ３０１上の画像エリアに格納する（ステップＳ３０９）。
【０１２０】
そして、埋め込まれた電子透かし情報を比較する（ステップＳ３１０）。すなわち、ＬＬｍａｘとＬＬｍａｘ、ＬＬｍｉｎとＬＬｍｉｎのように同じサブバンド、同じ位置の埋め込み情報を比較して、全てが一致している場合（一致）はステップＳ３１２に進み、一つでも一致していない場合（不一致）はステップＳ３１１に進む。
【０１２１】
ステップＳ３１１では、メモリ３０１上の画像エリアに格納された画像データ上に「改ざんが検出されました。」という趣旨の警告文字或いはマーク等を重畳し、メモリ３０１上の画像エリアのデータを書き換え、ステップＳ３１２に進む。そして、ステップＳ３１２ではメモリ３０１上の画像エリアの画像データをモニタ３０８上に表示し、メモリ３０１上の各エリアのメモリを開放して全てのソフトウェアを停止する。
【０１２２】
上述したように、本実施形態では、改ざんを検出した場合に警告を重畳して表示したが、これだけに限定されることはない。すなわち、各サブバンド及び領域の内外で埋め込みを行っていることから改ざんされた位置やサブバンドを特定できるため、その情報をモニタ３０８上に表示したり、全く表示しないようにすることも可能である。このような一連の選択動作により、画像の領域ごとにデータを比較することにより、細かい単位で改ざんを検知することができ、それをユーザに知らせることが可能になる。
【０１２３】
尚、本実施形態においては画像の符号化方式をＪＰＥＧ２０００としたが、他の符号化方式、或いは領域分割してそれぞれに対して符号化方式を適応的に変える適応的符号化方式やＪＰＥＧ符号化方式等を用いてもよい。図１６は、本発明のその他の実施形態の概要を説明するための図である。すなわち、図１６に示すように、文字領域４０１と写真領域４０２が混在するような文書４００において、文字領域をＭＭＲ符号化方式で符号化し、写真領域をＪＰＥＧ符号化方式で符号化する場合、文字領域４０１の符号長をＪＰＥＧ符号化方式のデータに、写真領域４０２のＤＣ成分の平均値をＭＭＲ符号化方式のデータに電子透かしで埋め込むことで同様の効果が得られる。
【０１２４】
また、本実施形態では符号化データに透かしデータを符号化前で埋め込むように構成したが、これに限定されることはなく、例えば特開平１１−２８４５１６号公報の「データ処理装置、データ処理方法及び記録媒体」に記載されているように、符号化しながら透かしデータの埋め込みを行うようにしてもよい。
【０１２５】
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０１２６】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【０１２７】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１２８】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【０１２９】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【０１３０】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１３１】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１３２】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０１３３】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【０１３４】
【図１】本発明の第１の実施形態における画像を撮像して音声と共に記録するカムコーダシステムの構成を示すブロック図である。
【図２】本発明の第２の実施形態に係る情報処理装置（カムコーダシステム）の構成を示すブロック図である。
【図３】本発明の第３の実施形態に係る、複数のオブジェクトを撮像して合成して記録する画像通信システムの構成を示すブロック図である。
【図４】本発明の第４の実施形態に係る情報処理装置の構成を示すブロック図である。
【図５】第４の実施形態においてＸ線カメラ３０６によって撮像されモニタ３０７上に表示されたＸ線写真の一例である。
【図６】離散ウェーブレット変換におけるサブバンドの様子を示す図である。
【図７】第１の実施形態に係るカムコーダシステムにおける動画像記録処理を説明するためのフローチャートである。
【図８】第１の実施形態に係るカムコーダシステムにおける動画像再生処理を説明するためのフローチャートである。
【図９】本発明の第４の実施形態に係る情報処理装置のメモリ３０１における符号化時のメモリの使用及び格納状況を説明するための図である。
【図１０】本発明の第４の実施形態に係る情報処理装置のメモリ３０１における復号時のメモリの使用及び格納状況を説明するための図である。
【図１１】第４の実施形態における情報処理装置で撮像されたＸ線画像データを記憶装置３０５に記憶する処理を説明するためのフローチャートである。
【図１２】第４の実施形態に係る領域内統計情報の検出処理（ステップＳ２０５）の詳細を説明するためのフローチャートである。
【図１３】第４の実施形態に係る領域外統計情報の検出処理（ステップＳ２０６）の詳細を説明するためのフローチャートである。
【図１４】第４の実施形態に係る電子透かしの埋め込み処理の詳細を説明するためのフローチャートである。
【図１５】本発明の第４の実施形態において記憶装置３０５に記録された符号化データを復号する動作について説明するためのフローチャートである。
【図１６】本発明のその他の実施形態の概要を説明するための図である。
【符号の説明】
【０１３５】
１０１  マイク
１０２  光学系
１０３  光電変換器
１０４、１０５  Ａ／Ｄ変換器
１０６、１０７、１２７、１３１、２２０、２２１  フレームメモリ
１０８、１５０  オーディオ符号化器
１０９、１５１、２０４、２０５  ビデオ符号化器
１１０、１１１、１２０、１２１、１５２、１５３、１５６、１５７、２０６、２０７、２１８、２１９  埋め込み情報生成器
１１２、１１３、２０８、２０９  透かし埋め込み器
１１４、２１０  多重化器
１１５  記録媒体制御器
１１６  記録媒体
１１７、２１３  分離器
１１８、１１９、２１４、２１５  透かし抽出器
１２２、１２３、２２２、２２３  比較器
１２４、２２４  判定器
１２６、１５４  オーディオ復号器
１２８、１３２  Ｄ／Ａ変換器
１２９  スピーカ
１３０、１５５、２１６、２１７  ビデオ復号器
１３３  ビューワ
１５８  インジケータ
２００  風景
２０１  人物
２０２、２０３  ビデオカメラ
２１１  送信器
２１２  受信器
２２５  合成器
２２６、３０７  モニタ
３００  ＣＰＵ
３０１  メモリ
３０２  バス
３０３  操作端末
３０４、３０５  記憶装置
３０６  Ｘ線カメラ
３０８  通信Ｉ／Ｆ
３０９  通信回路
【図１】
2005218019.tif 000003
【図２】
2005218019.tif 000004
【図３】
2005218019.tif 000005
【図４】
2005218019.tif 000006
【図５】
2005218019.tif 000007
【図６】
2005218019.tif 000008
【図７】
2005218019.tif 000009
【図８】
2005218019.tif 000010
【図９】
2005218019.tif 000011
【図１０】
2005218019.tif 000012
【図１１】
2005218019.tif 000013
【図１２】
2005218019.tif 000014
【図１３】
2005218019.tif 000015
【図１４】
2005218019.tif 000016
【図１５】
2005218019.tif 000017
【図１６】
2005218019.tif 000018