(57)【要約】【課題】特定のファイルフォーマットを用いる必要がなく、ビデオデータとオーディオデータとの同一性を破壊するような改ざんを防止することができる情報処理装置及び情報処理方法並びにプログラム及びコンピュータ読み取り可能な記録媒体を提供する。【解決手段】本発明は、ビデオ符号化器１０９でビデオデータを符号化し、オーディオ符号化器１０８でオーディオデータを符号化する。また、透かし生成器１１０は、所定の透かしデータを生成する。そして、透かし埋め込み器１１２で透かしデータを符号化されたビデオデータに電子透かしによって埋め込む。一方、透かし埋め込み器１１１で透かしデータを符号化されたオーディオデータに電子透かしによって埋め込む。さらに多重化器１１３で透かしデータが埋め込まれたビデオデータとオーディオデータとを多重化した多重化データを生成する。【選択図】　図４
2004080094.tif 000002
【特許請求の範囲】
【請求項１】
ビデオデータと該ビデオデータに同期したオーディオデータとを符号化する情報処理装置であって、
前記ビデオデータを符号化する第１の符号化手段と、
前記オーディオデータを符号化する第２の符号化手段と、
所定の透かしデータを生成する透かしデータ生成手段と、
前記透かしデータを符号化された前記ビデオデータに電子透かしによって埋め込む第１の透かし埋め込み手段と、
前記透かしデータを符号化された前記オーディオデータに電子透かしによって埋め込む第２の透かし埋め込み手段と、
前記透かしデータが埋め込まれた前記ビデオデータと前記オーディオデータとを多重化した多重化データを生成する多重化手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記透かしデータ生成手段が、前記ビデオデータと該ビデオデータに同期した前記オーディオデータとに基づいて、前記ビデオデータと前記オーディオデータに電子透かしによって埋め込まれる共通の透かしデータを生成することを特徴とする請求項１記載の情報処理装置。
【請求項３】
ビデオデータを入力する第１の入力手段と、
前記ビデオデータに同期したオーディオデータを入力する第２の入力手段と、前記ビデオデータと前記オーディオデータとが同期していることを示す同一性データを生成する同一性データ生成手段と、
前記同一性データから所定の透かしデータを生成する透かしデータ生成手段と、
前記透かしデータを前記ビデオデータに電子透かしによって埋め込む第１の透かし埋め込み手段と、
前記透かしデータを前記オーディオデータに電子透かしによって埋め込む第２の透かし埋め込み手段と、
前記透かしデータが埋め込まれた前記ビデオデータと前記透かしデータが埋め込まれた前記オーディオデータとを多重化した多重化データを生成する多重化手段と
を備えることを特徴とする情報処理装置。
【請求項４】
前記ビデオデータを符号化する第１の符号化手段をさらに備え、
前記第１の埋め込み手段が、符号化された前記ビデオデータに対して電子透かしによって前記透かしデータを埋め込む
ことを特徴とする請求項３記載の情報処理装置。
【請求項５】
前記オーディオデータを符号化する第２の符号化手段をさらに備え、
前記第２の埋め込み手段が、符号化された前記オーディオデータに対して電子透かしによって前記透かしデータを埋め込む
ことを特徴とする請求項３又は４に記載の情報処理装置。
【請求項６】
前記多重化データを可搬記録媒体に記録する記録手段をさらに備えることを特徴とする請求項１から５までのいずれか１項に記載の情報処理装置。
【請求項７】
第１の透かしデータが電子透かしによって埋め込まれたビデオデータを入力する第１の入力手段と、
第２の透かしデータが電子透かしによって埋め込まれたオーディオデータを入力する第２の入力手段と、
前記ビデオデータに埋め込まれた前記第１の透かしデータを抽出する第１の透かし抽出手段と、
前記オーディオデータに埋め込まれた前記第２の透かしデータを抽出する第２の透かし抽出手段と、
前記第１の透かしデータと前記第２の透かしデータとの同一性を比較する比較手段と、
前記比較手段における前記同一性の比較結果に基づいて、前記ビデオデータと前記オーディオデータとが同期しているか否かを判定する判定手段と
を備えることを特徴とする情報処理装置。
【請求項８】
第１の透かしデータが埋め込まれたビデオデータと第２の透かしデータが埋め込まれたオーディオデータとが多重化された多重化データを入力する多重化入力手段と、
前記多重化データから前記ビデオデータと前記オーディオデータとを分離する分離手段と、
前記ビデオデータに埋め込まれた前記第１の透かしデータを抽出する第１の透かし抽出手段と、
前記オーディオデータに埋め込まれた前記第２の透かしデータを抽出する第２の透かし抽出手段と、
前記第１の透かしデータと前記第２の透かしデータとの同一性を比較する比較手段と、
前記比較手段における前記同一性の比較結果に基づいて、前記ビデオデータと前記オーディオデータとが同期しているか否かを判定する判定手段と
を備えることを特徴とする情報処理装置。
【請求項９】
前記多重化入力手段が、可搬記録媒体に記録された前記多重化データを読み取って入力することを特徴とする請求項８記載の情報処理装置。
【請求項１０】
前記ビデオデータを出力する第１の出力手段と、
前記オーディオデータを出力する第２の出力手段と
をさらに備えることを特徴とする請求項７から９までのいずれか１項に記載の情報処理装置。
【請求項１１】
前記ビデオデータを再生する第１の再生手段をさらに備えることを特徴とする請求項１０記載の情報処理装置。
【請求項１２】
前記オーディオデータを再生する第２の再生手段をさらに備えることを特徴とする請求項１０記載の情報処理装置。
【請求項１３】
前記判定手段が、前記ビデオデータと前記オーディオデータとは同期していないと判定した場合、前記第１の再生手段における前記ビデオデータの再生時に、前記オーディオデータと同期していないことを示す情報を再生させる制御手段をさらに備えることを特徴とする請求項１１記載の情報処理装置。
【請求項１４】
前記ビデオデータが符号化されており、符号化された該ビデオデータを復号する第１の復号手段と、
前記オーディオデータが符号化されており、符号化された該オーディオデータを復号する第２の復号手段と
をさらに備えることを特徴とする請求項７から１３までのいずれか１項に記載の情報処理装置。
【請求項１５】
ビデオデータと該ビデオデータに同期したオーディオデータとを符号化する情報処理方法であって、
前記ビデオデータを符号化する第１の符号化工程と、
前記オーディオデータを符号化する第２の符号化工程と、
所定の透かしデータを生成する透かしデータ生成工程と、
前記透かしデータを符号化された前記ビデオデータに電子透かしによって埋め込む第１の透かし埋め込み工程と、
前記透かしデータを符号化された前記オーディオデータに電子透かしによって埋め込む第２の透かし埋め込み工程と、
前記透かしデータが埋め込まれた前記ビデオデータと前記オーディオデータとを多重化した多重化データを生成する多重化工程と
を有することを特徴とする情報処理方法。
【請求項１６】
前記透かしデータ生成工程が、前記ビデオデータと該ビデオデータに同期した前記オーディオデータとに基づいて、前記ビデオデータと前記オーディオデータに電子透かしによって埋め込まれる共通の透かしデータを生成することを特徴とする請求項１５記載の情報処理方法。
【請求項１７】
ビデオデータと該ビデオデータに同期したオーディオデータとを符号化する情報処理方法であって、
前記ビデオデータと前記オーディオデータとが同期していることを示す同一性データを生成する同一性データ生成工程と、
前記同一性データから所定の透かしデータを生成する透かしデータ生成工程と、
前記透かしデータを前記ビデオデータに電子透かしによって埋め込む第１の透かし埋め込み工程と、
前記透かしデータを前記オーディオデータに電子透かしによって埋め込む第２の透かし埋め込み工程と、
前記透かしデータが埋め込まれた前記ビデオデータと前記透かしデータが埋め込まれた前記オーディオデータとを多重化した多重化データを生成する多重化工程と
を有することを特徴とする情報処理方法。
【請求項１８】
前記ビデオデータを符号化する第１の符号化工程をさらに有し、
前記第１の埋め込み工程が、符号化された前記ビデオデータに対して電子透かしによって前記透かしデータを埋め込む
ことを特徴とする請求項１７記載の情報処理方法。
【請求項１９】
前記オーディオデータを符号化する第２の符号化工程をさらに有し、
前記第２の埋め込み工程が、符号化された前記オーディオデータに対して電子透かしによって前記透かしデータを埋め込む
ことを特徴とする請求項１７又は１８に記載の情報処理方法。
【請求項２０】
前記多重化データを可搬記録媒体に記録する記録工程をさらに有することを特徴とする請求項１５から１９までのいずれか１項に記載の情報処理方法。
【請求項２１】
第１の透かしデータが電子透かしによって埋め込まれたビデオデータから前記第１の透かしデータを抽出する第１の透かし抽出工程と、
第２の透かしデータが電子透かしによって埋め込まれたオーディオデータから前記第２の透かしデータを抽出する第２の透かし抽出工程と、
前記第１の透かしデータと前記第２の透かしデータとの同一性を比較する比較工程と、
前記比較工程における前記同一性の比較結果に基づいて、前記ビデオデータと前記オーディオデータとが同期しているか否かを判定する判定工程と
を有することを特徴とする情報処理方法。
【請求項２２】
第１の透かしデータが埋め込まれたビデオデータと第２の透かしデータが埋め込まれたオーディオデータとが多重化された多重化データから前記ビデオデータと前記オーディオデータとを分離する分離工程と、
前記ビデオデータに埋め込まれた前記第１の透かしデータを抽出する第１の透かし抽出工程と、
前記オーディオデータに埋め込まれた前記第２の透かしデータを抽出する第２の透かし抽出工程と、
前記第１の透かしデータと前記第２の透かしデータとの同一性を比較する比較工程と、
前記比較工程における前記同一性の比較結果に基づいて、前記ビデオデータと前記オーディオデータとが同期しているか否かを判定する判定工程と
を有することを特徴とする情報処理方法。
【請求項２３】
第１の透かしデータが埋め込まれたビデオデータと第２の透かしデータが埋め込まれたオーディオデータとが多重化された多重化データを格納する可搬記録媒体から該多重化データを読み取る読み取り工程をさらに有することを特徴とする請求項２２記載の情報処理方法。
【請求項２４】
前記ビデオデータを出力する第１の出力工程と、
前記オーディオデータを出力する第２の出力工程と
をさらに有することを特徴とする請求項２１から２３までのいずれか１項に記載の情報処理方法。
【請求項２５】
前記ビデオデータを再生する第１の再生工程をさらに有することを特徴とする請求項２４記載の情報処理方法。
【請求項２６】
前記オーディオデータを再生する第２の再生工程をさらに有することを特徴とする請求項２４記載の情報処理方法。
【請求項２７】
前記判定工程が、前記ビデオデータと前記オーディオデータは同期していないと判定した場合、前記第１の再生工程における前記ビデオデータの再生時に、前記オーディオデータと同期していないことを示す情報を再生させる制御工程をさらに有することを特徴とする請求項２５記載の情報処理方法。
【請求項２８】
前記ビデオデータが符号化されており、符号化された該ビデオデータを復号する第１の復号工程と、
前記オーディオデータが符号化されており、符号化された該オーディオデータを復号する第２の復号工程と
をさらに有することを特徴とする請求項２１から２７までのいずれか１項に記載の情報処理方法。
【請求項２９】
コンピュータに、ビデオデータと該ビデオデータに同期したオーディオデータとを符号化させるためのプログラムであって、
前記ビデオデータを符号化する第１の符号化手順と、
前記オーディオデータを符号化する第２の符号化手順と、
所定の透かしデータを生成する透かしデータ生成手順と、
前記透かしデータを符号化された前記ビデオデータに電子透かしによって埋め込む第１の透かし埋め込み手順と、
前記透かしデータを符号化された前記オーディオデータに電子透かしによって埋め込む第２の透かし埋め込み手順と、
前記透かしデータが埋め込まれた前記ビデオデータと前記オーディオデータとを多重化した多重化データを生成する多重化手順と
を実行させるためのプログラム。
【請求項３０】
コンピュータに、ビデオデータと該ビデオデータに同期したオーディオデータとを符号化させるためのプログラムであって、
前記ビデオデータと前記オーディオデータとが同期していることを示す同一性データを生成する同一性データ生成手順と、
前記同一性データから所定の透かしデータを生成する透かしデータ生成手順と、
前記透かしデータを前記ビデオデータに電子透かしによって埋め込む第１の透かし埋め込み手順と、
前記透かしデータを前記オーディオデータに電子透かしによって埋め込む第２の透かし埋め込み手順と、
前記透かしデータが埋め込まれた前記ビデオデータと前記透かしデータが埋め込まれた前記オーディオデータとを多重化した多重化データを生成する多重化手順と
を実行させるためのプログラム。
【請求項３１】
コンピュータに、
第１の透かしデータが電子透かしによって埋め込まれたビデオデータから前記第１の透かしデータを抽出する第１の透かし抽出手順と、
第２の透かしデータが電子透かしによって埋め込まれたオーディオデータから前記第２の透かしデータを抽出する第２の透かし抽出手順と、
前記第１の透かしデータと前記第２の透かしデータとの同一性を比較する比較手順と、
前記比較手順における前記同一性の比較結果に基づいて、前記ビデオデータと前記オーディオデータとが同期しているか否かを判定する判定手順と
を実行させるためのプログラム。
【請求項３２】
コンピュータに、
第１の透かしデータが埋め込まれたビデオデータと第２の透かしデータが埋め込まれたオーディオデータとが多重化された多重化データから前記ビデオデータと前記オーディオデータとを分離する分離手順と、
前記ビデオデータに埋め込まれた前記第１の透かしデータを抽出する第１の透かし抽出手順と、
前記オーディオデータに埋め込まれた前記第２の透かしデータを抽出する第２の透かし抽出手順と、
前記第１の透かしデータと前記第２の透かしデータとの同一性を比較する比較手順と、
前記比較工程における前記同一性の比較結果に基づいて、前記ビデオデータと前記オーディオデータとが同期しているか否かを判定する判定手順と
を実行させるためのプログラム。
【請求項３３】
請求項２９から３２までのいずれか１項に記載のプログラムを格納することを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ビデオデータとそれに関連するオーディオデータに対する改ざんを検出する情報処理装置及び情報処理方法並びにプログラム及びコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
一般に、動画像の符号化方式として、フレーム内符号化方式であるＭｏｔｉｏｎ　ＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｃｏｄｉｎｇ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）やＤｉｇｉｔａｌ　Ｖｉｄｅｏ等の符号化方式や、フレーム間予測符号化を用いたＨ．２６１、Ｈ．２６３、ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｃｏｄｉｎｇ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）−１、ＭＰＥＧ−２、ＭＰＥＧ−４等の符号化方式が知られている。これらの符号化方式は、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｏｒｇａｎｉｚａｔｉｏｎ　ｆｏｒ　Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ：国際標準化機構）やＩＴＵ（Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｕｎｉｏｎ：国際電気通信連合）によって国際標準化されている。
【０００３】
上述したようなデジタル符号化規格の普及に伴い、映像や音楽等のコンテンツ業界からは著作権保護の問題が強く提起されるようになってきた。これに対応して、コンテンツの保護に関する標準化も進み、ＭＰＥＧ−４符号化方式では、ファイルシステムにＩＰＭＰ　ＯＤを用いてセキュリティ情報を記述したり、セキュリティ情報によって再生を制限する方法が標準化された。そして、セキュリティに関する情報や暗号化のために電子透かし技術が開発されている。この電子透かし技術とは、データ再生時にデータが変化しないか、又は変化が知覚できないレベルでデータを埋め込む技術のことである。
【０００４】
ビデオデータに対して電子透かしを埋め込む技術としては、特開平１０−２４３３９８号の「動画像エンコードプログラムを記録した記録媒体及び動画像エンコード装置」や特開平１１−３４１４５０号の「電子透かし埋め込み装置及び抽出装置」等に開示されている。また、オーディオデータに関しても同様に、特開２００１−２０２０８９の「音声データに透かし情報を埋め込む方法、透かし情報埋め込み装置、透かし情報検出装置、透かし情報が埋め込まれた記録媒体、及び透かし情報を埋め込む方法を記録した記録媒体」や特開平１１−３１６５９９号の「電子透かし埋め込み装置、オーディオ符号化装置及び記録媒体」等に電子透かしを埋め込む技術が開示されている。
【０００５】
さらに、静止画像の一部を画像処理等によって改ざんした場合、これを検出する方法が、特開２００１−７８０７０の「デジタルカメラ及び画像改ざん検出システム」等に開示されている。
【０００６】
上述したような電子透かしは、一般に、ビデオデータやオーディオデータ等の改ざん防止や著作権の保護のために用いられている。
【０００７】
【発明が解決しようとする課題】
しかしながら、本来のビデオデータとオーディオデータの組み合わせからオーディオデータの一部又は全部を編集ソフト等で置き換えるような場合、従来の著作権保護システムではそれを改ざんとして検知することができない。例えば、あるシーンを撮影した後、同じカメラで音声等を変えて同じように撮影し、音声データを入れ替えても、オリジナルのデータであるかどうかを判断することができない。
【０００８】
また、ファイルフォーマットについては、フレームの同期やフレームの制御に関して各種各様の方式が採用されている。例えば、同じＭｏｔｉｏｎ　ＪＰＥＧのファイルであっても、ＡＶＩファイルフォーマットとＱｕｉｃｋＴｉｍｅファイルフォーマットとでは方式が異なる。従って、ＭＰＥＧ−４符号化方式のファイルフォーマットから別なファイルフォーマットに変換したような場合、あるファイルフォーマットで著作権保護を行っていても、これをサポートしない別のファイルフォーマットに変換すると、その情報が失われてしまうという問題が生じることになる。
【０００９】
本発明は、このような事情を考慮してなされたものであり、特定のファイルフォーマットを用いる必要がなく、ビデオデータとオーディオデータとの同一性を破壊するような改ざんを防止することができる情報処理装置及び情報処理方法並びにプログラム及びコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記課題を解決するために、本発明は、ビデオデータと該ビデオデータに同期したオーディオデータとを符号化する情報処理装置であって、前記ビデオデータを符号化する第１の符号化手段と、前記オーディオデータを符号化する第２の符号化手段と、所定の透かしデータを生成する透かしデータ生成手段と、前記透かしデータを符号化された前記ビデオデータに電子透かしによって埋め込む第１の透かし埋め込み手段と、前記透かしデータを符号化された前記オーディオデータに電子透かしによって埋め込む第２の透かし埋め込み手段と、前記透かしデータが埋め込まれた前記ビデオデータと前記オーディオデータとを多重化した多重化データを生成する多重化手段とを備えることを特徴とする。
【００１１】
また、本発明に係る情報処理装置は、前記透かしデータ生成手段が、前記ビデオデータと該ビデオデータに同期した前記オーディオデータとに基づいて、前記ビデオデータと前記オーディオデータに電子透かしによって埋め込まれる共通の透かしデータを生成することを特徴とする。
【００１２】
さらに、本発明に係る情報処理装置は、ビデオデータを入力する第１の入力手段と、前記ビデオデータに同期したオーディオデータを入力する第２の入力手段と、前記ビデオデータと前記オーディオデータとが同期していることを示す同一性データを生成する同一性データ生成手段と、前記同一性データから所定の透かしデータを生成する透かしデータ生成手段と、前記透かしデータを前記ビデオデータに電子透かしによって埋め込む第１の透かし埋め込み手段と、前記透かしデータを前記オーディオデータに電子透かしによって埋め込む第２の透かし埋め込み手段と、前記透かしデータが埋め込まれた前記ビデオデータと前記透かしデータが埋め込まれた前記オーディオデータとを多重化した多重化データを生成する多重化手段とを備えることを特徴とする。
【００１３】
さらにまた、本発明に係る情報処理装置は、前記ビデオデータを符号化する第１の符号化手段をさらに備え、前記第１の埋め込み手段が、符号化された前記ビデオデータに対して電子透かしによって前記透かしデータを埋め込むことを特徴とする。
【００１４】
さらにまた、本発明に係る情報処理装置は、前記オーディオデータを符号化する第２の符号化手段をさらに備え、前記第２の埋め込み手段が、符号化された前記オーディオデータに対して電子透かしによって前記透かしデータを埋め込むことを特徴とする。
【００１５】
さらにまた、本発明に係る情報処理装置は、前記多重化データを可搬記録媒体に記録する記録手段をさらに備えることを特徴とする。
【００１６】
さらにまた、本発明に係る情報処理装置は、第１の透かしデータが電子透かしによって埋め込まれたビデオデータを入力する第１の入力手段と、第２の透かしデータが電子透かしによって埋め込まれたオーディオデータを入力する第２の入力手段と、前記ビデオデータに埋め込まれた前記第１の透かしデータを抽出する第１の透かし抽出手段と、前記オーディオデータに埋め込まれた前記第２の透かしデータを抽出する第２の透かし抽出手段と、前記第１の透かしデータと前記第２の透かしデータとの同一性を比較する比較手段と、前記比較手段における前記同一性の比較結果に基づいて、前記ビデオデータと前記オーディオデータとが同期しているか否かを判定する判定手段とを備えることを特徴とする。
【００１７】
さらにまた、本発明に係る情報処理装置は、第１の透かしデータが埋め込まれたビデオデータと第２の透かしデータが埋め込まれたオーディオデータとが多重化された多重化データを入力する多重化入力手段と、前記多重化データから前記ビデオデータと前記オーディオデータとを分離する分離手段と、前記ビデオデータに埋め込まれた前記第１の透かしデータを抽出する第１の透かし抽出手段と、前記オーディオデータに埋め込まれた前記第２の透かしデータを抽出する第２の透かし抽出手段と、前記第１の透かしデータと前記第２の透かしデータとの同一性を比較する比較手段と、前記比較手段における前記同一性の比較結果に基づいて、前記ビデオデータと前記オーディオデータとが同期しているか否かを判定する判定手段とを備えることを特徴とする。
【００１８】
さらにまた、本発明に係る情報処理装置は、前記多重化入力手段が、可搬記録媒体に記録された前記多重化データを読み取って入力することを特徴とする。
【００１９】
さらにまた、本発明に係る情報処理装置は、前記ビデオデータを出力する第１の出力手段と、前記オーディオデータを出力する第２の出力手段とをさらに備えることを特徴とする。
【００２０】
さらにまた、本発明に係る情報処理装置は、前記ビデオデータを再生する第１の再生手段をさらに備えることを特徴とする。
【００２１】
さらにまた、本発明に係る情報処理装置は、前記オーディオデータを再生する第２の再生手段をさらに備えることを特徴とする。
【００２２】
さらにまた、本発明に係る情報処理装置は、前記判定手段が、前記ビデオデータと前記オーディオデータは同期していないと判定した場合、前記第１の再生手段における前記ビデオデータの再生時に、前記オーディオデータと同期していないことを示す情報を再生させる制御手段をさらに備えることを特徴とする。
【００２３】
さらにまた、本発明に係る情報処理装置は、前記ビデオデータが符号化されており、符号化された該ビデオデータを復号する第１の復号手段と、前記オーディオデータが符号化されており、符号化された該オーディオデータを復号する第２の復号手段とをさらに備えることを特徴とする。
【００２４】
【発明の実施の形態】
以下、図面を参照して、本発明の好適な実施形態について説明する。
【００２５】
＜第１の実施形態＞
図１は、本発明の第１の実施形態における符号化システムの構成を示すブロック図である。本実施形態では、図１に示す符号化システムを用いて、ビデオデータとそれに同期しているオーディオデータとを符号化して記録する例を用いて説明する。
【００２６】
図１に示すように、本実施形態に係る符号化システムは、符号化データを生成する情報処理装置１と、それに接続し、オーディオデータを入力するマイク２と、ビデオデータをフレーム単位で連続して入力するカメラ４と、生成された符号化データを記録する記憶装置１０とから構成される。
【００２７】
情報処理装置１には、まず、マイク２から入力されたオーディオデータをフレーム単位で符号化するオーディオ符号化器３が設けられている。ここでは一例としてＭＰＥＧ−１　Ｌａｙｅｒ　３符号化方式を用いて説明するが、本発明における適用はこの方式だけに限定されない。また、説明を容易にするためにフレームサイズをビデオデータの１フレームの間隔とする。
【００２８】
さらに、情報処理装置１は、カメラ４から入力されたビデオデータをフレーム単位で符号化するビデオ符号化器５を備える。本実施形態では、符号化方式としてＭＰＥＧ−４符号化方式を例にとって説明するが、本発明の適用はこの方式に限定されない。さらにまた、情報処理装置１は、１回の録画に関してユニークな値を生成する透かし生成器６を備える。
【００２９】
また、透かし埋め込み器７は、オーディオ符号化器３と透かし生成器６に接続し、透かし生成器６で生成された透かしデータ（以下、「オーディオ透かしデータ」と称す。）を符号化されたオーディオデータ（以下、「オーディオ符号化データ」と称す。）に埋め込む。一方、透かし埋め込み器８は、ビデオ符号化器５と透かし生成器６に接続し、透かし生成器６で生成された透かしデータ（以下、「ビデオ透かしデータ」と称す。）を符号化されたビデオデータ（以下、「ビデオ符号化データ」と称す。）に埋め込む。そして、多重化器９は、透かし埋め込み器７、８に接続され、オーディオ透かしデータが埋め込まれたオーディオ符号化データとビデオ透かしデータが埋め込まれたビデオ符号化データとを多重化して１つのストリームデータにする。記憶装置１０は、このストリームデータを記録、保存する。
【００３０】
次に、上記構成をした符号化システムにおけるビデオデータとオーディオデータの符号化から蓄積までの処理の流れを詳細に説明する。図９は、本発明の第１の実施形態に係る符号化システムにおける符号化処理手順を説明するためのフローチャートである。
【００３１】
まず、処理に先立って各部を初期化し、ＩＤ番号を設定する（ステップＳ２０１）。ここで、ＩＤ番号とは、今回の処理に関する固有の番号のことである。例えば、本実施形態ではＩＤ番号として４バイトで表される乱数を用いる。尚、ＩＤ番号はこの値だけに限定されるものではなく、任意の番号を用いることが可能である。また、多重化のためのヘッダデータを生成し、記憶装置１０の空き領域に出力結果の書き込みの準備を行う。その後、動画像（本実施形態では、映像と音声を含むものとする）の録画動作を開始する。
【００３２】
次に、符号化処理の終了判断を行う（ステップＳ２０２）。その結果、処理が終了していない場合、透かし生成器６はＩＤ番号に基づいて透かしデータを生成する（ステップＳ２０３）。本実施形態では、この透かしデータとして、オーディオデータとビデオデータのそれぞれのために４バイトのデータを暗号化したものを用いる。そして、生成されたオーディオ透かしデータは透かし埋め込み器７に、ビデオ透かしデータは透かし埋め込み器８に入力される。
【００３３】
次に、カメラ４から読み込まれるビデオデータの各フレームを符号化する（ステップＳ２０４）。すなわち、カメラ４で撮像されたビデオデータは１フレーム単位でビデオ符号化器５に入力される。そして、ビデオ符号化器５は、入力されたビデオデータに対してＭＰＥＧ−４符号化方式で符号化し、その符号化データ（ビデオ符号化データ）を保持する。
【００３４】
さらに、そのビデオ符号化データにステップＳ２０３で生成したビデオ透かしデータを埋め込む（ステップＳ２０５）。すなわち、透かし埋め込み器８において、ビデオ符号化器５から読み出したビデオ符号化データに対して生成されたビデオ透かしデータを埋め込む。尚、埋め込みの方法としては、例えば各ブロックの最も高周波の係数を±１の範囲で増減させて奇数・偶数を透かしデータに従って意図的に符号化データを変更する方法等が用いられる。すなわち、埋め込むデータの１ビットが０であれば最後の係数を偶数に、１であれば奇数にする。また、埋め込むマクロブロックのＥＯＢの前の符号を読み出し、必要であればこれを変更する。
【００３５】
例えば、直前の符号の０ラン長が８で値が３であった時、埋め込む値が０であれば、ラン長が８で値が４の符号に置換する。実際の符号では、「１１１１１１１１１１１０１１０１１０」　を「１１１１１１１１１１１０１１０１１１」に置換する。値が１であれば何もしない。尚、本発明はこれに限定されず、特開平１１−３４１４５２号の「動画像電子透かしシステム」に記載されている方法等の既存の方法を使用しても良い。
【００３６】
一方で、マイク２から読み込まれるオーディオデータのフレームを符号化する（ステップＳ２０６）。すなわち、マイク２から入力されたオーディオデータはフレーム単位でオーディオ符号化器３に入力される。オーディオ符号化器３は入力されたオーディオデータに対してＭＰＥＧ−１　Ｌａｙｅｒ　３符号化方式で符号化し、その符号化データ（オーディオ符号化データ）を保持する。そして、そのオーディオ符号化データにステップＳ２０３で生成したオーディオ透かしデータを埋め込む（ステップＳ２０７）。すなわち、オーディオ符号化器３から読み出したオーディオ符号化データに、透かし埋め込み器７では生成されたオーディオ透かしデータが埋め込まれる。埋め込みの方法としては、例えば４バイトの値を埋め込む場合は、３２個のサンプルのＬＳＢをそれに当てれば良い。
【００３７】
そして、透かしデータが埋め込まれたそれぞれの符号化データは多重化器９で多重化され、記憶装置１０の所定の位置に蓄積される（ステップＳ２０８）。その後、多重化されたデータを出力し（ステップＳ２０９）、ステップＳ２０２に戻り、すべてのデータ入力が終わるまで処理が繰り返される。このような一連の選択動作により、オーディオデータとビデオデータに関して同じ情報を電子透かしによって埋め込むことにより、復号側での改ざん検出を容易にすることが可能になる。
【００３８】
上述したように、本発明に係る情報処理装置１は、ビデオデータとそれに同期したオーディオデータとを符号化するものである。具体的には、ビデオ符号化器５でビデオデータを符号化し、オーディオ符号化器３でオーディオデータを符号化する。また、透かし生成器６は、所定の透かしデータを生成する。そして、透かし埋め込み器８で透かしデータを符号化されたビデオデータに電子透かしによって埋め込む。一方、透かし埋め込み器７で透かしデータを符号化されたオーディオデータに電子透かしによって埋め込む。さらに多重化器９で透かしデータが埋め込まれたビデオデータとオーディオデータとを多重化した多重化データを生成する。
【００３９】
また、本発明に係る情報処理装置１は、ビデオデータとそれに同期したオーディオデータとを符号化するものであって、具体的には、ビデオデータとオーディオデータとが同期していることを示す同一性データを生成し、同一性データから所定の透かしデータが生成される。そして、透かしデータは、ビデオデータに電子透かしによって埋め込まれる。また、透かしデータはオーディオデータにも電子透かしによって埋め込まれる。そして、透かしデータが埋め込まれたビデオデータと透かしデータが埋め込まれたオーディオデータとが多重化された多重化データが生成される。
【００４０】
さらに、上記情報処理装置１は、ビデオデータを符号化するビデオ符号化器５を有し、透かし埋め込み器８は、符号化されたビデオデータに対して電子透かしによって透かしデータを埋め込むことを特徴とする。
【００４１】
さらにまた、上記情報処理装置１は、オーディオデータを符号化するオーディオ符号化器３を有し、透かし埋め込み器７は、符号化されたオーディオデータに対して電子透かしによって透かしデータを埋め込むことを特徴とする。
【００４２】
尚、本実施形態においてはビデオデータの符号化方式をＭＰＥＧ−４としたが他の符号化方式、例えば、Ｈ．２６１、ＭＰＥＧ−１、ＭＰＥＧ−２であってもよい。また、同様にオーディオデータの符号化方式もこれに限定されるものではなく、ＡＡＣ符号化やＡＤＰＣＭ符号化であってもよい。
【００４３】
また、本実施形態に係る符号化システムの各部又は全部の機能をソフトウェアで記述し、ＣＰＵ等の演算装置によって処理をさせてもよい。また、本実施形態では符号化データに透かしデータを後で埋め込むように構成したが、これに限定されるものではなく、例えば特開平１１−２８４５１６号の「データ処理装置、データ処理方法及び記録媒体」に記載されているように、符号化しながら透かしデータの埋め込みを行ってもよい。
【００４４】
尚、透かしデータもオーディオ透かしデータとビデオ透かしデータが同一である必要は無く、例えば、４バイトのコードをビデオ透かしデータとし、その補数をオーディオ透かしデータとしてもよい。
【００４５】
＜第２の実施形態＞
図２は、本発明の第２の実施形態における復号システムの構成を示すブロック図である。尚、本実施形態では、ビデオデータの符号化方式としてＭＰＥＧ−４符号化方式を、オーディオデータの符号化方式としてＭＰＥＧ−１　Ｌａｙｅｒ３符号化方式を例にとって説明するが、本発明の適用はこの方式のみに限定されるものではない。
【００４６】
図２に示すように、本実施形態に係る復号システムは、動画像（本実施形態では映像と音声を含むものとする）を復号する情報処理装置１１と、それに接続する符号化データを記憶する記憶装置１２と、復号されて再生されたオーディオデータを再生するスピーカ２０と、再生されたビデオデータを表示するモニタ２１とから構成される。尚、記憶装置１２には、上述した第１の実施形態で生成された多重化された符号化データ（以下、「多重化符号化データ」と称す。）が記憶されているものとする。
【００４７】
また、情報処理装置１１には、上述した第１の実施形態における図１の多重化器９で多重化された多重化符号化データをビデオ符号化データとオーディオ符号化データとに分離する分離器１３が備わっている。そして、分離器１３には、透かし抽出器１４、１５が接続している。透かし抽出器１４は、オーディオ符号化データからオーディオ透かしデータを抽出する。一方、透かし抽出器１５は、ビデオ符号化データからビデオ透かしデータを抽出する。
【００４８】
また、両透かし抽出器１４、１５は、抽出されたそれぞれの透かしデータを比較する比較器１６に接続している。
【００４９】
また、透かし抽出器１４は、オーディオ符号化データを復号してオーディオデータを再生するオーディオ復号器１７に接続している。一方、透かし抽出器１５は、ビデオ符号化データを復号してビデオデータを再生するビデオ復号器１８に接続している。そして、表示制御器１９は、比較器１６とビデオ復号器１８に接続され、ビデオデータをフレーム単位で制御する。そして、モニタ２１が表示制御器１９の制御に基づき再生されたビデオデータ（映像）を表示する。
【００５０】
次に、上記構成をした画像復号システムにおける動画像データの復号処理の流れを説明する。図１０は、本発明の第２の実施形態に係る復号システムにおける復号処理手順を説明するためのフローチャートである。
【００５１】
まず、第１の実施形態と同様に、処理動作に先立って各部の初期化が行われ、記憶装置１２は蓄積された多重化符号化データの先頭に読み出し位置を設定する（ステップＳ３０１）。
【００５２】
次に、復号処理の終了判断を行う（ステップＳ３０２）。その結果、処理が終了していない場合、記憶装置１２の所定の位置から多重化符号化データを読み出され、読み出された多重化符号化データが分離器１３に入力される（ステップＳ３０３）。そして、分離器１３では、入力された多重化符号化データから１フレーム単位でオーディオ符号化データとビデオ符号化データとを分離する（ステップＳ３０４）。分離器１３で分離された２種類の符号化データは、フレーム単位で、ビデオ符号化データは透かし抽出器１５に出力され、オーディオ符号化データは透かし抽出器１４に出力される。
【００５３】
そこで、透かし抽出器１５は、ビデオ符号化データに埋め込まれたビデオ透かしデータを抽出し、暗号を復号してその結果を比較器１６に出力し、符号化データをビデオ復号器１８に出力する（ステップＳ３０５）。ビデオ復号器１８では、符号化データを復号し１フレーム分のビデオデータを再生する（ステップＳ３０６）。
【００５４】
同時に、透かし抽出器１４ではオーディオ符号化データに埋め込まれたオーディオ透かしデータを抽出し、暗号を復号してその結果を比較器１６に出力し、符号化データをオーディオ復号器１７に出力する（ステップＳ３０７）。オーディオ復号器１７では、符号化データを復号して１フレーム分のオーディオデータを再生する（ステップＳ３０８）。
【００５５】
比較器１６では、透かし抽出器１４で抽出されたオーディオ透かしデータと透かし抽出器１５で抽出されたビデオ透かしデータとを比較する（ステップＳ３０９）。その結果、両透かしデータが不一致の場合はステップＳ３１０に進む。ステップＳ３１０では、表示制御器１９にこの不一致を通知することによって、再生されたビデオデータのフレーム上に警告を重畳する。すなわち、比較器１６で透かしデータが不一致の場合は、ビデオ復号器１８の出力にオーディオデータとビデオデータとが不整合である旨の表示を重畳してモニタ２１に出力し、モニタ２１上で視覚的に表示する。
【００５６】
一方、比較器１６で透かしデータが一致していると判定された場合は、表示制御器１９によって、ビデオ復号器１８の出力をそのままモニタ２１に出力し、モニタ２１上に画像を表示する。この時、ビデオデータに同期しているオーディオデータも同時に復号結果をスピーカ２０に出力する（ステップＳ３１１）。このようにして、再生されたビデオデータの１フレームを表示し、同時にそれに同期したオーディオデータを再生した後ステップＳ３０２に進み、次のフレームの処理を行う。そして、ステップＳ３０２において全ての符号化データに関して処理が終了した場合、復号システム全体の処理を終了する。
【００５７】
図１１は、ビデオデータとオーディオデータに関する透かしデータが一致する場合と一致しない場合のモニタ２１上の画像の表示例を説明するための図である。図１１（Ａ）に示すように、両透かしデータが一致していた場合、改ざん等がないとして画像１０００が表示される。また、両透かしデータが不一致の場合、図１１（Ｂ）に示すように、改ざん等があったとしてテロップ１００１が重畳された画像が表示される。この時、オーディオデータの復号結果は画像表示と同時にスピーカ２０に出力される。
【００５８】
このような一連の選択動作において、オーディオデータとビデオデータに埋め込まれた透かしデータを比較することにより、データの改ざんを検知することができ、それをユーザに知らせることが可能になる。
【００５９】
すなわち、本発明に係る情報処理装置１１では、透かし抽出器１５は、第１の透かしデータ（ビデオ透かしデータ）が電子透かしによって埋め込まれたビデオデータから第１の透かしデータを抽出する。また、透かし抽出器１４は、第２の透かしデータ（オーディオ透かしデータ）が電子透かしによって埋め込まれたオーディオデータから第２の透かしデータを抽出する。そして、比較器１６は、第１の透かしデータと第２の透かしデータとの同一性を比較する。そして、情報処理装置１１では、同一性の比較結果に基づいて、ビデオデータとオーディオデータとが同期しているか否かが判定される。
【００６０】
また、本発明に係る情報処理装置１１では、分離器１３は、第１の透かしデータが埋め込まれたビデオデータと第２の透かしデータが埋め込まれたオーディオデータとが多重化された多重化データからビデオデータとオーディオデータとを分離する。そして、透かし抽出器１５は、ビデオデータに埋め込まれた第１の透かしデータを抽出する。また、透かし抽出器１４は、オーディオデータに埋め込まれた第２の透かしデータを抽出する。そして、比較器１６は、第１の透かしデータと第２の透かしデータとの同一性を比較する。そして、情報処理装置１１では、同一性の比較結果に基づいて、ビデオデータとオーディオデータとが同期しているか否かが判定される。
【００６１】
さらに、上記情報処理装置１１は、ビデオデータとオーディオデータが同期していないと判定された場合、モニタ２１におけるビデオデータの再生時に、オーディオデータと同期していないことを示す情報（テロップ１００１）を再生させる制御をすることを特徴とする。
【００６２】
さらにまた、上記情報処理装置１１は、ビデオデータが符号化されており、符号化された当該ビデオデータを復号するビデオ復号器１８と、オーディオデータが符号化されており、符号化された当該オーディオデータを復号するオーディオ復号器１７とをさらに有することを特徴とする。
【００６３】
さらにまた、上記情報処理装置１１は、ビデオデータを出力し、また、オーディオデータを出力する。さらにまた、情報処理装置１１は、ビデオデータを再生するモニタ２１に接続可能であることを特徴とする。さらにまた、情報処理装置１１は、オーディオデータを再生するスピーカ２０に接続可能であることを特徴とする。
【００６４】
尚、本実施形態においては動画像の符号化方式をＭＰＥＧ−４としたが他の符号化方式、例えば、Ｈ．２６１、ＭＰＥＧ−１、ＭＰＥＧ−２、Ｍｏｔｉｏｎ　ＪＰＥＧであってもよい。また、同様にオーディオの符号化方式もこれに限定されず、ＡＡＣ符号化やＡＤＰＣＭ符号化であってもよい。
【００６５】
また、本実施形態に係る復号システムの各部又は全部の機能をソフトウェアで記述し、ＣＰＵ等の演算装置によって処理をさせてもよい。
【００６６】
また、本実施形態では、第１の実施形態と同様に、符号化データに透かしデータを後で埋め込むように構成した。尚、本発明の適用は上述した場合に限定されるものではなく、例えば特開平１１−２８４５１６号の「データ処理装置、データ処理方法及び記録媒体」に記載されているように、復号しながら透かしデータの抽出を行ってもよい。
【００６７】
また、透かしデータもオーディオ透かしデータとビデオ透かしデータが同一である必要は無く、例えば、４バイトのコードをビデオ透かしデータとし、その補数をオーディオ透かしデータとし、比較器１６で演算を行なって同一性を検証してもよい。
【００６８】
＜第３の実施形態＞
次に、本発明の第３の実施形態について、図面を用いて詳細に説明する。
【００６９】
図４は、本発明の第３の実施形態に係る画像を撮像して音声と共に記録するカムコーダシステムの構成を示すブロック図である。図４において、符号１０１はオーディオデータを入力するマイクを示し、１０２はレンズ等から構成される光学系を示し、１０３は光の強度によって電気信号を生成するＣＣＤ等で構成される光電変換器を示す。
【００７０】
また、符号１０４、１０５はアナログの電気信号をデジタル信号に変換するＡ／Ｄ変換器を示し、１０６、１０７、１２１、１２６はデジタル信号をフレーム毎に蓄積するフレームメモリを示す。さらに、１０８はフレーム単位でオーディオ符号化を行うオーディオ符号化器を示す。さらにまた、１０９はフレーム単位でビデオ符号化を行うビデオ符号化器を示す。一方、１１０はオーディオ符号化器１０８とビデオ符号化器１０９の出力から透かしデータを生成する透かし生成器を示す。例えば、オーディオデータとそれに同期するビデオデータとの間で共有するデータを透かしデータとして用いてもよい。
【００７１】
また、符号１１１はオーディオ符号化データに透かしデータを埋め込む透かし埋め込み器を示し、１１２はビデオ符号化データに透かしデータを埋め込む透かし埋め込み器を示す。さらに、１１３はオーディオ符号化データとビデオ符号化データを多重化してストリームを整形する多重化器を示す。さらにまた、１１４はストリームを記録媒体１１５に対して読み書きを行う記録媒体制御器を示す。尚、記録媒体１１５は光磁気ディスク等で構成されるが、本発明の適用はこれに限定されるものではない。
【００７２】
さらに、符号１１６はストリームからオーディオ符号化データとビデオ符号化データを分離する分離器を示す。さらにまた、１１７はオーディオ符号化データから透かしデータを抽出する透かし抽出器を示し、１１８はビデオ符号化データから透かしデータを抽出する透かし抽出器を示す。さらにまた、１１９は抽出された透かしデータを比較する比較器を示す。
【００７３】
さらにまた、符号１２０はオーディオ符号化データを復号してオーディオデータを再生するオーディオ復号器を示す。また、１２２はフレームメモリ１２１内のオーディオデータをデジタルからアナログ信号に変換するＤ／Ａ変換器であり、１２３はアナログのオーディオ信号を再生して音を出すスピーカを示す。さらに、１２４は透かし比較器１１９の結果を表示するインジケータを示しており、ＬＥＤ等で構成される。
【００７４】
さらにまた、符号１２５はビデオ符号化データを復号して画像データを再生するビデオ復号器を示す。さらにまた、１２７はフレームメモリ１２６内のビデオデータをデジタルからアナログ信号に変換するＤ／Ａ変換器を示し、１２８はアナログのビデオ信号を表示するビューワ（Ｖｉｅｗｅｒ）を示し、ＬＣＤ等で構成される。
【００７５】
次に、上記構成をした本実施形態に係るカムコーダにおける動画像の記録動作を説明する。本実施形態においては、ビデオ符号化方式としてＭＰＥＧ−４符号化方式を、オーディオ符号化方式としてＡＡＣ符号化方式を例にとって説明する。また、説明を容易にするためにフレームサイズをビデオの１フレームの間隔とする。
【００７６】
最初に、符号化データを記録処理について述べる。図１２は、第３の実施形態に係るカムコーダシステムにおける動画像記録処理を説明するためのフローチャートである。まず、装置の初期化を行い、各種のヘッダを生成して記録装置に格納し、ＩＤ番号を設定する（ステップＳ４０１）。すなわち、カムコーダに電源が入ると各部の初期化が行われる。そして、光電変換器１０３のセンサ間のバラツキ補正、フレームメモリ１０５、１０７のクリアを行う。また、記録媒体制御器１１４は、記録媒体１１５上の空いている領域の先頭に書き込み位置をセットする。
【００７７】
そして、不図示の録画ボタンをユーザが押すと動画の記録が開始される。多重化器１１３は、多重化に必要なヘッダデータを生成し、記録媒体制御器１１４を介して記録媒体１１５上の所定の領域に書き込む。オーディオ符号化器１０６は、ＡＡＣ符号化方式に従ってヘッダデータを生成する。ビデオ符号化器１０９は、ＭＰＥＧ−４符号化方式に従ってヘッダデータを生成する。生成されたそれぞれのヘッダデータは、多重化器１１３、記録媒体制御器１１４を介して、記録媒体１１５の所定の位置に格納される。また、第１の実施形態と同様にＩＤ番号を設定する。尚、本実施形態では、乱数から選択された１６ビットの整数をＩＤ番号として用いる。
【００７８】
次に、処理の終了判断を行う（ステップＳ４０２）。そして、終了ではない場合、入力されたビデオデータの１フレーム分をＭＰＥＧ−４符号化方式に従って符号化する（ステップＳ４０３）。すなわち、光学系１０２を介して入ってきた光を光電変換器１０３は電気信号に変え、Ａ／Ｄ変換器１０５でデジタル信号にしてフレーム単位でフレームメモリ１０７に格納する。ビデオ符号化器１０９は、ＭＰＥＧ−４符号化方式に従って、入力されたフレーム単位で画像データを符号化する。生成された符号化データは、透かし生成器１１０と透かし埋め込み器１１２に入力される。
【００７９】
同時に、入力されたオーディオデータの１フレーム分をＡＡＣ符号化方式に従って符号化する（ステップＳ４０４）。すなわち、マイク１０１から入力されたオーディオ信号は、Ａ／Ｄ変換器１０４でデジタル信号に変換されて、フレーム単位でフレームメモリ１０６に格納する。オーディオ符号化器１０８は、ＡＡＣ符号化方式に従って、入力されたフレーム単位でオーディオデータを符号化する。生成された符号化データは、透かし生成器１１０と透かし埋め込み器１１１に入力される。
【００８０】
次いで、透かし生成器１１０では、ＩＤ番号とビデオ符号化データの一部とオーディオ符号化データの一部からビデオ透かしデータを、ＩＤ番号とビデオ符号化データの一部からオーディオ透かしデータを生成する（ステップＳ４０５）。すなわち、透かし生成器１１０では、オーディオデータ符号化器１０８から入力された符号化データから予め決められたビットデータを読み出す。例えば、先頭から３ビット目，９ビット目，１７ビット目、…といったような予め決められたビットを１６ビット読み出しオーディオ識別データとする。
【００８１】
また、ビデオデータ符号化器１０９から入力された符号化データから予め決められたビットデータを読み出す。例えば、先頭から５４ビット目，６１ビット目，７７ビット目、…といったような予め決められたビットを１６ビット読み出しビデオ識別データとする。これらのＩＤ番号、オーディオ識別データ、ビデオ識別データの各ビットを順に上位から並べて４８ビットのデータを作成し、これにをビデオ透かしデータとする。また、ビデオ識別データとＩＤ番号の各ビットを順に上位から並べて３２ビットのデータを作成し、オーディオ透かしデータとする。
【００８２】
その後、ビデオ符号化データにステップＳ４０５で生成したビデオ透かしデータを埋め込む（ステップＳ４０６）。すなわち、透かし埋め込み器１１１はオーディオ透かしデータをオーディオ符号化データに埋め込み、多重化器１１３に入力する。
【００８３】
同時に、オーディオ符号にステップＳ４０５で生成したオーディオ透かしデータを埋め込む（ステップＳ４０７）。すなわち、透かし埋め込み器１１２はビデオ透かしデータをビデオ符号化データに埋め込み、多重化器１１３に入力する。
【００８４】
そして、多重化器１１３は、これらの２つの符号化データを多重化し、記録媒体制御器１１４を介して、記録媒体１１５の所定の位置に格納する（ステップＳ４０８）。さらに、多重化したストリームを出力して記憶装置１１５に格納し（ステップＳ４０９）、ステップＳ４０２に戻って撮影が終わるまで処理が繰り返される。尚、不図示のユーザが録画ボタンを放したり、再度押した場合、録画が終了したと判断し、処理を終了するものとする。
【００８５】
上述したような一連の選択動作により、フレーム毎で変化するデータを透かしとして埋め込むことにより、フレーム単位での改ざんの検出を容易にするデータの生成が好適に行えるようにすることが可能である。
【００８６】
すなわち、本発明では、透かし生成器１１０が、ビデオデータと当該ビデオデータに同期したオーディオデータとに基づいて、ビデオデータとオーディオデータに電子透かしによって埋め込まれる共通の透かしデータを生成することを特徴とする。また、本発明では、多重化データを可搬記録媒体１１５に記録することを特徴とする。
【００８７】
尚、本実施形態においては動画像の符号化方式をＭＰＥＧ−４としたが、他の符号化方式、例えば、Ｈ．２６１、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭｏｔｉｏｎＪＰＥＧであってもよい。同様に、オーディオの符号化方式もこれに限定されるものではなく、ＭＰＥＧ−１　Ｌａｙｅｒ　２符号化やＡＤＰＣＭ符号化であってもよい。
【００８８】
また、本実施形態に係るカムコーダシステムの各部又は全部の機能をソフトウェアで記述し、ＣＰＵ等の演算装置によって処理をさせてもよい。
【００８９】
また、本実施形態では、符号化データに透かしデータを後で埋め込むように構成したが、本発明はこれに限定されるものではなく、例えば、特開平１１−２８４５１６号の「データ処理装置、データ処理方法及び記録媒体」に記載されているように符号化しながら透かしデータの埋め込みを行うものであってもよい。
【００９０】
また、オーディオのフレームサイズをビデオの１フレームの間隔としたが、これに限定されず、オーディオのフレームサイズとビデオのフレームサイズが異なってもよい。例えば、オーディオが２０ｍｓ間隔、ビデオが３３ｍｓ間隔であったとしても、ビデオの時間間隔にオーディオのフレームの切れ目があれば、その切れ目から始まる符号化データに関して透かしデータを作成し、ビデオ符号化データに複数の透かしデータを埋め込めばよい。
【００９１】
＜第４の実施形態＞
本実施形態では、上述した第３の実施形態のカムコーダシステムにおける動画像の再生までの処理について説明する。図１３は、第４の実施形態に係るカムコーダシステムにおける動画像再生処理を説明するためのフローチャートである。
【００９２】
まず、第２の実施形態と同様に、動作に先立って装置の各部の初期化が行われる（ステップＳ５０１）。そして、記録媒体制御器１１４は記録媒体１１５に蓄積された符号化データの先頭に読み出し位置を設定する。次いで、処理の終了判断が行われる（ステップＳ５０２）。その結果、終了していない場合、記録媒体１１５の所定の位置から符号化データが読み出され、読み出された符号化データは分離器１１６に入力される（ステップＳ５０３）。
【００９３】
続いて、分離器１１６では、入力された符号化データからオーディオ符号化データとビデオ符号化データを分離し、フレーム単位でオーディオ符号化データは透かし抽出器１１７に、ビデオ符号化データは透かし抽出器１１８に出力される（ステップＳ５０４）。
【００９４】
そして、透かし抽出器１１７では、オーディオ符号化データに埋め込まれたオーディオ透かしデータを抽出し、その結果を比較器１１９に、符号化データは比較器１１９とオーディオ復号器１２０に出力する（ステップＳ５０７）。同様に、透かし抽出器１１６では、ビデオ符号化データに埋め込まれたビデオ透かしデータを抽出し、その結果を比較器１１９に、符号化データをビデオ復号器１２５に出力する（ステップＳ５０５）。
【００９５】
そして、ビデオ復号器１２５では、画像符号化データを復号し１フレーム分の画像データを再生する（ステップＳ５０６）。同時に、オーディオ復号器１２０では、オーディオ符号化データを復号し１フレーム分のオーディオデータを再生する（ステップＳ５０８）。
【００９６】
比較器１１９では、オーディオ透かしデータとビデオ透かしデータとからＩＤ番号、オーディオ識別データ。ビデオ識別データを比較する（ステップＳ５０９）。その結果、すべてが一致すれば、インジケータ１２４を点灯する（ステップＳ５１０）。一方、一致しないものがあれば、インジケータ１２４を消灯する（ステップＳ５１１）。
【００９７】
すなわち、比較器１１９には、透かし抽出器１１７で抽出されたオーディオ透かしデータと、透かし抽出器１１６で抽出されたビデオ透かしデータとが入力される。そして、オーディオ透かしデータからＩＤ番号Ａとビデオ識別データＡを再生する。また、入力されたオーディオ符号化データから第３の実施形態のオーディオ識別データの生成方法と同じ方法でオーディオ識別データＡを生成する。さらに、ビデオ透かしデータからＩＤ番号Ｖとオーディオ識別データＶとビデオ識別データＶを再生する。
【００９８】
そこでまず、ＩＤ番号、ビデオ識別データ、オーディオ識別データをそれぞれ比較し、１つでも一致しないものがあれば、インジケータ１２４を点灯する。すべて一致すれば、これは消灯される。すなわち、ＩＤ番号ＡとＩＤ番号Ｖ、ビデオ識別データＡとビデオ識別データＶ、オーディオ識別データＡとオーディオ識別データＶである。
【００９９】
そして、再生されたビデオデータの１フレームの画像をビューワに表示し、オーディオデータを再生する（ステップＳ５１２）。そして、ステップＳ５０２に進み、次のフレームの処理を行う。また、ステップＳ５０２にて全ての符号化データに関して処理が終了すれば、再生処理を終了する。
【０１００】
すなわち、ビデオ符号化データはビデオ復号器１２５に、オーディオ符号化データはオーディオ復号器１２０に入力され、それぞれ復号されてフレームメモリ１２６とフレームメモリ１２１に格納される。フレームメモリ１２１に格納されたオーディオデータはＤ／Ａ変換器でアナログ信号に変換され、スピーカ１２３で再生される。フレームメモリ１２６に格納されたビデオデータもＤ／Ａ変換器でアナログ信号に変換され、ビューワ１２８に表示される。
【０１０１】
このような一連の選択動作により、オーディオデータとビデオデータに埋め込まれたフレーム毎で変化するデータを比較することにより、細かい単位で改ざんを検知することができ、それをユーザに知らせることが可能になる。
【０１０２】
上述したように、本発明は、ビデオ透かしデータが埋め込まれたビデオデータとオーディオ透かしデータが埋め込まれたオーディオデータとが多重化された多重化データを格納する可搬記録媒体１１５から当該多重化データを読み取ることを特徴とする。
【０１０３】
尚、本実施形態においては動画像の符号化方式をＭＰＥＧ−４としたが、他の符号化方式、例えば、Ｈ．２６１、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４でもよい。同様に、オーディオデータの符号化方式もこれに限定されず、ＭＰＥＧ−１　Ｌａｙｅｒ　３符号化やＡＤＰＣＭ符号化でもよい。
【０１０４】
また、本実施形態に係るカムコーダシステムの各部又は全部の機能をソフトウェアで記述し、ＣＰＵ等の演算装置によって処理をさせてもよい。
【０１０５】
また、本実施形態では符号化データに透かしデータを後で埋め込むように構成したが、本発明の適用はこれに限定されるものではない。本発明は、例えば、特開平１１−２８４５１６号の「データ処理装置、データ処理方法及び記録媒体」に記載されているように、復号しながら透かしデータの抽出を行ってもよい。
【０１０６】
＜第５の実施形態＞
図３は、本発明の第５の実施形態に係る情報処理装置の構成を示すブロック図である。図３において、符号３００は装置全体の制御及び種々の処理を行う中央演算装置（ＣＰＵ）、３０１は本装置の制御に必要なオペレーティングシステム（ＯＳ）、ソフトウェア、演算に必要な記憶領域を提供するメモリを示す。また、３０２は種々の装置をつなぎ、データ、制御信号をやり取りするバスを示す。
【０１０７】
さらに、符号３０３は装置の起動、各種条件の設定、再生の指示を行うための端末を示す。さらに、３０４はソフトウェアを蓄積する記憶装置を示す。また、３０５はストリームを蓄積する記憶装置を示す。尚、記憶装置３０４、３０５はシステムから切り離して移動できるメディア（可搬記録媒体）で構成することも可能である。また、３０６は画像を撮像するカメラを示し、３０７はオーディオデータを取り込むオーディオキャプチャを示す。さらに、３０８は画像を表示するモニタを示し、３０９はオーディオデータを再生するスピーカを示す。さらにまた、３１１は通信回路を示し、ＬＡＮ、公衆回線、無線回線、放送電波等で構成されている。また、３１０は通信回路３１１を介してストリームを送受信する通信インタフェースを示す。
【０１０８】
ここで、メモリ３０１には、装置全体を制御し、各種ソフトウェアを動作させるためのＯＳや動作させるソフトウェアを格納し、画像データを格納する画像エリア、オーディオデータを格納するオーディオエリア、生成した符号化データを格納する符号エリア、各種演算や符号化の際のパラメータ等や透かしに関するデータ等を格納しておくワーキングエリアが存在する。
【０１０９】
次に、このような構成の情報処理装置における画像データの符号化処理について説明する。図５は、ＣＰＵ３００による動画像データの記憶装置３０５に記録する動作手順を説明するためのフローチャートである。
【０１１０】
まず、処理に先立ち、端末３０３から装置全体に対して起動が指示され、装置の各部が初期化される。そして、ＩＤ番号を設定してメモリ３０１上のワーキングエリアに格納する（ステップＳ１）。本実施形態では、ＩＤ番号は乱数で決定するものとする。
【０１１１】
次いで、記憶装置３０４に格納されているソフトウェアがバス３０２を介してメモリ３０１に展開され、ソフトウェアが起動される。これによって、多重化、オーディオ符号化、ビデオ符号化のそれぞれのヘッダを生成し、それらを多重化して記憶装置３０５の所定の位置に書き込む（ステップＳ２）。ビデオ符号化ではＭＰＥＧ−１符号化方式に従って、シーケンス層の符号データがヘッダとして生成される。
【０１１２】
図７は、符号化時のメモリ３０１におけるメモリの使用・格納状況を説明するための概要図である。図７に示すように、メモリ３０１には装置全体を制御し、各種ソフトウェアを動作させるためのＯＳ、画像データを符号化するビデオ符号化ソフトウェア、オーディオデータを符号化するオーディオ符号化ソフトウェア、符号化データを多重化する多重化ソフトウェア、透かしデータの生成と埋め込みを行う透かし埋め込みソフトウェアが格納されている。
【０１１３】
尚、本実施形態では、ビデオ符号化ソフトウェアをＭＰＥＧ−１符号化方式で符号化するソフトウェアとして説明をするが、本発明の適用はこれに限定されるものではない。また、オーディオ符号化ソフトウェアはＡＡＣ符号化方式で符号化するソフトウェアとして説明をするが、同様にしてこれに限定されるものではない。
【０１１４】
また、符号化の際に画像を格納する画像エリア、オーディオデータを格納するオーディオエリア、生成された符号や透かしの埋め込みが行われた符号化データを格納する符号エリア、各種演算のパラメータ等を格納するワーキングエリアが存在する。このような構成において、端末３０６からの指示によって動画像の入力をカメラ３０６から行い、オーディオの入力がオーディオキャプチャ３０７から行われる。
【０１１５】
そこで、次に処理の終了判断が行われる（ステップＳ３）。その結果、処理が終了していなければ、カメラ３０６から１フレーム分のビデオデータをメモリ３０１上の画像エリアに読み込まれる（ステップＳ４）。
【０１１６】
次に、メモリ３０１上の画像エリアに格納されたビデオデータをメモリ３０１上のビデオ符号化ソフトウェアを用いてＭＰＥＧ−１符号化方式で符号化し、メモリ３０１上の符号エリアに格納し、画像エリアにあるビデオのフレームデータの領域を開放する（ステップＳ５）。さらに、オーディオキャプチャ３０７から１フレーム分のオーディオデータを読み込み、メモリ３０１上のオーディオエリアに格納する（ステップＳ６）。さらにまた、メモリ３０１上のオーディオエリアに格納されたオーディオデータをメモリ３０１上のオーディオ符号化ソフトウェアを用いてＡＡＣ符号化方式で符号化し、メモリ３０１上の符号エリアに格納し、オーディオエリアにあるオーディオのフレームデータの領域を開放する（ステップＳ７）。
【０１１７】
そして、メモリ３０１上のワーキングエリアに格納されたＩＤ番号、フレームを符号化する時の記録日時、ビデオフレームのタイムスタンプから透かしデータを生成し、メモリ３０１上のワーキングエリアのデータを更新する（ステップＳ８）。例えば、ＩＤ番号が１６ビット、記録日時を表すのに西暦で１４ビット、月で２ビット、日時で５ビット、秒で６ビット、タイムスタンプで１０ビットとすると、全部で５３ビットのデータになり、これを暗号化して透かしデータとする。そして、透かしデータを生成した後、ステップＳ９に進む。
【０１１８】
ステップＳ９では、メモリ３０１上の透かし埋め込みソフトウェアを用いて、ワーキングエリア上の透かしデータを符号エリアのビデオ符号化データに埋め込み、符号エリアに格納し、埋め込み前の符号化データの領域を開放して、ステップＳ１０に進む。ステップＳ１０では、ワーキングエリア上の透かしデータを符号エリアのオーディオ符号化データに埋め込み、符号エリアに格納し、埋め込み前の符号化データの領域を開放して、ステップＳ１１に進む。
【０１１９】
ステップＳ１１では、生成されメモリ３０１上の符号エリアに格納されたオーディオ符号化データとビデオ符号化データを、多重化ソフトウェアを用いて多重化し、記憶装置３０５の所定の領域に書き込み、符号エリアのデータ領域を開放して、ステップＳ３に戻り次のフレームデータの処理を行う。
【０１２０】
一方、ステップＳ３において全てのフレームデータに関して処理が終了した場合、再生処理を終了する。
【０１２１】
このような一連の選択動作により、オーディオデータとビデオデータに埋め込まれたフレーム毎で連続して変化するデータを比較することにより、細かい単位で改ざんを検知することができ、それをユーザに知らせることが可能になる。
【０１２２】
尚、本実施形態においては、動画像の符号化方式をＭＰＥＧ−１としたが他の符号化方式、例えば、Ｈ．２６１、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４でももちろんかまわない。また、同様にオーディオの符号化方式もこれに限定されず、ＭＰＥＧ−１　Ｌａｙｅｒ　３符号化やＡＤＰＣＭ符号化であってもよい。
【０１２３】
また、本実施形態に係る情報処理装置の各部又は全部の機能をハードウェアで構成し、処理をさせてもよい。
【０１２４】
また、本実施形態では符号化データに透かしデータを後で埋め込むように構成したが、本発明の適用はこれに限定されるものでない。例えば、特開平１１−２８４５１号の「データ処理装置、データ処理方法及び記録媒体」に記載されているように、符号化しながら透かしデータの埋め込みを行うものであってもかまわない。
【０１２５】
また、透かしデータは上述した種類に限定されるものではなく、その他フレームを特定することが可能な情報を用いてもよい。また、生成されたストリームを記憶装置３０５に格納するだけではなく、通信インタフェース３１０を介して通信回線３１１に出力してもよい。
【０１２６】
＜第６の実施形態＞
本実施形態では、画像データの復号処理について説明する。尚、画像データ処理装置の構成は、上述した第５の実施形態で用いた図３に示す情報処理装置を用いる。また、本実施形態においてもビデオ符号化としてＭＰＥＧ−４符号化方式、オーディオ符号化としてＡＡＣ符号化を例にとって説明するが、本発明の適用はこれに限定されることはない。そこで本実施形態では、第５の実施形態で生成され、記憶装置３０５に格納された符号化データの復号処理を例にとって説明する。
【０１２７】
本実施形態では、図５の構成をした情報処理装置において、処理に先立って端末３０３を用いて、記憶装置３０５に蓄積されている動画像符号化データから復号する符号化データを選択し、装置の起動が指示される。これにより、記憶装置３０４に格納されているソフトウェアがバス３０２を介してメモリ３０１に展開され、ソフトウェアが起動される。
【０１２８】
また、メモリ３０１には、装置全体を制御し各種ソフトウェアを動作させるためのＯＳや動作させるソフトウェアを格納し、画像データを格納する画像エリア、オーディオデータを格納するオーディオエリア、入力した符号化データを格納する符号エリア、各種演算や復号の際のパラメータ等や透かしに関するデータ等を格納しておくワーキングエリアが存在する。
【０１２９】
このような構成による情報処理装置における画像データの復号処理について説明する。図６は、ＣＰＵ３００による動画像データの記憶装置３０５から読み出し再生する動作手順を説明するためのフローチャートである。
【０１３０】
まず、処理に先立ち、端末３０３から装置全体に対して起動が指示され、装置の各部が初期化される（ステップＳ５１）。
【０１３１】
図８は、復号時のメモリ３０１におけるメモリの使用・格納状況を説明するための概要図である。図８に示すように、メモリ３０１には、装置全体を制御し各種ソフトウェアを動作させるためのＯＳ、画像データを復号するビデオ復号ソフトウェア、オーディオデータを復号するオーディオ復号ソフトウェア、符号化データの多重化を解き、それぞれの符号化データを分離する多重分離ソフトウェア、透かしデータの抽出と解析を行う透かし抽出ソフトウェアが格納されている。
【０１３２】
また、復号の際に画像を格納する画像エリア、オーディオデータを格納するオーディオエリア、入力された符号化データを格納する符号エリア、各種演算のパラメータ等を格納するワーキングエリアが存在する。
【０１３３】
そして、多重化、オーディオ符号化、ビデオ符号化のそれぞれのヘッダを解釈して各所の初期設定が行われる（ステップＳ５２）。さらに、処理の終了判断が行われる（ステップＳ５３）。その結果、処理が終了しない場合、ステップＳ５４に進む。
【０１３４】
ステップＳ５４では、記憶装置３０５の所定の位置から符号化データを読み込み、メモリ３０１上の多重分離ソフトウェアを用いて、符号化データから１フレーム単位でオーディオ符号化データとビデオ符号化データに分離して、それぞれをメモリ３０１上の符号エリアに格納する。そして、メモリ３０１上の符号エリアに格納されたビデオ符号化データから、メモリ３０１上の透かし抽出ソフトウェアを用いて、ビデオ透かしデータを抽出する（ステップＳ５５）。
【０１３５】
さらに、メモリ３０１上のビデオ復号ソフトウェアを用いて、メモリ３０１上の符号エリアに格納されたビデオ符号化データをＭＰＥＧ−１符号化方式に従って復号し、再生した画像データをメモリ３０１上の画像エリアに格納し、符号エリアの該当する領域を開放する（ステップＳ５６）。そして、メモリ３０１上の透かし抽出ソフトウェアを用いて、メモリ３０１上の符号エリアに格納されたオーディオ符号化データからオーディオ透かしデータを抽出し、その内容をワーキングエリアに格納する（ステップＳ５７）。
【０１３６】
また、メモリ３０１上のオーディオ復号ソフトウェアを用いて、メモリ３０１上の符号エリアに格納されたオーディオ符号化データをＡＡＣ符号化方式に従って復号して１フレーム分のオーディオデータを再生し、メモリ３０１上のオーディオエリアに格納し、符号エリアの該当する領域を開放する（ステップＳ５８）。さらに、メモリ３０１上の透かし抽出ソフトウェアを用いて、メモリ３０１上のワーキングエリアにあるオーディオ透かしデータとビデオ透かしデータからそれぞれのＩＤ番号、日時、タイムスタンプ等の情報を解析し、その結果を分類毎にワーキングエリアに格納する（ステップＳ５９）。
【０１３７】
ここで、メモリ３０１上のワーキングエリアに格納されたＩＤ番号や日時等の情報を比較する（ステップＳ６０）。その結果、すべてが一致する場合、タイムスタンプに従って、メモリ３０１上の画像エリアの画像データをモニタ３０８に表示し、オーディオエリアのオーディオデータをスピーカ３０９から出力し、それぞれのエリアの領域を開放する（ステップＳ６１）。そして、ステップＳ５３に戻って、次のフレームの処理を行う。そして、ステップＳ５３において、全ての符号化データに関して処理が終了する場合は再生処理を終了する。
【０１３８】
一方、ステップＳ６０において不一致である場合、ステップＳ５３に戻って、内容を再生しないで次のフレームの処理を行う。
【０１３９】
このような一連の選択動作において、オーディオデータとビデオデータに埋め込まれたフレーム毎で連続して変化する透かしデータを比較することにより、細かい単位で改ざんを検知することができ、その再生方法を制御することが可能になる。
【０１４０】
尚、本実施形態においては動画像の符号化方式をＭＰＥＧ−１としたが、他の符号化方式、例えば、Ｈ．２６１、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４でももちろんかまわない。同様に、オーディオの符号化方式もこれに限定されず、ＭＰＥＧ　Ｌａｙｅｒ　３符号化やＡＤＰＣＭ符号化であってもよい。
【０１４１】
また、本実施形態の各部又は全部の機能をハードウェアで構成し、処理をさせてもよい。
【０１４２】
また、本実施形態では符号化データに透かしデータを後で埋め込むように構成したが、本発明の適用はこれに限定されるものではない。本発明では、例えば、特開平１１−２８４５１６号の「データ処理装置、データ処理方法及び記録媒体」に記載されているように復号しながら透かしデータの抽出を行ってもよい。
【０１４３】
本発明は、上述した実施形態の他に、複数の機器（例えば、ホストコンピュータ、インタフェース機器、カムコーダ、ビデオカメラ等）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、ＶＴＲ、テレビ装置等）に適用してもよい。
【０１４４】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１４５】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１４６】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【０１４７】
【発明の効果】
以上説明したように、本発明によれば、特定のファイルフォーマットを用いる必要がなく、ビデオデータとオーディオデータとの同一性を破壊するような改ざんを防止することができる。そして、ビデオデータとオーディオデータとの同一性を破壊するような改ざんを好適に検出することができる。
【０１４８】
また、本発明によれば、オーディオデータとそれに同期するビデオデータとの間で共有するデータを透かしデータとして符号化データの中に埋め込むことにより、オーディオとビデオの同一性すなわち、正しい組み合わせの判別が容易に行うことが可能になる。
【０１４９】
さらに、本発明によれば、透かしデータに埋め込むことにより、特定のファイルフォーマットに依存せず、種々のファイルフォーマットで記述された場合でも、再生に関して問題を生じないという効果が得られる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における符号化システムの構成を示すブロック図である。
【図２】本発明の第２の実施形態における復号システムの構成を示すブロック図である。
【図３】本発明の第５の実施形態に係る情報処理装置の構成を示すブロック図である。
【図４】本発明の第３の実施形態に係る画像を撮像して音声と共に記録するカムコーダシステムの構成を示すブロック図である。
【図５】ＣＰＵ３００による動画像データの記憶装置３０５に記録する動作手順を説明するためのフローチャートである。
【図６】ＣＰＵ３００による動画像データの記憶装置３０５から読み出し再生する動作手順を説明するためのフローチャートである。
【図７】符号化時のメモリ３０１におけるメモリの使用・格納状況を説明するための概要図である。
【図８】復号時のメモリ３０１におけるメモリの使用・格納状況を説明するための概要図である。
【図９】本発明の第１の実施形態に係る符号化システムにおける符号化処理手順を説明するためのフローチャートである。
【図１０】本発明の第２の実施形態に係る復号システムにおける復号処理手順を説明するためのフローチャートである。
【図１１】ビデオデータとオーディオデータに関する透かしデータが一致する場合（Ａ）と一致しない場合（Ｂ）のモニタ２１上の画像の表示例を説明するための図である。
【図１２】第３の実施形態に係るカムコーダシステムにおける動画像記録処理を説明するためのフローチャートである。
【図１３】第４の実施形態に係るカムコーダシステムにおける動画像再生処理を説明するためのフローチャートである。
【符号の説明】
１、１１　情報処理装置
２、１０１、３０７　マイク
３、１０８　オーディオ符号化器
４、３０６　カメラ
５、１０９　ビデオ符号化器
６、１１０　透かし生成器
７、８、１１１、１１２　透かし埋め込み器
９、１１３　多重化器
１０、１２　記憶装置
１３、１１６　分離器
１４、１５、１１７、１１８　透かし抽出器
１６、１１９　比較器
１７、１２０　オーディオ復号器
１８、１２５　ビデオ復号器
１９　表示制御器
２０、１２３、３０９　スピーカ
２１、３０８　モニタ
１０２　光学系
１０３　光電変換器
１０４、１０５　Ａ／Ｄ変換器
１０６、１０７、１２１、１２６　フレームメモリ
１１４　記録媒体制御器
１１５　記録媒体
１２２、１２７　Ｄ／Ａ変換器
１２４　インジケータ
１２８　ビューア
３００　ＣＰＵ
３０１　メモリ
３０２　バス
３０３　端末
３０４、３０５　記憶装置
３０９　オーディオキャプチャ
３１０　通信インタフェース
３１１　通信回線
【図１】
2004080094.tif 000003
【図２】
2004080094.tif 000004
【図３】
2004080094.tif 000005
【図４】
2004080094.tif 000006
【図５】
2004080094.tif 000007
【図６】
2004080094.tif 000008
【図７】
2004080094.tif 000009
【図８】
2004080094.tif 000010
【図９】
2004080094.tif 000011
【図１０】
2004080094.tif 000012
【図１１】
2004080094.tif 000013
【図１２】
2004080094.tif 000014
【図１３】
2004080094.tif 000015