(57)【要約】  【課題】  動画像データにおいて、時間軸上の改ざんが検出可能な改ざん検出技術を提供する。  【解決手段】  固有情報算出部１０２は、動画像データを構成する個々のフレーム画像に固有である固有情報を算出する。情報埋め込み部１０４は、埋め込む対象となるフレーム画像に対し、このフレーム画像よりも時間軸において異なる位置にある別のフレーム画像の固有情報を、改ざん検出用情報として埋め込む。順序情報により、デジタル動画像データにおいて、時間軸上の改ざんを検出できる。また、予測符号化画像そのものの改ざんを検出できる。【選択図】  図１
2004364263.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレーム画像を時間軸上において順次配置できるように構成されるデータ部と、前記データ部に関する情報を保持するヘッダ部とを含む動画像データに情報を埋め込む装置であって、
前記複数のフレーム画像の順序情報を生成する順序情報入力部と、
前記順序情報入力部が生成する順序情報を、前記複数のフレーム画像において目視できないように、前記動画像データに埋め込む情報埋め込み部とを備える情報埋め込み装置。
【請求項２】
前記情報埋め込み部は、前記順序情報を、前記複数のフレーム画像に電子透かしとして埋め込む請求項１記載の情報埋め込み装置。
【請求項３】
前記情報埋め込み部は、前記順序情報を、前記ヘッダ部に埋め込む請求項１から２記載の情報埋め込み装置。
【請求項４】
前記順序情報は、前記複数のフレーム画像の順番を示す番号である請求項１から３記載の情報埋め込み装置。
【請求項５】
複数のフレーム画像を時間軸上において順次配置できるように構成されるデータ部と、前記データ部に関する情報を保持するヘッダ部とを含む動画像データの改ざんの有無を検出する装置であって、
前記順序情報が埋め込まれた前記動画像データを入力する入力部と、
前記入力部に入力された前記動画像データから前記順序情報を検出する検出部と、
前記検出部により検出された前記順序情報に基づいて、前記動画像データの改ざんの有無を判定する改ざん判定部とを備える改ざん検出装置。
【請求項６】
前記順序情報は、前記複数のフレーム画像の順番を示す番号である請求項５記載の改ざん検出装置。
【請求項７】
前記改ざん判定部は、前記複数のフレーム画像の順序変更、脱落又は追加があるとき、前記動画像データは改ざんされていると判定する請求項５から６記載の改ざん検出装置。
【請求項８】
複数のフレーム画像を時間軸上において順次配置できるように構成されるデータ部と、前記データ部に関する情報を保持するヘッダ部とを含む動画像データに情報を埋め込む装置であって、
前記動画像データに含まれる、前記複数のフレーム画像のうちの特定のフレーム画像に対し、前記時間軸上において一定の関係にある単数または複数の別のフレーム画像であって前記複数のフレーム画像に含まれるものに関する固有情報を算出する固有情報算出部と、
前記特定のフレーム画像に、算出された固有情報を埋め込む情報埋め込み部とを備える情報埋め込み装置。
【請求項９】
前記固有情報は、前記別のフレーム画像に関するハッシュ値である請求項８記載の情報埋め込み装置。
【請求項１０】
前記別のフレーム画像は、前記時間軸上において前記特定のフレーム画像に隣り合うフレーム画像である請求項８から９記載の情報埋め込み装置。
【請求項１１】
前記動画像データは、ＭＰＥＧ圧縮動画像データであり、前記特定のフレーム画像は、イントラ符号化画像であり、前記単数または複数の別のフレーム画像は、単数または複数の予測符号化画像である請求項８から９記載の情報埋め込み装置。
【請求項１２】
前記イントラ符号化画像と前記単数または複数の予測符号化画像は、１つのＧＯＰ（ｇｒｏｕｐ  ｏｆ  ｐｉｃｔｕｒｅｓ）に属する請求項１１記載の情報埋め込み装置。
【請求項１３】
複数のフレーム画像を時間軸上において順次配置できるように構成されるデータ部と、前記データ部に関する情報を保持するヘッダ部とを含む動画像データの改ざんの有無を検出する装置であって、
前記順序情報が埋め込まれた前記動画像データを入力する入力部と、
前記入力部に入力された前記動画像データにおいて、前記複数のフレーム画像のうちの特定のフレーム画像に埋め込まれた固有情報を検出し第１の固有情報を得るとともに、前記特定のフレーム画像に対し、前記時間軸上において一定の関係にある単数または複数の別のフレーム画像であって前記複数のフレーム画像に含まれるものに関する固有情報を算出し第２の固有情報を得る固有情報算出部と、
前記第１の固有情報と前記第２の固有情報とを比較する比較部と、
前記比較部の比較結果に基づいて、前記動画像データの改ざんの有無を判定する改ざん判定部とを備える改ざん検出装置。
【請求項１４】
前記改ざん判定部は、前記第１の固有情報と前記第２の固有情報とが等しいとき、前記動画像データは改ざんされていないと判定する請求項１３記載の改ざん検出装置。
【請求項１５】
前記固有情報は、前記別のフレーム画像に関するハッシュ値である請求項１３から１４記載の改ざん検出装置。
【請求項１６】
前記別のフレーム画像は、前記時間軸上において前記特定のフレーム画像に隣り合うフレーム画像である請求項１３から１５記載の改ざん検出装置。
【請求項１７】
前記動画像データは、ＭＰＥＧ圧縮動画像データであり、前記特定のフレーム画像は、イントラ符号化画像であり、前記単数または複数の別のフレーム画像は、単数または複数の予測符号化画像である請求項１３から１５記載の改ざん検出装置。
【請求項１８】
前記イントラ符号化画像と前記単数または複数の予測符号化画像は、１つのＧＯＰ（ｇｒｏｕｐ  ｏｆ  ｐｉｃｔｕｒｅｓ）に属する請求項１７記載の改ざん検出装置。
【請求項１９】
複数のフレーム画像を時間軸上において順次配置できるように構成されるデータ部と、前記データ部に関する情報を保持するヘッダ部とを含む動画像データの改ざんの有無を検出する方法であって、
前記複数のフレーム画像の順序情報を前記複数のフレーム画像において目視できないように、前記動画像データに埋め込むステップと、
前記動画像データから前記順序情報を検出するステップと、
検出された前記順序情報に基づいて、前記動画像データの改ざんの有無を判定するステップとを含む改ざん検出方法。
【請求項２０】
複数のフレーム画像を時間軸上において順次配置できるように構成されるデータ部と、前記データ部に関する情報を保持するヘッダ部とを含む動画像データの改ざんの有無を検出する方法であって、
前記複数のフレーム画像のうちの特定のフレーム画像に対し、前記時間軸上において一定の関係にある別のフレーム画像であって前記複数のフレーム画像に含まれるものに関する固有情報を算出するステップと、
前記特定のフレーム画像に、算出された固有情報を埋め込むステップと、
前記特定のフレーム画像に埋め込まれた固有情報を検出し第１の固有情報を得るステップと、
前記別のフレーム画像に関する固有情報を算出し第２の固有情報を得るステップと、
前記第１の固有情報と前記第２の固有情報とを比較して、前記動画像データの改ざんの有無を判定するステップとを含む改ざん検出方法。
【請求項２１】
複数のフレーム画像を時間軸上において順次配置できるように構成されるデータ部と、前記データ部に関する情報を保持するヘッダ部とを含む動画像データに情報を埋め込む方法であって、
前記複数のフレーム画像の順序情報を前記複数のフレーム画像において目視できないように、前記動画像データに埋め込むステップを含む情報埋め込み方法。
【請求項２２】
複数のフレーム画像を時間軸上において順次配置できるように構成されるデータ部と、前記データ部に関する情報を保持するヘッダ部とを含む動画像データの改ざんの有無を検出する方法であって、
前記順序情報が埋め込まれた前記動画像データを入力するステップと、
入力された前記動画像データから前記順序情報を検出するステップと、
検出された前記順序情報に基づいて、前記動画像データの改ざんの有無を判定するステップとを含む改ざん検出方法。
【請求項２３】
複数のフレーム画像を時間軸上において順次配置できるように構成されるデータ部と、前記データ部に関する情報を保持するヘッダ部とを含む動画像データに情報を埋め込む方法であって、
前記複数のフレーム画像のうちの特定のフレーム画像に対し、前記時間軸上において一定の関係にある単数または複数の別のフレーム画像であって前記複数のフレーム画像に含まれるものに関する固有情報を算出するステップと、
前記特定のフレーム画像に、算出された固有情報を埋め込むステップとを含む情報埋め込み方法。
【請求項２４】
複数のフレーム画像を時間軸上において順次配置できるように構成されるデータ部と、前記データ部に関する情報を保持するヘッダ部とを含む動画像データの改ざんの有無を検出する方法であって、
前記順序情報が埋め込まれた前記動画像データを入力するステップと、
前記複数のフレーム画像のうちの特定のフレーム画像に埋め込まれた固有情報を検出し第１の固有情報を得るステップと、
前記特定のフレーム画像に対し、前記時間軸上において一定の関係にある単数または複数の別のフレーム画像であって前記複数のフレーム画像に含まれるものに関する固有情報を算出し第２の固有情報を得るステップと、
前記第１の固有情報と前記第２の固有情報とを比較して、前記動画像データの改ざんの有無を判定するステップとを含む改ざん検出方法。
【請求項２５】
請求項１９から２４記載の方法を実現する処理プログラムをコンピュータ読み取り可能に格納した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像データに改ざんを検出するための情報を埋め込む情報埋め込み装置及びその関連技術に関するものである。
【背景技術】
【０００２】
従来より、アナログ画像処理技術による記録及び再生が行われている。その媒体としては、例えば、フィルム、ＶＨＳビデオテープ等がある。このようなアナログ画像処理において、改ざんが加えられると、つなぎ目等において不自然な形跡が残り、熟練者は、動画像に改ざんが加えられたか否かを見抜けるとされている。したがって、熟練者が、あるＶＨＳビデオテープについて改ざんがないと鑑定する場合、このＶＨＳビデオテープが真正であることを、立証できるであろう。
【０００３】
近年、アナログ画像処理技術にかわり、デジタルカメラ等のデジタル画像入力機器や、ハードディスクレコーダ等のデジタル録画機器が急速に普及している。
【０００４】
デジタル動画像データは、市販の画像処理ソフトウェアを利用して、簡単・容易に改ざん（編集・加工など）できる。しかも、全く痕跡を残さずに、デジタル動画像データに改ざんを実行することも可能である。したがって、熟練者といえども、あるデジタル動画像データが改ざんされているか否かを見分けることは、ほとんど不可能である。
【０００５】
デジタル動画像データは、例えば、監視記録装置等の分野においても利用されるようになってきており、デジタル動画像データについて、改ざんの有無を判定できる検出技術の確立が求められている。
【０００６】
デジタル動画像データは、複数のフレーム画像を時間軸上において順次配置できるように構成されるデータ部と、データ部に関する情報を保持するヘッダ部とを含む。この時間軸は、複数のフレーム画像を再生する時間軸であることもあるし、複数のフレーム画像を記録媒体（例えば、ディスク、テープ、メモリ等）に蓄積する時間軸であることもある。本明細書にいう「時間軸」は、これらの時間軸のいずれであっても良い。
【０００７】
本明細書において、「フレーム画像」とは、フレーム構造を採用する動画像データにおける、１フレームの画像でも良いし、フィールド構造を採用する動画像データにおける、フィールド画像に基づいて作成した１フレームの画像でも良い。
【０００８】
さて、本明細書において対象とする、動画像データの改ざんは、大別すると次の２種類に分類できる。
【０００９】
（第１の改ざん）その一つは、フレーム画像そのものを加工するものである。例えば、犯人が自分の犯行を隠蔽するために、フレーム画像から犯行をしている自分の画像（フレーム画像の部分画像）を消去したり、他の画像に置き換えたりするような場合である。
【００１０】
（第２の改ざん）もう一つは、動画像データのデータ部により、複数のフレーム画像が時間軸上において順次配置される態様を加工する改ざんである。例えば、犯人が、自分が写っているシーンのフレーム画像（都合が悪いフレーム画像）を、フレーム画像単位で抜き取ったり、抜き取った部分を、自分が写っていないシーンのフレーム画像により、フレーム画像単位で差し替えるような場合である。
【００１１】
勿論、第１の改ざんと第２の改ざんの両方が実行されることもあり得る。動画像データが真正であり改ざんされていないと立証するためには、第１の改ざんだけでなく、第２の改ざんにも対応できなければならない。
【００１２】
従来、第１の改ざんに対し、電子透かし技術を用いた改ざん検出法が知られている。電子透かしとは、デジタル動画像データ内部に人間には知覚できないような形でデジタル情報を埋め込む技術である。
【００１３】
例えば、特開２００２−２７１６０９公報（特許文献１）は、デジタル画像データの改ざん検証方法を開示する。
【００１４】
以下、図１５を用いて、この改ざん検証方法について説明する。図１５は、従来の改ざん検証装置のブロック図である。
【００１５】
図１５において、制御部８０４は、各要素８０１〜８０３、８０５〜８１３を制御する。鍵入力部８０１は鍵情報を入力し、擬似乱数発生部８１０は擬似乱数を発生する。画像データは、画像データ入力部８０９から入力されメモリ８１２に保存される。
【００１６】
ブロック分割部８０７は、メモリ８１２に保存された画像データを特定の大きさのブロックに分割し、周波数変換部８０２は、分割された画像データを周波数空間に変換する。改ざん検証用データ埋め込み部８０３は、生成された周波数成分から改ざん検証用データを生成し、改ざん検証用データ埋め込み部８０３は、生成された周波数成分の一部分に生成された改ざん検証用データを埋め込む。これにより、改ざん検証用データに基づき改ざんの有無を判定できる。なお、ハフマン符号化部８０８は、改ざん検証用データが埋め込まれた周波数成分をハフマン符号化する。
【００１７】
また、特開平１１−３４１２６８号公報（特許文献２）は、次の改ざん検出方法を開示する。即ち、デジタル画像の周波数関数にデジタル画像のハッシュ関数のデジタル署名のビットを埋め込むことより、電子透かしがデジタル画像に埋め込まれる。一方、透かし挿入時に埋め込まれた脆弱透かしをデジタル画像から抽出し、デジタル画像のハッシュ関数を、電子透かしの挿入時と同様に計算し、公開キーを用いて、抽出した透かしがハッシュ値の有効署名であるか否かを検証することにより、改ざんが検出される。署名が有効であれば、そのデジタル画像は改ざんされていないと判定され、有効でなければ、そのデジタル画像が改ざんされていると判定される。
【００１８】
ところが、従来技術では、動画像データがフレーム画像間予測を利用するフォーマット（例えば、ＭＰＥＧ等）に準拠しているとき、予測符号化画像について、改ざん検出に使用する電子透かしを埋め込むことができない。
【００１９】
例えば、動画像データが、動きが少なく、ほとんど静止画に近いようなシーンを記録している場合、フレーム画像間の差分はほとんどゼロになり、予測符号化画像（ＭＰＥＧでは、ＰピクチャまたはＢピクチャ）には、符号化されているブロックが実質的にほとんど存在しないことになる。この場合、特許文献１及び２は、いずれも、電子透かしの埋め込む対象である符号化されたブロックの存在を前提とするから、情報の埋め込み自体が不可能になる。したがって、従来技術では、予測符号化画像について、改ざん検出を行えない。
【００２０】
また、従来の技術は、第１の改ざんには対応できても、第２の改ざんには対応できず、不十分である。
【００２１】
なお、第２の改ざんについて、フレーム画像内に時間表示（目に見えるもの）を追加し、記録する技術を利用することが考えられる。しかしながら、これでは、改ざんの有無を検出するために、人間が時間表示を逐一チェックすることになる。これでは、動画像データが長時間にわたる場合、チェックに多大な労力を要し、現実的ではない。
【００２２】
より重要な点として、改ざんを行う者が、つじつまが合うように、時間表示を追加したフレーム画像を作成した場合には、不正を暴くことができず、動画像データの信憑性を高めることはできない。結局、従来の技術では、動画像データの改ざんについて十分な対策を講ずることができない。
【特許文献１】特開２００２−２７１６０９号公報
【特許文献２】特開平１１−３４１２６８号公報
【特許文献３】特開２０００−１６５２４８号公報
【特許文献４】米国特許第６０６４７６４号
【発明の開示】
【発明が解決しようとする課題】
【００２３】
本発明の第１の目的は、デジタル動画像データにおいて、時間軸上の改ざんを検出可能な技術を提供することである。
【００２４】
本発明の第２の目的は、予測符号化画像そのものの改ざんを検出可能な技術を提供することである。
【課題を解決するための手段】
【００２５】
請求項１記載の情報埋め込み装置は、複数のフレーム画像を時間軸上において順次配置できるように構成されるデータ部と、データ部に関する情報を保持するヘッダ部とを含む動画像データに情報を埋め込む装置であって、複数のフレーム画像の順序情報を生成する順序情報入力部と、順序情報入力部が生成する順序情報を、複数のフレーム画像において目視できないように、動画像データに埋め込む情報埋め込み部とを備える。
【００２６】
請求項５記載の改ざん検出装置は、複数のフレーム画像を時間軸上において順次配置できるように構成されるデータ部と、データ部に関する情報を保持するヘッダ部とを含む動画像データの改ざんの有無を検出する装置であって、順序情報が埋め込まれた動画像データを入力する入力部と、入力部に入力された動画像データから順序情報を検出する検出部と、検出部により検出された順序情報に基づいて、動画像データの改ざんの有無を判定する改ざん判定部とを備える。
【００２７】
これらの構成において、順序情報によって、時間軸上の改ざんを検出できるし、さらにその自動検出も可能になる。しかも、順序情報は、フレーム画像において目視できない態様で動画像データに埋め込まれるから、順序情報を悪意ある書換から保護することができる。
【００２８】
請求項２記載の情報埋め込み装置では、情報埋め込み部は、順序情報を、複数のフレーム画像に電子透かしとして埋め込む。
【００２９】
この構成により、フレーム画像から順序情報を取り出すことができるし、フレーム画像の画質劣化を少なくすることができる。さらに、フレーム画像の重要な部分画像（例えば犯人の顔をとらえた部分画像）が順序情報の陰に隠れて不鮮明になるようなこともない。
【００３０】
請求項３記載の情報埋め込み装置では、情報埋め込み部は、順序情報を、ヘッダ部に埋め込む。
【００３１】
この構成により、フレーム画像に何ら加工をしなくても、動画像データに順序情報を埋め込むことができる。
【００３２】
請求項４記載の情報埋め込み装置では、順序情報は、複数のフレーム画像の順番を示す番号である。
【００３３】
請求項６記載の改ざん検出装置では、順序情報は、複数のフレーム画像の順番を示す番号である。
【００３４】
これらの構成により、番号によって簡単に順序を定義・解釈することができる。
【００３５】
請求項７記載の改ざん検出装置では、改ざん判定部は、複数のフレーム画像の順序変更、脱落又は追加があるとき、動画像データは改ざんされていると判定する。
【００３６】
この構成により、様々な態様の、時間軸上の改ざんを検出できる。
【００３７】
請求項８記載の情報埋め込み装置は、複数のフレーム画像を時間軸上において順次配置できるように構成されるデータ部と、データ部に関する情報を保持するヘッダ部とを含む動画像データに情報を埋め込む装置であって、動画像データに含まれる、複数のフレーム画像のうちの特定のフレーム画像に対し、時間軸上において一定の関係にある単数または複数の別のフレーム画像であって複数のフレーム画像に含まれるものに関する固有情報を算出する固有情報算出部と、特定のフレーム画像に、算出された固有情報を埋め込む情報埋め込み部とを備える。
【００３８】
請求項１３記載の改ざん検出装置は、複数のフレーム画像を時間軸上において順次配置できるように構成されるデータ部と、データ部に関する情報を保持するヘッダ部とを含む動画像データの改ざんの有無を検出する装置であって、順序情報が埋め込まれた動画像データを入力する入力部と、入力部に入力された動画像データにおいて、複数のフレーム画像のうちの特定のフレーム画像に埋め込まれた固有情報を検出し第１の固有情報を得るとともに、特定のフレーム画像に対し、時間軸上において一定の関係にある単数または複数の別のフレーム画像であって複数のフレーム画像に含まれるものに関する固有情報を算出し第２の固有情報を得る固有情報算出部と、第１の固有情報と第２の固有情報とを比較する比較部と、比較部の比較結果に基づいて、動画像データの改ざんの有無を判定する改ざん判定部とを備える。
【００３９】
これらの構成において、固有情報を用いているため、特定のフレーム画像と別のフレーム画像とを関連付けることができ、もし関連づけが切断されたら、時間軸上の改ざんありと判定できる。さらに、フレーム画像自身に対する改ざんが実施された場合、この関連づけが切断されるため、第１の改ざんに対しても、併せて対応できる。
【００４０】
請求項９記載の情報埋め込み装置では、固有情報は、別のフレーム画像に関するハッシュ値である。
【００４１】
この構成により、ハッシュ値を用いて固有情報を的確に表現できる。
【００４２】
請求項１０記載の情報埋め込み装置では、別のフレーム画像は、時間軸上において特定のフレーム画像に隣り合うフレーム画像である。
【００４３】
この構成により、隣接するフレーム画像同士を関連付けて、時間軸上の改ざんに対抗できる。
【００４４】
請求項１１記載の情報埋め込み装置では、動画像データは、ＭＰＥＧ圧縮動画像データであり、特定のフレーム画像は、イントラ符号化画像であり、単数または複数の別のフレーム画像は、単数または複数の予測符号化画像である。
【００４５】
この構成により、予測符号化画像のデータが少ない場合にも、対応できる。
【００４６】
請求項１２記載の情報埋め込み装置では、イントラ符号化画像と単数または複数の予測符号化画像は、１つのＧＯＰ（ｇｒｏｕｐ  ｏｆ  ｐｉｃｔｕｒｅｓ）に属する。
【００４７】
この構成により、相関関係を利用して、まとまった単位で処理を実施できる。
【発明の効果】
【００４８】
本発明によれば、順序情報により、デジタル動画像データにおいて、時間軸上の改ざんを検出できる。また、予測符号化画像そのものの改ざんを検出できる。
【発明を実施するための最良の形態】
【００４９】
以下、図面を参照しながら、本発明の実施の形態を説明する。
【００５０】
（実施の形態１）
図１は、本発明の実施の形態１における情報埋め込み装置のブロック図である。
【００５１】
図１に示すように、本形態における情報埋め込み装置は、順序情報入力部１０１と固有情報算出部１０２と固有情報保持部１０３と情報埋め込み部１０４を備える。
【００５２】
ここで、図１０に示すように、動画像データは、複数のフレーム画像Ｆ１〜Ｆ５を時間軸上において順次配置できるように構成されるデータ部２０と、データ部２０に関する情報を保持するヘッダ部１０とを含む。
【００５３】
また図１において、順序情報入力部１０１は、複数のフレーム画像Ｆ１〜Ｆ５の順序情報を生成する。情報埋め込み部１０４は、順序情報入力部１０１が生成する順序情報を、複数のフレーム画像Ｆ１〜Ｆ５において目視できないように、動画像データに埋め込む。
【００５４】
本形態の情報埋め込み部１０４は、順序情報を、複数のフレーム画像に電子透かしとして埋め込むこともできるし、順序情報を、ヘッダ部１０の拡張領域１０ａに埋め込むこともできる。また、本形態の順序情報は、複数のフレーム画像Ｆ１〜Ｆ５の順番を示す番号である。
【００５５】
固有情報算出部１０２は、複数のフレーム画像Ｆ１〜Ｆ５のうちの特定のフレーム画像に対し、時間軸上において一定の関係にある単数または複数の別のフレーム画像であって複数のフレーム画像に含まれるもの関する固有情報を算出し、固有情報保持部１０３は、算出された固有情報を保持し、情報埋め込み部１０４へ出力する。また、情報埋め込み部１０４は、特定のフレーム画像に、固有情報保持部１０３が保持する固有情報を埋め込む。
【００５６】
以下、図２を更に参照して、本形態の情報埋め込み装置について説明する。図２は、図１の情報埋め込み装置のフローチャートである。本形態では、改ざん検出情報の埋め込みを行う動画像データとして、イントラ符号化画像（Ｉピクチャ）と順方向予測符号化画像（Ｐピクチャ）と双方向予測符号化画像（Ｂピクチャ）から構成されるＭＰＥＧ圧縮動画像データを用いる。
【００５７】
まず、固有情報算出部１０２は、入力される動画像データのフレーム画像に基づいて固有情報を算出する（ステップ２０１）。
【００５８】
フレーム画像がＩピクチャ（イントラ符号化画像）である場合、固有情報算出部１０２は、フレーム画像を構成する全てのブロックにおける周波数成分のうち、電子透かしを埋め込む成分を除いた全ての成分値からハッシュ関数を用いて固有情報（固有情報Ｉ）を算出する。
【００５９】
また、フレーム画像がＰピクチャまたはＢピクチャ（予測符号化画像）である場合、固有情報算出部１０２は、単位区間に含まれる全てのＰピクチャまたはＢピクチャにおける全てのブロックの周波数成分からハッシュ関数を用いて固有情報（固有情報ＢＰ）を算出する。
【００６０】
本形態では、時間軸上の単位区間を、蓄積順でＩピクチャから次のＩピクチャの、直前の画像までの区間とする。勿論、１つのＧＯＰ（ｇｒｏｕｐ  ｏｆ  ｐｉｃｔｕｒｅｓ）に属するフレーム画像の区間を、単位区間としても良い。
【００６１】
さらに、固有情報Ｉ、固有情報ＢＰはそれぞれ１２８ビットのデータとする。図３は、固有情報と、固有情報算出の対象ピクチャの関係を示す。
【００６２】
次に、固有情報保持部１０３は、ステップ２０１において算出された固有情報を保持する（ステップ２０２）。
【００６３】
次に、順序情報入力部１０１は、単位区間の処理が終了したかどうかの判定を行い（ステップ２０３）、終了した場合は、順序情報入力部１０１は、予め定めた規則に従って順序情報を入力する（ステップ２０４）。本形態では、順序情報は、「０」，「１」，「２」と順に「１」ずつ増加する番号を用いる。また、順序情報は、１６ビットのデータとする。
【００６４】
次に、情報埋め込み部１０４は、図３に示すように、ステップ２０２で保持された固有情報Ｉ及び固有情報ＢＰと、ステップ２０４で入力された番号を改ざん検出情報として、改ざん検出情報を単位区間の先頭のＩピクチャに電子透かしとして埋め込む（ステップ２０５）。
【００６５】
次に、埋め込み方法について図４を用いて説明する。図４は、ブロック単位の改ざん検出情報の割り当て法を示す。図４の埋め込み対象フレーム内の矩形は、それぞれ８画素×８画素のブロックを示す。
【００６６】
本形態における改ざん検出情報は、固有情報Ｉと固有情報ＢＰと番号を単純に繋げたもので、総ビット数は２７２ビットとなる。
【００６７】
情報埋め込み部１０４は、改ざん検出情報情報のビット数個のブロックを選択し、選択したブロックを埋め込み対象ブロックとする。図４において、埋め込み対象ブロックは、網掛けされた矩形で示されている。情報埋め込み部１０４は、選択したブロックそれぞれに対して、改ざん検出情報を１ビットずつ割り当てる。
【００６８】
図５は、埋め込み対象ブロックのそれぞれの周波数成分を示す。情報埋め込み部１０４は、埋め込み対象ブロックにおいて、構成する周波数成分の一成分を選択し、割り当てられたビットを埋め込む。本形態では、情報埋め込み部１０４は、図５における周波数成分ＡＣ３を選択する。割り当てられたビットが「０」の場合には、情報埋め込み部１０４は周波数成分ＡＣ３の値を偶数に変更し、「１」の場合には、情報埋め込み部１０４は周波数成分ＡＣ３の値を奇数に変更する。
【００６９】
最後に、情報埋め込み部１０４は、動画像データ入力が終了したかどうかの判定を行い（ステップ２０６）、入力が終了した場合には処理を終了し、そうでない場合にはステップ２０１に戻る。
【００７０】
（実施の形態２）
実施の形態２では、実施の形態１で改ざん検出情報が電子透かしとして埋め込まれた動画像データから、改ざん検出情報を検出し改ざんの有無を判定する。
【００７１】
以下、図面を参照しながら、本発明における実施の形態２について説明する。図６は、本発明の実施の形態２における改ざん検出装置のブロック図である。
【００７２】
図６に示すように、改ざん検出装置は、入力部５０１と固有情報算出部５０２と固有情報保持部５０３と検出部５０４と検出情報保持部５０５と比較部５０６と連続性判定部５０７と改ざん判定部５０８を備える。
【００７３】
入力部５０１は、順序情報が埋め込まれた動画像データを入力する。検出部５０４は、入力部５０１に入力された動画像データから順序情報を検出する。検出情報保持部５０５は、検出部５０４が検出した順序情報を保持する。
【００７４】
連続性判定部５０７は、検出情報保持部５０５が保持する順序情報に基づいて、フレーム画像の連続性が保持されているかどうか判定する。より具体的には、連続性判定部５０７は、フレーム画像の順序変更、脱落または追加があるときには、連続性なしと判定し、そうでないときには連続性ありと判定する。
【００７５】
改ざん判定部５０８は、連続性判定部５０７の判定結果に基づいて、動画像データの改ざんの有無を判定する。
【００７６】
固有情報算出部５０２は、入力部５０１に入力された動画像データにおいて、複数のフレーム画像のうちの特定のフレーム画像に埋め込まれた固有情報を検出し第１の固有情報を得る。また、固有情報算出部５０２は、特定のフレーム画像に対し、時間軸上において一定の関係にある単数または複数の別のフレーム画像であって複数のフレーム画像に含まれるものに関する固有情報を算出し第２の固有情報を得る。これら第１、第２の固有情報は、固有情報保持部５０３に保持される。
【００７７】
比較部５０６は、固有情報保持部５０３に保持された第１の固有情報と第２の固有情報とを比較する。改ざん判定部５０８は、比較部５０６の比較結果に基づいて、動画像データの改ざんの有無を判定する。
【００７８】
ここで、改ざん判定部５０８は、比較部５０６から第１の固有情報と第２の固有情報とが等しいという比較結果を入力すると、動画像データは改ざんされていないと判定する。
【００７９】
以下、図７を更に参照して、本形態の改ざん検出装置について説明する。図７は、図６の改ざん検出装置のフローチャートである。
【００８０】
まず、入力部５０１は、改ざん検出情報が埋め込まれた動画像データを構成するフレーム画像を入力する（ステップ６０１）。
【００８１】
次に、固有情報算出部５０２は、入力されるフレーム画像から固有情報を算出する（ステップ６０２）。本ステップの処理は、実施の形態１におけるステップ２０１（図２参照）と同じ処理であるため説明を割愛する。
【００８２】
次に、固有情報保持部５０３は、ステップ２０１において算出された固有情報を保持する（ステップ６０３）。
【００８３】
次に、固有情報算出部５０２は、単位区間の処理が終了したかどうかの判定を行い（ステップ６０４）、終了した場合、検出部５０４は、単位区間の先頭のＩピクチャから埋め込まれた情報を検出する（ステップ６０５）。ここでは、固有情報算出部５０２は、まず、埋め込み時と同じ選択方法で埋め込み対象ブロックを選択する。
【００８４】
次に、固有情報算出部５０２は、選択したブロックにおいて、埋め込み時に選択した周波数成分の値が偶数の場合にはビット値を「０」とし、奇数の場合にはビット値を「１」として埋め込まれた情報を検出する。即ち、固有情報算出部５０２は、実施の形態１におけるステップ２０５と逆の処理を行う。
【００８５】
次に、検出情報保持部５０５は、ステップ６０５で検出した情報を保持する（ステップ６０６）。
【００８６】
次に、連続性判定部５０７は、ステップ６０６で保持された検出情報のうち番号に対応するビット列を、予め定めた連続性を示す規則と照合して連続かそうでないかを判定する（ステップ６０７）。ここで、連続性を示す規則は、埋め込み時と共通である。例えば、単位区間のＩピクチャから検出され、連続すべき番号が、常に「０」，「１」，「２」と順に「１」ずつ増加していた場合、連続性判定部５０７は、連続性ありと判定し、そうでないとき連続性なしと判定する。
【００８７】
次に、比較部５０６は、ステップ６０３で保持された固有情報Ｉ、固有情報ＢＰと、ステップ６０６で保持された検出情報のうち固有情報Ｉ、固有情報ＢＰそれぞれに対応するビット列同士を比較照合して差分を出力する（ステップ６０８）。
【００８８】
次に、改ざん判定部５０８は、ステップ６０７で連続性ありと判定された場合で、かつステップ６０８で出力された差分が「０」の場合に、改ざん無しと判定し、そうでない場合には改ざん有りと判定する（ステップ６０９）。
【００８９】
最後に、改ざん判定部５０８は、動画像データ入力が終了したかどうかの判定を行い（ステップ６１０）、入力が終了した場合には処理を終了し、そうでない場合にはステップ６０１に戻る。
【００９０】
以上のように、実施の形態１に係る情報埋め込み装置、及び実施の形態２に係る改ざん検出装置によれば、埋め込まれた順序情報を検出し、埋め込み時と同じ連続性を示す規則と照合することで、時間軸上の改ざんを検出することができる。
【００９１】
更に、情報埋め込み時にＰピクチャ及びＢピクチャの固有情報ＢＰを別の画像であるＩピクチャに埋め込み、電子透かし検出時に、埋め込み時と同じ方法で算出した固有情報ＢＰと検出した情報とを比較照合することで、Ｐピクチャ及びＢピクチャの空間上の改ざんを検出することができる。Ｐピクチャ及びＢピクチャに符号化されているブロックがほとんど無い場合でも、全てのブロックが符号化されているＩピクチャに埋め込むことで、Ｐピクチャ及びＢピクチャの空間上の改ざんを検出することができる。
【００９２】
また、単位区間に含まれる全てのＰピクチャ及びＢピクチャの固有情報を、別な画像であるＩピクチャに埋め込むことで、Ｐピクチャ及びＢピクチャの時間軸上の改ざんも検出することができる。例えば、Ｐピクチャ及びＢピクチャが数枚抜かれた場合には、電子透かし検出時に、検出した情報とこの時算出した固有情報ＢＰが異なるものとなり、改ざんを発見できる。
【００９３】
更に、埋め込み対象画像であるＩピクチャ自身の固有情報ＩをそのＩピクチャに埋め込み、電子透かし検出時に埋め込み時と同じ方法で算出した固有情報Ｉと検出した情報とを比較照合を行うことで、Ｉピクチャ単独１枚からその画像自身の空間上の改ざんを検出することができる。
【００９４】
なお、本形態では、動画像データとしてＭＰＥＧ符号化データを用いたが、本発明は、これに限定されるものではなく、例えば、モーションＪＰＥＧ等についても同様に適用できる。
【００９５】
また、実施の形態１に係る情報埋め込み装置において、改ざん検出情報を電子透かしとして画素を表す選択ブロックの周波数成分に対して埋め込みを行ったが、改ざん検出情報を動画像データのヘッダ部１０に直接付加してもよい。例えば、ステップ２０５において、改ざん検出情報をＭＰＥＧ符号化データのヘッダ部１０に含まれる拡張領域１０ａに付加し、実施の形態２に係る改ざん検出装置のステップ６０５において、拡張領域１０ａから付加された情報を検出することで、同じ効果が得られる。
【００９６】
また、ステップ２０１において、固有情報として、その周波数成分から算出した１２８ビットのハッシュ値を用いたがこれに限定されるものではない。個々の画像に対して固有となる情報であれば同じ効果が得られる。また、単位区間に含まれる全てのＰピクチャ及びＢピクチャから１つの固有情報を算出したが、それぞれ単独で固有情報を算出しても、複数画像単位で固有情報を算出してもよい。また、蓄積順でＩピクチャから次のＩピクチャの、直前の画像までの区間を単位区間としたが、これに限定されるものではない。
【００９７】
また、ステップ２０３において、連続性を示す情報として１６ビットの「１」ずつ増加する番号を用いたが、連続性を示す情報であれば、これに限定されるものではない。電子透かし埋め込み時と電子透かし検出時で共通の規則に従ったものであれば、番号に限らず、例えば、アルファベット順でもよいし、意味のある文のそれぞれの文字、適当な数列等でもよい。
【００９８】
また、ステップ２０５において、改ざん検出情報の埋め込み方として、選択したブロックに１ビットずつ割り当てて、そのブロックの一つの周波数成分を変更する方法を示したが、これは一例にすぎない。可能な限り元の動画像データに影響を与えない画質劣化を抑えた埋め込み方を用いる方が望ましい。
【００９９】
また、ステップ２０５において、単位区間の先頭Ｉピクチャに対して埋め込みを行ったが、Ｉピクチャに限定されるものではなく、可能なら、ＰピクチャまたはＢピクチャに対して埋め込みを行っても良い。
【０１００】
また、ステップ６０９において、ステップ６０７で連続と判定された場合で、かつステップ６０８で出力された差分が「０」の場合に、改ざん無しと判定したが、差分が閾値以下の場合に改ざん無しと判定することで、単なる非可逆な画像変換と、悪意のある改ざんを区別することも可能である。
【０１０１】
実施の形態１，２は、さらに種々変更できる。以下、図９〜図１４を用いて、情報埋め込み及び改ざん検出の各態様を説明する。
【０１０２】
（実施の形態３）
図９は、本発明の実施の形態３における情報埋め込み及び改ざん検出の説明図である。本形態では、動画像データのデータ部２０を構成するフレーム画像Ｆ１〜Ｆ５に、順序情報をそれぞれ電子透かしとして埋め込む。また、改ざん検出時には、各フレーム画像Ｆ１〜Ｆ５から埋め込まれた電子透かしを検出し、順序情報を得る。
【０１０３】
得られた順序情報に異常があれば、時間軸上の改ざんありと判定され、そうでなければ時間軸上の改ざんなしと判定される。
【０１０４】
（実施の形態４）
図１０は、本発明の実施の形態４における情報埋め込み及び改ざん検出の説明図である。
【０１０５】
本形態では、実施の形態３とは異なり、フレーム画像Ｆ１〜Ｆ５の順序情報は、ヘッダ部１０の拡張領域１０ａに格納され、これにより、改ざん判定が行われる。このようにしても、順序情報を目視することはできない。
【０１０６】
（実施の形態５）
図１１は、本発明の実施の形態５における情報埋め込みの説明図、図１２は、本発明の実施の形態５における改ざん検出の説明図である。
【０１０７】
本形態では、図１１に示すように、注目している現フレーム画像Ｆ２（特定のフレーム画像）に対して時間軸上において直前の位置にある前フレーム画像Ｆ１（別のフレーム画像）に基づき、固有情報が算出される。そして、算出された固有情報は、現フレーム画像Ｆ２に電子透かしとして埋め込まれる。
【０１０８】
改ざん検出時には、図１２に示すように、現フレーム画像Ｆ２に埋め込まれている電子透かしを検出し、第１の固有情報が得られる。
【０１０９】
また、前フレーム画像Ｆ１から固有情報が算出され、第２の固有情報が得られる。
【０１１０】
そして、これら第１，第２の固有情報が比較され、両者が等しければ時間軸上の改ざんなしと判定され、そうでなければ時間軸上の改ざんありと判定される。また、フレーム画像自体に改ざん（第１の改ざん）が実施された場合においても、以上と同じ関係が成立するので、本形態によれば、第１、第２の改ざんを、一度に両方検出できる。
【０１１１】
また、このようにすると、前フレーム画像Ｆ１と現フレーム画像Ｆ２とは、いわば鎖でつながれた関係になる。これを全フレームについて繰り返すと、全フレームが鎖でつながれることになる。そうなると、時間軸上の全ての改ざんに対抗できる。なぜなら、時間軸上の改ざんが実施されると、必ず鎖のいずれかの箇所が切断されることになり、この切断は容易に検出できるからである。
【０１１２】
（実施の形態６）
図１３は、本発明の実施の形態６における情報埋め込みの説明図、図１４は、本発明の実施の形態６における改ざん検出の説明図である。
【０１１３】
本形態では、実施の形態５と異なり、固有情報を電子透かしとしてフレーム画像に埋め込むのではなく、ヘッダ部１０の拡張領域１０ａに格納している。即ち、本形態は、実施の形態５に対して、実施の形態３と実施の形態４との関係となるような処理が実施される。
【０１１４】
勿論、実施の形態３から６は、単独で実施することもできるし、適宜組み合わせて実施することもでき、いずれの態様によっても、本発明に包含される。
【０１１５】
なお、典型的には、図８に示すように、実施の形態１，２に係る情報埋め込み装置及び改ざん検出装置が実現する各機能は、所定のプログラムデータが格納された記憶装置７０２（ＲＯＭ、ＲＡＭ、ハードディスク等）と、当該プログラムデータを実行するＣＰＵ７０１（セントラル・プロセッシング・ユニット）とによって実現される。この場合、各プログラムデータは、ＣＤ−ＲＯＭやフレキシブルディスク等の記憶媒体７０５を介して導入されてもよい。
【産業上の利用可能性】
【０１１６】
本発明に係る情報埋め込み装置は、例えば、動画像データを、改ざんの有無を高い信憑性をもって保証しながら取り扱う分野（監視記録、著作権管理）等において、好適に利用できる。
【図面の簡単な説明】
【０１１７】
【図１】本発明の実施の形態１における情報埋め込み装置のブロック図
【図２】本発明の実施の形態１における情報埋め込み装置のフローチャート
【図３】本発明の実施の形態１における情報埋め込みの説明図
【図４】本発明の実施の形態１における改ざん検出情報と埋め込み対象ブロックとの関係説明図
【図５】本発明の実施の形態１における埋め込み対象ブロックの説明図
【図６】本発明の実施の形態２における改ざん検出装置のブロック図
【図７】本発明の実施の形態２における改ざん検出装置のフローチャート
【図８】本発明の実施の形態１、２における記録媒体のブロック図
【図９】本発明の実施の形態３における情報埋め込み及び改ざん検出の説明図
【図１０】本発明の実施の形態４における情報埋め込み及び改ざん検出の説明図
【図１１】本発明の実施の形態５における情報埋め込みの説明図
【図１２】本発明の実施の形態５における改ざん検出の説明図
【図１３】本発明の実施の形態６における情報埋め込みの説明図
【図１４】本発明の実施の形態６における改ざん検出の説明図
【図１５】従来の改ざん検出装置のブロック図
【符号の説明】
【０１１８】
１０１  順序情報入力部
１０２  固有情報算出部
１０３  固有情報保持部
１０４  情報埋め込み部
５０１  入力部
５０２  固有情報算出部
５０３  固有情報保持部
５０４  検出部
５０５  検出情報保持部
５０６  比較部
５０７  連続性判定部
５０８  改ざん判定部
７０１  ＣＰＵ
７０２  記憶装置
７０３  バス
７０４  ドライブ
７０５  記録媒体
８０１  鍵入力部
８０２  周波数変換部
８０３  改ざん検証用データ埋め込み部
８０４  制御部
８０５  外部記憶装置
８０６  量子化部
８０７  ブロック分割部
８０８  ハフマン符号化部
８０９  画像データ入力部
８１０  擬似乱数発生部
８１１  改ざん検証用データ生成部
８１２  メモリ
８１３  データ表示部
【図１】
2004364263.tif 000003
【図２】
2004364263.tif 000004
【図３】
2004364263.tif 000005
【図４】
2004364263.tif 000006
【図５】
2004364263.tif 000007
【図６】
2004364263.tif 000008
【図７】
2004364263.tif 000009
【図８】
2004364263.tif 000010
【図９】
2004364263.tif 000011
【図１０】
2004364263.tif 000012
【図１１】
2004364263.tif 000013
【図１２】
2004364263.tif 000014
【図１３】
2004364263.tif 000015
【図１４】
2004364263.tif 000016
【図１５】
2004364263.tif 000017