(57)【要約】【課題】音声データと映像データとの関連付けを行ないつつ、それぞれについて、改ざん検出精度を高く保つと共に、元のデータの品質劣化を低く抑えることができる改ざん検出システム１０を提供する。【解決手段】本発明の改ざん検出システム１０は、音声データから特徴量を抽出して音声特徴量を作成すると共に、映像データから特徴量を抽出して映像特徴量を作成し、音声特徴量および映像特徴量の一部を音声データに埋め込むと共に、音声特徴量および映像特徴量の残りの部分を映像データに埋め込む。【選択図】図１
2010268263.tif 000002
【特許請求の範囲】
【請求項１】
フレーム単位で音声データと映像データとを含むコンテンツの改ざんを検出する改ざん検出システムであって、
フレーム単位で音声データおよび映像データに透かし情報を埋め込む透かし情報埋込装置と、
フレーム単位で透かし情報が埋め込まれた音声データおよび映像データから透かし情報を読み出して、音声データおよび映像データの改ざんの有無を判定する改ざん検出装置と
を備え、
前記透かし情報埋込装置は、
外部から音声を取得してフレーム単位で音声データに変換する音声データ作成部と、
フレーム単位で、前記音声データ作成部によって作成された音声データ中の予め定められたビットを、音声透かし情報のビットに置き換えることにより、音声透かし情報を音声データに埋め込んで出力する音声透かし埋込部と、
フレーム単位で、前記音声透かし埋込部によって音声透かし情報が埋め込まれた音声データ中の音声透かし情報が埋め込まれていないビットから音声特徴量を抽出する第１の音声特徴量抽出部と、
外部から映像を取得してフレーム単位で映像データに変換する映像データ作成部と、
フレーム単位で、前記映像データ作成部によって作成された映像データ中の予め定められたビットを、映像透かし情報のビットに置き換えることにより、映像透かし情報を映像データに埋め込んで出力する映像透かし埋込部と、
フレーム単位で、前記映像透かし埋込部によって映像透かし情報が埋め込まれた映像データ中の映像透かし情報が埋め込まれていないビットから映像特徴量を抽出する第１の映像特徴量抽出部と、
フレーム単位で、前記音声特徴量の一部および前記映像特徴量の一部を含む音声透かし情報を作成し、作成した音声透かし情報を前記音声透かし埋込部に供給すると共に、フレーム単位で、前記音声特徴量の残りの部分および前記映像特徴量の残りの部分を含む映像透かし情報を作成し、作成した映像透かし情報を前記映像透かし埋込部に供給する透かし情報作成部と
を有し、
前記改ざん検出装置は、
フレーム単位で、音声データ中の音声透かし情報が埋め込まれるべきビット位置から音声透かし情報を抽出する音声透かし抽出部と、
フレーム単位で、音声データ中の音声透かし情報が埋め込まれていないビット位置から音声特徴量を抽出する第２の音声特徴量抽出部と、
フレーム単位で、映像データ中の映像透かし情報が埋め込まれるべきビット位置から映像透かし情報を抽出する映像透かし抽出部と、
フレーム単位で、映像データ中の映像透かし情報が埋め込まれていないビット位置から映像特徴量を抽出する第２の映像特徴量抽出部と、
フレーム単位で、前記音声透かし抽出部によって抽出された音声透かし情報から音声特徴量の一部および映像特徴量の一部を抽出し、フレーム単位で、前記映像透かし抽出部によって抽出された映像透かし情報から音声特徴量の残りの部分および映像特徴量の残りの部分を抽出し、フレーム単位で、抽出したデータから音声特徴量および映像特徴量をそれぞれ再構成する特徴量再構成部と、
フレーム単位で、前記第２の音声特徴量抽出部によって抽出された音声特徴量と、前記特徴量再構成部によって再構成された音声特徴量とを比較することにより、音声データの改ざんの有無を示す情報を出力する音声データ改ざん検出部と、
フレーム単位で、前記第２の映像特徴量抽出部によって抽出された映像特徴量と、前記特徴量再構成部によって再構成された映像特徴量とを比較することにより、映像データの改ざんの有無を示す情報を出力する映像データ改ざん検出部と
を有することを特徴とする改ざん検出システム。
【請求項２】
請求項１に記載の改ざん検出システムであって、
前記透かし情報埋込装置は、
前記第１の音声特徴量抽出部によって抽出された音声特徴量を、第１のフレーム数分遅延させ、遅延させた音声特徴量を前記透かし情報作成部に供給する第１の音声特徴量遅延部と、
前記第１の映像特徴量抽出部によって抽出された映像特徴量を、第１のフレーム数分遅延させ、遅延させた映像特徴量を前記透かし情報作成部に供給する第１の映像特徴量遅延部と
をさらに有し、
前記透かし情報作成部は、
フレーム単位で、前記音声特徴量遅延部から供給された音声特徴量の一部および前記映像特徴量遅延部から供給された映像特徴量の一部を含む音声透かし情報を作成し、作成した音声透かし情報を前記音声透かし埋込部に供給すると共に、フレーム単位で、当該音声特徴量の残りの部分および当該映像特徴量の残りの部分を含む映像透かし情報を作成し、作成した映像透かし情報を前記映像透かし埋込部に供給し、
前記改ざん検出装置は、
前記第２の音声特徴量抽出部によって抽出された音声特徴量を、前記第１のフレーム数分遅延させ、遅延させた音声特徴量を前記音声データ改ざん検出部に供給する第２の音声特徴量遅延部と、
前記第２の映像特徴量抽出部によって抽出された映像特徴量を、前記第１のフレーム数分遅延させ、遅延させた映像特徴量を前記映像データ改ざん検出部に供給する第２の映像特徴量遅延部と
をさらに有し、
前記音声データ改ざん検出部は、
フレーム単位で、前記第２の音声特徴量遅延部から供給された音声特徴量と、前記特徴量再構成部によって再構成された音声特徴量とを比較することにより、音声データの改ざんの有無を示す情報を出力し、
前記映像データ改ざん検出部は、
フレーム単位で、前記第２の映像特徴量遅延部から供給された映像特徴量と、前記特徴量再構成部によって再構成された映像特徴量とを比較することにより、映像データの改ざんの有無を示す情報を出力することを特徴とする改ざん検出システム。
【請求項３】
フレーム単位で音声データと映像データとを含むコンテンツの改ざんを検出するための透かし情報を当該コンテンツに埋め込む透かし情報埋込装置であって、
外部から音声を取得してフレーム単位で音声データに変換する音声データ作成部と、
フレーム単位で、前記音声データ作成部によって作成された音声データ中の予め定められたビットを、音声透かし情報のビットに置き換えることにより、音声透かし情報を音声データに埋め込んで出力する音声透かし埋込部と、
フレーム単位で、前記音声透かし埋込部によって音声透かし情報が埋め込まれた音声データ中の音声透かし情報が埋め込まれていないビットから音声特徴量を抽出する音声特徴量抽出部と、
外部から映像を取得してフレーム単位で映像データに変換する映像データ作成部と、
フレーム単位で、前記映像データ作成部によって作成された映像データ中の予め定められたビットを、映像透かし情報のビットに置き換えることにより、映像透かし情報を映像データに埋め込んで出力する映像透かし埋込部と、
フレーム単位で、前記映像透かし埋込部によって映像透かし情報が埋め込まれた映像データ中の映像透かし情報が埋め込まれていないビットから映像特徴量を抽出する映像特徴量抽出部と、
フレーム単位で、前記音声特徴量の一部および前記映像特徴量の一部を含む音声透かし情報を作成し、作成した音声透かし情報を前記音声透かし埋込部に供給すると共に、フレーム単位で、前記音声特徴量の残りの部分および前記映像特徴量の残りの部分を含む映像透かし情報を作成し、作成した映像透かし情報を前記映像透かし埋込部に供給する透かし情報作成部と
を備えることを特徴とする透かし情報埋込装置。
【請求項４】
請求項３に記載の透かし情報埋込装置であって、
前記音声特徴量抽出部によって抽出された音声特徴量を、予め定められたフレーム数分遅延させ、遅延させた音声特徴量を前記透かし情報作成部に供給する音声特徴量遅延部と、
前記映像特徴量抽出部によって抽出された映像特徴量を、予め定められたフレーム数分遅延させ、遅延させた映像特徴量を前記透かし情報作成部に供給する映像特徴量遅延部と
をさらに備え、
前記透かし情報作成部は、
フレーム単位で、前記音声特徴量遅延部から供給された音声特徴量の一部および前記映像特徴量遅延部から供給された映像特徴量の一部を含む音声透かし情報を作成し、作成した音声透かし情報を前記音声透かし埋込部に供給すると共に、フレーム単位で、当該音声特徴量の残りの部分および当該映像特徴量の残りの部分を含む映像透かし情報を作成し、作成した映像透かし情報を前記映像透かし埋込部に供給することを特徴とする透かし情報埋込装置。
【請求項５】
フレーム単位で音声データと映像データとを含むコンテンツの改ざんを検出する改ざん検出装置であって、
フレーム単位で、音声データ中の音声透かし情報が埋め込まれるべきビット位置から音声透かし情報を抽出する音声透かし抽出部と、
フレーム単位で、音声データ中の音声透かし情報が埋め込まれていないビット位置から音声特徴量を抽出する音声特徴量抽出部と、
フレーム単位で、映像データ中の映像透かし情報が埋め込まれるべきビット位置から映像透かし情報を抽出する映像透かし抽出部と、
フレーム単位で、映像データ中の映像透かし情報が埋め込まれていないビット位置から映像特徴量を抽出する映像特徴量抽出部と、
フレーム単位で、前記音声透かし抽出部によって抽出された音声透かし情報から音声特徴量の一部および映像特徴量の一部を抽出し、フレーム単位で、前記映像透かし抽出部によって抽出された映像透かし情報から音声特徴量の残りの部分および映像特徴量の残りの部分を抽出し、フレーム単位で、抽出したデータから音声特徴量および映像特徴量をそれぞれ再構成する特徴量再構成部と、
フレーム単位で、前記音声特徴量抽出部によって抽出された音声特徴量と、前記特徴量再構成部によって再構成された音声特徴量とを比較することにより、音声データの改ざんの有無を示す情報を出力する音声データ改ざん検出部と、
フレーム単位で、前記映像特徴量抽出部によって抽出された映像特徴量と、前記特徴量再構成部によって再構成された映像特徴量とを比較することにより、映像データの改ざんの有無を示す情報を出力する映像データ改ざん検出部と
を備えることを特徴とする改ざん検出装置。
【請求項６】
請求項５に記載の改ざん検出装置であって、
前記音声特徴量抽出部によって抽出された音声特徴量を、予め定められたフレーム数分遅延させ、遅延させた音声特徴量を前記音声データ改ざん検出部に供給する音声特徴量遅延部と、
前記映像特徴量抽出部によって抽出された映像特徴量を、予め定められたフレーム数分遅延させ、遅延させた映像特徴量を前記映像データ改ざん検出部に供給する映像特徴量遅延部と
をさらに備え、
前記音声データ改ざん検出部は、
フレーム単位で、前記音声特徴量遅延部から供給された音声特徴量と、前記特徴量再構成部によって再構成された音声特徴量とを比較することにより、音声データの改ざんの有無を示す情報を出力し、
前記映像データ改ざん検出部は、
フレーム単位で、前記映像特徴量遅延部から供給された映像特徴量と、前記特徴量再構成部によって再構成された映像特徴量とを比較することにより、映像データの改ざんの有無を示す情報を出力することを特徴とする改ざん検出装置。
【請求項７】
フレーム単位で音声データと映像データとを含むコンテンツの改ざんを検出するための透かし情報を当該コンテンツに埋め込む透かし情報埋込装置における透かし情報埋込方法であって、
前記透かし情報埋込装置が、
外部から音声を取得してフレーム単位で音声データに変換する音声データ作成ステップと、
フレーム単位で、前記音声データ作成ステップにおいて作成した音声データ中の予め定められたビットを、音声透かし情報のビットに置き換えることにより、音声透かし情報を音声データに埋め込んで出力する音声透かし情報埋込ステップと、
フレーム単位で、前記音声透かし情報埋込ステップにおいて音声透かし情報が埋め込まれた音声データ中の音声透かし情報が埋め込まれていないビットから音声特徴量を抽出する音声特徴量抽出ステップと、
外部から映像を取得してフレーム単位で映像データに変換する映像データ作成ステップと、
フレーム単位で、前記映像データ作成ステップにおいて作成した映像データ中の予め定められたビットを、映像透かし情報のビットに置き換えることにより、映像透かし情報を映像データに埋め込んで出力する映像透かし情報埋込ステップと、
フレーム単位で、前記映像透かし情報埋込ステップにおいて映像透かし情報が埋め込まれた映像データ中の映像透かし情報が埋め込まれていないビットから映像特徴量を抽出する映像特徴量抽出ステップと、
フレーム単位で、前記音声特徴量の一部および前記映像特徴量の一部を含む音声透かし情報を作成するステップと、
フレーム単位で、前記音声特徴量の残りの部分および前記映像特徴量の残りの部分を含む映像透かし情報を作成するステップと
を実行することを特徴とする透かし情報埋込方法。
【請求項８】
フレーム単位で音声データと映像データとを含むコンテンツの改ざんを検出する改ざん検出装置における改ざん検出方法であって、
前記改ざん検出装置が、
フレーム単位で、音声データ中の音声透かし情報が埋め込まれるべきビット位置から音声透かし情報を抽出する音声透かし情報抽出ステップと、
フレーム単位で、音声データ中の音声透かし情報が埋め込まれていないビット位置から音声特徴量を抽出する音声特徴量抽出ステップと、
フレーム単位で、映像データ中の映像透かし情報が埋め込まれるべきビット位置から映像透かし情報を抽出する映像透かし情報抽出ステップと、
フレーム単位で、映像データ中の映像透かし情報が埋め込まれていないビット位置から映像特徴量を抽出する映像特徴量抽出ステップと、
フレーム単位で、前記音声透かし情報抽出ステップにおいて抽出した音声透かし情報から音声特徴量の一部および映像特徴量の一部を抽出し、フレーム単位で、前記映像透かし情報抽出ステップにおいて抽出した映像透かし情報から音声特徴量の残りの部分および映像特徴量の残りの部分を抽出し、フレーム単位で、抽出したデータから音声特徴量および映像特徴量をそれぞれ再構成する特徴量再構成ステップと、
フレーム単位で、前記音声特徴量抽出ステップにおいて抽出した音声特徴量と、前記特徴量再構成ステップにおいて再構成した音声特徴量とを比較することにより、音声データの改ざんの有無を示す情報を出力する音声データ改ざん検出ステップと、
フレーム単位で、前記映像特徴量抽出ステップにおいて抽出した映像特徴量と、前記特徴量再構成ステップにおいて再構成した映像特徴量とを比較することにより、映像データの改ざんの有無を示す情報を出力する映像データ改ざん検出ステップと
を実行することを特徴とする改ざん検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレーム単位で音声データと映像データとを含むコンテンツの改ざんを検出する技術に関する。
【背景技術】
【０００２】
下記の特許文献１には、ビデオデータとオーディオデータの組について、オーディオデータから３２ビットのオーディオ透かしデータを作成してビデオデータに埋め込むと共に、ビデオデータから４８ビットのビデオ透かしデータを作成してオーディオデータに埋め込むことにより、オーディオデータのみ、あるいは、ビデオデータのみのすげ替えを防止する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−８００９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
データの改ざんを高い精度で検出するためには、当該データの特徴を示すより多くの情報を、透かしとして当該データに埋め込む必要がある。しかし、改ざん判定の対象となるデータのデータ量に対して、透かし情報のデータ量の割合があまりに高すぎると、改ざん判定の対象となる本来のデータが劣化する場合がある。そのため、改ざん判定の対象となるデータの劣化を抑えつつ、改ざん検出の精度を高く保つには、対象となるデータに対する透かし情報の割合を、例えば１％程度とする場合がある。
【０００５】
また、上記した特許文献１の技術のように、ビデオデータとオーディオデータとを組にして互いの透かし情報を埋め込むことによりお互いを紐付ける場合、ビデオデータとオーディオデータとを同一の時間間隔でブロック化する必要がある。同一の時間間隔でブロック化した場合、ビデオデータのデータ量は、オーディオデータのデータ量の数百倍程度になる場合がある。そのため、ビデオデータの改ざん検出精度を、オーディオデータの改ざん検出精度と同程度にするためには、ビデオデータの透かし情報は、オーディオデータの透かし情報の数百倍にする必要がある。
【０００６】
しかし、上記した特許文献１の技術では、ビデオデータの透かし情報は、オーディオデータの透かし情報の１．５倍程度となっている。そのため、オーディオデータの特徴を示す透かし情報のデータ量が、改ざん判定の対象となるオーディオデータのデータ量の例えば１％程度となっている場合には、ビデオデータの特徴を示す透かし情報のデータ量は、改ざん検出の対象となるビデオデータのデータ量の１％に満たないことになり、ビデオデータの改ざん検出精度が低くなってしまう可能性がある。
【０００７】
逆に、ビデオデータの特徴を示す透かし情報のデータ量が、改ざん検出の対象となるビデオデータのデータ量の１％となっている場合には、オーディオデータの特徴を示す透かし情報のデータ量は、改ざん検出の対象となるオーディオデータのデータ量の例えば１％より多いことになり、本来のオーディオデータの品質が損なわれてしまう可能性がある。
【０００８】
また、単純に、オーディオデータおよびビデオデータについてそれぞれ１％のデータ量の透かし情報を作成してビデオデータおよびオーディオデータにそれぞれ埋め込むことも考えられるが、ビデオデータの透かし情報のデータ量はオーディオデータの透かし情報のデータ量よりも多くなるため（例えば数百倍）、本来のオーディオデータの品質が損なわれてしまうことになる。
【０００９】
本発明は上記事情を鑑みてなされたものであり、本発明の目的は、音声データと映像データとの紐付けを行ないつつ、それぞれについて、改ざん検出精度を高く保つと共に、元のデータの品質劣化を低く抑えることにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するために本発明では、音声データから音声特徴量を作成すると共に、映像データから映像特徴量を作成し、音声特徴量の一部および映像特徴量の一部を音声データに埋め込むと共に、音声特徴量の残りの部分および映像特徴量の残りの部分を映像データに埋め込む。
【００１１】
例えば、本発明は、フレーム単位で音声データと映像データとを含むコンテンツの改ざんを検出する改ざん検出システムであって、
フレーム単位で音声データおよび映像データに透かし情報を埋め込む透かし情報埋込装置と、
フレーム単位で透かし情報が埋め込まれた音声データおよび映像データから透かし情報を読み出して、音声データおよび映像データの改ざんの有無を判定する改ざん検出装置と
を備え、
前記透かし情報埋込装置は、
外部から音声を取得してフレーム単位で音声データに変換する音声データ作成部と、
フレーム単位で、前記音声データ作成部によって作成された音声データ中の予め定められたビットを、音声透かし情報のビットに置き換えることにより、音声透かし情報を音声データに埋め込んで出力する音声透かし埋込部と、
フレーム単位で、前記音声透かし埋込部によって音声透かし情報が埋め込まれた音声データ中の音声透かし情報が埋め込まれていないビットから音声特徴量を抽出する第１の音声特徴量抽出部と、
外部から映像を取得してフレーム単位で映像データに変換する映像データ作成部と、
フレーム単位で、前記映像データ作成部によって作成された映像データ中の予め定められたビットを、映像透かし情報のビットに置き換えることにより、映像透かし情報を映像データに埋め込んで出力する映像透かし埋込部と、
フレーム単位で、前記映像透かし埋込部によって映像透かし情報が埋め込まれた映像データ中の映像透かし情報が埋め込まれていないビットから映像特徴量を抽出する第１の映像特徴量抽出部と、
フレーム単位で、前記音声特徴量の一部および前記映像特徴量の一部を含む音声透かし情報を作成し、作成した音声透かし情報を前記音声透かし埋込部に供給すると共に、フレーム単位で、前記音声特徴量の残りの部分および前記映像特徴量の残りの部分を含む映像透かし情報を作成し、作成した映像透かし情報を前記映像透かし埋込部に供給する透かし情報作成部と
を有し、
前記改ざん検出装置は、
フレーム単位で、音声データ中の音声透かし情報が埋め込まれるべきビット位置から音声透かし情報を抽出する音声透かし抽出部と、
フレーム単位で、音声データ中の音声透かし情報が埋め込まれていないビット位置から音声特徴量を抽出する第２の音声特徴量抽出部と、
フレーム単位で、映像データ中の映像透かし情報が埋め込まれるべきビット位置から映像透かし情報を抽出する映像透かし抽出部と、
フレーム単位で、映像データ中の映像透かし情報が埋め込まれていないビット位置から映像特徴量を抽出する第２の映像特徴量抽出部と、
フレーム単位で、前記音声透かし抽出部によって抽出された音声透かし情報から音声特徴量の一部および映像特徴量の一部を抽出し、フレーム単位で、前記映像透かし抽出部によって抽出された映像透かし情報から音声特徴量の残りの部分および映像特徴量の残りの部分を抽出し、フレーム単位で、抽出したデータから音声特徴量および映像特徴量をそれぞれ再構成する特徴量再構成部と、
フレーム単位で、前記第２の音声特徴量抽出部によって抽出された音声特徴量と、前記特徴量再構成部によって再構成された音声特徴量とを比較することにより、音声データの改ざんの有無を示す情報を出力する音声データ改ざん検出部と、
フレーム単位で、前記第２の映像特徴量抽出部によって抽出された映像特徴量と、前記特徴量再構成部によって再構成された映像特徴量とを比較することにより、映像データの改ざんの有無を示す情報を出力する映像データ改ざん検出部と
を有することを特徴とする改ざん検出システムを提供する。
【発明の効果】
【００１２】
本発明の改ざん検出システムによれば、音声データと映像データとの紐付けを行ないつつ、それぞれについて、改ざん検出精度を高く保つと共に、元のデータの品質劣化を抑えることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係る改ざん検出システム１０の構成の一例を示すシステム構成図である。
【図２】透かし情報埋込装置２０の機能構成の一例を示すブロック図である。
【図３】透かし情報埋込装置２０の動作の一例を示すフローチャートである。
【図４】第１の実施形態における音声データについての透かし情報埋め込み処理（Ｓ２００）の一例を示すフローチャートである。
【図５】第１の実施形態において音声透かし情報dea[i]が音声データxa[i]に埋め込まれる過程を説明するための概念図である。
【図６】第１の実施形態における映像データについての透かし情報埋め込み処理（Ｓ２００）の一例を示すフローチャートである。
【図７】音声データについての特徴量の抽出処理（Ｓ３００）の一例を示すフローチャートである。
【図８】音声データxa[i]から音声特徴量fa[i]が抽出される過程を説明するための概念図である。
【図９】映像データについての特徴量の抽出処理（Ｓ３００）の一例を示すフローチャートである。
【図１０】音声データについての特徴量の遅延処理（Ｓ４００）の一例を示すフローチャートである。
【図１１】音声特徴量fa[i]が遅延される過程を説明するための概念図である。
【図１２】映像データについての特徴量の遅延処理（Ｓ４００）の一例を示すフローチャートである。
【図１３】透かし情報の作成処理（Ｓ５００）の一例を示すフローチャートである。
【図１４】音声透かし情報dea[i]および映像透かし情報dev[i]が作成される過程を説明するための概念図である。
【図１５】改ざん検出装置３０の機能構成の一例を示すブロック図である。
【図１６】改ざん検出装置３０の動作の一例を示すフローチャートである。
【図１７】第１の実施形態における音声データについての透かし情報の抽出処理（Ｓ６００）の一例を示すフローチャートである。
【図１８】第１の実施形態において音声データxa[i]から読取音声透かし情報dda[i]が抽出される過程を説明するための概念図である。
【図１９】第１の実施形態における映像データについての透かし情報の抽出処理（Ｓ６００）の一例を示すフローチャートである。
【図２０】特徴量の再構成処理（Ｓ７００）の動作の一例を示すフローチャートである。
【図２１】読取音声特徴量fad[i]および読取映像特徴量fvd[i]が作成される過程を説明するための概念図である。
【図２２】音声データについての改ざん判定処理（Ｓ８００）の一例を示すフローチャートである。
【図２３】改ざん情報の表示例を示す概念図である。
【図２４】映像データについての改ざん判定処理（Ｓ８００）の一例を示すフローチャートである。
【図２５】第３の実施形態における音声データについての透かし情報埋め込み処理（Ｓ２００）の一例を示すフローチャートである。
【図２６】第３の実施形態において音声透かし情報dea[i]が音声データxa[i]に埋め込まれる過程を説明するための概念図である。
【図２７】第３の実施形態における映像データについての透かし情報埋め込み処理（Ｓ２００）の一例を示すフローチャートである。
【図２８】第３の実施形態における音声データについての透かし情報の抽出処理（Ｓ６００）の一例を示すフローチャートである。
【図２９】第３の実施形態において音声データxa[i]から読取音声透かし情報dda[i]が抽出される過程を説明するための概念図である。
【図３０】第３の実施形態における映像データについての透かし情報の抽出処理（Ｓ６００）の一例を示すフローチャートである。
【図３１】透かし情報埋込装置２０または改ざん検出装置３０の機能を実現するコンピュータ６０の構成の一例を示すハードウェア構成図である。
【発明を実施するための形態】
【００１４】
まず、本発明の第１の実施形態について説明する。
【００１５】
図１は、本発明の一実施形態に係る改ざん検出システム１０の構成の一例を示すシステム構成図である。改ざん検出システム１０は、透かし情報埋込装置２０および改ざん検出装置３０を備える。
【００１６】
透かし情報埋込装置２０は、マイク１１を介して音声を取り込んでフレーム毎に音声データを作成し、作成した音声データから音声特徴量を抽出すると共に、カメラ１２を介して映像を取り込んでフレーム毎に映像データを作成し、作成した映像データから映像特徴量を抽出する。そして、透かし情報埋込装置２０は、音声特徴量の一部および映像特徴量の一部を含む音声透かし情報を音声データに埋め込むと共に、音声特徴量の残りの部分および映像特徴量の残りの部分を含む映像透かし情報を映像データに埋め込む。そして、透かし情報埋込装置２０は、透かし情報を埋め込んだ音声データおよび映像データをフレーム毎にコンテンツデータとして記録媒体１３に記録する。
【００１７】
改ざん検出装置３０は、記録媒体１３からコンテンツデータをフレーム毎に読み出し、読み出したコンテンツデータをスピーカ１４および表示装置１５を介して再生すると共に、当該コンテンツデータに含まれる音声データから音声特徴量および音声透かし情報を抽出し、当該コンテンツデータに含まれる映像データから映像特徴量および映像透かし情報を抽出する。そして、改ざん検出装置３０は、抽出した音声透かし情報および映像透かし情報から、音声特徴量および映像特徴量を復元する。
【００１８】
そして、改ざん検出装置３０は、コンテンツデータに含まれる音声データから抽出した音声特徴量と、復元した音声特徴量とを比較することにより、音声データの改ざんの有無をフレーム毎に判定し、音声データに改ざんがあった場合にその旨を表示装置１５に表示する。また、改ざん検出装置３０は、コンテンツデータに含まれる映像データから抽出した映像特徴量と、復元した映像特徴量とを比較することにより、映像データの改ざんの有無をフレーム毎に判定し、映像データに改ざんがあった場合にその旨を表示装置１５に表示する。
【００１９】
図２は、透かし情報埋込装置２０の機能構成の一例を示すブロック図である。透かし情報埋込装置２０は、音声データ作成部２００、映像データ作成部２０１、音声透かし埋込部２０２、透かし情報作成部２０３、映像透かし埋込部２０４、音声特徴量抽出部２０５、音声特徴量遅延部２０６、映像特徴量遅延部２０７、映像特徴量抽出部２０８、およびコンテンツ記録部２０９を有する。透かし情報埋込装置２０内の各機能の動作については、図３以降のフローチャートを用いて説明する。
【００２０】
図３は、透かし情報埋込装置２０の動作の一例を示すフローチャートである。透かし情報埋込装置２０は、所定の時間間隔（本実施形態では１秒）のフレーム毎に音声および映像を取り込んで、それぞれ音声データおよび映像データとして処理する。そのため、透かし情報埋込装置２０は、１フレーム毎に、図３のフローチャートに示す処理を実行する。
【００２１】
まず、音声データ作成部２００は、マイク１１を介して１フレーム分の音声を取り込み、音声データxa[i](0≦i＜XA)を作成して音声透かし埋込部２０２へ出力する（Ｓ１００）。また、映像データ作成部２０１は、カメラ１２を介して１フレーム分の映像を取り込み、映像データxv[i](0≦i＜XV)を作成して音声透かし埋込部２０２へ出力する（Ｓ１００）。
【００２２】
本実施形態において、音声データ作成部２００は、音声を48kHzのサンプリング周波数で16ビットのデータに変換するため、１フレーム分の音声データxa[i]は768kビットとなり、XAは768,000となる。また、映像データ作成部２０１は、映像を30Hzのサンプリング周波数で640×480×24ビットのデータに変換するため、１フレーム分の映像データxv[i]は、221,184,000ビットとなり、XVは221,184,000となる。
【００２３】
次に、音声透かし埋込部２０２および映像透かし埋込部２０４は、後述する透かし情報の埋込処理を実行して、音声透かし情報dea[i]を音声データxa[i]の所定のビットに埋め込むと共に、映像透かし情報dev[i]を映像データxv[i]の所定のビットに埋め込む（Ｓ２００）。そして、コンテンツ記録部２０９は、透かし情報が埋め込まれた音声データxa[i]および映像データxv[i]をコンテンツデータとして記録媒体１３に記録する（Ｓ１０１）。
【００２４】
次に、音声特徴量抽出部２０５および映像特徴量抽出部２０８は、後述する特徴量の抽出処理を実行することにより、ステップＳ２００で透かし情報が埋め込まれた音声データxa[i]において透かし情報が埋め込まれていないビットから音声特徴量fa[i]を抽出すると共に、ステップＳ２００で透かし情報が埋め込まれた映像データxv[i]において透かし情報が埋め込まれていないビットから映像特徴量fv[i]を抽出する（Ｓ３００）。
【００２５】
次に、音声特徴量遅延部２０６および映像特徴量遅延部２０７は、後述する特徴量の遅延処理を実行することにより、ステップＳ３００で抽出した音声特徴量fa[i]および映像特徴量fv[i]を所定フレーム分遅延させる（Ｓ４００）。
【００２６】
次に、透かし情報作成部２０３は、後述する透かし情報の作成処理を実行することにより、ステップＳ４００で遅延された音声特徴量fa[i]および映像特徴量fv[i]から、音声透かし情報dea[i]および映像透かし情報dev[i]を作成し（Ｓ５００）、透かし情報埋込装置２０は、本フローチャートに示す動作を終了する。
【００２７】
図４は、第１の実施形態における音声データについての透かし情報埋め込み処理（Ｓ２００）の一例を示すフローチャートである。音声透かし埋込部２０２は、１フレーム毎の音声データxa[i]について、本フローチャートに示す処理を実行する。
【００２８】
まず、音声透かし埋込部２０２は、音声透かし情報埋込位置pwa[i](0≦i＜DA)を準備する（Ｓ２０１）。ここで、音声透かし情報ビット長DAは、１フレームの音声データに埋め込まれる音声透かし情報のデータ量を示す。本実施形態では、音声データ64ビット当たりに１ビットの割合で音声透かし情報を埋め込むことを想定しており、DA＝XA÷64＝12,000である。
【００２９】
音声透かし情報埋込位置pwa[i]は、0≦pwa[i]＜XAかつpwa[i]mod2＝0を満たし、0≦i＜DAかつ0≦j＜DAかつi≠jを満たす任意の(i,j)について、pwa[i]≠pwa[j]を満たす数列である。本実施形態において、音声透かし情報埋込位置pwa[i]は透かし情報埋込装置２０の管理者等によって予め設定されている。
【００３０】
次に、音声透かし埋込部２０２は、変数ideaの値を０に初期化し（Ｓ２０２）、前のフレームにおいて透かし情報作成部２０３がステップＳ５００で作成した音声透かし情報deaのidea番目のビットを、ステップＳ１００において音声データ作成部２００が生成した音声データxaのpwa[idea]番目のビットと置き換えることにより、音声透かし情報dea[idea]を音声データxa[pwa[idea]]に埋め込む（Ｓ２０３）。
【００３１】
次に、音声透かし埋込部２０２は、変数ideaの値が音声透かし情報ビット長DAの値と一致したか否かを判定する（Ｓ２０４）。変数ideaの値が音声透かし情報ビット長DAの値と異なる場合（Ｓ２０４：Ｎｏ）、音声透かし埋込部２０２は、変数ideaの値を１増やして（Ｓ２０５）、再びステップＳ２０３に示した処理を実行する。変数ideaの値が音声透かし情報ビット長DAの値と一致した場合（Ｓ２０４：Ｙｅｓ）、音声透かし埋込部２０２は、音声透かし情報dea[i]が埋め込まれた音声データxa[i]を音声特徴量抽出部２０５およびコンテンツ記録部２０９へ出力し（Ｓ２０６）、本フローチャートに示した処理を終了する。
【００３２】
ここで、ステップＳ２０３からＳ２０５の処理を図５を用いて説明すると、音声透かし情報埋込位置pwa[i]が例えば{2,6,0,4,・・・}である場合、音声透かし埋込部２０２は、音声透かし情報dea[0]のビット４００を、音声データxa[pwa[0]]＝xa[2]のビット４０２に埋め込み、音声透かし情報dea[1]のビット４０１を、音声データxa[pwa[1]]＝xa[6]のビット４０３に埋め込む。pwa[i]は、偶数の集合であるため、音声透かし埋込部２０２は、音声データxa[i]の偶数番目のビットに音声透かし情報dea[i]のビットを埋め込む。
【００３３】
図６は、第１の実施形態における映像データについての透かし情報埋め込み処理（Ｓ２００）の一例を示すフローチャートである。映像透かし埋込部２０４は、１フレーム毎の映像データxv[i]について、本フローチャートに示す処理を実行する。
【００３４】
まず、映像透かし埋込部２０４は、映像透かし情報埋込位置pwv[i](0≦i＜DV)を準備する（Ｓ２１１）。ここで、映像透かし情報ビット長DVは、１フレームの映像データに埋め込まれる映像透かし情報のデータ量を示す。本実施形態では、映像データの24ビットのうち輝度情報64ビット当たりに１ビットの割合で映像透かし情報を埋め込むことを想定しており、DV＝XV÷(3×64)＝1,152,000である。
【００３５】
映像透かし情報埋込位置pwv[i]は、0≦pwv[i]＜XVかつpwv[i]mod2＝0を満たし、0≦i＜DVかつ0≦j＜DVかつi≠jを満たす任意の(i,j)について、pwv[i]≠pwv[j]を満たす数列である。本実施形態において、映像透かし情報埋込位置pwv[i]は透かし情報埋込装置２０の管理者等によって予め設定されている。
【００３６】
次に、映像透かし埋込部２０４は、変数idevの値を０に初期化し（Ｓ２１２）、前のフレームにおいて透かし情報作成部２０３がステップＳ５００で作成した映像透かし情報devのidev番目のビットを、ステップＳ１００において音声データ作成部２００が生成した映像データxvのpwv[idev]番目のビットと置き換えることにより、映像透かし情報dev[idev]を映像データxv[pwv[idev]]に埋め込む（Ｓ２１３）。なお、pwv[i]も偶数の集合であるため、映像透かし埋込部２０４は、映像データxv[i]の偶数のビットに映像透かし情報dev[i]のビットを埋め込む。
【００３７】
次に、映像透かし埋込部２０４は、変数idevの値が映像透かし情報ビット長DVの値と一致したか否かを判定する（Ｓ２１４）。変数idevの値が映像透かし情報ビット長DVの値と異なる場合（Ｓ２１４：Ｎｏ）、映像透かし埋込部２０４は、変数idevの値を１増やして（Ｓ２１５）、再びステップＳ２１３に示した処理を実行する。変数idevの値が映像透かし情報ビット長DVの値と一致した場合（Ｓ２１４：Ｙｅｓ）、映像透かし埋込部２０４は、映像透かし情報が埋め込まれた映像データxv[i]を映像特徴量抽出部２０８およびコンテンツ記録部２０９へ出力し（Ｓ２１６）、本フローチャートに示した処理を終了する。
【００３８】
図７は、音声データについての特徴量の抽出処理（Ｓ３００）の一例を示すフローチャートである。音声特徴量抽出部２０５は、１フレーム毎の音声データxa[i]について、本フローチャートに示す処理を実行する。
【００３９】
まず、音声特徴量抽出部２０５は、音声特徴量抽出位置pfa[i](0≦i＜FA)を準備する（Ｓ３０１）。ここで、音声特徴量ビット長FAは、音声データxa[i]の同一性を判定するために音声データxa[i]から抽出されるビットの集合を示す音声特徴量fa[i]のデータ量である。本実施形態において、音声特徴量ビット長FAは、例えば、１フレームの音声データxa[i]について、音声透かし情報ビット長DAから後述するヘッダ情報のデータ長DAHを除いた11,000である。
【００４０】
音声特徴量抽出位置pfa[i]は、0≦pfa[i]＜XAかつpfa[i]mod2＝1を満たす数列である。音声特徴量抽出位置pfa[i]は、例えば、XAが偶数であれば数列{0,1,2,…,XA/2-1}から、XAが奇数であれば数列{0,1,2,…,(XA-1)/2}から、擬似乱数を用いてランダムにFA個の数字{xn}を選択し、{2xn+1}を計算する方法で生成することができる。本実施形態において、音声特徴量抽出位置pfa[i]は透かし情報埋込装置２０の管理者等によって予め設定されている。
【００４１】
次に、音声特徴量抽出部２０５は、変数ipfaの値を０に初期化し（Ｓ３０２）、音声透かし埋込部２０２から出力された音声データxaのpfa[ipfa]番目のビットを読み出して音声特徴量faのipfa番目のビットに格納する（Ｓ３０３）。そして、音声特徴量抽出部２０５は、変数ipfaの値が音声特徴量ビット長FAの値と一致したか否かを判定する（Ｓ３０４）。
【００４２】
変数ipfaの値が音声特徴量ビット長FAの値と異なる場合（Ｓ３０４：Ｎｏ）、音声特徴量抽出部２０５は、変数ipfaの値を１増やして（Ｓ３０５）、再びステップＳ３０３に示した処理を実行する。変数ipfaの値が音声特徴量ビット長FAの値と一致した場合（Ｓ３０４：Ｙｅｓ）、音声特徴量抽出部２０５は、音声特徴量fa[i]を音声特徴量遅延部２０６へ出力し（Ｓ３０６）、本フローチャートに示した処理を終了する。
【００４３】
ここで、ステップＳ３０３からＳ３０５の処理を図８を用いて説明すると、音声特徴量読み出し位置pfa[i]が例えば{3,7,1,5,・・・}である場合、音声特徴量抽出部２０５は、音声データxa[pfa[0]]＝xa[3]のビット４０４を読み出して、音声特徴量fa[0]のビット４０６に格納し、音声データxa[pfa[1]]＝xa[7]のビット４０５を読み出して、音声特徴量fa[1]のビット４０７に格納する。音声特徴量読み出し位置pfa[i]は奇数の集合であるため、音声透かし埋込部２０２は、音声透かし情報dea[i]が埋め込まれていない音声データxa[i]の奇数番目のビットを読み出して音声特徴量fa[i]を作成する。
【００４４】
図９は、映像データについての特徴量の抽出処理（Ｓ３００）の一例を示すフローチャートである。映像特徴量抽出部２０８は、１フレーム毎の映像データxv[i]について、本フローチャートに示す処理を実行する。
【００４５】
まず、映像特徴量抽出部２０８は、映像特徴量抽出位置pfv[i](0≦i＜FV)を準備する（Ｓ３１１）。ここで、映像特徴量ビット長FVは、映像データxv[i]の同一性を判定するために映像データxv[i]から抽出されるビットの集合を示す映像特徴量fv[i]のデータ量である。本実施形態において、映像特徴量ビット長FVは、例えば、１フレームの音声データxv[i]について、映像透かし情報ビット長DVから後述するヘッダ情報のデータ長DVHを除いた1,151,000である。
【００４６】
映像特徴量抽出位置pfv[i]は、0≦pfv[i]＜XVかつpfv[i]mod2＝1を満たす数列である。映像特徴量抽出位置pfv[i]は、例えば、XVが偶数であれば数列{0,1,2,…,XV/2-1}から、XVが奇数であれば数列{0,1,2,…,(XV-1)/2}から、擬似乱数を用いてランダムにFV個の数字{xn}を選択し、{2xn+1}を計算する方法で生成することができる。本実施形態において、映像特徴量抽出位置pfv[i]は透かし情報埋込装置２０の管理者等によって予め設定されている。
【００４７】
次に、映像特徴量抽出部２０８は、変数ipfvを０に初期化し（Ｓ３１２）、映像透かし埋込部２０４から出力された映像データxvのpfv[ipfv]番目のビットを読み出して映像特徴量fvのipfv番目のビットに格納する（Ｓ３１３）。そして、映像特徴量抽出部２０８は、変数ipfvの値が映像特徴量ビット長FVの値と一致したか否かを判定する（Ｓ３１４）。
【００４８】
変数ipfvの値が映像特徴量ビット長FVの値と異なる場合（Ｓ３１４：Ｎｏ）、映像特徴量抽出部２０８は、変数ipfvの値を１増やして（Ｓ３１５）、再びステップＳ３１３に示した処理を実行する。変数ipfvの値が映像特徴量ビット長FVの値と一致した場合（Ｓ３１４：Ｙｅｓ）、映像特徴量抽出部２０８は、映像特徴量fv[i]を映像特徴量遅延部２０７へ出力し（Ｓ３１６）、本フローチャートに示した処理を終了する。
【００４９】
図１０は、音声データについての特徴量の遅延処理（Ｓ４００）の一例を示すフローチャートである。音声特徴量遅延部２０６は、１フレーム毎に音声特徴量抽出部２０５から出力された音声特徴量fa[i]について、本フローチャートに示す処理を実行する。
【００５０】
まず、音声特徴量遅延部２０６は、音声特徴量バッファbfa[BFA-1][j](0≦i＜BFA，0≦j＜FA)内の音声特徴量fa[i]を透かし情報作成部２０３へ出力する（Ｓ４０１）。本実施形態において、音声特徴量遅延部２０６は、音声特徴量バッファbfaを３個有しており、音声特徴量バッファ数BFAは３である。
【００５１】
次に、音声特徴量遅延部２０６は、変数ibfaにBFA-2（本実施形態ではBFA-2＝1）を設定し（Ｓ４０２）、音声特徴量バッファbfa[ibfa][j]内のデータを、音声特徴量バッファbfa[ibfa+1][j]に格納する（Ｓ４０３）。そして、変数ibfaの値が０になったか否かを判定する（Ｓ４０４）。
【００５２】
変数ibfaの値が０になっていない場合（Ｓ４０４：Ｎｏ）、音声特徴量遅延部２０６は、変数ibfaの値を１減らして（Ｓ４０５）、再びステップＳ４０３に示した処理を実行する。変数ibfaの値が０になった場合（Ｓ４０４：Ｙｅｓ）、音声特徴量遅延部２０６は、音声特徴量抽出部２０５から出力された音声特徴量fa[i]を、音声特徴量バッファbfa[0][j]内に格納し（Ｓ４０６）、本フローチャートに示した処理を終了する。
【００５３】
ここで、ステップＳ４０１からＳ４０５の処理を図１１を用いて説明すると、音声特徴量遅延部２０６は、ステップＳ４０１において、音声特徴量バッファbfa[BFA-1][j]内の音声特徴量fa[i]を透かし情報作成部２０３へ出力し、ステップＳ４０３から４０５において、音声特徴量バッファbfa内の音声特徴量fa[i]を１つずつずらし、ステップＳ４０６において、音声特徴量抽出部２０５から出力された音声特徴量fa[i]を、音声特徴量バッファbfa[0][j]内に格納する。図１０の処理は、１フレーム毎に実行され、音声特徴量バッファ数BFAが３であるため、音声特徴量遅延部２０６は、音声特徴量抽出部２０５から出力された音声特徴量fa[i]を、３フレーム分遅延させて透かし情報作成部２０３へ出力する。
【００５４】
図１２は、映像データについての特徴量の遅延処理（Ｓ４００）の一例を示すフローチャートである。映像特徴量遅延部２０７は、１フレーム毎に映像特徴量抽出部２０８から出力された映像特徴量fv[i]について、本フローチャートに示す処理を実行する。
【００５５】
まず、映像特徴量遅延部２０７は、映像特徴量バッファbfv[BFV-1][j](0≦i＜BFV，0≦j＜FV)内の映像特徴量fv[i]を透かし情報作成部２０３へ出力する（Ｓ４１１）。本実施形態において、映像特徴量遅延部２０７は、映像特徴量バッファbfvを３個有しており、映像特徴量バッファ数BFVは３である。
【００５６】
次に、映像特徴量遅延部２０７は、変数ibfvにBFV-2（本実施形態ではBFV-2＝1）を設定し（Ｓ４１２）、映像特徴量バッファbfv[ibfv][j]内のデータを、映像特徴量バッファbfv[ibfv+1][j]に格納する（Ｓ４１３）。そして、変数ibfvの値が０になったか否かを判定する（Ｓ４１４）。
【００５７】
変数ibfvの値が０になっていない場合（Ｓ４１４：Ｎｏ）、映像特徴量遅延部２０７は、変数ibfvの値を１減らして（Ｓ４１５）、再びステップＳ４１３に示した処理を実行する。変数ibfvの値が０になった場合（Ｓ４１４：Ｙｅｓ）、映像特徴量遅延部２０７は、映像特徴量抽出部２０８から出力された映像特徴量fv[i]を、映像特徴量バッファbfv[0][j]内に格納し（Ｓ４１６）、本フローチャートに示した処理を終了する。
【００５８】
図１３は、透かし情報の作成処理（Ｓ５００）の一例を示すフローチャートである。透かし情報作成部２０３は、１フレーム毎に音声特徴量遅延部２０６および映像特徴量遅延部２０７からそれぞれ出力された音声特徴量fa[i]および映像特徴量fv[i]について、本フローチャートに示す処理を実行する。
【００５９】
まず、透かし情報作成部２０３は、音声透かし情報dea[i](0≦i＜DA)および映像透かし情報dev[i](0≦i＜DV)の領域をメモリ上に確保し、音声透かし情報dea[i](0≦i＜DAH)および映像透かし情報dev[i](0≦i＜DVH)にそれぞれヘッダ情報を書き込む（Ｓ５０１）。本実施形態において、ヘッダ領域としては1000ビットを想定しており、DAH＝DVH＝1000である。また、ヘッダ情報には、音声透かし情報ヘッダ長DAH、映像透かし情報ヘッダ長DVH、分割パラメータFAA（後述）、分割パラメータFAV（後述）、分割パラメータFVA（後述）、分割パラメータFVV（後述）、時間情報、音声特徴量バッファ数BFA、および映像特徴量バッファ数BFVなどがある。
【００６０】
次に、透かし情報作成部２０３は、下記の数式（１）を用いて分割パラメータFAA、FAV、FVA、およびFVVを算出する。
【００６１】
【数１】
2010268263.tif 000003
【００６２】
本実施形態において、音声特徴量ビット長FAは11,000であり、音声透かし情報ビット長DAは12,000であり、映像透かし情報ビット長DVは1,152,000であるので、透かし情報作成部２０３は、分割パラメータFAAを、11,000×12,000÷(12,000＋1,152,000)≒113と算出する。そして、透かし情報作成部２０３は、分割パラメータFAVを、11,000−113＝10,887と算出する。また、本実施形態において、映像特徴量ビット長FVは1,151,000であるので、透かし情報作成部２０３は、分割パラメータFVAを、1,151,000×12,000÷(12,000＋1,152,000)≒11,866と算出する。そして、透かし情報作成部２０３は、分割パラメータFVVを、1,151,000−11,866＝1,139,134と算出する。
【００６３】
次に、透かし情報作成部２０３は、図１４に示すように、音声特徴量fa[i](0≦i＜FAA)を、音声透かし情報dea[i](DAH≦i＜DAH＋FAA)に格納する（Ｓ５０２）。そして、透かし情報作成部２０３は、図１４に示すように、映像特徴量fv[i](0≦i＜FVA)を、音声透かし情報dea[i](DAH＋FAA≦i＜DAH＋FAA＋FVA)に格納する（Ｓ５０３）。
【００６４】
次に、透かし情報作成部２０３は、図１４に示すように、音声特徴量fa[i](FAA≦i＜FA)を、映像透かし情報dev[i]（DVH≦i＜DVH＋FAV）に格納する（Ｓ５０４）。そして、透かし情報作成部２０３は、図１４に示すように、映像特徴量fv[i](FVA≦i＜FV)を、映像透かし情報dev[i](DVH＋FAV≦i＜DVH＋FAV＋FVV)に格納する（Ｓ５０５）。そして、透かし情報作成部２０３は、音声透かし情報dea[i]を音声透かし埋込部２０２へ出力し、映像透かし情報dev[i]を映像透かし埋込部２０４へ出力し（Ｓ５０６）、本フローチャートに示した処理を終了する。
【００６５】
このように、透かし情報埋込装置２０は、音声データxa[i]から抽出した音声特徴量fa[i]の一部のビットと、映像データxv[i]から抽出した映像特徴量fv[i]の一部のビットとを含む音声透かし情報dea[i]を音声データxa[i]に埋め込むと共に、音声特徴量fa[i]の残りのビットと、映像特徴量fv[i]の残りのビットとを含む映像透かし情報dev[i]を映像データxa[i]に埋め込むため、音声データxa[i]および映像データxv[i]のいずれを差し替えた場合であっても、コンテンツの改ざんを検出することができる。
【００６６】
また、透かし情報埋込装置２０は、作成した音声透かし情報dea[i]および映像透かし情報dev[i]を、所定数後のフレームの音声データxa[i]および映像データxa[i]にそれぞれ埋め込むため、音声データxa[i]および映像データxv[i]の削除や挿入による改ざんを検出することができる。
【００６７】
図１５は、改ざん検出装置３０の機能構成の一例を示すブロック図である。改ざん検出装置３０は、コンテンツ再生部３００、音声特徴量抽出部３０１、音声透かし抽出部３０２、映像透かし抽出部３０３、映像特徴量抽出部３０４、音声特徴量遅延部３０５、特徴量再構成部３０６、映像特徴量遅延部３０７、音声改ざん検出部３０８、および映像改ざん検出部３０９を有する。改ざん検出装置３０内の各機能の動作については、図１６以降のフローチャートを用いて説明する。
【００６８】
図１６は、改ざん検出装置３０の動作の一例を示すフローチャートである。改ざん検出装置３０は、所定の時間間隔（本実施形態では１秒）のフレームのコンテンツを記録媒体１３から読み込む毎に、図１６のフローチャートに示す処理を実行する。なお、コンテンツ再生部３００は、記録媒体１３から読み出したコンテンツを再生してスピーカ１４および表示装置１５を介して出力する通常のコンテンツ再生機能を実現するブロックであるため、コンテンツ再生部３００の動作についての説明は省略する。
【００６９】
まず、音声特徴量抽出部３０１は、記録媒体１３から１フレーム分の音声データxa[i](0≦i＜XA)を読み込み、図７を用いて説明した特徴量の抽出処理を実行して、読み込んだ音声データxa[i]から音声特徴量fa[i]を抽出する（Ｓ３００）。また、映像特徴量抽出部３０４は、記録媒体１３から１フレーム分の映像データxv[i](0≦i＜XV)を読み込み、図９を用いて説明した特徴量の抽出処理を実行して、読み込んだ映像データxv[i]から映像特徴量fv[i]を抽出する（Ｓ３００）。
【００７０】
次に、音声特徴量遅延部３０５は、図１０を用いて説明した特徴量の遅延処理を実行して、音声特徴量抽出部３０１によって抽出された音声特徴量fa[i]を、透かし情報埋込装置２０の音声特徴量遅延部２０６が遅延させたフレーム数分遅延させる（Ｓ４００）。同様に、映像特徴量遅延部３０７は、図１２を用いて説明した特徴量の遅延処理を実行して、映像特徴量抽出部３０４によって抽出された映像特徴量fv[i]を、透かし情報埋込装置２０の映像特徴量抽出部２０８が遅延させたフレーム数分遅延させる（Ｓ４００）。
【００７１】
次に、音声透かし抽出部３０２および映像透かし抽出部３０３は、それぞれ、記録媒体１３から１フレーム分の音声データxa[i](0≦i＜XA)および映像データxv[i](0≦i＜XV)を読み込み、後述する透かし情報の抽出処理を実行して、読取音声透かし情報dda[i]および読取映像透かし情報ddv[i]を抽出する（Ｓ６００）。
【００７２】
次に、特徴量再構成部３０６は、後述する特徴量の再構成処理を実行することにより、ステップＳ６００で抽出された読取音声透かし情報dda[i]および読取映像透かし情報ddv[i]から、読取音声特徴量fad[i]および読取映像特徴量fvd[i]をそれぞれ復元する（Ｓ７００）。
【００７３】
次に、音声改ざん検出部３０８は、ステップＳ４００で遅延された音声特徴量fa[i]と、ステップＳ７００で復元された読取音声特徴量fad[i]とを比較することにより、音声データxa[i]の改ざんの有無を判定する（Ｓ８００）。また、映像改ざん検出部３０９は、ステップＳ４００で遅延された映像特徴量fv[i]と、ステップＳ７００で復元された読取映像特徴量fvd[i]とを比較することにより、映像データxv[i]の改ざんの有無を判定し（Ｓ８００）、改ざん検出装置３０は、本フローチャートに示した処理を終了する。
【００７４】
図１７は、第１の実施形態における音声データについての透かし情報の抽出処理（Ｓ６００）の一例を示すフローチャートである。音声透かし抽出部３０２は、１フレーム毎に記録媒体１３から読み出した音声データxa[i]について、本フローチャートに示す処理を実行する。
【００７５】
まず、音声透かし抽出部３０２は、音声透かし情報埋込位置pwa[i](0≦i＜DA)を準備する（Ｓ６０１）。音声透かし情報埋込位置pwa[i]は、図４で説明した音声透かし情報埋込位置pwa[i]と同一の数列であり、音声透かし埋込部２０２によって用いられた音声透かし情報埋込位置pwa[i]が、例えば改ざん検出装置３０の管理者等によって予め改ざん検出装置３０に登録される。
【００７６】
次に、音声透かし抽出部３０２は、変数ivaの値を０に初期化し（Ｓ６０２）、音声データxaのpwa[iva]番目のビットを、読取音声透かし情報ddaのiva番目のビットに格納する（Ｓ６０３）。そして、音声透かし抽出部３０２は、変数ivaの値が音声透かし情報ビット長DAの値と一致したか否かを判定する（Ｓ６０４）。変数ivaの値が音声透かし情報ビット長DAの値と異なる場合（Ｓ６０４：Ｎｏ）、音声透かし抽出部３０２は、変数ivaの値を１増やして（Ｓ６０５）、再びステップＳ６０３に示した処理を実行する。変数ivaの値が音声透かし情報ビット長DAの値と一致した場合（Ｓ６０４：Ｙｅｓ）、音声透かし抽出部３０２は、読取音声透かし情報dda[i]を特徴量再構成部３０６へ出力し（Ｓ６０６）、本フローチャートに示した処理を終了する。
【００７７】
ここで、ステップＳ６０３からＳ６０５の処理を図１８を用いて説明すると、音声透かし情報埋込位置pwa[i]が例えば{2,6,0,4,・・・}である場合、音声透かし抽出部３０２は、読取音声透かし情報dda[0]のビット４１０に、音声データxa[pwa[0]]＝xa[2]のビット４０８を格納し、読取音声透かし情報dda[1]のビット４１１に、音声データxa[pwa[1]]＝xa[6]のビット４０９を格納する。音声透かし抽出部３０２は、音声データxa[i]の偶数番目のビットに埋め込まれている音声透かし情報dea[i]のビットを読取音声透かし情報dda[i]のビットとして抽出する。
【００７８】
図１９は、第１の実施形態における映像データについての透かし情報の抽出処理（Ｓ６００）の一例を示すフローチャートである。映像透かし抽出部３０３は、１フレーム毎に記録媒体１３から読み出した映像データxv[i]について、本フローチャートに示す処理を実行する。
【００７９】
まず、映像透かし抽出部３０３は、映像透かし情報埋込位置pwv[i](0≦i＜DV)を準備する（Ｓ６１１）。映像透かし情報埋込位置pwv[i]は、図６で説明した映像透かし情報埋込位置pwv[i]と同一の数列であり、映像透かし埋込部２０４によって用いられた映像透かし情報埋込位置pwv[i]が、例えば改ざん検出装置３０の管理者等によって予め改ざん検出装置３０に登録される。
【００８０】
次に、映像透かし抽出部３０３は、変数ivvの値を０に初期化し（Ｓ６１２）、映像データxvのpwv[ivv]番目のビットを、読取映像透かし情報ddvのivv番目のビットに格納する（Ｓ６１３）。そして、映像透かし抽出部３０３は、変数ivvの値が映像透かし情報ビット長DVの値と一致したか否かを判定する（Ｓ６１４）。変数ivvの値が映像透かし情報ビット長DVの値と異なる場合（Ｓ６１４：Ｎｏ）、映像透かし抽出部３０３は、変数ivvの値を１増やして（Ｓ６１５）、再びステップＳ６１３に示した処理を実行する。変数ivvの値が映像透かし情報ビット長DVの値と一致した場合（Ｓ６１４：Ｙｅｓ）、映像透かし抽出部３０３は、読取映像透かし情報ddv[i]を特徴量再構成部３０６へ出力し（Ｓ６１６）、本フローチャートに示した処理を終了する。
【００８１】
図２０は、特徴量の再構成処理（Ｓ７００）の動作の一例を示すフローチャートである。特徴量再構成部３０６は、１フレーム毎に音声透かし抽出部３０２および映像透かし抽出部３０３からそれぞれ出力された読取音声透かし情報dda[i]および読取映像透かし情報ddv[i]について、本フローチャートに示す処理を実行する。
【００８２】
まず、特徴量再構成部３０６は、読取音声透かし情報dda[i](0≦i＜DAH)および読取映像透かし情報ddv[i](0≦i＜DVH)のそれぞれのヘッダ情報を読み込んで、音声透かし情報ヘッダ長DAH、映像透かし情報ヘッダ長DVH、分割パラメータFAA、分割パラメータFAV、分割パラメータFVA、分割パラメータFVV、時間情報、音声特徴量バッファ数BFA、および映像特徴量バッファ数BFV等の情報を取得する（Ｓ７０１）。
【００８３】
次に、特徴量再構成部３０６は、図２１に示すように、読取音声透かし情報dda[i](DAH≦i＜DAH＋FAA)を、読取音声特徴量fad[i](0≦i＜FAA)に格納し（Ｓ７０２）、読取音声透かし情報dda[i](DAH＋FAA≦i＜DVH＋FAA＋FVA)を、読取映像特徴量fvd[i](0≦i＜FVA)に格納する（Ｓ７０３）。
【００８４】
次に、特徴量再構成部３０６は、図２１に示すように、読取映像透かし情報ddv[i](DVH≦i＜DVH＋FAV)を、読取音声特徴量fad[i](FAA≦i＜FA)に格納し（Ｓ７０４）、読取映像透かし情報ddv[i](DVH＋FAV≦i＜DVH＋FAV＋FVV)を、読取映像特徴量fvd[i](FVA≦i＜FV)に格納する（Ｓ７０５）。そして、特徴量再構成部３０６は、読取音声特徴量fad[i]を音声改ざん検出部３０８へ出力し、読取映像特徴量fvd[i]を映像改ざん検出部３０９へ出力し（Ｓ７０６）、本フローチャートに示した処理を終了する。
【００８５】
図２２は、音声データについての改ざん判定処理（Ｓ８００）の一例を示すフローチャートである。音声特徴量遅延部３０５から音声特徴量fa[i]を受け取ると共に、特徴量再構成部３０６から読取音声特徴量fad[i]を受け取った場合に、音声改ざん検出部３０８は、本フローチャートに示す処理を実行する。
【００８６】
まず、音声改ざん検出部３０８は、変数ｉおよびｊの値を０に初期化し（Ｓ８０１）、読取音声特徴量fad[i]の値と音声特徴量fa[i]の値とが一致するか否かを判定する（Ｓ８０２）。読取音声特徴量fad[i]の値と音声特徴量fa[i]の値とが一致した場合（Ｓ８０２：Ｙｅｓ）、音声改ざん検出部３０８は、ステップＳ８０４に示す処理を実行する。
【００８７】
読取音声特徴量fad[i]の値と音声特徴量fa[i]の値とが異なる場合（Ｓ８０２：Ｎｏ）、音声改ざん検出部３０８は、変数ｊの値を１増やし（Ｓ８０３）、変数ｉの値と音声特徴量ビット長FAの値とが一致したか否かを判定する（Ｓ８０４）。変数ｉの値と音声特徴量ビット長FAの値とが異なる場合（Ｓ８０４：Ｎｏ）、音声改ざん検出部３０８は、変数ｉの値を１増やし（Ｓ８０５）、再びステップＳ８０２に示した処理を実行する。
【００８８】
変数ｉの値と音声特徴量ビット長FAの値とが一致した場合（Ｓ８０４：Ｙｅｓ）、音声改ざん検出部３０８は、変数ｊの値が０よりも大きいか否かを判定する（Ｓ８０６）。変数ｊの値が０である場合（Ｓ８０６：Ｎｏ）、音声改ざん検出部３０８は、本フローチャートに示した処理を終了する。変数ｊの値が０よりも大きい場合（Ｓ８０６：Ｙｅｓ）、音声改ざん検出部３０８は、例えば図２３に示すように、画像５０の領域５２に、音声の改ざんが検出された旨を表示し（Ｓ８０７）、本フローチャートに示した処理を終了する。
【００８９】
なお、図２３に示すように、画像５０の領域５１には、コンテンツ再生部３００によって再生された映像が表示され、領域５２には、改ざんが検出された場合に、その旨および改ざんが検出されたフレームの直前のフレームに含まれているヘッダ情報内の時刻情報等が表示される。
【００９０】
図２４は、映像データについての改ざん判定処理（Ｓ８００）の一例を示すフローチャートである。映像特徴量遅延部３０７から映像特徴量fv[i]を受け取ると共に、特徴量再構成部３０６から読取映像特徴量fvd[i]を受け取った場合に、映像改ざん検出部３０９は、本フローチャートに示す処理を実行する。
【００９１】
まず、映像改ざん検出部３０９は、変数ｉおよびｊの値を０に初期化し（Ｓ８１１）、読取映像特徴量fvd[i]の値と映像特徴量fv[i]の値とが一致するか否かを判定する（Ｓ８１２）。読取映像特徴量fvd[i]の値と映像特徴量fv[i]の値とが一致した場合（Ｓ８１２：Ｙｅｓ）、映像改ざん検出部３０９は、ステップＳ８１４に示す処理を実行する。
【００９２】
読取映像特徴量fvd[i]の値と映像特徴量fv[i]の値とが一致しない場合（Ｓ８１２：Ｎｏ）、映像改ざん検出部３０９は、変数ｊの値を１増やし（Ｓ８１３）、変数ｉの値と映像特徴量ビット長FVの値とが一致したか否かを判定する（Ｓ８１４）。変数ｉの値と映像特徴量ビット長FVの値とが異なる場合（Ｓ８１４：Ｎｏ）、映像改ざん検出部３０９は、変数ｉの値を１増やし（Ｓ８１５）、再びステップＳ８１２に示した処理を実行する。
【００９３】
変数ｉの値と映像特徴量ビット長FVの値とが一致した場合（Ｓ８１４：Ｙｅｓ）、映像改ざん検出部３０９は、変数ｊの値が０よりも大きいか否かを判定する（Ｓ８１６）。変数ｊの値が０である場合（Ｓ８１６：Ｎｏ）、映像改ざん検出部３０９は、本フローチャートに示した処理を終了する。変数ｊの値が０よりも大きい場合（Ｓ８１６：Ｙｅｓ）、映像改ざん検出部３０９は、例えば図２３に示すように、画像５０の領域５２に、映像の改ざんが検出された旨を表示し（Ｓ８１７）、本フローチャートに示した処理を終了する。
【００９４】
以上、本発明の第１の実施形態について説明した。
【００９５】
上記説明から明らかなように、本実施形態の改ざん検出システム１０によれば、音声データと映像データとの関連付けを行ないつつ、それぞれについて、改ざん検出精度を高く保つと共に、元のデータの品質劣化を低く抑えることができる。
【００９６】
次に、本発明の第２の実施形態について説明する。
【００９７】
本実施形態では、透かし情報埋込装置２０において、透かし情報の埋込位置および特徴量の抽出位置を擬似乱数を用いて決定すると共に、特徴量から透かし情報を作成する際に、特徴量を擬似乱数を用いて並べ替えることにより、透かし情報の秘匿性を高める。また、改ざん検出装置３０では、透かし情報埋込装置２０が使用した擬似乱数と同一の擬似乱数を用いて、透かし情報の抽出位置および特徴量の抽出位置を決定すると共に、抽出した透かし情報から特徴量を復元する際に、透かし情報埋込装置２０によって行なわれた並べ替えを元に戻す。
【００９８】
例えば、音声透かし埋込部２０２は、図４のステップＳ２０１において、透かし情報埋込装置２０の管理者等によって予め設定された定数SEED1を用いて擬似乱数を生成し、XAが偶数あれば数列{0,2,4,…,XA-2}を、XAが奇数であれば数列{0,2,4,…,XA-1}を、生成した擬似乱数を用いてランダムに並び替えた後、先頭のDA個を選択することにより、音声透かし情報埋込位置pwa[i]を生成する。
【００９９】
また、映像透かし埋込部２０４は、例えば、図６のステップＳ２１１において、透かし情報埋込装置２０の管理者等によって予め設定された定数SEED2を用いて擬似乱数を生成し、XVが偶数であれば数列{0,2,4,…,XV-2}を、XVが奇数であれば数列{0,2,4,…,XV-1}を、生成した擬似乱数を用いてランダムに並び替えた後、先頭のDV個を選択することにより、映像透かし情報埋込位置pwv[i]を生成する。
【０１００】
また、音声特徴量抽出部２０５は、例えば、図７のステップＳ３０１において、透かし情報埋込装置２０の管理者等によって予め設定された定数SEED3を用いて擬似乱数を生成し、XAが偶数であれば数列{0,1,2,…,XA/2-1}から、XAが奇数であれば数列{0,1,2,…,(XA-1)/2}から、生成した擬似乱数を用いてランダムにFA個の数字{xn}を選択し、{2xn+1}を計算することにより、音声特徴量抽出位置pfa[i]を生成する。
【０１０１】
また、映像特徴量抽出部２０８は、例えば、図９のステップＳ３１１において、透かし情報埋込装置２０の管理者等によって予め設定された定数SEED4を用いて擬似乱数を生成し、XVが偶数であれば数列{0,1,2,…,XV/2-1}から、XVが奇数であれば数列{0,1,2,…,(XV-1)/2}から、擬似乱数を用いてランダムにFV個の数字{xn}を選択し、{2xn+1}を計算することにより、映像特徴量抽出位置pfv[i]を生成する。
【０１０２】
また、透かし情報作成部２０３は、例えば、図１３のステップＳ５０１の前に、透かし情報埋込装置２０の管理者等によって予め設定された定数SEED5を用いて擬似乱数を生成し、音声特徴量遅延部２０６から出力された音声特徴量fa[i]および映像特徴量遅延部２０７から出力された映像特徴量fv[i]を、生成した擬似乱数を用いてそれぞれランダムに並び替えた後に、並び替えた音声特徴量fa[i]および映像特徴量fv[i]についてステップＳ５０１以降の処理を実行する。
【０１０３】
例えば、透かし情報作成部２０３は、{1,2,3,…,FA}の数列z[i]をつくり、生成した擬似乱数を用いてこれをランダムに並び替えて数列z'[i]を作成する。そして、透かし情報作成部２０３は、音声特徴量fa[i]の各要素を音声特徴量fa'[z'[i]]にコピーし、fa'[i]の各要素をfa[i]にコピーすることにより、音声特徴量fa[i]の各要素をランダムに並べ替える。映像特徴量fv[i]についても同様に、透かし情報作成部２０３は、映像特徴量fv[i]の各要素を、映像特徴量fa'[z'[i]]にコピーし、fa'[i]の各要素をfa[i]にコピーすることにより、映像特徴量fa[i]の各要素をランダムに並べ替える。
【０１０４】
また、透かし情報作成部２０３は、例えば、図１３のステップＳ５０５の後に、透かし情報埋込装置２０の管理者等によって予め設定された定数SEED5を用いて擬似乱数を生成し、ステップＳ５０３で作成した音声透かし情報dea[i]およびステップＳ５０５で作成した音声透かし情報dea[i]を、生成した擬似乱数を用いてそれぞれランダムに並び替えてから、並び替えた音声透かし情報dea[i]および音声透かし情報dea[i]についてステップＳ５０６の処理を実行する。
【０１０５】
なお、上記した擬似乱数の生成方法は、同一の定数から同一の擬似乱数が生成可能な方法であれば、どのような方法でもかまわない。また、擬似乱数が同一の場合に同一の並び替え結果となる方法であれば、上記した並び替えは他の方法によって行なわれてもよい。例えば、プログラミング言語C++では標準関数としてランダムな並べ替えを行う関数を備えており、これを用いてもよい。
【０１０６】
また、透かし情報埋込装置２０において擬似乱数の生成に使用されたSEED1からSEED5は、コンテンツデータと共に記録媒体１３に記録される、あるいは、他の記録媒体を経由することにより、改ざん検出装置３０によって当該コンテンツデータの改ざんの有無が判定される前に、予め改ざん検出装置３０に提供される。
【０１０７】
また、音声透かし抽出部３０２は、例えば、図１７のステップＳ６０１において、予め取得したSEED1を用いて擬似乱数を生成し、生成した擬似乱数を用いて音声透かし情報埋込位置pwa[i]を復元する。また、映像透かし抽出部３０３は、例えば、図１９のステップＳ６１１において、予め取得したSEED2を用いて擬似乱数を生成し、生成した擬似乱数を用いて映像透かし情報埋込位置pwv[i]を復元する。
【０１０８】
また、特徴量再構成部３０６は、例えば、図２０のステップＳ７０１の前に、予め取得したSEED5を用いて擬似乱数を生成し、読取音声透かし情報dda[i]および読取映像透かし情報ddv[i]について、生成した擬似乱数を用いて、図１３のステップＳ５０６の前に行われた並び替えと逆の操作を行なうことにより、読取音声透かし情報dda[i]および読取映像透かし情報ddv[i]の並びを元に戻す。
【０１０９】
また、特徴量再構成部３０６は、例えば、図２０のステップＳ７０６の前に、予め取得したSEED5を用いて擬似乱数を生成し、読取音声特徴量fad[i]および読取映像特徴量fvd[i]について、生成した擬似乱数を用いて、図１３のステップＳ５０１の前に行われた並び替えと逆の操作を行なうことにより、読取音声特徴量fad[i]および読取映像特徴量fvd[i]の並びを元に戻す。
【０１１０】
以上、本発明の第２の実施形態について説明した。
【０１１１】
上記説明から明らかなように、本実施形態の改ざん検出システム１０によれば、透かし情報の秘匿性を高めることができる。
【０１１２】
次に、本発明の第３の実施形態について説明する。
【０１１３】
本実施形態では、透かし情報埋込装置２０が、フレーム毎に、音声データおよび映像データから抽出した特徴量を複数回用いて透かし情報を作成して音声データおよび映像データに埋め込み、改ざん検出装置３０が、フレーム毎に複数の特徴量のそれぞれのビットの値から、特徴量のビットの値を多数決により特定する。
【０１１４】
これにより、改ざん検出装置３０は、記録媒体１３に記録されたデータが劣化した場合や、データのわずかな変化を伴う変換が記録媒体１３に記録されたコンテンツデータに施された場合等、コンテンツの改ざんとは異なる変化をキャンセルして、コンテンツの改ざんの有無を精度よく判定することができる。なお、以下では、第１の実施形態における改ざん検出システム１０と異なる部分について説明する。
【０１１５】
図２５は、第３の実施形態における音声データについての透かし情報埋め込み処理（Ｓ２００）の一例を示すフローチャートである。音声透かし埋込部２０２は、１フレーム毎の音声データxa[i]について、本フローチャートに示す処理を実行する。
【０１１６】
まず、音声透かし埋込部２０２は、音声透かし情報埋込位置pwa[i](0≦i＜WA)を準備する（Ｓ２２０）。ここで、音声透かし情報総ビット長WAは、１フレームの音声データに埋め込まれる音声透かし情報のデータの総量を示す。本実施形態では、音声データ64ビット当たりに１ビットの割合で音声透かし情報を埋め込む。また、本実施形態では、音声透かし情報dea[i](0≦i＜DA)を音声データxa[i]に３回埋め込むことを想定している。本実施形態では、音声透かし情報総ビット長WAは12,000であり、音声透かし情報ビット長DAはWA÷3＝4,000である。
【０１１７】
音声透かし情報埋込位置pwa[i]は、0≦pwa[i]＜XAかつpwa[i]mod2＝0を満たし、0≦i＜WAかつ0≦j＜WAかつi≠jを満たす任意の(i,j)について、pwa[i]≠pwa[j]を満たす数列である。本実施形態において、音声透かし情報埋込位置pwa[i]は透かし情報埋込装置２０の管理者等によって予め設定されている。
【０１１８】
次に、音声透かし埋込部２０２は、変数ideaおよびipwaの値を０に初期化し（Ｓ２２１）、前のフレームにおいて透かし情報作成部２０３がステップＳ５００で作成した音声透かし情報deaのidea番目のビットを、ステップＳ１００において音声データ作成部２００が生成した音声データxaのpwa[ipwa]番目のビットと置き換えることにより、音声透かし情報dea[idea]を音声データxa[pwa[ipwa]]に埋め込む（Ｓ２２２）。
【０１１９】
次に、音声透かし埋込部２０２は、変数ipwaの値が音声透かし情報総ビット長WAの値と一致したか否かを判定する（Ｓ２２３）。変数ipwaの値が音声透かし情報総ビット長WAの値と一致した場合（Ｓ２２３：Ｙｅｓ）、音声透かし埋込部２０２は、音声透かし情報dea[i]が埋め込まれた音声データxa[i]を音声特徴量抽出部２０５およびコンテンツ記録部２０９へ出力し（Ｓ２２８）、本フローチャートに示した処理を終了する。
【０１２０】
変数ipwaの値が音声透かし情報総ビット長WAの値と異なる場合（Ｓ２２３：Ｎｏ）、音声透かし埋込部２０２は、変数ideaの値が音声透かし情報ビット長DAの値と一致したか否かを判定する（Ｓ２２４）。変数ideaの値が音声透かし情報ビット長DAの値と一致した場合（Ｓ２２４：Ｙｅｓ）、音声透かし埋込部２０２は、変数ideaの値を０に初期化し（Ｓ２２５）、ステップＳ２２７に示す処理を実行する。変数ideaの値が音声透かし情報ビット長DAの値と異なる場合（Ｓ２２４：Ｎｏ）、音声透かし埋込部２０２は、変数ideaの値を１増やし（Ｓ２２６）、変数ipwaの値を１増やし（Ｓ２２７）、再びステップＳ２２２に示した処理を実行する。
【０１２１】
ここで、ステップＳ２２２からＳ２２７の処理を図２６を用いて説明すると、音声透かし情報総ビット長WAは、音声透かし情報ビット長DAの３倍であるため、音声透かし埋込部２０２は、音声透かし情報dea[i]のそれぞれのビット４１２を３回ずつ、音声透かし情報埋込位置pwa[i]で指定される音声データxa[i]の偶数番目のビット４１３、４１４、および４１５に埋め込む。
【０１２２】
図２７は、第３の実施形態における映像データについての透かし情報埋め込み処理（Ｓ２００）の一例を示すフローチャートである。映像透かし埋込部２０４は、１フレーム毎の映像データxv[i]について、本フローチャートに示す処理を実行する。
【０１２３】
まず、映像透かし埋込部２０４は、映像透かし情報埋込位置pwv[i](0≦i＜WV)を準備する（Ｓ２３０）。ここで、映像透かし情報総ビット長WVは、１フレームの映像データに埋め込まれる映像透かし情報のデータの総量を示す。本実施形態では、映像データの24ビットのうち輝度情報64ビット当たりに１ビットの割合で映像透かし情報を埋め込む。また、本実施形態では、映像透かし情報dev[i](0≦i＜DV)を映像データxv[i]に３回埋め込むことを想定している。また、本実施形態では、映像透かし情報総ビット長WVは1,152,000であり、映像透かし情報ビット長DVはWV÷3＝384,000である。
【０１２４】
映像透かし情報埋込位置pwv[i]は、0≦pwv[i]＜XVかつpwv[i]mod2＝0を満たし、0≦i＜WVかつ0≦j＜WVかつi≠jを満たす任意の(i,j)について、pwv[i]≠pwv[j]を満たす数列である。本実施形態において、映像透かし情報埋込位置pwv[i]は透かし情報埋込装置２０の管理者等によって予め設定されている。
【０１２５】
次に、映像透かし埋込部２０４は、変数idevおよびipwvの値を０に初期化し（Ｓ２３１）、前のフレームにおいて透かし情報作成部２０３がステップＳ５００で作成した映像透かし情報devのidev番目のビットを、ステップＳ１００において音声データ作成部２００が生成した映像データxvのpwv[ipwv]番目のビットと置き換えることにより、映像透かし情報dev[idev]を映像データxv[pwv[ipwv]]に埋め込む（Ｓ２３２）。
【０１２６】
次に、映像透かし埋込部２０４は、変数ipwvの値が映像透かし情報総ビット長WVの値と一致したか否かを判定する（Ｓ２３３）。変数ipwvの値が映像透かし情報総ビット長WVの値と一致した場合（Ｓ２３３：Ｙｅｓ）、映像透かし埋込部２０４は、映像透かし情報dev[i]が埋め込まれた映像データxv[i]を映像特徴量抽出部２０８およびコンテンツ記録部２０９へ出力し（Ｓ２３８）、本フローチャートに示した処理を終了する。
【０１２７】
変数ipwvの値が映像透かし情報総ビット長WVの値と異なる場合（Ｓ２３３：Ｎｏ）、映像透かし埋込部２０４は、変数idevの値が映像透かし情報ビット長DVの値と一致したか否かを判定する（Ｓ２３４）。変数idevの値が映像透かし情報ビット長DVの値と一致した場合（Ｓ２３４：Ｙｅｓ）、映像透かし埋込部２０４は、変数idevの値を０に初期化し（Ｓ２３５）、ステップＳ２３７に示す処理を実行する。変数idevの値が映像透かし情報ビット長DVの値と異なる場合（Ｓ２３４：Ｎｏ）、映像透かし埋込部２０４は、変数idevの値を１増やし（Ｓ２３６）、変数ipwvの値を１増やし（Ｓ２３７）、再びステップＳ２３２に示した処理を実行する。
【０１２８】
図２８は、第３の実施形態における音声データについての透かし情報の抽出処理（Ｓ６００）の一例を示すフローチャートである。音声透かし抽出部３０２は、１フレーム毎に記録媒体１３から読み出した音声データxa[i]について、本フローチャートに示す処理を実行する。
【０１２９】
まず、音声透かし抽出部３０２は、音声透かし情報埋込位置pwa[i](0≦i＜WA)を準備する（Ｓ６２０）。音声透かし情報埋込位置pwa[i]は、図２５で説明した音声透かし情報埋込位置pwa[i]と同一の数列であり、音声透かし埋込部２０２によって用いられた音声透かし情報埋込位置pwa[i]が、例えば改ざん検出装置３０の管理者等によって予め改ざん検出装置３０に登録される。
【０１３０】
次に、音声透かし抽出部３０２は、変数ivaおよび変数ipwaの値を０に初期化し（Ｓ６２１）、音声データxaのpwa[ipwa]番目の値が０か否かを判定する（Ｓ６２２）。音声データxa[pwa[ipwa]]の値が０である場合（Ｓ６２２：Ｙｅｓ）、音声透かし抽出部３０２は、音声投票バッファvaのiva番目のデータの値を１減らし（Ｓ６２３）、ステップＳ６２５に示す処理を実行する。
【０１３１】
音声データxa[pwa[ipwa]]の値が０ではない場合（Ｓ６２２：Ｎｏ）、音声透かし抽出部３０２は、音声投票バッファvaのiva番目のデータの値を１増やし（Ｓ６２４）、変数ipwaの値が音声透かし情報総ビット長WAの値と一致したか否かを判定する（Ｓ６２５）。変数ipwaの値が音声透かし情報総ビット長WAの値と異なる場合（Ｓ６２５：Ｎｏ）、音声透かし抽出部３０２は、変数ivaの値が音声透かし情報ビット長DAの値と一致したか否かを判定する（Ｓ６２６）。
【０１３２】
変数ivaの値が音声透かし情報ビット長DAの値と一致した場合（Ｓ６２６：Ｙｅｓ）、音声透かし抽出部３０２は、変数ivaの値を０に初期化し（Ｓ６２７）、ステップＳ６２９に示す処理を実行する。変数ivaの値が音声透かし情報ビット長DAの値と異なる場合（Ｓ６２６：Ｎｏ）、音声透かし抽出部３０２は、変数ivaの値を１増やし（Ｓ６２８）、変数ipwaの値を１増やし（Ｓ６２９）、再びステップＳ６２２に示した処理を実行する。
【０１３３】
ステップＳ６２５において、変数ipwaの値が音声透かし情報総ビット長WAの値と一致した場合（Ｓ６２５：Ｙｅｓ）、音声透かし抽出部３０２は、変数iddaの値を０に初期化し（Ｓ６３０）、音声投票バッファvaのidda番目のデータの値の符号が正か否かを判定する（Ｓ６３１）。音声投票バッファva[idda]のデータの値の符号が正である場合（Ｓ６３１：Ｙｅｓ）、音声透かし抽出部３０２は、読取音声透かし情報ddaのidda番目のビットに１を設定し（Ｓ６３２）、ステップＳ６３４に示す処理を実行する。
【０１３４】
音声投票バッファva[idda]のデータの値の符号が正でない場合（Ｓ６３１：Ｎｏ）、音声透かし抽出部３０２は、読取音声透かし情報ddaのidda番目のビットに０を設定し（Ｓ６３２）、変数iddaの値を１増やす（Ｓ６３４）。ここで、本実施形態では、音声データxa[i]に音声透かし情報dea[i]の各ビットを３回（奇数回）埋め込むこととしており、音声透かし情報dea[i]の各ビットの値は０または１であるため、音声投票バッファva[idda]の値は０になることはない。
【０１３５】
しかし、音声データxa[i]に音声透かし情報dea[i]の各ビットを遇数回埋め込む場合や、音声透かし情報dea[i]の一部を偶数回埋め込む場合には、音声投票バッファva[idda]の値が０になる場合がある。音声投票バッファva[idda]の値が０となった場合、音声透かし抽出部３０２は、読取音声透かし情報ddaのidda番目のビットに０または１を設定する。このとき、音声透かし抽出部３０２は、０または１の設定が偏らないように、交互に設定することが好ましい。
【０１３６】
次に、音声透かし抽出部３０２は、変数iddaの値が音声透かし情報ビット長DAの値と一致したか否かを判定する（Ｓ６３５）。変数iddaの値が音声透かし情報ビット長DAの値と異なる場合（Ｓ６３５：Ｎｏ）、音声透かし抽出部３０２は、再びステップＳ６３１に示した処理を実行する。変数iddaの値が音声透かし情報ビット長DAの値と一致した場合（Ｓ６３５：Ｙｅｓ）、音声透かし抽出部３０２は、読取音声透かし情報dda[i]を特徴量再構成部３０６へ出力し（Ｓ６３６）、本フローチャートに示した処理を終了する。
【０１３７】
ここで、ステップＳ６２２からＳ６３５の処理を図２９を用いて説明すると、音声透かし抽出部３０２は、音声透かし情報埋込位置pwa[i]で示される音声データxa[i]の偶数番目の３つのビット４１６、４１７、および４１８を読み出して、当該ビットの値が０であれば音声投票バッファva[i]の対応するデータ４１９の値を１減らし、当該ビットの値が１であれば対応するデータ４１９の値を１増やす。そして、音声透かし抽出部３０２は、音声投票バッファva[i]のデータ４１９の値の符号が正であれば、読取音声透かし情報dda[i]の対応するビット４１８の値を１とし、負であれば０とすることにより、多数決により読取音声透かし情報dda[i]のビット４１８の値を決定する。
【０１３８】
これにより、改ざん検出装置３０は、記録媒体１３に記録されたデータが劣化した場合や、データのわずかな変化を伴う変換が記録媒体１３に記録されたコンテンツデータに施された場合等、コンテンツの改ざんとは異なるわずかな変化をキャンセルすることができ、コンテンツの改ざんの有無を精度よく判定することができる。
【０１３９】
図３０は、第３の実施形態における映像データについての透かし情報の抽出処理（Ｓ６００）の一例を示すフローチャートである。映像透かし抽出部３０３は、１フレーム毎に記録媒体１３から読み出した映像データxv[i]について、本フローチャートに示す処理を実行する。
【０１４０】
まず、映像透かし抽出部３０３は、映像透かし情報埋込位置pwv[i](0≦i＜WV)を準備する（Ｓ６４０）。映像透かし情報埋込位置pwv[i]は、図２７で説明した映像透かし情報埋込位置pwv[i]と同一の数列であり、映像透かし埋込部２０４によって用いられた映像透かし情報埋込位置pwv[i]が、例えば改ざん検出装置３０の管理者等によって予め改ざん検出装置３０に登録される。
【０１４１】
次に、映像透かし抽出部３０３は、変数ivvおよび変数ipwvの値を０に初期化し（Ｓ６４１）、映像データxvのpwv[ipwv]番目の値が０か否かを判定する（Ｓ６４２）。映像データxv[pwv[ipwv]]の値が０である場合（Ｓ６４２：Ｙｅｓ）、映像透かし抽出部３０３は、映像投票バッファvvのivv番目のデータの値を１減らし（Ｓ６４３）、ステップＳ６４５に示す処理を実行する。
【０１４２】
映像データxv[pwv[ipwv]]の値が０ではない場合（Ｓ６４２：Ｎｏ）、映像透かし抽出部３０３は、映像投票バッファvvのivv番目のデータの値を１増やし（Ｓ６４４）、変数ipwvの値が映像透かし情報総ビット長WVの値と一致したか否かを判定する（Ｓ６４５）。変数ipwvの値が映像透かし情報総ビット長WVの値と異なる場合（Ｓ６４５：Ｎｏ）、映像透かし抽出部３０３は、変数ivvの値が映像透かし情報ビット長DVの値と一致したか否かを判定する（Ｓ６４６）。
【０１４３】
変数ivvの値が映像透かし情報ビット長DVの値と一致した場合（Ｓ６４６：Ｙｅｓ）、映像透かし抽出部３０３は、変数ivvの値を０に初期化し（Ｓ６４７）、ステップＳ６４９に示す処理を実行する。変数ivvの値が映像透かし情報ビット長DVの値と異なる場合（Ｓ６４６：Ｎｏ）、映像透かし抽出部３０３は、変数ivvの値を１増やし（Ｓ６４８）、変数ipwvの値を１増やし（Ｓ６４９）、再びステップＳ６４２に示した処理を実行する。
【０１４４】
ステップＳ６４５において、変数ipwvの値が映像透かし情報総ビット長WVの値と一致した場合（Ｓ６４５：Ｙｅｓ）、映像透かし抽出部３０３は、変数iddvの値を０に初期化し（Ｓ６５０）、映像投票バッファvvのiddv番目のデータの値の符号が正か否かを判定する（Ｓ６５１）。映像投票バッファvv[iddv]のデータの値の符号が正である場合（Ｓ６５１：Ｙｅｓ）、映像透かし抽出部３０３は、読取映像透かし情報ddvのiddv番目のビットに１を設定し（Ｓ６５２）、ステップＳ６５４に示す処理を実行する。
【０１４５】
映像投票バッファvv[iddv]のデータの値の符号が正でない場合（Ｓ６５１：Ｎｏ）、映像透かし抽出部３０３は、読取映像透かし情報ddvのiddv番目のビットに０を設定し（Ｓ６５２）、変数iddvの値を１増やす（Ｓ６５４）。
【０１４６】
次に、映像透かし抽出部３０３は、変数iddvの値が映像透かし情報ビット長DVの値と一致したか否かを判定する（Ｓ６５５）。変数iddvの値が映像透かし情報ビット長DVの値と異なる場合（Ｓ６５５：Ｎｏ）、映像透かし抽出部３０３は、再びステップＳ６５１に示した処理を実行する。変数iddvの値が映像透かし情報ビット長DVの値と一致した場合（Ｓ６５５：Ｙｅｓ）、映像透かし抽出部３０３は、読取映像透かし情報ddv[i]を特徴量再構成部３０６へ出力し（Ｓ６５６）、本フローチャートに示した処理を終了する。
【０１４７】
以上、本発明の第３の実施形態について説明した。
【０１４８】
なお、上記した第１から第３の実施形態における透かし情報埋込装置２０または改ざん検出装置３０は、例えば図３１に示すような構成のコンピュータ６０によって実現される。コンピュータ６０は、ＣＰＵ（Central Processing Unit）６１、ＲＡＭ（Random Access Memory）６２、ＲＯＭ（Read Only Memory）６３、ＨＤＤ（Hard Disk Drive）６４、通信インターフェイス（Ｉ／Ｆ）６５、入出力インターフェイス（Ｉ／Ｆ）６６、およびメディアインターフェイス（Ｉ／Ｆ）６７を備える。
【０１４９】
ＣＰＵ６１は、ＲＯＭ６３またはＨＤＤ６４に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ６３は、コンピュータ６０の起動時にＣＰＵ６１によって実行されるブートプログラムや、コンピュータ６０のハードウェアに依存するプログラム等を格納する。
【０１５０】
ＨＤＤ６４は、ＣＰＵ６１によって実行されるプログラムおよび当該プログラムによって使用されるデータ等を格納する。通信インターフェイス６５は、通信回線を介して他の機器からデータを受信してＣＰＵ６１へ送ると共に、ＣＰＵ６１が生成したデータを、通信回線を介して他の機器へ送信する。
【０１５１】
ＣＰＵ６１は、入出力インターフェイス６６を介して、スピーカ１４や表示装置１５等の出力装置、および、キーボードやマウス、マイク１１、カメラ１２等の入力装置を制御する。ＣＰＵ６１は、入出力インターフェイス６６を介して、入力装置からデータを取得する。また、ＣＰＵ６１は、生成したデータを、入出力インターフェイス６６を介して出力装置へ出力する。
【０１５２】
メディアインターフェイス６７は、記録媒体６８に格納されたプログラムまたはデータを読み取り、ＲＡＭ６２を介してＣＰＵ６１に提供する。ＣＰＵ６１は、当該プログラムを、メディアインターフェイス６７を介して記録媒体６８からＲＡＭ６２上にロードし、ロードしたプログラムを実行する。記録媒体６８は、例えばＤＶＤ（Digital Versatile Disk）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
【０１５３】
コンピュータ６０が透かし情報埋込装置２０として機能する場合、コンピュータ６０のＣＰＵ６１は、ＲＡＭ６２上にロードされたプログラムを実行することにより、音声データ作成部２００、映像データ作成部２０１、音声透かし埋込部２０２、透かし情報作成部２０３、映像透かし埋込部２０４、音声特徴量抽出部２０５、音声特徴量遅延部２０６、映像特徴量遅延部２０７、映像特徴量抽出部２０８、およびコンテンツ記録部２０９の各機能を実現する。
【０１５４】
また、コンピュータ６０が改ざん検出装置３０として機能する場合、コンピュータ６０のＣＰＵ６１は、ＲＡＭ６２上にロードされたプログラムを実行することにより、コンテンツ再生部３００、音声特徴量抽出部３０１、音声透かし抽出部３０２、映像透かし抽出部３０３、映像特徴量抽出部３０４、音声特徴量遅延部３０５、特徴量再構成部３０６、映像特徴量遅延部３０７、音声改ざん検出部３０８、および映像改ざん検出部３０９の各機能を実現する。
【０１５５】
コンピュータ６０のＣＰＵ６１は、これらのプログラムを、記録媒体６８から読み取って実行するが、他の例として、他の装置から、通信媒体を介してこれらのプログラムを取得してもよい。通信媒体とは、通信回線、または、当該通信回線を伝搬するディジタル信号もしくは搬送波を指す。
【０１５６】
なお、本発明は、上記した実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。
【０１５７】
例えば、上記した各実施形態では、透かし情報埋込装置２０が１つの装置として実現される構成を例に説明したが、本発明はこれに限られず、複数のコンピュータのそれぞれに、透かし情報埋込装置２０内の各機能を分散させ、当該複数のコンピュータを協調動作させて透かし情報埋込装置２０の機能を実現させるようにしてもよい。上記した各実施形態における改ざん検出装置３０についても同様である。
【０１５８】
また、上記した各実施形態における透かし情報埋込装置２０または改ざん検出装置３０内の各構成要素は、実施形態の説明を容易にするために、主な処理内容に応じて機能別に区分したものである。また、構成要素の区分方法やその名称によって、本願発明が制限されることはない。各実施形態における透かし情報埋込装置２０または改ざん検出装置３０内の構成要素は、処理内容に応じてさらに多くの構成要素に区分することもできるし、１つの構成要素がさらに多くの処理を実行するように区分することもできる。
【０１５９】
また、上記した各実施形態において、透かし情報作成部２０３は、音声データxa[i]から抽出した音声特徴量fa[i]の一部および映像データxv[i]から抽出した映像特徴量fv[i]の一部を含む音声透かし情報dea[i]を作成すると共に、音声特徴量fa[i]の残りの部分および映像特徴量fv[i]の残りの部分を含む映像透かし情報dev[i]を作成するが、本発明はこれに限られない。例えば、透かし情報作成部２０３は、音声データxa[i]から抽出した音声特徴量fa[i]の全部および映像データxv[i]から抽出した映像特徴量fv[i]の一部を含む音声透かし情報dea[i]を作成し、映像特徴量fv[i]の残りの部分を含み、音声特徴量fa[i]を含まない映像透かし情報dea[i]を作成するようにしてもよい。
【０１６０】
また、上記した各実施形態では、音声特徴量遅延部２０６および映像特徴量遅延部２０７により各特徴量を３フレーム分遅延させたが、本発明はこれに限られず、透かし情報埋込装置２０が、１フレーム分の時間（上記した各実施形態では１秒）の間に、音声透かし埋込部２０２による透かし情報の埋込処理、音声特徴量抽出部２０５による音声特徴量の抽出処理、および透かし情報作成部２０３による透かし情報の作成処理を終了可能な高性能のコンピュータである場合には、透かし情報埋込装置２０には音声特徴量遅延部２０６および映像特徴量遅延部２０７が設けられていなくてもよい。
【０１６１】
この場合、音声透かし埋込部２０２は、音声データ作成部２００から１フレーム分の音声データxa[i]が出力されるたびに、前のフレームの音声データxa[i]および映像データxv[i]から作成された音声透かし情報dea[i]を音声データxa[i]に埋め込む。これにより、前のフレームから作成された透かし情報が埋め込まれないのは、最初の１フレームのみとなり、改ざんの検出対象となるフレームを多くすることができる。
【符号の説明】
【０１６２】
１０・・・改ざん検出システム、１１・・・マイク、１２・・・カメラ、１３・・・記録媒体、１４・・・スピーカ、１５・・・表示装置、２０・・・透かし情報埋込装置、２００・・・音声データ作成部、２０１・・・映像データ作成部、２０２・・・音声透かし埋込部、２０３・・・透かし情報作成部、２０４・・・映像透かし埋込部、２０５・・・音声特徴量抽出部、２０６・・・音声特徴量遅延部、２０７・・・映像特徴量遅延部、２０８・・・映像特徴量抽出部、２０９・・・コンテンツ記録部、３０・・・改ざん検出装置、３００・・・コンテンツ再生部、３０１・・・音声特徴量抽出部、３０２・・・音声透かし抽出部、３０３・・・映像透かし抽出部、３０４・・・映像特徴量抽出部、３０５・・・音声特徴量遅延部、３０６・・・特徴量再構成部、３０７・・・映像特徴量遅延部、３０８・・・音声改ざん検出部、３０９・・・映像改ざん検出部、５０・・・画像、６０・・・コンピュータ、６１・・・ＣＰＵ、６２・・・ＲＡＭ、６３・・・ＲＯＭ、６４・・・ＨＤＤ、６５・・・通信インターフェイス、６６・・・入出力インターフェイス、６７・・・メディアインターフェイス、６８・・・記録媒体
【図１】
2010268263.tif 000004
【図２】
2010268263.tif 000005
【図３】
2010268263.tif 000006
【図４】
2010268263.tif 000007
【図５】
2010268263.tif 000008
【図６】
2010268263.tif 000009
【図７】
2010268263.tif 000010
【図８】
2010268263.tif 000011
【図９】
2010268263.tif 000012
【図１０】
2010268263.tif 000013
【図１１】
2010268263.tif 000014
【図１２】
2010268263.tif 000015
【図１３】
2010268263.tif 000016
【図１４】
2010268263.tif 000017
【図１５】
2010268263.tif 000018
【図１６】
2010268263.tif 000019
【図１７】
2010268263.tif 000020
【図１８】
2010268263.tif 000021
【図１９】
2010268263.tif 000022
【図２０】
2010268263.tif 000023
【図２１】
2010268263.tif 000024
【図２２】
2010268263.tif 000025
【図２３】
2010268263.tif 000026
【図２４】
2010268263.tif 000027
【図２５】
2010268263.tif 000028
【図２６】
2010268263.tif 000029
【図２７】
2010268263.tif 000030
【図２８】
2010268263.tif 000031
【図２９】
2010268263.tif 000032
【図３０】
2010268263.tif 000033
【図３１】
2010268263.tif 000034