(57)【要約】      （修正有）【課題】動画データと音響データの組合せを含む映像コンテンツに対して、ビットレートを低減しつつ改竄検出可能性を高い精度で維持する装置、方法、システムを提供する。【解決手段】映像コンテンツから、動画ストリームと音響ストリームとを分離し、動画ストリームからフレーム単位に動画特徴量を生成し、各フレームを識別するフレーム識別情報を各フレームに対応する各動画特徴量に付加し、音響ストリームからフレーム単位に音響特徴量を生成し、フレーム識別情報を各フレームに対応する各音響特徴量に付加し、動画特徴量と音響特徴量とのそれぞれに付加されたフレーム識別情報が一致する場合に、当該動画特徴量と当該音響特徴量との少なくとも一部のデータ同士で所定の演算を行うことにより、当該フレームにおける映像特徴量を生成し、当該フレーム識別情報を当該生成した映像特徴量に付加する。【選択図】図１
2016096411.tif 000002
【特許請求の範囲】
【請求項１】
動画データと当該動画データに対応する音響データとを含む映像コンテンツから、動画ストリームと音響ストリームとを分離する分離部と、
前記動画ストリームからフレーム単位に動画特徴量を生成し、各フレームを識別するフレーム識別情報を各フレームに対応する各動画特徴量に付加する動画特徴量生成部と、
前記音響ストリームから前記フレーム単位に音響特徴量を生成し、前記フレーム識別情報を各フレームに対応する各音響特徴量に付加する音響特徴量生成部と、
前記動画特徴量と前記音響特徴量とのそれぞれに付加された前記フレーム識別情報が一致する場合に、当該動画特徴量と当該音響特徴量との少なくとも一部のデータ同士で所定の演算を行うことにより、当該フレームにおける映像特徴量を生成し、当該フレーム識別情報を当該生成した映像特徴量に付加する映像特徴量生成部と、
を備える特徴量生成装置。
【請求項２】
前記動画特徴量生成部は、
前記動画ストリームから動画のフレームレートを検出して前記音響特徴量生成部へ通知し、
前記音響特徴量生成部は、
前記通知された動画のフレームレートに基づいて前記フレーム単位に前記音響特徴量を生成する
請求項１に記載の特徴量生成装置。
【請求項３】
前記音響特徴量生成部は、
前記音響ストリームから音響のビットレートを検出し、
前記通知された動画のフレームレートと、前記検出した音響のビットレートとを用いて前記フレーム識別情報を導出し、
前記導出したフレーム識別情報を各フレームに対応する各音響特徴量に付加する
請求項２に記載の特徴量生成装置。
【請求項４】
前記音響特徴量生成部は、
前記音響ストリームから取得された複数のサンプリング値について、前記フレームに対応するサンプリング値の部分集合に分類し、各部分集合内のサンプリング値に対する統計処理の結果を前記フレーム単位の前記音響特徴量として生成する
請求項１乃至３のいずれか１項に記載の特徴量生成装置。
【請求項５】
前記動画特徴量は、第１のデータ列であり、
前記音響特徴量は、第２のデータ列であり、
前記映像特徴量生成部は、
前記第１のデータ列の各データを前記第２のデータ列のデータ長となるように変換し、
前記変換後の前記第１のデータ列内のデータの少なくとも一部と、前記第２のデータ列とを加算することにより、前記映像特徴量を生成する
請求項１乃至４のいずれか１項に記載の特徴量生成装置。
【請求項６】
前記映像特徴量生成部は、
前記映像特徴量のデータ長が前記動画特徴量及び前記音響特徴量のデータ長の合計値未満となるように、前記映像特徴量を生成する
請求項１乃至４のいずれか１項に記載の特徴量生成装置。
【請求項７】
動画データと当該動画データに対応する音響データとを含む映像コンテンツから、動画ストリームと音響ストリームとを分離し、
前記動画ストリームからフレーム単位に動画特徴量を生成し、各フレームを識別するフレーム識別情報を各フレームに対応する各動画特徴量に付加し、
前記音響ストリームから前記フレーム単位に音響特徴量を生成し、前記フレーム識別情報を各フレームに対応する各音響特徴量に付加し、
前記動画特徴量と前記音響特徴量とのそれぞれに付加された前記フレーム識別情報が一致する場合に、当該動画特徴量と当該音響特徴量との少なくとも一部のデータ同士で所定の演算を行うことにより、当該フレームにおける映像特徴量を生成し、当該フレーム識別情報を当該生成した映像特徴量に付加する、
特徴量生成方法。
【請求項８】
動画データと当該動画データに対応する音響データとを含む映像コンテンツから、動画ストリームと音響ストリームとを分離する分離処理と、
前記動画ストリームからフレーム単位に動画特徴量を生成し、各フレームを識別するフレーム識別情報を各フレームに対応する各動画特徴量に付加する動画特徴量生成処理と、
前記音響ストリームから前記フレーム単位に音響特徴量を生成し、前記フレーム識別情報を各フレームに対応する各音響特徴量に付加する音響特徴量生成処理と、
前記動画特徴量と前記音響特徴量とのそれぞれに付加された前記フレーム識別情報が一致する場合に、当該動画特徴量と当該音響特徴量との少なくとも一部のデータ同士で所定の演算を行うことにより、当該フレームにおける映像特徴量を生成し、当該フレーム識別情報を当該生成した映像特徴量に付加する映像特徴量生成処理と、
をコンピュータに実行させる特徴量生成プログラム。
【請求項９】
動画データと当該動画データに対応する音響データとを含む第１の映像コンテンツから、動画ストリームと音響ストリームとを分離する分離部と、
前記動画ストリームからフレーム単位に動画特徴量を生成し、各フレームを識別するフレーム識別情報を各フレームに対応する各動画特徴量に付加する動画特徴量生成部と、
前記音響ストリームから前記フレーム単位に音響特徴量を生成し、前記フレーム識別情報を各フレームに対応する各音響特徴量に付加する音響特徴量生成部と、
前記動画特徴量と前記音響特徴量とのそれぞれに付加された前記フレーム識別情報が一致する場合に、当該動画特徴量と当該音響特徴量との少なくとも一部のデータ同士で所定の演算を行うことにより、当該フレームにおける第１の映像特徴量を生成し、当該フレーム識別情報を当該生成した第１の映像特徴量に付加し、前記第１の映像特徴量を記憶装置に格納する映像特徴量生成部と、
前記第１の映像コンテンツに所定の変換が行われた第２の映像コンテンツの改竄を検出する検出部と、を備え、
前記検出部は、
外部からの指示に応じて、前記分離部、前記動画特徴量生成部、前記音響特徴量生成部及び前記映像特徴量生成部を用いて、前記第２の映像コンテンツにおける第２の映像特徴量を生成し、
前記記憶装置に格納された前記第１の映像特徴量と前記生成した第２の映像特徴量とを比較して、前記第２の映像コンテンツの改竄を検出する
改竄検出システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特徴量生成装置、特徴量生成方法、特徴量生成プログラム及び改竄検出システムに関し、特に、動画と音声を含む映像コンテンツの改竄を検出するための特徴量生成装置、特徴量生成方法、特徴量生成プログラム及び改竄検出システムに関する。
【背景技術】
【０００２】
デジタルデータ画像及び動画の改竄検出方法としては、例えば、電子透かしに関する技術がある。この方式では、画像及び動画作成後に電子透かしをその画像及び動画に埋め込む。これにより、画像及び動画に改竄が行われた場合、埋め込まれていた電子透かしが損なわれることで、その改竄を検出可能となっている。近年の電子透かしに関する技術は、例えば、特許文献１に開示されている。
【０００３】
また、別の改竄検出方法としては、例えば、ハッシュ値を用いる技術がある。この場合、まず、事前にその画像及び動画全体又は各部分についてハッシュ値を記録し、必要に応じて再生成されたハッシュ値とその事前に記録されたハッシュ値の一致を確認する。これにより、その画像及び動画の原本性を確認する方式である。ハッシュ値を利用した改竄検出する技術は、例えば、特許文献２に開示されている。
【０００４】
以下、音声情報を含まない動画ストリームと、音声ストリームを組み合わせた情報データを映像コンテンツ（又は、単に「映像」）と呼称する。
【０００５】
近年、地上放送形式のデジタル化や映像販売媒体としてのBlu-ray(登録商標)ディスクの台頭に代表されるように、映像コンテンツの高ビットレート化が顕著になってきている。そのため、映像コンテンツのファイルサイズは大きくならざるを得ず、映像コンテンツを保管する為のストレージを圧迫することとなる。しかし、長期に渡って映像コンテンツを保管する場合はストレージの維持コストを削減する為、又は、ストレージ容量などの映像処理性能に余裕が無いクライアント端末で映像制御を可能とする為、必要に応じて保管された映像コンテンツのビットレートを低減し、ファイルサイズを小さくする工夫が求められる。
【０００６】
ＭＰＥＧ（Moving Picture Experts Group）−７（ＩＳＯ／ＩＥＣ  １５９３８）は動画情報検索などにおいて、索引として必要となる動画情報の特徴量を定めた国際標準化規格である。ＭＰＥＧ−７には、動画に対して各々に、ファイルデータからではなくコンテンツ内容からその特徴量を生成する方式が規格化されている。そのため、異なるファイルフォーマット（コーデックとビットレート）の動画に対してそのコンテンツ内容の同一性を検証可能としている。尚、ＭＰＥＧ−７規格動画特徴量は、フォーマット変換以外でも、デジタルコピー、解像度フレームレート変換、色・輝度変換、再符号化、アナログコピー、カメラ撮影、テロップ重畳の改変処理に対して頑健な耐性をもつ。尚、特許文献３には、ＭＰＥＧ−７の標準化で採用されているビデオシグネチャの抽出を適用した技術が開示されている。
【０００７】
尚、特許文献４には、音声情報と画像情報を総合的に用いるマルチモーダル音声区間検出により、音声区間検出における音響雑音の影響を抑制することができる音声区間検出装置に関する技術が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１０−２４５８７６号公報
【特許文献２】特開２０１１−０７５８６７号公報
【特許文献３】国際公開第２０１２／１３２５３０号
【特許文献４】特開２０１１−０５９１８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述した技術では、動画と音声の組合せを含む映像コンテンツに対して、ビットレートを低減しつつ改竄検出可能性を維持するための精度が不十分であるという問題点がある。例えば、特許文献４に係る技術は、画像フレームから画像特徴量を生成し、音声フレームから生成した音響特徴量と、当該音響特徴量のフレーム番号に対応する画像特徴量とを単純に連結して音響画像特徴量を生成するものである。そのため、音響画像特徴量から連結前の音響特徴量と画像特徴量とへ容易に分離することができる。よって、元の映像コンテンツを改竄する際に、ある画像フレームとその画像フレームに対応する画像特徴量との組み合わせがまとめて差し替えられた場合には、その改竄を検出することが困難である。つまり、改竄検出可能性を維持するための精度が不十分といえる。
【００１０】
本発明は、このような問題点を解決するためになされたものであり、動画データと音響データの組合せを含む映像コンテンツに対して、ビットレートを低減しつつ改竄検出可能性を高い精度で維持するための特徴量生成装置、特徴量生成方法、特徴量生成プログラム及び改竄検出システムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の第１の態様にかかる特徴量生成装置は、
動画データと当該動画データに対応する音響データとを含む映像コンテンツから、動画ストリームと音響ストリームとを分離する分離部と、
前記動画ストリームからフレーム単位に動画特徴量を生成し、各フレームを識別するフレーム識別情報を各フレームに対応する各動画特徴量に付加する動画特徴量生成部と、
前記音響ストリームから前記フレーム単位に音響特徴量を生成し、前記フレーム識別情報を各フレームに対応する各音響特徴量に付加する音響特徴量生成部と、
前記動画特徴量と前記音響特徴量とのそれぞれに付加された前記フレーム識別情報が一致する場合に、当該動画特徴量と当該音響特徴量との少なくとも一部のデータ同士で所定の演算を行うことにより、当該フレームにおける映像特徴量を生成し、当該フレーム識別情報を当該生成した映像特徴量に付加する映像特徴量生成部と、
を備える。
【００１２】
本発明の第２の態様にかかる特徴量生成方法は、
動画データと当該動画データに対応する音響データとを含む映像コンテンツから、動画ストリームと音響ストリームとを分離し、
前記動画ストリームからフレーム単位に動画特徴量を生成し、各フレームを識別するフレーム識別情報を各フレームに対応する各動画特徴量に付加し、
前記音響ストリームから前記フレーム単位に音響特徴量を生成し、前記フレーム識別情報を各フレームに対応する各音響特徴量に付加し、
前記動画特徴量と前記音響特徴量とのそれぞれに付加された前記フレーム識別情報が一致する場合に、当該動画特徴量と当該音響特徴量との少なくとも一部のデータ同士で所定の演算を行うことにより、当該フレームにおける映像特徴量を生成し、当該フレーム識別情報を当該生成した映像特徴量に付加する。
【００１３】
本発明の第３の態様にかかる特徴量生成プログラムは、
動画データと当該動画データに対応する音響データとを含む映像コンテンツから、動画ストリームと音響ストリームとを分離する分離処理と、
前記動画ストリームからフレーム単位に動画特徴量を生成し、各フレームを識別するフレーム識別情報を各フレームに対応する各動画特徴量に付加する動画特徴量生成処理と、
前記音響ストリームから前記フレーム単位に音響特徴量を生成し、前記フレーム識別情報を各フレームに対応する各音響特徴量に付加する音響特徴量生成処理と、
前記動画特徴量と前記音響特徴量とのそれぞれに付加された前記フレーム識別情報が一致する場合に、当該動画特徴量と当該音響特徴量との少なくとも一部のデータ同士で所定の演算を行うことにより、当該フレームにおける映像特徴量を生成し、当該フレーム識別情報を当該生成した映像特徴量に付加する映像特徴量生成処理と、
をコンピュータに実行させる。
【００１４】
本発明の第４の態様にかかる改竄検出システムは、
動画データと当該動画データに対応する音響データとを含む第１の映像コンテンツから、動画ストリームと音響ストリームとを分離する分離部と、
前記動画ストリームからフレーム単位に動画特徴量を生成し、各フレームを識別するフレーム識別情報を各フレームに対応する各動画特徴量に付加する動画特徴量生成部と、
前記音響ストリームから前記フレーム単位に音響特徴量を生成し、前記フレーム識別情報を各フレームに対応する各音響特徴量に付加する音響特徴量生成部と、
前記動画特徴量と前記音響特徴量とのそれぞれに付加された前記フレーム識別情報が一致する場合に、当該動画特徴量と当該音響特徴量との少なくとも一部のデータ同士で所定の演算を行うことにより、当該フレームにおける第１の映像特徴量を生成し、当該フレーム識別情報を当該生成した第１の映像特徴量に付加し、前記第１の映像特徴量を記憶装置に格納する映像特徴量生成部と、
前記第１の映像コンテンツに所定の変換が行われた第２の映像コンテンツの改竄を検出する検出部と、を備え、
前記検出部は、
外部からの指示に応じて、前記分離部、前記動画特徴量生成部、前記音響特徴量生成部及び前記映像特徴量生成部を用いて、前記第２の映像コンテンツにおける第２の映像特徴量を生成し、
前記記憶装置に格納された前記第１の映像特徴量と前記生成した第２の映像特徴量とを比較して、前記第２の映像コンテンツの改竄を検出する。
【発明の効果】
【００１５】
本発明により、動画データと音響データの組合せを含む映像コンテンツに対して、ビットレートを低減しつつ改竄検出可能性を高い精度で維持するための特徴量生成装置、特徴量生成方法、特徴量生成プログラム及び改竄検出システムを提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施の形態１にかかる特徴量生成装置の構成を示すブロック図である。
【図２】本発明の実施の形態１にかかる動画特徴量生成部の内部構成を示すブロック図である。
【図３】本発明の実施の形態１にかかる音響特徴量生成部の内部構成を示すブロック図である。
【図４】本発明の実施の形態１にかかる映像特徴量生成部の内部構成を示すブロック図である。
【図５】本発明の実施の形態１にかかる特徴量生成処理の流れを示すフローチャートである。
【図６】本発明の実施の形態１にかかる動画特徴量生成処理の流れを示すフローチャートである。
【図７】本発明の実施の形態１にかかる音響特徴量生成処理の流れを示すフローチャートである。
【図８】本発明の実施の形態２にかかる改竄検出システムの構成を示すブロック図である。
【図９】本発明の実施の形態３にかかる改竄検出システムの構成を示すブロック図である。
【図１０】本発明の実施の形態３にかかる映像コンテンツの登録の流れを説明するための図である。
【図１１】本発明の実施の形態３にかかる映像コンテンツの配信の流れを説明するための図である。
【図１２】本発明の実施の形態３にかかるクライアント装置が保持する映像コンテンツの改竄検出の流れを説明するための図である。
【図１３】本発明の実施の形態３にかかる映像管理部が保持する映像コンテンツの改竄検出の流れを説明するための図である。
【発明を実施するための形態】
【００１７】
以下では、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。各図面において、同一要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略する。
【００１８】
まず、発明者が上述した課題を発見するに至った経緯について、以下に説明する。
例えば、上述した電子透かしによる改竄検出方式の場合、十分な改竄検出性能を持たせる為には、電子透かしを各動画フレームの全域へ密に埋め込む必要がある。しかし、電子透かしを密に埋め込んだ場合、画質が大きく劣化してしまうという課題がある。また、動画ストリームにエンコード又は再エンコード処理を行った場合、映像コンテンツの内容としては不変にも関わらず、電子透かしが損なわれるという特性がある。それ故、映像ファイルサイズを節約する為に、その改竄検出可能性を保ったまま自由に映像をエンコードすることはできない方式となっている。
【００１９】
また、上述したハッシュ値による改竄検出方式の場合、動画フレームに電子透かしのような変更を加えないことから、動画ストリームの画質を保ったままその改竄検出を可能としている。しかし、映像ファイルデータ自体からハッシュ値を生成するという特性から、動画ストリーム又は音声ストリームにエンコード又は再エンコード処理を加えた場合、ハッシュ値が変化する。そのため、映像コンテンツの内容としては電子透かしと同様に不変にも関わらず、エンコード前後の映像についてハッシュ値が不一致となる。この為、映像ファイルデータとしては改竄の検出が可能であるが、映像コンテンツの内容のみに対しての改竄を検出することはできない。
【００２０】
そこで、前述の映像ビットレートの低減を、改竄検出可能性を保ったまま実現する為、動画ストリームに対しＭＰＥＧ−７規格特徴量を生成することを考える。これにより、動画ストリームについて再エンコード処理を経たとしても、動画の各フレームのコンテンツ同一性（すなわち、コンテンツ改竄有無）の検出が可能となる。但し、上記特徴量生成により、動画の各フレームのコンテンツ同一性は検出可能となったが、音声ストリームに対しては同様の改竄検出性を持たせることができていない。そのため、音声ストリームの再エンコード処理を経た際の音声ストリームに含まれる音声コンテンツへの改竄検出性は保持できていない。
【００２１】
また、音声ストリームに対しても何らかの特徴量作成する問い方式、又は、音声ストリームに対しては再エンコード処理を行った際の音声コンテンツへの改竄検出性を保証しないという方式を選択することも考えられる。これらの場合でも、動画ストリームとその動画特徴量のペアと、音声ストリームとその音声特徴量のペアを差替えられた場合には、動画側と音声側で相互にもう一方の改竄有無を検出できないという問題があった。すなわち、動画ストリームとその動画特徴量の組合せごとすり替え操作を受けた場合、そのすり替えを検出できない。音声についても同様である。
【００２２】
また、各動画ストリームに対応する音声ストリームの同期ズレが無いことを保証できない問題もある。つまり、動画特徴量と同様に音声特徴量を作成した場合は、その動画特徴量と音声特徴量間の同期ズレが起こらないことを保証する必要が有る。
【００２３】
以上のことから、上述した技術では、動画と音声の組合せを含む映像コンテンツに対して、ビットレートを低減しつつ改竄検出可能性を維持するための精度が不十分であった。そこで、上記課題を解決するための各実施形態を以下に説明する。
【００２４】
＜発明の実施の形態１＞
図１は、本発明の実施の形態１にかかる特徴量生成装置１の構成を示すブロック図である。特徴量生成装置１は、映像コンテンツ６１を入力し、映像特徴量６２を出力する。映像コンテンツ６１は、動画データと当該動画データに時系列で対応する音響データとを含む情報である。また、映像コンテンツ６１は、ストリーミング配信に用いられるものである。つまり、映像コンテンツ６１には、動画ストリームと音響ストリームとが含まれている。尚、音響データや音響ストリームには、音声データや音声ストリームも含まれる。
【００２５】
特徴量生成装置１は、分離部１１と、動画特徴量生成部１２と、音響特徴量生成部１３と、映像特徴量生成部１４とを少なくとも備える。分離部１１は、入力された映像コンテンツ６１から、動画ストリームと音響ストリームとを分離する。そして、分離部１１は、動画ストリームを動画特徴量生成部１２へ出力し、音響ストリームを音響特徴量生成部１３へ出力する。
【００２６】
動画特徴量生成部１２は、動画ストリームからフレーム単位に動画特徴量を生成し、各フレームを識別するフレーム識別情報を各フレームに対応する各動画特徴量に付加する。そして、動画特徴量生成部１２は、フレーム識別情報が付加された動画特徴量を映像特徴量生成部１４へ出力する。尚、動画特徴量の生成には、上述したＭＰＥＧ−７のようなコンテンツ内容からその特徴量を生成する方式を用いるものとする。
【００２７】
音響特徴量生成部１３は、音響ストリームからフレーム単位に音響特徴量を生成し、フレーム識別情報を各フレームに対応する各音響特徴量に付加する。そして、音響特徴量生成部１３は、フレーム識別情報が付加された音響特徴量を映像特徴量生成部１４へ出力する。
【００２８】
映像特徴量生成部１４は、動画特徴量と音響特徴量とのそれぞれに付加されたフレーム識別情報が一致する場合に、当該動画特徴量と当該音響特徴量との少なくとも一部のデータ同士で所定の演算を行うことにより、当該フレームにおける映像特徴量を生成し、当該フレーム識別情報を当該生成した映像特徴量に付加する。そして、映像特徴量生成部１４は、フレーム識別情報が付加された映像特徴量を出力する。
【００２９】
そのため、ある映像コンテンツについてビットレートを低減するようなエンコードの前後で、特徴量生成装置１により映像特徴量を生成した場合、エンコード自体では映像の内容は変更されないため、エンコードの前後の映像特徴量に差異が生じない。よって、エンコード自体では改竄とはならない。一方で、映像コンテンツに対して内容に関する改竄が行なわれた場合には、改竄前後で映像特徴量に差異が生じる。そのため、この場合には、改竄を検出できる。
【００３０】
そして、本実施の形態１にかかる映像特徴量は、動画特徴量と音響特徴量との少なくとも一部のデータ同士で所定の演算が行なわれているため、映像特徴量から元の動画特徴量と音響特徴量とを単純に分離することができない。そのため、元の映像コンテンツを改竄する際に、ある画像フレームとその画像フレームに対応する画像特徴量との組み合わせをまとめて差し替えることはできず、このような場合の改竄を検出することも可能である。
【００３１】
よって、本実施の形態１では、少なくとも、動画データと音響データの組合せを含む映像コンテンツに対して、ビットレートを低減しつつ改竄検出可能性を高い精度で維持することができる。
【００３２】
図２は、本発明の実施の形態１にかかる動画特徴量生成部１２の内部構成を示すブロック図である。動画特徴量生成部１２は、分離部１１から出力された動画ストリーム６１１の入力を受け付け、動画特徴量６２１等を出力する。動画特徴量生成部１２は、デコーダ１２１と動画フレーム特徴量計算部１２２とを備える。
【００３３】
デコーダ１２１は、動画ストリーム６１１をデコードし、動画フレームレベルで動画フレーム特徴量計算部１２２へ出力する。また、デコーダ１２１は、動画ストリーム６１１から動画フレームレート６３を検出し、音響特徴量生成部１３へ動画フレームレート６３を通知する。
【００３４】
動画フレーム特徴量計算部１２２は、例えば、ＭＰＥＧ−７規格のビデオシグネチャ標準の手法で、各動画フレーム単位で特徴量（動画特徴量６２１）を生成するものとする。尚、動画特徴量６２１は、任意のデータ列である。ここでは、動画フレーム毎に７６バイトのデータサイズの動画特徴量が生成されるものとする。尚、動画特徴量の生成は、ＭＰＥＧ−７規格に限定されず、エンコードによって影響を受けないものであれば適用できる。また、動画特徴量のデータサイズもこれに限定されない。
【００３５】
併せて、動画フレーム特徴量計算部１２２は、生成した動画特徴量６２１のヘッダとしてタイムコード６２２（映像時間＋フレーム番号）を付加する。ここで、タイムコード６２２は、フレームを識別するフレーム識別情報の一例である。そして、動画フレーム特徴量計算部１２２は、タイムコード６２２が付加された動画特徴量６２１を映像特徴量生成部１４へ出力する。
【００３６】
図３は、本発明の実施の形態１にかかる音響特徴量生成部１３の内部構成を示すブロック図である。音響特徴量生成部１３は、分離部１１から出力された音響ストリーム６１２の入力を受け付け、動画特徴量生成部１２から動画フレームレート６３の通知を受け付け、通知された動画フレームレート６３に基づいて動画フレーム単位に音響特徴量６２３を生成して、出力する。音響特徴量生成部１３は、デコーダ１３１とサンプリング値集合分割部１３２とサンプリング値平均計算部１３３とを備える。
【００３７】
デコーダ１３１は、音響ストリーム６１２をデコードし、取得したサンプリング値（量子化ビット数の値）の時系列の集合としてサンプリング値集合分割部１３２へ出力する。併せて、デコーダ１３１は、音響ストリーム６１２からビットレートを検出し、ビットレートをサンプリング値集合分割部１３２へ出力する。
【００３８】
サンプリング値集合分割部１３２は、動画特徴量生成部１２から受け付けた動画フレームレート６３、及び、デコーダ１３１から受け付けたビットレートを用いて、サンプリング値の時系列の集合を、動画フレームに対応するサンプリング値単位の部分集合へ分割（分類）する。併せて、サンプリング値集合分割部１３２は、動画特徴量生成部１２から受け付けた動画フレームレート６３、及び、デコーダ１３１から受け付けたビットレートを用いて、タイムコード６２４を導出する。ここで、タイムコード６２４は、上述したタイムコード６２２と同期した値となる。そして、サンプリング値集合分割部１３２は、サンプリング値の部分集合、及び、タイムコード６２４をサンプリング値平均計算部１３３へ出力する。
【００３９】
サンプリング値平均計算部１３３は、受け付けた部分集合ごとに、サンプリング値に統計処理を行い、統計処理の結果を音響特徴量６２３として生成する。尚、音響特徴量６２３は、任意のデータ列である。ここでは、サンプリング値平均計算部１３３は、統計処理としてサンプリング値の平均値を算出する。併せて、サンプリング値平均計算部１３３は、生成した音響特徴量６２３のヘッダとしてタイムコード６２４を付加する。そして、サンプリング値平均計算部１３３は、タイムコード６２４が付加された音響特徴量６２３を映像特徴量生成部１４へ出力する。
【００４０】
図４は、本発明の実施の形態１にかかる映像特徴量生成部１４の内部構成を示すブロック図である。映像特徴量生成部１４は、動画特徴量生成部１２から動画特徴量６２１及び音響特徴量生成部１３から音響特徴量６２３の入力を受け付け、映像特徴量６２を出力する。映像特徴量生成部１４は、動画特徴量ｑｕｅｕｅ１４１と、音響特徴量ｑｕｅｕｅ１４２と、ヘッダ情報照合部１４３と、特徴量結合処理部１４４とを備える。
【００４１】
動画特徴量ｑｕｅｕｅ１４１は、動画特徴量生成部１２から出力された動画特徴量６２１を受け付け順に蓄積するキューである。そして、動画特徴量ｑｕｅｕｅ１４１は、ヘッダ情報照合部１４３から要求に応じて、蓄積順に動画特徴量６２１を出力する。また、音響特徴量ｑｕｅｕｅ１４２は、音響特徴量生成部１３から出力された音響特徴量６２３を受け付け順に蓄積するキューである。そして、音響特徴量ｑｕｅｕｅ１４２は、ヘッダ情報照合部１４３から要求に応じて、蓄積順に音響特徴量６２３を出力する。
【００４２】
ヘッダ情報照合部１４３は、動画特徴量ｑｕｅｕｅ１４１及び音響特徴量ｑｕｅｕｅ１４２に対して、動画特徴量６２１及び音響特徴量６２３の読み出しを都度、要求する。そのため、ヘッダ情報照合部１４３は、動画特徴量生成部１２及び音響特徴量生成部１３からの出力順に、動画特徴量６２１及び音響特徴量６２３を受け付ける。そして、ヘッダ情報照合部１４３は、動画特徴量６２１のヘッダに付加されたタイムコード６２２と、音響特徴量６２３のヘッダに付加されたタイムコード６２４とを比較し、一致するか否かを判定する。一致しないと判定した場合、外部へエラー通知６４を出力する。
【００４３】
特徴量結合処理部１４４は、ヘッダ情報照合部１４３によりタイムコード６２２とタイムコード６２４とが一致すると判定された場合、動画特徴量６２１の各データを音響特徴量６２３のデータ長となるように変換し、変換後の動画特徴量６２１内のデータの少なくとも一部と、音響特徴量６２３とを加算することにより、映像特徴量６２を生成する。
【００４４】
例えば、特徴量結合処理部１４４は、次のように映像特徴量６２を生成することができる。まず、特徴量結合処理部１４４は、動画特徴量６２１のデータ列（76バイトのバイト列）の各１バイトに”０”情報の１バイトを末尾に付加して、２バイト長の部分バイト列を作る。すなわち、各１バイト長のデータ列のint値を256倍する。つまり、バイト列の各データを１バイト分、シフトする。
【００４５】
次に、２バイト長の部分バイト列のint値に、音響特徴量６２３の２バイトのint値を加算する。例えば、部分バイト列のそれぞれに、同じ２バイト長の音響特徴量６２３を加算する。尚、２バイトによるint値の最大値である65536を超えた場合は65536を引いて0から65535の範囲にそのint値が収まるようにする。
【００４６】
その後、特徴量結合処理部１４４は、生成した映像特徴量６２のヘッダとしてタイムコード６２５を付加する。そして、特徴量結合処理部１４４は、タイムコード６２５が付加された映像特徴量６２を出力する。
【００４７】
図５は、本発明の実施の形態１にかかる特徴量生成処理の流れを示すフローチャートである。まず、分離部１１は、入力された映像コンテンツ６１を動画ストリーム６１１と音響ストリーム６１２とに分離する（Ｓ１０１）。次に、デコーダ１２１は、動画ストリーム６１１をデコードする（Ｓ１０２）。そして、デコーダ１２１は、動画フレームレートＶを検出し、音響特徴量生成部１３へ通知する（Ｓ１０３）。以降、動画特徴量生成部１２による動画特徴量生成処理と、音響特徴量生成部１３による音響特徴量生成処理とが非同期に実行される。例えば、動画特徴量生成処理と音響特徴量生成処理とは並列実行されてもよい。また、動画特徴量生成部１２は、動画特徴量生成処理の開始時に、動画ストリーム６１１の最大フレーム番号も検出する（Ｓ１０４）。
【００４８】
図６は、本発明の実施の形態１にかかる動画特徴量生成処理の流れを示すフローチャートである。まず、動画フレーム特徴量計算部１２２は、カウンタｐを“１”に初期設定する（Ｓ２０１）。次に、動画フレーム特徴量計算部１２２は、ｐ番目の動画フレームの動画特徴量６２１を計算する（Ｓ２０２）。そして、動画フレーム特徴量計算部１２２は、計算されたｐフレーム目の動画特徴量６２１のヘッダにタイムコード６２２を付与する（Ｓ２０３）。その後、動画フレーム特徴量計算部１２２は、動画特徴量６２１を動画特徴量ｑｕｅｕｅ１４１に追加（ｅｎｑｕｅｕｅ）する（Ｓ２０４）。そして、動画フレーム特徴量計算部１２２は、処理対象のフレームが最終フレームに到達したか否かを判定する（Ｓ２０５）。すなわち、動画フレーム特徴量計算部１２２は、カウンタｐが最大フレーム番号であるか否かを判定する。
【００４９】
処理対象のフレームが最終フレームに到達していない場合、動画フレーム特徴量計算部１２２は、カウンタｐに“１”を加算して（Ｓ２０６）、ステップＳ２０２へ戻る。以降、カウンタｐが最大フレーム番号となるまで、Ｓ２０２からＳ２０６を繰り返す。また、ステップＳ２０５において、処理対象のフレームが最終フレームに到達したと判定した場合、当該動画特徴量生成処理を終了する。
【００５０】
図７は、本発明の実施の形態１にかかる音響特徴量生成処理の流れを示すフローチャートである。まず、デコーダ１３１は、音響ストリーム６１２をデコードする（Ｓ３０１）。ここで、サンプリング値列をＴ＿ｒとする（ｒは１以上の整数）。
【００５１】
次に、デコーダ１３１は、音響ストリーム６１２から音響ビットレートＳを検出する（Ｓ３０２）。そして、サンプリング値集合分割部１３２は、カウンタｑに“１”を初期設定する（Ｓ３０３）。尚、カウンタｑは、フレーム番号に相当する。また、サンプリング値集合分割部１３２は、サンプリング値の一時変数Ｔに“０”を、カウンタｒに“１”を初期設定する（Ｓ３０４）。
【００５２】
そして、サンプリング値集合分割部１３２は、サンプリング値列Ｔ＿（ｒ＋（ｑ−１）＊Ｓ／Ｖ）が、最終サンプリング値に到達したか否かを判定する（Ｓ３０５）。ステップＳ３０５でＮＯと判定された場合、サンプリング値集合分割部１３２は、Ｔ＋Ｔ＿（ｒ＋（ｑ−１）＊Ｓ／Ｖ）をＴに代入する（Ｓ３０６）。そして、サンプリング値集合分割部１３２は、カウンタｒが（Ｓ−Ｓ％Ｖ）／Ｖであるか否かを判定する（Ｓ３０７）。
【００５３】
ステップＳ３０７でＮＯの場合、カウンタｒに“１”を加算して（Ｓ３０８）、ステップＳ３０５へ戻る。一方、ステップＳ３０７でＹＥＳの場合、ステップＳ３０９へ進む。つまり、動画の１フレーム分に相当するサンプリング値がＴに積算される。そのため、サンプリング値の時系列の集合を、動画フレームに対応するサンプリング値単位の部分集合へ分割されたともいえる。
【００５４】
そして、サンプリング値平均計算部１３３は、Ｔをカウンタｒで除算して、サンプリング値の部分集合における平均値Ａｖｅを算出する（Ｓ３０９）。ここで、平均値Ａｖｅは、上述した音響特徴量６２３である。そして、サンプリング値平均計算部１３３は、ｑフレーム目の平均値Ａｖｅにヘッダとしてタイムコード６２４を付与する（Ｓ３１０）。その後、サンプリング値平均計算部１３３は、音響特徴量６２３を音響特徴量ｑｕｅｕｅ１４２に追加（ｅｎｑｕｅｕｅ）する（Ｓ３１１）。
【００５５】
そして、サンプリング値集合分割部１３２は、カウンタｑに“１”を加算して（Ｓ３１２）、ステップＳ３０４へ戻る。以降、ステップＳ３０５でＹＥＳとなるまで、Ｓ３０４からＳ３１２を繰り返す。
【００５６】
ステップＳ３０５でＹＥＳ、つまり、サンプリング値列Ｔ＿（ｒ＋（ｑ−１）＊Ｓ／Ｖ）が、最終サンプリング値に到達したと判定した場合、サンプリング値平均計算部１３３は、Ｔをカウンタｒで除算して、サンプリング値の部分集合における平均値Ａｖｅを算出する（Ｓ３１３）そして、サンプリング値平均計算部１３３は、ｑフレーム目の平均値Ａｖｅにヘッダとしてタイムコード６２４を付与する（Ｓ３１４）。その後、サンプリング値平均計算部１３３は、音響特徴量６２３を音響特徴量ｑｕｅｕｅ１４２に追加（ｅｎｑｕｅｕｅ）する（Ｓ３１５）。その後、当該音響特徴量生成処理を終了する。
【００５７】
図５に戻り説明を続ける。ヘッダ情報照合部１４３は、動画特徴量ｑｕｅｕｅ１４１及び音響特徴量ｑｕｅｕｅ１４２から共にｄｅｑｕｅｕｅする（Ｓ１０５）。つまり、ヘッダ情報照合部１４３は、動画特徴量ｑｕｅｕｅ１４１から先頭の動画特徴量６２１を取得し、音響特徴量ｑｕｅｕｅ１４２から先頭の音響特徴量６２３を取得する。
【００５８】
そして、ヘッダ情報照合部１４３は、動画特徴量６２１及び音響特徴量６２３のヘッダが一致するか否かを判定する（Ｓ１０６）。つまり、ヘッダ情報照合部１４３は、動画特徴量６２１に付加されたタイムコード６２２と、音響特徴量６２３に付加されたタイムコード６２４とを比較し、映像時間＋フレーム番号が一致するか否かを判定する。ステップＳ１０６でＮＯと判定された場合、外部へエラー通知６４を出力する。
【００５９】
ステップＳ１０６でＹＥＳと判定された場合、つまり、タイムコードが一致すると判定した場合、特徴量結合処理部１４４は、動画特徴量６２１の各１バイト長の各部分バイト列を２バイト長に拡張し、各々１バイト左シフトする（Ｓ１０７）。そして、特徴量結合処理部１４４は、動画特徴量６２１の２バイト長の各部分バイト列に音響特徴量６２３の２バイトをint値として加算する（Ｓ１０８）。このとき、加算後の２バイトのint値が上限を超過したか否かを判定し（Ｓ１０９）、超過したと判定した場合には、int値から65536を減算する（Ｓ１１０）。
【００６０】
ステップＳ１０９でＮＯの場合、及び、ステップＳ１１０の後、特徴量結合処理部１４４は、ヘッダにタイムコード６２５を付加した上で、映像特徴量６２として保存する（Ｓ１１１）。そして、ヘッダ情報照合部１４３は、処理対象のフレームが最終フレームに到達したか否かを判定する（Ｓ１１２）。以降、処理対象のフレームが最終フレームに到達するまで、ステップＳ１０５からＳ１１２を繰り返す。また、ステップＳ１１２において、処理対象のフレームが最終フレームに到達したと判定した場合、当該特徴量生成処理を終了する。
【００６１】
このように、本実施の形態１では、動画特徴量生成部１２から音響特徴量生成部１３へ動画フレームレートの通知を行なうことで、お互いのタイムコードの同期を取ることができる。そのため、ある動画フレームにおける動画特徴量６２１とその動画フレームに対応する音響特徴量６２３とを同一の映像特徴量６２の生成に用いることができる。よって、動画と音声との同期ズレがないことを保証できる。
【００６２】
また、タイムコードを同期させるために、音響特徴量生成部１３側で通知された動画フレームレートと音響ビットレートとの関係からフレーム番号を導出できるため、フレーム番号自体のやり取りが不要であり、動画特徴量生成部１２と音響特徴量生成部１３との通信を最小限に抑えることができる。
【００６３】
さらに、映像特徴量６２の生成において、上記では、動画特徴量６２１に音響特徴量６２３を埋め込んでいるため、映像特徴量６２から元の動画特徴量６２１及び音響特徴量６２３の特定が困難であり、元の動画ストリームや音響ストリームが推定される可能性を低くすることができる。つまり、動画ストリームや音響ストリームについて高い秘匿性を持つことができる。
【００６４】
つまり、本実施の形態により、動画ストリーム及び音響ストリームに再エンコード処理（音響に対してはサンプリングレート変更も含む）が加えられた場合でも、映像（動画ストリーム及び音響ストリーム）に対してそのコンテンツへの改竄検出可能性を保持し、かつ動画ストリームと音響ストリームの組の結合を保証し（かつ特徴量からの元のコンテンツ内容推定を困難とし）、新たに複雑な改竄検出部を要求しない（すなわち従来の特徴量比較方式を用いて比較可能な）、特徴量生成装置方式を提供することができる。
【００６５】
＜発明の実施の形態２＞
本発明の実施の形態２では、映像コンテンツに対してエンコード処理等の内容に影響しない変換が加えられた場合には、改竄とはせず、動画や音声のないように変更が加えられた場合に改竄と検出するための改竄検出システムについて説明する。図８は、本発明の実施の形態２にかかる改竄検出システム２００の構成を示すブロック図である。改竄検出システム２００は、分離部２１０と、動画特徴量生成部２２０と、音響特徴量生成部２３０と、映像特徴量生成部２４０と、検出部２５０と、記憶装置２６０とを備える。尚、分離部２１０、動画特徴量生成部２２０及び音響特徴量生成部２３０は、上述した実施の形態１にかかる特徴量生成装置１の分離部１１、動画特徴量生成部１２及び音響特徴量生成部１３を用いることができる。
【００６６】
本実施の形態２では、変換前の第１の映像コンテンツに対して、分離部２１０、動画特徴量生成部２２０、音響特徴量生成部２３０及び映像特徴量生成部２４０を用いて第１の映像特徴量を生成する。このとき、映像特徴量生成部２４０は、第１の映像特徴量を記憶装置２６０に格納する。
【００６７】
その後、第１の映像コンテンツに所定の変換が行われたものを第２の映像コンテンツとする。このとき、検出部２５０は、外部からの指示に応じて、変換後の第２の映像コンテンツに対して、分離部２１０、動画特徴量生成部２２０、音響特徴量生成部２３０及び映像特徴量生成部２４０を用いて、第２の映像コンテンツにおける第２の映像特徴量を生成する。そして、検出部２５０は、記憶装置２６０に格納された第１の映像特徴量と生成した第２の映像特徴量とを比較して、第２の映像コンテンツの改竄を検出する。このように、本実施の形態２により、改竄の検出ができる。
【００６８】
＜発明の実施の形態３＞
本発明の実施の形態３は、上述した実施の形態２の具体的な実施例である。図９は、本発明の実施の形態３にかかる改竄検出システム３００の構成を示すブロック図である。改竄検出システム３００は、映像登録部５と、映像管理部２と、特徴量管理部３と、クライアント４とを備える。映像登録部５、映像管理部２、特徴量管理部３及びクライアント４のそれぞれは、独立したコンピュータ装置等により実現されても良く、または、一部又は全てを１台のハードウェアで実現してもよい。尚、一般的には、映像管理部２及び特徴量管理部３は、１台以上の映像配信サーバに相当し、映像登録部５及びクライアント４は、ネットワークを介して映像配信サーバと接続されていることが多い。
【００６９】
映像登録部５は、映像制御部５１と、映像保管部５２と、特徴量生成制御部５３とを備える。映像制御部５１は、映像登録部５内の映像コンテンツの制御を行なう。映像保管部５２は、改竄検出の比較対象となる元々の映像コンテンツを記録するための記憶装置である。特徴量生成制御部５３は、映像登録部５内で映像特徴量を生成する。特徴量生成制御部５３は、上述した特徴量生成装置１の一例である。
【００７０】
映像管理部２は、映像制御部２１と、映像保管部２２と、特徴量生成制御部２３とを備える。映像制御部２１は、映像管理部２内の映像コンテンツの制御を行なう。映像保管部２２は、改竄検出の比較対象となる元々の映像コンテンツを、例えば、配信対象として長期保管するための記憶装置である特徴量生成制御部２３は、映像管理部２内で映像特徴量を生成する。特徴量生成制御部２３は、上述した特徴量生成装置１の一例である。
【００７１】
特徴量管理部３は、特徴量制御部３１と、特徴量保管部３２と、特徴量比較部３３とを備える。特徴量制御部３１は、特徴量管理部３内の映像特徴量の制御を行なう。特徴量保管部３２は、改竄検出の比較対象となる元々の映像コンテンツから生成された映像特徴量を長期保管するための記憶装置である。特徴量比較部３３は、特徴量保管部３２に保管された映像特徴量と、改竄検出対象の映像コンテンツから生成された映像特徴量とを、動画フレーム単位で比較し、改竄有無を判定する。
【００７２】
クライアント４は、ユーザーインタフェース４１と、映像制御部４２と、映像保管部４３と、特徴量生成制御部４４とを備える。ユーザーインタフェース４１は、ユーザーに対して配信された映像コンテンツ及びその映像コンテンツの改竄検出機能へのアクセス手段を提供する。映像制御部４２は、クライアント４内の映像コンテンツの制御を行なう。映像保管部４３は、配信された、つまり、改竄検出対象の映像コンテンツを記録するための記憶装置である。特徴量生成制御部４４は、クライアント４内で映像特徴量を生成する。特徴量生成制御部４４は、上述した特徴量生成装置１の一例である。
【００７３】
図１０は、本発明の実施の形態３にかかる映像コンテンツの登録の流れを説明するための図である。映像制御部５１は、カメラ（不図示）や外部から取得した映像コンテンツを映像保管部５２に格納する。また、映像制御部５１は、所定のタイミングで、映像保管部５２に格納された映像コンテンツを、配信対象として登録するために映像管理部２へ送信する。映像制御部２１は、映像登録部５から受信した映像コンテンツを配信対象として映像保管部２２に記録する。
【００７４】
併せて、映像制御部５１は、特徴量生成制御部５３に対して映像保管部５２に格納された映像コンテンツから映像特徴量を生成させる。特徴量生成制御部５３は、生成後の映像特徴量を登録するために特徴量管理部３へ送信する。特徴量制御部３１は、映像登録部５から受信した映像特徴量を特徴量保管部３２へ記録する。
【００７５】
図１１は、本発明の実施の形態３にかかる映像コンテンツの配信の流れを説明するための図である。つまり、ユーザーへの映像閲覧サービスの提供について説明する。ユーザーインタフェース４１は、ユーザーからの映像コンテンツの配信の指示を受け付け、映像制御部４２に対して配信要求を行なう。これに応じて、映像制御部４２は、映像管理部２に対して映像コンテンツの配信要求を送信する。映像制御部２１は、クライアント４から受信した配信要求に応じて、映像保管部２２から映像コンテンツを読み出し、クライアント４へ配信する。映像制御部４２は、映像管理部２から映像コンテンツの配信を受け付け、映像保管部５２に記録し、ユーザーインタフェース４１へ出力する。ユーザーインタフェース４１は、必要に応じて配信された映像コンテンツの再生等を行なう。
【００７６】
図１２は、本発明の実施の形態３にかかるクライアント装置が保持する映像コンテンツの改竄検出の流れを説明するための図である。前提として、図１０及び図１１により元々の映像コンテンツの第１の映像特徴量が特徴量保管部３２に記録済みであり、改竄検出対象の映像コンテンツが映像保管部４３に記録済みであるものとする。また、改竄検出対象の映像コンテンツは、元々の映像コンテンツから何らかの変換が行なわれているものとする。例えば、ビットレートを低減するためのエンコーディングか、悪意のあるものによる映像コンテンツの改竄等である。
【００７７】
まず、ユーザーインタフェース４１は、ユーザーから改竄検出サービスの要求を受け付け、映像制御部４２にその旨、指示する。映像制御部４２は、指示に応じて映像保管部４３から映像コンテンツを読み出し、特徴量生成制御部４４に対して第２の映像特徴量を生成させる。そして、特徴量生成制御部４４は、生成した第２の映像特徴量を特徴量管理部３へ送信し、改竄検出を要求する。
【００７８】
特徴量比較部３３は、クライアント４から改竄検出の要求を受け付けると、特徴量保管部３２から保管された第１の映像特徴量を読み出し、クライアント４から受信した第２の映像特徴量と、動画フレーム単位で比較を行う。特徴量比較部３３は、第１の映像特徴量と第２の映像特徴量とが異なる場合には、改竄有りと判定し、全ての動画フレームにおいて第１の映像特徴量と第２の映像特徴量とが一致する場合には、改竄無しと判定する。そして、特徴量比較部３３は、判定結果をクライアント４へ送信する。ユーザーインタフェース４１は、特徴量管理部３から受信した判定結果を画面等に表示する。
【００７９】
図１３は、本発明の実施の形態３にかかる映像管理部が保持する映像コンテンツの改竄検出の流れを説明するための図である。前提として、図１０により元々の映像コンテンツの第１の映像特徴量が特徴量保管部３２に記録済みであるものとする。そして、映像保管部２２には、元々の映像コンテンツから上述した何らかの変換が行なわれているものとする。
【００８０】
まず、ユーザーインタフェース４１は、映像管理部２から映像コンテンツの配信を受ける前に、ユーザーから改竄検出サービスの要求を受け付け、映像管理部２へその旨の要求を送信する。映像制御部２１は、改竄検出サービスの要求を受け付けると、映像保管部２２から現時点で保管されている映像コンテンツを読み出し、特徴量生成制御部２３に対して第２の映像特徴量を生成させる。そして、特徴量生成制御部２３は、生成した第２の映像特徴量を特徴量管理部３へ送信し、改竄検出を要求する。
【００８１】
特徴量比較部３３は、映像管理部２から改竄検出の要求を受け付けると、特徴量保管部３２から保管された第１の映像特徴量を読み出し、映像管理部２から受信した第２の映像特徴量と、動画フレーム単位で比較を行う。以降、特徴量比較部３３は、図１２と同様に判定を行い、判定結果をクライアント４へ送信する。ユーザーインタフェース４１は、特徴量管理部３から受信した判定結果を画面等に表示する。
【００８２】
このように、本実施の形態３により、映像コンテンツの配信を受けるクライアント側、及び、配信元である映像管理部側のいずれにおいても、特徴量生成装置１を用いた改竄検出を実現できる。
【００８３】
＜その他の発明の実施の形態＞
尚、仮に本実施の形態を用いずに上記課題を解決しようとした場合、動画ストリームと音声ストリームで個別に特徴量を生成することがあり得る。但し、その場合、改竄検出を行なう際に、動画特徴量と音声特徴量の両方の比較が必要となってしまう。そのため、改竄検出の構成が複雑となり得る。一方、本実施の形態では、動画フレーム当たりで、動画特徴量と音声特徴量から一つの映像特徴量を生成しているため、改竄検出時の比較処理が１回で実現できる。
【００８４】
また、上述した実施形態１の映像特徴量生成部１４は、動画特徴量の７６バイト長のデータ列の１バイト長の各部分データに対して音声特徴量を加算していた。しかしこれに代えて、次のように変更してもよい。すなわち、映像特徴量生成部１４は、映像特徴量のデータ長が動画特徴量及び音響特徴量のデータ長の合計値未満となるように、映像特徴量を生成するようにしてもよい。例えば、特定の１バイト長の部分データにのみに音声特徴量を加算し、全体として７７バイト長の映像特徴量としてもよい。これにより、映像特徴量のデータ量を削減できる。
【００８５】
また、上述した実施形態１の音響特徴量生成処理では、音響サンプリング値を動画フレーム単位で部分集合を取り、その中で平均値を算出していたが、その部分集合を更に７６分割して、動画特徴量の７６個の１バイト長の部分データに加算するようにしてもよい。これにより、特徴量の解読困難性を高め、改竄検出の精度をより高めることができる。
【００８６】
また、上述した実施形態１の映像特徴量生成部１４は、次のように処理しても構わない。例えば、動画特徴量と音声特徴量のヘッダを照合し、一致していれば、音声特徴量の２バイトのint値を1/256倍してint値に変換（小数点以下四捨五入、丸め込みなど）することで、１バイト長のデータとする。次に、動画特徴量の７６バイトの各１バイト長の部分データに、１バイト長に変換した音声特徴量をint値として加算する。尚、このとき、１バイトによるint値の最大値である256を超えた場合は256を引いて0から255の範囲にそのint値が収まるようにする。上記操作により作成した７６バイトサイズのバイト列を映像特徴量として、ヘッダにタイムコードを付与して扱うようにすることもできる。
【００８７】
尚、上述した実施形態１では、動画フレームレートを動画特徴量生成部１２から音響特徴量生成部１３へ通知していたが、反対に音響ビットレートを音響特徴量生成部１３から動画特徴量生成部１２へ通知し、音響特徴量生成部１３では、音響ビットレート単位に音響特徴量を生成しておき、映像特徴量の生成時に、動画フレームに対応する音響特徴量の平均値を動画特徴量に加算するようにしてもよい。
【００８８】
さらに、本発明は上述した実施の形態のみに限定されるものではなく、既に述べた本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。例えば、上述の実施の形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。
【００８９】
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、ＤＶＤ（Digital Versatile Disc）、ＢＤ(Blu-ray(登録商標) Disc)、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【００９０】
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）
動画データと当該動画データに対応する音響データとを含む映像コンテンツから、動画ストリームと音響ストリームとを分離する分離部と、
前記動画ストリームからフレーム単位に動画特徴量を生成し、各フレームを識別するフレーム識別情報を各フレームに対応する各動画特徴量に付加する動画特徴量生成部と、
前記音響ストリームから前記フレーム単位に音響特徴量を生成し、前記フレーム識別情報を各フレームに対応する各音響特徴量に付加する音響特徴量生成部と、
前記動画特徴量と前記音響特徴量とのそれぞれに付加された前記フレーム識別情報が一致する場合に、当該動画特徴量と当該音響特徴量との少なくとも一部のデータ同士で所定の演算を行うことにより、当該フレームにおける映像特徴量を生成し、当該フレーム識別情報を当該生成した映像特徴量に付加する映像特徴量生成部と、
を備える特徴量生成装置。
（付記２）
前記動画特徴量生成部は、
前記動画ストリームから動画のフレームレートを検出して前記音響特徴量生成部へ通知し、
前記音響特徴量生成部は、
前記通知された動画のフレームレートに基づいて前記フレーム単位に音響特徴量を生成する
付記１に記載の特徴量生成装置。
（付記３）
前記音響特徴量生成部は、
前記音響ストリームから音響のビットレートを検出し、
前記通知された動画のフレームレートと、前記検出した音響のビットレートとを用いて前記フレーム識別情報を導出し、
前記導出したフレーム識別情報を各フレームに対応する各音響特徴量に付加する
付記２に記載の特徴量生成装置。
（付記４）
前記音響特徴量生成部は、
前記音響ストリームから取得された複数のサンプリング値について、前記フレームに対応するサンプリング値の部分集合に分類し、各部分集合内のサンプリング値に対する統計処理の結果を前記フレーム単位の前記音響特徴量として生成する
付記１乃至３のいずれか１項に記載の特徴量生成装置。
（付記５）
前記動画特徴量は、第１のデータ列であり、
前記音響特徴量は、第２のデータ列であり、
前記映像特徴量生成部は、
前記第１のデータ列の各データを前記第２のデータ列のデータ長となるように変換し、
前記変換後の前記第１のデータ列内のデータの少なくとも一部と、前記第２のデータ列とを加算することにより、前記映像特徴量を生成する
付記１乃至４のいずれか１項に記載の特徴量生成装置。
（付記６）
前記映像特徴量生成部は、
前記映像特徴量のデータ長が前記動画特徴量及び前記音響特徴量のデータ長の合計値未満となるように、前記映像特徴量を生成する
付記１乃至４のいずれか１項に記載の特徴量生成装置。
（付記７）
動画データと当該動画データに対応する音響データとを含む映像コンテンツから、動画ストリームと音響ストリームとを分離し、
前記動画ストリームからフレーム単位に動画特徴量を生成し、各フレームを識別するフレーム識別情報を各フレームに対応する各動画特徴量に付加し、
前記音響ストリームから前記フレーム単位に音響特徴量を生成し、前記フレーム識別情報を各フレームに対応する各音響特徴量に付加し、
前記動画特徴量と前記音響特徴量とのそれぞれに付加された前記フレーム識別情報が一致する場合に、当該動画特徴量と当該音響特徴量との少なくとも一部のデータ同士で所定の演算を行うことにより、当該フレームにおける映像特徴量を生成し、当該フレーム識別情報を当該生成した映像特徴量に付加する、
特徴量生成方法。
（付記８）
動画データと当該動画データに対応する音響データとを含む映像コンテンツから、動画ストリームと音響ストリームとを分離する分離処理と、
前記動画ストリームからフレーム単位に動画特徴量を生成し、各フレームを識別するフレーム識別情報を各フレームに対応する各動画特徴量に付加する動画特徴量生成処理と、
前記音響ストリームから前記フレーム単位に音響特徴量を生成し、前記フレーム識別情報を各フレームに対応する各音響特徴量に付加する音響特徴量生成処理と、
前記動画特徴量と前記音響特徴量とのそれぞれに付加された前記フレーム識別情報が一致する場合に、当該動画特徴量と当該音響特徴量との少なくとも一部のデータ同士で所定の演算を行うことにより、当該フレームにおける映像特徴量を生成し、当該フレーム識別情報を当該生成した映像特徴量に付加する映像特徴量生成処理と、
をコンピュータに実行させる特徴量生成プログラム。
（付記９）
動画データと当該動画データに対応する音響データとを含む第１の映像コンテンツから、動画ストリームと音響ストリームとを分離する分離部と、
前記動画ストリームからフレーム単位に動画特徴量を生成し、各フレームを識別するフレーム識別情報を各フレームに対応する各動画特徴量に付加する動画特徴量生成部と、
前記音響ストリームから前記フレーム単位に音響特徴量を生成し、前記フレーム識別情報を各フレームに対応する各音響特徴量に付加する音響特徴量生成部と、
前記動画特徴量と前記音響特徴量とのそれぞれに付加された前記フレーム識別情報が一致する場合に、当該動画特徴量と当該音響特徴量との少なくとも一部のデータ同士で所定の演算を行うことにより、当該フレームにおける第１の映像特徴量を生成し、当該フレーム識別情報を当該生成した第１の映像特徴量に付加し、前記第１の映像特徴量を記憶装置に格納する映像特徴量生成部と、
前記第１の映像コンテンツに所定の変換が行われた第２の映像コンテンツの改竄を検出する検出部と、を備え、
前記検出部は、
外部からの指示に応じて、前記分離部、前記動画特徴量生成部、前記音響特徴量生成部及び前記映像特徴量生成部を用いて、前記第２の映像コンテンツにおける第２の映像特徴量を生成し、
前記記憶装置に格納された前記第１の映像特徴量と前記生成した第２の映像特徴量とを比較して、前記第２の映像コンテンツの改竄を検出する
改竄検出システム。
【符号の説明】
【００９１】
１  特徴量生成装置
１１  分離部
１２  動画特徴量生成部
１２１  デコーダ
１２２  動画フレーム特徴量計算部
１３  音響特徴量生成部
１３１  デコーダ
１３２  サンプリング値集合分割部
１３３  サンプリング値平均計算部
１４  映像特徴量生成部
１４１  動画特徴量ｑｕｅｕｅ
１４２  音響特徴量ｑｕｅｕｅ
１４３  ヘッダ情報照合部
１４４  特徴量結合処理部
６１  映像コンテンツ
６１１  動画ストリーム
６１２  音響ストリーム
６２  映像特徴量
６２１  動画特徴量
６２２  タイムコード
６２３  音響特徴量
６２４  タイムコード
６２５  タイムコード
６３  動画フレームレート
６４  エラー通知
２００  改竄検出システム
２１０  分離部
２２０  動画特徴量生成部
２３０  音響特徴量生成部
２４０  映像特徴量生成部
２５０  検出部
２６０  記憶装置
３００  改竄検出システム
２  映像管理部
２１  映像制御部
２２  映像保管部
２３  特徴量生成制御部
３  特徴量管理部
３１  特徴量制御部
３２  特徴量保管部
３３  特徴量比較部
４  クライアント
４１  ユーザーインタフェース
４２  映像制御部
４３  映像保管部
４４  特徴量生成制御部
５  映像登録部
５１  映像制御部
５２  映像保管部
５３  特徴量生成制御部
【図１】
2016096411.tif 000003
【図２】
2016096411.tif 000004
【図３】
2016096411.tif 000005
【図４】
2016096411.tif 000006
【図５】
2016096411.tif 000007
【図６】
2016096411.tif 000008
【図７】
2016096411.tif 000009
【図８】
2016096411.tif 000010
【図９】
2016096411.tif 000011
【図１０】
2016096411.tif 000012
【図１１】
2016096411.tif 000013
【図１２】
2016096411.tif 000014
【図１３】
2016096411.tif 000015