(57)【特許請求の範囲】
【請求項１】
入力画像圧縮データのヘッダー情報を検出し、検出したヘッダー情報から画像サイズ情報とフレームレート情報とを抽出するヘッダー検出ステップと、
前記入力画像圧縮データの復号過程で発生する所定ブロック毎のDC値、AC値、動きベクトルの３つの情報の内の少なくとも１つの情報を基に得られる入力画像のコンテンツの内容における特徴を特定できる情報である周波数帯域情報と動き量情報とを検出する画像特徴データ検出ステップと、
画像サイズ情報とフレームレート情報とのパラメータの組み合わせ毎にあらかじめ統計的に求めておいた周波数帯域情報と動き量情報とコンテンツ内容情報とを一組の特徴量データとしてデータベース化して記憶している画像特徴記憶手段内のデータベースから、前記入力画像圧縮データの画像サイズ情報、フレームレート情報、周波数帯域情報、動き量情報を用いて最も適合性が高いと判断できる特徴量データを選択し、選択した特徴量データのコンテンツ内容情報が、前記入力画像圧縮データを復号再生した際に得られるコンテンツの内容であると判別する、画像圧縮データ内容判別ステップとを設けたことを特徴とする画像圧縮データ内容判別方法。
【請求項２】
入力音声圧縮データのヘッダー情報を検出し、検出したヘッダー情報からサンプリング周波数情報を抽出するヘッダー検出ステップと、
前記入力音声圧縮データの復号過程で発生する所定サンプル毎のDC値、AC値の２つの情報の内の少なくとも１つの情報を基に得られる入力音声のコンテンツの内容における特徴を特定できる情報である周波数特性情報を検出する音声特徴データ検出ステップと、
サンプリング周波数情報毎にあらかじめ統計的に求めておいた周波数特性情報とコンテンツ内容情報とを一組の特徴量データとしてデータベース化して記憶してある音声特徴記憶手段内のデータベースから、前記入力音声圧縮データのサンプリング周波数情報、周波数特性情報を用いて最も適合性が高いと判断できる特徴量データを選択し、選択した特徴量データのコンテンツ内容情報が、前記入力音声圧縮データを復号再生した際に得られるコンテンツの内容であると判別する、音声圧縮データ内容判別ステップとを設けたことを特徴とする音声圧縮データ内容判別方法。
【請求項３】
画像情報と音声情報とに相関のあるコンテンツを圧縮して作成した入力画像圧縮データと入力音声圧縮データとから前記コンテンツの内容を判別する際に、
請求項１記載の画像圧縮データ内容判別方法により得られた前記入力画像圧縮データのコンテンツ内容情報と、請求項２記載の音声圧縮データ内容判別方法により得られた前記入力音声圧縮データのコンテンツ内容情報との２つのコンテンツ内容情報を用いて、前記コンテンツの内容を判別することを特徴とする圧縮データ内容判別方法。
【請求項４】
入力画像圧縮データのヘッダー情報を検出し、検出したヘッダー情報から画像サイズ情報とフレームレート情報とを抽出するヘッダー検出手段と、
前記入力画像圧縮データの復号過程で発生する所定ブロック毎のDC値、AC値、動きベクトルの３つの情報の内の少なくとも１つの情報を基に得られる入力画像のコンテンツの内容における特徴を特定できる情報である周波数帯域情報と動き量情報とを検出する画像特徴データ検出手段と、
画像サイズ情報とフレームレート情報とのパラメータの組み合わせ毎にあらかじめ統計的に求めておいた周波数帯域情報と動き量情報とコンテンツ内容情報とを一組の特徴量データとしてデータベース化して記憶する画像特徴記憶手段と、
前記画像特徴記憶手段に記憶してあるデータベースの内から、前記入力画像圧縮データの画像サイズ情報、フレームレート情報、周波数帯域情報、動き量情報を用いて最も適合性が高いと判断できる特徴量データを選択し、選択した特徴量データのコンテンツ内容情報が、前記入力画像圧縮データを復号再生した際に得られるコンテンツの内容であると判別する、画像圧縮データ内容判別手段とを設けたことを特徴とする画像圧縮データ内容判別装置。
【請求項５】
入力音声圧縮データのヘッダー情報を検出し、検出したヘッダー情報からサンプリング周波数情報を抽出するヘッダー検出手段と、
前記入力音声圧縮データの復号過程で発生する所定サンプル毎のDC値、AC値の２つの情報の内の少なくとも１つの情報を基に得られる入力音声のコンテンツの内容における特徴を特定できる情報である周波数特性情報を検出する音声特徴データ検出手段と、
サンプリング周波数情報毎にあらかじめ統計的に求めておいた周波数特性情報とコンテンツ内容情報とを一組の特徴量データとしてデータベース化して記憶する音声特徴記憶手段と、
前記音声特徴記憶手段に記憶してあるデータベースの内から、前記入力音声圧縮データのサンプリング周波数情報、周波数特性情報を用いて最も適合性が高いと判断できる特徴量データを選択し、選択した特徴量データのコンテンツ内容情報が、前記入力音声圧縮データを復号再生した際に得られるコンテンツの内容であると判別する、音声圧縮データ内容判別手段とを設けたことを特徴とする音声圧縮データ内容判別装置。
【請求項６】
画像情報と音声情報とに相関のあるコンテンツを圧縮して作成した入力画像圧縮データと入力音声圧縮データとから前記コンテンツの内容を判別する圧縮データ内容判別装置であって、
請求項４記載の画像圧縮データ内容判別装置と、
請求項５記載の音声圧縮データ内容判別装置と、
請求項４記載の画像圧縮データ内容判別装置により得られた前記入力画像圧縮データのコンテンツ内容情報と、請求項５記載の音声圧縮データ内容判別装置により得られた前記入力音声圧縮データのコンテンツ内容情報との２つのコンテンツ内容情報を用いて、前記コンテンツの内容を判別する内容判別手段とを設けたことを特徴とする圧縮データ内容判別装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、圧縮データの内容を判別する方法及び装置に関するもので、特に圧縮データをすべて復号せずにそのデータの内容を判断する方法及び装置に関する。
【０００２】
【従来の技術】
従来、ディジタルデータの内容判断は、所謂、画像においては画像の色、輪郭、周波数、動きなどの情報を画像から検出し、画像認識を行ってその画像の内容を推察、判断していた。また、音声においても音声データの周波数特性をフーリエ変換などを用いて解析し、その結果を使用して音声認識を行っていた。
画像認識の従来例としては特開平７−７３３１７号公報等があり、音声認識の従来例としては特開平７−２６１７７８号公報等がある。
【０００３】
ここで、画像データの圧縮データ作成に使用されているＭＰＥＧについて説明する。ＭＰＥＧは１９８８年、ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２（国際標準化機構／国際電気標準化会合同技術委員会１／専門部会２、現在のＳＣ２９）に設立された動画像符号化標準を検討する組織の名称（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅｓ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）の略称である。ＭＰＥＧ１（ＭＰＥＧフェーズ１）は１．５Ｍｂｐｓ程度の蓄積メディアを対象とした標準で、静止画符号化を目的としたＪＰＥＧと、ＩＳＤＮのテレビ会議やテレビ電話の低転送レート用の動画像圧縮を目的としたＨ．２６１（ＣＣＩＴＴ  ＳＧＸＶ、現在のＩＴＵ−Ｔ  ＳＧ１５で標準化）の基本的な技術を受け継ぎ、蓄積メディア用に新しい技術を導入したものである。これらは１９９３年８月、ＩＳＯ／ＩＥＣ  １１１７２  として成立している。
ＭＰＥＧ２（ＭＰＥＧフェーズ２）は通信や放送などの多様なアプリケーションに対応できるように汎用標準を目的として、１９９４年１１月ＩＳＯ／ＩＥＣ  １３８１８、Ｈ．２６２として成立している。
【０００４】
ＭＰＥＧは幾つかの技術を組み合わせて作成されている。図１１に従来のＭＰＥＧ符号化器のブロック図を示す。
入力画像は、動き補償予測器４１で動き補償予測された局部復号化画像と差分器４２において差分を取られることで時間冗長部分が削減される。予測の方向は、過去、未来、両方からの３モード存在する。またこれらは１６画素×１６画素のＭＢ（マクロブロック）ごとに切り替えて使用できる。予測方向は入力画像に与えられたピクチャタイプによって決定される。過去からの予測と、予測をしないでそのＭＢを独立で符号化する２モード存在するのがＰピクチャーである。また未来からの予測、過去からの予測、両方からの予測、独立で符号化する４モード存在するのがＢピクチャーである。そして全てのＭＢが独立で符号化するのがＩピクチャーである。
【０００５】
動き補償は、動き領域をＭＢごとにパターンマッチングを行ってハーフペル精度で動きベクトルを検出し、動き分だけシフトしてから予測する。動きベクトルは水平方向と垂直方向が存在し、何処からの予測かを示すＭＣ（Ｍｏｔｉｏｎ  Ｃｏｍｐｅｎｓａｔｉｏｎ）モードとともにＭＢの付加情報として伝送される。Ｉピクチャから次のＩピクチャの前のピクチャまでをＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅ）といい、蓄積メディアなどで使用される場合には、一般に約１５ピクチャ程度が使用される。
【０００６】
差分画像はＤＣＴ器４３において直交変換が行われる。ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）とは  余弦関数を積分核とした積分変換を有限空間への離散変換する直交変換である。ＭＰＥＧではＭＢを４分割し８×８のＤＣＴブロックに対して、２次元ＤＣＴを行う。一般にビデオ信号は低域成分が多く高域成分が少ないため、ＤＣＴを行うと係数が低域に集中する。
【０００７】
ＤＣＴされた画像データ（ＤＣＴ係数）は量子化器４４で量子化が行われる。量子化は量子化マトリックスという８×８の２次元周波数を視覚特性で重み付けした値と、その全体をスカラー倍する量子化スケールという値で乗算した値を量子化値として、ＤＣＴ係数をその量子化値で叙算する。デコーダーで逆量子化するときは量子化値で乗算することにより、元のＤＣＴ係数に近似している値を得ることになる。
【０００８】
量子化されたデータはＶＬＣ器４５で可変長符号化される。量子化された値のうち直流（ＤＣ）成分は予測符号化のひとつであるＤＰＣＭ（ｄｉｆｆｅｒｅｎｃｉａｌ  ｐｕｌｓｅ  ｃｏｄｅ  ｍｏｄｕｌａｔｉｏｎ  ）を使用する。また交流（ＡＣ）成分は低域から高域にｚｉｇｚａｇ  ｓｃａｎを行い、ゼロのラン長および有効係数値を１つの事象とし、出現確率の高いものから符号長の短い符号を割り当てていくハフマン符号化が行われる。
【０００９】
可変長符号化されたデータは一時バッファ４６に蓄えられ、所定の転送レートで符号化データとして出力される。また、その出力されるデータのマクロブロック毎の発生符号量は、符号量制御器（図示せず）に送信され、目標符号量に対する発生符号量との誤差符号量を量子化器４４にフィードバックして量子化スケールを調整することで符号量制御される。
【００１０】
また、量子化された画像データは逆量子化器４７にて逆量子化、逆ＤＣＴ器４８にて逆ＤＣＴされ加算器４９を介して一時、画像メモリ５０に蓄えられたのち、動き補償予測器４１において、差分画像を計算するためのリファレンスの復号化画像（局部復号化画像）として使用される。
バッファ４６から出力された符号化データは、符号化と逆の工程により復号化される。図１２に従来のＭＰＥＧ復号化器のブロック図を示す。ＶＬＤ器（可変長符号復号器）５１、逆量子化器５２、逆ＤＣＴ器５３、加算器５４、画像メモリ５５、動き補償予測器５６により構成される。
【００１１】
【発明が解決しようとする課題】
上記圧縮データ（符号化データ）の内容判断を行う場合には、従来、圧縮データを完全に復号してから（図１２に示すＶＬＤ器（可変長符号復号器）５１、逆量子化器５２、逆ＤＣＴ器５３、加算器５４、画像メモリ５５、動き補償予測器５６による復号化を行ってから）、しかるべき画像認識、音声認識等により内容判断を行っていた。そのために、内容判断に専用の復号手段が必要であった。また、復号されたデータは伸長されるためにかなり大きなメモリーや記録媒体が必要であった。
本発明は、圧縮データを完全に復号しなくとも圧縮データの内容判別を可能とする圧縮データ内容判別方法及び圧縮データ内容判別装置を提供することを目的としている。
【００１２】
【課題を解決するための手段】
そこで、上記課題を解決するために本発明は、下記（１）〜（６）に記載の方法及び装置を提供するものである。
（１）入力画像圧縮データのヘッダー情報を検出し、検出したヘッダー情報から画像サイズ情報とフレームレート情報とを抽出するヘッダー検出ステップと、
前記入力画像圧縮データの復号過程で発生する所定ブロック毎のDC値、AC値、動きベクトルの３つの情報の内の少なくとも１つの情報を基に得られる入力画像のコンテンツの内容における特徴を特定できる情報である周波数帯域情報と動き量情報とを検出する画像特徴データ検出ステップと、
画像サイズ情報とフレームレート情報とのパラメータの組み合わせ毎にあらかじめ統計的に求めておいた周波数帯域情報と動き量情報とコンテンツ内容情報とを一組の特徴量データとしてデータベース化して記憶している画像特徴記憶手段内のデータベースから、前記入力画像圧縮データの画像サイズ情報、フレームレート情報、周波数帯域情報、動き量情報を用いて最も適合性が高いと判断できる特徴量データを選択し、選択した特徴量データのコンテンツ内容情報が、前記入力画像圧縮データを復号再生した際に得られるコンテンツの内容であると判別する、画像圧縮データ内容判別ステップとを設けたことを特徴とする画像圧縮データ内容判別方法。
（２）入力音声圧縮データのヘッダー情報を検出し、検出したヘッダー情報からサンプリング周波数情報を抽出するヘッダー検出ステップと、
前記入力音声圧縮データの復号過程で発生する所定サンプル毎のDC値、AC値の２つの情報の内の少なくとも１つの情報を基に得られる入力音声のコンテンツの内容における特徴を特定できる情報である周波数特性情報を検出する音声特徴データ検出ステップと、
サンプリング周波数情報毎にあらかじめ統計的に求めておいた周波数特性情報とコンテンツ内容情報とを一組の特徴量データとしてデータベース化して記憶してある音声特徴記憶手段内のデータベースから、前記入力音声圧縮データのサンプリング周波数情報、周波数特性情報を用いて最も適合性が高いと判断できる特徴量データを選択し、選択した特徴量データのコンテンツ内容情報が、前記入力音声圧縮データを復号再生した際に得られるコンテンツの内容であると判別する、音声圧縮データ内容判別ステップとを設けたことを特徴とする音声圧縮データ内容判別方法。
（３）画像情報と音声情報とに相関のあるコンテンツを圧縮して作成した入力画像圧縮データと入力音声圧縮データとから前記コンテンツの内容を判別する際に、
上記（１）記載の画像圧縮データ内容判別方法により得られた前記入力画像圧縮データのコンテンツ内容情報と、上記（２）記載の音声圧縮データ内容判別方法により得られた前記入力音声圧縮データのコンテンツ内容情報との２つのコンテンツ内容情報を用いて、前記コンテンツの内容を判別することを特徴とする圧縮データ内容判別方法。
（４）入力画像圧縮データのヘッダー情報を検出し、検出したヘッダー情報から画像サイズ情報とフレームレート情報とを抽出するヘッダー検出手段と、
前記入力画像圧縮データの復号過程で発生する所定ブロック毎のDC値、AC値、動きベクトルの３つの情報の内の少なくとも１つの情報を基に得られる入力画像のコンテンツの内容における特徴を特定できる情報である周波数帯域情報と動き量情報とを検出する画像特徴データ検出手段と、
画像サイズ情報とフレームレート情報とのパラメータの組み合わせ毎にあらかじめ統計的に求めておいた周波数帯域情報と動き量情報とコンテンツ内容情報とを一組の特徴量データとしてデータベース化して記憶する画像特徴記憶手段と、
前記画像特徴記憶手段に記憶してあるデータベースの内から、前記入力画像圧縮データの画像サイズ情報、フレームレート情報、周波数帯域情報、動き量情報を用いて最も適合性が高いと判断できる特徴量データを選択し、選択した特徴量データのコンテンツ内容情報が、前記入力画像圧縮データを復号再生した際に得られるコンテンツの内容であると判別する、画像圧縮データ内容判別手段とを設けたことを特徴とする画像圧縮データ内容判別装置。
（５）入力音声圧縮データのヘッダー情報を検出し、検出したヘッダー情報からサンプリング周波数情報を抽出するヘッダー検出手段と、
前記入力音声圧縮データの復号過程で発生する所定サンプル毎のDC値、AC値の２つの情報の内の少なくとも１つの情報を基に得られる入力音声のコンテンツの内容における特徴を特定できる情報である周波数特性情報を検出する音声特徴データ検出手段と、
サンプリング周波数情報毎にあらかじめ統計的に求めておいた周波数特性情報とコンテンツ内容情報とを一組の特徴量データとしてデータベース化して記憶する音声特徴記憶手段と、
前記音声特徴記憶手段に記憶してあるデータベースの内から、前記入力音声圧縮データのサンプリング周波数情報、周波数特性情報を用いて最も適合性が高いと判断できる特徴量データを選択し、選択した特徴量データのコンテンツ内容情報が、前記入力音声圧縮データを復号再生した際に得られるコンテンツの内容であると判別する、音声圧縮データ内容判別手段とを設けたことを特徴とする音声圧縮データ内容判別装置。
（６）画像情報と音声情報とに相関のあるコンテンツを圧縮して作成した入力画像圧縮データと入力音声圧縮データとから前記コンテンツの内容を判別する圧縮データ内容判別装置であって、
上記（４）記載の画像圧縮データ内容判別装置と、
上記（５）記載の音声圧縮データ内容判別装置と、
上記（４）記載の画像圧縮データ内容判別装置により得られた前記入力画像圧縮データのコンテンツ内容情報と、上記（５）記載の音声圧縮データ内容判別装置により得られた前記入力音声圧縮データのコンテンツ内容情報との２つのコンテンツ内容情報を用いて、前記コンテンツの内容を判別する内容判別手段とを設けたことを特徴とする圧縮データ内容判別装置。
【００１３】
【発明の実施の形態】
本発明は、圧縮データを完全に復号しなくても、圧縮データの復号途中に発生するコンテンツ内容を示す特徴的データと、予め統計的に求めておいた特徴データとを用いて特徴を検索することで、圧縮データの内容判別を可能とするものである。これにより、本発明は、専用の復号手段や、大きなメモリー、記録媒体を必要としない圧縮データ内容判別方法及び圧縮データ内容判別装置を提供できる。また、コンテンツの内容判別を行うことを拒否できる情報を持たせることにより、その情報に応じてコンテンツ内容判断を拒否する圧縮データ内容判別方法及び圧縮データ内容判別装置を提供できる。この場合、圧縮データに秘守性を持たせることが可能である。
【００１４】
まず、図１に本発明の圧縮データ内容判別装置の一実施例を示す。この実施例は、画像圧縮データの内容を判別する画像内容判別装置である。画像圧縮データはヘッダー検出器１に送信される。画像圧縮データは例えばＭＰＥＧ方式のものとすると、データの一番始めにシーケンスヘッダーと呼ばれる領域が有り、そこには水平の画素サイズ、垂直の画素サイズ、アスペクト比率、フレームレート、ビットレートなどが記述されている。ヘッダー検出器１ではこれらヘッダーの値を検出する。この領域は固定長の構造をもっているので検出は所定のビットを単に読むだけで可能である。
【００１５】
画像特徴データベース２には、画像圧縮データのヘッダーの値で、多くのコンテンツの特徴を予め統計的にデーター化したものが使われる。すなわち、画像サイズが変化すると相対的に画像の帯域が変化することになるし、ビットレート低くなるとその分、圧縮率が高くなり、ＤＣＴ係数の有効係数（０でない値）にも影響が出る。また、ビットレートが同じでも、フレームレートが変わると１フレームごとに与える符号量も変わるので、フレームレートもデータベース化する場合の、大きなパラメータである。これらの全てのパラメータの組み合わせで、様々なコンテンツを統計的にデータベース化して整理して記録されているのが画像特徴データベースである。
【００１６】
ヘッダー検出器１で検出されたヘッダー情報は画像特徴データベース２に送信される。ヘッダー情報を受信した画像特徴データベース２は、ヘッダー情報に応じたパラメータにおけるデータを用意する。また、ここではＭＰＥＧを前提に記述しているが、ＭＰＥＧ以外のサブバンド符号化であっても、また、フラクタルを用いた符号化であっても、その符号化方式特有の復号途中のデータであって、画像の特徴を示す情報であれば、どんなものでもデータベース化可能である。したがってデータベースのパラメータの一番上位は、方式種別情報となる。
【００１７】
一方、ヘッダー検出器１でヘッダーを検出された後、圧縮データはＶＬＣ復号器３に送信される。ここでは、ＭＰＥＧなどの圧縮ストリームの可変長符号（ＶＬＣ）をブロック毎に復号する。（固定長符号（ＦＬＣ）の場合にはＦＬＣ復号する。）
【００１８】
復号されたデータをＤＣ値、ＡＣ値、動きベクトル値検出器４に送信する。ＤＣ値、ＡＣ値、動きベクトル値検出器４では復号したＶＬＣからＤＣ値、ＡＣ値、動きベクトルを検出する。
【００１９】
ＤＣ値は色検出器５に送信され、Ｙ，Ｕ，Ｖ（Ｙは輝度信号、Ｕ，Ｖは色差信号）の値が検出される。ＡＣ値は周波数帯域検出器６に入力され、図９のように、ＭＰＥＧにおけるＤＣＴの８つの係数に対して、有効係数の絶対値の特性がパターンの０〜７のどのタイプであったかが求められる。また、ＡＣ値は輪郭検出器７にも入力され、ブロックに輪郭のエッジが存在する場合、パターンの６もしくは７になる特徴を利用し、そのブロックの画面上の位置関係を検出される。そして、図１０のようにその形状が何のパターンに対応するかを輪郭パターンとして、表１のように予め用意したパターンに最も近いパターンを検出する。表１には簡単のため５つのコンテンツを記述してあるが、様々なコンテンツにおいて数多くのデータベースを持っておくことが現実的である。
また、表２に示すように、輪郭だけでなく、領域としてそのコンテンツが画面のどの部分に主に位置しているかを示すパターンを検出する。
【００２０】
【表１】
0003615086.tif 000002
【００２１】
【表２】
0003615086.tif 000003
【００２２】
ＤＣ値、ＡＣ値、動きベクトル値検出器４で検出された動きベクトルは動き量検出器８に入力され、そのコンテンツの動き量を画素精度のベクトルの絶対値で検出する。動き量は、画面全体がパニングしている場合などは、たとえ静止している物体であっても動きを伴う結果になるので、画面全体が一定方向に動いていると判断された場合にはそのグローバルな動き量の分、差し引いて検出される。
【００２３】
このように検出された画像圧縮データの特徴量データは特徴量比較器９に入力され、画像特徴データベース２の様々なコンテンツの特徴データ（例えば表３）と比較される。そして、画像圧縮データの特徴量データと適合性の最も高いデータベース内の特徴量データが示すコンテンツが、その画像圧縮データの画像内容と判別され、画像判別器１０から画像内容の判別結果が出力される。
【００２４】
【表３】
0003615086.tif 000004
【００２５】
図１における画像判別器１０に入力される付加情報は、後述する音声内容判別装置（図３）からの判断結果の情報である。これは、判断結果に曖昧な部分がある場合、外からの判断結果を参考情報として使用できるように考慮されたものである。もちろん、外からの付加情報は音声判断結果に限らず、他の結果情報を入力しても良い。また、なにも入力しなくてもかまわない。
【００２６】
このように、本実施例の画像内容判別装置は、画像圧縮データを完全に復号しなくても（ＶＬＣ復号器３による復号まででよく、その先の復号化工程である図１２に示す逆量子化器５２、逆ＤＣＴ器５３、加算器５４、画像メモリ５５、動き補償予測器５６による完全な復号化は不要）、圧縮データの復号途中に発生するコンテンツ内容を示す特徴的データと、予め統計的に求めておいた特徴データとを用いて特徴を検索することで、圧縮データの内容判別を可能としている。これにより、本画像内容判別装置は、専用の復号手段や、大きなメモリー、記録媒体が不要となり、低コスト化、小型化が図れる。
【００２７】
次に、音声圧縮データの内容判別を行う実施例（音声内容判別装置）を図２に示す。音声圧縮データはヘッダー検出器１１に送信される。音声圧縮データは例えばＭＰＥＧ方式のものとすると、サンプリング周波数、チャンネル数、ビットレート、コーディングモードなどが記述されている。ヘッダー検出器１１ではこれらヘッダーの値を検出する。この領域は固定長の構造をもっているので検出は所定のビットを単に読むだけで可能である。
【００２８】
このヘッダーの値は音声特徴データベース１２に送信される。音声特徴データベース１２では、これらのヘッダーの値で、多くのコンテンツの特徴を予め統計的にデーター化したものが使われる。
【００２９】
一方、ヘッダー検出器１１でヘッダーを検出された後、圧縮データはＶＬＣ復号器１３に送信される。ＶＬＣされていない場合、固定長のＦＬＣ復号する。ここでは、ＭＰＥＧなどの圧縮ストリームの可変長符号（ＶＬＣ）もしくは固定長符号（ＦＬＣ）を所定サンプル毎に復号して、そのデータをＤＣ値、ＡＣ値検出器１４に送信する。ＤＣ値、ＡＣ値検出器１４では復号したＶＬＣもしくはＦＬＣからＤＣ値、ＡＣ値を検出する。
【００３０】
ＤＣ値は音圧検出器１５に入力され、音の大きさが検出される。ＡＣ値は周波数特性検出器１６に入力され、固有の特性が検出される。音声の圧縮はサブバンド方式やＤＣＴをもちいるが、次数は画像のように少なくなく、３８４サンプルや１１５２サンプルと非常に多い。従って、細かい周波数特性が選られる。これらに対し数多くのコンテンツにおける典型的なパターンを決定できる。これらはのパターンを用いて、音声特徴データベースを作成しておく。
【００３１】
そして、特徴量比較器１７に音圧検出器１５と周波数特性検出器１６とから入力された音圧や周波数特性の特徴データは、音声特徴データベース１２から読み出されたデータベースと比較され、そのもっとも適合したコンテンツが判別され、その結果が音声判別器８から出力される。
【００３２】
図２における音声判別器１８に入力される付加情報は、後述する画像内容判別装置（図３）からの判断結果情報である。これは、音声圧縮データのみによる判断結果に曖昧な部分がある場合、外からの判断結果を参考情報として使用できるように考慮されたものである。もちろん、外からの付加情報は画像判断結果に限らず、他の結果情報を入力しても良い。また、なにも入力しなくてもかまわない。
【００３３】
次に、画像音声圧縮データの内容を判別する装置の実施例を図３に示す。入力される圧縮データは相関のある音声コンテンツと画像コンテンツとを圧縮して作成した音声圧縮データと画像圧縮データであり、一般に両者は多重化され、それぞれが再生される時間が同期するように、タイムスタンプが打たれている。これの例はＭＰＥＧにおける多重化方法、ＭＰＥＧシステムＩＳＯ−ＩＥＣ１１１７２−１やＩＴＵＨ．２２２．０／ＩＳＯ−ＩＥＣ１３８１８−１に詳細が記述されている。この画像音声圧縮データは画像音声分離器２１に入力され、分離される。分離された画像と音声の圧縮データは同期管理器２２において、それぞれのタイムスタンプで同期がとられ、画像データは前述した画像内容判別装置２３（図１に示したもの）に、音声データは音声内容判別装置２４（図２に示したもの）に、同期して入力される。
【００３４】
それぞれの判別装置では前述の方法で判別が行われるが、内容を判別する際に、画像圧縮データから検出する情報と、音声圧縮データから検出される情報の両方を用いて、より精度の高い判別を行えるように工夫されている。（図１における画像判別器１０に、図２における音声判別器１８から音声判別結果が入力され、その音声判別結果を参考にして画像判別をより精度よく行う。同様に、図２における音声判別器１８に、図１における画像判別器１０から画像判別結果が入力され、その画像判別結果を参考にして画像判別をより精度よく行う。）
双方の判別結果は最終判別器２５に出力される。即ち、「海」なのか「青い絨毯」なのか画像判別では曖昧なところを、音声判別で「海」の音に近いと判別された場合、内容最終判別結果は「海」と判別される。
【００３５】
最終判別器２５では、上述の工夫により、基本的には同じ判別結果が得られるが、双方の判断結果があまりにも違う場合、最終判別器２５では、どちらかを優先するように設定できる。これは入力される圧縮データの種類が、予め、どちらが判別しやすいかわかっているような場合に人為的に、精度を高めることが出来るからである。
【００３６】
また、圧縮データがプライベートな情報であり内容を判別されたくないデータである場合、図４に示すように圧縮データのヘッダーに判断拒否データを付加しておき、前述した内容判別装置では、この情報により判断を停止することが出来る。判断拒否データはヘッダーに記述していなくても、図５に示すように圧縮データに番号（ＩＤ）が付加されていて、図６に示すように圧縮データの番号（ＩＤ）とリンクした、判別拒否情報構造体が別データとして存在するようにしてもよい。判別拒否情報構造体に、例えば圧縮データの所定の単位ごとに、そのデータの内容判断を拒否する場合には１、拒否しない場合には０を記述しておく。
【００３７】
判断拒否データ情報を用いる場合の内容判別装置のブロック図を図７、図８に示す。図７では、まず、圧縮データを判別拒否データ検出器３１に入力する。判別拒否データ検出器３１では、上記判定拒否データを検出する。その結果、判断を拒否している場合には、スイッチ３２を「データを流さないモード」に切り替え、圧縮データが内容判別部３３に入力されない様にする。また、拒否していない場合には、スイッチ３２を「データを流すモード」に切り替え、圧縮データは内容判別部３３に入力される。内容判別部３３では圧縮データの内容が判断され、判断結果を出力する。内容判別部３３は図１に示すブロック１〜１０、図２に示すブロック１１〜１８、図３に示すブロック２１〜２５に相当する。
【００３８】
図８では、圧縮データはまず内容判別部３３に入力される。同時に、判断拒否データ検出器３１にも入力される。判別拒否データ検出器３１では、上記判定拒否データを検出する。その結果、判断を拒否している場合には、スイッチ３２を「データを流さないモード」に切り替え、内容判別部３３によって判断された結果を出力しないようにする。また、拒否していない場合には、スイッチ３２を「データを流すモード」に切り替え、内容判別部３３によって判断された結果を出力するようにする。
【００３９】
【発明の効果】
以上の通り、本発明によれば、圧縮データを完全に復号しなくても、圧縮データの復号化段階の途中で発生するコンテンツ内容を示す特徴的データと、予め統計的に求めておいた特徴データとを用いて特徴を検索することで、圧縮データの内容判別を可能としている。これにより、本発明は、専用の復号手段や、大きなメモリー、記録媒体を必要としない圧縮データ内容判別方法及び圧縮データ内容判別装置を提供できる。
【図面の簡単な説明】
【図１】実施例による画像内容判別装置のブロック図である。
【図２】実施例による音声内容判別装置のブロック図である。
【図３】実施例による画像音声内容判別装置のブロック図である。
【図４】判定拒否データの第１の記録例を示す説明図である。
【図５】判定拒否データの第２の記録例を示す説明図である。
【図６】判定拒否データの第２の記録例を示す説明図である。
【図７】判定拒否データを用いた実施例による内容判別装置のブロック図である。
【図８】判定拒否データを用いた実施例による内容判別装置のブロック図である。
【図９】ＡＣパターンの説明図である。
【図１０】ＡＣと輪郭パターンの関係を示した説明図である。
【図１１】従来例の符号化器のブロック図である。
【図１２】従来例の復号化器のブロック図である。
【符号の説明】
１  ヘッダー検出器
２  画像特徴データベース
３  ＶＬＣ復号器
４  ＤＣ値、ＡＣ値、動きベクトル値検出器
５  色検出器
６  周波数帯域検出器
７  輪郭検出器
８  動き量検出器
９  特徴量比較器
１０  画像判別器
【図１】
0003615086.tif 000005
【図２】
0003615086.tif 000006
【図３】
0003615086.tif 000007
【図４】
0003615086.tif 000008
【図５】
0003615086.tif 000009
【図６】
0003615086.tif 000010
【図７】
0003615086.tif 000011
【図８】
0003615086.tif 000012
【図９】
0003615086.tif 000013
【図１０】
0003615086.tif 000014
【図１１】
0003615086.tif 000015
【図１２】
0003615086.tif 000016