(57)【要約】【課題】  従来の画像符号化装置とランキング計算装置を組み合わせて、ランキング情報を出力する画像符号化装置を構成する場合、画像符号化とランキング情報計算にかかるコストは、画像符号化装置とランキング計算システムのコストの和に等しい。【解決手段】  画像圧縮符号化処理１０１は、非圧縮画像データ１０４を圧縮符号化し、この際に生成される動きベクタやＤＣ成分等の中間データを画像フレームごとに保持する。そして保持した中間データを、特徴パラメータ１０６として特徴ベクタ計算処理１０２に出力することにより、従来技術のシステムに必要であった特徴抽出処理を削減する。【選択図】  図１
2005110071.tif 000002
【特許請求の範囲】
【請求項１】
入力した動画像の所定の特徴パラメータに基づいて特徴ベクタ計算処理及びカーブ単純化処理を行いランキング情報を得て、該ランキング情報に基づき動画像のダイジェスト画像を作成するダイジェスト画像作成装置であって、
動画像を入力し、前記動画像を符号化した符号化画像を出力するとともに、符号化の際に生じる所定の特徴パラメータを抽出し、出力する画像符号化手段と、
前記特徴パラメータを入力し、ｎ次元で定義される画像フレームの特徴ベクタを出力する特徴ベクタ計算処理手段と、
前記特徴ベクタ計算処理手段が出力するｎ次元特徴ベクタを時系列に並べてできる軌跡を単純化するカーブ単純化処理手段とを有することを特徴とするダイジェスト画像作成装置。
【請求項２】
請求項１記載のダイジェスト画像作成装置であって、
前記特徴パラメータは、
前記画像符号化手段で既に符号化された動画像に基づくデータと前記入力された動画像との関係に基づいて決定されたものであることを特徴とする請求項１記載のダイジェスト画像作成装置。
【請求項３】
請求項２記載のダイジェスト画像作成装置であって、
前記決定されたものは動きベクタであることを特徴とする請求項２記載のダイジェスト画像作成装置。
【請求項４】
請求項１記載のダイジェスト画像作成装置であって、
前記画像符号化手段は、前記入力された動画像を直行変換する処理を有し、
前記特徴パラメータは、前記直行変換処理により得られたものであることを特徴とする請求項１記載のダイジェスト画像作成装置。
【請求項５】
請求項１記載のダイジェスト画像作成装置であって、
前記特徴パラメータは、前記直行変換処理により得られたものうち、ＤＣ成分であることを特徴とする請求項１記載のダイジェスト画像作成装置。
【請求項６】
請求項１記載のダイジェスト画像作成装置であって、
前記特徴パラメータは、前記画像符号化処理手段により前記入力する動画像のフレーム単位ごとに保持し、
入力される動画像のフレームの種類に基づいて特徴パラメータを抽出することを特徴とする請求項１記載のダイジェスト画像作成装置。
【請求項７】
請求項６記載のダイジェスト画像作成装置であって、
前記入力した動画像のフレームの種類がＰピクチャあるいはＢピクチャである場合は、前記特徴パラメータは、前記動画像と前記画像符号化手段であらかじめ保持されている動画像との関係に基づいて決定されるものであって、
前記入力した動画像のフレームの種類がＩピクチャである場合は、前記特徴パラメータは、前記画像符号化手段により前記入力した動画像を直行変換して得られるものであることを特徴とする請求項６記載のダイジェスト画像作成装置。
【請求項８】
動画像を入力し、前記動画像を符号化し、符号化画像を生成するダイジェスト画像作成装置を用いるダイジェスト画像作成方法であって、
前記符号化の際に生じる所定の特徴パラメータを抽出し、抽出された特徴パラメータを用いてｎ次元で定義される画像フレームの特徴ベクタを生成し、前記生成されたｎ次元特徴ベクタを時系列に並べてできる軌跡を単純化し、前記単純化によりランキング情報を作成し、前記作成したランキング情報に基づいて動画像のダイジェスト画像を作成することを特徴とするダイジェスト画像作成方法。
【請求項９】
入力した非圧縮画像データを圧縮符号化する画像符号化装置であって、
非圧縮画像を入力し、該非圧縮画像を符号化した圧縮画像を出力するとともに、符号化の際に生じる所定の特徴パラメータを画像フレームごとに保持し、出力する画像符号化手段と、
前記画像符号化手段が出力する特徴パラメータを入力し、ｎ次元で定義される画像フレームの特徴ベクタを出力する特徴ベクタ計算処理手段と、
前記特徴ベクタ計算処理手段が出力するｎ次元特徴ベクタを時系列に並べてできる軌跡を単純化することにより画像フレームのランキング情報を生成するカーブ単純化処理手段とを有することを特徴とする画像符号化装置。
【請求項１０】
入力した非圧縮画像データを圧縮符号化する画像符号化装置であって、
非圧縮画像を入力し、該非圧縮画像を符号化した圧縮画像を出力するとともに、符号化の際に生じる一種類以上の特徴パラメータを画像フレームごとに保持し、該特徴パラメータの中から適切なものを出力する画像符号化手段と、
前記画像符号化手段が出力する特徴パラメータを入力し、ｎ次元で定義される画像フレームの特徴ベクタを出力する1つ以上の特徴ベクタ計算処理手段と、
前記特徴ベクタ計算処理手段が出力するｎ次元特徴ベクタを時系列に並べてできる軌跡を単純化することによりランキング情報を生成するカーブ単純化処理手段とを有することを特徴とする画像符号化装置。
【請求項１１】
入力した圧縮画像から画像フレームごとに所定の特徴パラメータを抽出し、該特徴パラメータに基づき特徴ベクタ計算処理及びカーブ単純化処理を行ないランキング情報を得るランキング計算装置であって、
圧縮画像を入力し、一種類以上の特徴パラメータを画像フレームごとに保持し、該特徴パラメータの中から適切なものを出力する特徴抽出処理手段と
前記特徴抽出処理手段が出力する特徴パラメータを入力し、ｎ次元で定義される画像フレームの特徴ベクタを出力する1つ以上の特徴ベクタ計算処理手段と、前記特徴ベクタ計算処理手段が出力するｎ次元特徴ベクタを時系列に並べてできる軌跡を単純化することによりランキング情報を生成するカーブ単純化処理手段とを有することを特徴とするランキング計算装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ダイジェスト画像作成装置及びその方法に関し、特に、入力された非圧縮の動画像データの圧縮画像データを出力すると共にランキング情報を作成する画像符号化装置に関する。
【背景技術】
【０００２】
近年、映像や音声といったマルチメディア関連のデジタルデータを取り扱うためのデジタル圧縮符号化方式が数多く規格化されている。音声圧縮符号化方式は、ＭＰ３（ＭＰＥＧ−１  Ａｕｄｉｏ  Ｌａｙｅｒ−３：ＩＳＯ／ＩＥＣ１１１７２−２）、ＡＡＣ（Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ：ＩＳＯ／ＩＥＣ１３８１８−７）等であり、動画圧縮符号化方式は、ＭＰＥＧ−１（ＩＳＯ／ＩＥＣ１１１７２−２）、ＭＰＥＧ−２（ＩＴＵ−Ｔ  Ｈ．２６２、ＩＳＯ／ＩＥＣ１３８１８−２）、ＭＰＥＧ−４（ＩＳＯ／ＩＥＣ１４４９６−２）等である。これら圧縮符号化技術により、音声や動画といった膨大なサイズのデジタルデータを、音質や画質といった品質の劣化が減少し、コンパクトに圧縮して扱える。
【０００３】
一方、ビデオダイジェスト技術の一つであるビデオフレームランキング計算方法は、動画を構成する各画像フレームを、内容を理解する上で重要な順にランキング付けする。そして、ランキングの高い画像フレームを時間順に並べることで要約を生成する。
【０００４】
図３は、ビデオランキング計算方法の装置における処理を示した図である。特徴抽出処理３０１により圧縮画像データ３０２から画像フレームを特徴付ける特徴パラメータ１０６を抽出し、特徴パラメータ１０６から特徴ベクタ計算処理１０２によりその画像フレームのｎ次元特徴ベクタ１０７を生成する。そして、カーブ単純化処理１０３により、各画像フレームのｎ次元特徴ベクタ１０７を時系列に並べてできる軌跡を単純化することで画像フレームのランキング情報１０８を生成する。
【０００５】
この特徴パラメータ１０６は、特徴ベクタ計算処理１０２に依存し、特徴ベクタ計算処理により動きベクタであったり、ＤＣ（Direct Current）成分であったり、画像フレームデータそのものであったりする。このような場合、特徴抽出処理３０１では、入力の圧縮画像を伸張復号することにより、特徴パラメータ１０６を得ることができる。このような技術は、非特許文献１及び非特許文献２に示されている。
【０００６】
【非特許文献１】D.DeMenthon, v.Kobla, D.Doermann,“Video Summarization by Curve Simplification”、ACM Multimedia 98、September 1998、pp.211−218.
【０００７】
【非特許文献２】K.Yoon,D.DeMenthon、D.Dermann,”Event Detection from MPEG Video iN THE Compressed Domain”,ICPR 2000.
【発明の開示】
【発明が解決しようとする課題】
【０００８】
そして、現在、各種デジタル映像コンテンツを圧縮することで、インターネットなどのネットワークにより高品質を維持したまま配信する動画配信サービスが立ち上がり始めている。この分野では、大量のデジタル映像コンテンツを効率よく流通させるために、利用者が限られた時間内でコンテンツを取捨選択し、所望のコンテンツを視聴できるようにすることが重要である。このような要求に対して、上述した映像コンテンツの要約を生成するビデオダイジェスト技術が着目されている。
【０００９】
上記要求に応えるべくビデオダイジェスト技術の例を図４に示す。図４は、従来の画像符号化方法とランキング計算方法を組み合わせて、ランキング情報を出力する画像符号化装置又は方法を示した図である。画像圧縮符号化処理４０１により非圧縮画像データ４０２を圧縮符号化し、圧縮画像データ３０２を生成する。生成された圧縮画像データ３０２から特徴抽出処理３０１により画像フレームの特徴パラメータ１０６を抽出し、特徴ベクタ計算処理１０２により特徴パラメータ１０６からその画像フレームのｎ次元特徴ベクタ１０７を生成し、カーブ単純化処理１０３により特徴ベクタ１０７を時系列に並べてできる軌跡を単純化することで画像フレームのランキング情報１０８を計算する。
【００１０】
このような構成では、画像符号化とランキング情報計算にかかるコストは、画像符号化装置とランキング計算システムのコストの和に等しい。
【００１１】
本発明の目的は、画像符号化とランキング情報計算にかかるコストを削減することにより効率よくダイジェスト画像を作成する装置及び方法を提供することにある。
【課題を解決するための手段】
【００１２】
上記課題を解決するために本発明では以下の構成を有する。
【００１３】
入力した動画像の所定の特徴パラメータに基づいて特徴ベクタ計算処理及びカーブ単純化処理を行いランキング情報を得て、該ランキング情報に基づき動画像のダイジェスト画像を作成するダイジェスト画像作成装置であって、動画像を入力し、前記動画像を符号化した符号化画像を出力するとともに、符号化の際に生じる所定の特徴パラメータを抽出し、出力する画像符号化手段と、前記特徴パラメータを入力し、ｎ次元で定義される画像フレームの特徴ベクタを出力する特徴ベクタ計算処理手段と、前記特徴ベクタ計算処理手段が出力するｎ次元特徴ベクタを時系列に並べてできる軌跡を単純化するカーブ単純化処理手段とを有するダイジェスト画像作成装置である。
また、所定の特徴パラメータは、圧縮符号化する際に生成されるもので。例えば、動きベクタやＤＣ成分等である。
【発明の効果】
【００１４】
本発明によれば、従来システムに必要であった特徴抽出処理を行うことなくランキング情報を計算することが可能となり、画像符号化とランキング情報計算にかかるコストを削減することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態について実施例を用いて説明する。
【実施例１】
【００１６】
本発明の第一の実施例について、図１、図２、図５及び図６を用いて説明する。
【００１７】
図１は、本発明の画像符号化装置における第一の実施例である。本実施例における画像符号化装置は、画像圧縮符号化処理１０１、特徴ベクタ計算処理１０２、特徴ベクタ計算処理１０２及びカーブ単純化処理１０３を有する。
画像圧縮符号化処理１０１は、非圧縮画像データ１０４をある画像圧縮符号化方式で圧縮符号化する。圧縮符号化された圧縮画像データ１０５を出力すると共に、圧縮符号化の際に生成する中間データを画像フレーム単位で保持し、これを特徴パラメータ１０６として出力する。
特徴ベクタ計算処理１０２は、特徴パラメータ１０６からｎ次元で定義される特徴ベクタ１０７を生成する。カーブ単純化処理１０３は、生成されたｎ次元特徴ベクタ１０７を時系列に並べてできる軌跡を単純化することで画像フレームのランキング情報１０８を生成する。
【００１８】
そして、ランキング情報によりランキングの高い画像をその時間順序でならべて要約を作成することによりダイジェスト画像を作成することができる。このような動画の要約を生成するビデオダイジェスト技術は、監視システムにおける異常検知にも適用が可能であり、例えば、ＭＰＥＧエンコーダからなる監視システムでは、集中監視センタへ各監視カメラにから入力され.保存用の圧縮データを生成するととともにダイジェストもする際に適用することが可能となる。
【００１９】
図２ないし図４を用いて、第一の実施例における画像圧縮符号化処理について説明する。本実施例では、非圧縮画像データをＭＰＥＧ−２形式で圧縮符号化する処理を示すが、本発明はこれに限られるものではない。
【００２０】
図２は、第一の実施例における画像圧縮符号化処理の詳細を示した図である。本実施例の画像圧縮符号化処理では、入力非圧縮画像データ２１０を入力し、圧縮画像データ２１１を出力すると共に、圧縮符号化時に生成する動きベクタを特徴パラメータとして画像フレーム単位に保持し、特徴ベクタ計算処理に出力する。
【００２１】
非圧縮画像データ２１０を画像フレーム単位で受け取ると、入力された非圧縮画像データ２１０がＩピクチャ（Ｉｎｔｒａ−Ｐｉｃｔｕｒｅ）またはＰピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）の場合は、この非圧縮画像データ２１０を以下の処理で圧縮符号化する。一方、非圧縮画像データ２１０がＢピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ  ｐｒｅｄｉｃｔｉｖｅ―Ｐｉｃｕｒｅ）の場合は、これを入力画像フレーム格納領域２００に格納する。そして、入力画像フレーム格納領域２００にある画像フレームデータの中から一番古い画像フレームデータを取り出し、以下の処理で圧縮符号化する。
【００２２】
非圧縮画像データ２１０がＰピクチャまたはＢピクチャの場合、動き検出処理２０１が、圧縮符号化対象の画像フレームデータ内の符号化対象マクロブロックデータと出力画像フレーム格納領域２０２内の参照用画像フレームデータから動き補償の予測方式や動きベクタ等を決定する。この際、求めた動きベクタを別途画像フレーム単位で、特徴パラメータ格納領域２１２に格納する。
【００２３】
次に、動き補償処理２０３が、動き検出処理２０１で求めた動きベクタなどの情報を元に出力画像フレーム格納領域２０２内の参照用画像フレームデータを参照し、参照用マクロブロックデータを抽出する。
【００２４】
直交変換処理２０４は、抽出した参照用マクロブロックと符号化対象のマクロブロックデータとの差分をとり、その差分データを直交変換し、量子化処理２０５が直交変換後のマクロブロックデータの量子化を行う。一方、Ｉピクチャの場合は、直交変換処理２０４が、圧縮符号化対象の画像フレームデータ内の符号化対象マクロブロックデータを、差分を取ることなくそのまま直交変換し、量子化処理２０５がこれを量子化する。
【００２５】
可変長符号化処理２０８は、量子化処理２０５後、上述の処理を経たマクロブロックデータやそれら処理で使用した動きベクタや量子化パラメータ等のパラメータを可変長符号化し、圧縮画像データ２１１を出力する。
【００２６】
符号量制御処理２０９は、可変長符号化処理２０８の出力するデータ量に応じて、適切な量子化スケールを決定し、これを量子化処理２０５へフィードバックする。
【００２７】
符号化したマクロブロックデータがＩピクチャまたはＰピクチャの場合は、上述の処理を経たマクロブロックデータやそれら処理で使用した動きベクタや量子化パラメータ等のパラメータを用いて、マクロブロックを再構成し、参照用画像フレームデータを生成する。  すなわち、まず、量子化処理２０５後のマクロブロックデータに対して、逆量子化処理２０６と逆直交変換処理２０７を行う。なお、Ｐピクチャの場合は、動き補償処理２０３で抽出した参照マクロブロックデータとの和をとる。そして、再構成後のマクロブロックデータを出力画像フレーム格納領域２０２内の参照用画像フレームデータ領域に格納する。
【００２８】
最後に、１画像フレーム分のマクロブロックの符号化処理を終えると、出力画像フレーム格納領域２０２内の参照用画像出力画像フレーム格納領域データを更新するため、古い参照用画像フレームデータを削除する。さらに、特徴パラメータ格納領域２１２に格納した動きベクタ２１３を画像フレーム単位で特徴ベクタ計算処理に出力する。
【００２９】
図５は、第一の実施例における画像圧縮符号化処理の別の例である。本実施例の画像圧縮符号化処理では、入力非圧縮画像データ２１０を入力し、圧縮画像データ２１１を出力すると共に、圧縮符号化時に生成するＤＣ成分を特徴パラメータとして画像フレーム単位に保持し、特徴ベクタ計算処理に出力する。
【００３０】
非圧縮画像データ２１０を画像フレーム単位で受け取ると、入力された非圧縮画像データ２１０がＩピクチャまたはＰピクチャの場合は、この非圧縮画像データ２１０を以下の処理で圧縮符号化する。一方、非圧縮画像データ２１０がＢピクチャの場合は、これを入力画像フレーム格納領域２００に格納する。そして、入力画像フレーム格納領域２００にある画像フレームデータの中から一番古い画像フレームデータを取り出し、以下の処理で圧縮符号化する。
【００３１】
ＰピクチャまたはＢピクチャの場合は、動き検出処理２０１が、圧縮符号化対象の画像フレームデータ内の符号化対象マクロブロックデータと出力画像フレーム格納領域２０２内の参照用画像フレームデータから動き補償の予測方式や動きベクタ等を決定する。
【００３２】
次に、動き補償処理２０３が、動き検出処理２０１で求めた動きベクタなどの情報を元に出力画像フレーム格納領域２０２内の参照用画像フレームデータを参照して、参照用マクロブロックデータを抽出する。直交変換処理２０４は、抽出した参照用マクロブロックと符号化対象のマクロブロックデータとの差分データを直交変換し、量子化処理２０５が直交変換後のマクロブロックデータの量子化を行う。一方、Ｉピクチャの場合は、直交変換処理２０４が、圧縮符号化対象の画像フレームデータ内の符号化対象マクロブロックデータを、差分を取ることなくそのまま直交変換し、量子化処理２０５がこれを量子化する。
【００３３】
この際、直交変換処理２０４により得たマクロブロックデータのＤＣ成分を別途画像フレーム単位で、特徴パラメータ格納領域５０１に格納する。
【００３４】
量子化処理２０５後、可変長符号化処理２０８は、上述の処理を経たマクロブロックデータやそれら処理で使用した動きベクタや量子化パラメータ等のパラメータを可変長符号化し、圧縮画像データ２１１を出力する。符号量制御処理２０９は、可変長符号化処理２０８の出力するデータ量に応じて、適切な量子化スケールを決定し、これを量子化処理２０５へフィードバックする。
【００３５】
符号化したマクロブロックデータがＩピクチャまたはＰピクチャの場合は、上述の処理を経たマクロブロックデータやそれら処理で使用した動きベクタや量子化パラメータ等のパラメータを用いて、マクロブロックを再構成し、参照用画像フレームデータを生成する。まず、量子化処理２０５後のマクロブロックデータに対して、逆量子化処理２０６と逆直交変換処理２０７を行う。Ｐピクチャの場合は動き補償処理２０３で抽出した参照マクロブロックデータとの和をとる。そして、再構成後のマクロブロックデータを出力画像フレーム格納領域２０２内の参照用画像フレームデータ領域に格納する。
【００３６】
最後に、１画像フレーム分のマクロブロックの符号化処理を終えると、出力画像フレーム格納領域２０２内の参照用画像出力画像フレーム格納領域データを更新するため、古い参照用画像フレームデータを削除する。さらに、特徴パラメータ格納領域５０１に格納したＤＣ成分５０２を画像フレーム単位で特徴ベクタ計算処理に出力する。
【００３７】
図６は、第一の実施例における画像圧縮符号化処理の別の例である。本実施例の画像圧縮符号化処理では、入力非圧縮画像データ２１０を入力し、圧縮画像データ２１１を出力すると共に、圧縮符号化時に生成する画像フレームデータを特徴パラメータとして画像フレーム単位に保持し、特徴ベクタ計算処理に出力する。
【００３８】
非圧縮画像データ２１０を画像フレーム単位で受け取ると、入力された非圧縮画像データ２１０がＩピクチャまたはＰピクチャの場合は、この非圧縮画像データ２１０を以下の処理で圧縮符号化する。一方、非圧縮画像データ２１０がＢピクチャの場合は、これを入力画像フレーム格納領域２００に格納する。そして、入力画像フレーム格納領域２００にある画像フレームデータの中から一番古い画像フレームデータを取り出し、以下の処理で圧縮符号化する。
【００３９】
ＰピクチャまたはＢピクチャの場合は、動き検出処理２０１が、圧縮符号化対象の画像フレームデータ内の符号化対象マクロブロックデータと出力画像フレーム格納領域２０２内の参照用画像フレームデータから動き補償の予測方式や動きベクタ等を決定する。
【００４０】
次に、動き補償処理２０３が、動き検出処理２０１で求めた動きベクタなどの情報を元に出力画像フレーム格納領域２０２内の参照用画像フレームデータを参照し、参照用マクロブロックデータを抽出する。直交変換処理２０４は、抽出した参照用マクロブロックと符号化対象のマクロブロックデータとの差分データを直交変換し、量子化処理２０５が直交変換後のマクロブロックデータの量子化を行う。
【００４１】
一方、Ｉピクチャの場合は、直交変換処理２０４が、圧縮符号化対象の画像フレームデータ内の符号化対象マクロブロックデータを、差分を取ることなくそのまま直交変換し、量子化処理２０５がこれを量子化する。
【００４２】
可変長符号化処理２０８は、量子化処理２０５後、上述の処理を経たマクロブロックデータやそれら処理で使用した動きベクタや量子化パラメータ等のパラメータを可変長符号化し、圧縮画像データ２１１を出力する。符号量制御処理２０９は、可変長符号化処理７０８の出力するデータ量に応じて、適切な量子化スケールを決定し、これを量子化処理２０５へフィードバックする。
【００４３】
次に、上述の処理を経たマクロブロックデータやそれら処理で使用した動きベクタや量子化パラメータ等のパラメータを用いて、マクロブロックを再構成し、画像フレームデータを生成する。まず、量子化処理２０５後のマクロブロックデータに対して、逆量子化処理２０６と逆直交変換処理２０７を行う。ＰピクチャやＢピクチャの場合は動き補償処理２０３で抽出した参照マクロブロックデータとの和をとる。
【００４４】
そして、再構成後のマクロブロックデータを特徴パラメータ格納領域６０１に画像フレーム単位で格納する。ＩピクチャやＰピクチャの場合は、さらに再構成後のマクロブロックデータを出力画像フレーム格納領域２０２内の参照用画像フレームデータ領域に格納する。
【００４５】
最後に、１画像フレーム分のマクロブロックの符号化処理を終えると、出力画像フレーム格納領域２０２内の参照用画像出力画像フレーム格納領域データを更新するため、古い参照用画像フレームデータを削除する。さらに、特徴パラメータ格納領域６０１に格納した画像フレームデータ６０２を特徴ベクタ計算処理に出力する。
【実施例２】
【００４６】
本発明の第二の実施例について、図７と図８を用いて説明する。
【００４７】
図７は、本発明の画像符号化装置における第二の実施例である。本実施例における画像符号化装置は、画像圧縮符号化処理７０１、1つ以上の特徴ベクタ計算処理１０２及びカーブ単純化処理１０３を有する。画像圧縮符号化処理７０１は、非圧縮画像データ１０４を画像圧縮符号化方式で圧縮符号化し、圧縮画像データ１０５を出力すると共に、圧縮符号化の際に生成する中間データを画像フレーム単位で１つ以上保持し、この中で適切なものを特徴パラメータ１０６として該当する特徴ベクタ計算処理１０２に出力する。1つ以上の特徴ベクタ計算処理１０２は、それぞれ特徴パラメータ１０６からｎ次元で定義される特徴ベクタ１０７を生成する。カーブ単純化処理１０３は、ｎ次元特徴ベクタ１０７を時系列に並べてできる軌跡を単純化することで画像フレームのランキング情報１０８を生成する。
【００４８】
図８を用いて、第二の実施例における画像圧縮符号化処理の詳細について説明する。本実施例では、非圧縮画像データをＭＰＥＧ−２形式で圧縮符号化する処理を示すが、本発明はこれに限られるものではない。
【００４９】
図８は、第二の実施例における画像圧縮符号化処理の一例である。本実施例の画像圧縮符号化処理では、入力非圧縮画像データ２１０を入力し、圧縮画像データ２１１を出力すると共に、圧縮符号化時に生成する動きベクタ、ＤＣ成分、画像フレームデータを画像フレーム単位に保持し、この中で最適なものを選択し、特徴パラメータとして適切な特徴ベクタ計算処理に出力する。
【００５０】
非圧縮画像データ２１０を画像フレーム単位で受け取ると、入力された非圧縮画像データ２１０がＩピクチャまたはＰピクチャの場合は、この非圧縮画像データ２１０を以下の処理で圧縮符号化する。
【００５１】
一方、非圧縮画像データ２１０がＢピクチャの場合は、これを入力画像フレーム格納領域２００に格納する。そして、入力画像フレーム格納領域２００にある画像フレームデータの中から一番古い画像フレームデータを取り出し、以下の処理で圧縮符号化する。
【００５２】
ＰピクチャまたはＢピクチャの場合は、動き検出処理２０１が、圧縮符号化対象の画像フレームデータ内の符号化対象マクロブロックデータと出力画像フレーム格納領域２０２内の参照用画像フレームデータから動き補償の予測方式や動きベクタ等を決定する。この際、求めた動きベクタを別途画像フレーム単位で、特徴パラメータ格納領域８０１に格納する。
【００５３】
次に、動き補償処理２０３が、動き検出処理２０１で求めた動きベクタなどの情報を元に出力画像フレーム格納領域２０２内の参照用画像フレームデータを参照して、参照用マクロブロックデータを抽出する。直交変換処理２０４は、抽出した参照用マクロブロックと符号化対象のマクロブロックデータとの差分データを直交変換し、量子化処理２０５が直交変換後のマクロブロックデータの量子化を行う。
【００５４】
一方、Ｉピクチャの場合は、直交変換処理２０４が、圧縮符号化対象の画像フレームデータ内の符号化対象マクロブロックデータを、差分を取ることなくそのまま直交変換し、量子化処理２０５がこれを量子化する。この際、直交変換処理２０４により得たマクロブロックデータのＤＣ成分を別途画像フレーム単位で、特徴パラメータ格納領域８０１に格納する。
【００５５】
量子化処理２０５後、可変長符号化処理２０８は、上述の処理を経たマクロブロックデータやそれら処理で使用した動きベクタや量子化パラメータ等のパラメータを可変長符号化し、圧縮画像データ２１１を出力する。符号量制御処理２０９は、可変長符号化処理７０８の出力するデータ量に応じて、適切な量子化スケールを決定し、これを量子化処理２０５へフィードバックする。
【００５６】
次に、上述の処理を経たマクロブロックデータやそれら処理で使用した動きベクタや量子化パラメータ等のパラメータを用いて、マクロブロックを再構成し、画像フレームデータを生成する。まず、量子化処理２０５後のマクロブロックデータに対して、逆量子化処理２０６と逆直交変換処理２０７を行う。
【００５７】
ＰピクチャやＢピクチャの場合は、動き補償処理２０３で抽出した参照マクロブロックデータとの和をとる。そして、再構成後のマクロブロックデータを特徴パラメータ格納領域８０１に画像フレーム単位で格納する。
【００５８】
ＩピクチャやＰピクチャの場合は、さらに再構成後のマクロブロックデータを出力画像フレーム格納領域２０２内の参照用画像フレームデータ領域に格納する。
【００５９】
最後に、１画像フレーム分のマクロブロックの符号化処理を終えると、出力画像フレーム格納領域２０２内の参照用画像出力画像フレーム格納領域データを更新するため、古い参照用画像フレームデータを削除する。
さらに、画像フレーム単位で特徴パラメータ格納領域８０１に格納した動きベクタ、ＤＣ成分、画像フレームデータの中から、選択処理８０２が適切な特徴パラメータ８０３を選択して特徴ベクタ計算処理に出力する。
【実施例３】
【００６０】
本発明の第三の実施例について、図９と図１０を用いて説明する。
【００６１】
図９は、第三の実施例のランキング情報計算装置の一例である。本実施例におけるランキング情報計算装置は、特徴抽出処理９０１、1つ以上の特徴ベクタ計算処理１０２及びカーブ単純化処理１０３とを有する。
【００６２】
特徴抽出処理９０１は、圧縮画像データ９０２から一種類以上の特徴パラメータを抽出し、画像フレーム単位で保持し、この特徴パラメータの中で適切なものを該当する特徴ベクタ計算処理１０２に出力する。1つ以上の特徴ベクタ計算処理１０２は、特徴パラメータ１０６からｎ次元で定義される特徴ベクタ１０７を生成する。カーブ単純化処理１０３は、ｎ次元特徴ベクタ１０７を時系列に並べてできる軌跡を単純化することで画像フレームのランキング情報１０８を生成する。
【００６３】
図１０を用いて、本発明のランキング計算装置の特徴抽出処理について説明する。
本実施例では、ＭＰＥＧ−２形式で符号化された画像圧縮データの伸張復号処理を示すが、本発明はこれに限られるものではない。
【００６４】
可変長復号処理１００１は、ＭＰＥＧ−２形式で符号化された圧縮画像データ１００８を可変長復号し、画像の構成情報やマクロブロック単位の画像データや量子化スケール、動きベクタなどを取得する。そして、この際取得した動きベクタを画像フレーム単位で特徴パラメータ格納領域１００６に格納する。
【００６５】
逆量子化処理１００２は、量子化スケールや量子化行列等を参照して、マクロブロックデータの逆量子化を行う。そして、ＤＣ成分を画像フレーム単位で特徴パラメータ格納領域１００６に格納する。
【００６６】
逆直交変換処理１００３は、逆量子化後のマクロブロックデータに対して逆直交変換を行う。特に、現在復号中のマクロブロックの画像フレームがＰピクチャまたはＢピクチャの場合、動き補償処理１００４が、動き補償の予測方式や動きベクタ等の情報を元に出力画像フレーム格納領域１００７内の参照用画像フレームデータを参照して参照用マクロブロックデータを抽出し、逆直交変換１００３後のマクロブロックデータとの和をとる。そして、上述の処理を経て伸張復号されたマクロブロックデータを画像フレーム単位で特徴パラメータ格納領域１００６に格納する。
【００６７】
ＩピクチャやＰピクチャの場合は、さらに伸張復号後のマクロブロックデータを出力画像フレーム格納領域１００５内の参照用画像フレームデータ領域に格納する。
【００６８】
１画像フレーム分のマクロブロックの伸張復号を終えると、画像フレーム単位で特徴パラメータ格納領域１００６に格納した動きベクタ、ＤＣ成分、画像フレームデータの中から、選択処理１００７が適切な特徴パラメータ１０１３を選択して、該当する特徴ベクタ計算処理に出力する。伸張復号した画像フレームがＩまたはＰピクチャの場合は、出力画像フレーム格納領域１００５内の参照用画像フレームデータの更新を行う。更新は、２つの参照用画像フレームデータのうち古い方を破棄し、復号した画像フレームデータを新しく参照用画像フレームデータに設定する。
【００６９】
以上の実施例により、大量のコンテンツの中から利用者の所望するコンテンツを容易に選択できるようにコンテンツの要約（ダイジェスト）を効率よく作成することが可能となる。
【００７０】
また、配信用の圧縮画像データを作成するとともにそのダイジェストも生成することにより、が必要となることを見出した。従来システムに必要であった特徴抽出処理を行うことなくランキング情報を計算することが可能となり、画像符号化とランキング情報の計算にかかるコストを削減することができる。そして、このコスト削減により省電力、装置の小型化あるいは、ネットワーク負荷の低減にもつながる。
【００７１】
以上の実施例については、画像符号化装置、ランキング計算装置を用いた例を説明したが、それぞれの装置が有する処理を含むシステムでも適用可能である。
【図面の簡単な説明】
【００７２】
【図１】本発明の第一の実施例における画像符号化装置の構成を示す図である。
【図２】本発明の第一の実施例における画像符号化装置の画像圧縮符号化処理の詳細を示す図である。
【図３】本発明に関する従来技術であるランキング計算システムの構成を示す図である。
【図４】従来技術であるランキング情報を出力する画像符号化装置の構成を示す図である。
【図５】本発明の第一の実施例の画像符号化装置における画像圧縮符号化処理の別の構成を示す図である。
【図６】本発明の第一の実施例の画像符号化装置における画像圧縮符号化処理のさらに別の構成を示す図である。
【図７】本発明の第二の実施例における画像符号化装置の構成を示す図である。
【図８】本発明の第二の実施例の画像符号化装置における画像圧縮符号化処理の構成を示す図である。
【図９】本発明の第三の実施例におけるランキング計算システムの構成を示す図である。
【図１０】本発明の第三の実施例のランキング計算システムにおける特徴抽出処理の構成を示す図である。
【符号の説明】
【００７３】
１０１    画像圧縮符号化処理
１０２    特徴ベクタ計算処理
１０３    カーブ単純化処理
１０４    非圧縮画像データ
１０５    圧縮画像データ
１０６    特徴パラメータ
１０７    特徴ベクタ
１０８    ランキング情報
【図１】
2005110071.tif 000003
【図２】
2005110071.tif 000004
【図３】
2005110071.tif 000005
【図４】
2005110071.tif 000006
【図５】
2005110071.tif 000007
【図６】
2005110071.tif 000008
【図７】
2005110071.tif 000009
【図８】
2005110071.tif 000010
【図９】
2005110071.tif 000011
【図１０】
2005110071.tif 000012