(57)【要約】【課題】  ＪＰＥＧ２０００方式等に従って圧縮符号化された画像を完全に復号することなく、特定画像との一致判定や類似度判定を行い、ＪＰＥＧ２０００方式等に従って圧縮符号化された映像コンテンツを完全に復号することなく、特定画像と略々一致する画像を検索する。【解決手段】  符号化パラメータ抽出器１０は、コードストリームの符号化パラメータを抽出して画像特徴量抽出器３０に供給する。コードストリーム特徴量抽出器２０は、コードストリームを解析してコードブロック毎のゼロビットプレーン数を抽出する。画像特徴量抽出器３０は、コードストリームの符号化パラメータに基づいて、特定画像のコードブロック毎のゼロビットプレーン数を検出する。比較器４０は、コードストリームのゼロビットプレーン数と特定画像のゼロビットプレーン数とをコードブロック毎に比較し、コードストリームと特定画像との一致判定を行う。【選択図】  図５
2006285615.tif 000002
【特許請求の範囲】
【請求項１】
画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリームと特定画像とを比較して略々一致するか否かを判定する画像比較装置であって、
上記コードストリームからコードブロック毎のゼロビットプレーン数を抽出する第１の特徴量抽出手段と、
上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出手段と、
上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、コードブロック毎のゼロビットプレーン数を抽出する第２の特徴量抽出手段と、
上記コードストリームのコードブロック毎のゼロビットプレーン数と上記特定画像のコードブロック毎のゼロビットプレーン数とを同一位置のコードブロック同士で比較し、比較結果に応じて上記コードストリームと上記特定画像とが略々一致するか否かを判定する比較手段と
を備えることを特徴とする画像比較装置。
【請求項２】
上記比較手段は、上記コードストリームのコードブロック毎のゼロビットプレーン数と上記特定画像のコードブロック毎のゼロビットプレーン数とが全てのコードブロックで一致した場合に、上記コードストリームと上記特定画像とが略々一致するものと判定することを特徴とする請求項１記載の画像比較装置。
【請求項３】
上記比較手段は、所定のコンポーネント及び／又は所定のサブバンドについてのみ、上記コードストリームのコードブロック毎のゼロビットプレーン数と上記特定画像のコードブロック毎のゼロビットプレーン数とを比較することを特徴とする請求項１記載の画像比較装置。
【請求項４】
上記比較手段は、比較結果に応じて上記コードストリームと上記特定画像との類似度を求め、当該類似度と所定の閾値とを比較することにより、上記コードストリームと上記特定画像とが略々一致するか否かを判定することを特徴とする請求項１記載の画像比較装置。
【請求項５】
画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリームと特定画像とを比較して略々一致するか否かを判定する画像比較方法であって、
上記コードストリームからコードブロック毎のゼロビットプレーン数を抽出する第１の特徴量抽出工程と、
上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出工程と、
上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、コードブロック毎のゼロビットプレーン数を抽出する第２の特徴量抽出工程と、
上記コードストリームのコードブロック毎のゼロビットプレーン数と上記特定画像のコードブロック毎のゼロビットプレーン数とを同一位置のコードブロック同士で比較し、比較結果に応じて上記コードストリームと上記特定画像とが略々一致するか否かを判定する比較工程と
を有することを特徴とする画像比較方法。
【請求項６】
画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリームと特定画像とを比較して略々一致するか否かを判定する処理をコンピュータに実行させるプログラムであって、
上記コードストリームからコードブロック毎のゼロビットプレーン数を抽出する第１の特徴量抽出工程と、
上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出工程と、
上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、コードブロック毎のゼロビットプレーン数を抽出する第２の特徴量抽出工程と、
上記コードストリームのコードブロック毎のゼロビットプレーン数と上記特定画像のコードブロック毎のゼロビットプレーン数とを同一位置のコードブロック同士で比較し、比較結果に応じて上記コードストリームと上記特定画像とが略々一致するか否かを判定する比較工程と
を有することを特徴とする処理をコンピュータに実行させるプログラム。
【請求項７】
画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリームと特定画像とを比較して略々一致するか否かを判定する処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
上記コードストリームからコードブロック毎のゼロビットプレーン数を抽出する第１の特徴量抽出工程と、
上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出工程と、
上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、コードブロック毎のゼロビットプレーン数を抽出する第２の特徴量抽出工程と、
上記コードストリームのコードブロック毎のゼロビットプレーン数と上記特定画像のコードブロック毎のゼロビットプレーン数とを同一位置のコードブロック同士で比較し、比較結果に応じて上記コードストリームと上記特定がぞうとが略々一致するか否かを判定する比較工程と
を有することを特徴とする処理をコンピュータに実行させるプログラムが記録された記録媒体。
【請求項８】
画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリームと特定画像とを比較して類似度を判定する画像比較装置であって、
上記コードストリームからコードブロック毎のゼロビットプレーン数を抽出する第１の特徴量抽出手段と、
上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出手段と、
上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、コードブロック毎のゼロビットプレーン数を抽出する第２の特徴量抽出手段と、
上記コードストリームのコードブロック毎のゼロビットプレーン数と上記特定画像のコードブロック毎のゼロビットプレーン数とを同一位置のコードブロック同士で比較する比較手段と、
コードブロック毎の比較結果を累積して、上記コードストリームと上記特定画像との類似度を判定する累積手段と
を備えることを特徴とする画像比較装置。
【請求項９】
上記累積手段は、上記コードストリームのコードブロック毎のゼロビットプレーン数と上記特定画像のコードブロック毎のゼロビットプレーン数とが一致したコードブロックの数を累積し、当該一致したコードブロックの割合に応じて上記類似度を判定することを特徴とする請求項８記載の画像比較装置。
【請求項１０】
上記累積手段は、上記コードストリームのコードブロック毎のゼロビットプレーン数と上記特定画像のコードブロック毎のゼロビットプレーン数との差に応じた値を全てのコードブロックについて累積し、当該累積結果に応じて上記類似度を判定することを特徴とする請求項８記載の画像比較装置。
【請求項１１】
上記累積手段は、コンポーネントの種類及び／又はサブバンドの位置に応じて、累積する数に重み付けを行うことを特徴とする請求項９記載の画像比較装置。
【請求項１２】
画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリームと特定画像とを比較して類似度を判定する画像比較方法であって、
上記コードストリームからコードブロック毎のゼロビットプレーン数を抽出する第１の特徴量抽出工程と、
上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出工程と、
上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、コードブロック毎のゼロビットプレーン数を抽出する第２の特徴量抽出工程と、
上記コードストリームのコードブロック毎のゼロビットプレーン数と上記特定画像のコードブロック毎のゼロビットプレーン数とを同一位置のコードブロック同士で比較する比較工程と、
コードブロック毎の比較結果を累積して、上記コードストリームと上記特定画像との類似度を判定する累積工程と
を有することを特徴とする画像比較方法。
【請求項１３】
画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリームと特定画像とを比較して類似度を判定する処理をコンピュータに実行させるプログラムであって、
上記コードストリームからコードブロック毎のゼロビットプレーン数を抽出する第１の特徴量抽出工程と、
上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出工程と、
上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、コードブロック毎のゼロビットプレーン数を抽出する第２の特徴量抽出工程と、
上記コードストリームのコードブロック毎のゼロビットプレーン数と上記特定画像のコードブロック毎のゼロビットプレーン数とを同一位置のコードブロック同士で比較する比較工程と、
コードブロック毎の比較結果を累積して、上記コードストリームと上記特定画像との類似度を判定する累積工程と
を有することを特徴とする処理をコンピュータに実行させるプログラム。
【請求項１４】
画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリームと特定画像とを比較して類似度を判定する処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
上記コードストリームからコードブロック毎のゼロビットプレーン数を抽出する第１の特徴量抽出工程と、
上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出工程と、
上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、コードブロック毎のゼロビットプレーン数を抽出する第２の特徴量抽出工程と、
上記コードストリームのコードブロック毎のゼロビットプレーン数と上記特定画像のコードブロック毎のゼロビットプレーン数とを同一位置のコードブロック同士で比較する比較工程と、
コードブロック毎の比較結果を累積して、上記コードストリームと上記特定画像との類似度を判定する累積工程と
を有することを特徴とする処理をコンピュータに実行させるプログラムが記録された記録媒体。
【請求項１５】
複数の画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリーム列から特定画像と略々一致するコードストリームを検索する画像検索装置であって、
上記コードストリーム列を構成する各コードストリームからコードブロック毎のゼロビットプレーン数を抽出する第１の特徴量抽出手段と、
上記コードストリーム列の任意のコードストリームから符号化パラメータを抽出する符号化パラメータ抽出手段と、
上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、コードブロック毎のゼロビットプレーン数を抽出する第２の特徴量抽出手段と、
上記各コードストリームのコードブロック毎のゼロビットプレーン数と上記特定画像のコードブロック毎のゼロビットプレーン数とを同一位置のコードブロック同士で比較し、比較結果に応じて上記各コードストリームと上記特定画像とが略々一致するか否かを判定する比較手段と
を備えることを特徴とする画像検索装置。
【請求項１６】
上記特定画像と略々一致すると判定されたコードストリームのインデクスを選択して出力する選択手段をさらに備えることを特徴とする請求項１５記載の画像検索装置。
【請求項１７】
上記比較手段は、上記各コードストリームのコードブロック毎のゼロビットプレーン数と上記特定画像のコードブロック毎のゼロビットプレーン数とが全てのコードブロックで一致した場合に、当該コードストリームと上記特定画像とが略々一致するものと判定することを特徴とする請求項１５記載の画像検索装置。
【請求項１８】
上記比較手段は、比較結果に応じて上記各コードストリームと上記特定画像との類似度を求め、
上記選択手段は、類似度が所定の閾値を超えたコードストリームのインデクスを選択して出力する
ことを特徴とする請求項１６記載の画像検索装置。
【請求項１９】
複数の画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリーム列から特定画像と略々一致するコードストリームを検索する画像検索方法であって、
上記コードストリーム列を構成する各コードストリームからコードブロック毎のゼロビットプレーン数を抽出する第１の特徴量抽出工程と、
上記コードストリーム列の任意のコードストリームから符号化パラメータを抽出する符号化パラメータ抽出工程と、
上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、コードブロック毎のゼロビットプレーン数を抽出する第２の特徴量抽出工程と、
上記各コードストリームのコードブロック毎のゼロビットプレーン数と上記特定画像のコードブロック毎のゼロビットプレーン数とを同一位置のコードブロック同士で比較し、比較結果に応じて上記各コードストリームと上記特定画像とが略々一致するか否かを判定する比較工程と
を有することを特徴とする画像検索方法。
【請求項２０】
複数の画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリーム列から特定画像と略々一致するコードストリームを検索する処理をコンピュータに実行させるプログラムであって、
上記コードストリーム列を構成する各コードストリームからコードブロック毎のゼロビットプレーン数を抽出する第１の特徴量抽出工程と、
上記コードストリーム列の任意のコードストリームから符号化パラメータを抽出する符号化パラメータ抽出工程と、
上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、コードブロック毎のゼロビットプレーン数を抽出する第２の特徴量抽出工程と、
上記各コードストリームのコードブロック毎のゼロビットプレーン数と上記特定画像のコードブロック毎のゼロビットプレーン数とを同一位置のコードブロック同士で比較し、比較結果に応じて上記各コードストリームと上記特定画像とが略々一致するか否かを判定する比較工程と
を有することを特徴とする処理をコンピュータに実行させるプログラム。
【請求項２１】
複数の画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリーム列から特定画像と略々一致するコードストリームを検索する処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
上記コードストリーム列を構成する各コードストリームからコードブロック毎のゼロビットプレーン数を抽出する第１の特徴量抽出工程と、
上記コードストリーム列の任意のコードストリームから符号化パラメータを抽出する符号化パラメータ抽出工程と、
上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、コードブロック毎のゼロビットプレーン数を抽出する第２の特徴量抽出工程と、
上記各コードストリームのコードブロック毎のゼロビットプレーン数と上記特定画像のコードブロック毎のゼロビットプレーン数とを同一位置のコードブロック同士で比較し、比較結果に応じて上記各コードストリームと上記特定画像とが略々一致するか否かを判定する比較工程と
を有することを特徴とする処理をコンピュータに実行させるプログラムが記録された記録媒体。
【請求項２２】
画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリームと特定画像とを比較して略々一致するか否かを判定する画像比較装置であって、
上記コードストリームからコードブロック毎のＭＱ符号を抽出し、当該ＭＱ符号を復号してＭＱシンボルを生成する第１の特徴量抽出手段と、
上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出手段と、
上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除してビットモデリングを行うことにより、コードブロック毎のＭＱシンボルを抽出する第２の特徴量抽出手段と、
上記コードストリームのコードブロック毎のＭＱシンボルと上記特定画像のコードブロック毎のＭＱシンボルとを同一位置のコードブロック同士で比較し、比較結果に応じて上記コードストリームと上記特定画像とが略々一致するか否かを判定する比較手段と
を備えることを特徴とする画像比較装置。
【請求項２３】
画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリームと特定画像とを比較して略々一致するか否かを判定する画像比較方法であって、
上記コードストリームからコードブロック毎のＭＱ符号を抽出し、当該ＭＱ符号を復号してＭＱシンボルを生成する第１の特徴量抽出工程と、
上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出工程と、
上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除してビットモデリングを行うことにより、コードブロック毎のＭＱシンボルを抽出する第２の特徴量抽出工程と、
上記コードストリームのコードブロック毎のＭＱシンボルと上記特定画像のコードブロック毎のＭＱシンボルとを同一位置のコードブロック同士で比較し、比較結果に応じて上記コードストリームと上記特定画像とが略々一致するか否かを判定する比較工程と
を有することを特徴とする画像比較方法。
【請求項２４】
画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリームと特定画像とを比較して略々一致するか否かを判定する処理をコンピュータに実行させるプログラムであって、
上記コードストリームからコードブロック毎のＭＱ符号を抽出し、当該ＭＱ符号を復号してＭＱシンボルを生成する第１の特徴量抽出工程と、
上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出工程と、
上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除してビットモデリングを行うことにより、コードブロック毎のＭＱシンボルを抽出する第２の特徴量抽出工程と、
上記コードストリームのコードブロック毎のＭＱシンボルと上記特定画像のコードブロック毎のＭＱシンボルとを同一位置のコードブロック同士で比較し、比較結果に応じて上記コードストリームと上記特定画像とが略々一致するか否かを判定する比較工程と
を有することを特徴とする処理をコンピュータに実行させるプログラム。
【請求項２５】
画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリームと特定画像とを比較して略々一致するか否かを判定する処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
上記コードストリームからコードブロック毎のＭＱ符号を抽出し、当該ＭＱ符号を復号してＭＱシンボルを生成する第１の特徴量抽出工程と、
上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出工程と、
上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除してビットモデリングを行うことにより、コードブロック毎のＭＱシンボルを抽出する第２の特徴量抽出工程と、
上記コードストリームのコードブロック毎のＭＱシンボルと上記特定画像のコードブロック毎のＭＱシンボルとを同一位置のコードブロック同士で比較し、比較結果に応じて上記コードストリームと上記特定画像とが略々一致するか否かを判定する比較工程と
を有することを特徴とする処理をコンピュータに実行させるプログラムが記録された記録媒体。
【請求項２６】
画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリームと特定画像との類似度を判定する画像比較装置であって、
上記コードストリームからコードブロック毎のＭＱ符号を抽出し、当該ＭＱ符号を復号してＭＱシンボルを生成する第１の特徴量抽出手段と、
上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出手段と、
上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除してビットモデリングを行うことにより、コードブロック毎のＭＱシンボルを抽出する第２の特徴量抽出手段と、
上記コードストリームのコードブロック毎のＭＱシンボルと上記特定画像のコードブロック毎のＭＱシンボルとを同一位置のコードブロック同士で比較する比較手段と、
コードブロック毎の比較結果を累積して、上記コードストリームと上記特定画像との類似度を判定する累積手段と
を備えることを特徴とする画像比較装置。
【請求項２７】
画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリームと特定画像との類似度を判定する画像比較方法であって、
上記コードストリームからコードブロック毎のＭＱ符号を抽出し、当該ＭＱ符号を復号してＭＱシンボルを生成する第１の特徴量抽出工程と、
上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出工程と、
上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除してビットモデリングを行うことにより、コードブロック毎のＭＱシンボルを抽出する第２の特徴量抽出工程と、
上記コードストリームのコードブロック毎のＭＱシンボルと上記特定画像のコードブロック毎のＭＱシンボルとを同一位置のコードブロック同士で比較する比較工程と、
コードブロック毎の比較結果を累積して、上記コードストリームと上記特定画像との類似度を判定する累積工程と
を有することを特徴とする画像比較方法。
【請求項２８】
画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリームと特定画像との類似度を判定する処理をコンピュータに実行させるプログラムであって、
上記コードストリームからコードブロック毎のＭＱ符号を抽出し、当該ＭＱ符号を復号してＭＱシンボルを生成する第１の特徴量抽出工程と、
上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出工程と、
上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除してビットモデリングを行うことにより、コードブロック毎のＭＱシンボルを抽出する第２の特徴量抽出工程と、
上記コードストリームのコードブロック毎のＭＱシンボルと上記特定画像のコードブロック毎のＭＱシンボルとを同一位置のコードブロック同士で比較する比較工程と、
コードブロック毎の比較結果を累積して、上記コードストリームと上記特定画像との類似度を判定する累積工程と
を有することを特徴とする処理をコンピュータに実行させるプログラム。
【請求項２９】
画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリームと特定画像との類似度を判定する処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
上記コードストリームからコードブロック毎のＭＱ符号を抽出し、当該ＭＱ符号を復号してＭＱシンボルを生成する第１の特徴量抽出工程と、
上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出工程と、
上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除してビットモデリングを行うことにより、コードブロック毎のＭＱシンボルを抽出する第２の特徴量抽出工程と、
上記コードストリームのコードブロック毎のＭＱシンボルと上記特定画像のコードブロック毎のＭＱシンボルとを同一位置のコードブロック同士で比較する比較工程と、
コードブロック毎の比較結果を累積して、上記コードストリームと上記特定画像との類似度を判定する累積工程と
を有することを特徴とする処理をコンピュータに実行させるプログラムが記録された記録媒体。
【請求項３０】
複数の画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリーム列から特定画像と略々一致するコードストリームを検索する画像検索装置であって、
上記コードストリーム列を構成する各コードストリームからコードブロック毎のＭＱ符号を抽出し、当該ＭＱ符号を復号してＭＱシンボルを生成する第１の特徴量抽出手段と、
上記コードストリーム列の任意のコードストリームから符号化パラメータを抽出する符号化パラメータ抽出手段と、
上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除してビットモデリングを行うことにより、コードブロック毎のＭＱシンボルを抽出する第２の特徴量抽出手段と、
上記各コードストリームのコードブロック毎のＭＱシンボルと上記特定画像のコードブロック毎のＭＱシンボルとを同一位置のコードブロック同士で比較し、比較結果に応じて上記各コードストリームと上記特定画像とが略々一致するか否かを判定する比較手段と
を備えることを特徴とする画像検索装置。
【請求項３１】
複数の画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリーム列から特定画像と略々一致するコードストリームを検索する画像検索方法であって、
上記コードストリーム列を構成する各コードストリームからコードブロック毎のＭＱ符号を抽出し、当該ＭＱ符号を復号してＭＱシンボルを生成する第１の特徴量抽出工程と、
上記コードストリーム列の任意のコードストリームから符号化パラメータを抽出する符号化パラメータ抽出工程と、
上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除してビットモデリングを行うことにより、コードブロック毎のＭＱシンボルを抽出する第２の特徴量抽出工程と、
上記各コードストリームのコードブロック毎のＭＱシンボルと上記特定画像のコードブロック毎のＭＱシンボルとを同一位置のコードブロック同士で比較し、比較結果に応じて上記各コードストリームと上記特定画像とが略々一致するか否かを判定する比較工程と
を有することを特徴とする画像検索方法。
【請求項３２】
複数の画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリーム列から特定画像と略々一致するコードストリームを検索する処理をコンピュータに実行させるプログラムであって、
上記コードストリーム列を構成する各コードストリームからコードブロック毎のＭＱ符号を抽出し、当該ＭＱ符号を復号してＭＱシンボルを生成する第１の特徴量抽出工程と、
上記コードストリーム列の任意のコードストリームから符号化パラメータを抽出する符号化パラメータ抽出工程と、
上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除してビットモデリングを行うことにより、コードブロック毎のＭＱシンボルを抽出する第２の特徴量抽出工程と、
上記各コードストリームのコードブロック毎のＭＱシンボルと上記特定画像のコードブロック毎のＭＱシンボルとを同一位置のコードブロック同士で比較し、比較結果に応じて上記各コードストリームと上記特定画像とが略々一致するか否かを判定する比較工程と
を有することを特徴とする処理をコンピュータに実行させるプログラム。
【請求項３３】
複数の画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリーム列から特定画像と略々一致するコードストリームを検索する処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
上記コードストリーム列を構成する各コードストリームからコードブロック毎のＭＱ符号を抽出し、当該ＭＱ符号を復号してＭＱシンボルを生成する第１の特徴量抽出工程と、
上記コードストリーム列の任意のコードストリームから符号化パラメータを抽出する符号化パラメータ抽出工程と、
上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除してビットモデリングを行うことにより、コードブロック毎のＭＱシンボルを抽出する第２の特徴量抽出工程と、
上記各コードストリームのコードブロック毎のＭＱシンボルと上記特定画像のコードブロック毎のＭＱシンボルとを同一位置のコードブロック同士で比較し、比較結果に応じて上記各コードストリームと上記特定画像とが略々一致するか否かを判定する比較工程と
を有することを特徴とする処理をコンピュータに実行させるプログラムが記録された記録媒体。
【請求項３４】
画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリームと特定画像とを比較して略々一致するか否かを判定する画像比較装置であって、
上記コードストリームからコードブロック毎のＭＱ符号を抽出し、当該ＭＱ符号を復号してビットモデリングを行うことにより、ゼロビットプレーンを含まないコードブロックを構成すると共に、復号最終桁の情報を生成する第１の特徴量抽出手段と、
上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出手段と、
上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除することにより、ゼロビットプレーンを含まないコードブロックを生成する第２の特徴量抽出手段と、
上記コードストリームのコードブロック毎の量子化係数と上記特定画像のコードブロック毎の量子化係数とを同一位置の量子化係数同士で上記復号最終桁まで比較し、比較結果に応じて上記コードストリームと上記特定画像とが略々一致するか否かを判定する比較手段と
を備えることを特徴とする画像比較装置。
【請求項３５】
上記比較手段は、量子化係数の符号と、最上位ビット側の復号最終桁までの値とが全て一致した場合に、当該量子化係数同士が一致すると判定することを特徴とする請求項３４記載の画像比較装置。
【請求項３６】
画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリームと特定画像とを比較して略々一致するか否かを判定する画像比較方法であって、
上記コードストリームからコードブロック毎のＭＱ符号を抽出し、当該ＭＱ符号を復号してビットモデリングを行うことにより、ゼロビットプレーンを含まないコードブロックを構成すると共に、復号最終桁の情報を生成する第１の特徴量抽出工程と、
上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出工程と、
上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除することにより、ゼロビットプレーンを含まないコードブロックを生成する第２の特徴量抽出工程と、
上記コードストリームのコードブロック毎の量子化係数と上記特定画像のコードブロック毎の量子化係数とを同一位置の量子化係数同士で上記復号最終桁まで比較し、比較結果に応じて上記コードストリームと上記特定画像とが略々一致するか否かを判定する比較工程と
を有することを特徴とする画像比較方法。
【請求項３７】
画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリームと特定画像とを比較して略々一致するか否かを判定する処理をコンピュータに実行させるプログラムであって、
上記コードストリームからコードブロック毎のＭＱ符号を抽出し、当該ＭＱ符号を復号してビットモデリングを行うことにより、ゼロビットプレーンを含まないコードブロックを構成すると共に、復号最終桁の情報を生成する第１の特徴量抽出工程と、
上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出工程と、
上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除することにより、ゼロビットプレーンを含まないコードブロックを生成する第２の特徴量抽出工程と、
上記コードストリームのコードブロック毎の量子化係数と上記特定画像のコードブロック毎の量子化係数とを同一位置の量子化係数同士で上記復号最終桁まで比較し、比較結果に応じて上記コードストリームと上記特定画像とが略々一致するか否かを判定する比較工程と
を有することを特徴とする処理をコンピュータに実行させるプログラム。
【請求項３８】
画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリームと特定画像とを比較して略々一致するか否かを判定する処理をコンピュータに実行させるプログラムが記録された記録媒体であって、
上記コードストリームからコードブロック毎のＭＱ符号を抽出し、当該ＭＱ符号を復号してビットモデリングを行うことにより、ゼロビットプレーンを含まないコードブロックを構成すると共に、復号最終桁の情報を生成する第１の特徴量抽出工程と、
上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出工程と、
上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除することにより、ゼロビットプレーンを含まないコードブロックを生成する第２の特徴量抽出工程と、
上記コードストリームのコードブロック毎の量子化係数と上記特定画像のコードブロック毎の量子化係数とを同一位置の量子化係数同士で上記復号最終桁まで比較し、比較結果に応じて上記コードストリームと上記特定画像とが略々一致するか否かを判定する比較工程と
を有することを特徴とする処理をコンピュータに実行させるプログラムが記録された記録媒体。
【請求項３９】
画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリームと特定画像との類似度を判定する画像比較装置であって、
上記コードストリームからコードブロック毎のＭＱ符号を抽出し、当該ＭＱ符号を復号してビットモデリングを行うことにより、ゼロビットプレーンを含まないコードブロックを構成すると共に、復号最終桁の情報を生成する第１の特徴量抽出手段と、
上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出手段と、
上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除することにより、ゼロビットプレーンを含まないコードブロックを生成する第２の特徴量抽出手段と、
上記コードストリームのコードブロック毎の量子化係数と上記特定画像のコードブロック毎の量子化係数とを同一位置の量子化係数同士で上記復号最終桁まで比較する比較手段と、
上記比較手段による比較結果を累積して、上記コードストリームと上記特定画像との類似度を判定する累積手段と
を備えることを特徴とする画像比較装置。
【請求項４０】
画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリームと特定画像との類似度を判定する画像比較方法であって、
上記コードストリームからコードブロック毎のＭＱ符号を抽出し、当該ＭＱ符号を復号してビットモデリングを行うことにより、ゼロビットプレーンを含まないコードブロックを構成すると共に、復号最終桁の情報を生成する第１の特徴量抽出工程と、
上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出工程と、
上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除することにより、ゼロビットプレーンを含まないコードブロックを生成する第２の特徴量抽出工程と、
上記コードストリームのコードブロック毎の量子化係数と上記特定画像のコードブロック毎の量子化係数とを同一位置の量子化係数同士で上記復号最終桁まで比較する比較工程と、
上記比較工程における比較結果を累積して、上記コードストリームと上記特定画像との類似度を判定する累積工程と
を有することを特徴とする画像比較方法。
【請求項４１】
画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリームと特定画像との類似度を判定する処理をコンピュータに実行させるプログラムであって、
上記コードストリームからコードブロック毎のＭＱ符号を抽出し、当該ＭＱ符号を復号してビットモデリングを行うことにより、ゼロビットプレーンを含まないコードブロックを構成すると共に、復号最終桁の情報を生成する第１の特徴量抽出工程と、
上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出工程と、
上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除することにより、ゼロビットプレーンを含まないコードブロックを生成する第２の特徴量抽出工程と、
上記コードストリームのコードブロック毎の量子化係数と上記特定画像のコードブロック毎の量子化係数とを同一位置の量子化係数同士で上記復号最終桁まで比較する比較工程と、
上記比較工程における比較結果を累積して、上記コードストリームと上記特定画像との類似度を判定する累積工程と
を有することを特徴とする処理をコンピュータに実行させるプログラム。
【請求項４２】
画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリームと特定画像との類似度を判定する処理をコンピュータに実行させるプログラムが記録された記録媒体であって、
上記コードストリームからコードブロック毎のＭＱ符号を抽出し、当該ＭＱ符号を復号してビットモデリングを行うことにより、ゼロビットプレーンを含まないコードブロックを構成すると共に、復号最終桁の情報を生成する第１の特徴量抽出工程と、
上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出工程と、
上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除することにより、ゼロビットプレーンを含まないコードブロックを生成する第２の特徴量抽出工程と、
上記コードストリームのコードブロック毎の量子化係数と上記特定画像のコードブロック毎の量子化係数とを同一位置の量子化係数同士で上記復号最終桁まで比較する比較工程と、
上記比較工程における比較結果を累積して、上記コードストリームと上記特定画像との類似度を判定する累積工程と
を有することを特徴とする処理をコンピュータに実行させるプログラムが記録された記録媒体。
【請求項４３】
複数の画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリーム列から特定画像と略々一致するコードストリームを検索する画像検索装置であって、
上記コードストリーム列を構成する各コードストリームからコードブロック毎のＭＱ符号を抽出し、当該ＭＱ符号を復号してビットモデリングを行うことにより、ゼロビットプレーンを含まないコードブロックを構成すると共に、復号最終桁の情報を生成する第１の特徴量抽出手段と、
上記コードストリーム列の任意のコードストリームから符号化パラメータを抽出する符号化パラメータ抽出手段と、
上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除することにより、ゼロビットプレーンを含まないコードブロックを生成する第２の特徴量抽出手段と、
上記各コードストリームのコードブロック毎の量子化係数と上記特定画像のコードブロック毎の量子化係数とを同一位置の量子化係数同士で上記復号最終桁まで比較し、比較結果に応じて上記各コードストリームと上記特定画像とが略々一致するか否かを判定する比較手段と
を備えることを特徴とする画像検索装置。
【請求項４４】
複数の画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリーム列から特定画像と略々一致するコードストリームを検索する画像検索方法であって、
上記コードストリーム列を構成する各コードストリームからコードブロック毎のＭＱ符号を抽出し、当該ＭＱ符号を復号してビットモデリングを行うことにより、ゼロビットプレーンを含まないコードブロックを構成すると共に、復号最終桁の情報を生成する第１の特徴量抽出工程と、
上記コードストリーム列の任意のコードストリームから符号化パラメータを抽出する符号化パラメータ抽出工程と、
上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除することにより、ゼロビットプレーンを含まないコードブロックを生成する第２の特徴量抽出工程と、
上記各コードストリームのコードブロック毎の量子化係数と上記特定画像のコードブロック毎の量子化係数とを同一位置の量子化係数同士で上記復号最終桁まで比較し、比較結果に応じて上記各コードストリームと上記特定画像とが略々一致するか否かを判定する比較工程と
を有することを特徴とする画像検索方法。
【請求項４５】
複数の画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリーム列から特定画像と略々一致するコードストリームを検索する処理をコンピュータに実行させるプログラムであって、
上記コードストリーム列を構成する各コードストリームからコードブロック毎のＭＱ符号を抽出し、当該ＭＱ符号を復号してビットモデリングを行うことにより、ゼロビットプレーンを含まないコードブロックを構成すると共に、復号最終桁の情報を生成する第１の特徴量抽出工程と、
上記コードストリーム列の任意のコードストリームから符号化パラメータを抽出する符号化パラメータ抽出工程と、
上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除することにより、ゼロビットプレーンを含まないコードブロックを生成する第２の特徴量抽出工程と、
上記各コードストリームのコードブロック毎の量子化係数と上記特定画像のコードブロック毎の量子化係数とを同一位置の量子化係数同士で上記復号最終桁まで比較し、比較結果に応じて上記各コードストリームと上記特定画像とが略々一致するか否かを判定する比較工程と
を有することを特徴とする処理をコンピュータに実行させるプログラム。
【請求項４６】
複数の画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリーム列から特定画像と略々一致するコードストリームを検索する処理をコンピュータに実行させるプログラムが記録された記録媒体であって、
上記コードストリーム列を構成する各コードストリームからコードブロック毎のＭＱ符号を抽出し、当該ＭＱ符号を復号してビットモデリングを行うことにより、ゼロビットプレーンを含まないコードブロックを構成すると共に、復号最終桁の情報を生成する第１の特徴量抽出工程と、
上記コードストリーム列の任意のコードストリームから符号化パラメータを抽出する符号化パラメータ抽出工程と、
上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除することにより、ゼロビットプレーンを含まないコードブロックを生成する第２の特徴量抽出工程と、
上記各コードストリームのコードブロック毎の量子化係数と上記特定画像のコードブロック毎の量子化係数とを同一位置の量子化係数同士で上記復号最終桁まで比較し、比較結果に応じて上記各コードストリームと上記特定画像とが略々一致するか否かを判定する比較工程と
を有することを特徴とする処理をコンピュータに実行させるプログラムが記録された記録媒体。
【請求項４７】
検索画像を符号化して得られるコードストリームと特定画像とを比較して略々一致するか否かを判定する画像比較装置において、
上記コードストリームを解析することにより上記検索画像の画像特徴量を抽出する画像特徴量抽出手段と、
上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出手段と、
上記符号化パラメータに基づいて上記特定画像を途中段階まで符号化することにより、特定画像符号化データを生成する特定画像符号化データ生成手段と、
上記検索画像の画像特徴量と上記特定画像符号化データとを比較し、上記コードストリームと上記特定画像とが略々一致するか否かを判定する比較手段と
を備えることを特徴とする画像比較装置。
【請求項４８】
上記検索画像の画像特徴量を復号することより検索画像符号化データを生成する検索画像符号化データ生成手段をさらに備え、
上記比較手段は、上記検索画像符号化データと上記特定画像符号化データとを比較し、上記コードストリームと上記特定画像とが略々一致するか否かを判定する
ことを特徴とする請求項４７記載の画像比較装置。
【請求項４９】
上記比較手段は、上記検索画像の画像特徴量と上記特定画像符号化データとの比較結果に基づいて、上記コードストリームと上記特定画像との類似度を判定することを特徴とする請求項４７記載の画像比較装置。
【請求項５０】
上記比較手段は、上記類似度と所定の閾値とを比較することにより、上記コードストリームと上記特定画像とが略々一致するか否かを判定することを特徴とする請求項４９記載の画像比較装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＪＰＥＧ（Joint Photographic Experts Group）２０００方式等に従って圧縮符号化された画像と特定画像とを比較して一致判定や類似度判定を行う画像比較装置及びその方法、ＪＰＥＧ２０００方式等に従って圧縮符号化された映像コンテンツから特定画像と略々一致する画像を検索する画像検索装置及びその方法、並びにプログラム及び記録媒体に関する。
【背景技術】
【０００２】
従来から、例えば映像コンテンツの検索等の目的のために、特定画像を検索クエリとして、未知の映像コンテンツの中から特定画像と略々一致する画像を検索する技術が必要とされている。例えば下記特許文献１には、映像コンテンツから短時間フレーム毎に特徴量を抽出して特徴ベクトルを構成し、その特徴ベクトルと特定画像の特徴ベクトルとを比較することにより、映像コンテンツの中から特定画像と略々一致する画像を検索する技術が提案されている。
【０００３】
【特許文献１】特開２００４−４５５６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、近年、デジタルカメラやデジタルカムコーダといった商品の普及に伴い、画像が直接デジタルで撮影され、画像圧縮を施されて記録されることが多くなっている。また、テレビジョン番組をデジタル化した上で画像圧縮を施し、アーカイブとして保存することも行われている。さらに、２００４年にデジタルシネマの規格化において画像圧縮方式としてＪＰＥＧ２０００方式が採用されることが決定され、多くの映画フィルムがデジタル化された上、ＪＰＥＧ２０００方式に従って圧縮符号化されて利用される流れとなっている。
【０００５】
そこで、今後は、特にＪＰＥＧ２０００方式に従って圧縮符号化された多数の画像から特定画像と略々一致する画像を検索したり、ＪＰＥＧ２０００方式に従って圧縮符号化された映像コンテンツの中から特定画像と略々一致する画像を検索したりするニーズが一層高まることが予想される。しかしながら、特許文献１等の従来の技術では、検索前に画像や映像コンテンツを完全に復号する必要があるため、処理全体の演算量が多くなるという問題があった。
【０００６】
本発明は、このような従来の実情に鑑みて提案されたものであり、ＪＰＥＧ２０００方式等に従って圧縮符号化された画像を完全に復号することなく、特定画像との一致判定や類似度判定を行う画像比較装置及びその方法、ＪＰＥＧ２０００方式等に従って圧縮符号化された映像コンテンツを完全に復号することなく、特定画像と略々一致する画像を検索する画像検索装置及びその方法、並びにプログラム及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した目的を達成するために、本発明に係る画像比較装置は、画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリームと特定画像とを比較して略々一致するか否かを判定する画像比較装置であって、上記コードストリームからコードブロック毎のゼロビットプレーン数を抽出する第１の特徴量抽出手段と、上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出手段と、上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、コードブロック毎のゼロビットプレーン数を抽出する第２の特徴量抽出手段と、上記コードストリームのコードブロック毎のゼロビットプレーン数と上記特定画像のコードブロック毎のゼロビットプレーン数とを同一位置のコードブロック同士で比較し、比較結果に応じて上記コードストリームと上記特定画像とが略々一致するか否かを判定する比較手段とを備えることを特徴とする。
【０００８】
また、上述した目的を達成するために、本発明に係る画像比較装置は、画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリームと特定画像とを比較して類似度を判定する画像比較装置であって、上記コードストリームからコードブロック毎のゼロビットプレーン数を抽出する第１の特徴量抽出手段と、上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出手段と、上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、コードブロック毎のゼロビットプレーン数を抽出する第２の特徴量抽出手段と、上記コードストリームのコードブロック毎のゼロビットプレーン数と上記特定画像のコードブロック毎のゼロビットプレーン数とを同一位置のコードブロック同士で比較する比較手段と、コードブロック毎の比較結果を累積して、上記コードストリームと上記特定画像との類似度を判定する累積手段とを備えることを特徴とする。
【０００９】
また、上述した目的を達成するために、本発明に係る画像検索装置は、複数の画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリーム列から特定画像と略々一致するコードストリームを検索する画像検索装置であって、上記コードストリーム列を構成する各コードストリームからコードブロック毎のゼロビットプレーン数を抽出する第１の特徴量抽出手段と、上記コードストリーム列の任意のコードストリームから符号化パラメータを抽出する符号化パラメータ抽出手段と、上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、コードブロック毎のゼロビットプレーン数を抽出する第２の特徴量抽出手段と、上記各コードストリームのコードブロック毎のゼロビットプレーン数と上記特定画像のコードブロック毎のゼロビットプレーン数とを同一位置のコードブロック同士で比較し、比較結果に応じて上記各コードストリームと上記特定画像とが略々一致するか否かを判定する比較手段とを備えることを特徴とする。
【００１０】
また、上述した目的を達成するために、本発明に係る画像比較装置は、画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリームと特定画像とを比較して略々一致するか否かを判定する画像比較装置であって、上記コードストリームからコードブロック毎のＭＱ符号を抽出し、当該ＭＱ符号を復号してＭＱシンボルを生成する第１の特徴量抽出手段と、上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出手段と、上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除してビットモデリングを行うことにより、コードブロック毎のＭＱシンボルを抽出する第２の特徴量抽出手段と、上記コードストリームのコードブロック毎のＭＱシンボルと上記特定画像のコードブロック毎のＭＱシンボルとを同一位置のコードブロック同士で比較し、比較結果に応じて上記コードストリームと上記特定画像とが略々一致するか否かを判定する比較手段とを備えることを特徴とする。
【００１１】
また、上述した目的を達成するために、本発明に係る画像比較装置は、画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリームと特定画像との類似度を判定する画像比較装置であって、上記コードストリームからコードブロック毎のＭＱ符号を抽出し、当該ＭＱ符号を復号してＭＱシンボルを生成する第１の特徴量抽出手段と、上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出手段と、上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除してビットモデリングを行うことにより、コードブロック毎のＭＱシンボルを抽出する第２の特徴量抽出手段と、上記コードストリームのコードブロック毎のＭＱシンボルと上記特定画像のコードブロック毎のＭＱシンボルとを同一位置のコードブロック同士で比較する比較手段と、コードブロック毎の比較結果を累積して、上記コードストリームと上記特定画像との類似度を判定する累積手段とを備えることを特徴とする。
【００１２】
また、上述した目的を達成するために、本発明に係る画像検索装置は、複数の画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリーム列から特定画像と略々一致するコードストリームを検索する画像検索装置であって、上記コードストリーム列を構成する各コードストリームからコードブロック毎のＭＱ符号を抽出し、当該ＭＱ符号を復号してＭＱシンボルを生成する第１の特徴量抽出手段と、上記コードストリーム列の任意のコードストリームから符号化パラメータを抽出する符号化パラメータ抽出手段と、上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除してビットモデリングを行うことにより、コードブロック毎のＭＱシンボルを抽出する第２の特徴量抽出手段と、上記各コードストリームのコードブロック毎のＭＱシンボルと上記特定画像のコードブロック毎のＭＱシンボルとを同一位置のコードブロック同士で比較し、比較結果に応じて上記各コードストリームと上記特定画像とが略々一致するか否かを判定する比較手段とを備えることを特徴とする。
【００１３】
また、上述した目的を達成するために、本発明に係る画像比較装置は、画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリームと特定画像とを比較して略々一致するか否かを判定する画像比較装置であって、上記コードストリームからコードブロック毎のＭＱ符号を抽出し、当該ＭＱ符号を復号してビットモデリングを行うことにより、ゼロビットプレーンを含まないコードブロックを構成すると共に、復号最終桁の情報を生成する第１の特徴量抽出手段と、上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出手段と、上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除することにより、ゼロビットプレーンを含まないコードブロックを生成する第２の特徴量抽出手段と、上記コードストリームのコードブロック毎の量子化係数と上記特定画像のコードブロック毎の量子化係数とを同一位置の量子化係数同士で上記復号最終桁まで比較し、比較結果に応じて上記コードストリームと上記特定画像とが略々一致するか否かを判定する比較手段とを備えることを特徴とする。
【００１４】
また、上述した目的を達成するために、本発明に係る画像比較装置は、画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリームと特定画像との類似度を判定する画像比較装置であって、上記コードストリームからコードブロック毎のＭＱ符号を抽出し、当該ＭＱ符号を復号してビットモデリングを行うことにより、ゼロビットプレーンを含まないコードブロックを構成すると共に、復号最終桁の情報を生成する第１の特徴量抽出手段と、上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出手段と、上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除することにより、ゼロビットプレーンを含まないコードブロックを生成する第２の特徴量抽出手段と、上記コードストリームのコードブロック毎の量子化係数と上記特定画像のコードブロック毎の量子化係数とを同一位置の量子化係数同士で上記復号最終桁まで比較する比較手段と、上記比較手段による比較結果を累積して、上記コードストリームと上記特定画像との類似度を判定する累積手段とを備えることを特徴とする。
【００１５】
また、上述した目的を達成するために、本発明に係る画像検索装置は、複数の画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリーム列から特定画像と略々一致するコードストリームを検索する画像検索装置であって、上記コードストリーム列を構成する各コードストリームからコードブロック毎のＭＱ符号を抽出し、当該ＭＱ符号を復号してビットモデリングを行うことにより、ゼロビットプレーンを含まないコードブロックを構成すると共に、復号最終桁の情報を生成する第１の特徴量抽出手段と、上記コードストリーム列の任意のコードストリームから符号化パラメータを抽出する符号化パラメータ抽出手段と、上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除することにより、ゼロビットプレーンを含まないコードブロックを生成する第２の特徴量抽出手段と、上記各コードストリームのコードブロック毎の量子化係数と上記特定画像のコードブロック毎の量子化係数とを同一位置の量子化係数同士で上記復号最終桁まで比較し、比較結果に応じて上記各コードストリームと上記特定画像とが略々一致するか否かを判定する比較手段とを備えることを特徴とする。
【００１６】
また、本発明に係るプログラムは、上述した画像比較処理、画像検索処理をコンピュータに実行させるものであり、本発明に係る記録媒体は、そのようなプログラムが記録されたコンピュータ読み取り可能なものである。
【００１７】
また、上述した目的を達成するために、本発明に係る画像比較装置は、検索画像を符号化して得られるコードストリームと特定画像とを比較して略々一致するか否かを判定する画像比較装置において、上記コードストリームを解析することにより上記検索画像の画像特徴量を抽出する画像特徴量抽出手段と、上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出手段と、上記符号化パラメータに基づいて上記特定画像を途中段階まで符号化することにより、特定画像符号化データを生成する特定画像符号化データ生成手段と、上記検索画像の画像特徴量と上記特定画像符号化データとを比較し、上記コードストリームと上記特定画像とが略々一致するか否かを判定する比較手段とを備えることを特徴とする。
【発明の効果】
【００１８】
本発明に係る画像比較装置及びその方法、並びにプログラム及び記録媒体によれば、画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリームからゼロビットプレーン数やＭＱシンボル、或いはゼロビットプレーンを含まないコードブロック毎の量子化係数を特徴量として抽出し、特定画像からも同様の特徴量を抽出し、これらの特徴量同士を比較することにより、コードストリームを完全に復号することなく、コードストリームと特定画像との一致判定や類似度判定を行うことができる。
【００１９】
また、本発明に係る画像検索装置及びその方法、並びにプログラム及び記録媒体によれば、複数の画像をＪＰＥＧ２０００方式に従って圧縮符号化して得られたコードストリーム列を構成する各コードストリームから上述と同様の特徴量を抽出し、特定画像からも同様の特徴量を抽出し、これらの特徴量同士を比較することにより、コードストリーム列を完全に復号することなく、コードストリーム列から特定画像と略々一致するコードストリームを検索することができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。以下に説明する実施の形態は、本発明を、ＪＰＥＧ２０００方式に従って圧縮符号化された画像と特定画像とを比較して一致判定や類似度判定を行う画像比較装置及びその方法、並びにＪＰＥＧ２０００方式に従って圧縮符号化された映像コンテンツから特定画像と略々一致する画像を検索する画像検索装置及びその方法に適用したものである。
【００２１】
ここで、具体的な実施の形態について説明する前に、画像をＪＰＥＧ２０００方式に従って符号化してコードストリームを生成する画像符号化装置と、このコードストリームをＪＰＥＧ２０００方式に従って復号して復号画像を生成する画像復号装置とについて説明する。
【００２２】
先ず、画像をＪＰＥＧ２０００方式に従って符号化してコードストリームを生成する画像符号化装置の概略構成を図１のブロック図に示す。
【００２３】
図１に示す画像符号化装置１００において、ウェーブレット変換器１０１は、入力された画像に対してウェーブレット変換を施し、サブバンド毎のウェーブレット係数を生成する。なお、ＪＰＥＧ２０００方式におけるウェーブレット変換は、図２に示すように、縦横２次元のフィルタでフィルタリング処理を施し、低域のサブバンドについては再帰的にフィルタリング処理を施すMallat分割である。図２の例では、３回のウェーブレット変換により、合計１０個のサブバンドが形成されている。
【００２４】
量子化器１０２は、サブバンド毎のウェーブレット係数を量子化し、量子化係数を生成する。コードブロック化器１０３は、サブバンド毎の量子化係数を同じ大きさの矩形領域であるコードブロックに分割し、コードブロック毎の量子化係数を２値（０又は１）の係数ビットの集合であるビットプレーンに展開する。例えば、図３（Ａ）に示すように縦横４個ずつ、計１６個の量子化係数からなるコードブロックの場合、図３（Ｂ）のように符号のビットプレーンと絶対値のビットプレーンとに展開される。ビットプレーン数検出器１０４は、コードブロック毎にゼロビットプレーン数を検出する。ここで、ゼロビットプレーン数とは、全ての係数ビットの値が０であるビットプレーンが最上位ビット（ＭＳＢ：Most Significant Bit)側に幾つあるかを表したものである。例えば図３（Ｂ）の場合、ゼロビットプレーン数は２である。そして、ゼロビットプレーン削除器１０５は、コードブロックからゼロビットプレーンを削除する。
【００２５】
ビットモデリング器１０６は、ゼロビットプレーンを含まないコードブロックについてビットモデリングを行い、ＭＱシンボルとＭＱコンテキストとの組を生成する。ＭＱ符号化器１０７は、ＭＱシンボルとＭＱコンテキストとの組をＭＱ符号化し、ＭＱ符号を生成する。最後に、コードストリーム生成器１０８は、ＭＱ符号とゼロビットプレーン数とからコードストリームを生成して出力する。
【００２６】
次に、このコードストリームをＪＰＥＧ２０００方式に従って復号して復号画像を生成する画像復号装置の概略構成を図４のブロック図に示す。
【００２７】
図４に示す画像復号装置２００において、コードストリーム解析器２０１は、入力されたコードストリームを解析してＭＱ符号とゼロビットプレーン数とを抽出する。ＭＱ復号器２０２は、ビットモデリング器２０３から与えられるＭＱコンテキストを用いてＭＱ符号を復号し、ＭＱシンボルを生成する。
【００２８】
ビットモデリング器２０３は、ＭＱシンボルに基づいてゼロビットプレーンを含まないコードブロックを構成し、ゼロビットプレーン付加器２０４は、ゼロビットプレーンを含まないコードブロックに対してゼロビットプレーンを付加する。フレーム化器２０５は、ゼロビットプレーンを含むコードブロックをサブバンド毎に纏めてサブバンド毎の量子化係数を生成し、逆量子化器２０６は、サブバンド毎の量子化係数を逆量子化してサブバンド毎のウェーブレット係数を生成する。最後に、逆ウェーブレット変換器２０７は、サブバンド毎のウェーブレット係数に対して逆ウェーブレット変換を施し、復号画像を生成する。
【００２９】
（第１の実施の形態）
第１の実施の形態における画像比較装置の概略構成を図５に示す。この画像比較装置１は、一方の端子から入力されたコードストリームと、他方の端子から入力された特定画像とを比較し、一致判定を行うものである。
【００３０】
この画像比較装置１において、コードストリームは、符号化パラメータ抽出器１０と、コードストリーム特徴量抽出器２０とに入力される。一方、特定画像は、画像特徴量抽出器３０に入力される。
【００３１】
符号化パラメータ抽出器１０は、コードストリームの符号化パラメータを抽出し、この符号化パラメータを画像特徴量抽出器３０内のウェーブレット変換器３１、量子化器３２、コードブロック化器３３に供給する。ここで、上述した符号化パラメータは、コードブロック毎の量子化係数がどのように作成されているかを示すものであり、例えばウェーブレット変換の部分では、フィルタの種類（可逆５−３フィルタ、非可逆９−７フィルタなど）や、ウェーブレット変換の回数（５回、４回など）が挙げられる。また、量子化の部分では、量子化ステップの大きさ（１／１２８、１／６４など）が挙げられ、コードブロック化の部分では、コードブロックの大きさ（縦６４横６４、縦３２横１２８、縦３２横３２など）が挙げられる。
【００３２】
コードストリーム特徴量抽出器２０は、コードストリーム解析器２１を有し、このコードストリーム解析器２１は、コードストリームを解析してコードブロック毎のゼロビットプレーン数を抽出する。
【００３３】
画像特徴量抽出器３０は、ウェーブレット変換器３１、量子化器３２、コードブロック化器３３及びゼロビットプレーン数検出器３４を有し、コードストリームの符号化パラメータに基づいて、特定画像のコードブロック毎のゼロビットプレーン数を検出する。具体的に、ウェーブレット変換器３１は、特定画像に対してウェーブレット変換を施してサブバンド毎のウェーブレット係数を生成し、量子化器３２は、サブバンド毎のウェーブレット係数を量子化して量子化係数を生成する。コードブロック化器３３は、サブバンド毎の量子化係数をコードブロックに分割すると共に、コードブロック毎の量子化係数をビットプレーンに展開し、ゼロビットプレーン数検出器３４は、コードブロック毎のゼロビットプレーン数を検出する。
【００３４】
比較器４０は、コードストリーム解析器２１から供給されたゼロビットプレーン数とゼロビットプレーン数検出器３４から供給されたゼロビットプレーン数とを比較することで、コードストリームと特定画像との一致判定を行い、判定結果を出力する。
【００３５】
この比較器４０における比較方法を含めて、画像比較装置１の処理について図６のフローチャートを用いて説明する。先ずステップＳ１において、コードストリームの符号化パラメータを抽出し、ステップＳ２において、この符号化パラメータに基づいて特定画像に対してウェーブレット変換、量子化を施し、コードブロックに分割する。
【００３６】
次にステップＳ３において、コードストリームに未処理のコードブロックがあるか否かを判別し、未処理のコードブロックがある場合には、ステップＳ４においてコードストリームの次の未処理のコードブロックＣｃを設定し、ステップＳ５において、コードブロックＣｃに対応する特定画像のコードブロックＣｉを設定する。そしてステップＳ６において、コードブロックＣｃとコードブロックＣｉのゼロビットプレーン数を比較し、ステップＳ７において、ゼロビットプレーン数が一致しているか否かを判別する。ゼロビットプレーン数が一致していない場合には、ステップＳ８においてコードストリームと特定画像とが不一致であると判定し、ゼロビットプレーン数が一致している場合には、ステップＳ３に戻る。一方、ステップＳ３において、未処理のコードブロックがない場合には、ステップＳ９においてコードストリームと特定画像とが一致していると判定する。
【００３７】
ここで、未処理のコードブロックを選択する順番は任意で構わないが、コードストリーム中で並んでいる順番と同じにすると処理が単純となる。コードストリーム中で並んでいる順番は、通常、低域のサブバンドから高域のサブバンドへの順、例えばウェーブレット変換を３回行っている場合には、図７に示すように、最低域であるＬＬ−３のサブバンドから始め、ＬＬ−３、ＨＬ−３、ＬＨ−３、ＨＨ−３、ＨＬ−２、ＬＨ−２、ＨＨ−２、ＨＬ−１、ＬＨ−１、ＨＨ−１の順である。また、各サブバンド内ではラスタスキャン順である。一般的な画像の場合には、低域のサブバンドから高域のサブバンドへの順番で選択することにより、少ないループ回数で不一致の判定が行える。但し、画像のインタレース成分に特徴がある場合、インタレース成分は図７のＬＨ−１で示されるサブバンドに現れるため、このサブバンド内のコードブロックをより早く処理するような順番で選択することにより、少ないループ回数で不一致の判定が行える。
【００３８】
このように、本実施の形態における画像比較装置１によれば、コードストリームと特定画像とについて、同じ位置のコードブロック同士でゼロビットプレーン数を比較し、全てのコードブロックでゼロビットプレーン数が一致するか否かにより、コードストリームと特定画像との一致判定を行うことができる。特に、コードストリームからはゼロビットプレーン数を抽出するのみで完全に復号することがないため、ＭＱ復号、ビットモデリング、逆量子化、逆ウェーブレット変換などの処理が不要になるという利点がある。中でも、コードストリームからゼロビットプレーン数を抽出するにはＭＱ符号を復号する必要がないため、処理の簡単さの点でも処理速度の点でも、非常に有利である。
【００３９】
本実施の形態の手法では、コードストリームと特定画像とが不一致であると判定された場合、その判定が間違っていることはない。一方、コードストリームと特定画像とが一致していると判定された場合、実際には不一致であることもあるが、実験の結果、間違えることは殆どないことが分かっている。例えば、通常の圧縮率である１ｂｐｐ（bit per pixel）のコードストリームの場合には間違えた実験結果はなく、高圧縮率である０．１ｂｐｐのコードストリームの場合であっても、動きの少ない画像で３００フレーム中４フレーム間違えたに過ぎない。
【００４０】
なお、上述の説明では、全てのコードブロックについてゼロビットプレーン数を比較したが、必ずしも全てのコードブロックについて比較する必要はない。但し、一部のコードブロックについてゼロビットプレーン数の比較処理を省略すると、実際には不一致であるにも拘わらず、一致しているという判定結果になる割合が増加する。利用条件から考えて判定精度が十分にある場合には、一部のコードブロックについての処理を省略することで、処理の高速化と簡略化を実現することができる。実際、実験によると、殆どの場合に輝度コンポーネントの低域側のコードブロックで不一致が判定されているため、輝度コンポーネントのみ、或いは高域側のサブバンドを除くなどの制限を加えても問題がないことが多い。
【００４１】
（第２の実施の形態）
第２の実施の形態における画像比較装置の概略構成を図８に示す。この画像比較装置２は、一方の端子から入力されたコードストリームと、他方の端子から入力された特定画像とを比較し、類似度判定を行うものである。この画像比較装置２は、基本構造を図５に示した画像比較装置１と同様とするが、累積器５０を有し、比較器４０から供給される判定結果を累積して類似度を計算する点に特徴を有している。したがって、先に図５に示した画像比較装置１と同様の構成については同一符号を付して詳細な説明を省略する。
【００４２】
この画像比較装置２の処理について図９のフローチャートを用いて説明する。先ずステップＳ１１において、変数sameの値と変数diffの値とを０に初期化する。ここで、変数sameは類似している度合いを表し、変数diffは類似していない度合いを表す。
【００４３】
次にステップＳ１２乃至ステップＳ１７において、上述と同様にコードブロックＣｃとコードブロックＣｉのゼロビットプレーン数を比較し、ステップＳ１８において、ゼロビットプレーン数が一致しているか否かを判別する。ゼロビットプレーン数が一致している場合には、ステップＳ１９において変数sameの値を１増やし、ゼロビットプレーン数が一致していない場合には、ステップＳ２０において変数diffの値を１増やす。そして、ステップＳ１４において未処理のコードブロックがない場合には、ステップＳ２１においてsame／(same＋diff)の値をコードストリームと特定画像との類似度として出力する。
【００４４】
このように、本実施の形態における画像比較装置２によれば、コードストリームと特定画像とについて、同じ位置のコードブロック同士でゼロビットプレーン数を比較し、その比較結果を全てのコードブロックについて累積することにより、コードストリームと特定画像との類似度判定を行うことができる。この場合にも、コードストリームからはゼロビットプレーン数を抽出するのみで完全に復号することがないため、処理の簡単さや処理速度の点で非常に有利である。
【００４５】
なお、上述の説明では、ゼロビットプレーン数が同じ場合や異なる場合に変数の値を１増やすものとしたが、実際には重み付けをしても構わない。この際、画像の特徴があると考えられる部分を優先して重み付けすることが好ましい。例えば、通常の画像の場合には低域側に特徴があると考えられるため、低域側のコードブロックにおける比較結果が優先されるように重み付けすることが好ましい。また、輝度のコンポーネントにおける比較結果が色のコンポーネントにおける比較結果よりも優先されるように重み付けすることが好ましい。
【００４６】
また、ゼロビットプレーン数が異なる場合には、その差の絶対値（又は差の冪乗など）を累積するようにしても構わない。
【００４７】
さらに、上述の説明では、コードストリームと特定画像との類似度判定を行うものとしたが、最後に類似度を閾値と比較することにより、一致判定を行うこともできる。勿論、変数sameの値と変数diffの値とに偏りがでれば、処理の最後に至る前に一致判定を行うこともできる。
【００４８】
（第３の実施の形態）
第３の実施の形態における画像検索装置の概略構成を図１０に示す。この画像検索装置３は、一方の端子から入力された映像コンテンツとしてのコードストリーム列（各画像を符号化したコードストリームの集合）から、他方の端子から入力された特定画像と一致するコードストリームを検索するものである。
【００４９】
この画像検索装置３において、コードストリーム列はコードストリームとそのインデクスとの組にされ、コードストリームは画像比較装置１に入力され、インデクスは選択器６０に入力される。一方、特定画像は、画像比較装置１に入力される。
【００５０】
画像比較装置１は、第１の実施の形態と同様のものであり、コードストリームと特定画像との一致判定を行い、判定結果を選択器６０に供給する。そして、選択器６０は、一致するものと判定されたコードストリームのインデクスを出力する。
【００５１】
この画像検索装置３の処理について図１１のフローチャートを用いて説明する。先ずステップＳ３１において、未処理のコードストリームがあるか否かを判別し、ある場合にはステップＳ３２において、次の未処理のコードストリームＳを設定する。次にステップＳ３３において、コードストリームＳと特定画像とが一致するか否かを判別し、一致しない場合にはステップＳ３１に戻り、一致する場合には、ステップＳ３４でインデクスを出力した後、ステップＳ３１に戻る。一方、ステップＳ３１において未処理のコードストリームがない場合には、処理を終了する。
【００５２】
このように、本実施の形態における画像検索装置３によれば、コードストリーム列から特定画像と一致するコードストリームを検索し、そのインデクスを出力することができる。特に、第１の実施の形態と同様の画像比較装置１を用いており、コードストリーム列を構成する各コードストリームと特定画像との一致判定を行う際に、コードストリームからはゼロビットプレーン数を抽出するのみで完全に復号することがないため、ＭＱ復号、ビットモデリング、逆量子化、逆ウェーブレット変換などの処理が不要になるという利点がある。また、符号化パラメータはコードストリーム列を通じて殆ど変わることがないため、画像比較装置１の内部のウェーブレット変換器３１、量子化器３２、コードブロック化器３３、ゼロビットプレーン数検出器３４をコードストリーム毎に動作させる必要がない。したがって、少ない処理量で検索を行うことが可能である。
【００５３】
なお、上述の説明では、第１の実施の形態と同様の画像比較装置１を用いるものとしたが、第２の実施の形態と同様の画像比較装置２を用いるようにしても構わない。この場合、選択器６０は、例えば類似度が所定の閾値を超えたコードストリームのインデクスを出力することができる。
【００５４】
（第４の実施の形態）
第４の実施の形態における画像比較装置の概略構成を図１２に示す。この画像比較装置４は、一方の端子から入力されたコードストリームと、他方の端子から入力された特定画像とを比較し、一致判定を行うものである。この画像比較装置４は、基本構造を図５に示した画像比較装置１と同様とするが、ゼロビットプレーン数同士ではなく、ＭＱシンボル同士を比較する点に特徴を有している。したがって、先に図５に示した画像比較装置１と同様の構成については同一符号を付して詳細な説明を省略する。
【００５５】
コードストリーム特徴量抽出器２０は、コードストリーム解析器２１、ＭＱ復号器２２及びビットモデリング器２３を有し、コードストリームについてのＭＱシンボルを抽出する。具体的に、コードストリーム解析器２１は、コードストリームを解析してＭＱ符号を抽出する。ＭＱ復号器２２は、ビットモデリング器２３から与えられるＭＱコンテキストを用いてＭＱ符号を復号し、生成されたＭＱシンボルを比較器４１に供給する。
【００５６】
画像特徴量抽出器３０は、第１の実施の形態における構成に加えて、さらにゼロビットプレーン削除器３５及びビットモデリング器３６を有し、コードストリームの符号化パラメータに基づいて、特定画像のＭＱシンボルを検出する。具体的に、ゼロビットプレーン削除器３５は、コードブロックからゼロビットプレーンを削除し、ビットモデリング器３６は、ゼロビットプレーンを含まないコードブロックについてビットモデリングを行い、生成されたＭＱシンボルを比較器４１に供給する。
【００５７】
比較器４１は、ＭＱ復号器２２から供給されたＭＱシンボルとビットモデリング器３６から供給されたＭＱシンボルとを比較することで、コードストリームと特定画像との一致判定を行い、判定結果を出力する。
【００５８】
この比較器４１における比較方法を含めて、画像比較装置４の処理について図１３のフローチャートを用いて説明する。先ずステップＳ４１において、コードストリームの符号化パラメータを抽出し、ステップＳ４２において、この符号化パラメータに基づいて特定画像に対してウェーブレット変換、量子化を施し、コードブロックに分割する。
【００５９】
次にステップＳ４３において、コードストリームに未処理のコードブロックがあるか否かを判別し、未処理のコードブロックがある場合には、ステップＳ４４においてコードストリームの次の未処理のコードブロックＣｃを設定し、ステップＳ４５において、コードブロックＣｃに対応する特定画像のコードブロックＣｉを設定する。続いてステップＳ４６において、コードブロックＣｉのゼロビットプレーン数を検出し、コードブロックＣｉからゼロビットプレーンを削除する。続いてステップＳ４７において、コードブロックＣｉのビットモデリングを行い、ＭＱシンボル列を得る。ステップＳ４８では、コードブロックＣｃのＭＱ復号及びビットモデリングを行い、ＭＱシンボル列を得る。
【００６０】
続いてステップＳ４９において、コードブロックＣｃに未処理のＭＱシンボルがあるか否かを判別し、未処理のＭＱシンボルがない場合にはステップＳ４３に戻り、未処理のＭＱシンボルがある場合にはステップＳ５０に進む。ステップＳ５０では、コードブロックＣｃの次のＭＱシンボルとコードブロックＣｉの次のＭＱシンボルとが一致しているか否かを判別する。ＭＱシンボルが一致していない場合には、ステップＳ５１においてコードストリームと特定画像とが不一致であると判定し、ＭＱシンボルが一致している場合には、ステップＳ４９に戻る。
【００６１】
一方、ステップＳ４３において、未処理のコードブロックがない場合には、ステップＳ５２においてコードストリームと特定画像とが一致していると判定する。
【００６２】
このように、本実施の形態における画像比較装置４によれば、コードストリームと特定画像とについて、ＭＱシンボル同士を比較し、全てのＭＱシンボルが一致するか否かにより、コードストリームと特定画像との一致判定を行うことができる。特に、コードストリームからはＭＱシンボルを抽出するのみで完全に復号することがないため、逆量子化、逆ウェーブレット変換などの処理が不要になるという利点がある。
【００６３】
なお、上述の説明では、コードストリームの全てのＭＱシンボルについて比較を行うものとしたが、比較するＭＱシンボルの数を設定するようにしてもよく、コーディングパスの数で比較するＭＱシンボルの数を制限するようにしてもよい。
【００６４】
（第５の実施の形態）
第５の実施の形態における画像比較装置の概略構成を図１４に示す。この画像比較装置５は、一方の端子から入力されたコードストリームと、他方の端子から入力された特定画像とを比較し、一致判定を行うものである。この画像比較装置５は、基本構造を図１２に示した画像比較装置４と同様とするが、ゼロビットプレーン数同士ではなく、ゼロビットプレーンを含まないコードブロックの量子化係数同士を比較する点に特徴を有している。したがって、先に図１２に示した画像比較装置４と同様の構成については同一符号を付して詳細な説明を省略する。
【００６５】
コードストリーム特徴量抽出器２０において、ＭＱ復号器２２は、ビットモデリング器２３から与えられるＭＱコンテキストを用いてＭＱ符号を復号し、ＭＱシンボルを生成する。ビットモデリング器２３は、ＭＱシンボルに基づいてゼロビットプレーンを含まないコードブロックを構成し、このゼロビットプレーンを含まないコードブロックを比較器４２に供給する。また、ビットモデリング器２３は、量子化係数のどの桁まで復号したかを表す復号最終桁の情報を比較器４２に供給する。
【００６６】
画像特徴量抽出器３０において、ゼロビットプレーン削除器３５は、コードブロックからゼロビットプレーンを削除し、ゼロビットプレーンを含まないコードブロックを比較器４２に供給する。
【００６７】
比較器４２は、ビットモデリング器２３から供給されたゼロビットプレーンを含まないコードブロックとゼロビットプレーン削除器３５から供給されたゼロビットプレーンを含まないコードブロックとの量子化係数同士を復号最終桁の情報に基づいて比較することで、コードストリームと特定画像との一致判定を行い、判定結果を出力する。
【００６８】
この比較器４２における比較方法を含めて、画像比較装置５の処理について図１５のフローチャートを用いて説明する。先ずステップＳ６１において、コードストリームの符号化パラメータを抽出し、ステップＳ６２において、この符号化パラメータに基づいて特定画像に対してウェーブレット変換、量子化を施し、コードブロックに分割する。続いてステップＳ６３において、コードストリームについてゼロビットプレーンを含まないコードブロックを構成する。
【００６９】
次にステップＳ６４において、コードストリームに未処理のコードブロックがあるか否かを判別し、未処理のコードブロックがある場合には、ステップＳ６５においてコードストリームの次の未処理のコードブロックＣｃを設定し、ステップＳ６６において、コードブロックＣｃに対応する特定画像のコードブロックＣｉを設定する。続いてステップＳ６７において、コードブロックＣｉのゼロビットプレーン数を検出し、コードブロックＣｉからゼロビットプレーンを削除する。
【００７０】
続いてステップＳ６８において、コードブロックＣｃに未処理の量子化係数があるか否かを判別し、未処理の量子化係数がない場合にはステップＳ６４に戻り、未処理の量子化係数がある場合にはステップＳ６９に進む。ステップＳ６９では、コードブロックＣｃの次の量子化係数とコードブロックＣｉの次の量子化係数とが復号最終桁まで一致しているか否かを判別する。量子化係数が復号最終桁までの何れかで一致していない場合には、ステップＳ７０においてコードストリームと特定画像とが不一致であると判定し、量子化係数が復号最終桁まで一致している場合には、ステップＳ６８に戻る。具体的には、例えば図１６（Ａ）に示すように、量子化係数の符号と最上位ビット（ＭＳＢ）側の復号最終桁までの値とが全て一致している場合に一致しているとし、図１６（Ｂ）に示すように、量子化係数の符号と最上位ビット（ＭＳＢ）側の復号最終桁までの値とのうち何れか１箇所でも一致していない場合に不一致であるとしている。
【００７１】
一方、ステップＳ６４において、未処理のコードブロックがない場合には、ステップＳ７１においてコードストリームと特定画像とが一致していると判定する。
【００７２】
このように、本実施の形態における画像比較装置５によれば、コードストリームと特定画像とについて、ゼロビットプレーンを含まないコードブロックの量子化係数同士を復号最終桁まで比較し、符号を含めて復号最終桁まで全て一致するか否かにより、コードストリームと特定画像との一致判定を行うことができる。特に、コードストリームについてはゼロビットプレーンを含まないコードブロックを構成するのみで完全に復号することがないため、逆量子化、逆ウェーブレット変換などの処理が不要になるという利点がある。
【００７３】
なお、上述の説明では、コードストリームの復号最終桁まで量子化係数同士を比較するものとしたが、途中の桁までしかビットモデリングを行っていない場合には、その桁まで比較すればよい。
【００７４】
また、上述の説明では、ゼロビットプレーンを含まないコードブロックの量子化係数同士を比較するものとしたが、ゼロビットプレーンを含むコードブロックの量子化係数同士を比較するようにしても構わない。この場合、処理速度は若干低下するものの、一致判定の精度は向上する。
【００７５】
（第６の実施の形態）
第６の実施の形態における画像比較装置の概略構成を図１７に示す。この画像比較装置６は、一方の端子から入力されたコードストリームと、他方の端子から入力された特定画像とを比較し、一致判定を行うものである。この画像比較装置６は、基本構造を図１４に示した画像比較装置５と同様とするが、ゼロビットプレーンを含まないコードブロックの量子化係数同士ではなく、サブバンド毎に纏められた量子化係数同士を比較する点に特徴を有している。したがって、先に図１４に示した画像比較装置５と同様の構成については同一符号を付して詳細な説明を省略する。
【００７６】
コードストリーム特徴量抽出器２０において、コードストリーム解析器２１は、コードストリームを解析してＭＱ符号とゼロビットプレーン数とを抽出する。また、ゼロビットプレーン付加器２４は、ゼロビットプレーンを含まないコードブロックに対してゼロビットプレーンを付加する。フレーム化器２５は、ゼロビットプレーンを含むコードブロックをサブバンド毎に纏めてサブバンド毎の量子化係数を生成し、この量子化係数を比較器４３に供給する。
【００７７】
画像特徴量抽出器３０において、量子化器３２は、サブバンド毎のウェーブレット係数を量子化して量子化係数を生成し、この量子化係数を比較器４３に供給する。
【００７８】
比較器４３は、フレーム化器２５から供給されたサブバンド毎の量子化係数と量子化器３２から供給されたサブバンド毎の量子化係数とを復号最終桁の情報に基づいて比較することで、コードストリームと特定画像との一致判定を行い、判定結果を出力する。
【００７９】
この比較器４３における比較方法を含めて、画像比較装置６の処理について図１８のフローチャートを用いて説明する。先ずステップＳ８１において、コードストリームの符号化パラメータを抽出し、ステップＳ８２において、この符号化パラメータに基づいて特定画像に対してウェーブレット変換、量子化を施す。続いてステップＳ８３において、コードストリームについてゼロビットプレーンを含まないコードブロックを構成し、ゼロビットプレーンを付加した後、サブバンド毎に纏める。
【００８０】
次にステップＳ８４において、コードストリームに未処理のサブバンドがあるか否かを判別し、未処理のサブバンドがある場合には、ステップＳ８５においてコードストリームの次の未処理のサブバンドＳｃを設定し、ステップＳ８６において、サブバンドＳｃに対応する特定画像のサブバンドＳｉを設定する。
【００８１】
続いてステップＳ８７において、サブバンドＳｃに未処理の量子化係数があるか否かを判別し、未処理の量子化係数がない場合にはステップＳ８４に戻り、未処理の量子化係数がある場合にはステップＳ８８に進む。ステップＳ８８では、サブバンドＳｃの次の量子化係数とサブバンドＳｉの次の量子化係数とが復号最終桁まで一致しているか否かを判別する。量子化係数が復号最終桁までの何れか１箇所でも一致していない場合には、ステップＳ８９においてコードストリームと特定画像とが不一致であると判定し、量子化係数が復号最終桁まで全て一致している場合には、ステップＳ８７に戻る。
【００８２】
一方、ステップＳ８４において、未処理のサブバンドがない場合には、ステップＳ９０においてコードストリームと特定画像とが一致していると判定する。
【００８３】
このように、本実施の形態における画像比較装置６によれば、コードストリームと特定画像とについて、サブバンド毎の量子化係数同士を復号最終桁まで比較し、復号最終桁まで全て一致するか否かにより、コードストリームと特定画像との一致判定を行うことができる。特に、コードストリームについてはサブバンド毎の量子化係数を構成するのみで完全に復号することがないため、逆量子化、逆ウェーブレット変換などの処理が不要になるという利点がある。
【００８４】
（第７の実施の形態）
第７の実施の形態における画像比較装置の概略構成を図１９に示す。この画像比較装置７は、一方の端子から入力されたコードストリームと、他方の端子から入力された特定画像とを比較し、一致判定を行うものである。この画像比較装置７は、基本構造を図１７に示した画像比較装置６と同様とするが、サブバンド毎に纏められた量子化係数同士ではなく、サブバンド毎に纏められたウェーブレット係数同士を比較する点に特徴を有している。したがって、先に図１７に示した画像比較装置６と同様の構成については同一符号を付して詳細な説明を省略する。
【００８５】
コードストリーム特徴量抽出器２０において、ビットモデリング器２３は、ＭＱシンボルに基づいてゼロビットプレーンを含まないコードブロックを構成し、また、後述する許容誤差の情報を比較器４４に供給する。また、逆量子化器２６は、サブバンド毎の量子化係数を逆量子化してサブバンド毎のウェーブレット係数を生成し、このサブバンド毎のウェーブレット係数を比較器４４に供給する。
【００８６】
画像特徴量抽出器３０において、ウェーブレット変換器３１は、特定画像に対してウェーブレット変換を施し、生成されたサブバンド毎のウェーブレット係数を比較器４４に供給する。
【００８７】
比較器４４は、逆量子化器２６から供給されたサブバンド毎のウェーブレット係数とウェーブレット変換器３１から供給されたサブバンド毎のウェーブレット係数とを許容誤差の情報に基づいて比較することで、コードストリームと特定画像との一致判定を行い、判定結果を出力する。
【００８８】
この比較器４４における比較方法を含めて、画像比較装置７の処理について図２０のフローチャートを用いて説明する。先ずステップＳ１０１において、コードストリームの符号化パラメータを抽出し、ステップＳ１０２において、この符号化パラメータに基づいて特定画像に対してウェーブレット変換を施す。続いてステップＳ１０３において、コードストリームについてサブバンド毎の量子化係数を生成する。
【００８９】
次にステップＳ１０４において、コードストリームに未処理のサブバンドがあるか否かを判別し、未処理のサブバンドがある場合には、ステップＳ１０５においてコードストリームの次の未処理のサブバンドＳｃを設定し、ステップＳ１０６において、サブバンドＳｃに対応する特定画像のサブバンドＳｉを設定する。
【００９０】
続いてステップＳ１０７において、サブバンドＳｃに未処理のウェーブレット係数があるか否かを判別し、未処理のウェーブレット係数がない場合にはステップＳ１０４に戻り、未処理のウェーブレット係数がある場合にはステップＳ１０８に進む。ステップＳ１０８では、サブバンドＳｃの次のウェーブレット係数とサブバンドＳｉの次のウェーブレット係数とが許容誤差の範囲内で一致しているか否かを判別する。ウェーブレット係数が許容誤差の範囲内で一致していない場合には、ステップＳ１０９においてコードストリームと特定画像とが不一致であると判定し、ウェーブレット係数が許容誤差の範囲内で一致している場合には、ステップＳ１０７に戻る。
【００９１】
一方、ステップＳ１０４において、未処理のサブバンドがない場合には、ステップＳ１１０においてコードストリームと特定画像とが一致していると判定する。
【００９２】
このように、本実施の形態における画像比較装置７によれば、コードストリームと特定画像とについて、サブバンド毎のウェーブレット係数同士を比較し、許容誤差の範囲内で一致するか否かにより、コードストリームと特定画像との一致判定を行うことができる。特に、コードストリームについてはサブバンド毎のウェーブレット係数を構成するのみで完全に復号することがないため、逆ウェーブレット変換の処理が不要になるという利点がある。
【００９３】
以上、本発明を実施するための最良の形態について説明したが、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【００９４】
例えば、上述した第４乃至第７の実施の形態は、第１の実施の形態とは異なる特徴量を一致判定に用いる変形例について説明するものであったが、類似度判定についても、第４乃至第７の実施の形態と同様に、第２の実施の形態とは異なる特徴量を用いる変形が可能である。具体的に、第２の実施の形態の類似度判定に用いる特徴量をウェーブレット係数とした場合、ウェーブレット係数毎に許容誤差の範囲内で一致しているか否かを累積してもよく、ウェーブレット係数毎に誤差の絶対値などを累積してもよい。また、類似度判定に用いる特徴量をコードブロック毎の量子化係数とした場合、コードブロック毎に一致しているか否かを累積してもよく、量子化係数毎に復号最終桁まで一致しているか否かを累積してもよく、量子化係数毎に差の絶対値などを累積してもよい。勿論、それらに重み付けを加えても構わない。
【００９５】
また、第３の実施の形態の画像検索装置３において、第４乃至第７の実施の形態の画像比較装置４〜７を用いるようにしても構わない。
【００９６】
また、上述した実施の形態では、特定画像を途中まで符号化して特徴量を抽出するものとして説明したが、特定画像を完全に符号化してコードストリームを生成した後、このコードストリームから特徴量を抽出するようにしても構わない。例えば一致判定を行う場合、図２１に示す画像比較装置８のように、画像特徴量抽出器３０は、画像をＪＰＥＧ２０００方式に従って圧縮符号化し、コードストリームを生成する符号化器３７と、このコードストリームから特徴量を抽出するコードストリーム特徴量抽出器３８とで構成される。ここで、コードストリーム特徴量抽出器３８は、コードストリーム特徴量抽出器２０と同様のものである。この図２１の構成では、同じコードストリーム特徴量抽出器を２つと、一般的な符号化器を並べればよいため、設計するのが楽であるという利点がある。
【００９７】
また、上述した第１，第２，第４乃至第７の実施の形態では、コードストリームと圧縮符号化されていない特定画像とを比較するものとして説明したが、特定画像が既に圧縮符号化されている場合には、コードストリーム同士を比較するようにしても構わない。ここで、両方のコードストリームの符号化パラメータが同一の場合には、両方のコードストリームに対してコードストリーム特徴量抽出器を用いて特徴量を抽出して比較すればよい。一方、両方のコードストリームの符号化パラメータが異なる場合には、一方のコードストリームを復号して画像にしてから入力端子に入力することになる。但し、後者の場合、元々が同じ画像であっても不一致と判定されることがあるため、類似度判定を行い、ある程度の差は同じとみなす必要がある。
【００９８】
また、上述した実施の形態における一連の処理をソフトウェアにより実行するようにしても構わない。この場合、そのソフトウェアを構成するプログラムをコンピュータの専用ハードウェア、例えばＲＯＭ（Read Only Memory）やハードディスクに予め組み込むようにしてもよく、また、各種プログラムをインストールすることで各種機能を実行することが可能な汎用のパーソナルコンピュータなどに対して、ネットワークや記録媒体を介してインストールするようにしてもよい。この記録媒体としては、例えば磁気ディスク（フレキシブルディスクを含む）、光ディスク（ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）及びＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク（ＭＤ（Mini-Disk）（商標）を含む）、或いは半導体メモリなどのパッケージメディアが利用可能である。
【００９９】
また、上述した実施の形態では、画像圧縮方式としてＪＰＥＧ２０００方式を用いて説明したが、本発明はこれに限定されるものではなく、例えばＪＰＥＧやＭＰＥＧ（Moving Picture Experts Group）などの他の画像圧縮方式の場合にも適用可能である。
【図面の簡単な説明】
【０１００】
【図１】画像をＪＰＥＧ２０００方式に従って符号化してコードストリームを生成する画像符号化装置の概略構成を示すブロック図である。
【図２】ＪＰＥＧ２０００方式におけるウェーブレット変換の一例を示す図である。
【図３】コードブロックとビットプレーンとの関係を示す図である。
【図４】コードストリームをＪＰＥＧ２０００方式に従って復号して復号画像を生成する画像復号装置の概略構成を示すブロック図である。
【図５】第１の実施の形態における画像比較装置の概略構成を示すブロック図である。
【図６】同画像比較装置の処理を説明するフローチャートである。
【図７】サブバンドの選択順序を示す図である。
【図８】第２の実施の形態における画像比較装置の概略構成を示すブロック図である。
【図９】同画像比較装置の処理を説明するフローチャートである。
【図１０】第３の実施の形態における画像検索装置の概略構成を示すブロック図である。
【図１１】同画像検索装置の処理を説明するフローチャートである。
【図１２】第４の実施の形態における画像比較装置の概略構成を示すブロック図である。
【図１３】同画像比較装置の処理を説明するフローチャートである。
【図１４】第５の実施の形態における画像比較装置の概略構成を示すブロック図である。
【図１５】同画像比較装置の処理を説明するフローチャートである。
【図１６】復号最終桁まで量子化係数同士を比較する様子を示す図である。
【図１７】第６の実施の形態における画像比較装置の概略構成を示すブロック図である。
【図１８】同画像比較装置の処理を説明するフローチャートである。
【図１９】第７の実施の形態における画像比較装置の概略構成を示すブロック図である。
【図２０】同画像比較装置の処理を説明するフローチャートである。
【図２１】その他の実施の形態における画像比較装置の概略構成を示すブロック図である。
【符号の説明】
【０１０１】
１，２，４〜８  画像比較装置、３  画像検索装置、１０  符号化パラメータ抽出器、２０  コードストリーム特徴量抽出器、２１  コードストリーム解析器、２２  ＭＱ復号器、２３  ビットモデリング器、２４  ゼロビットプレーン付加器、２５  フレーム化器、２６  逆量子化器、３０  画像特徴量抽出器、３１  ウェーブレット変換器、３２  量子化器、３３  コードブロック化器、３４  ゼロビットプレーン数検出器、３５  ゼロビットプレーン削除器、３６  ビットモデリング器、３７  符号化器、３８  コードストリーム特徴量抽出器、４０〜４４  比較器、５０  累積器、６０  選択器
【図１】
2006285615.tif 000003
【図２】
2006285615.tif 000004
【図３】
2006285615.tif 000005
【図４】
2006285615.tif 000006
【図５】
2006285615.tif 000007
【図６】
2006285615.tif 000008
【図７】
2006285615.tif 000009
【図８】
2006285615.tif 000010
【図９】
2006285615.tif 000011
【図１０】
2006285615.tif 000012
【図１１】
2006285615.tif 000013
【図１２】
2006285615.tif 000014
【図１３】
2006285615.tif 000015
【図１４】
2006285615.tif 000016
【図１５】
2006285615.tif 000017
【図１６】
2006285615.tif 000018
【図１７】
2006285615.tif 000019
【図１８】
2006285615.tif 000020
【図１９】
2006285615.tif 000021
【図２０】
2006285615.tif 000022
【図２１】
2006285615.tif 000023
【手続補正書】
【提出日】平成18年4月19日(2006.4.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
検索画像を符号化して得られるコードストリームと特定画像とを比較して略々一致するかを判定する画像比較装置において、
上記コードストリームを解析することにより上記検索画像の画像特徴量を抽出する画像特徴量抽出手段と、
上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出手段と、
上記符号化パラメータに基づいて上記特定画像を途中段階まで符号化することにより、特定画像符号化データを生成する特定画像符号化データ生成手段と、
上記検索画像の画像特徴量と上記特定画像符号化データとを比較し、上記コードストリームと上記特定画像とが略々一致するかを判定する比較手段と
を備える画像比較装置。
【請求項２】
上記検索画像の画像特徴量を復号することにより検索画像符号化データを生成する検索画像符号化データ生成手段をさらに備え、
上記比較手段は、上記検索画像符号化データと上記特定画像符号化データとを比較し、上記コードストリームと上記特定画像とが略々一致するかを判定する
請求項１記載の画像比較装置。
【請求項３】
上記比較手段は、上記検索画像の画像特徴量と上記特定画像符号化データとの比較結果に基づいて、上記コードストリームと上記特定画像との類似度を判定する
請求項１記載の画像比較装置。
【請求項４】
上記比較手段は、上記類似度と所定の閾値とを比較することにより、上記コードストリームと上記特定画像とが略々一致するかを判定する
請求項３記載の画像比較装置。
【請求項５】
上記コードストリームは、ＪＰＥＧ２０００方式に従って符号化されており、
上記画像特徴量抽出手段は、上記コードストリームからコードブロック毎のゼロビットプレーン数を抽出し、
上記符号化パラメータ抽出手段は、上記コードストリームから符号化パラメータを抽出し、
上記特定画像符号化データ生成手段は、上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、コードブロック毎のゼロビットプレーン数を生成し、
上記比較手段は、上記コードストリームのコードブロック毎のゼロビットプレーン数と上記特定画像のコードブロック毎のゼロビットプレーン数とを同一位置のコードブロック同士で比較し、比較結果に応じて上記コードストリームと上記特定画像とが略々一致するかを判定する
請求項１記載の画像比較装置。
【請求項６】
上記比較手段は、上記コードストリームのコードブロック毎のゼロビットプレーン数と上記特定画像のコードブロック毎のゼロビットプレーン数とが全てのコードブロックで一致した場合に、上記コードストリームと上記特定画像とが略々一致すると判定する
請求項５記載の画像比較装置。
【請求項７】
上記比較手段は、所定のコンポーネント及び／又は所定のサブバンドについてのみ、上記コードストリームのコードブロック毎のゼロビットプレーン数と上記特定画像のコードブロック毎のゼロビットプレーン数とを比較する
請求項５記載の画像比較装置。
【請求項８】
上記比較手段は、比較結果に応じて上記コードストリームと上記特定画像との類似度を求め、当該類似度と所定の閾値とを比較することにより、上記コードストリームと上記特定画像とが略々一致するかを判定する
請求項５記載の画像比較装置。
【請求項９】
上記比較手段は、コードブロック毎の比較結果を累積して、上記コードストリームと上記特定画像との類似度を判定する
請求項５記載の画像比較装置。
【請求項１０】
上記比較手段は、上記コードストリームのコードブロック毎のゼロビットプレーン数と上記特定画像のコードブロック毎のゼロビットプレーン数とが一致したコードブロックの数を累積し、当該一致したコードブロックの割合に応じて上記類似度を判定する
請求項９記載の画像比較装置。
【請求項１１】
上記比較手段は、上記コードストリームのコードブロック毎のゼロビットプレーン数と上記特定画像のコードブロック毎のゼロビットプレーン数との差に応じた値を全てのコードブロックについて累積し、当該累積結果に応じて上記類似度を判定する
請求項９記載の画像比較装置。
【請求項１２】
上記比較手段は、コンポーネントの種類及び／又はサブバンドの位置に応じて、累積する数に重み付けを行う
請求項１０記載の画像比較装置。
【請求項１３】
上記コードストリームは、ＪＰＥＧ２０００方式に従って符号化されており、
上記画像特徴量抽出手段は、上記コードストリームからコードブロック毎のＭＱ符号を抽出し、当該ＭＱ符号を復号してＭＱシンボルを生成し、
上記符号化パラメータ抽出手段は、上記コードストリームから符号化パラメータを抽出し、
上記特定画像符号化データ生成手段は、上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除してビットモデリングを行うことにより、コードブロック毎のＭＱシンボルを抽出し、
上記比較手段は、上記コードストリームのコードブロック毎のＭＱシンボルと上記特定画像のコードブロック毎のＭＱシンボルとを同一位置のコードブロック同士で比較し、比較結果に応じて上記コードストリームと上記特定画像とが略々一致するかを判定する
請求項１記載の画像比較装置。
【請求項１４】
上記コードストリームは、ＪＰＥＧ２０００方式に従って符号化されており、
上記画像特徴量抽出手段は、上記コードストリームからコードブロック毎のＭＱ符号を抽出し、当該ＭＱ符号を復号してビットモデリングを行うことにより、ゼロビットプレーンを含まないコードブロックを構成すると共に、復号最終桁の情報を生成し、
上記符号化パラメータ抽出手段は、上記コードストリームから符号化パラメータを抽出し、
上記特定画像符号化データ生成手段は、上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除することにより、ゼロビットプレーンを含まないコードブロックを生成し、
上記比較手段は、上記コードストリームのコードブロック毎の量子化係数と上記特定画像のコードブロック毎の量子化係数とを同一位置の量子化係数同士で上記復号最終桁まで比較し、比較結果に応じて上記コードストリームと上記特定画像とが略々一致するかを判定する
請求項１記載の画像比較装置。
【請求項１５】
上記比較手段は、量子化係数の符号と、最上位ビット側の復号最終桁までの値とが全て一致した場合に、当該量子化係数同士が一致すると判定する
請求項１４記載の画像比較装置。
【請求項１６】
上記比較手段は、コードブロック毎の比較結果を累積して、上記コードストリームと上記特定画像との類似度を判定する
請求項１４記載の画像比較装置。
【請求項１７】
検索画像を符号化して得られるコードストリームと特定画像とを比較して略々一致するかを判定する画像比較方法において、
上記コードストリームを解析することにより上記検索画像の画像特徴量を抽出する画像特徴量抽出工程と、
上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出工程と、
上記符号化パラメータに基づいて上記特定画像を途中段階まで符号化することにより、特定画像符号化データを生成する特定画像符号化データ生成工程と、
上記検索画像の画像特徴量と上記特定画像符号化データとを比較し、上記コードストリームと上記特定画像とが略々一致するかを判定する比較工程と
を含む画像比較方法。
【請求項１８】
検索画像を符号化して得られるコードストリームと特定画像とを比較して略々一致するかを判定する画像比較処理をコンピュータに実行させるプログラムにおいて、
上記コードストリームを解析することにより上記検索画像の画像特徴量を抽出する画像特徴量抽出工程と、
上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出工程と、
上記符号化パラメータに基づいて上記特定画像を途中段階まで符号化することにより、特定画像符号化データを生成する特定画像符号化データ生成工程と、
上記検索画像の画像特徴量と上記特定画像符号化データとを比較し、上記コードストリームと上記特定画像とが略々一致するかを判定する比較工程と
を含む画像比較処理をコンピュータに実行させるプログラム。
【請求項１９】
検索画像を符号化して得られるコードストリームと特定画像とを比較して略々一致するかを判定する画像比較処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体において、
上記コードストリームを解析することにより上記検索画像の画像特徴量を抽出する画像特徴量抽出工程と、
上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出工程と、
上記符号化パラメータに基づいて上記特定画像を途中段階まで符号化することにより、特定画像符号化データを生成する特定画像符号化データ生成工程と、
上記検索画像の画像特徴量と上記特定画像符号化データとを比較し、上記コードストリームと上記特定画像とが略々一致するかを判定する比較工程と
を含む画像比較処理をコンピュータに実行させるプログラムが記録された記録媒体。
【請求項２０】
複数の画像を符号化して得られるコードストリーム列から特定画像と略々一致するコードストリームを検索する画像検索装置において、
上記コードストリーム列を構成する各コードストリームを解析することにより各コードストリームの画像特徴量を抽出する画像特徴量抽出手段と、
上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出手段と、
上記符号化パラメータに基づいて上記特定画像を途中段階まで符号化することにより、特定画像符号化データを生成する特定画像符号化データ生成手段と、
各上記コードストリームの画像特徴量と上記特定画像符号化データとを比較することにより各上記コードストリームと上記特定画像とが略々一致するかを判定しながら、上記コードストリーム列から上記特定画像と略々一致するコードストリームを検索する検索手段と
を備える画像検索装置。
【請求項２１】
上記特定画像と略々一致すると判定されたコードストリームのインデクスを選択して出力する選択手段をさらに備える
請求項２０記載の画像検索装置。
【請求項２２】
上記検索手段は、比較結果に応じて上記各コードストリームと上記特定画像との類似度を求め、
上記選択手段は、類似度が所定の閾値を超えたコードストリームのインデクスを選択して出力する
請求項２１記載の画像検索装置。
【請求項２３】
上記コードストリーム列は、ＪＰＥＧ２０００方式に従って符号化されており、
上記画像特徴量抽出手段は、上記コードストリーム列を構成する各コードストリームからコードブロック毎のゼロビットプレーン数を抽出し、
上記符号化パラメータ抽出手段は、上記コードストリーム列の任意のコードストリームから符号化パラメータを抽出し、
上記特定画像符号化データ生成手段は、上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、コードブロック毎のゼロビットプレーン数を抽出し、
上記検索手段は、各上記コードストリームのコードブロック毎のゼロビットプレーン数と上記特定画像のコードブロック毎のゼロビットプレーン数とを同一位置のコードブロック同士で比較し、比較結果に応じて各上記コードストリームと上記特定画像とが略々一致するかを判定する
請求項２０記載の画像検索装置。
【請求項２４】
上記コードストリーム列は、ＪＰＥＧ２０００方式に従って符号化されており、
上記画像特徴量抽出手段は、上記コードストリーム列を構成する各コードストリームからコードブロック毎のＭＱ符号を抽出し、当該ＭＱ符号を復号してＭＱシンボルを生成し、
上記符号化パラメータ抽出手段は、上記コードストリーム列の任意のコードストリームから符号化パラメータを抽出し、
上記特定画像符号化データ生成手段は、上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除してビットモデリングを行うことにより、コードブロック毎のＭＱシンボルを抽出し、
上記検索手段は、各上記コードストリームのコードブロック毎のＭＱシンボルと上記特定画像のコードブロック毎のＭＱシンボルとを同一位置のコードブロック同士で比較し、比較結果に応じて各上記コードストリームと上記特定画像とが略々一致するかを判定する
請求項２０記載の画像検索装置。
【請求項２５】
上記コードストリーム列は、ＪＰＥＧ２０００方式に従って符号化されており、
上記画像特徴量抽出手段は、上記コードストリーム列を構成する各コードストリームからコードブロック毎のＭＱ符号を抽出し、当該ＭＱ符号を復号してビットモデリングを行うことにより、ゼロビットプレーンを含まないコードブロックを構成すると共に、復号最終桁の情報を生成し、
上記符号化パラメータ抽出手段は、上記コードストリーム列の任意のコードストリームから符号化パラメータを抽出し、
上記特定画像符号化データ生成手段は、上記符号化パラメータに基づいて、上記特定画像に対してウェーブレット変換及び量子化を施した後、量子化係数をコードブロックに分割し、当該コードブロックからゼロビットプレーンを削除することにより、ゼロビットプレーンを含まないコードブロックを生成し、
上記検索手段は、各上記コードストリームのコードブロック毎の量子化係数と上記特定画像のコードブロック毎の量子化係数とを同一位置の量子化係数同士で上記復号最終桁まで比較し、比較結果に応じて各上記コードストリームと上記特定画像とが略々一致するかを判定する
請求項２０記載の画像検索装置。
【請求項２６】
複数の画像を符号化して得られるコードストリーム列から特定画像と略々一致するコードストリームを検索する画像検索方法において、
上記コードストリーム列を構成する各コードストリームを解析することにより各コードストリームの画像特徴量を抽出する画像特徴量抽出工程と、
上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出工程と、
上記符号化パラメータに基づいて上記特定画像を途中段階まで符号化することにより、特定画像符号化データを生成する特定画像符号化データ生成工程と、
各上記コードストリームの画像特徴量と上記特定画像符号化データとを比較することにより各上記コードストリームと上記特定画像とが略々一致するかを判定しながら、上記コードストリーム列から上記特定画像と略々一致するコードストリームを検索する検索工程と
を含む画像検索装置。
【請求項２７】
複数の画像を符号化して得られるコードストリーム列から特定画像と略々一致するコードストリームを検索する画像検索処理をコンピュータに実行させるプログラムにおいて、
上記コードストリーム列を構成する各コードストリームを解析することにより各コードストリームの画像特徴量を抽出する画像特徴量抽出工程と、
上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出工程と、
上記符号化パラメータに基づいて上記特定画像を途中段階まで符号化することにより、特定画像符号化データを生成する特定画像符号化データ生成工程と、
各上記コードストリームの画像特徴量と上記特定画像符号化データとを比較することにより各上記コードストリームと上記特定画像とが略々一致するかを判定しながら、上記コードストリーム列から上記特定画像と略々一致するコードストリームを検索する検索工程と
を含む画像検索処理をコンピュータに実行させるプログラム。
【請求項２８】
複数の画像を符号化して得られるコードストリーム列から特定画像と略々一致するコードストリームを検索する画像検索処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体において、
上記コードストリーム列を構成する各コードストリームを解析することにより各コードストリームの画像特徴量を抽出する画像特徴量抽出工程と、
上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出工程と、
上記符号化パラメータに基づいて上記特定画像を途中段階まで符号化することにより、特定画像符号化データを生成する特定画像符号化データ生成工程と、
各上記コードストリームの画像特徴量と上記特定画像符号化データとを比較することにより各上記コードストリームと上記特定画像とが略々一致するかを判定しながら、上記コードストリーム列から上記特定画像と略々一致するコードストリームを検索する検索工程と
を含む画像検索処理をコンピュータに実行させるプログラムが記録された記録媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、圧縮符号化された画像と特定画像とを比較して一致判定や類似度判定を行う画像比較装置及びその方法、圧縮符号化された映像コンテンツから特定画像と略々一致する画像を検索する画像検索装置及びその方法、並びにプログラム及び記録媒体に関する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
本発明は、このような従来の実情に鑑みて提案されたものであり、圧縮符号化された画像を完全に復号することなく、特定画像との一致判定を行う画像比較装置及びその方法、圧縮符号化された映像コンテンツを完全に復号することなく、特定画像と略々一致する画像を検索する画像検索装置及びその方法、並びにプログラム及び記録媒体を提供することを目的とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
上述した目的を達成するために、本発明に係る画像比較装置は、検索画像を符号化して得られるコードストリームと特定画像とを比較して略々一致するかを判定する画像比較装置において、上記コードストリームを解析することにより上記検索画像の画像特徴量を抽出する画像特徴量抽出手段と、上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出手段と、上記符号化パラメータに基づいて上記特定画像を途中段階まで符号化することにより、特定画像符号化データを生成する特定画像符号化データ生成手段と、上記検索画像の画像特徴量と上記特定画像符号化データとを比較し、上記コードストリームと上記特定画像とが略々一致するかを判定する比較手段とを備えることを特徴とするものである。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
また、上述した目的を達成するために、本発明に係る画像検索装置は、複数の画像を符号化して得られるコードストリーム列から特定画像と略々一致するコードストリームを検索する画像検索装置において、上記コードストリーム列を構成する各コードストリームを解析することにより各コードストリームの画像特徴量を抽出する画像特徴量抽出手段と、上記コードストリームから符号化パラメータを抽出する符号化パラメータ抽出手段と、上記符号化パラメータに基づいて上記特定画像を途中段階まで符号化することにより、特定画像符号化データを生成する特定画像符号化データ生成手段と、各上記コードストリームの画像特徴量と上記特定画像符号化データとを比較することにより各上記コードストリームと上記特定画像とが略々一致するかを判定しながら、上記コードストリーム列から上記特定画像と略々一致するコードストリームを検索する検索手段とを備えることを特徴とするものである。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】削除
【補正の内容】
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】削除
【補正の内容】
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】削除
【補正の内容】
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】削除
【補正の内容】
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】削除
【補正の内容】
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】削除
【補正の内容】
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】削除
【補正の内容】
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
本発明に係る画像比較装置及びその方法、並びにプログラム及び記録媒体によれば、画像を符号化して得られたコードストリームから特徴量を抽出し、特定画像からも同様の特徴量を抽出し、これらの特徴量同士を比較することにより、コードストリームを完全に復号することなく、コードストリームと特定画像との一致判定を行うことができる。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
また、本発明に係る画像検索装置及びその方法、並びにプログラム及び記録媒体によれば、複数の画像を符号化して得られたコードストリーム列を構成する各コードストリームから上述と同様の特徴量を抽出し、特定画像からも同様の特徴量を抽出し、これらの特徴量同士を比較することにより、コードストリーム列を完全に復号することなく、コードストリーム列から特定画像と略々一致するコードストリームを検索することができる。