(57)【要約】【課題】  元の画像に復号することなく、符号化コードストリームから特定のフレームと略々一致するフレームを検索する。【解決手段】  エントロピー復号部１０は、特定フレームの符号化コードストリームＤ１００をエントロピー復号し、特定フレームの量子化係数Ｄ１０１を生成する。一方、エントロピー復号部１１は、検索対象となるフレームの符号化コードストリームＤ１０２をエントロピー復号し、検索対象フレームの量子化係数Ｄ１０３を生成する。マッチング部１２は、特定フレームの量子化係数１０１と検索対象フレームの量子化係数Ｄ１０３とのうち、同一サンプル位置の量子化係数同士で正負のマッチングを行い、判定部１３は、マッチング結果Ｄ１０４に基づき、検索対象フレームが特定フレームと略々一致するか否かを判定する。【選択図】  図１
2006202145.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する画像検索装置であって、
上記検索対象となる符号化コードストリームをエントロピー復号してフレーム毎の量子化係数を生成する復号手段と、
上記復号手段によって生成されたフレーム毎の量子化係数と上記特定フレームの量子化係数とのうち、同一サンプル位置の量子化係数同士で順次、正負のマッチングを行うマッチング手段と、
上記マッチングの結果に基づいて、上記特定フレームと略々一致するか否かをフレーム毎に判定する判定手段と
を備えることを特徴とする画像検索装置。
【請求項２】
上記復号手段によって生成されたフレーム毎の量子化係数を逆量子化してフレーム毎の変換係数を生成する逆量子化手段をさらに備え、
上記マッチング手段は、上記逆量子化手段によって生成されたフレーム毎の変換係数と上記特定フレームの変換係数とのうち、同一サンプル位置の変換係数同士で正負のマッチングを行う
ことを特徴とする請求項１記載の画像検索装置。
【請求項３】
上記判定手段は、正負が一致しない量子化係数が現れる毎にカウンタのカウント値を増加させ、フレームの全ての量子化係数のマッチングが終了した時点でカウント値が所定の閾値以下である場合に、当該フレームが上記特定フレームと略々一致するものと判定することを特徴とする請求項１記載の画像検索装置。
【請求項４】
上記マッチング手段は、マッチングを行うべき２つの量子化係数の少なくとも一方が０である場合には、マッチングを行わないことを特徴とする請求項１記載の画像検索装置。
【請求項５】
上記カウンタのカウント値が所定の閾値以上になった場合、上記判定手段は、当該フレームが上記特定フレームと一致しないものと判定し、上記マッチング手段は、当該フレームについての以降のマッチングを中止することを特徴とする請求項３記載の画像検索装置。
【請求項６】
上記特定フレームの画像と、上記判定手段によって該特定フレームと略々一致すると判定されたフレームの画像とが表示される表示手段をさらに備えることを特徴とする請求項３記載の画像検索装置。
【請求項７】
上記判定手段によって上記特定フレームと略々一致すると判定されたフレームが存在しない場合、上記表示手段には、上記特定フレームの画像と、上記カウンタのカウント値が最小であったフレームの画像とが表示されることを特徴とする請求項６記載の画像検索装置。
【請求項８】
上記復号手段は、上記検索対象となる符号化コードストリームを可変長復号テーブルを参照して復号することにより、フレーム毎の離散コサイン変換係数が量子化テーブルを参照して量子化されたフレーム毎の量子化係数を生成することを特徴とする請求項１記載の画像検索装置。
【請求項９】
上記復号手段は、上記検索対象となる符号化コードストリームをＪＰＥＧ２０００規格のＥＢＣＯＴ復号に従って復号することにより、フレーム毎のウェーブレット変換係数がスカラ量子化されたフレーム毎の量子化係数を生成することを特徴とする請求項１記載の画像検索装置。
【請求項１０】
上記マッチング手段は、帯域分割された複数のサブバンド内のコードブロック毎に量子化係数同士のマッチングを行うことを特徴とする請求項９記載の画像検索装置。
【請求項１１】
上記マッチング手段は、最低域のサブバンドから最高域のサブバンドの順番で量子化係数同士のマッチングを行うことを特徴とする請求項１０記載の画像検索装置。
【請求項１２】
上記マッチング手段は、所定のサブバンド又は所定のコードブロックまでの量子化係数についてのみマッチングを行うことを特徴とする請求項１０記載の画像検索装置。
【請求項１３】
上記復号手段は、あるコードブロック内の全ての量子化係数のマッチングが終了すると、次のコードブロックの量子化係数を生成することを特徴とする請求項１０記載の画像検索装置。
【請求項１４】
複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する画像検索方法であって、
上記検索対象となる符号化コードストリームをエントロピー復号してフレーム毎の量子化係数を生成する復号工程と、
上記復号工程にて生成されたフレーム毎の量子化係数と上記特定フレームの量子化係数とのうち、同一サンプル位置の量子化係数同士で順次、正負のマッチングを行うマッチング工程と、
上記マッチングの結果に基づいて、上記特定フレームと略々一致するか否かをフレーム毎に判定する判定工程と
を有することを特徴とする画像検索方法。
【請求項１５】
上記復号工程にて生成されたフレーム毎の量子化係数を逆量子化してフレーム毎の変換係数を生成する逆量子化工程をさらに有し、
上記マッチング工程では、上記逆量子化工程にて生成されたフレーム毎の変換係数と上記特定フレームの変換係数とのうち、同一サンプル位置の変換係数同士で正負のマッチングを行う
ことを特徴とする請求項１４記載の画像検索方法。
【請求項１６】
上記判定工程では、正負が一致しない量子化係数が現れる毎にカウンタのカウント値を増加させ、フレームの全ての量子化係数のマッチングが終了した時点でカウント値が所定の閾値以下である場合に、当該フレームが上記特定フレームと略々一致するものと判定することを特徴とする請求項１４記載の画像検索方法。
【請求項１７】
上記マッチング工程では、マッチングを行うべき２つの量子化係数の少なくとも一方が０である場合には、マッチングを行わないことを特徴とする請求項１４記載の画像検索方法。
【請求項１８】
上記カウンタのカウント値が所定の閾値以上になった場合、上記判定工程では、当該フレームが上記特定フレームと一致しないものと判定し、上記マッチング工程では、当該フレームについての以降のマッチングを中止することを特徴とする請求項１７記載の画像検索方法。
【請求項１９】
上記特定フレームの画像と、上記判定工程にて該特定フレームと略々一致すると判定されたフレームの画像とを表示手段に表示する表示工程をさらに有することを特徴とする請求項１７記載の画像検索方法。
【請求項２０】
上記判定工程にて上記特定フレームと略々一致すると判定されたフレームが存在しない場合、上記表示工程では、上記特定フレームの画像と、上記カウンタのカウント値が最小であったフレームの画像とを上記表示手段に表示することを特徴とする請求項１９記載の画像検索方法。
【請求項２１】
上記復号工程では、上記検索対象となる符号化コードストリームを可変長復号テーブルを参照して復号することにより、フレーム毎の離散コサイン変換係数が量子化テーブルを参照して量子化されたフレーム毎の量子化係数を生成することを特徴とする請求項１４記載の画像検索方法。
【請求項２２】
上記復号工程では、上記検索対象となる符号化コードストリームをＪＰＥＧ２０００規格のＥＢＣＯＴ復号に従って復号することにより、フレーム毎のウェーブレット変換係数がスカラ量子化されたフレーム毎の量子化係数を生成することを特徴とする請求項１４記載の画像検索方法。
【請求項２３】
上記マッチング工程では、帯域分割された複数のサブバンド内のコードブロック毎に量子化係数同士のマッチングを行うことを特徴とする請求項２２記載の画像検索方法。
【請求項２４】
上記マッチング工程では、最低域のサブバンドから最高域のサブバンドの順番で量子化係数同士のマッチングを行うことを特徴とする請求項２３記載の画像検索方法。
【請求項２５】
上記マッチング工程では、所定のサブバンド又は所定のコードブロックまでの量子化係数についてのみマッチングを行うことを特徴とする請求項２３記載の画像検索方法。
【請求項２６】
上記復号工程では、あるコードブロック内の全ての量子化係数のマッチングが終了すると、次のコードブロックの量子化係数を生成することを特徴とする請求項２３記載の画像検索方法。
【請求項２７】
複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する画像検索処理をコンピュータに実行させるプログラムであって、
上記検索対象となる符号化コードストリームをエントロピー復号してフレーム毎の量子化係数を生成する復号工程と、
上記復号工程にて生成されたフレーム毎の量子化係数と上記特定フレームの量子化係数とのうち、同一サンプル位置の量子化係数同士で順次、正負のマッチングを行うマッチング工程と、
上記マッチングの結果に基づいて、上記特定フレームと略々一致するか否かをフレーム毎に判定する判定工程と
を有することを特徴とするプログラム。
【請求項２８】
複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する画像検索処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能なプログラム記録媒体であって、
上記検索対象となる符号化コードストリームをエントロピー復号してフレーム毎の量子化係数を生成する復号工程と、
上記復号工程にて生成されたフレーム毎の量子化係数と上記特定フレームの量子化係数とのうち、同一サンプル位置の量子化係数同士で順次、正負のマッチングを行うマッチング工程と、
上記マッチングの結果に基づいて、上記特定フレームと略々一致するか否かをフレーム毎に判定する判定工程と
を有することを特徴とするプログラムが記録されたプログラム記録媒体。
【請求項２９】
複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する画像検索装置であって、
上記検索対象となる符号化コードストリームを生成する際に算出されたフレーム毎の量子化係数又は変換係数と、上記特定フレームの量子化係数又は変換係数とを取得する取得手段と、
上記取得手段によって取得されたフレーム毎の量子化係数又は変換係数と上記特定フレームの量子化係数又は変換係数とのうち、同一サンプル位置の量子化係数同士又は変換係数同士で順次、正負のマッチングを行うマッチング手段と、
上記マッチングの結果に基づいて、上記特定フレームと略々一致するか否かをフレーム毎に判定する判定手段と
を備えることを特徴とする画像検索装置。
【請求項３０】
上記検索対象となる符号化コードストリームを生成する際に算出されたフレーム毎の量子化係数又は変換係数と、上記特定フレームの量子化係数又は変換係数とは、記録媒体に記録されていることを特徴とする請求項２９記載の画像検索装置。
【請求項３１】
上記判定手段によって上記特定フレームと略々一致すると判定されたフレームを復号する復号手段と、
上記復号手段によって復号されたフレームの画像を表示手段に出力する出力手段と
をさらに備えることを特徴とする請求項２９記載の画像検索装置。
【請求項３２】
上記検索対象となる符号化コードストリームを復号する復号手段と、
上記判定手段によって上記特定フレームと略々一致すると判定されたフレームを再生開始フレーム又は再生終了フレームとして、上記復号手段によって復号された上記検索対象となる符号化コードストリームの画像を表示手段に出力する出力手段と
をさらに備えることを特徴とする請求項２９記載の画像検索装置。
【請求項３３】
上記判定手段によって上記特定フレームと略々一致すると判定されたフレームを再生開始フレーム又は再生終了フレームとして、上記検索対象となる符号化コードストリームを記録手段に記録する記録制御手段をさらに備えることを特徴とする請求項２９記載の画像検索装置。
【請求項３４】
複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する画像検索方法であって、
上記検索対象となる符号化コードストリームを生成する際に算出されたフレーム毎の量子化係数又は変換係数と、上記特定フレームの量子化係数又は変換係数とを取得する取得工程と、
上記取得工程にて取得されたフレーム毎の量子化係数又は変換係数と上記特定フレームの量子化係数又は変換係数とのうち、同一サンプル位置の量子化係数同士又は変換係数同士で順次、正負のマッチングを行うマッチング工程と、
上記マッチングの結果に基づいて、上記特定フレームと略々一致するか否かをフレーム毎に判定する判定工程と
を有することを特徴とする画像検索方法。
【請求項３５】
複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する画像検索処理をコンピュータに実行させるプログラムであって、
上記検索対象となる符号化コードストリームを生成する際に算出されたフレーム毎の量子化係数又は変換係数と、上記特定フレームの量子化係数又は変換係数とを取得する取得工程と、
上記取得工程にて取得されたフレーム毎の量子化係数又は変換係数と上記特定フレームの量子化係数又は変換係数とのうち、同一サンプル位置の量子化係数同士又は変換係数同士で順次、正負のマッチングを行うマッチング工程と、
上記マッチングの結果に基づいて、上記特定フレームと略々一致するか否かをフレーム毎に判定する判定工程と
を有することを特徴とするプログラム。
【請求項３６】
複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する画像検索処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能なプログラム記録媒体であって、
上記検索対象となる符号化コードストリームを生成する際に算出されたフレーム毎の量子化係数又は変換係数と、上記特定フレームの量子化係数又は変換係数とを取得する取得工程と、
上記取得工程にて取得されたフレーム毎の量子化係数又は変換係数と上記特定フレームの量子化係数又は変換係数とのうち、同一サンプル位置の量子化係数同士又は変換係数同士で順次、正負のマッチングを行うマッチング工程と、
上記マッチングの結果に基づいて、上記特定フレームと略々一致するか否かをフレーム毎に判定する判定工程と
を有することを特徴とするプログラムが記録されたプログラム記録媒体。
【請求項３７】
複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する画像検索装置であって、
上記特定フレームを符号化する際に算出された該特定フレームの量子化係数又は変換係数を該特定フレームと共に記録媒体に記録する第１の記録手段と、
上記検索対象となる符号化コードストリームを生成する際に算出されたフレーム毎の量子化係数又は変換係数を上記検索対象となる符号化コードストリームと共に上記記録媒体に記録する第２の記録手段と、
上記フレーム毎の量子化係数又は変換係数と上記特定フレームの量子化係数又は変換係数とを上記記録媒体から取得する取得手段と、
上記取得手段によって取得されたフレーム毎の量子化係数又は変換係数と上記特定フレームの量子化係数又は変換係数とのうち、同一サンプル位置の量子化係数同士又は変換係数同士で順次、正負のマッチングを行うマッチング手段と、
上記マッチングの結果に基づいて、上記特定フレームと略々一致するか否かをフレーム毎に判定する判定手段と、
上記判定手段によって上記特定フレームと略々一致すると判定されたフレームを復号する復号手段と、
上記復号手段によって復号されたフレームの画像を表示手段に出力する出力手段と
を備えることを特徴とする画像検索装置。
【請求項３８】
複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する画像検索方法であって、
上記特定フレームを符号化する際に算出された該特定フレームの量子化係数又は変換係数を該特定フレームと共に記録媒体に記録する第１の記録工程と、
上記検索対象となる符号化コードストリームを生成する際に算出されたフレーム毎の量子化係数又は変換係数を上記検索対象となる符号化コードストリームと共に上記記録媒体に記録する第２の記録工程と、
上記フレーム毎の量子化係数又は変換係数と上記特定フレームの量子化係数又は変換係数とを上記記録媒体から取得する取得工程と、
上記取得工程にて取得されたフレーム毎の量子化係数又は変換係数と上記特定フレームの量子化係数又は変換係数とのうち、同一サンプル位置の量子化係数同士又は変換係数同士で順次、正負のマッチングを行うマッチング工程と、
上記マッチングの結果に基づいて、上記特定フレームと略々一致するか否かをフレーム毎に判定する判定工程と、
上記判定工程にて上記特定フレームと略々一致すると判定されたフレームを復号する復号工程と、
上記復号工程にて復号されたフレームの画像を表示手段に出力する出力工程と
を有することを特徴とする画像検索方法。
【請求項３９】
複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する画像検索処理をコンピュータに実行させるプログラムであって、
上記特定フレームを符号化する際に算出された該特定フレームの量子化係数又は変換係数を該特定フレームと共に記録媒体に記録する第１の記録工程と、
上記検索対象となる符号化コードストリームを生成する際に算出されたフレーム毎の量子化係数又は変換係数を上記検索対象となる符号化コードストリームと共に上記記録媒体に記録する第２の記録工程と、
上記フレーム毎の量子化係数又は変換係数と上記特定フレームの量子化係数又は変換係数とを上記記録媒体から取得する取得工程と、
上記取得工程にて取得されたフレーム毎の量子化係数又は変換係数と上記特定フレームの量子化係数又は変換係数とのうち、同一サンプル位置の量子化係数同士又は変換係数同士で順次、正負のマッチングを行うマッチング工程と、
上記マッチングの結果に基づいて、上記特定フレームと略々一致するか否かをフレーム毎に判定する判定工程と、
上記判定工程にて上記特定フレームと略々一致すると判定されたフレームを復号する復号工程と、
上記復号工程にて復号されたフレームの画像を表示手段に出力する出力工程と
を有することを特徴とするプログラム。
【請求項４０】
複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する画像検索処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能なプログラム記録媒体であって、
上記特定フレームを符号化する際に算出された該特定フレームの量子化係数又は変換係数を該特定フレームと共に記録媒体に記録する第１の記録工程と、
上記検索対象となる符号化コードストリームを生成する際に算出されたフレーム毎の量子化係数又は変換係数を上記検索対象となる符号化コードストリームと共に上記記録媒体に記録する第２の記録工程と、
上記フレーム毎の量子化係数又は変換係数と上記特定フレームの量子化係数又は変換係数とを上記記録媒体から取得する取得工程と、
上記取得工程にて取得されたフレーム毎の量子化係数又は変換係数と上記特定フレームの量子化係数又は変換係数とのうち、同一サンプル位置の量子化係数同士又は変換係数同士で順次、正負のマッチングを行うマッチング工程と、
上記マッチングの結果に基づいて、上記特定フレームと略々一致するか否かをフレーム毎に判定する判定工程と、
上記判定工程にて上記特定フレームと略々一致すると判定されたフレームを復号する復号工程と、
上記復号工程にて復号されたフレームの画像を表示手段に出力する出力工程と
を有することを特徴とするプログラムが記録されたプログラム記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のフレームを圧縮符号化した符号化コードストリームの中から特定のフレームと略々一致するフレームを検索する画像検索装置及び方法、並びにプログラム及びプログラム記録媒体に関する。
【背景技術】
【０００２】
従来から、例えば映像コンテンツの検索、或いはネットワークコンテンツの管理等の目的のために、特定フレームの画像を検索クエリとして、未知の映像コンテンツの中から特定フレームと略々一致するフレームを検索する技術が必要とされている。例えば下記特許文献１には、映像コンテンツから短時間フレーム毎に特徴量を抽出して特徴ベクトルを構成し、その特徴ベクトルと参照画像の特徴ベクトルとを比較することにより、映像コンテンツの中から特定フレームと略々一致するフレームを検索する技術が提案されている。
【０００３】
【特許文献１】特開２００４−４５５６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、近年、デジタルカメラやカムコーダといった商品の普及に伴い画像のデジタル化が急速に進んでおり、映画やテレビジョン番組等の長時間に亘る映像コンテンツであっても、ＪＰＥＧ（Joint Photographic Experts Group）、ＭＰＥＧ（Moving Picture Experts Group）、或いはＪＰＥＧ２０００といった画像圧縮方式に従って圧縮符号化することにより、ハードディスク等に容易に記録することができる。
【０００５】
そこで、今後は、圧縮符号化された映像コンテンツの中から特定フレームと略々一致するフレームを検索するニーズが一層高まることが予想されるが、特許文献１等の従来の技術では、検索前に符号化コードストリームを復号する必要があるため、処理全体の演算量が多くなるという問題があった。
【０００６】
本発明は、このような従来の実情に鑑みて提案されたものであり、元の画像に復号することなく、符号化コードストリームから特定フレームと略々一致するフレームを検索することが可能な画像検索装置及び方法、並びにプログラム及びプログラム記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した目的を達成するために、本発明に係る画像検索装置は、複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する画像検索装置であって、上記検索対象となる符号化コードストリームをエントロピー復号してフレーム毎の量子化係数を生成する復号手段と、上記復号手段によって生成されたフレーム毎の量子化係数と上記特定フレームの量子化係数とのうち、同一サンプル位置の量子化係数同士で順次、正負のマッチングを行うマッチング手段と、上記マッチングの結果に基づいて、上記特定フレームと略々一致するか否かをフレーム毎に判定する判定手段とを備える。
【０００８】
ここで、本発明に係る画像検索装置は、上記復号手段によって生成されたフレーム毎の量子化係数を逆量子化してフレーム毎の変換係数を生成する逆量子化手段をさらに備えていてもよく、この場合、上記マッチング手段は、上記逆量子化手段によって生成されたフレーム毎の変換係数と上記特定フレームの変換係数とのうち、同一サンプル位置の変換係数同士で正負のマッチングを行う。
【０００９】
また、この画像検索装置において、上記判定手段は、正負が一致しない量子化係数が現れる毎にカウンタのカウント値を増加させ、フレームの全ての量子化係数のマッチングが終了した時点でカウント値が所定の閾値以下である場合に、当該フレームが上記特定フレームと略々一致するものと判定する。
【００１０】
また、上述した目的を達成するために、本発明に係る画像検索方法は、複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する画像検索方法であって、上記検索対象となる符号化コードストリームをエントロピー復号してフレーム毎の量子化係数を生成する復号工程と、上記復号工程にて生成されたフレーム毎の量子化係数と上記特定フレームの量子化係数とのうち、同一サンプル位置の量子化係数同士で順次、正負のマッチングを行うマッチング工程と、上記マッチングの結果に基づいて、上記特定フレームと略々一致するか否かをフレーム毎に判定する判定工程とを有する。
【００１１】
ここで、本発明に係る画像検索方法は、上記復号工程にて生成されたフレーム毎の量子化係数を逆量子化してフレーム毎の変換係数を生成する逆量子化工程をさらに有していてもよく、この場合、上記マッチング工程では、上記逆量子化工程にて生成されたフレーム毎の変換係数と上記特定フレームの変換係数とのうち、同一サンプル位置の変換係数同士で正負のマッチングを行う。
【００１２】
また、この画像検索方法において、上記判定工程では、正負が一致しない量子化係数が現れる毎にカウンタのカウント値を増加させ、フレームの全ての量子化係数のマッチングが終了した時点でカウント値が所定の閾値以下である場合に、当該フレームが上記特定フレームと略々一致するものと判定する。
【００１３】
また、上述した目的を達成するために、本発明に係る画像検索装置は、複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する画像検索装置であって、上記検索対象となる符号化コードストリームを生成する際に算出されたフレーム毎の量子化係数又は変換係数と、上記特定フレームの量子化係数又は変換係数とを取得する取得手段と、上記取得手段によって取得されたフレーム毎の量子化係数又は変換係数と上記特定フレームの量子化係数又は変換係数とのうち、同一サンプル位置の量子化係数同士又は変換係数同士で順次、正負のマッチングを行うマッチング手段と、上記マッチングの結果に基づいて、上記特定フレームと略々一致するか否かをフレーム毎に判定する判定手段とを備える。
【００１４】
また、上述した目的を達成するために、本発明に係る画像検索方法は、複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する画像検索方法であって、上記検索対象となる符号化コードストリームを生成する際に算出されたフレーム毎の量子化係数又は変換係数と、上記特定フレームの量子化係数又は変換係数とを取得する取得工程と、上記取得工程にて取得されたフレーム毎の量子化係数又は変換係数と上記特定フレームの量子化係数又は変換係数とのうち、同一サンプル位置の量子化係数同士又は変換係数同士で順次、正負のマッチングを行うマッチング工程と、上記マッチングの結果に基づいて、上記特定フレームと略々一致するか否かをフレーム毎に判定する判定工程とを有する。
【００１５】
また、上述した目的を達成するために、本発明に係る画像検索装置は、複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する画像検索装置であって、上記特定フレームを符号化する際に算出された該特定フレームの量子化係数又は変換係数を該特定フレームと共に記録媒体に記録する第１の記録手段と、上記検索対象となる符号化コードストリームを生成する際に算出されたフレーム毎の量子化係数又は変換係数を上記検索対象となる符号化コードストリームと共に上記記録媒体に記録する第２の記録手段と、上記フレーム毎の量子化係数又は変換係数と上記特定フレームの量子化係数又は変換係数とを上記記録媒体から取得する取得手段と、上記取得手段によって取得されたフレーム毎の量子化係数又は変換係数と上記特定フレームの量子化係数又は変換係数とのうち、同一サンプル位置の量子化係数同士又は変換係数同士で順次、正負のマッチングを行うマッチング手段と、上記マッチングの結果に基づいて、上記特定フレームと略々一致するか否かをフレーム毎に判定する判定手段と、上記判定手段によって上記特定フレームと略々一致すると判定されたフレームを復号する復号手段と、上記復号手段によって復号されたフレームの画像を表示手段に出力する出力手段とを備える。
【００１６】
また、上述した目的を達成するために、本発明に係る画像検索方法は、複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する画像検索方法であって、上記特定フレームを符号化する際に算出された該特定フレームの量子化係数又は変換係数を該特定フレームと共に記録媒体に記録する第１の記録工程と、上記検索対象となる符号化コードストリームを生成する際に算出されたフレーム毎の量子化係数又は変換係数を上記検索対象となる符号化コードストリームと共に上記記録媒体に記録する第２の記録工程と、上記フレーム毎の量子化係数又は変換係数と上記特定フレームの量子化係数又は変換係数とを上記記録媒体から取得する取得工程と、上記取得工程にて取得されたフレーム毎の量子化係数又は変換係数と上記特定フレームの量子化係数又は変換係数とのうち、同一サンプル位置の量子化係数同士又は変換係数同士で順次、正負のマッチングを行うマッチング工程と、上記マッチングの結果に基づいて、上記特定フレームと略々一致するか否かをフレーム毎に判定する判定工程と、上記判定工程にて上記特定フレームと略々一致すると判定されたフレームを復号する復号工程と、上記復号工程にて復号されたフレームの画像を表示手段に出力する出力工程とを有する。
【００１７】
また、本発明に係るプログラムは、上述した画像検索処理をコンピュータに実行させるものであり、本発明に係るプログラム記録媒体は、そのようなプログラムが記録されたコンピュータ読み取り可能なものである。
【発明の効果】
【００１８】
本発明に係る画像検索装置及び方法、並びにプログラム及びプログラム記録媒体によれば、複数のフレームを圧縮符号化した検索対象となる符号化コードストリームの中から特定フレームと略々一致するフレームを検索する際に、フレーム毎に同一サンプル位置の量子化係数同士又は変換係数同士でマッチングを行い、その結果に基づいて、特定フレームと略々一致するか否かをフレーム毎に判定するため、元の画像に復号してから検索する場合と比較して処理全体の演算量を大幅に低減することができる。特に、マッチングの際に量子化係数又は変換係数の正負のみを比較し、絶対値を考慮しないため、検索対象となる符号化コードストリームの圧縮率によらず対応可能である。
【発明を実施するための最良の形態】
【００１９】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００２０】
（第１の実施の形態）
先ず、第１の実施の形態における画像検索装置の概略構成を図１に示す。図１に示すように、第１の実施の形態における画像検索装置１は、エントロピー復号部１０，１１と、マッチング部１２と、判定部１３とから構成されている。
【００２１】
この画像検索装置１において、エントロピー復号部１０は、検索クエリとしての特定フレームの符号化コードストリームＤ１００を所定のアルゴリズムに従ってエントロピー復号し、特定フレームの量子化係数Ｄ１０１をマッチング部１２に供給する。一方、エントロピー復号部１１は、複数のフレーム画像を圧縮符号化した符号化コードストリーム（フレーム毎の符号化コードストリームの集合）のうち、検索対象となるフレームの符号化コードストリームＤ１０２を所定のアルゴリズムに従ってエントロピー復号し、検索対象フレームの量子化係数Ｄ１０３をマッチング部１２に供給する。なお、特定フレームの量子化係数Ｄ１０１が既に得られている場合には、エントロピー復号部１０の処理を省略することができる。
【００２２】
マッチング部１２は、特定フレームの量子化係数１０１と検索対象フレームの量子化係数Ｄ１０３とのうち、同一サンプル位置の量子化係数同士で正負のマッチングを行い、マッチング結果Ｄ１０４を判定部１３に供給する。縦横４サンプル、計１６個のサンプルがあった場合のマッチングの一例を図２に示す。図２において、ａ，ｄは絶対値が異なるものの正負は一致している。
【００２３】
判定部１３は、マッチング部１２から供給されたマッチング結果Ｄ１０４に基づき、検索対象フレームが特定フレームと略々一致するか否かを判定する。具体的には、正負が一致しなかったサンプルが現れる毎にカウンタのカウント値を１増やし、全てのサンプルのマッチングが終了した時点でカウント値が０であった場合、すなわち全てのサンプルで量子化係数の正負が一致した場合には、検索対象フレームが特定フレームと略々一致するものと判定し、判定結果Ｄ１０５を出力する。
【００２４】
この画像検索装置１の処理手順を図３のフローチャートに示す。先ずステップＳ１において、特定フレームの符号化コードストリームＤ１００及び検索対象フレームの符号化コードストリームＤ１０２をエントロピー復号し、特定フレームの量子化係数Ｄ１０１と検索対象フレームの量子化係数Ｄ１０３とを生成する。
【００２５】
次にステップＳ２において、特定フレームの量子化係数１０１と検索対象フレームの量子化係数Ｄ１０３とのうち、同一サンプル位置の量子化係数同士で正負のマッチングを行い、正負が一致しているか否かを判別する。正負が一致している場合にはステップＳ４に進み、正負が一致していない場合には、ステップＳ３でカウンタのカウント値を１増やした後、ステップＳ４に進む。なお、例えば図２のｂ，ｃのように、量子化係数の何れか一方でも０である場合には、マッチングをスキップすることが好ましい。
【００２６】
続いてステップＳ４において、全てのサンプルについてマッチングが終了したか否かを判別する。終了していない場合にはステップＳ５で次のサンプルに移った後、ステップＳ２に戻り、終了している場合にはステップＳ６に進む。
【００２７】
ステップＳ６では、カウント値が０であるか否かを判別する。カウント値が０でない場合には検索対象フレームが特定フレームと一致しないものと判定し、ステップＳ７において次の検索対象フレームの符号化コードストリームを入力し、ステップＳ８においてカウント値を０にリセットした後、ステップＳ１から同様の処理を行う。一方、カウント値が０である場合には全てのサンプルで正負が一致しているため、ステップＳ９において検索対象フレームが特定フレームと略々一致するものと判定し、終了する。
【００２８】
なお、図３のフローチャートでは、全てのサンプルについてマッチングを行うものとしたが、処理時間の削減のため、カウント値が所定の閾値よりも大きくなった時点で一致しないと判定し、次の検索対象フレームに移るようにしても構わない。特に、上述のように、全てのサンプルのマッチングが終了した時点でカウント値が０であった場合にのみ、検索対象フレームが特定フレームと略々一致すると判定する場合には、カウント値が１になった時点で次の検索対象フレームに移ることで、処理時間を削減することができる。
【００２９】
また、上述の説明では、全てのサンプルのマッチングが終了した時点でカウント値が０であった場合にのみ、検索対象フレームが特定フレームと略々一致するものと判定したが、全てのサンプルのマッチングが終了した時点でカウント値が所定の閾値以下であった場合に、検索対象フレームが特定フレームと略々一致するものと判定しても構わない。この場合、複数の候補フレームが出現する可能性があるが、検出漏れを防止することができる。
【００３０】
以上のように、本実施の形態における画像検索装置１では、同一サンプル位置の量子化係数同士でマッチングを行うことにより特定フレーム画像と略々一致するフレーム画像を検索するため、元のフレーム画像に復号してから検索する場合と比較して処理全体の演算量を大幅に低減することができる。特に、マッチングの際に量子化係数の正負のみを比較し、絶対値を考慮しないため、特定フレームの符号化コードストリームＤ１００と検索対象フレームの符号化コードストリームＤ１０２との圧縮率が異なる場合であっても対応可能である。
【００３１】
（第２の実施の形態）
次に、第２の実施の形態として図４に示す画像検索装置２は、基本構造を図１に示した画像検索装置１と同様とするが、逆量子化部１４，１５を有し、同一サンプル位置の変換係数同士でマッチングを行う点に特徴を有している。したがって、先に図１に示した画像検索装置１と同様の構成については同一符号を付して詳細な説明を省略する。
【００３２】
この画像検索装置２において、逆量子化部１４は、特定フレームの量子化係数Ｄ１０１を逆量子化し、得られた特定フレームの変換係数Ｄ１０６をマッチング部１２に供給する。一方、逆量子化部１５は、検索対象フレームの量子化係数Ｄ１０３を逆量子化し、得られた検索対象フレームの変換係数Ｄ１０７をマッチング部１２に供給する。マッチング部１２は、特定フレームの変換係数Ｄ１０６と検索対象フレームの変換係数Ｄ１０７とのうち、同一サンプル位置の変換係数同士で正負のマッチングを行い、マッチング結果Ｄ１０４を判定部１３に供給する。なお、マッチング手法は、第１の実施の形態と同様である。判定部１３は、マッチング部１２から供給されたマッチング結果Ｄ１０４に基づき、検索対象フレームが特定フレームと略々一致するか否かを判定する。
【００３３】
このように、本実施の形態における画像検索装置２では、同一サンプル位置の変換係数同士でマッチングを行うことにより特定フレーム画像と略々一致するフレーム画像を検索するため、元のフレーム画像に復号してから検索する場合と比較して処理全体の演算量を大幅に低減することができる。特に、マッチングの際に変換係数の正負のみを比較し、絶対値を考慮しないため、特定フレームの符号化コードストリームＤ１００と検索対象フレームの符号化コードストリームＤ１０２との圧縮率が異なる場合であっても適用可能である。
【００３４】
なお、本実施の形態では逆量子化部１４，１５が必要であるため、処理全体の演算量が第１の実施の形態よりも多くなるが、特定フレームの変換係数Ｄ１０６が既に得られていた場合には、本実施の形態が有用である。
【００３５】
（第３の実施の形態）
上述した第１，第２の実施の形態では、判定部１３における判定結果を出力するものとして説明したが、本実施の形態では、特定フレームの画像と、この特定フレームと略々一致すると判定されたフレームの画像とを表示部に表示し、両者を目視により確認可能とする場合について説明する。なお、図５は同一サンプル位置の量子化係数同士でマッチングを行う場合の画像検索装置３の概略構成を示したものであり、図６は同一サンプル位置の変換係数同士でマッチングを行う場合の画像検索装置４の概略構成を示したものである。何れも、先に図１、図４に示した画像検索装置１，２と同様の構成については同一符号を付して詳細な説明を省略する。
【００３６】
先ず、画像検索装置３について説明する。
この画像検索装置３において、エントロピー復号部１０は、特定フレームの符号化コードストリームＤ１００を所定のアルゴリズムに従ってエントロピー復号し、特定フレームの量子化係数Ｄ１０１をマッチング部１２及び逆量子化部１６に供給する。一方、エントロピー復号部１１は、検索対象フレームの符号化コードストリームＤ１０２を所定のアルゴリズムに従ってエントロピー復号し、検索対象フレームの量子化係数Ｄ１０３をマッチング部１２及び逆量子化部１６に供給する。
【００３７】
マッチング部１２は、特定フレームの量子化係数Ｄ１０１と検索対象フレームの量子化係数Ｄ１０３とのうち、同一サンプル位置の量子化係数同士で正負のマッチングを行い、マッチング結果Ｄ１０４を判定部１３に供給する。判定部１３は、マッチング部１２から供給されたマッチング結果Ｄ１０４に基づき、検索対象フレームが特定フレームと略々一致するか否かを判定し、略々一致した場合、すなわち特定フレームの量子化係数Ｄ１０１と検索対象フレームの量子化係数Ｄ１０３との正負が全てのサンプルで一致した場合には、判定結果Ｄ１０５を逆量子化部１６に供給する。
【００３８】
逆量子化部１６は、特定フレームと略々一致するという判定結果Ｄ１０５が判定部１３から供給されると、特定フレームの量子化係数Ｄ１０１と検索対象フレームの量子化係数Ｄ１０３とを逆量子化し、得られた特定フレームの変換係数Ｄ１０６と検索対象フレームの変換係数Ｄ１０７とを逆変換部１７に供給する。逆変換部１７は、特定フレームの変換係数Ｄ１０６と検索対象フレームの変換係数Ｄ１０７とを逆変換し、得られた特定フレームの復号画像Ｄ１０８と検索対象フレームの復号画像Ｄ１０９とをそれぞれ表示部１８，１９に表示させる。
【００３９】
次に、画像検索装置４について説明する。
この画像検索装置４において、逆量子化部１４は、特定フレームの量子化係数Ｄ１０１を逆量子化し、得られた特定フレームの変換係数Ｄ１０６をマッチング部１２及び逆変換部１７に供給する。一方、逆量子化部１５は、検索対象フレームの量子化係数Ｄ１０３を逆量子化し、得られた検索対象フレームの変換係数Ｄ１０７をマッチング部１２及び逆変換部１７に供給する。
【００４０】
マッチング部１２は、特定フレームの変換係数Ｄ１０６と検索対象フレームの変換係数Ｄ１０７とのうち、同一サンプル位置の変換係数同士で正負のマッチングを行い、マッチング結果Ｄ１０４を判定部１３に供給する。判定部１３は、マッチング部１２から供給されたマッチング結果Ｄ１０４に基づき、検索対象フレームが特定フレームと略々一致するか否かを判定し、略々一致した場合、すなわち特定フレームの変換係数Ｄ１０６と検索対象フレームの変換係数Ｄ１０７との正負が全てのサンプルで一致した場合には、判定結果Ｄ１０５を逆変換部１７に供給する。逆変換部１７は、特定フレームの変換係数Ｄ１０６と検索対象フレームの変換係数Ｄ１０７とを逆変換し、得られた特定フレームの復号画像Ｄ１０８と検索対象フレームの復号画像Ｄ１０９とをそれぞれ表示部１８，１９に表示させる。
【００４１】
このように、本実施の形態における画像検索装置３，４では、特定フレーム画像と、この特定フレーム画像と略々一致すると判定されたフレーム画像とをそれぞれ表示部１８，１９に表示するため、一致しているか否かを実際に目視により確認することができる。
【００４２】
なお、以上の説明では、全てのサンプルのマッチングが終了した時点でカウント値が０である場合にのみ、略々一致すると判定されたフレーム画像を表示部１７に表示するものとしたが、カウント値が０であるフレームがなかった場合には、カウント値が最小のフレームを表示部１７に表示するようにしても構わない。
【００４３】
（第４の実施の形態）
上述した第１，第２の実施の形態では、特定フレームの符号化コードストリームＤ１００が既知であるものとして説明したが、本実施の形態では、特定フレームが原画でしか存在しない場合について説明する。
【００４４】
図７は、第１の実施の形態と同様に同一サンプル位置の量子化係数同士でマッチングを行う場合の画像検索装置５の概略構成を示したものである。この画像検索装置５において、変換部２０は、特定フレームの画像Ｄ１１０を所定のアルゴリズムに従って変換し、得られた変換係数Ｄ１１１を量子化部２１に供給する。量子化部２１は、特定フレームの変換係数Ｄ１１１を量子化し、得られた量子化係数Ｄ１１２をマッチング部１２に供給する。以降の処理は第１の実施の形態と同様であるため、説明を省略する。
【００４５】
一方、図８は、第２の実施の形態と同様に同一サンプル位置の変換係数同士でマッチングを行う場合の画像検索装置６の概略構成を示したものである。この画像検索装置６において、変換部２０は、特定フレーム画像Ｄ１１０を所定のアルゴリズムに従って変換し、得られた変換係数Ｄ１１１をマッチング部１２に供給する。以降の処理は第２の実施の形態と同様であるため、説明を省略する。
【００４６】
このように、本実施の形態における画像検索装置５，６によれば、特定フレームが原画でしか存在しない場合であっても、少ない演算量で特定フレーム画像と略々一致するフレーム画像を検索することができる。
【００４７】
（第５の実施の形態）
ところで、上述した第１乃至第４の実施の形態では、エントロピー復号部１０，１１、逆量子化部１４〜１６、逆変換部１７、変換部２０、量子化部２１の具体的なアルゴリズムについては言及しなかった。本実施の形態では、具体的に画像圧縮方式としてＪＰＥＧを用いる場合について説明する。ＪＰＥＧは、現在デジタルカメラやカムコーダの静止画圧縮に最も普及している画像圧縮方式である。
【００４８】
参考のため、ＪＰＥＧ方式に従って入力画像信号を符号化復号する画像符号化復号装置の概略構成を図９に示す。図９に示すように、画像符号化復号装置３０は、ＤＣＴ（Discrete Cosine Transform）部３１と、量子化部３２と、エントロピー符号化部３３と、エントロピー復号部３４と、逆量子化部３５と、逆ＤＣＴ部３６とから構成されている。
【００４９】
この画像符号化復号装置３０において、ＤＣＴ部３１は、入力画像信号Ｄ２００に対してＤＣＴ変換（離散コサイン変換）を施し、ＤＣＴ係数Ｄ２０１を生成する。量子化部３２は、マトリクス状の量子化テーブルを用いてＤＣＴ係数Ｄ２０１を量子化し、量子化係数Ｄ２０２を生成する。この量子化（及び後述する逆量子化）の様子を図１０に示す。ＪＰＥＧでは縦８画素、横８画素の８×８の単位でＤＣＴ変換を行うため、図１０のように８×８のＤＣＴ係数（Ａ）が求まる。その後、このＤＣＴ係数を図示しないＲＯＭ（Read Only Memory）等に記憶・保持されている量子化テーブル（Ｂ）で除算することで、量子化係数（Ｃ＝Ａ／Ｂ）が算出される。エントロピー符号化部３３は、量子化係数Ｄ２０２を符号化して符号化コードストリームＤ２０３を生成し、この符号化コードストリームＤ２０３を通信路・記録媒体に対して送出する。ここで、エントロピー符号化部３３では、可変長テーブルを参照して、出現した量子化係数のランとレベルに相当するコードを求める可変長符号化を行う。可変長テーブルは予め決められたものをメモリに記憶していることが一般的である。
【００５０】
エントロピー復号部３４は、通信路・記録媒体から送出された符号化コードストリームＤ２０３を復号して量子化係数Ｄ２０４を生成する。ここで、エントロピー復号部３４では、エントロピー符号化部３３の逆操作である可変長復号を行う。すなわち、可変長テーブルを参照して、出現コードに対応したランとレベルを求めて量子化係数Ｄ２０４を生成する。逆量子化部３５は、上述した量子化テーブルを用いて量子化係数Ｄ２０４を逆量子化し、変換係数Ｄ２０５を生成する。この逆量子化の様子を図１０に示す。図１０のように、量子化係数（Ｃ）と量子化テーブル（Ｂ）の各係数同士を乗算することで、逆量子化係数（Ｄ＝Ｃ×Ｂ）が算出される。逆ＤＣＴ部３６は、変換係数Ｄ２０５に対して逆ＤＣＴ変換を施し、復号画像信号Ｄ２０６を出力する。
【００５１】
画像圧縮方式としてＪＰＥＧを用いる場合、上述したエントロピー復号部１０，１１は、可変長テーブルを参照して出現コードに対応したランとレベルを求めるエントロピー復号部３４に相当する。また、逆量子化部１４〜１６及び量子化部２１は、それぞれ量子化テーブルを用いる逆量子化部３５、量子化部３２に相当する。また、逆変換部１７及び変換部２０は、それぞれ逆ＤＣＴ変換、ＤＣＴ変換を行う逆ＤＣＴ部３６、ＤＣＴ部３１に相当する。したがって、上述したマッチング部１２においては、同一サンプル位置の量子化係数同士、又はＤＣＴ係数同士でマッチングを行うことになる。
【００５２】
（第６の実施の形態）
上述した第５の実施の形態では、画像圧縮方式としてＪＰＥＧを用いる場合について説明したが、本実施の形態では、画像圧縮方式としてＪＰＥＧ２０００を用いる場合について説明する。ＪＰＥＧ２０００は、ＩＳＯ／ＩＥＣ／ＪＴＣ１の国際委員会で規格化された国際標準の静止画・動画圧縮方式であり、今後ＪＰＥＧに代わって益々普及が期待されている。
【００５３】
参考のため、ＪＰＥＧ２０００方式に従って入力画像信号を符号化復号する画像符号化復号装置の概略構成を図１１に示す。図１１に示すように、画像符号化復号装置４０は、ＤＷＴ（Discrete Wavelet Transform）部４１と、スカラ量子化部４２と、ＥＢＣＯＴ（Embedded Block-based Coding with Optimized Truncation）符号化部４３と、ＥＢＣＯＴ復号部４４と、スカラ逆量子化部４５と、逆ＤＷＴ部４６とから構成されている。
【００５４】
この画像符号化復号装置４０において、ＤＷＴ部４１は、入力画像信号Ｄ３００に対してＤＷＴ変換（離散ウェーブレット変換）を施し、ＤＷＴ係数Ｄ３０１を生成する。ここで、ＤＷＴ変換は、低域フィルタと高域フィルタとから構成されるフィルタバンクによって表現され、２次元信号を持つ画像をＤＷＴ変換すると、図１２に示すように、ＤＷＴ変換の分割段数に応じて帯域分割されたサブバンドが増えていく。図１２は、３回分割した例であり、ＬＬ−３（最低域成分）からＨＨ−１（最高域成分）まで合計１０個のサブバンドが形成されている。また、図１３（Ａ）はテスト画像を１回だけＤＷＴ変換した場合のサブバンドの様子を示したものであり、図１３（Ｂ）は、テスト画像を３回だけＤＷＴ変換した場合のサブバンドの様子を示したものである。
【００５５】
図１１に戻って、スカラ量子化部４２は、ＪＰＥＧ２０００で規定されているスカラ量子化という手法に従ってサブバンド毎のＤＷＴ係数Ｄ３０１を量子化し、サブバンド毎の量子化係数Ｄ３０２を生成する。ＥＢＣＯＴ符号化部４３は、ＪＰＥＧ２０００で規格化されているエントロピー符号化であるＥＢＣＯＴの手法に従って量子化係数Ｄ３０２を符号化して符号化コードストリームＤ３０３を生成し、この符号化コードストリームＤ３０３を通信路・記録媒体に対して送出する。より詳細には、ＥＢＣＯＴ符号化部４３は、図１４に示すようにサブバンドを所定サイズのコードブロックに分割する。コードブロックのサイズとしては３２×３２、又は６４×６４がよく用いられる。そして、コードブロック毎の量子化係数Ｄ３０２を２値（０又は１）の係数ビットの集合であるビットプレーンに展開し、ビットプレーン単位に係数ビットを符号化する。
【００５６】
ＥＢＣＯＴ復号部４４は、通信路・記録媒体から送出された符号化コードストリームＤ３０３をＪＰＥＧ２０００で規格化された手法に従って復号して量子化係数Ｄ３０４を生成する。スカラ逆量子化部４５は、量子化係数Ｄ３０４を逆量子化してＤＷＴ係数Ｄ３０５を生成し、逆ＤＷＴ部４６は、ＤＷＴ係数Ｄ３０５に対して逆ＤＷＴ変換を施し、復号画像信号Ｄ３０６を出力する。
【００５７】
画像圧縮方式としてＪＰＥＧ２０００を用いる場合、上述したエントロピー復号部１０，１１は、ＥＢＣＯＴ復号部４４に相当する。また、逆量子化部１４〜１６及び量子化部２１は、それぞれスカラ逆量子化部４５、スカラ量子化部４２に相当する。また、逆変換部１７及び変換部２０は、それぞれ逆ＤＷＴ変換、ＤＷＴ変換を行う逆ＤＷＴ部４６、ＤＷＴ部４１に相当する。したがって、上述したマッチング部１２においては、同一サンプル位置の量子化係数同士、又はＤＷＴ係数同士でマッチングを行うことになる。
【００５８】
（第７の実施の形態）
第６の実施の形態で説明したように、ＪＰＥＧ２０００ではＤＷＴ変換を用いて入力画像信号をサブバンドに帯域分割するため、各サブバンドには画像の特徴が反映されていることになる。例えば、最低域は画像のエネルギが最も集中している。したがって、量子化係数同士又はＤＷＴ係数同士のマッチングを、帯域分割されたサブバンド毎に行うことが効果的である。ＨＬ−１サブバンドの中の係数同士のマッチングを行っている例を図１５に示す。図１５において、ａ，ｄは絶対値が異なるものの正負は一致しており、ｂ，ｃは係数の何れか一方が０になっている。
【００５９】
ここで、低域のサブバンドの方が画像の類似度が現れやすいため、異なるフレーム画像の場合には正負の違いが低域のサブバンドに現れやすく、また、高域のサブバンドでは低域のサブバンドよりも遥かに多くの０係数が出現しているため、正負の判定ができない場合が多い。そこで、最低域のサブバンドから最高域のサブバンドという順序で、量子化係数同士又はＤＷＴ係数同士のマッチングを行うことが好ましい。例えば、ＤＷＴ変換を３回行っている場合には、図１６に示すように、最低域であるＬＬ−３のサブバンドから始め、ＬＬ−３、ＨＬ−３、ＬＨ−３、ＨＨ−３、ＨＬ−２、ＬＨ−２、ＨＨ−２、ＨＬ−１、ＬＨ−１、ＨＨ−１の順番にマッチングを行うことが好ましい。
【００６０】
なお、原画像が全て正の値を持っていた場合には、ＤＷＴ係数及び量子化係数の最低域成分は必ず全てが正になるため、この場合には、最低域成分のマッチングを除外して、次のサブバンドの係数同士のマッチングから開始すればよい。
【００６１】
サブバンド毎に量子化係数同士のマッチングを行う場合の画像検索装置の処理手順を図１７のフローチャートに示す。先ずステップＳ１１において、特定フレームの符号化コードストリーム及び検索対象フレームの符号化コードストリームをエントロピー復号し、特定フレームの量子化係数と検索対象フレームの量子化係数とを生成する。
【００６２】
次にステップＳ１２において、特定フレームの量子化係数と検索対象フレームの量子化係数とのうち、同一サンプル位置の量子化係数同士で正負のマッチングを行い、正負が一致しているか否かを判別する。正負が一致している場合にはステップＳ１４に進み、正負が一致していない場合には、ステップＳ１３でカウンタのカウント値を１増やした後、ステップＳ１４に進む。ステップＳ１４では、同一のサブバンド内の全てのサンプルについてマッチングが終了したか否かを判別する。終了していない場合にはステップＳ１５で次のサンプルに移った後、ステップＳ１２に戻り、終了している場合にはステップＳ１６に進む。
【００６３】
続いてステップＳ１６において、次のサブバンドがあるか否かを判別し、次のサブバンドがある場合には、ステップＳ１７で次のサブバンドに移った後、ステップＳ１２に戻る。一方、次のサブバンドがない場合にはステップＳ１８に進む。
【００６４】
ステップＳ１８では、カウント値が０であるか否かを判別する。カウント値が０でない場合には検索対象フレームが特定フレームと一致しないものと判定し、ステップＳ１９において次の検索対象フレームの符号化コードストリームを入力し、ステップＳ２０においてカウント値を０にリセットした後、ステップＳ１１から同様の処理を行う。一方、カウント値が０である場合には全てのサンプルで正負が一致しているため、ステップＳ２１において検索対象フレームが特定フレームと略々一致するものと判定し、終了する。
【００６５】
なお、図１７のフローチャートでは、全てのサンプルについてマッチングを行うものとしたが、処理時間の削減のため、カウント値が所定の閾値よりも大きくなった時点で一致しないと判定し、次の検索対象フレームに移るようにしても構わない。特に、全てのサンプルのマッチングが終了した時点でカウント値が０であった場合にのみ、検索対象フレームが特定フレームと略々一致すると判定する場合には、カウント値が１になった時点で次の検索対象フレームに移ることで、処理時間を削減することができる。
【００６６】
カウント値が１になった時点、すなわち正負が一致しない量子化係数が１つでも出現した時点で次の検索対象フレームに移る場合の画像検索装置の処理手順を図１８のフローチャートに示す。先ずステップＳ３１において、特定フレームの符号化コードストリーム及び検索対象フレームの符号化コードストリームをエントロピー復号し、特定フレームの量子化係数と検索対象フレームの量子化係数とを生成する。
【００６７】
次にステップＳ３２において、特定フレームの量子化係数と検索対象フレームの量子化係数とのうち、同一サンプル位置の量子化係数同士で正負のマッチングを行い、正負が一致しているか否かを判別する。正負が一致している場合にはステップＳ３４に進み、正負が一致していない場合には検索対象フレームが特定フレームと一致しないものと判定し、ステップＳ３３において次の検索対象フレームの符号化コードストリームを入力して、ステップＳ３１から同様の処理を行う。
【００６８】
続いてステップＳ３４において、同一のコードブロック内の全てのサンプルについてマッチングが終了したか否かを判別する。終了していない場合にはステップＳ３５で次のサンプルに移った後、ステップＳ３２に戻り、終了している場合にはステップＳ３６に進む。ステップＳ３６では、次のコードブロックがあるか否かを判別し、次のコードブロックがある場合には、ステップＳ３７で次のコードブロックに移った後、ステップＳ３２に戻る。一方、次のコードブロックがない場合には全てのサンプルで正負が一致しているため、ステップＳ３８において検索対象フレームが特定フレームと略々一致するものと判定し、終了する。
【００６９】
また、上述の説明では、全てのサンプルのマッチングが終了した時点でカウント値が０であった場合にのみ、検索対象フレームが特定フレームと略々一致するものと判定したが、全てのサンプルのマッチングが終了した時点でカウント値が所定の閾値以下であった場合に、検索対象フレームが特定フレームと略々一致するものと判定しても構わない。この場合、複数の候補フレームが出現する可能性があるが、検出漏れを防止することができる。
【００７０】
ところで、以上の説明は、正負が一致しない係数が出現しない限り、全てのサンプルについてマッチングを行うことを前提としていたが、処理時間の削減のため、所定のコードブロックまで、或いは所定のサブバンドまででマッチングを打ち切るようにしても構わない。
【００７１】
所定のコードブロックまでで量子化係数同士のマッチングを打ち切り、且つ、正負が一致しない量子化係数が１つでも出現した時点で次の検索対象フレームに移る場合の画像検索装置の処理手順を図１９のフローチャートに示す。先ずステップＳ４１において、特定フレームの符号化コードストリーム及び検索対象フレームの符号化コードストリームをエントロピー復号し、特定フレームの量子化係数と検索対象フレームの量子化係数とを生成する。
【００７２】
次にステップＳ４２において、特定フレームの量子化係数と検索対象フレームの量子化係数とのうち、同一サンプル位置の量子化係数同士で正負のマッチングを行い、正負が一致しているか否かを判別する。正負が一致している場合にはステップＳ４４に進み、正負が一致していない場合には検索対象フレームが特定フレームと一致しないものと判定し、ステップＳ４３において次の検索対象フレームの符号化コードストリームを入力して、ステップＳ４１から同様の処理を行う。
【００７３】
続いてステップＳ４４において、同一のコードブロック内の全てのサンプルについてマッチングが終了したか否かを判別する。終了していない場合にはステップＳ４５で次のサンプルに移った後、ステップＳ４２に戻り、終了している場合にはステップＳ４６に進む。ステップＳ４６では、所定のコードブロックに達したか否かを判別し、達していない場合には、ステップＳ４７で次のコードブロックに移った後、ステップＳ４２に戻る。一方、所定のコードブロックに達している場合には全てのサンプルで正負が一致しているため、ステップＳ４８において検索対象フレームが特定フレームと略々一致するものと判定し、終了する。
【００７４】
ここで、実際にＪＰＥＧ２０００方式で圧縮符号化された符号化コードストリームに対して、不一致が発見された最初のコードブロックを検証した結果を図２０に示す。図２０に示すように、全３００フレーム中、１個目のコードブロックで正負の不一致が発見されたものが２９２フレーム、４個目のコードブロックが３フレーム、９個目のコードブロックが５フレームという結果になっており、殆どのフレーム（９７．３％）において１個目のコードブロックで不一致が発見されている。したがって、このケースでは９個目のコードブロックでマッチングを打ち切っても結果的には問題なかったことになる。但し、種々の画像に対応させるためにはある程度の余裕を持たせる必要があるため、例えば全コードブロック数の１０％に相当する個数番目（今回のケースでは、１６８個×１０％≒１７個）までを、予めマッチングを行う対象コードブロックとすることが有効である。
【００７５】
（第８の実施の形態）
上述した第７の実施の形態では、全てのコードブロックに対してエントロピー復号を行った後、コードブロック内の量子化係数同士でマッチングを行うものとして説明した。しかしながら、上述したように、殆どのフレームにおいては最初のコードブロックで不一致が発見されており、途中のコードブロックまでしかマッチングを行わなくても問題ないことが多い。したがって、本実施の形態では、コードブロック毎のエントロピー復号とマッチングとを並行して進めることにより、処理全体の演算量を低減する。
【００７６】
コードブロック毎のエントロピー復号とマッチングとを並行して進め、且つ、正負が一致しない量子化係数が１つでも出現した時点で次の検索対象フレームに移る場合の画像検索装置の処理手順を図２１のフローチャートに示す。先ずステップＳ５１において、特定フレームの符号化コードストリーム及び検索対象フレームの符号化コードストリームのうち、１コードブロック分をエントロピー復号し、特定フレームのコードブロック毎の量子化係数と検索対象フレームのコードブロック毎の量子化係数とを生成する。
【００７７】
次にステップＳ５２において、特定フレームのコードブロック毎の量子化係数と検索対象フレームのコードブロック毎の量子化係数とのうち、同一サンプル位置の量子化係数同士で正負のマッチングを行い、正負が一致しているか否かを判別する。正負が一致している場合にはステップＳ５４に進み、正負が一致していない場合には検索対象フレームが特定フレームと一致しないものと判定し、ステップＳ５３において次の検索対象フレームの符号化コードストリームを入力して、ステップＳ５１から同様の処理を行う。
【００７８】
続いてステップＳ５４において、同一のコードブロック内の全てのサンプルについてマッチングが終了したか否かを判別する。終了していない場合にはステップＳ５５で次のサンプルに移った後、ステップＳ５２に戻り、終了している場合にはステップＳ５６に進む。ステップＳ５６では、次のコードブロックがあるか否かを判別し、次のコードブロックがある場合には、ステップＳ５７で次のコードブロックに移った後、ステップＳ５１に戻る。一方、次のコードブロックがない場合には全てのサンプルで正負が一致しているため、ステップＳ５８において検索対象フレームが特定フレームと略々一致するものと判定し、終了する。
【００７９】
また、本実施の形態においても、第７の実施の形態と同様に、所定のコードブロックまでで係数同士のマッチングを打ち切るようにしても構わない。
【００８０】
所定のコードブロックまでで量子化係数同士のマッチングを打ち切り、且つ、正負が一致しない量子化係数が１つでも出現した時点で次の検索対象フレームに移る場合の画像検索装置の処理手順を図２２のフローチャートに示す。先ずステップＳ６１において、特定フレームの符号化コードストリーム及び検索対象フレームの符号化コードストリームのうち、１コードブロック分をエントロピー復号し、特定フレームのコードブロック毎の量子化係数と検索対象フレームのコードブロック毎の量子化係数とを生成する。
【００８１】
次にステップＳ６２において、特定フレームのコードブロック毎の量子化係数と検索対象フレームのコードブロック毎の量子化係数とのうち、同一サンプル位置の量子化係数同士で正負のマッチングを行い、正負が一致しているか否かを判別する。正負が一致している場合にはステップＳ６４に進み、正負が一致していない場合には検索対象フレームが特定フレームと一致しないものと判定し、ステップＳ６３において次の検索対象フレームの符号化コードストリームを入力して、ステップＳ６１から同様の処理を行う。
【００８２】
続いてステップＳ６４において、同一のコードブロック内の全てのサンプルについてマッチングが終了したか否かを判別する。終了していない場合にはステップＳ６５で次のサンプルに移った後、ステップＳ６２に戻り、終了している場合にはステップＳ６６に進む。ステップＳ６６では、所定のコードブロックに達したか否かを判別し、達していない場合には、ステップＳ６７で次のコードブロックに移った後、ステップＳ６１に戻る。一方、所定のコードブロックに達している場合には全てのサンプルで正負が一致しているため、ステップＳ６８において検索対象フレームが特定フレームと略々一致するものと判定し、終了する。
【００８３】
（第９の実施の形態）
ところで、上述した第１乃至第８の実施の形態では、特定フレームの符号化コードストリームや検索対象となる符号化コードストリームを生成する側の構成については言及しなかった。本実施の形態では、特定フレームの符号化コードストリームや検索対象となる符号化コードストリームを生成する側の構成を含めて説明する。
【００８４】
先ず、第９の実施の形態における画像検索装置の概略構成を図２３に示す。図２３に示すように、第９の実施の形態における画像検索装置５０は、撮像部５１と、Ａ／Ｄ変換部５２と、符号化部５３，５４と、メモリ５５と、マッチング／判定部５６と、復号部５７，５８と、表示部５９とから構成されている。
【００８５】
この画像検索装置５０において、撮像部５１は、例えばＣＣＤ（Charge Coupled Device）カメラであり、ある被写体を撮像した画像信号Ｄ４００をＡ／Ｄ（Analogue/Digital）変換部５２に供給し、Ａ／Ｄ変換部５２は、この画像信号Ｄ４００をＡ／Ｄ変換し、画像データＤ４０２を符号化部５３に供給する。そして、符号化部５３は、この画像データＤ４０２を所定のアルゴリズムに従って圧縮符号化し、符号化コードストリームＤ４０４を生成する。なお、この符号化コードストリームＤ４０４が上述した特定フレームの符号化コードストリームとなる。符号化部５３は、この符号化コードストリームＤ４０４と共に、圧縮符号化の途中で生成された量子化係数Ｄ４０５をメモリ５５に記録する。
【００８６】
同様に、撮像部５１は、ある被写体を撮像した動画像信号Ｄ４０１をＡ／Ｄ変換部５２に供給し、Ａ／Ｄ変換部５２は、この画像信号Ｄ４０１をＡ／Ｄ変換し、画像データＤ４０３を符号化部５３に供給する。そして、符号化部５３は、この画像データＤ４０３を所定のアルゴリズムに従って圧縮符号化し、符号化コードストリームＤ４０６を生成する。なお、この符号化コードストリームＤ４０６が上述した検索対象の符号化コードストリームとなる。符号化部５３は、この符号化コードストリームＤ４０６と共に、圧縮符号化の途中で生成された量子化係数Ｄ４０７をメモリ５５に記録する。
【００８７】
マッチング／判定部５６は、上述したマッチング部１２及び判定部１３と同様のものであり、検索対象となる符号化コードストリームＤ４０６の中から特定フレームと略々一致するフレームを検索する。特定フレームと略々一致するフレームが存在した場合、マッチング／判定部５６は、判定結果Ｄ４０８を復号部５８に供給し、復号部５８は、この判定結果Ｄ４０８に応じて特定フレームと略々一致するフレームを復号し、復号画像Ｄ４１０を表示部５９に供給して表示させる。また、復号部５７は、特定フレームの符号化コードストリームを復号し、復号画像Ｄ４０９を表示部５９に供給して表示させる。
【００８８】
このように、本実施の形態における画像検索装置５０では、特定フレームの符号化コードストリームＤ４０４及び検索対象となる符号化コードストリームＤ４０６と共に、圧縮符号化の途中で生成された量子化係数Ｄ４０５，Ｄ４０７をメモリ５５に記録するため、例えば第１の実施の形態のように、符号化コードストリームＤ４０４，Ｄ４０６をエントロピー復号することなく、量子化係数同士でマッチングを行うことができる。
【００８９】
なお、上述の説明では、特定フレームと略々一致するフレームを復号した復号画像Ｄ４１０を表示部５９に表示させるものとしたが、これに限定されるものではなく、特定フレームと略々一致するフレームを再生開始フレームとし、この再生開始フレーム以降のフレームを復号して表示部５９に表示させるようにしても構わない。また、特定フレームと略々一致するフレームを再生終了フレームとし、この再生終了フレームまでのフレームを復号して表示部５９に表示させるようにしても構わない。
【００９０】
また、上述の説明では、圧縮符号化の途中で生成された量子化係数Ｄ４０５，Ｄ４０７をメモリ５５に記録し、マッチングに用いるものとしたが、これに限定されるものではなく、変換係数をメモリ５５に記録し、マッチングに用いるようにしても構わない。
【００９１】
（第１０の実施の形態）
上述した第９の実施の形態では、特定フレームの画像と検索対象の動画像との双方が圧縮符号化されていない場合、すなわち特定フレームの符号化コードストリーム及び量子化係数と検索対象の符号化コードストリーム及び量子化係数との双方が存在しない場合について説明したが、本実施の形態では、特定フレームの符号化コードストリーム及び量子化係数と検索対象の符号化コードストリーム及び量子化係数とのうち、少なくとも一方が既に存在する場合について説明する。
【００９２】
図２４は特定フレームの符号化コードストリーム及び量子化係数が既に存在する場合の画像検索装置６０の概略構成を示したものである。この画像検索装置６０において、メモリ５５には記録媒体や外部サーバなどから特定フレームの符号化コードストリームＤ４０４及び量子化係数Ｄ４０５がコピー又はダウンロードされる。また、符号化部５３は、検索対象の画像データＤ４０３を所定のアルゴリズムに従って圧縮符号化し、得られた符号化コードストリームＤ４０６と、圧縮符号化の途中で生成された量子化係数Ｄ４０７とをメモリ５５に記録する。以降の処理は上述した画像検索装置５０と同様であるため、説明を省略する。
【００９３】
一方、図２５は特定フレームの符号化コードストリーム及び量子化係数と検索対象の符号化コードストリーム及び量子化係数との双方が既に存在する場合の画像検索装置７０の概略構成を示したものである。この画像検索装置７０において、メモリ５５には記録媒体や外部サーバなどから特定フレームの符号化コードストリームＤ４０４及び量子化係数Ｄ４０５と検索対象の符号化コードストリームＤ４０６及び量子化係数Ｄ４０７とがコピー又はダウンロードされる。以降の処理は上述した画像検索装置５０と同様であるため、説明を省略する。
【００９４】
このように、本実施の形態における画像検索装置６０，７０では、特定フレームの符号化コードストリーム及び量子化係数と検索対象の符号化コードストリーム及び量子化係数とのうち、少なくとも一方が既に存在するため、それをコピー又はダウンロードしてメモリ５５に記録することで、容易にマッチングに用いることができる。
【００９５】
（第１１の実施の形態）
ここで、第９，第１０の実施の形態で説明したように、メモリ５５には、特定フレームの符号化コードストリーム及び量子化係数と検索対象の符号化コードストリーム及び量子化係数とが記録されている。本実施の形態では、このようにメモリ５５に記録された検索対象の符号化コードストリームを他の記録媒体に記録する際に特定フレームの量子化係数と検索対象の量子化係数とを利用する場合について説明する。
【００９６】
図２６に示す画像検索装置８０は、特定フレームが１枚の場合の例を示したものである。この画像検索装置８０において、マッチング／判定部５６は、特定フレームの量子化係数Ｄ４０５と検索対象の量子化係数Ｄ４０７とを比較し、検索対象となる符号化コードストリームＤ４０６の中から特定フレームと略々一致するフレームを検索する。特定フレームと略々一致するフレームが存在した場合、マッチング／判定部５６は、判定結果Ｄ４０８を記録制御部８１に供給し、記録制御部８１は、この判定結果Ｄ４０８に応じて、検索対象の符号化コードストリームＤ４０６を記録媒体８２に記録する際の記録制御を行う。具体的には、符号化コードストリームＤ４０６を記録媒体８２に記録する際に、特定フレームと略々一致するフレームを再生開始フレームとしてマーキングし、又は特定フレームと略々一致するフレームを再生開始フレームとしてこの再生開始フレーム以降のフレームを記録媒体８２に記録する。なお、特定フレームの符号化コードストリームを記録媒体８２に別途記録するようにしても構わない。
【００９７】
一方、図２７に示す画像検索装置９０は、特定フレームが２枚の場合の例を示したものである。この画像検索装置９０において、マッチング／判定部５６は、第１の特定フレームの量子化係数Ｄ４１１と検索対象の量子化係数Ｄ４０７とを比較し、検索対象となる符号化コードストリームＤ４０６の中から第１の特定フレームと略々一致するフレームを検索する。同様に、マッチング／判定部５６は、第２の特定フレームの量子化係数Ｄ４１２と検索対象の量子化係数Ｄ４０７とを比較し、検索対象となる符号化コードストリームＤ４０６の中から第２の特定フレームと略々一致するフレームを検索する。第１，第２の特定フレームと略々一致するフレームが存在した場合、マッチング／判定部５６は、判定結果Ｄ４０８を記録制御部８１に供給し、記録制御部８１は、この判定結果Ｄ４０８に応じて、検索対象の符号化コードストリームＤ４０６を記録媒体８２に記録する際の記録制御を行う。具体的には、符号化コードストリームＤ４０６を記録媒体８２に記録する際に、第１，第２の特定フレームと略々一致するフレームをそれぞれ再生開始フレーム（ＩＮ点）、再生終了フレーム（ＯＵＴ点）としてマーキングし、又は第１，第２の特定フレームと略々一致するフレームをそれぞれ再生開始フレーム、再生終了フレームとしてこの再生開始フレームから再生終了フレームまでのフレームを記録媒体８２に記録する。なお、第１，第２の特定フレームの符号化コードストリームを記録媒体８２に別途記録するようにしても構わない。また、符号化コードストリームＤ４０６を記録媒体８２に記録し、第１，第２の特定フレームと略々一致するフレームをそれぞれ再生開始フレーム、再生終了フレームとしてマーキングするのみでもよい。
【００９８】
さらに、特定フレームをｎ枚とした場合、第１，第ｎの特定フレームと略々一致するフレームをそれぞれ再生開始フレーム（ＩＮ点）、再生終了フレーム（ＯＵＴ点）としてマーキングし、第２，・・・，第ｎ−１の特定フレームと略々一致するフレームをそれぞれ再生途中開始点（例えば、シーンチェンジ点、チャプタ点）としてマーキングしてもよい。
【００９９】
以上、本発明を実施するための最良の形態について説明したが、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【０１００】
例えば、上述した実施の形態では、静止画像を検索クエリとして説明したが、動画像を検索クエリとしても構わない。この場合、例えば、検索クエリである動画像を構成する複数フレームの一部を静止画像の検索クエリとして選択して上述と同様の画像検索を行い、一致するフレームが所定枚数（閾値）以上であれば、同一の動画像として検出することができる。
【０１０１】
また、上述した実施の形態における一連の処理は、ソフトウェアにより実行することもできる。この場合、そのソフトウェアを構成するプログラムをコンピュータの専用ハードウェア、例えばＲＯＭやハードディスクに予め組み込むようにしてもよく、また、各種プログラムをインストールすることで各種機能を実行することが可能な汎用のパーソナルコンピュータなどに対して、ネットワークやプログラム記録媒体を介してインストールするようにしてもよい。
【０１０２】
このプログラム記録媒体及び上述した記録媒体としては、例えば磁気ディスク（フレキシブルディスクを含む）、光ディスク（ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）及びＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク（ＭＤ（Mini-Disk）（商標）を含む）、或いは半導体メモリなどのパッケージメディアが利用可能である。
【図面の簡単な説明】
【０１０３】
【図１】第１の実施の形態における画像検索装置の概略構成を示す図である。
【図２】マッチング部におけるマッチングの一例を示す図である。
【図３】同画像検索装置の処理手順を示すフローチャートである。
【図４】第２の実施の形態における画像検索装置の概略構成を示す図である。
【図５】第３の実施の形態において、量子化係数同士のマッチングを行う場合の画像検索装置の概略構成を示す図である。
【図６】第３の実施の形態において、変換係数同士のマッチングを行う場合の画像検索装置の概略構成を示す図である。
【図７】第４の実施の形態において、特定フレームが原画でしか存在せず、且つ、量子化係数同士のマッチングを行う場合の画像検索装置の概略構成を示す図である。
【図８】第４の実施の形態において、特定フレームが原画でしか存在せず、且つ、変換係数同士のマッチングを行う場合の画像検索装置の概略構成を示す図である。
【図９】第５の実施の形態の説明に供する、ＪＰＥＧ方式を用いる画像符号化復号装置の概略構成を示す図である。
【図１０】ＪＰＥＧ方式における量子化、逆量子化を説明する図である。
【図１１】第６の実施の形態の説明に供する、ＪＰＥＧ２０００方式を用いる画像符号化復号装置の概略構成を示す図である。
【図１２】３回ウェーブレット変換した場合のサブバンドを説明する図である。
【図１３】テスト画像をウェーブレット変換した場合のサブバンドを説明する図である。
【図１４】ＪＰＥＧ２０００方式におけるサブバンド、コードブロック及びビットプレーンの関係を示す図である。
【図１５】第７の実施の形態において、ＨＬ−１サブバンドの中の係数同士のマッチングを行っている例を示す図である。
【図１６】サブバンド毎に係数同士のマッチングを行う場合におけるサブバンドの選択順序を示す図である。
【図１７】サブバンド毎に量子化係数同士のマッチングを行う場合の画像検索装置の処理手順を示すフローチャートである。
【図１８】正負が一致しない量子化係数が１つでも出現した時点で次の検索対象フレームに移る場合の画像検索装置の処理手順を示すフローチャートである。
【図１９】所定のコードブロックまでで量子化係数同士のマッチングを打ち切り、且つ、正負が一致しない量子化係数が１つでも出現した時点で次の検索対象フレームに移る場合の画像検索装置の処理手順を示すフローチャートである。
【図２０】実際にＪＰＥＧ２０００方式で圧縮符号化された符号化コードストリームに対して、不一致が発見された最初のコードブロックを検証した結果を示す図である。
【図２１】第８の実施の形態において、コードブロック毎のエントロピー復号とマッチングとを並行して進め、且つ、正負が一致しない量子化係数が１つでも出現した時点で次の検索対象フレームに移る場合の画像検索装置の処理手順を示すフローチャートである。
【図２２】第８の実施の形態において、所定のコードブロックまでで量子化係数同士のマッチングを打ち切り、且つ、正負が一致しない量子化係数が１つでも出現した時点で次の検索対象フレームに移る場合の画像検索装置の処理手順を示すフローチャートである。
【図２３】第９の実施の形態における画像検索装置の概略構成を示す図である。
【図２４】第１０の実施の形態において、特定フレームの符号化コードストリーム及び量子化係数が既に存在する場合の画像検索装置の概略構成を示す図である。
【図２５】第１０の実施の形態において、特定フレームの符号化コードストリーム及び量子化係数と検索対象の符号化コードストリーム及び量子化係数との双方が既に存在する場合の画像検索装置の概略構成を示す図である。
【図２６】第１１の実施の形態において、特定フレームが１枚の場合の画像検索装置の概略構成を示す図である。
【図２７】第１１の実施の形態において、特定フレームが２枚の場合の画像検索装置の概略構成を示す図である。
【符号の説明】
【０１０４】
１〜６  画像検索装置、１０，１１  エントロピー復号部、１２  マッチング部、１３  判定部、１４〜１６  逆量子化部、１７  逆変換部、１８，１９  表示部、２０  変換部、２１  量子化部、５０，６０，７０，８０，９０  画像検索装置
【図１】
2006202145.tif 000003
【図２】
2006202145.tif 000004
【図３】
2006202145.tif 000005
【図４】
2006202145.tif 000006
【図５】
2006202145.tif 000007
【図６】
2006202145.tif 000008
【図７】
2006202145.tif 000009
【図８】
2006202145.tif 000010
【図９】
2006202145.tif 000011
【図１０】
2006202145.tif 000012
【図１１】
2006202145.tif 000013
【図１２】
2006202145.tif 000014
【図１３】
2006202145.tif 000015
【図１４】
2006202145.tif 000016
【図１５】
2006202145.tif 000017
【図１６】
2006202145.tif 000018
【図１７】
2006202145.tif 000019
【図１８】
2006202145.tif 000020
【図１９】
2006202145.tif 000021
【図２０】
2006202145.tif 000022
【図２１】
2006202145.tif 000023
【図２２】
2006202145.tif 000024
【図２３】
2006202145.tif 000025
【図２４】
2006202145.tif 000026
【図２５】
2006202145.tif 000027
【図２６】
2006202145.tif 000028
【図２７】
2006202145.tif 000029