(57)【要約】【課題】動画像からオブジェクトを検出する際の処理量を極力抑制できる画像処理方法を提供する。【解決手段】圧縮符号化データに含まれる動きベクトル情報を使って、テンプレートマッチングで検出したオブジェクト領域を追跡する。動きベクトル情報を持つオブジェクト検出対象画像については、テンプレートマッチングによるオブジェクト検出が不要となり、全てのオブジェクト検出対象画像について、テンプレートマッチングにより、オブジェクトを検出する場合と比較して、オブジェクトを検出する際の処理量を削減できる。【選択図】  図１
2004227519.tif 000002
【特許請求の範囲】
【請求項１】
動画像からオブジェクトを検出する画像処理方法であって、
テンプレート画像とオブジェクト検出対象画像とのマッチングによりオブジェクトを検出するオブジェクト検出ステップと、
符号化された動画像の動きベクトル情報を使って、前記オブジェクト検出ステップで検出された前記オブジェクトの変位量を求める変位量検出ステップと、を含む、ことを特徴とする画像処理方法。
【請求項２】
イントラ符号化されたＩピクチャのオブジェクト検出は、前記オブジェクト検出ステップにより実行され、
前方向予測で符号化されたＰピクチャのオブジェクト検出は、前記変位量検出ステップにより実行され、
双方向予測で符号化されたＢピクチャのオブジェクト検出は、前記変位量検出ステップにより実行される、ことを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記変位量検出ステップによりオブジェクトの追跡が行われたフレームの数を計測するフレーム計測ステップと、
前記フレーム計測ステップで計測されたフレーム数と、基準フレーム数と、を比較する比較ステップと、をさらに含み、
前記フレーム計測ステップで計測されたフレーム数が、前記基準フレーム数を上回った場合、前記オブジェクト検出ステップにより、オブジェクトの検出を実行する、ことを特徴とする請求項１又は２記載の画像処理方法。
【請求項４】
前記オブジェクト検出ステップは、
前記テンプレート画像と前記オブジェクト検出対象画像との類似値と、基準値と、を比較する比較ステップと、
イントラ符号化されたＩピクチャのオブジェクト検出において、前記類似値が前記基準値を下回った場合、少なくとも１フレーム前のオブジェクト検出結果を採用するステップと、を含む、ことを特徴とする請求項１から３記載の画像処理方法。
【請求項５】
符号化された動画像をデコードして、前記オブジェクト検出対象画像を生成するデコードステップと、
前記オブジェクト検出対象画像を第一の画像とし、この第一の画像を編集する編集ステップと、
編集後の前記第一の画像と、第二の画像と、を合成して、合成画像を生成する合成ステップと、をさらに含み、
前記オブジェクト検出ステップは、
検出したオブジェクトの位置情報を出力するステップ、を含み、
前記変位量検出ステップは、
変位後のオブジェクトの位置情報を出力するステップ、を含み、
前記編集ステップでは、前記位置情報を基に、前記第一の画像を編集する、ことを特徴とする請求項１から４記載の画像処理方法。
【請求項６】
前記オブジェクト検出対象画像のシーン変化を検出するシーンチェンジ検出ステップ、をさらに含み、
シーンが変化した前記オブジェクト検出対象画像のオブジェクト検出は、前記オブジェクト検出ステップにより実行される、ことを特徴とする請求項１から５記載の画像処理方法。
【請求項７】
動画像から任意のオブジェクトを検出する検出ステップと、
前記検出ステップで検出されたオブジェクトの位置情報に基づいて、前記動画像を編集する編集ステップと、
前記編集ステップで編集された前記動画像と、他の動画像と、を合成する合成ステップと、
合成した画像を圧縮符号化する符号化ステップと、を含む、ことを特徴とする画像処理方法。
【請求項８】
オブジェクト検出の対象は、人間の顔である、ことを特徴とする請求項１から請求項７記載の画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、入力画像からオブジェクト（対象物）を検出する画像処理方法に関するものである。
【０００２】
【従来の技術】
従来より、テンプレート画像を予め登録し、入力画像とテンプレート画像との間で、パターンマッチングを行って、テンプレート画像に類似する画像の、入力画像における位置を検出する技術は、周知である。
【０００３】
しかし、テンプレート画像に類似する画像の背景如何では、誤認識が発生しやすいため、この点を工夫した技術が、下記特許文献１として、開示されている。
【０００４】
このものでは、テンプレート画像とテンプレート画像に対応する画像との、類似値を、次式で定義する。
【数１】
2004227519.tif 000003
つまり、テンプレート画像のエッジ法線ベクトルと、入力画像のエッジ法線ベクトルとのなす角Θの、内積（ｃｏｓΘ）を類似値の成分としている。
【０００５】
【特許文献１】特開平５−２８２７３号公報（第６−７頁、第１０図）
【０００６】
【発明が解決しようとする課題】
しかしながら、テンプレートマッチング法によるオブジェクト検出では、輝度信号や色差信号などの画素データを入力として処理されるため、ＭＰＥＧなどで圧縮符号化された画像に対して処理を行う場合は、デコード処理の後、フレーム毎にテンプレートマッチング処理を行わなければならず、処理量が多くなるという問題点がある。
【０００７】
そこで、本発明は、動画像からオブジェクトを検出する際の処理量を極力抑制できる画像処理方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
請求項１記載の画像処理方法では、動画像からオブジェクトを検出する画像処理方法であって、テンプレート画像とオブジェクト検出対象画像とのマッチングによりオブジェクトを検出するオブジェクト検出ステップと、符号化された動画像の動きベクトル情報を使って、オブジェクト検出ステップで検出されたオブジェクトの変位量を求める変位量検出ステップと、を含む。
【０００９】
この構成によれば、動きベクトル情報を使って、オブジェクトの変位量を求めることで、オブジェクトの追跡ができる。
【００１０】
つまり、動きベクトル情報を持つオブジェクト検出対象画像については、テンプレートマッチングによるオブジェクト検出が不要となる。
【００１１】
その結果、全てのオブジェクト検出対象画像について、テンプレートマッチングにより、オブジェクトを検出する場合と比較して、オブジェクトを検出する際の処理量を削減できる。
【００１２】
請求項２記載の画像処理方法では、イントラ符号化されたＩピクチャのオブジェクト検出は、オブジェクト検出ステップにより実行され、前方向予測で符号化されたＰピクチャのオブジェクト検出は、変位量検出ステップにより実行され、双方向予測で符号化されたＢピクチャのオブジェクト検出は、変位量検出ステップにより実行される。
【００１３】
この構成によれば、動きベクトル情報を持つオブジェクト検出対象画像の全てについて、動きベクトル情報を使って、オブジェクトの変位量を求めることにより、オブジェクトが追跡される。その結果、さらに、オブジェクト検出の処理量を削減できる。
【００１４】
請求項３記載の画像処理方法では、変位量検出ステップによりオブジェクトの追跡が行われたフレームの数を計測するフレーム計測ステップと、フレーム計測ステップで計測されたフレーム数と、基準フレーム数と、を比較する比較ステップと、をさらに含み、フレーム計測ステップで計測されたフレーム数が、基準フレーム数を上回った場合、オブジェクト検出ステップにより、オブジェクトの検出を実行する。
【００１５】
この構成によれば、動きベクトル情報によるオブジェクト追跡の累積誤差をリセットすることができ、検出精度を向上させることができる。
【００１６】
請求項４記載の画像処理方法では、オブジェクト検出ステップは、テンプレート画像とオブジェクト検出対象画像との類似値と、基準値と、を比較する比較ステップと、イントラ符号化されたＩピクチャのオブジェクト検出において、類似値が基準値を下回った場合、少なくとも１フレーム前のオブジェクト検出結果を採用するステップと、を含む。
【００１７】
この構成によれば、テンプレートマッチング法でのオブジェクト検出に失敗した場合でも、オブジェクトの位置を予測することができる。
【００１８】
請求項５記載の画像処理方法では、符号化された動画像をデコードして、オブジェクト検出対象画像を生成するデコードステップと、オブジェクト検出対象画像を第一の画像とし、この第一の画像を編集する編集ステップと、編集後の第一の画像と、第二の画像と、を合成して、合成画像を生成する合成ステップと、をさらに含み、オブジェクト検出ステップは、検出したオブジェクトの位置情報を出力するステップ、を含み、変位量検出ステップは、変位後のオブジェクトの位置情報を出力するステップ、を含み、編集ステップでは、位置情報を基に、第一の画像を編集する。
【００１９】
この構成によれば、例えば、検出対象のオブジェクトが第一の画像の中心にない場合でも、センタリング等の編集を施し、第二の画像と合成することができる。
【００２０】
請求項６記載の画像処理方法では、オブジェクト検出対象画像のシーン変化を検出するシーンチェンジ検出ステップ、をさらに含み、シーンが変化したオブジェクト検出対象画像のオブジェクト検出は、オブジェクト検出ステップにより実行される。
【００２１】
この構成によれば、動きベクトルの存在しないＩピクチャのオブジェクト検出を行うことができる。
【００２２】
請求項７記載の画像処理方法では、動画像から任意のオブジェクトを検出する検出ステップと、検出ステップで検出されたオブジェクトの位置情報に基づいて、動画像を編集する編集ステップと、編集ステップで編集された動画像と、他の動画像と、を合成する合成ステップと、合成した画像を圧縮符号化する符号化ステップと、を含む。
【００２３】
この構成によれば、例えば、検出対象のオブジェクトが当該動画像の中心にない場合でも、センタリング等の編集を施し、他の動画像と合成することができる。
【００２４】
請求項８記載の画像処理方法では、オブジェクト検出の対象は、人間の顔である。
【００２５】
この構成によれば、全てのオブジェクト検出対象画像について、テンプレートマッチングにより、人間の顔（オブジェクト）を検出する場合と比較して、人間の顔（オブジェクト）を検出する際の処理量を削減できる。
【００２６】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。なお、検出の対象であるオブジェクトの一例として、人間の顔が挙げられる。
【００２７】
（実施の形態１）
図１は、本発明の実施の形態１における画像処理装置のブロック図である。
【００２８】
図１に示すように、この画像処理装置は、デコード処理部１、オブジェクト検出部２、オブジェクト領域追跡部３、オブジェクト検出方法選択部４、及び、画像編集合成部６、を具備する。
【００２９】
デコード処理部１は、入力バッファ（ＩＢＵＦ）１０、可変長復号処理部（ＶＬＤ）１１、逆量子化処理部（ＩＱ）１２、逆離散コサイン変換処理部（ＩＤＣＴ）１３、加算処理部１４、動き補償処理部（ＭＣ）１５、及び、フレームメモリ（ＦＭ）１６、を含む。
【００３０】
オブジェクト検出部２は、テンプレートマッチング処理部２５、及び、類似値判定部２４、を含む。
【００３１】
オブジェクト領域追跡部３は、動きベクトル保存部３０、及び、変位量計算部３１、を含む。
【００３２】
オブジェクト検出方法選択部４は、フレームタイプ判断部４０、フレーム数測定部４２、及び、検出方法選択部４３、を含む。
【００３３】
上記各構成の動作を簡単に説明する。
デコード処理部１は、圧縮符号化された画像をデコードする。
【００３４】
オブジェクト検出部２は、テンプレートマッチング法でオブジェクトを検出する。
【００３５】
オブジェクト領域追跡部３は、テンプレートマッチング法により検出されたオブジェクト領域を、動きベクトル情報を使って追跡する。
【００３６】
オブジェクト検出方法選択部４は、オブジェクト検出部２とオブジェクト領域追跡部３との選択を行う。
【００３７】
画像編集合成部６は、オブジェクト検出部２又はオブジェクト領域追跡部３から与えられるオブジェクトの位置情報に基づいて、第一の画像を編集して、編集後の第一の画像と、第二の画像と、を合成する。
【００３８】
なお、画像編集合成部６は、編集及び合成の際に、オブジェクト検出部２から与えられるオブジェクトのサイズ情報を利用することもできる。
【００３９】
上記各構成の動作を詳細に説明する。
まず、デコード処理部１について説明する。
【００４０】
図２は、デコード処理部１の説明図である。なお、図２において、図１と同様の部分については、同一の符号を付している。
【００４１】
ディジタル画像に対しての圧縮符号化の方法として、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）がある。
【００４２】
ＭＰＥＧでは、１つのフレーム画像内における空間的な相関関係に基づきフレーム内符号化を行う。
【００４３】
さらに、ＭＰＥＧでは、画像間の冗長な信号を取り除くために、各フレーム画像間の時間的な相関関係に基づき、動き補償を用いたフレーム間予測を行い、差分信号を符号化するフレーム間符号化を行う。
【００４４】
ＭＰＥＧでは、この両者を併用することにより、高圧縮率の符号化データを得ることが可能となる。
【００４５】
ＭＰＥＧ規格の画像符号化処理では、画素値に対して、直交変換の処理を行い、直交変換係数を得る。以下の説明では、直交変換の例として、離散コサイン変換（ＤＣＴ）を挙げる。従って、離散コサイン変換の結果、ＤＣＴ係数を得る。
【００４６】
このＤＣＴ係数を所定の量子化幅で量子化処理を行い、量子化ＤＣＴ係数を求める。
【００４７】
さらに、この量子化ＤＣＴ係数に対して可変長符号化処理が行われ、符号化データ、つまり、圧縮画像データが生成される。
【００４８】
一方、図２に示すように、復号器側、即ち、デコード処理部１では、圧縮画像データ、即ち、符号化データ（ビットストリーム）は、入力バッファ１０に蓄積される。
【００４９】
可変長復号処理部１１は、マクロブロック単位で符号化データを復号し、符号化モードを表す情報、動きベクトル情報、量子化情報、及び、量子化ＤＣＴ係数、を分離する。
【００５０】
逆量子化処理部１２は、復号されたマクロブロックの量子化ＤＣＴ係数に対して、逆量子化処理を施し、ＤＣＴ係数を得る。
【００５１】
逆離散コサイン変換処理部１３は、このＤＣＴ係数に対して、逆離散コサイン変換を施し、ＤＣＴ係数を画像空間データへ変換する。
【００５２】
イントラ符号化モードの場合は、逆離散コサイン変換処理部１３は、この画像空間データをそのまま出力する。
【００５３】
一方、動き補償予測モードの場合は、逆離散コサイン変換処理部１３は、この画像空間データを、加算処理部１４に与える。
【００５４】
そして、加算処理部１４は、この画像空間データと、動き補償処理部１５で動き補償予測された画像データと、を加算して出力する。
【００５５】
以上の処理をマクロブロック単位で行い、元の入力順序に入れ替えて、出力画像フレーム、即ち、第一の画像を復元する。
【００５６】
各第一の画像、即ち、各ピクチャ情報（Ｉピクチャ（Ｉｎｔｒａ−Ｐｉｃｔｕｒｅ）、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ）、Ｂピクチャ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ  ｐｒｅｄｉｃｔｉｖｅ−Ｐｉｃｔｕｒｅ））は、フレームメモリ１２６に蓄積され、動き補償処理部１５が、参照画像として用いる。
【００５７】
次に、オブジェクト検出部２について説明する。つまり、テンプレートマッチング法を用いたオブジェクト検出について説明する。
【００５８】
図３は、図１のオブジェクト検出部２のブロック図である。なお、図３において、図１と同様の部分については、同一の符号を付している。
【００５９】
図３に示すように、このオブジェクト検出部２は、テンプレートマッチング処理部２５、及び、類似値判定部２４、を含む。
【００６０】
そして、テンプレートマッチング処理部２５は、記録部２０、入力画像処理部２１、積算部２２、及び、逆直交変換部（逆ＦＦＴ）２３、を含む。
【００６１】
入力画像処理部２１は、エッジ抽出部２１０、評価ベクトル生成部２１１、直交変換部（ＦＦＴ）２１２、及び、圧縮部２１３、を含む。
【００６２】
図３に示すように、オブジェクト検出部２では、テンプレート画像と第一の画像とのマッチングを類似値Ｌのマップを用いて評価する。
【００６３】
また、テンプレート画像処理部１００と入力画像処理部２１とにおいて、それぞれ、線形性を持つ直交変換を行い、積算した後に、逆直交変換して、類似値Ｌを求める。
【００６４】
ここで、このような直交変換として、ＦＦＴ（高速フーリエ変換）を使用することとするが、他に、Ｈａｒｔｌｅｙ変換や数論的変換などを用いることもでき、以下の説明において、「フーリエ変換」とあるのを、これらの変換に置き換えて適用することができる。
【００６５】
また、テンプレート画像処理部１００、入力画像処理部２１のいずれにおいても、エッジ法線方向ベクトルの内積を利用し、エッジ法線方向ベクトルの方向が近いほど、高い相関を出すようにしている。しかも、この内積は、偶数倍角表現を用いて評価される。
【００６６】
以下簡単のため、偶数倍角の例として、２倍角の場合のみを説明するが、４倍角、６倍角などの、他の偶数倍角においても、本発明と同様の効果がある。
【００６７】
テンプレート画像処理部１００について説明する。図３に示すように、このテンプレート画像処理部１００は、エッジ抽出部１０１、評価ベクトル生成部１０２、直交変換部（ＦＦＴ）１０３、及び、圧縮部１０４、を含む。
【００６８】
エッジ抽出部１０１は、テンプレート画像に対して、ｘ方向、ｙ方向のそれぞれについて、微分処理（エッジ抽出）を施し、テンプレート画像のエッジ法線方向ベクトルを出力する。
【００６９】
本例では、ｘ方向について、
【数２】
2004227519.tif 000004
なるＳｏｂｅｌフィルタを用い、
ｙ方向について、
【数３】
2004227519.tif 000005
なるＳｏｂｅｌフィルタを用いている。
【００７０】
これらのフィルタにより、次式で定義される、テンプレート画像のエッジ法線方向ベクトルが求められる。
【数４】
2004227519.tif 000006
本例では、横断歩道付近を撮影した第一の画像から、特定の姿勢をして横断歩道を歩いている人物の像を抽出するものとする。
【００７１】
このとき、人物のテンプレート画像は、例えば、図４（ａ）のような画像になる。また、図４（ａ）のテンプレート画像について、（数２）のフィルタ処理を施すと、図４（ｂ）のような結果（ｘ成分）が得られ、図４（ａ）のテンプレート画像について、（数３）のフィルタ処理を施すと、図４（ｃ）のような結果（ｙ成分）が得られる。
【００７２】
評価ベクトル生成部１０２は、エッジ抽出部１０１からテンプレート画像のエッジ法線方向ベクトルを、入力し、次に述べる処理を行って、テンプレート画像の評価ベクトルを直交変換部１０３へ出力する。
【００７３】
まず、評価ベクトル生成部１０２は、次式を用いて、テンプレート画像のエッジ法線方向ベクトルを、長さについて正規化する。
【数５】
2004227519.tif 000007
ここで一般に、撮影条件により、第一の画像のエッジの強度は、変化してしまう。しかし、第一の画像とテンプレート画像との、それぞれのエッジ間の角度差（あるいは、この角度差により単調変化する従属関数値）は、撮影条件の影響を受けにくい。
【００７４】
そこで、本発明では、後述するように、入力画像処理部２１において、第一の画像のエッジ法線方向ベクトルを、長さ１に正規化している。これにあわせて、テンプレート画像処理部１００においても、テンプレート画像のエッジ法線方向ベクトルも、長さ１に正規化している。
【００７５】
これにより、パターン抽出の安定性を高めることができる。なお通常、正規化する長さは、通常「１」が良いと考えられるが、他の定数を用いることもできる。
【００７６】
また、周知のように、三角関数については、次の倍角公式が成立する。
【数６】
2004227519.tif 000008
そして、評価ベクトル生成部１０２は、次式で定義される、テンプレート画像の評価ベクトルを求める。
【数７】
2004227519.tif 000009
（数７）について説明する。まず、定数ａより小さなベクトルを、ゼロベクトルにしているのは、ノイズなどを除去するためである。
【００７７】
次に、この評価ベクトルのｘ，ｙ各成分を、ｎで割って正規化している点について、説明する。
【００７８】
一般に、テンプレート画像の形状は、任意であり、そのエッジの形状は様々である。例えば、図５（ａ）に示すように、エッジの個数が少ないこともあるし、図５（ｂ）のように、（図５（ａ）に比べれば）エッジの個数が多いこともある。そこで、本形態では、ｎで割って正規化することにより、テンプレート画像における、エッジ個数の多寡によらず、同じ尺度で類似度合いを評価できるように、工夫している。
【００７９】
但し、ｎで割る正規化処理は、必ず実施しなければならないものではなく、一種類のテンプレート画像のみしか用いない場合や、エッジの個数が同じテンプレート画像しか用いない場合では、ｎで割る正規化処理は、省略できる。
【００８０】
（数７）のｘ，ｙ各成分が、（数５）のｘ，ｙ各成分の、倍角に係る余弦・正弦の従属関数になっている点については、特開２００２−３０４６２７号公報にて詳細に解説してあるため、ここでは説明を省略する。
【００８１】
さて、本発明では、次式により、類似値を定義する。
【数８】
2004227519.tif 000010
ここで、（数８）では、加算、積算のみからなるので、類似値は、第一の画像及びテンプレート画像のそれぞれの評価ベクトルについて、線形である。したがって、（数８）をフーリエ変換すると、フーリエ変換の離散相関定理（参考文献：高速フーリエ変換  宮川洋訳  科学技術出版社）により、
【数９】
2004227519.tif 000011
となる。
【００８２】
また、（数９）を、逆フーリエ変換すれば、（数８）の類似値が得られる。
【００８３】
評価ベクトル生成部１０２よりも後段の構成を説明する。図３に示すように、テンプレート画像処理部１００において、評価ベクトル生成部１０２から出力される、テンプレート画像の評価ベクトルは、直交変換部１０３により、フーリエ変換され、圧縮部１０４に出力される。
【００８４】
圧縮部１０４は、フーリエ変換後の評価ベクトルを、削減して、記録部２０に格納する。
【００８５】
なお、圧縮部１０４は、データ量が小さいときや、高速性が要求されないときは、省略することも可能である。
【００８６】
入力画像処理部２１について説明する。入力画像処理部２１は、テンプレート画像処理部１００とほぼ同じような処理を行う。即ち、エッジ抽出部２１０は、（数２）、（数３）により、次式で定義される第一の画像のエッジ法線方向ベクトルを出力する。
【数１０】
2004227519.tif 000012
また、評価ベクトル生成部２１１は、エッジ抽出部２１０から第一の画像のエッジ法線方向ベクトルを入力し、次の２つの式で定義される、第一の画像の評価ベクトルを出力する。
【数１１】
2004227519.tif 000013
【数１２】
2004227519.tif 000014
テンプレート画像処理部１００と異なる点は、ｎで割る正規化処理を行っていない点だけである。即ち、偶数倍角による評価、長さ１への正規化処理、ノイズ除去処理は、テンプレート画像処理部１００と同様に、行う。
【００８７】
評価ベクトル生成部２１１よりも後段の構成を説明する。図３に示すように、入力画像処理部２１において、評価ベクトル生成部２１１から出力される、第一の画像の評価ベクトルは、直交変換部２１２により、フーリエ変換され、圧縮部２１３に出力される。
【００８８】
圧縮部２１３は、フーリエ変換後の評価ベクトルを、削減して、積算部２２へ出力する。ここで、圧縮部２１３は、圧縮部１０４と同一の周波数帯（本例では、ｘｙ両方向について、低周波側半分ずつ等）に、処理対象を削減する。
【００８９】
次に、積算部２２以降を説明する。さて、入力画像処理部２１の処理が完了すると、積算部２２は、記録部２０と圧縮部２１３から、テンプレート画像及び第一の画像の、それぞれの評価ベクトルのフーリエ変換値を入力する。
【００９０】
そこで、積算部２２は、（数９）による積和演算を行い、結果（類似値Ｌのフーリエ変換値）を逆直交変換部２３へ出力する。
【００９１】
逆直交変換部２３は、類似値Ｌのフーリエ変換値を、逆フーリエ変換し、類似値ＬのマップＬ（ｘ，ｙ）を類似値判定部２４へ出力する。
【００９２】
類似値判定部２４は、このマップＬ（ｘ，ｙ）において、各類似値Ｌと基準値とを比較し、基準値を超える類似値Ｌのパターンをオブジェクトとする。
【００９３】
そして、類似値判定部２４は、オブジェクトの位置（座標）及びサイズ情報を出力する。
【００９４】
ここで、イントラ符号化されたＩピクチャのオブジェクト検出において、各類似値Ｌが基準値を下回って、オブジェクト検出に失敗した場合、オブジェクト検出部２は、少なくとも１フレーム前のオブジェクト検出結果を採用する。なお、この場合に採用するオブジェクト検出結果は、必ずしも１フレーム前のものに限られない。
【００９５】
さて、次に、図１と図６を使って、オブジェクト領域追跡部３について説明する。
【００９６】
オブジェクト領域追跡部３は、オブジェクト検出部２がテンプレートマッチング法を使って検出したオブジェクトの位置やサイズ情報と、デコード処理部１が出力した動きベクトル情報から、オブジェクト領域の追跡を行う。具体的には次の通りである。
【００９７】
オブジェクト領域追跡部３で行うオブジェクト追跡の対象フレームが、Ｐピクチャ、あるいはＢピクチャの場合、前方向予測、双方向予測の動きベクトルが含まれる。
【００９８】
従って、この場合、オブジェクト領域追跡部３の動きベクトル保存部３０は、フレーム毎の動きベクトル情報を保存する。
【００９９】
一方、オブジェクト検出部２は、追跡の対象となるオブジェクトの位置情報とサイズ情報を出力する。
【０１００】
変位量計算部３１は、オブジェクト検出部２が出力した位置情報及びサイズ情報に基づくオブジェクト領域に含まれる動きベクトル情報から、オブジェクト領域の動きを追跡する。
【０１０１】
以下、オブジェクト領域の追跡について、具体例を挙げながら説明する。
【０１０２】
図６は、フレーム画像２００上に、符号化の基本単位であるマクロブロック２０１と、マクロブロック毎に求められた動きベクトル２０２と、顔オブジェクト２０３と、オブジェクト領域２０４と、を示している。
【０１０３】
図１のオブジェクト検出部２は、顔オブジェクト２０３を検出して、オブジェクト領域２０４の位置情報とサイズ情報（座標データと領域のサイズ）を、オブジェクト領域追跡部３に出力する。
【０１０４】
変位量計算部３１は、オブジェクト領域２０４の内側のマクロブロック２０１が持つ動きベクトル２０２を使って、動きベクトルのメジアン値あるいは平均値を算出する。
【０１０５】
この値を、オブジェクト領域２０４の動き量とすれば、前フレームにおけるオブジェクト位置からの変位量が求められる。このようにして、オブジェクト領域２０４の動きを追跡する。
【０１０６】
さて、次に、図１のオブジェクト検出方法選択部４について説明する。
オブジェクト検出方法選択部４は、画像編集合成部６に出力するオブジェクトの位置情報を、オブジェクト検出部２およびオブジェクト領域追跡部３のうちのどちらから出力するかを決定する。具体的には、次の通りである。
【０１０７】
オブジェクト検出方法選択部４のフレームタイプ判断部４０は、圧縮符号化されたフレームのタイプの情報をデコード処理部１から受け取り、そのフレームのタイプの情報を、検出方法選択部４３に与える。
【０１０８】
検出方法選択部４３は、与えられたフレームのタイプの情報に基づいて、オブジェクト検出部２あるいはオブジェクト領域追跡部３のどちらかを選択する。
【０１０９】
検出方法選択部４３による処理を具体例を挙げながら説明する。
図７は、検出方法選択部４３による処理の例示図である。
【０１１０】
図７には、ＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅ）内の画面（フレーム画像）の並びが示されている。
【０１１１】
ＧＯＰには、イントラ符号化されたＩピクチャ３００と、前方向予測符号化されたＰピクチャ３０２と、双方向予測符号化されたＢピクチャ３０１と、が存在する。
【０１１２】
ここで、動きベクトルが存在するのは、フレーム間予測符号化であるＰピクチャ３０２とＢピクチャ３０１だけである。
【０１１３】
従って、図７に示すように、検出方法選択部４３は、Ｉピクチャ３００の場合にはテンプレートマッチングによるオブジェクト検出を、Ｐピクチャ３０２あるいはＢピクチャ３０１の場合には動きベクトルを使った領域追跡を選択する。
【０１１４】
つまり、検出方法選択部４３は、Ｉピクチャ３００の場合にはオブジェクト検出部２を選択し、Ｐピクチャ３０２あるいはＢピクチャ３０１の場合にはオブジェクト領域追跡部３を選択する。
【０１１５】
フレーム数測定部４２は、動きベクトルを使ったオブジェクト領域追跡が行われたフレーム数を測定し、フレーム数が基準フレーム数を上回ったとき、その旨を検出方法選択部４３に通知する。
【０１１６】
そして、その通知を受けたときは、検出方法選択部４３は、テンプレートマッチングによるオブジェクト検出を選択する。
【０１１７】
つまり、その通知を受けたときは、検出方法選択部４３は、オブジェクト検出部２を選択する。
【０１１８】
このように、検出方法選択部４３は、一定周期で、テンプレートマッチングによるオブジェクト検出を選択する。
【０１１９】
オブジェクト領域追跡部３によるオブジェクト領域追跡は、動きベクトル情報を基に行われるため、オブジェクト領域追跡のフレーム数が長く続くと、動きベクトルの累積誤差によりオブジェクト領域の位置ずれが発生する。
【０１２０】
そこで、オブジェクト領域追跡部３によるオブジェクト領域追跡が行われたフレーム数を測定し、一定周期で、テンプレートマッチングによるオブジェクト検出に切り換えることにより、動きベクトルの累積誤差をキャンセルさせる。
【０１２１】
以上のようにして、検出方法選択部４３が、オブジェクト検出部２を選択した場合は、オブジェクト検出部２は、検出方法選択部４３からの制御信号を受けて、オブジェクトを検出して、その位置情報およびサイズ情報を画像編集合成部６に出力する。
【０１２２】
一方、検出方法選択部４３が、オブジェクト領域追跡部３を選択した場合は、オブジェクト領域追跡部３は、検出方法選択部４３からの制御信号を受けて、オブジェクトを追跡して、その位置情報を画像編集合成部６に出力する。
【０１２３】
さて、次に、図１の画像編集合成部６について説明する。
画像編集合成部６は、入力されるオブジェクトの位置情報に基づいて、デコード処理部１を経由して復号された第一の画像に、拡大、縮小あるいは回転などの編集を施し、編集後の第一の画像と、第二の画像と、を合成する。なお、画像編集合成部６は、編集及び合成の際に、入力されるオブジェクトのサイズ情報を利用することもできる。
【０１２４】
例えば、第一の画像が顔オブジェクトを含む画像であって、第二の画像がグラフィックオブジェクトである場合、顔オブジェクトの位置情報がオブジェクト検出部２あるいは、オブジェクト領域追跡部３から、画像編集合成部６に入力されるため、顔オブジェクトを表示画面の中央に配置し、グラフィックオブジェクトをその周辺に配置することができる。また、顔オブジェクトを避けてグラフィックオブジェクトを配置することができる。
【０１２５】
さて、以上のように、本実施の形態では、動きベクトル情報を使って、オブジェクトの変位量を求めることで、オブジェクトの追跡ができる。
【０１２６】
これにより、動きベクトル情報を持つオブジェクト検出対象画像（第一の画像）については、テンプレートマッチングによるオブジェクト検出が不要となる。
【０１２７】
その結果、全てのオブジェクト検出対象画像（第一の画像）について、テンプレートマッチングにより、オブジェクトを検出する場合と比較して、オブジェクトを検出する際の処理量を削減できる。
【０１２８】
また、本実施の形態では、動きベクトル情報によるオブジェクト追跡がなされたフレーム数が、基準フレーム数を上回った場合、テンプレートマッチング法によるオブジェクト検出が行われる。
【０１２９】
その結果、動きベクトル情報によるオブジェクト追跡の累積誤差をリセットすることができ、検出精度を向上させることができる。
【０１３０】
さらに、本実施の形態では、イントラ符号化されたＩピクチャのオブジェクト検出において、類似値が基準値を下回った場合、少なくとも１フレーム前のオブジェクト検出結果が採用される。
【０１３１】
その結果、テンプレートマッチング法でのオブジェクト検出に失敗した場合でも、オブジェクトの位置を予測することができる。
【０１３２】
さらに、本実施の形態では、オブジェクトの位置情報を基に、第一の画像を編集し、編集後の第一の画像と、第二の画像と、を合成する。
【０１３３】
その結果、例えば、検出対象のオブジェクトが第一の画像の中心にない場合でも、センタリング等の編集を施し、第二の画像と合成することができる。
【０１３４】
なお、上記では、入力される画像は、第一の画像と第二の画像という２つであったが、２つに限定されるものではなく、３以上でもよい。
【０１３５】
（実施の形態２）
図８は、本発明の実施の形態２における画像処理装置のブロック図である。なお、図８において、図１と同様の部分については、同一の符号を付して、説明を適宜省略する。
【０１３６】
図８に示すように、この画像処理装置は、オブジェクト検出部２、オブジェクト領域追跡部３、画像編集合成部６、シーンチェンジ検出部５、検出方法選択部７、及び、エンコード処理部８、を具備する。
【０１３７】
エンコード処理部８は、減算処理部８０、離散コサイン変換処理部（ＤＣＴ）８１、量子化処理部（Ｑ）８２、可変長符号化処理部（ＶＬＣ）８３、逆量子化処理部（ＩＱ）８４、逆離散コサイン変換処理部（ＩＤＣＴ）８５、加算処理部８６、フレームメモリ（ＦＭ）８７、動き補償処理部（ＭＣ）８８、及び、動きベクトル検出部（ＭＶＤ）８９、を含む。
【０１３８】
上記各構成の動作を説明する。
シーンチェンジ検出部５は、入力された第一の画像からシーンの変化を検知する。
【０１３９】
検出方法選択部７は、シーンチェンジ検出部５による検知結果に応じて、オブジェクト検出の方式を選択する。
【０１４０】
具体的には、シーンチェンジ検出部５がシーンの変化を検知したときは、検出方法選択部７は、テンプレートマッチングによるオブジェクト検出、即ち、オブジェクト検出部２、を選択する。
【０１４１】
一方、シーンの変化がないときは、検出方法選択部７は、動きベクトルによるオブジェクト追跡、即ち、オブジェクト領域追跡部３、を選択する。
【０１４２】
オブジェクト検出部２は、テンプレートマッチング法でオブジェクトを検出し、その位置及びサイズ情報を画像編集合成部６に出力する。
【０１４３】
このようなオブジェクトの検出は、検出方法選択部７がオブジェクト検出部２を選択したときに、検出方法選択部７から制御信号を受けて、オブジェクト検出部２が行う。
【０１４４】
オブジェクト領域追跡部３は、エンコード処理部８が出力する動きベクトル情報から、オブジェクト領域の追跡を行い、その位置情報を画像編集合成部６に出力する。
【０１４５】
このようなオブジェクト領域の追跡は、検出方法選択部７がオブジェクト領域追跡部３を選択したときに、検出方法選択部７から制御信号を受けて、オブジェクト領域追跡部３が行う。
【０１４６】
ここで、実施の形態２のオブジェクト領域追跡部３が、エンコード処理部８が出力する動きベクトル情報からオブジェクト領域の追跡を行う点で、デコード処理部１が出力する動きベクトル情報からオブジェクト領域の追跡を行う実施の形態１のオブジェクト領域追跡部３と異なっている。その他の点では、両者は同様である。
【０１４７】
画像編集合成部６は、オブジェクトの位置情報に基づいて、第一の画像を編集して、編集後の第一の画像と、第二の画像と、を合成し、合成画像を生成する。なお、画像編集合成部６は、編集及び合成の際に、オブジェクトのサイズ情報を利用することもできる。
【０１４８】
エンコード処理部８は、画像編集合成部６による合成画像を圧縮符号化する。具体的には、次の通りである。
【０１４９】
まず、イントラ符号化モードについて説明する。画像編集合成部６からの合成画像は、離散コサイン変換処理部８１に入力される。
【０１５０】
離散コサイン変換処理部８１は、入力された合成画像に対して、離散コサイン変換処理を施し、ＤＣＴ係数を生成する。
【０１５１】
量子化処理部８２は、ＤＣＴ係数に対して、量子化処理を施して、量子化ＤＣＴ係数を生成する。
【０１５２】
可変長符号化処理部８３は、量子化ＤＣＴ係数に対して、可変長符号化処理を施して、符号化データ（圧縮画像データ）を生成する。
【０１５３】
一方、量子化処理部８２による量子化ＤＣＴ係数は、逆量子化処理部８４に入力される。
【０１５４】
逆量子化処理部８４は、量子化ＤＣＴ係数に対して、逆量子化処理を施して、ＤＣＴ係数を求める。
【０１５５】
逆離散コサイン変換処理部８５は、ＤＣＴ係数に対して、逆離散コサイン変換処理を施して、合成画像を求める。
フレームメモリ８７は、この合成画像を参照画像として記憶する。
【０１５６】
次に、動き補償予測モードについて説明する。画像編集合成部６からの合成画像は、減算処理部８０に入力される。
【０１５７】
減算処理部８０は、入力された合成画像と、動き補償処理部８８で求められた予測画像と、の差分を求め、予測誤差画像を出力する。
【０１５８】
離散コサイン変換処理部８１は、予測誤差画像に対して、離散コサイン変換処理を施し、ＤＣＴ係数を求める。
【０１５９】
量子化処理部８２は、ＤＣＴ係数に対して、量子化処理を施して、量子化ＤＣＴ係数を求める。
【０１６０】
可変長符号化処理部８３は、量子化ＤＣＴ係数に対して、可変長符号化処理を施して、符号化データ（圧縮画像データ）を求める。
【０１６１】
一方、量子化処理部８２による量子化ＤＣＴ係数は、逆量子化処理部８４に入力される。
【０１６２】
逆量子化処理部８４は、量子化ＤＣＴ係数に対して、逆量子化処理を施して、ＤＣＴ係数を求める。
【０１６３】
逆離散コサイン変換処理部８５は、ＤＣＴ係数に対して、逆離散コサイン変換処理を施して、予測誤差画像を求める。
【０１６４】
加算処理部８６は、逆離散コサイン変換処理部８５が求めた予測誤差画像と、動き補償処理部８８が求めた予測画像と、を加算して、参照画像を生成する。
フレームメモリ８７は、この参照画像を記憶する。
【０１６５】
一方、動きベクトル検出部８９は、符号化対象の合成画像と、参照画像と、を用いて、動きベクトルを検出する。
【０１６６】
動き補償処理部８８は、動きベクトル検出部８９が検出した動きベクトルと、フレームメモリ８７が記憶している参照画像と、を用いて、予測画像を生成する。
【０１６７】
さて、次に、本実施の形態による処理を具体例を挙げながら説明する。
図９は、本実施の形態による画像処理装置の処理の例示図である。
【０１６８】
図９には、画像入力、オブジェクト検出、画像編集合成、及び、圧縮符号化、の処理フローの一例が示されている。なお、画像入力は、第一の画像の入力を意味する。
【０１６９】
図９に示すように、フレームｎ（ｎは自然数）およびフレームｎ＋１については、それぞれ、フレームｎ−１およびフレームｎから予測された動きベクトル情報を利用できる。
【０１７０】
従って、フレームｎに対しては、オブジェクト領域追跡部３が、フレームｎ−１から予測された動きベクトル情報を利用して、オブジェクト領域の追跡を行う。
【０１７１】
そして、画像合成編集部６は、オブジェクト領域追跡部３が与えた、オブジェクトの位置情報を基に、フレームｎに対して、編集を施し、編集後の画像と第２の画像とを合成し、合成画像を生成する。
【０１７２】
フレームｎ＋１に対しても同様に、フレームｎから予測された動きベクトル情報を利用して、オブジェクト領域の追跡が行われ、編集後に、第２の画像と合成される。
【０１７３】
フレームｎ＋２でシーンが変化すると、シーンチェンジ検出部５がシーンの変化をとらえ、検出方法選択部７が、オブジェクト検出部２を選択する。
【０１７４】
すると、オブジェクト検出部２は、フレームｎ＋２とテンプレート画像との比較を行い、類似値が基準値を超えるパターンをオブジェクトとし、その位置及びサイズを出力する。
【０１７５】
そして、画像合成編集部６は、オブジェクト検出部２が与えた、オブジェクトの位置情報を基に、フレームｎ＋２に対して、編集を施し、編集後の画像と第２の画像とを合成し、合成画像を生成する。
【０１７６】
さて、以上のように、本実施の形態では、動きベクトル情報を使って、オブジェクトの変位量を求めることで、オブジェクトの追跡ができる。
【０１７７】
これにより、動きベクトル情報を持つオブジェクト検出対象画像（第一の画像）については、テンプレートマッチングによるオブジェクト検出が不要となる。
【０１７８】
その結果、全てのオブジェクト検出対象画像（第一の画像）について、テンプレートマッチングにより、オブジェクトを検出する場合と比較して、オブジェクトを検出する際の処理量を削減できる。
【０１７９】
さらに、本実施の形態では、イントラ符号化されたＩピクチャのオブジェクト検出において、類似値が基準値を下回った場合、少なくとも１フレーム前のオブジェクト検出結果が採用される。
【０１８０】
その結果、テンプレートマッチング法でのオブジェクト検出に失敗した場合でも、オブジェクトの位置を予測することができる。
【０１８１】
さらに、本実施の形態では、オブジェクトの位置情報を基に、第一の画像を編集し、編集後の第一の画像と、第二の画像と、を合成する。
【０１８２】
その結果、例えば、検出対象のオブジェクトが第一の画像の中心にない場合でも、センタリング等の編集を施し、第二の画像と合成することができる。
【０１８３】
さらに、本実施の形態では、シーンが変化したオブジェクト検出対象画像（第一の画像）のオブジェクト検出は、テンプレートマッチング法により行われる。
【０１８４】
その結果、動きベクトルの存在しないＩピクチャのオブジェクト検出を行うことができる。
【０１８５】
なお、上記では、入力される画像は、第一の画像と第二の画像という２つであったが、２つに限定されるものではなく、３以上でもよい。
【０１８６】
【発明の効果】
請求項１記載の画像処理方法では、動きベクトル情報を使って、オブジェクトの変位量を求めることで、オブジェクトの追跡ができる。
【０１８７】
つまり、動きベクトル情報を持つオブジェクト検出対象画像については、テンプレートマッチングによるオブジェクト検出が不要となる。
【０１８８】
その結果、全てのオブジェクト検出対象画像について、テンプレートマッチングにより、オブジェクトを検出する場合と比較して、オブジェクトを検出する際の処理量を削減できる。
【０１８９】
請求項２記載の画像処理方法では、動きベクトル情報を持つオブジェクト検出対象画像の全てについて、動きベクトル情報を使って、オブジェクトの変位量を求めることにより、オブジェクトが追跡される。その結果、さらに、オブジェクト検出の処理量を削減できる。
【０１９０】
請求項３記載の画像処理方法では、動きベクトル情報によるオブジェクト追跡の累積誤差をリセットすることができ、検出精度を向上させることができる。
【０１９１】
請求項４記載の画像処理方法では、テンプレートマッチング法でのオブジェクト検出に失敗した場合でも、オブジェクトの位置を予測することができる。
【０１９２】
請求項５記載の画像処理方法では、例えば、検出対象のオブジェクトが第一の画像の中心にない場合でも、センタリング等の編集を施し、第二の画像と合成することができる。
【０１９３】
請求項６記載の画像処理方法では、動きベクトルの存在しないＩピクチャのオブジェクト検出を行うことができる。
【０１９４】
請求項７記載の画像処理方法では、例えば、検出対象のオブジェクトが当該動画像の中心にない場合でも、センタリング等の編集を施し、他の動画像と合成することができる。
【０１９５】
請求項８記載の画像処理方法では、、全てのオブジェクト検出対象画像について、テンプレートマッチングにより、人間の顔（オブジェクト）を検出する場合と比較して、人間の顔（オブジェクト）を検出する際の処理量を削減できる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における画像処理装置のブロック図
【図２】同デコード処理部のブロック図
【図３】同オブジェクト検出部のブロック図
【図４】（ａ）同テンプレート画像の例示図
（ｂ）同テンプレート画像のエッジ抽出画像（ｘ成分）の例示図
（ｃ）同テンプレート画像のエッジ抽出画像（ｙ成分）の例示図
【図５】（ａ）同テンプレート画像の例示図
（ｂ）同テンプレート画像の例示図
【図６】同オブジェクト領域追跡部によるオブジェクト領域追跡の例示図
【図７】同検出方法選択部による処理の例示図
【図８】本発明の実施の形態２における画像処理装置のブロック図
【図９】同処理の例示図
【符号の説明】
１  デコード処理部
２  オブジェクト検出部
３  オブジェクト領域追跡部
４  オブジェクト検出方法選択部
５  シーンチェンジ検出部
６  画像編集合成部
７、４３  検出方法選択部
８  エンコード処理部
１０  入力バッファ
１１  可変長復号処理部
１２、８４  逆量子化処理部
１３、８５  逆離散コサイン変換処理部
１４、８６  加算処理部
１５、８８  動き補償処理部
１６、８７  フレームメモリ
２０  記録部
２１  入力画像処理部
２２  積算部
２３  逆直交変換部
２４  類似値判定部
２５  テンプレートマッチング処理部
３０  動きベクトル保存部
３１  変位量計算部
４０  フレームタイプ判断部
４２  フレーム数測定部
８０  減算処理部
８１  離散コサイン変換処理部
８２  量子化処理部
８３  可変長符号化処理部
８９  動きベクトル検出部
１００  テンプレート画像処理部
１０１、２１０  エッジ抽出部
１０２、２１１  評価ベクトル生成部
１０３、２１２  直交変換部
１０４、２１３  圧縮部
２００  フレーム画像
２０１  マクロブロック
２０２  動きベクトル
２０３  顔オブジェクト
２０４  オブジェクト領域
３００  Ｉピクチャ
３０１  Ｂピクチャ
３０２  Ｐピクチャ
【図１】
2004227519.tif 000015
【図２】
2004227519.tif 000016
【図３】
2004227519.tif 000017
【図４】
2004227519.tif 000018
【図５】
2004227519.tif 000019
【図６】
2004227519.tif 000020
【図７】
2004227519.tif 000021
【図８】
2004227519.tif 000022
【図９】
2004227519.tif 000023