(57)【要約】【課題】ＭＰＥＧ方式の再生動画像に対してオブジェクト抽出処理（オブジェクト位置検出処理）を実施する際に、回路の負担を軽減し、回路規模および消費電力を低減し、コスト上昇を抑制する。【解決手段】Ｉフレームでは、オブジェクト抽出部２００により特徴量を用いてオブジェクトを抽出する。Ｐフレーム，Ｂフレームでは、Ｉフレームにて抽出されたオブジェクトを含むマクロブロックの動きベクトルを利用して、オブジェクト抽出部２６にてオブジェクトの座標位置を推定する。そして、再生された動画像から抽出されたオブジェクト（例えば、人の顔）に対して、所定の画像処理（例えば、ＡＷＢ調整回路３００によるホワイトバランスの調整処理）を実施する。【選択図】図３
2007214886.tif 000002
【特許請求の範囲】
【請求項１】
動画像をＭＰＥＧ方式により符合化して記録し、また、符号化された動画像を再生すると共に、動画像中から特定のオブジェクトを抽出して、そのオブジェクトに対して所定の画像処理を施すことが可能な画像処理装置であって、
再生された動画像を構成する、Ｉフレームならびに、そのＩフレームに連続するＰフレームおよびＢフレームの各々のフレームから前記特定のオブジェクトを抽出するに際し、前記Ｉフレームについては、所定の方法によって前記オブジェクトを抽出してその座標を検出し、前記ＰフレームおよびＢフレームについては、前記Ｉフレームにおいて求められた前記オブジェクトを含むマクロブロックの動きベクトルを援用することによって、前記オブジェクトの座標を検出するオブジェクト座標検出部と、
このオブジェクト座標検出部によって検出された前記オブジェクトの座標を用いて、再生されたＩフレーム，ＰフレームおよびＢフレームの各フレームにおけるオブジェクト位置を特定し、そのオブジェクトに対して前記所定の画像処理を実施する画像処理部と、
を有することを特徴とする画像処理装置。
【請求項２】
請求項１記載の画像処理装置であって、
動きベクトルの検出単位である一つの前記マクロブロック内に前記オブジェクトが完全に含まれるときは、前記オブジェクト座標検出部は、Ｐ，Ｂの各フレームに関して、そのマクロブロックの動きベクトルを前記オブジェクトの動きベクトルと等価であるとみなして前記オブジェクトの座標を検出し、また、前記オブジェクトが複数のマクロブロックにまたがるときは、その複数のマクロブロックの各々の動きベクトルを比較し、一致する数が最も多い動きベクトルを、前記オブジェクトの動きベクトルと等価であるとみなして前記オブジェクトの座標を検出することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像をＭＰＥＧ（Moving Picture coding Experts Group）方式により圧縮して記録し、再生すると共に、動画像中から特定のオブジェクトを検出して、そのオブジェクトに対して所定の画像処理を施すことが可能な画像処理装置（例えば、固体撮像素子を利用したデジタルカメラ、デジタルムービビデオカメラ等）に関する。
【背景技術】
【０００２】
ＭＰＥＧ方式による動画像圧縮では、画像をマクロブロック（例えば１６画素×１６画素の矩形ブロック）群に分割し、時間的に前後の画像の中から、圧縮するマクロブロックに似た領域（参照領域）を抽出し、参照領域との空間的な距離、方位（動きベクトル）と、参照領域と圧縮しようとする領域の差分情報を計算し、これらの情報を、ＤＣＴ（離散コサイン変換）、可変長符号化を用いてビットストリームに圧縮する。このように動きベクトルと差分情報だけを圧縮する手法は、原画像そのものを圧縮する手法よりも、はるかに高能率な圧縮が実現可能である。つまり、同じ程度の圧縮歪みを許容するならば、より少ない情報量に圧縮することが可能である。しかし、差分情報によって圧縮された画像は参照する画像がないと伸長できないため、ビットストリームの途中から伸長するような用途（以下、「ランダムアクセス」と称する。）に対処するためには、他の画像を参照しない画像を周期的に設ける必要がある。この画像を「Ｉ画像」（Intra Picture）と称する。Ｉ画像を参照画像として、次の画像を圧縮し、さらに、すでに圧縮された画像を参照画像として後続の画像を圧縮していく。
【０００３】
参照画像を用いて圧縮する画像の中には、時間的に前の画像のみを参照画像とする「Ｐ画像」(Predictive-coded Picture)と、時間的に前後の画像を参照画像とするＢ画像 (Bidirectionally predictive-coded Picture)がある。Ｐ画像は、Ｉ画像と同様に、他の画像の参照画像となりうる。図５には、Ｉ、Ｐ、Ｂ画像（本明細書では、これらをＩフレーム、Ｐフレーム、Ｂフレームとも呼称する）を用いて圧縮した動画像の画像構成例を示す。同図中、１２１は入力画像順の画像タイプ構成例を示し、入力画像順に１、２、・・８と指示した画像に対して、複数画像単位で（ここでは一例として４画像単位とする）Ｂ、Ｉ、Ｂ、Ｐ、の順に画像タイプを定め、Ｂは前後の両方のＩ又はＰ画像を参照し、Ｐは時間的に前のＩ又はＰ画像を参照する。この参照関係を矢印で示した。図５中、矢印の出発点の画像を参照画像として、矢印の終端点の画像を圧縮する。この例では、２、６で示したＩ画像から伸長を開始することが可能である。ＭＰＥＧでは、Ｉ画像及びそれと直接間接的に参照関係にある一連の画像集合体より、ＧＯＰ(Group Of Pictures)を構成することが可能である。ＧＯＰには、ＧＯＰヘッダが付加される。ＧＯＰは、ランダムアクセスの単位として用いる。Ｂ画像を用いる圧縮では、時間的に前後の画像を参照画像として使用するために、入力される画像の順番と圧縮の結果得られるビットストリーム上での画像の順番を入れ替える処理を行う。
【０００４】
図５は、ＭＰＥＧ２により記録される入力画像１２１と圧縮後の画像（記録画像）１２２のビットストリーム上での画像の構成例を示した図である。この例では、例えば、Ｂ画像として圧縮される画像３は、時間的に前のＩ画像２と後のＰ画像４の両方を参照して圧縮されるため、画像４の処理を終えた後に圧縮される。そのため、ビットストリーム上では、画像４の後に配置される。
【０００５】
このようなＭＰＥＧを用いた動画像の圧縮、復元機能を持つカメラとしては、例えば、デジタルムービビデオカメラがある。デジタルムービビデオカメラは、動画記録機能と静止画記録機能の双方を備える（例えば、特許文献１参照）。
【０００６】
また、デジタルカメラ等で撮像した画像は、たとえば人物や海、空、建物その他の背景等を含むものである。その画像の中からその人物や背景等の画像データが１つのオブジェクトとして抽出できれば、オブジェクト毎に異なる画像処理を行うことが可能となる（あるいは、そのオブジェクトだけを分離して、ユーザに提示することもできる）。
【０００７】
画像データから自動的にオブジェクト領域を抽出する場合、画像各部の画像データの特徴量を分類した後、この分類結果を利用して画像情報を分割してオブジェクトを自動的に抽出することが提案されている。すなわち、１つのオブジェクトを構成する画像データは、色情報、テクスチャ情報、ウェーブレット係数等の特徴量が類似したものとなっている。この性質を利用すれば、画像データをオブジェクト領域毎に領域分割することができる。特徴量を分類する際に、画像圧縮等で利用されるベクトル量子化の手法が用いられる。ベクトル量子化は、特徴量を軸とした特徴ベクトル空間における領域分割方法であり、類似した特徴量を持つ画素ベクトルを分類するために有効な手段である。具体的には、画像の各画素に対する複数の特徴量が抽出されて、各特徴量を要素とした複数の特徴ベクトルが生成される。その後、複数の特徴ベクトルを類似する特徴ベクトル毎に分類する（クラスタリング）。そして、クラスタリングされた結果に基づいて、画像データが分類されて複数の画像領域に領域分割される。
ここで、ＭＰＥＧ方式で圧縮される動画は複数の画像フレームから構成されているが、このような、複数の画像フレームで構成された画像群であっても、上述したベクトル量子化を利用すれば、各画像フレームからオブジェクトを抽出することが可能である。例えば、画像フレームからオブジェクト領域を抽出する際、画像フレーム毎にそれぞれ分類パラメータを生成して、画像フレーム毎にオブジェクト領域を抽出することが考えられる（例えば、特許文献２参照）
【特許文献１】特開２００４−２４７８８８号公報
【特許文献２】特開２００４−８６５４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ＭＰＥＧ方式の動画像処理において、ある特定のオブジェクトを検出し、そのオブジェクトに対して様々な画像処理を施す場合（例えば、人物の顔を抽出して、その顔色が最適化されるように自動露光調整（ＡＥ），自動合焦処理（ＡＦ），自動白バランス調整（ＡＷＢ）等の画像処理を実施する場合）、その特定オブジェクトの抽出処理（オブジェクト位置の検出処理）をフレーム毎に実施する必要がある。
【０００９】
動画像の場合、オブジェクト抽出処理（オブジェクト位置検出処理）を非常に高速に行う必要があることから、回路の負担が大きくなり、回路規模および消費電力が増大し、また、コスト上昇を招くことが懸念される。
【００１０】
本発明はこのような考察に基づいてなされたものであり、その目的は、ＭＰＥＧ方式の再生動画像に対してオブジェクト抽出処理（オブジェクト位置検出処理）を実施する際に、回路の負担を軽減し、回路規模および消費電力を低減し、コスト上昇を抑制することにある。
【課題を解決するための手段】
【００１１】
本発明の画像処理装置に係る上記目的は、下記構成によって達成される。
（１）動画像をＭＰＥＧ方式により符合化して記録し、また、符号化された動画像を再生すると共に、動画像中から特定のオブジェクトを抽出して、そのオブジェクトに対して所定の画像処理を施すことが可能な画像処理装置であって、再生された動画像を構成する、Ｉフレームならびに、そのＩフレームに連続するＰフレームおよびＢフレームの各々のフレームから前記特定のオブジェクトを抽出するに際し、前記Ｉフレームについては、所定の方法によって前記オブジェクトを抽出してその座標を検出し、前記ＰフレームおよびＢフレームについては、前記Ｉフレームにおいて求められた前記オブジェクトを含むマクロブロックの動きベクトルを援用することによって、前記オブジェクトの座標を検出するオブジェクト座標検出部と、このオブジェクト座標検出部によって検出された前記オブジェクトの座標を用いて、再生されたＩフレーム，ＰフレームおよびＢフレームの各フレームにおけるオブジェクト位置を特定し、そのオブジェクトに対して前記所定の画像処理を実施する画像処理部と、を有することを特徴とする画像処理装置。
【００１２】
この構成によれば、Ｉフレームでは所定方法によりオブジェクトを抽出して座標位置を検出し、Ｉフレーム以外のフレーム（Ｐフレーム，Ｂフレーム）では、そのオブジェクトを含むマクロブロックの動きベクトルを利用してオブジェクトの座標位置を特定する。すなわち、ＭＰＥＧでは、動き補償（予測誤差を減らすために、マクロブロックを単位として前後のフレームを比較して物体の動きを検出し、前フレーム中の物体を動き量だけずらしてから次のフレームを予測する操作）を伴う予測符号化を行っており、Ｉフレームにて上記オブジェクトが抽出できれば、後続のＰ，Ｂフレームについては、わざわざオブジェクト抽出処理をしなくても、そのオブジェクトを含むマクロブロックがどのように動いているかを動きベクトルにより知ることによって、オブジェクトの座標位置を推定することが可能である。これによって、オブジェクトの座標検出をフレーム毎に行う必要がなくなり、フレーム毎にオブジェクトの座標を検出する場合に比べて処理速度が低速でよいことになり、回路やソフトの負担が軽減され、回路規模の削減、回路の低消費電力化ならびに低コスト化が実現される。そして、再生された動画像から抽出された（座標位置が検出された）オブジェクトに対して、多様な画像処理を効率的に実施すること（例えば、人物の顔を抽出して、その顔色が最適化されるように自動露光調整（ＡＥ），自動合焦処理（ＡＦ），自動白バランス調整（ＡＷＢ）等の画像処理を実施すること）ができる。
【００１３】
（２）  （１）記載の画像処理装置であって、動きベクトルの検出単位である一つの前記マクロブロック内に前記オブジェクトが完全に含まれるときは、前記オブジェクト座標検出部は、Ｐ，Ｂの各フレームに関して、そのマクロブロックの動きベクトルを前記オブジェクトの動きベクトルと等価であるとみなして前記オブジェクトの座標を検出し、また、前記オブジェクトが複数のマクロブロックにまたがるときは、その複数のマクロブロックの各々の動きベクトルを比較し、一致する数が最も多い動きベクトルを、前記オブジェクトの動きベクトルと等価であるとみなして前記オブジェクトの座標を検出することを特徴とする画像処理装置。
【００１４】
ＭＰＥＧの動きベクトルはマクロブロック（例えば、１６画素×１６画素のブロック）の動きを示すものであるが、オブジェクトが一つのマクロブロックに完全に内包されているのであれば、そのオブジェクトの動きはマクロブロックの動きに一致するはずであるから、マクロブロックの動きベクトルを援用してオブジェクトの座標位置を正確に推定することができる。オブジェクトが複数のマクロブロックにまたがる場合でも、それらの複数のマクロブロックは局所的にまとまっている画像であるから、通常は、各々のマクロブロックは同じように推移して動きベクトルは一致するはずであり、この場合には、その一致する動きベクトルどおりにオブジェクトも移動していると推定することができる。例外的に、複数のマクロブロックのうちの一部が他のマクロブロックとは異なる動きを示す場合、動きベクトルが完全には一致しなくなるが、この場合には、一致する数が最も多い動きベクトルを選択し、その動きベクトルによってオブジェクトの動きを推定する。これによって、マクロブロックとオブジェクトの大小関係や相対的位置関係がどのようなものであっても、ＭＰＥＧの動きベクトルを利用してオブジェクトの座標位置を特定することが可能となる。
【発明の効果】
【００１５】
本発明によれば、Ｉフレームでは所定方法によりオブジェクトを抽出して座標位置を検出し、Ｉフレーム以外のフレーム（Ｐフレーム，Ｂフレーム）では、そのオブジェクトを含むマクロブロックの動きベクトルを利用してオブジェクトの座標位置を特定し、これによって、オブジェクトの座標検出をフレーム毎に行う必要がなくなる。したがって、フレーム毎にオブジェクトの座標を検出する場合に比べて処理速度が低速でよいことになり、回路やソフトの負担が軽減され、回路規模の削減、回路の低消費電力化ならびに低コスト化が実現される。
【００１６】
したがって、再生された動画像から抽出された（座標位置が検出された）オブジェクトに対して多様な画像処理を効率的に実施すること（例えば、人物の顔を抽出して、その顔色が最適化されるように自動露光調整（ＡＥ），自動合焦処理（ＡＦ），自動白バランス調整（ＡＷＢ）等の画像処理を実施すること）が可能となる。
【００１７】
また、オブジェクトが複数のマクロブロックにまたがる場合であって、複数のマクロブロックのうちの一部が他のマクロブロックとは異なる動きを示すときには、一致する数が最も多い動きベクトルを選択し、その動きベクトルによってオブジェクトの動きを推定することによって、マクロブロックとオブジェクトの大小関係や相対的位置関係がどのようなものであっても、ＭＰＥＧの動きベクトルを利用してオブジェクトの座標位置を特定することが可能となる。
【発明を実施するための最良の形態】
【００１８】
次に、本発明の実施形態について、図面を参照して説明する。
（第１の実施形態）
【００１９】
図１は、本発明のＭＰＥＧ方式の動画像の圧縮／再生／記録の各機能をもつデジタルカメラの概略構成を示すブロック図である。
【００２０】
図示されるように、デジタルカメラ１００は、撮影部１と、アナログ信号処理部２と、Ａ／Ｄ変換部３と、駆動部４と、デジタル信号処理部６と、圧縮／伸長処理部７と、表示部８と、システム制御部９と、内部メモリ１０と、メディアインタフェース１１と、記録メディア１２と、操作部１３とを備える。デジタル信号処理部６、圧縮／伸長処理部７、表示部８、システム制御部９、内部メモリ１０およびメディアインタフェース１１は、システムバス１９に接続されている。
【００２１】
撮影部１は、撮影レンズ１ａ、絞り１ｂ、シャッタ１ｃ、及び撮像デバイス１ｄを内蔵している。撮影レンズ１ａは、被写体の光学像を絞り１ｂ及びシャッタ１ｃを通して撮像デバイス１ｄの受光面に結像させる。絞り１ｂは、撮像デバイス１ｄの受光面に到達する光量を調節する。シャッタ１ｃは、操作部１３に含まれるレリーズボタンが押下されると作動し、設定されたシャッタスピードで撮像デバイス１ｄの受光面を露光する。撮像デバイス１ｄは、受光した被写体の光学像を画像信号に変換し、アナログ信号処理部２に出力するものであり、ＣＣＤやＣＭＯＳ等の撮像素子が用いられる。
【００２２】
撮影に際しては、駆動部４を介して撮影レンズ１ａ、絞り１ｂ、シャッタ１ｃ、及び撮像デバイス１ｄの制御が行われる。撮像素子として利用されるＣＣＤイメージセンサ等の固体撮像素子は、レリーズボタンの押下操作を契機として、所定のタイミングで、駆動部４に含まれるタイミングジェネレータ（図１ではＴＧと記載）からの駆動信号によって駆動される。駆動部４は、システム制御部９によって設定された撮影条件に基づいて、撮影レンズ１ａ、絞り１ｂ、シャッタ１ｃ、及び撮像デバイス１ｄを駆動する。
【００２３】
アナログ信号処理部２は、撮影部１で得られた撮像信号に所定のアナログ信号処理を施す。Ａ／Ｄ変換部３は、アナログ信号処理部２で処理後のアナログ信号をデジタル信号に変換する。Ａ／Ｄ変換部３の出力は、いわゆるＲＡＷ画像データとしてデジタル信号処理部６に送られる。
【００２４】
デジタル信号処理部６は、Ａ／Ｄ変換部３からのデジタル画像データに対して、操作部１３によって設定された動作モードに応じた所定のデジタル信号処理を行う。
【００２５】
圧縮／伸長処理部７は、デジタル信号処理部６で得られたＹ／Ｃデータに対して圧縮処理を施すとともに、記録メディア１２から得られた圧縮画像データに対して伸長処理を施す。
【００２６】
表示部８は、例えばＬＣＤ表示装置を含んで構成され、撮影されてデジタル信号処理を経た画像データに基づく画像を表示する。記録メディア１２に記録された圧縮画像データを伸長処理して得た画像データに基づく画像の表示も行う。また、撮影時のスルー画像、デジタルカメラの各種状態、操作に関する情報の表示等も可能である。
【００２７】
システム制御部９は、所定のプログラムによって動作するプロセッサを主体に構成され、撮影動作を含むデジタルカメラ１００全体の制御を行う。
【００２８】
システム制御部９は、撮影部１による動画撮影時および静止画撮影時の撮影条件（例えば、撮影レンズ１ａのレンズ位置、絞り１ｂの絞り値、シャッタ１ｃのシャッタ速度、及びホワイトバランスゲイン等）を、撮影部１から得られる画像信号を利用して設定する。
【００２９】
システム制御部９は、上記設定した撮影条件に基づいて駆動部４を介して撮影レンズ１ａを移動させて自動でピントを合わせるＡＦ（Auto Focus）制御機能と、上記設定した撮影条件に基づいて駆動部４を介して自動で露出を制御するＡＥ（Auto Exposure）制御機能と、上記設定した撮影条件に基づいて自動でホワイトバランス調整制御を行うＡＷＢ（Auto White Balance）調整制御機能と、撮影部１に対し動画撮影と静止画撮影とをこの順番で連続して行わせる撮影制御を行う撮影制御機能とを有する。
【００３０】
システム制御部９はセルフタイマ機能を有しており、このセルフタイマ機能と撮影制御機能とを合わせて実行することが可能である。この場合、デジタルカメラ１００は、セルフタイマが設定されてから静止撮影が行われるまでの間に動画撮影を行い、セルフタイマに基づく撮影時間になると静止画撮影を行うことができる。
【００３１】
内部メモリ１０は、例えばＤＲＡＭであり、デジタル信号処理部６やシステム制御部９のワークメモリとして利用される他、記録メディア１２に記録される撮影画像データを一時的に記憶するバッファメモリとして利用される。内部メモリ１０は、システム制御部９の撮影制御機能に基づく動画撮影開始時に設定される撮影条件を記憶する。
【００３２】
メディアインタフェース１１は、メモリカード等の記録メディア１２との間のデータの入出力を行う。
【００３３】
操作部１３は、デジタルカメラ使用時の各種操作を行うものであり、撮影を行うためのレリーズボタンも含まれる。
【００３４】
図１のデジタルカメラ１００は、再生された動画の各フレームから特定のオブジェクトを抽出し、そのオブジェクトに対して所定の画像処理を行う機能をもつ。
【００３５】
動画圧縮／再生システムにおいて、特定オブジェクト（例えば顔）に対して画像処理（例えば、ＡＦ／ＡＥ／ＡＷＢの各処理）を施す必要があるアプリケーションを構築する場合には、通常は、図２（ａ）に示すように、フレーム毎に、そのオブジェクトの座標位置を検出する必要がある。図２（ａ）において、Ｆ１〜Ｆ３は連続するフレームであり、例えば、Ｆ１はＩフレームであり、Ｆ２はＰフレームであり、Ｆ３はＢフレームである。また、Ｂは、抽出対象である顔（オブジェクト）である。
【００３６】
また、動画圧縮を行う場合、図２（ｂ）に示すように、マクロブロックを単位として動きベクトルを検出し、動き補償によって圧縮効率を高める手法が一般的に使用されている。図２（ｂ）では、マクロブロックＡについての動きベクトルが矢印で示されている。
【００３７】
図１のビデオカメラ１００では、再生された動画の各フレームから特定のオブジェクトを抽出するに際して、フレーム毎に特徴ベクトルを用いたオブジェクト抽出処理を実施するのではなく、動画像の圧縮／再生のために算出される動きベクトルを援用して、オブジェクトの座標位置を推定し、これによって、オブジェクトの座標位置検出処理の負担を軽減する。
【００３８】
図３は、図１のビデオカメラの構成から、オブジェクト抽出およびオブジェクトに対する画像処理に関連する部分を抜き出しして示すブロック図である。図３において、図１と共通する部分には、同じ参照符号を付してある。
【００３９】
図３に示すように、圧縮／伸長処理部７は、伸長処理用の回路構成として、逆量子化部２０と、ＩＤＣＴ（逆離散コサイン変換）回路２１と、参照画像と差分画像を重ね合わせて画像を復元する加算器２２と、復元された画像を一時的に蓄積するフレームメモリ２３と、
動きベクトルを復号する動きベクトル復号部２５と、復号された動きベクトルを用いて、フレームメモリ２３から出力される画像の動き補償を行い参照画像を得る動き補償部２４と、を有する。
【００４０】
また、再生された動画中から特定のオブジェクトを抽出して、その座標位置を検出するために、図３の回路では、２つのオブジェクト抽出部（２６，２００）を用意している。オブジェクト抽出部２００は、特徴ベクトルによるマッチング処理を用いて、Ｉフレームからオブジェクトを抽出する。オブジェクト抽出部２６は、Ｉフレーム以外のフレーム（Ｐフレーム，Ｂフレーム）に関して、直前のＩフレームで検出されたオブジェクトを含むマクロブロックの動きベクトルを利用して、そのオブジェクトの座標位置を特定する。以下の説明では、抽出されるオブジェクトは一例として人の顔とする。
【００４１】
ＡＷＢ調整回路３００は、２つのオブジェクト抽出部（２６，２００）から送られてくる顔の座標情報（Ｓ１，Ｓ２）を参照して顔を識別し、その顔の色が最適な色合いになるようにホワイトバランスを自動調整する。位置情報Ｓ１は、復号前のＰ／Ｂフレームに対応する、復号後のフレームの情報である。なお、ここでのＡＷＢ調整はあくまで一例としての実施である。
【００４２】
図３のオブジェクト抽出部２００では、復号前のＩフレームに対応する復号後のフレームを画像メモリ２０２に蓄積し、そのフレームの画像の特徴量を、特徴量抽出部２０４にて抽出する。特徴ベクトル生成部２０６では、特徴量を基にして特徴ベクトルが生成される。そして、マッチング処理部２０８では、コードブック２１０に蓄積されている顔の特徴パラメータとのマッチング処理（類似度判定）がなされ、これによってオブジェクトとしての顔が抽出され、オブジェクト座標検出部２１２にて、オブジェクトとしての顔の座標位置が検出される。検出された座標情報Ｓ２（復号前のＩフレームに対応する、複号後のフレーム）は、ＡＷＢ調整回路３００に与えられ、また、同じく座標情報Ｓ３は、Ｐ，Ｂフレーム用のオブジェクト抽出部２６に与えられる。
【００４３】
オブジェクト抽出部２６は、オブジェクト抽出部２００から与えられる座標情報Ｓ３によって、Ｉフレームにおける顔の座標位置がわかると、オブジェクトである顔の座標情報を、動きベクトル復号部２５に渡す。
【００４４】
動きベクトル復号部２５は、渡された座標情報に位置する顔（オブジェクト）を含むマクロブロック（例えば、１６画素×１６画素のブロック）についての動きベクトルの情報を、オブジェクト抽出部２６に送る。
【００４５】
オブジェクト抽出部２６は、動きベクトル復号部２５から送られてきた動きベクトル情報を援用して、顔（オブジェクト）のＰ，Ｂフレームにおける座標を推定（特定）し、特定された座標情報Ｓ１を、ＡＷＢ調整回路３００に送る。
【００４６】
このように、図３の回路では、Ｉフレームでは特徴ベクトルを用いてオブジェクト（顔）を抽出して座標位置を検出し、Ｉフレーム以外のフレーム（Ｐフレーム，Ｂフレーム）では、そのオブジェクトを含むマクロブロックの動きベクトルを利用してオブジェクトの座標位置を特定する。すなわち、ＭＰＥＧでは、動き補償（予測誤差を減らすために、マクロブロックを単位として前後のフレームを比較して物体の動きを検出し、前フレーム中の物体を動き量だけずらしてから次のフレームを予測する操作）を伴う予測符号化を行っている。Ｉフレームで上記オブジェクトが抽出できれば、後続のＰ，Ｂフレームについては、わざわざオブジェクト抽出処理をしなくても、そのオブジェクトを含むマクロブロックがどのように動いているかを動きベクトルにより知ることによって、オブジェクトの座標位置を推定することが可能となる。これによってオブジェクトの座標検出をフレーム毎に行う必要がなくなり、フレーム毎にオブジェクトの座標を検出する場合に比べて処理速度が低速でよいことになる。よって、回路やソフトの負担が軽減され、回路規模の削減、回路の低消費電力化ならびに低コスト化が実現される。
【００４７】
そして、再生された動画像から抽出された（座標位置が検出された）オブジェクトに対して、多様な画像処理を効率的に実施すること（例えば、人物の顔を抽出して、その顔色が最適化されるように自動白バランス調整（ＡＷＢ）を実施すること）ができる。
【００４８】
図４（ａ），（ｂ）は各々、マクロブロックについての動きベクトルを、抽出対象であるオブジェクトの座標位置の推定に援用する具体的な方法を説明するための図であり、（ａ）は、オブジェクトが一つのマクロブロックに内包される場合を示し、（ｂ）は、オブジェクトが複数のマクロブロックにまたがる場合を示す。
【００４９】
ＭＰＥＧの動きベクトルはマクロブロック（例えば、１６画素×１６画素のブロック）の動きを示すものであるが、図４（ａ）に示すように、オブジェクト（ＯＢ１）がマクロブロック（Ｍ１）に完全に内包されているのであれば、そのオブジェクト（ＯＢ１）の動きはマクロブロックの動きに一致するはずであり、ゆえに、オブジェクトの動きベクトル（Ｖ２）はマクロブロックの動きベクトル（Ｖ１）に一致する。したがって、マクロブロック（Ｍ１）についての動きベクトル（Ｖ１）を援用してオブジェクトの座標位置を正確に推定することができる。
【００５０】
また、図４（ｂ）に示すように、オブジェクト（ＯＢ２）が複数のマクロブロック（Ｍ２〜Ｍ５）にまたがる場合でも、それらの複数のマクロブロック（Ｍ２〜Ｍ５）は局所的にまとまっている画像であるから、通常は、各々のマクロブロック（Ｍ２〜Ｍ５）は同じように推移して動きベクトル（Ｖ３〜Ｖ６）は一致するはずであり、この場合には、その一致する動きベクトルどおりにオブジェクトも移動していると推定することができる。
【００５１】
ただし、図４（ｂ）では、例外的に、複数のマクロブロックのうちの一部（Ｍ３）が他のマクロブロック（Ｍ２，Ｍ４，Ｍ５）とは異なる動きを示しており、マクロブロックの動きベクトル（Ｖ４）は、他のマクロブロック（Ｍ２，Ｍ４，Ｍ５）の動きベクトル（Ｖ３，Ｖ５，Ｖ６）とは一致しない。このような場合には、各動きベクトル（Ｖ３，Ｖ４，Ｖ５，Ｖ６）を比較し、一致する数が最も多い動きベクトル（Ｖ３，Ｖ５，Ｖ６）を選択し、その動きベクトル（Ｖ３，Ｖ５，Ｖ６のいずれか）によってオブジェクト（ＯＢ２）の動きを推定する。
【００５２】
このような方式を採用することによって、マクロブロックとオブジェクトの大小関係や相対的位置関係がどのようなものであっても、ＭＰＥＧの動きベクトルを利用してオブジェクトの座標位置を特定することが可能となる。
【００５３】
以上の説明では、デコーダ側（復号側）にてオブジェクト検出を行っているが、エンコーダ側（圧縮側）で同様の手法にてオブジェクト検出を行い、そのオブジェクトの動きベクトルを、エンコーダ側からデコーダ側に送るようなシステム構成を採用することもできる。
【００５４】
以上説明したように本発明によれば、Ｉフレーム以外のフレーム（Ｐフレーム，Ｂフレーム）では、オブジェクトを含むマクロブロックの動きベクトルを利用してオブジェクトの座標位置を特定することによって、オブジェクトの座標検出をフレーム毎に行う必要がなくなり、回路やソフトの負担が軽減され、回路規模の削減、回路の低消費電力化ならびに低コスト化が実現される。
【００５５】
したがって、再生された動画像から抽出されたオブジェクトに対して様々な画像処理を効率的に実施することが可能となる。
【産業上の利用可能性】
【００５６】
本発明は、ＭＰＥＧ方式の再生動画像から抽出されたオブジェクトに対して様々な画像処理を効率的に実施することを可能とするという効果を奏し、したがって、ＭＰＥＧ方式により圧縮して記録し、再生すると共に、動画像中から特定のオブジェクトを検出して、そのオブジェクトに対して所定の画像処理を施すことが可能な画像処理装置（例えば、固体撮像素子を利用したデジタルカメラ、デジタルムービビデオカメラ等）に用いて好適である。
【図面の簡単な説明】
【００５７】
【図１】本発明のＭＰＥＧ方式の動画像の圧縮／再生／記録の各機能をもつデジタルカメラの概略構成を示すブロック図である。
【図２】（ａ）は、ＭＰＥＧ方式の再生画像中からオブジェクトを抽出する、通常の方法を説明するための図、（ｂ）は、ＭＰＥＧ圧縮における動きベクトルについて説明するための図である。
【図３】図１のビデオカメラの構成から、オブジェクト抽出およびオブジェクトに対する画像処理に関連する部分を抜き出しして示すブロック図である。
【図４】（ａ），（ｂ）は各々、マクロブロックについての動きベクトルを、抽出対象であるオブジェクトの座標位置の推定に援用する具体的な方法を説明するための図であり、（ａ）は、オブジェクトが一つのマクロブロックに内包される場合を示す図、（ｂ）は、オブジェクトが複数のマクロブロックにまたがる場合を示す図である。
【図５】Ｉ、Ｐ、Ｂ画像を用いて圧縮した動画像の画像構成例を示す図である。
【符号の説明】
【００５８】
１  撮影部
２  アナログ信号処理部
３  Ａ／Ｄ変換部
４  駆動部
６  デジタル信号処理部
７  圧縮／伸長処理部
８  表示部
９  システム制御部
１０  内部メモリ
１１  メディアインタフェース
１２  記録メディア
１３  操作部
１９  システムバス
２０  逆量子化部
２１  ＩＤＣＴ（逆離散コサイン変換）部
２２  加算器
２３  フレームメモリ
２４  動き補償部
２５  動きベクトル復号部
２６  オブジェクト抽出部（Ｐ，Ｂフレーム用）
１００  デジタルカメラ
２００  オブジェクト抽出部（Ｉフレーム用）
２０２  画像メモリ
２０４  特徴量抽出部
２０６  特徴ベクトル生成部
２０８  マッチング処理部
２１０  コードブック
２１２  オブジェクト座標検出部
３００  ＡＷＢ調整回路
【図１】
2007214886.tif 000003
【図２】
2007214886.tif 000004
【図３】
2007214886.tif 000005
【図４】
2007214886.tif 000006
【図５】
2007214886.tif 000007