(57)【特許請求の範囲】
【請求項１】
動画像を構成するフレームの１つである第１のフレームと、時系列的に前記第１のフレームより後の第２のフレームとを比較して、前記第１及び第２のフレームに含まれており前記第１及び第２のフレーム間で移動している移動物体の領域を抽出する移動物体領域抽出方法であって、
前記移動物体を含むように前記第１のフレームから第１の画像を、前記第２のフレームから第２の画像を切り出すステップと、
前記第１の画像内の前記移動物体と前記第２の画像内の前記移動物体とが重なるように、前記第１又は第２の画像を第３の画像に変換する第１の変換パラメータを推定するステップと、
前記第１の変換パラメータを基にして、前記第１又は第２の画像を前記第３の画像に変換し、前記移動物体の位置が重なるように位置合わせを行う第１の変換ステップと、
前記第１の画像及び前記第３の画像、又は、前記第２の画像及び前記第３の画像に関して、前記画像の各画素において、前記各画素を中心とし、その周囲に位置する複数の画素を含む所定領域内で、前記中心となる画素の輝度値とそれ以外の画素の輝度値との相対的な関係を求める第２の変換ステップと、
前記第２の変換ステップで求められた前記相対的な関係を基にして、前記第１の画像と前記第３の画像との間で対応する画素、又は、前記第２の画像と前記第３の画像との間で対応する画素の間で前記相対的な関係の比較を行う比較ステップと、
前記比較ステップで前記相対的な関係が一致しているものが多い画素を、前記移動物体を構成する画素の候補とするステップとを、
有する移動物体領域抽出方法。
【請求項２】
前記第１の変換パラメータが、前記第１の画像内の前記移動物体と前記第２の画像内の前記移動物体とがサブピクセルレベルで重なるように推定されたアフィンパラメータであり、前記第１の変換がアフィン変換であることを特徴とする請求項１に記載の移動物体領域抽出方法。
【請求項３】
前記相対的な関係が、前記画像の画素の輝度値と前記画像の画素を中心とする所定のブロック内の画素の輝度値とを比較したものであって、前記所定のブロック内の画素が前記画像の画素より小さい場合には１、等しいか大きい場合には０と定めるセンサス変換により求められることを特徴とする請求項１又は２に記載の移動物体領域抽出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ＭＰＥＧ（Moving Picture Experts Group）４を始めとするオブジェクトベースの符号化ほか、実写画像と別の実写画像又はＣＧ（Computer Graphics:コンピュータグラフィックス）などとの合成を行うコンテンツ製作全般において、画像の輝度を参照して移動物体の輪郭又は領域を抽出する移動物体領域抽出方法に関する。
【０００２】
【従来の技術】
従来、動画像のシーンにおける移動物体の領域の抽出では、フレーム間で移動物体の画素又は画素近傍領域の輝度値を直接照合し、一致した部分をその移動物体の領域とするという考え方が基本となっている。また、背景が静止シーンの場合は、背景の輝度値を照合する背景差分が用いられることもある。この背景差分は、照合を行う領域に背景を用いるもので、移動物体における輝度値の照合と本質的には同一である。
【０００３】
図１６は、後述のフレームＡ（図２）及びフレームＢ（図３）のボート部分の領域を抽出して、従来の方法で輝度値を照合した画像の一例である。なお、この図１６は、図１３（Ｂ）に示す本発明の移動物体領域抽出方法により抽出された画像に対応している。なお、この図１６に示す画像は、２つのフレームを１画素単位にシフトしながら、９画素×９画素ブロックについて輝度値の差が一定範囲内になっている画素の数で照合を行ったもので、ボートの移動量である１０画素シフトのときの検出結果である。
【０００４】
【発明が解決しようとする課題】
しかしながら、輝度値を直接照合する場合、背景の輝度が物体の輝度に近い場合や、フレーム間で物体の輝度値が変動した場合などは、移動物体の輪郭又は領域の抽出が困難になり、失敗することが多い。また、成功した場合でも、移動物体の輪郭の精度は悪くなり、精度を補填するために複雑な事後処理が必要になることがある。
【０００５】
上記課題を解決するために、本発明は、背景の輝度値が移動物体の輝度値に近い場合や、フレーム間で移動物体の輝度値が変動した場合でも、精度の高い移動物体の領域の推定・抽出を可能とすることを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、本発明では、時系列的に前後する二つのフレームの双方について、対象となる移動物体を含むように画像を切り出し、それらの２つの画像において、移動物体が重なるように変換し、さらに２つの画像の各画素において、その画素近傍の画素の輝度値の相対的な関係を求めて、その相対的な関係が一致しているものが多い画素を移動物体の領域の候補としている。
【０００７】
すなわち、本発明によれば、動画像を構成するフレームの１つである第１のフレームと、時系列的に前記第１のフレームより後の第２のフレームとを比較して、前記第１及び第２のフレームに含まれており前記第１及び第２のフレーム間で移動している移動物体の領域を抽出する移動物体領域抽出方法であって、
前記移動物体を含むように前記第１のフレームから第１の画像を、前記第２のフレームから第２の画像を切り出すステップと、
前記第１の画像内の前記移動物体と前記第２の画像内の前記移動物体とが重なるように、前記第１又は第２の画像を第３の画像に変換する第１の変換パラメータを推定するステップと、
前記第１の変換パラメータを基にして、前記第１又は第２の画像を前記第３の画像に変換し、前記移動物体の位置が重なるように位置合わせを行う第１の変換ステップと、
前記第１の画像及び前記第３の画像、又は、前記第２の画像及び前記第３の画像に関して、前記画像の各画素において、前記各画素を中心とし、その周囲に位置する複数の画素を含む所定領域内で、前記中心となる画素の輝度値とそれ以外の画素の輝度値との相対的な関係を求める第２の変換ステップと、
前記第２の変換ステップで求められた前記相対的な関係を基にして、前記第１の画像と前記第３の画像との間で対応する画素、又は、前記第２の画像と前記第３の画像との間で対応する画素の間で前記相対的な関係の比較を行う比較ステップと、
前記比較ステップで前記相対的な関係が一致しているものが多い画素を、前記移動物体を構成する画素の候補とするステップとを、
有する移動物体領域抽出方法が提供される。
【０００８】
さらに、前記第１の変換パラメータが、前記第１の画像内の前記移動物体と前記第２の画像内の前記移動物体とがサブピクセルレベルで重なるように推定されたアフィンパラメータであり、前記第１の変換がアフィン変換であることは、本発明の好ましい態様である。
【０００９】
さらに、前記相対的な関係が、前記画像の画素の輝度値と前記画像の画素を中心とする所定のブロック内の画素の輝度値とを比較したものであって、前記所定のブロック内の画素が前記画像の画素より小さい場合には１、等しいか大きい場合には０と定めるセンサス変換により求められることは、本発明の好ましい態様である。
【００１０】
【発明の実施の形態】
以下、図面を参照しながら、本発明の移動物体領域抽出方法について説明する。図２は、動画像を構成するフレームのうちの１枚（フレームＡ）であり、図３は、図２に示すフレームＡの４フレーム後のフレーム（フレームＢ）である。これらのフレームには、陸地の背景とボートが撮像されている。なお、図３のフレームは図２のフレームに比べて、ボートは右に約１０画素分だけ水平移動しており、水面の波は左に移動している。
【００１１】
次に、上記のフレームＡ及びフレームＢを例として、本発明の移動物体領域抽出方法の各ステップについて説明する。図１は、本発明の移動物体領域抽出方法に係る一実施形態を説明するためのフローチャートである。まず、ステップＳ１において、移動物体（以下、オブジェクトと呼ぶこともある）を含むように、フレームＡ（第１のフレーム）からウィンドウＡ（第１の画像）を、フレームＢ（第２のフレーム）からウィンドウＢ（第２の画像）を切り出す。図４及び図５は、図２及び図３のそれぞれのフレームから、撮像されているボート（オブジェクト）部分を切り出した２９０画素×１００画素の小画像である。この小画像の切出しにより、計算コストの削減、余分な領域の誤検出防止などが可能となる。
【００１２】
次に、ステップＳ２において、ウィンドウＡ内のオブジェクトとウィンドウＢ内のオブジェクトとがサブピクセル精度で重なるようなアフィンパラメータの推定を行い、アフィン変換を行う。
【００１３】
このステップＳ２のアフィンパラメータの推定では、ウィンドウＡの画素（ｘ，ｙ）とウィンドウＢの画素（ｘ’，ｙ’）との関係が
ｘ’＝ａｘ＋ｂｙ＋ｃ
ｙ’＝ｄｘ＋ｅｙ＋ｆ
のようなアフィン変換で表されるものとし、ある領域の所定の画素数以上で、２つのウィンドウの画素（ｘ，ｙ）と（ｘ’，ｙ’）の輝度差が所定の閾値以下となるもののうち、最大の一致を見るようなパラメータセット（ａ，ｂ，ｃ，ｄ，ｅ，ｆ）の探索を行う。
【００１４】
まず、パラメータｃ及びｆについての探索を行う。増減量をβとして、パラメータｃをｃ−β、 ｃ、 ｃ＋βのように変化させて、照合画素数が増加するようにパラメータｃを更新する。パラメータｆについても同様であり、これらのパラメータｃ及びｆについての更新は、照合画素数の増加量が収束するまで繰り返されて、収束した段階でパラメータｃ及びｆを固定する。
【００１５】
次に、パラメータａ、ｂ、ｄ、ｅについての探索を行う。上記固定されたパラメータｃ及びｆを式に代入しておき、上記パラメータｃ及びｆの探索と同様に、増減量をαとして、パラメータａをａ−α、ａ、ａ＋αのように変化させて、照合画素数が増加するようにパラメータａを更新する。パラメータｂ、ｄ、ｅについても同様であり、これらのパラメータａ、ｂ、ｄ、ｅについての更新は照合画素数の増加量が収束するまで繰り返されて、収束した段階でパラメータａ、ｂ、ｅ、ｆを固定する。
【００１６】
以上により、アフィンパラメータ（ａ，ｂ，ｃ，ｄ，ｅ，ｆ）が決定される。
また、アフィン変換された画素が整数座標にならない場合は、隣接する４画素を基にして双一次内挿計算を行って定める。なお、上記のアフィンパラメータの推定法については、小松、岩間、齊藤：“古い映像フイルムの損傷の検出と修復”、信学論、J81-D-II No.8, pp.1912-1919 （１９９８）の３．３章に詳しく記載されている。
【００１７】
次に、ステップＳ３において、ウィンドウＡ又はウィンドウＢに関して、サブピクセル精度でオブジェクトの位置合わせを行って、輝度値の内挿計算（双１次内挿）を行う。なお、ステップＳ２のアフィンパラメータの推定及びステップＳ３の位置合わせを行うには、ウィンドウＡをアフィン変換してウィンドウＢ内のオブジェクトと位置合わせをすることも可能であり、また、ウィンドウＢをアフィン変換してウィンドウＡ内のオブジェクトと位置合わせをすることも可能である。ここでは、ウィンドウＢをアフィン変換してウィンドウＣを生成して、ウィンドウＡとウィンドウＣとのオブジェクトの位置合わせを行う場合を説明する。
【００１８】
図６は、図４に示すウィンドウＢにアフィン変換を施した画像（ウィンドウＣ）である。ウィンドウＣでは、ウィンドウＡの画像とその画像を生成する画素との相対位置関係が保持されておらず、最大で半画素分だけのずれが生じる。ステップＳ３で行われる位置合わせとは、ウィンドウＡの画像とその画像を生成する画素との相対位置関係を参照して、このウィンドウＣにおけるずれを修正するものである。
【００１９】
以下に、４つの典型的な具体例を示して、ステップＳ３で行われる位置合わせについて説明する。図７〜図１０は、「オリジナル」、「右に半画素ずれ」、「右に半画素ずれ」の位置合わせを行った「位置合わせ＋内挿結果」の局所的な画素配列を示す第１〜第４の典型的な例を示す模式図である。第１〜第４の典型的な例は、それぞれ「縦輪郭」、「斜め輪郭」、「縦ライン」、「斜めライン」を示すものであり、上段が輝度値、下段が正方形で囲んだ３画素×３画素ブロックのセンサス変換の結果を示している。センサス変換については、後で詳細に説明する。なお、「オリジナル」、「右に半画素ずれ」、「位置合わせ＋内挿結果」はそれぞれウィンドウＡ、ウィンドウＣ、位置合わせを行ったウィンドウＣに対応している。
【００２０】
また、図７〜図１０は、局所的な画素配列として３画素×３画素のブロックの領域を考え、「右に半画素ずれ」での画像と画素との相対位置関係が、「オリジナル」での画像と画素との相対位置関係に対して右に半画素分だけずれている場合を示すものである。簡単化のため、「オリジナル」では０又は１００のいずれかの輝度値が、「右に半画素ずれ」では０、２５、５０、７５、１００のいずれかの輝度値が、輪郭や線などを形成しているものとする。
【００２１】
「オリジナル」は、輝度値０又は１００の画素により構成される理想的な輪郭又は線である。輪郭又は線は、画素の上に定められているとし、点線で表されている。一方、「右に半画素ずれ」は、この輪郭又は線を含む物体が半画素ずれた状態にあるもので、点線の部分がずれたことにより、その左右の画素には輝度値５０が得られると仮定する。「位置合わせ＋内挿結果」は、「オリジナル」をずらした「右に半画素ずれ」でずれてしまった物体の位置合わせを行い、再び画素上に点線の部分がくるように一次内挿した結果である。なお、図８、図１０では、内挿計算は水平方向に近接した画素間で行われている。以上のようにして、位置合わせ＋内挿計算が行われる。
【００２２】
また、それぞれについて求められた輝度値に基づくセンサス変換（後述）の結果を見ると、半画素ずれで変換結果が変わってしまった部分も位置合わせと内挿計算により再び「オリジナル」と同一のセンサス変換の値を有することがわかる。したがって、サブピクセル精度で重なるような位置合わせは、正しい局所構造データを密に得るために有効であることがわかる。
【００２３】
次に、ステップＳ４において、ウィンドウＡ及びウィンドウＣの各画素に関して、所定のブロック（例えば９画素×９画素ブロック）１内でセンサス変換を行う。センサス変換は、非パラメトリック局所変換の一種であり、対象画素の近傍に存在する画素の輝度値が、対象画素の輝度値に対して小さいか否かを比較し、その結果を１又は０で記述するものである。これにより、画像の局所的な構造を概略的にビット列で表現することが可能となる。
【００２４】
図１１は、センサス変換の一例を示す模式図である。なお、ここでは所定のブロック（変換領域）１を３画素×３画素ブロックとしている。各画素には図１１の左に示す輝度値が与えられている。このとき、中央の画素に関してセンサス変換を行うと、中央の輝度値７５よりも小さい場合には１、それ以外の場合には０が与えられ、図１１の右に示す結果が得られる。なお、ここでは所定のブロック１を３画素×３画素ブロックとしているので、局所的構造のデータ量は８ビットであるが、本実施形態では所定のブロック（変換領域）１を９画素×９画素ブロックとしているため、各画素が８０ビットの局所的構造のデータを有することになる。
【００２５】
ウィンドウＡ及びウィンドウＣは、２９０画素×１００画素を有する画像である。したがって、各画素について９画素×９画素ブロックの変換領域１でセンサス変換を行った場合、画像の端の効果を無視すると、１つのウィンドウについて約２９０×１００×８０ビットのデータ量となる。なお、上記のセンサス変換については、Ramin Zabih and John Woodfill, “Non-parametric Local Transforms for Computing Visual Correspondence”, Lecture Notes in Computer Science, Vol. 801, Computer Vision − ECCV ’94.に詳しく記載されている。
【００２６】
ステップＳ５において、ウィンドウＡとウィンドウＣとの対応画素について、それぞれのセンサス変換の結果を参照して、センサス変換の結果（１又は０）の一致数をカウントし、ステップＳ６において、ステップＳ５でカウントされた一致数が所定値よりも多い画素を抽出する。具体的には、ウィンドウＡ及びウィンドウＣの各対応画素（同位置の画素）が有するセンサス変換の結果（８０ビット）の照合を行い、どのくらいそのセンサス変換の結果が一致しているかを比較する。そして、カウントされた一致数を各対応画素にあてはめて、新たに２９０画素×１００画素の画像を生成する。図１２は、局所構造データの一致度合いを輝度値で表現した画像である。なお、各画素の輝度値として一致ビット数の３倍の値を与えており、完全に照合している画素には輝度値は８０×３＝２４０の輝度値が与えられている。この輝度値の高い部分が移動物体が占める領域の候補となる。
【００２７】
次に、ステップＳ７において、ステップＳ６で抽出された画素に関して、ノイズ除去、最大領域抽出、穴埋め除去などの所定の各処理を行う。図１３は、ステップＳ７の処理の過程で得られる複数の画像である。具体的には図１２に示す画像をガウシアンフィルタで平滑化し（図１３（Ａ）に示す画像が得られる）、所定の閾値以上の大きさを有する領域を抽出し（図１３（Ｂ）に示す画像が得られる）、そのうちで最大の領域を抽出する（図１３（Ｃ）に示す画像が得られる）。なお、ステップＳ７での処理は、従来から行われているノイズ除去、最大領域抽出の処理と同一である。この図１３（Ｃ）の画像に穴埋め処理を施したものが、図１４に示す画像であり、さらに、テクスチャを切り出したものが、図１５に示す画像である。
【００２８】
また、前述の輝度値の照合により移動物体の領域を抽出する従来例（図１６）と比較して、図１３（Ｂ）に示される本発明の移動物体領域抽出方法により抽出された移動物体の領域のほうが、移動物体の輪郭の精度において優れていることがわかる。
【００２９】
【発明の効果】
以上説明したように、本発明によれば、時系列的に前後する二つのフレームの双方について、対象となる移動物体を含むように画像を切り出し、それらの２つの画像において、移動物体が重なるように変換し、さらに２つの画像の各画素において、その画素近傍の画素の輝度値の相対的な関係を求めて、その相対的な関係が一致しているものが多い画素を移動物体の領域の候補とするので、背景の輝度値が移動物体の輝度値に近い場合や、フレーム間で移動物体の輝度値が変動した場合でも、精度の高い移動物体の領域の推定が可能となる。
【図面の簡単な説明】
【図１】本発明の移動物体領域抽出方法に係る一実施形態を説明するためのフローチャートである。
【図２】動画像を構成するフレームのうちの１枚（フレームＡ）である。
【図３】図２に示すフレームＡの４フレーム後のフレーム（フレームＢ）である。
【図４】図２のフレームから、撮像されているボート（オブジェクト）部分を切り出した２９０画素×１００画素の小画像である。
【図５】図３のフレームから、撮像されているボート（オブジェクト）部分を切り出した２９０画素×１００画素の小画像である。
【図６】図４に示すウィンドウＢにアフィン変換を施した画像（ウィンドウＣ）である。
【図７】「オリジナル」、「右に半画素ずれ」、「右に半画素ずれ」の位置合わせを行った「位置合わせ＋内挿結果」の局所的な画素配列を示す第１の典型的な例を示す模式図である。
【図８】「オリジナル」、「右に半画素ずれ」、「右に半画素ずれ」の位置合わせを行った「位置合わせ＋内挿結果」の局所的な画素配列を示す第２の典型的な例を示す模式図である。
【図９】「オリジナル」、「右に半画素ずれ」、「右に半画素ずれ」の位置合わせを行った「位置合わせ＋内挿結果」の局所的な画素配列を示す第３の典型的な例を示す模式図である。
【図１０】「オリジナル」、「右に半画素ずれ」、「右に半画素ずれ」の位置合わせを行った「位置合わせ＋内挿結果」の局所的な画素配列を示す第４の典型的な例を示す模式図である。
【図１１】センサス変換の一例を示す模式図である。
【図１２】局所構造データの一致度合いを輝度値で表現した画像である。
【図１３】ステップＳ７の処理の過程で得られる複数の画像である。
【図１４】図１３（Ｃ）の画像に穴埋め処理を施した画像である。
【図１５】図１４に示す画像のテクスチャを切り出した画像である。
【図１６】フレームＡ（図２）及びフレームＢ（図３）のボート部分の領域を抽出して、従来の方法で輝度値を照合した画像の一例である。
【符号の説明】
１  所定のブロック（変換領域）
【図１】
0004669949.tif 000002
【図２】
0004669949.tif 000003
【図３】
0004669949.tif 000004
【図４】
0004669949.tif 000005
【図５】
0004669949.tif 000006
【図６】
0004669949.tif 000007
【図７】
0004669949.tif 000008
【図８】
0004669949.tif 000009
【図９】
0004669949.tif 000010
【図１０】
0004669949.tif 000011
【図１１】
0004669949.tif 000012
【図１２】
0004669949.tif 000013
【図１３】
0004669949.tif 000014
【図１４】
0004669949.tif 000015
【図１５】
0004669949.tif 000016
【図１６】
0004669949.tif 000017