(57)【要約】【課題】画像中のオブジェクトを自動的かつ正確に抽出できるようにする。【解決手段】画像をブロックに分割し（Ｓ１）、画像の左上から画像ブロックをスキャンしていき（Ｓ２）、２方向のエッジをもつブロックと１方向のエッジをもつブロックとの２種類のエッジブロックに分類し（Ｓ４，Ｓ５，Ｓ６）、ブロックのスキャンで最も早く現れたブロックを起点ブロックとする（Ｓ７）。起点ブロックの１つの変化点と残りの変化点との評価からオブジェクトの輪郭を形成するブロックが存在する方向を決定し、決定されたスキャン方向における隣接ブロック間の変化点の差分としきい値との大小比較で、次ブロックの変化点をオブジェクトの特徴点として決定する処理を繰り返すことで、画像中のオブジェクトを抽出する。抽出されたオブジェクトの各特徴点の動きベクトルからオブジェクト抽出の可否の判断材料とすることを含む。【選択図】　図１
2004021888.tif 000002
【特許請求の範囲】
【請求項１】
画像中のオブジェクトを自動的に抽出する方法であって、
画像を一様な大きさのブロックに分割する過程と、
前記分割されたブロックをスキャンしていき、各ブロックについて２方向のエッジが入っている第１のブロックと、１方向のみのエッジが入っている第２のブロックとの２種類のエッジブロックに分類する過程と、
前記第１のブロックに対しては３つの変化点の座標を求め、前記第２のブロックに対しては２つの変化点の座標を求める過程と、
前記ブロックのスキャンで最も早く現れたブロックを起点ブロックとし、この起点ブロックの１つの変化点と残りの変化点との評価からオブジェクトの輪郭を形成するブロックが存在する方向を決定する過程と、
前記決定されたスキャン方向における隣接ブロック間の変化点の差分としきい値との大小比較で、次ブロックの変化点をオブジェクトの特徴点として決定する過程と、
を繰り返すことで、画像中のオブジェクトを抽出することを特徴とするオブジェクトの抽出方法。
【請求項２】
前記評価は、
当該ブロック左上の座標とブロック内の変化点の座標を取得し、変化点の座標のうち、Ｘ軸の値がブロックの大きさと一致すれば隣接するブロック方向をＸ方向と判定し、一致しなければＹ軸の値がブロックの大きさと一致することで隣接するブロック方向をＹ方向と判定することを特徴とする請求項１に記載のオブジェクトの抽出方法。
【請求項３】
前記抽出されたオブジェクトの各特徴点の動きベクトルを求め、大部分の特徴点の動きベクトルが同じ方向にあるか否かによって、オブジェクト抽出の可否の判断材料とすることを特徴とする請求項１または２に記載のオブジェクトの抽出方法。
【請求項４】
前記特徴点の動きベクトルのうち、方向が異なる特徴点の動きベクトルは時間スパンを変えて判定することを特徴とする請求項３に記載のオブジェクトの抽出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像中のオブジェクト抽出方法に関する。
【０００２】
【従来の技術】
画像符号化の技術として、ＭＰＥＧ−２に比べて、より圧縮度を高めると共にマルチメディアに対応できるよう、映像をコンテンツ単位でハンドリングできるようにしたＭＰＥＧ−４が標準化され、その中で規定されているオブジェクトごとに符号化を行う方法が高圧縮率を得るためには不可欠な技術となっている。そのために画像からオブジェクトをいかに正確に抽出することができるかが重要な点である。
【０００３】
【発明が解決しようとする課題】
現在、画像からオブジェクトを抽出する方法は、ＭＰＥＧ−４でも具体的には規定されてなく、人の手で行っているのが現状である。すなわち、オブジェクト抽出が自動化されていないため、リアルタイムでの処理も不可能となり、汎用性に乏しいものになってしまう。
【０００４】
本発明の目的は、画像中のオブジェクトを自動的かつ正確に抽出できるようにしたオブジェクト抽出方法を提供することにある。
【０００５】
【課題を解決するための手段】
本発明は、前記の課題を解決するため、画像中のエッジを検出し、オブジェクトの軌跡を描いていくことでオブジェクトを抽出し、そのオブジェクトに対して、動きベクトルを基にその抽出の可否を判断するようにしたもので、以下の方法を特徴とする。
【０００６】
（１）画像中のオブジェクトを自動的に抽出する方法であって、
画像を一様な大きさのブロックに分割する過程と、
前記分割されたブロックをスキャンしていき、各ブロックについて２方向のエッジが入っている第１のブロックと、１方向のみのエッジが入っている第２のブロックとの２種類のエッジブロックに分類する過程と、
前記第１のブロックに対しては３つの変化点の座標を求め、前記第２のブロックに対しては２つの変化点の座標を求める過程と、
前記ブロックのスキャンで最も早く現れたブロックを起点ブロックとし、この起点ブロックの１つの変化点と残りの変化点との評価からオブジェクトの輪郭を形成するブロックが存在する方向を決定する過程と、
前記決定されたスキャン方向における隣接ブロック間の変化点の差分としきい値との大小比較で、次ブロックの変化点をオブジェクトの特徴点として決定する過程と、
を繰り返すことで、画像中のオブジェクトを抽出することを特徴とする。
【０００７】
（２）前記評価は、
当該ブロック左上の座標とブロック内の変化点の座標を取得し、変化点の座標のうち、Ｘ軸の値がブロックの大きさと一致すれば隣接するブロック方向をＸ方向と判定し、一致しなければＹ軸の値がブロックの大きさと一致することで隣接するブロック方向をＹ方向と判定することを特徴とする。
【０００８】
（３）前記抽出されたオブジェクトの各特徴点の動きベクトルを求め、大部分の特徴点の動きベクトルが同じ方向にあるか否かによって、オブジェクト抽出の可否の判断材料とすることを特徴とする。
【０００９】
（４）前記特徴点の動きベクトルのうち、方向が異なる特徴点の動きベクトルは時間スパンを変えて判定することを特徴とする。
【００１０】
【発明の実施の形態】
図１〜図３は、本発明の実施形態を示すオブジェクト抽出手順図である。以下、図４〜図９を参照して詳細に説明する。
【００１１】
図１において、まず、図４に示すように、画像Ｇを大きさ１６×１６の一様なブロックに分割した画像ＢＧを生成する（Ｓ１）。この画像ＢＧを構成する各ブロックに左上からスキャンして行き、代表的な２種類のエッジブロックに分類する（Ｓ２）。
【００１２】
この分類は、図５に示すように、エッジブロック１は、１つのブロックに２方向のエッジが入っているブロック、エッジブロック２は１つのブロックに１方向のみのエッジが入っているブロックである。それぞれのエッジブロック（エッジブロック１に対しては３点、エッジブロック２に対しては２点）ごとに輝度値の変化点がある。
【００１３】
図６に示すように、エッジブロック１に対しては輝度値の変化点α（Ｘ１，Ｙ１）、β（Ｘ２，Ｙ２）、γ（Ｘ３，Ｙ３）を求め、座標αを起点座標Ａとして決定する。
【００１４】
次に、起点座標Ａから右のブロックにスキャンを進める。このブロックに対して、エシジブロック１かエッジブロック２の識別を行い（Ｓ３）、各エッジブロックについて、同様に輝度値の変化点の座標を計算する（Ｓ４，Ｓ５）。例えば、図６のエッジブロック２には座標δ（Ｘ３，Ｙ３）、ε（Ｘ４，Ｙ４）とする。更に、同様に順次スキャンを進めて変化点の座標をエッジブロックごとに計算していく（Ｓ６）。
【００１５】
これにより、スキャンが画像右下で完了するまでにエッジブロックには、それぞれ変化点の座標が与えられる。
【００１６】
最後に、スキャン後、最も早く現れたブロックを起点ブロックとし起点座標Ａ点を決定する（Ｓ７）。
【００１７】
次に、図２は、画像中の特徴点の抽出処理を示す。まず、起点ブロック中の起点座標Ａに対する変化点β、γの評価を行い、Ｘ，Ｙのいずれの方向にエッジブロックが存在するかを決定する（Ｓ１１）。この評価手法は後に図３で説明する。
【００１８】
エッジブロックが存在する方向がＸ方向であれば、起点ブロックからＸ方向にエッジブロックの軌跡を求めていく。起点ブロック中、Ｘ座標のもっとも大きなβ（Ｘ２，Ｙ２）と次ブロックのＸ座標がもっとも小さな座標δ（Ｘ４，Ｙ４）の差分を計算し、あるしきい値Ｔｈ１以内に収まっていることを確認する（Ｓ１２）。上記の場合、Ｘ２＋１＝Ｘ４，Ｙ２＝Ｙ４となることが期待される。
【００１９】
同様に、エッジブロックが存在する方向がＹ方向であれば、起点ブロックからＹ方向にエッジブロックの軌跡を求めていき、その差分がしきい値Ｔｈ１以内に収まっていることを確認する（Ｓ１３）。
【００２０】
次に、起点ブロックに対して、ＸまたはＹ方向の次ぎブロックのδ点とε点の差分を求め、この差分があるしきい値Ｔｈ２との大小をチェックする（Ｓ１４）。このチェックで、差分があるしきい値Ｔｈ２以下の場合は、ε点を次の比較のための座標とする（Ｓ１６）。しきい値Ｔｈ２より大きくなっている場合は、δ点を軌跡の特徴点Ｂとして保持しておき、ε点を次の比較のための座標とする（Ｓ１５）。
【００２１】
同様に、次ぎブロックにおいて、δ点とε点のＸ方向の座標の差分を取り、ブロックの大きさ（ここでは１６）より小さかったらスキャン方向をＹ方向に変更する。大きければ同様にＸ方向（右方向）にスキャンする。これを繰り返していくことで、各エッジブロック部の特徴点を得ることができる。これらの特徴点を直線にて結ぶことでオブジェクトの抽出が可能となる。このようなスキャンで抽出された特徴点Ａ〜Ｐの軌跡として抽出されたオブジェクトの例を図７に示す。
【００２２】
前記の画像ブロックの変化点に対する評価手法を説明する。図３において、判定回数ｉ＝１と初期設定し（Ｓ２１）、判定回数ｉが４よりも小さい、つまり最大３方向の変化点を限度とし（Ｓ２２）、まずブロック左上の座標（ＸＬ，ＹＬ）として変化点の座標（Ｘｉ，Ｙｉ）を取得する（Ｓ２３）。
【００２３】
この座標（Ｘｉ，Ｙｉ）のうち、Ｘ軸の値Ｘｉ＝ＸＬ＋１６か否かをチェックし（Ｓ２４）、一致すればエッジブロック方向をＸ方向とする（Ｓ２５）。一致しなければ、Ｙ軸の値Ｙｉ＝ＹＬ＋１６か否かをチェックし（Ｓ２６）、一致しなければ次の判定に戻り（Ｓ２７）、一致すればエッジブロック方向をＹ方向とする（Ｓ２８）。
【００２４】
次に、図７における、オブジェクトの抽出結果で得られた各特徴点Ａ〜Ｐまでの１６点に対して、動きベクトルを算出する。この動きベクトルが全くランダムな方向を向いていたら、オブジェクト抽出の失敗となる。また、１点または２点が違った方向を向いていた場合、その近辺のブロックを更に細かく分離すればオブジェクトの抽出をより正確に行うことができる。
【００２５】
動きベクトルは、図８のようになり、そのうち、オブジェクト中の何点かについて求める。これら動きベクトルのうち、ある部分の動きベクトルが他の部分と少し違った動きをしている場合は、その部分の動きベクトルを詳しく調べる必要はある。この部分（図８の例では、車のタイヤの部分）は、短い時間スパンで見た場合、図９に示すように複雑な動きをしているが、長い時間スパンで見れば、同じ方向を向いた動きベクトルであることが分かる。
【００２６】
このように、動きベクトルを調べることで、エッジ情報を基にオブジェクト抽出した部分が、正しく抽出できていることを確認することができる。
【００２７】
【発明の効果】
以上のとおり、本発明によれば、画像のオブジェクトを抽出する方法として、エッジ情報を利用してオブジェクトを抽出し、さらに抽出したオブジェクトの特徴点の動きベクトルによりそのオブジェクトの抽出の可否を判断するようにしたため、従来人手に頼っていたオブジェクトの抽出が自動的にかつ正確にできる効果がある。
【図面の簡単な説明】
【図１】本発明の実施形態を示すオブジェクト抽出手順（その１）。
【図２】本発明の実施形態を示すオブジェクト抽出手順（その２）。
【図３】本発明の実施形態を示すオブジェクト抽出手順（その３）。
【図４】画像を１６×１６の一様なブロックに分割する例。
【図５】エッジブロックの説明図。
【図６】エッジブロックの特徴点の説明図。
【図７】オブジェクトの抽出例。
【図８】オブジェクトの動きベクトルの方向例。
【図９】長い時間、短い時間スパンの動きベクトルの例。
【図１】
2004021888.tif 000003
【図２】
2004021888.tif 000004
【図３】
2004021888.tif 000005
【図４】
2004021888.tif 000006
【図５】
2004021888.tif 000007
【図６】
2004021888.tif 000008
【図７】
2004021888.tif 000009
【図８】
2004021888.tif 000010
【図９】
2004021888.tif 000011