(57)【特許請求の範囲】
【請求項１】
動画像に含まれるオブジェクトを検出し、動画像を構成する複数の画像について上記オブジェクトを連続抽出する画像処理方法において、
画像全体が複数の領域に分割されてなる第１の画像に含まれるオブジェクトをオブジェクト指定手段により指定するオブジェクト指定処理ステップと、
上記オブジェクト指定ステップで指定された上記オブジェクトを構成する各領域の形状を領域変形手段により変化させる領域変形処理ステップと、
上記領域変形処理ステップで形状が変化された複数の領域と、上記第１の画像と時間的に隣接する第２の画像を構成する複数の領域とを用いてマッチング手段によりマッチングを行うマッチング処理ステップと、
上記マッチング処理ステップにより得た第２の画像に含まれ上記オブジェクトを示す複数の領域及び当該複数の領域の周囲に位置する領域の属性及び動きベクトルを属性検出処理手段により検出する属性検出処理ステップと、
上記マッチング処理ステップにより得た第２の画像に含まれ上記オブジェクトを示す複数の領域と、この複数の領域の周囲に配置された領域とを領域併合処理手段により併合して第２の画像に含まれるオブジェクトを指定する領域併合処理ステップとを有し、
上記領域併合処理ステップでは、上記属性検出処理ステップで検出したオブジェクトを示す領域の動きベクトル及び属性と、オブジェクトを示す複数の領域の周囲に位置する領域の動きベクトル及び属性とを比較し、上記第１の画像に含まれる動画オブジェクトを構成する各領域の面積と周辺長の比、モーメント、分散比に近づくときには、比較した各領域と当該各領域に隣接する周辺領域を併合する処理を行うことを特徴とする画像処理方法。
【請求項２】
上記マッチング処理を行うときに用いるオブジェクトを構成する各領域の面積で正規化した閾値を閾値設定処理手段により設定する閾値設定処理ステップを有し、
上記領域変形処理ステップでは、上記マッチング処理ステップにおけるマッチング距離を上記閾値設定処理ステップで設定された閾値よりも小さくするように、領域の形状を変化させることを特徴とする請求項１記載の画像処理方法。
【請求項３】
上記領域変形処理ステップでは、オブジェクトを構成する複数の領域を回転、縮小又は拡大する処理を行うことを特徴とする請求項１記載の画像処理方法。
【請求項４】
動画像に含まれるオブジェクトを検出し、動画像を構成する複数の画像について上記オブジェクトを連続抽出する画像処理装置において、
画像全体が複数の領域に分割されてなる第１の画像に含まれるオブジェクトを指定するオブジェクト指定手段と、
上記オブジェクト指定手段により指定された上記オブジェクトを構成する各領域の形状を変化させる領域変形手段と、
上記領域変形手段により形状が変化された複数の領域と、上記第１の画像と時間的に隣接する第２の画像を構成する複数の領域とを用いてマッチングを行うマッチング手段と、
上記マッチング手段により得た第２の画像に含まれ上記オブジェクトを示す複数の領域及び当該複数の領域の周囲に位置する領域の属性及び動きベクトルを検出する属性検出手段と、
上記マッチング手段により得た第２の画像に含まれ上記オブジェクトを示す複数の領域と、この複数の領域の周囲に配置された領域とを併合して第２の画像に含まれるオブジェクトを指定する領域併合手段とを備え、
上記領域併合手段は、上記属性検出手段で検出したオブジェクトを示す領域の動きベクトル及び属性と、オブジェクトを示す複数の領域の周囲に位置する領域の動きベクトル及び属性とを比較し、上記第１の画像に含まれる動画オブジェクトを構成する各領域の面積と周辺長の比、モーメント、分散比に近づくときには、比較した各領域と当該各領域に隣接する周辺領域を併合する処理を行うことを特徴とする画像処理装置。
【請求項５】
上記マッチング手段によりマッチングを行うときに用いるオブジェクトを構成する各領域の面積で正規化した閾値を設定する閾値設定手段を有し、上記領域変形手段は、上記マッチング手段におけるマッチング距離を上記閾値設定手段で設定された閾値よりも小さくするように、領域の形状を変化させることを特徴とする請求項４記載の画像処理装置。
【請求項６】
上記領域変形手段は、オブジェクトを構成する複数の領域を回転、縮小又は拡大することを特徴とする請求項４記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像に含まれる例えば動物、構造物、乗り物等のオブジェクトを検出し、動画像を構成する複数の画像について前記オブジェクトを自動的に連続抽出する画像処理方法及び装置に関する。
【０００２】
【従来の技術】
現在のＷＷＷ（would wide web）browsing systemは、ＨＴＭＬ（hypertext markup language）により関連付けを記述し、約１００〜４００ＭＩＰＳのクライアントと６４kbpsの帯域ネットワークで実行されている。このbrowsing systemのアーキテクチャはテキストベースである。これに対して、動画中のオブジェクトについて、関連づけを行うのが動画ベースのbrowsing systemである。
【０００３】
従来のbrowsing systemにおいて、例えば動物、構造物、乗り物等のオブジェクトを動画像において抽出するオブジェクト抽出処理は、主としてオブジェクトの背景に動きを有しない動画像について行われることが多かった。このとき、上記オブジェクト抽出処理では、オブジェクトの動きのみを抽出する処理を行っていた。
【０００４】
【発明が解決しようとする課題】
しかし、上記オブジェクト抽出処理において、動画ベースは、テキストベースと異なり、動画中のオブジェクトを表現することが困難であり、特に、オブジェクトとともに、当該オブジェクトの背景も動きを有している場合には更に動画中のオブジェクトを表現することが困難となる。
【０００５】
更に、現在の動画では、例えば単純な拡大、縮小、平行移動等の線形の動きを抽出するよりも、非線形な動きをするものや上述のように背景にも動きを有するものが多く、従来のbrowsing systemでは、動画（ビデオストリーム）からオブジェクトを抽出することができないために動画中のオブジェクトへの関連づけが実現していない。
【０００６】
そこで、本発明は、上述したような実情に鑑みて提案されたものであり、例えばオブジェクトのみならず背景にも動きを有する動画像や非線形な動きを有するオブジェクトを含む動画像中から動画オブジェクトを自動的に抽出することができる画像処理方法及び装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上述の課題を解決する本発明は、  動画像に含まれるオブジェクトを検出し、動画像を構成する複数の画像について上記オブジェクトを連続抽出する画像処理方法及び装置において、画像全体が複数の領域に分割されてなる第１の画像に含まれるオブジェクトをオブジェクト指定手段により指定し、指定されたオブジェクトを構成する各領域の形状を領域変形手段により変化させ、形状が変化された複数の領域と、上記第１の画像と時間的に隣接する第２の画像を構成する複数の領域とを用いてマッチング手段によりマッチングを行い、上記マッチング手段により得た第２の画像に含まれ上記オブジェクトを示す複数の領域及び当該複数の領域の周囲に位置する領域の属性及び動きベクトルを属性検出処理手段により検出し、上記マッチング手段により得た第２の画像に含まれ上記オブジェクトを示す複数の領域と、この複数の領域の周囲に配置された領域とを領域併合処理手段により併合して第２の画像に含まれるオブジェクトを指定し、上記領域併合処理手段では、上記属性検出手段で検出したオブジェクトを示す領域の動きベクトル及び属性と、オブジェクトを示す複数の領域の周囲に位置する領域の動きベクトル及び属性とを比較し、上記第１の画像に含まれる動画オブジェクトを構成する各領域の面積と周辺長の比、モーメント、分散比に近づくときには、比較した各領域と当該各領域に隣接する周辺領域を併合する処理を行うことを特徴とする。
【０００８】
このような画像処理方法及び装置によれば、オブジェクトを構成する各領域を変形させてマッチング処理を行って、マッチングがとれた複数の領域と当該領域の周囲に配置された領域とを併合することで第２の画像についてのオブジェクトを指定する。
【０００９】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
【００１０】
本発明は、例えば図１に示すように構成された画像処理装置１に適用される。この画像処理装置１は、以下に説明するskip-labeling法により画像を複数の領域に分割することを示す領域分割プログラムを格納した記録媒体２と、この記録媒体２に格納された領域分割プログラムに従って処理を行うＣＰＵ３を備える。すなわち、ＣＰＵ３は、例えば外部からインターフェイス（Ｉ／Ｆ）回路４を介して画像データが入力されたことに応じて、一旦画像データを画像メモリ５に格納し、記録媒体２に格納された領域分割プログラムを読み込んで実行する処理を行うことで、入力された画像データが示す画像を複数の領域（セグメント）に分割する処理を行う。そして、この画像処理装置１においては、生成した画像を表示モニタ６に表示することで例えばユーザに処理結果を提示する。このとき、ＣＰＵ３は、入力された画像から任意に選択した基準領域と、当該基準領域を中心として設定された検索範囲内に含まれる参照領域とを比較し、比較結果に応じて基準領域と参照領域とを併合することでセグメントを生成して入力された画像を複数のセグメントに分割する。
【００１１】
このＣＰＵ３では、画像を複数のセグメントに分割する処理を行うとき、記録媒体２に格納された領域分割プログラムを起動するとともに、処理の対象となる画像データを画像メモリ５から読み込むことで図２のフローチャートに示す処理を行う。
【００１２】
先ず、ステップＳＴ１において、ＣＰＵ３は、上記検索範囲Ｓを構成する画素数を設定するとともに、上記基準領域と上記参照領域との画素パターンの関係を示すピクセル閾値Ｔを零に近い値とする初期設定を行う。また、ＣＰＵ３は、セグメントとするときの最小限の面積を示す最小面積値ＭＳＡを設定する。なお、この初期設定は、例えばユーザからの指示に基づいて行っても良く、さらには領域分割プログラムに従って行っても良い。
【００１３】
次のステップＳＴ２において、ＣＰＵ３は、上述のステップＳＴ１で設定したピクセル閾値Ｔ、検索範囲Ｓ及び最小面積値ＭＳＡを用いて、入力された画像を構成する複数のセグメントを生成する処理を行う。なお、このステップＳＴ２の処理の詳細については後述する。
【００１４】
次のステップＳＴ３において、ＣＰＵ３は、ステップＳＴ２で示す処理を行うことにより、画面全体についてセグメントを生成して、複数のセグメントからなる画像を生成したか否かを判断する。そして、ＣＰＵ３は、画面全体についてセグメントを生成したと判断したときには処理を終了し、画面全体についてセグメントを生成していないと判断したときにはステップＳＴ４に進む。
【００１５】
次のステップＳＴ４において、ＣＰＵ３は、ピクセル閾値Ｔ及び検索範囲Ｓを変更する処理を行い、変更後のピクセル閾値Ｔ及び検索範囲Ｓで示す処理を行って上述のステップＳＴ２に戻る処理を行う。すなわち、ＣＰＵ３は、設定したピクセル閾値Ｔ及び検索範囲Ｓで画面全体について処理を行うことで、当該ピクセル閾値Ｔ及び検索範囲Ｓに適合する画像の一部にセグメントを生成し、ステップＳＴ４で新たに設定したピクセル閾値Ｔ及び検索範囲Ｓで更にセグメントを生成することで、結果的に画面全体がセグメントで分割されてなる画像を生成する。更に、このステップＳＴ４において、ＣＰＵ３は、上述のピクセル閾値Ｔ及び検索範囲Ｓを変更するとともに、上記最小面積値ＭＳＡを変更する処理を行っても良い。
【００１６】
つぎに、上述のステップＳＴ２において示した処理について図３に示すフローチャートを参照して説明する。
【００１７】
先ず、ステップＳＴ１１において、ＣＰＵ３は、上記検索範囲Ｓを３×３画素とし、上記基準領域と上記参照領域との画素パターンの関係を示すピクセル閾値Ｔを零に近い正の値とする初期設定を行う。また、ＣＰＵ３は、セグメントとするときの最低限の面積を示す最小面積ＭＳＡを設定する。なお、この初期設定は、例えばユーザからの指示に基づいて行っても良く、領域分割プログラムに従って行っても良い。
【００１８】
次のステップＳＴ１２において、ＣＰＵ３は、画像内に含まれる複数の画素からなる領域を上記基準領域Ｐとして指定する処理を行う。ここで、ＣＰＵ３は、画像を構成するｉ＝１，２，・・・，ｎからなり基準領域Ｐからｉ＝１番目の基準領域を指定する。また、ＣＰＵ３は、セグメントの初期値をＡ＝Ｐとする。すなわち、ＣＰＵ３は、セグメントＡの面積を基準領域Ｐと同じ面積とする処理を行う。また、ＣＰＵ３は、基準領域Ｐを中心とし、当該基準領域Ｐよりも画素数が大きい検索範囲Ｓを設定するとともに、上記参照領域として、ステップＳ１３において当該基準領域Ｐを中心とした検索範囲Ｓに含まれる微小領域Ｑを指定する処理を行う。また、微小領域Ｑは、ｊ＝１，２，・・・，ｍからなりｍ個で基準領域Ｐを構成している。
【００１９】
次のステップＳＴ１４において、ＣＰＵ３は、下記式１に示すように、上述のステップＳＴ１２において指定した基準領域Ｐの画素値と上述のステップＳＴ１３において指定した微小領域Ｑの画素値との差分の絶対値と、上述のステップＳＴ１１で設定したピクセル閾値Ｔとを比較する処理を行う。
｜Ｐ−Ｑ｜＜Ｔ      （式１）
ここで、上記式１は、微小領域Ｑと基準領域Ｐとの関係が、ピクセル閾値Ｔで略同一の画素パターンであると許容する範囲内であることを示す。そして、ＣＰＵ３は、上記差分の絶対値がピクセル閾値Ｔよりも小さいと判断したときにはステップＳＴ１５に進み、上記差分の絶対値がピクセル閾値Ｔよりも小さくないと判断したときにはステップＳＴ１６に進む。
【００２０】
ステップＳＴ１５において、ＣＰＵ３は、微小領域Ｑを、セグメントＡ（基準領域Ｐ）に併合する処理を行う。このようにＣＰＵ３は、上述のステップＳＴ１４において基準領域Ｐ（セグメントＡ）の画素値と微小領域Ｑの画素値との差分の絶対値が、ピクセル閾値Ｔ以下の値となるとき、すなわち基準領域Ｐ（セグメントＡ）と微小領域Ｑとの関係がピクセル閾値Ｔ以下であるときには基準領域Ｐ（セグメントＡ）と微小領域Ｑとが略同一の画素パターンであると判断して、基準領域Ｐ（セグメントＡ）と微小領域Ｑとを併合してセグメントＡの面積を増加させる処理を行う。
【００２１】
次のステップＳＴ１６において、上述のステップＳＴ１３で指定した微小領域Ｑについてインクリメントすることで、次の微小領域を指定してステップＳＴ１７に進む。
【００２２】
次のステップＳＴ１７において、上述のステップＳＴ１７において指定された微小領域Ｑを用いて、上述のステップＳＴ１４〜ステップＳＴ１６までの処理を検索範囲Ｓ（ｊ＝ｍ）の全体に亘って行ったか否かを判断する。そして、ＣＰＵ３は、検索範囲Ｓの全体に亘ってステップＳＴ１４〜ステップＳＴ１６までの処理を行ったと判断したときにはステップＳＴ１８に進み、検索範囲Ｓの全体に亘ってステップＳＴ１４〜ステップＳＴ１６までの処理を行っていないと判断したときには、ステップＳＴ１４に戻り、検索範囲Ｓの全体に亘って処理を行うまでステップＳＴ１４〜ステップＳＴ１６までの処理を繰り返す。
【００２３】
ステップＳＴ１８において、ＣＰＵ３は、上述したステップＳＴ１４〜ステップＳＴ１７を繰り返すことで生成したセグメントＡの面積と上述のステップＳＴ１１で設定した最小面積値ＭＳＡとの大きさを比較する。そして、ＣＰＵ３は、セグメントＡの面積が最小面積値ＭＳＡよりも小さいときには、ステップＳＴ１９に進み、セグメントＡの面積が最小面積値ＭＳＡよりも小さくないときには、ステップＳＴ２０に進む。
【００２４】
ステップＳＴ１９において、ＣＰＵ３は、上述のステップＳＴ１６で上述のステップＳＴ１４〜ステップＳＴ１７までの処理を行うことによりで生成されたセグメントＡを、画像を構成するセグメントとして認識しない処理を行ってステップＳＴ２１に進む。
【００２５】
ステップＳＴ２０において、ＣＰＵ３は、上述のステップＳＴ１８で上述のステップＳＴ１４〜ステップＳＴ１７までの処理を行うことにより生成されたセグメントＡを、画像を構成するセグメントとして認識する処理を行ってステップＳＴ２１に進む。
【００２６】
次のステップＳＴ２１において、ＣＰＵ３は、上述した処理の対象となっていた基準領域から次の基準領域に進める処理を行う。
【００２７】
次のステップＳＴ２２において、ＣＰＵ３は、上述のステップＳＴ２１で処理の対象を進めたことに応じて、上述のステップＳＴ１１で設定したピクセル閾値Ｔ及び検索範囲Ｓを用いて画面全体についてセグメントＡを生成する処理を行ったか否かを判断する。そして、ＣＰＵ３は、画面全体についてセグメントＡを生成する処理を行ったと判断しときには処理を終了し、画面全体についてセグメントＡを生成する処理を行っていないと判断したときにはステップＳＴ１３に戻ってステップＳＴ１３〜ステップＳＴ２１に示す処理を繰り返し行うことで入力された画像を複数のセグメントに分割する。
【００２８】
このような画像処理装置１は、Ｉ／Ｆ回路４を介して画像メモリ５に記憶された画像について記録媒体２に格納された領域分割プログラムを起動することで、図４に示すように、画像空間IにおいてはステップＳＴ１で設定したピクセル閾値Ｔ及び検索範囲Ｓを小さくしてステップＳＴ２、すなわち図３に示す処理を行うことでセグメントＡ1を生成し、弱いエッジ部分においてセグメントＡ1の生成を終了する。また、画像空間IIにおいては、画像空間IについてセグメントＡ1を生成したときよりも大きいピクセル閾値Ｔ及び検索範囲ＳをステップＳＴ４で指定してステップＳＴ２、すなわち図３に示す処理を行うことでセグメントＡ2を生成する。
【００２９】
したがって、画像処理装置１によれば、ステップＳＴ１においてピクセル閾値Ｔ及び検索範囲Ｓを変化させて設定することで、図４中の画像空間Iのような画素値が均一な部分を示すセグメントＡ1を生成するとともに、画像空間IIのように画素値が周期的に変化する部分（テクスチャ）を示すセグメントＡ2を生成することができる。
【００３０】
したがって、この画像処理装置１によれば、例えば図５に示すような原画像について、先ずステップＳＴ１においてピクセル閾値Ｔ及び検索範囲Ｓを小さい値に設定して図３に示す処理を行うことで、図６中の白部分で示す画素値が均一な画像領域と、図６中の黒部分で示す画素値が均一でない領域とに分割する。続いて画像処理装置１は、上述のステップＳＴ４で説明したように、ピクセル閾値Ｔ及び検索範囲Ｓを大きくするように変更して図３に示す処理を行うことで、図７中の白部分で示すように画素値が均一な画像領域及び画素値が滑らかに変化する画像領域と、それ以外の画像領域に分割する。続いて画像処理装置１は、ピクセル閾値Ｔ及び検索領域ＳをステップＳＴ４で大きくするように設定して図３に示す処理を行うことで、図８中の白部分に示す画素値が均一な画像領域、画素値が滑らかに変化する画像領域及びテクスチャ状となっている画像領域と、それ以外の画像領域とに分割し、更にピクセル閾値Ｔ及び検索領域Ｓを大きくすることで図９中の白部分にエッジ部分を示す画像領域を示すセグメントを加えることができる。
【００３１】
このように画像処理装置１は、ステップＳＴ４において段階的にピクセル閾値Ｔ及び検索領域Ｓを変化させて設定して図３に示す処理を行うことで、図６〜図９に示すように画素値が均一な画像領域、画素値が滑らかに変化する画像領域、テクスチャ状となっている画像領域、エッジ部分を示す画像領域を順次に抽出することができる。したがって、この画像処理装置１によれば、図５に示すような画像を複数の領域に分割されてなる図１０に示すような画像を作成することができる。
【００３２】
したがって、このような画像処理装置１によれば、ステップＳＴ４でピクセル閾値及び検索範囲Ｓを段階的に変化させて設定して図３に示す処理を行うことにより、図５に示す画像から図６に示すように先ず画素値が均一な「空」を示す画像部分をセグメントとし、次に図７に示すように画素値が滑らかに変化する「雲や山」を示す画像部分をセグメントとし、更に図８に示すようにテクスチャ状の画素値がランダムな「波や森」を示す画像部分をセグメントとし、更にまた図９に示すように画素値がエッジとなっている画像部分をセグメントとすることができる。すなわち、画像処理装置１によれば、原画像の絵柄に応じてピクセル閾値Ｔ及び検索領域Ｓを設定することにより、絵柄に対応した効果的な領域分割処理を行うことができる。
【００３３】
また、この画像処理装置１によれば、絵柄に応じて検索範囲Ｓを変化させてセグメントを生成する処理を行うので、画素値の変化が単調な画像部分については単一のセグメントとするとともに画素値の変化が複雑な画像部分については微小なセグメントとすることができ、k-mean法のようにクラスタの初期値により結果画像が左右されクラスタ数が多くなると処理時間が膨大となるようなことがなく、比較的に短時間で領域分割処理を行うことができる。
【００３４】
更に、画像処理装置１によれば、絵柄に応じてピクセル閾値Ｔを変化させてセグメントを生成する処理を行うので、labeling法のようにテクスチャ領域が多数の微小セグメントとなるようなことがなく、テクスチャ領域のように周期的に画素値が変化する領域であっても、単一のセグメントとして領域分割処理を行うことができる。
【００３５】
つぎに、上述のような処理を行うことで、複数の領域に分割された画像について、動画像中に含まれる動画オブジェクトを抽出する処理について説明する。この動画オブジェクトを抽出する処理は、上述と同様に、記録媒体２に格納された動画オブジェクト抽出プログラムを読み込んで実行する処理を行うことで、入力された動画像に含まれるオブジェクトを抽出する処理を複数のフレームについて行う。
【００３６】
このＣＰＵ３では、動画像に含まれるオブジェクトを抽出する処理を行うとき、記録媒体２に格納された動画オブジェクト抽出プログラムを起動するとともに、処理の対象となる動画像を画像メモリ５から読み込むことで図１１のフローチャートに示す処理を行う。なお、以下の説明においては、フレーム画像（ｎ）に含まれる動画像オブジェクトを示す画像を用いて、フレーム画像（ｎ）と１フレーム分だけ時間的に後に位置するフレーム画像（ｎ＋１）の動きオブジェクトを示す画像を抽出する処理について説明する。
【００３７】
先ず、ステップＳＴ３１において、ＣＰＵ３は、入力されて画像メモリ５に格納された動画像データを読み込んで、フレーム画像（ｎ）に含まれる動画像オブジェクトを構成するセグメントを指定する処理を行う。ここで、ＣＰＵ３は、例えば図１２に示すような動画像を構成するフレーム画像（ｎ）から、動画像オブジェクトとしてヘリコプター及びボートを抽出する処理を行う。また、このフレーム画像（ｎ）は、上述した領域分割プログラムに従って処理されることで複数のセグメントに分割されてなる画像である。
【００３８】
次のステップＳＴ３２において、ＣＰＵ３は、上述のステップＳＴ３１において抽出した動画像オブジェクトについて、上述の図２を用いて説明した領域分割プログラムを起動することで、図１３中のＡに示すように、動画像オブジェクトを示すセグメントを、図１４に示すようにｎ個のセグメントＡ1〜Ａ4に分割する処理を行う。
【００３９】
次のステップＳＴ３３において、ＣＰＵ３は、上述のステップＳＴ３２において領域分割された複数のセグメントを用いて、フレーム画像（ｎ）と１フレーム分だけ時間的に後に位置するフレーム画像（ｎ＋１）とのマッチングをとる処理を行う。
【００４０】
次のステップＳＴ３４において、ＣＰＵ３は、上述のステップＳＴ３３において用いたフレーム画像（ｎ）に含まれる動画オブジェクトを構成する複数のセグメントを例えば図１４のセグメントＡ1〜Ａ4に示すように縮小するように変形する処理を行う。このとき、ＣＰＵ３は、上述のステップＳＴ３３のマッチング処理において用いた各セグメントの面積を用いて正規化したマッチング閾値を各セグメント毎に設定する。そしてＣＰＵ３は、上述のステップＳＴ３３でマッチングしたときのマッチング距離が各セグメント毎に設定したマッチング閾値よりも大きいときには、当該マッチング閾値よりも小さいマッチング距離となるように各セグメントを変形する処理を行う。このとき、ＣＰＵ３は、例えば拡大、縮小、又は回転させることで、マッチング距離をマッチング閾値よりも小さくなるように変形させる処理を行う。
【００４１】
次のステップＳＴ３５において、ＣＰＵ３は、上述のステップＳＴ３４においてマッチング処理を行うことによりフレーム画像（ｎ＋１）に含まれる複数のセグメントを図１５に示す動画オブジェクト候補Ａ’を構成するセグメントとして決定する処理を行う。
【００４２】
次のステップＳＴ３６において、上述のステップＳＴ３５において指定した複数のセグメントを併合することにより動画オブジェクト候補とする。
【００４３】
次のステップＳＴ３７において、ＣＰＵ３は、上述のステップＳＴ３５で併合することにより生成した動画オブジェクト候補に隣接する各周辺セグメントについて、時空間における動画オブジェクトの連続性、背景の連続性、動画オブジェクトと背景の拡張と浸食等の形態学的画像処理を利用することにより、動きベクトル及び面積、ピクセル閾値Ｔ、検索範囲Ｓ、分散比、形状、周囲長、モーメント等のセグメント属性とを検出する処理を行う。
【００４４】
次のステップＳＴ３８において、ＣＰＵ３は、上述のステップＳＴ３７において検出して得た各周辺セグメント毎の動きベクトルを用いて、動画オブジェクト候補を構成する各セグメントと周辺セグメントとの動きベクトルを比較する。そして、ＣＰＵ３は、双方の動きベクトルが近いときであって、フレーム画像（ｎ）に含まれる動画オブジェクトを構成する各セグメントの面積と周辺長の比、モーメント、分散比に近づくときには、比較した各セグメントと当該各セグメントに隣接する周辺セグメントを併合する処理を行う。そして、ＣＰＵ３は、動画セグメント候補を構成する各セグメントと周辺セグメントとについて、上述した処理を行うことで、図１６に示すようにフレーム画像（ｎ＋１）に含まれる動画オブジェクトＡ”を示すセグメントを得る。
【００４５】
したがって、このような画像処理装置１に入力された示すフレーム画像（ｎ）とフレーム画像（ｎ＋１）とを含むビデオストリームは、図１７に示すように、先ずステップＳＴ４１で領域分割プログラムを起動することでフレーム画像（ｎ）及びフレーム画像（ｎ＋１）が複数のセグメントからなる画像とされ、次のステップＳＴ４２において動画オブジェクト抽出プログラムにより、フレーム画像（ｎ）及びフレーム画像（ｎ＋１）は、動画オブジェクトと背景の連続性及び形態学的画像処理が適用されることでセグメント属性や動きベクトル等が抽出される。一方、動画オブジェクト抽出プログラムを起動することで抽出されたフレーム画像（ｎ）の動画オブジェクトは、ステップＳＴ４３で変形処理され、ステップＳＴ４４でフレーム画像（ｎ＋１）を用いてマッチング処理され、更にステップＳＴ４５でマッチングされた範囲に含まれるステップＳＴ４１で領域分割されたフレーム画像（ｎ＋１）のセグメントをオブジェクト候補として決定し、続いてステップＳＴ４６で上述のステップＳＴ４２において抽出されたパラメータを用いて併合処理がされることで、フレーム画像（ｎ＋１）に含まれる動画オブジェクトとされる。
【００４６】
つぎに、このような画像処理装置１により上述の図２及び図１１に示す処理を行うことで図１２に示したような動画像中に含まれる動画オブジェクトを連続する１〜４５０枚のフレーム画像に亘って抽出した処理結果について説明する。ここで、図１２に示すフレーム画像及び以下図１８〜図２２のフレーム画像においては、動画オブジェクトＯ1，Ｏ2とともに、動画オブジェクトＯ1，Ｏ2の背景も動きを有する動画像について領域分割プログラム及び動画オブジェクト抽出プログラムを起動することで図２及び図１１に示す処理を行った結果の一例を示している。また、図１２及び図１８〜図１９は、動画オブジェクトＯ1，Ｏ2についてのみ上記図２に示す処理を行った結果を示している。
【００４７】
このような画像処理装置１は、例えば図１２に示すようなビデオストリームの最初に位置する開始フレーム画像についてステップＳＴ３１に示す処理を行うことで、図１２中のヘリコプターを示す動画像オブジェクトＯ1を指定するとともに図１２中のボートを示す動画像オブジェクトＯ2を指定する。ここで、図１２においては、開始フレーム画像について図２に示す処理を行うことで作成した複数のセグメントを黒色で示している。
【００４８】
そして、画像処理装置１は、図１８に示すように、図１１に示す処理を行うことで、開始フレーム画像から３秒後の第９０番目のフレーム画像に含まれる動画オブジェクトＯ1，Ｏ2であっても追尾することができる。ここで、図１８においては、上述のステップＳＴ３５における動画オブジェクト候補を白抜きの領域で示し、上述のステップＳＴ３７における周辺セグメントを上記白抜きの領域の周囲に配色された黒色で示している。更に、画像処理装置１は、図１９に示す開始フレーム画像から６秒後の第１８０番目のフレーム画像、図２０に示す開始フレーム画像から９秒後の第２７０番目のフレーム画像、図２１に示す開始フレーム画像から１２秒後の第３６０番目のフレーム画像、図２２に示す開始フレーム画像から１５秒後の第４５０番目のフレーム画像についても、上述の図１１に示す処理を行うことで、動画オブジェクトＯ1，Ｏ2を追尾することができる。
【００４９】
したがって、この画像処理装置１によれば、図１２に示す開始フレーム画像の動画オブジェクトを指定して図２及び図１１に示す処理を行うことで、図１２及び図１８〜図２２に示すような動きを有する背景と動画像オブジェクトＯ1，Ｏ2とを含む動画像であって、動画オブジェクトＯ1，Ｏ2が拡大しながら回転するような非線形な動きを有する動画像について１５秒間（４５０フレーム）に亘って動画オブジェクトＯ1，Ｏ2を抽出することができた。
【００５０】
したがって、この画像処理装置１によれば、上述の図１１に示す処理を行うことにより、上述のステップＳＴ３７及びステップＳＴ３８において、動画オブジェクト候補と隣接する周辺セグメントについてセグメント属性、及び動きベクトル等の動画オブジェクト及び背景の連続性と拡張と浸食等の形態学的画像処理を利用して得たセグメント属性及び動きベクトルを用いて動画オブジェクト候補と周辺セグメントとを併合する処理を行うので、自動的に、且つ動画オブジェクトの抽出効率を向上させて動画オブジェクトを複数のフレーム画像に亘って抽出することができる。
【００５１】
なお、本実施の形態においては、動画像オブジェクト候補を構成する複数のセグメントと当該セグメントの周囲に位置する周辺セグメントを併合するパラメータとしてステップＳＴ３７で動きベクトルや各セグメントの面積等を用いる一例について説明したが、上述したように時空間における動画オブジェクトの連続性、背景の連続性、動画オブジェクトと背景の拡張と浸食等の形態学的画像処理を利用したパラメータで併合処理に用いることができる他のパラメータを用いても良い。
【００５２】
【発明の効果】
以上詳細に説明したように、本発明に係る画像処理方法及び装置によれば、指定されたオブジェクトを構成する各領域の形状を変化させ、形状が変化された複数の領域と、第１の画像と時間的に隣接する第２の画像を構成する複数の領域とを用いてマッチングを行い、マッチングすることにより得た第２の画像に含まれオブジェクトを示す複数の領域と、この複数の領域の周囲に配置された領域とを併合して第２の画像に含まれるオブジェクトを指定するので、オブジェクトを構成する各領域を変形させてマッチングを行って、マッチングがとれた複数の領域と当該領域の周囲に配置された領域とを併合することで第２の画像に含まれるオブジェクトを指定することができ、例えば背景にも動きを有する動画像や非線形な動きを有するオブジェクトを含む動画像中から動画オブジェクトを抽出する処理の効率を向上させることができ、自動的に抽出することができる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の構成を示すブロック図である。
【図２】本発明を適用した画像処理装置に備えられるＣＰＵにより行われる領域分割処理を示すフローチャートである。
【図３】本発明を適用した画像処理装置に備えられるＣＰＵにより指定したピクセル閾値及び検索範囲でセグメントを生成する処理を示すフローチャートである。
【図４】画素値の変化に応じてピクセル閾値及び検索範囲を変化させて領域分割処理を行うことによりセグメントを生成することを説明するための図である。
【図５】本発明を適用した画像処理装置に備えられるＣＰＵにより領域分割処理が行われる原画像を示す図である。
【図６】本発明を適用した画像処理装置に備えられるＣＰＵにより領域分割処理が行われることで画素値が均一な画像領域をセグメントとすることを説明するための図である。
【図７】本発明を適用した画像処理装置に備えられるＣＰＵにより領域分割処理が行われることで画素値が滑らかに変化する画像領域をセグメントとすることを説明するための図である。
【図８】本発明を適用した画像処理装置に備えられるＣＰＵにより領域分割処理が行われることでテクスチャ状となっている画像領域をセグメントとすることを説明するための図である。
【図９】本発明を適用した画像処理装置に備えられるＣＰＵにより領域分割処理が行われることでエッジ部分を示す画像領域をセグメントとすることを説明するための図である。
【図１０】本発明を適用した画像処理装置に備えられるＣＰＵにより領域分割処理が行われることで生成した複数のセグメントで分割された画像を示す図である。
【図１１】本発明を適用した画像処理装置に備えられるＣＰＵにより動画オブジェクトを抽出する処理を示すフローチャートである。
【図１２】本発明を適用した画像処理装置に備えられるＣＰＵにより図２に示す処理に示す処理を行うことで動画像中に含まれる動画オブジェクトを指定することを説明するための図である。
【図１３】領域分割処理がなされたフレーム画像（ｎ）に含まれる動画像オブジェクトＡついて動画オブジェクトを抽出する処理を説明するための図である。
【図１４】図１３に示す動画像オブジェクトＡをｎ個のセグメントＡ1〜Ａ4に分割する処理について説明する図である。
【図１５】マッチング処理を行うことによりフレーム画像（ｎ＋１）に含まれる複数のセグメントを動画オブジェクト候補Ａ’を構成するセグメントとして指定する処理を説明するための図である。
【図１６】各セグメントと当該各セグメントに隣接する周辺セグメントを併合する処理を行うことで、フレーム画像（ｎ＋１）に含まれる動画オブジェクトＡ”を示すセグメントを得ることを説明するための図である。
【図１７】画像処理装置に入力された示すフレーム画像（ｎ）とフレーム画像（ｎ＋１）とを含むビデオストリームを、領域分割プログラム及び動画オブジェクト抽出プログラムを起動して処理する一例について説明するための図である。
【図１８】開始フレーム画像から３秒後の第９０番目のフレーム画像に含まれる動画オブジェクトが追尾可能であることを説明するための図である。
【図１９】開始フレーム画像から６秒後の第１８０番目のフレーム画像のフレーム画像に含まれる動画オブジェクトが追尾可能であることを説明するための図である。
【図２０】開始フレーム画像から９秒後の第２７０番目のフレーム画像に含まれる動画オブジェクトが追尾可能であることを説明するための図である。
【図２１】開始フレーム画像から１２秒後の第３６０番目のフレーム画像に含まれる動画オブジェクトが追尾可能であることを説明するための図である。
【図２２】開始フレーム画像から１５秒後の第４５０番目のフレーム画像に含まれる動画オブジェクトが追尾可能であることを説明するための図である。
【符号の説明】
１  画像処理装置、３  ＣＰＵ
【図１】
0004235854.tif 000002
【図２】
0004235854.tif 000003
【図３】
0004235854.tif 000004
【図４】
0004235854.tif 000005
【図５】
0004235854.tif 000006
【図６】
0004235854.tif 000007
【図７】
0004235854.tif 000008
【図８】
0004235854.tif 000009
【図９】
0004235854.tif 000010
【図１０】
0004235854.tif 000011
【図１１】
0004235854.tif 000012
【図１２】
0004235854.tif 000013
【図１３】
0004235854.tif 000014
【図１４】
0004235854.tif 000015
【図１５】
0004235854.tif 000016
【図１６】
0004235854.tif 000017
【図１７】
0004235854.tif 000018
【図１８】
0004235854.tif 000019
【図１９】
0004235854.tif 000020
【図２０】
0004235854.tif 000021
【図２１】
0004235854.tif 000022
【図２２】
0004235854.tif 000023