(57)【特許請求の範囲】
【請求項１】
動画像における各フレーム画像から抽出対象である抽出対象領域を抽出する画像領域抽出方法において、
上記動画像における一のフレーム画像中の抽出対象領域の境界を粗く指定させた結果得られる粗境界領域が示された粗境界領域画像に対し、当該粗境界領域を全て含むように定型のブロツクを複数設定する第１のステツプと、
上記一のフレーム画像の直前にある前フレーム画像中の抽出対象領域を抽出するためのマスクが示された前フレームマスク画像に対し、当該マスクの境界領域を全て含むように定型のブロツクを複数設定する第２のステツプと、
上記粗境界領域画像中の粗境界領域に基づいて生成した擬似的な擬似マスクの重心位置及び面積と、上記前フレームマスク画像中のマスクの重心位置及び面積との変化量に応じて、上記前フレームマスク画像に設定された複数のブロツクを移動させる第３のステツプと、
上記第３のステツプによるブロツク移動後の上記前フレームマスク画像を用いた場合に距離が最も近くなる、上記前フレームマスク画像中のブロツクと上記粗境界領域画像中のブロツクとをそれぞれ対応付ける第４のステツプと、
上記前フレームマスク画像におけるブロツクのブロツク内画素値と、当該ブロツクに対応する上記前フレーム画像中の対応領域に対して複数の対象領域抽出アルゴリズムをそれぞれ適用した結果得られる対応領域内画素値のそれぞれとについて画素値誤差を算出し、当該画素値誤差が最小となる上記対象領域抽出アルゴリズムを当該ブロツクの最適対象領域抽出アルゴリズムとして選択する第５のステツプと、
上記前フレームマスク画像中の各ブロツクごとに選択された最適対象領域抽出アルゴリズムを、当該各ブロツクに対応する上記粗境界領域画像中の各ブロツクにそれぞれ適用することにより、上記一のフレーム画像中の抽出対象領域を抽出するためのマスクが示されたフレームマスク画像を生成する第６のステツプと
を具えることを特徴とする画像領域抽出方法。
【請求項２】
上記第２のステツプでは、
上記一のフレーム画像の直前にある上記前フレーム画像が抽出を開始する最初のフレーム画像に相当する場合、当該前フレーム画像中の抽出対象物を指定させることにより得られたマスクが示された前フレームマスク画像に対し、当該マスクの境界領域を全て含むように定型のブロツクを複数設定する
ことを特徴とする請求項１に記載の画像領域抽出方法。
【請求項３】
上記一のフレーム画像の次にある次フレーム画像中の抽出対象領域を抽出するためのフレームマスク画像を生成する場合、当該一のフレーム画像中の抽出対象領域を抽出するために生成した上記フレームマスク画像を上記前フレームマスク画像として用いる
ことを特徴とする請求項１に記載の画像領域抽出方法。
【請求項４】
動画像における各フレーム画像から抽出対象である抽出対象領域を抽出する画像領域抽出装置において、
上記動画像における一のフレーム画像中の抽出対象領域の境界を粗く指定させた結果得られる粗境界領域が示された粗境界領域画像に対し、当該粗境界領域を全て含むように定型のブロツクを複数設定する第１のブロツク設定手段と、
上記一のフレーム画像の直前にある前フレーム画像中の抽出対象領域を抽出するためのマスクが示された前フレームマスク画像に対し、当該マスクの境界領域を全て含むように定型のブロツクを複数設定する第２のブロツク設定手段と、
上記粗境界領域画像中の粗境界領域に基づいて生成した擬似的な擬似マスクの重心位置及び面積と、上記前フレームマスク画像中のマスクの重心位置及び面積との変化量に応じて、上記前フレームマスク画像に設定された複数のブロツクを移動させるブロツク移動手段と、
上記ブロツク移動手段によるブロツク移動後の上記前フレームマスク画像を用いた場合に距離が最も近くなる、上記前フレームマスク画像中のブロツクと上記粗境界領域画像中のブロツクとをそれぞれ対応付けるブロツク対応付け手段と、
上記前フレームマスク画像におけるブロツクのブロツク内画素値と、当該ブロツクに対応する上記前フレーム画像中の対応領域に対して複数の対象領域抽出アルゴリズムをそれぞれ適用した結果得られる対応領域内画素値のそれぞれとについて画素値誤差を算出し、当該画素値誤差が最小となる上記対象領域抽出アルゴリズムを当該ブロツクの最適対象領域抽出アルゴリズムとして選択するアルゴリズム選択手段と、
上記前フレームマスク画像中の各ブロツクごとに選択された最適対象領域抽出アルゴリズムを、当該各ブロツクに対応する上記粗境界領域画像中の各ブロツクにそれぞれ適用することにより、上記一のフレーム画像中の抽出対象領域を抽出するためのマスクが示されたフレームマスク画像を生成するマスク画像生成手段と
を具えることを特徴とする画像領域抽出装置。
【請求項５】
上記第２のブロツク設定手段は、
上記一のフレーム画像の直前にある上記前フレーム画像が抽出を開始する最初のフレーム画像に相当する場合、当該前フレーム画像中の抽出対象物を指定させることにより得られたマスクが示された前フレームマスク画像に対し、当該マスクの境界領域を全て含むように定型のブロツクを複数設定する
ことを特徴とする請求項４に記載の画像領域抽出装置。
【請求項６】
上記一のフレーム画像の次にある次フレーム画像中の抽出対象領域を抽出するためのフレームマスク画像を生成する場合、当該一のフレーム画像中の抽出対象領域を抽出するために生成した上記フレームマスク画像を上記前フレームマスク画像として用いる
ことを特徴とする請求項４に記載の画像領域抽出装置。
【発明の詳細な説明】
【０００１】
【目次】
以下の順序で本発明を説明する。
産業上の利用分野
従来の技術
発明が解決しようとする課題
課題を解決するための手段
作用
実施例（図１〜図１２）
発明の効果
【０００２】
【産業上の利用分野】
本発明は画像領域抽出方法に関し、例えば映像制作に関する作業のうち画像合成処理を行うときに必要となるキー信号（マスク画像）を生成する際に適用し得る。
【０００３】
【従来の技術】
従来、任意背景の画像より対象物領域を精度よく抽出する方法では、ビデオマツトのような１画素精度で対象物領域を指定する作業が一般的である。同様に動画像においても各フレームで対象物領域を指定する作業を行う必要がある。
【０００４】
一方、静止画において対象物領域を抽出する方法としては、対象物輪郭を含む粗領域を指定し、当該粗領域を分割して得た各小領域に対して、対象物領域抽出アルゴリズムを選択し、パラメータを調節することによつて、各小領域で最適な領域抽出を行う方法がある。この対象物領域抽出方法は、ビデオマツトのような１画素精度の入力を行わずに高精度に対象物領域を抽出し得る利点がある。
【０００５】
【発明が解決しようとする課題】
ところでこの対象物領域抽出方法は１画像に対して粗輪郭領域の指定、すなわち対象物の輪郭をなぞる作業を行う必要がある。またこの方法を動画像に適用した場合にはフレーム毎に入力する必要があるが、基本的に１フレームに対して１回の入力でよい。
【０００６】
ところがこの対象物領域抽出方法では、１画像中の分割された各小領域に対して対象物領域抽出アルゴリズムの選択とパラメータ調節を行う必要があるため、動画のようにフレーム数が増えると入力が煩雑になり、時間的にコストが高い作業になる問題があつた。従つて従来の対象物領域抽出方法を動画像に適用するためには、対象物領域抽出アルゴリズムの選択とパラメータ調節を自動化する必要があつた。
【０００７】
本発明は以上の点を考慮してなされたもので、動画像中より高精度かつ効率よく所望の領域を抽出し得る画像領域抽出方法及び画像領域抽出装置を提案しようとするものである。
【０００８】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、動画像における各フレーム画像から抽出対象である抽出対象領域を抽出する画像領域抽出方法において、動画像における一のフレーム画像中の抽出対象領域の境界を粗く指定させた結果得られる粗境界領域が示された粗境界領域画像に対し、当該粗境界領域を全て含むように定型のブロツクを複数設定する第１のステツプと、一のフレーム画像の直前にある前フレーム画像中の抽出対象領域を抽出するためのマスクが示された前フレームマスク画像に対し、当該マスクの境界領域を全て含むように定型のブロツクを複数設定する第２のステツプと、粗境界領域画像中の粗境界領域に基づいて生成した擬似的な擬似マスクの重心位置及び面積と、前フレームマスク画像中のマスクの重心位置及び面積との変化量に応じて、前フレームマスク画像に設定された複数のブロツクを移動させる第３のステツプと、第３のステツプによるブロツク移動後の前フレームマスク画像を用いた場合に距離が最も近くなる、前フレームマスク画像中のブロツクと粗境界領域画像中のブロツクとをそれぞれ対応付ける第４のステツプと、前フレームマスク画像におけるブロツクのブロツク内画素値と、当該ブロツクに対応する前フレーム画像中の対応領域に対して複数の対象領域抽出アルゴリズムをそれぞれ適用した結果得られる対応領域内画素値のそれぞれとについて画素値誤差を算出し、当該画素値誤差が最小となる対象領域抽出アルゴリズムを当該ブロツクの最適対象領域抽出アルゴリズムとして選択する第５のステツプと、前フレームマスク画像中の各ブロツクごとに選択された最適対象領域抽出アルゴリズムを、当該各ブロツクに対応する粗境界領域画像中の各ブロツクにそれぞれ適用することにより、一のフレーム画像中の抽出対象領域を抽出するためのマスクが示されたフレームマスク画像を生成する第６のステツプとを設けるようにした。
また本発明においては、動画像における各フレーム画像から抽出対象である抽出対象領域を抽出する画像領域抽出装置において、動画像における一のフレーム画像中の抽出対象領域の境界を粗く指定させた結果得られる粗境界領域が示された粗境界領域画像に対し、当該粗境界領域を全て含むように定型のブロツクを複数設定する第１のブロツク設定手段と、一のフレーム画像の直前にある前フレーム画像中の抽出対象領域を抽出するためのマスクが示された前フレームマスク画像に対し、当該マスクの境界領域を全て含むように定型のブロツクを複数設定する第２のブロツク設定手段と、粗境界領域画像中の粗境界領域に基づいて生成した擬似的な擬似マスクの重心位置及び面積と、前フレームマスク画像中のマスクの重心位置及び面積との変化量に応じて、前フレームマスク画像に設定された複数のブロツクを移動させるブロツク移動手段と、ブロツク移動手段によるブロツク移動後の前フレームマスク画像を用いた場合に距離が最も近くなる、前フレームマスク画像中のブロツクと粗境界領域画像中のブロツクとをそれぞれ対応付けるブロツク対応付け手段と、前フレームマスク画像におけるブロツクのブロツク内画素値と、当該ブロツクに対応する前フレーム画像中の対応領域に対して複数の対象領域抽出アルゴリズムをそれぞれ適用した結果得られる対応領域内画素値のそれぞれとについて画素値誤差を算出し、当該画素値誤差が最小となる対象領域抽出アルゴリズムを当該ブロツクの最適対象領域抽出アルゴリズムとして選択するアルゴリズム選択手段と、前フレームマスク画像中の各ブロツクごとに選択された最適対象領域抽出アルゴリズムを、当該各ブロツクに対応する粗境界領域画像中の各ブロツクにそれぞれ適用することにより、一のフレーム画像中の抽出対象領域を抽出するためのマスクが示されたフレームマスク画像を生成するマスク画像生成手段とを設けるようにした。
【０００９】
【作用】
一のフレーム画像の直前にある前フレーム画像と当該前フレーム画像中の抽出対象領域を抽出するためのマスクが示された前フレームマスク画像とに基づいて、この前フレームマスク画像におけるマスクの境界領域を全て含むように複数設定されているブロツクごとに最適対象領域抽出アルゴリズムを選択し、このブロツクごとに選択された最適対象領域抽出アルゴリズムを、一のフレーム画像中の抽出対象領域の粗境界領域が示された粗境界領域画像において当該粗境界領域を全て含むように複数設定されているブロツクの対応するものにそれぞれ適用することにより、一のフレーム画像中の抽出対象領域を抽出するためのフレームマスク画像を生成する。これにより、一のフレーム画像の直前にある前フレーム画像中の抽出対象領域を抽出するための前フレームマスク画像と、一のフレーム画像中の抽出対象領域を粗く指定させた結果得られる粗境界領域が示された粗境界領域画像とを用意しておくだけで、一のフレーム画像中の抽出対象領域を抽出するためのフレームマスク画像を得ることができる。
【００１０】
【実施例】
以下図面について、本発明の一実施例を詳述する。
【００１１】
本発明の実施例による画像領域抽出方法における処理の概略的な流れを図１に示す。実施例による画像領域抽出方法では、動画像のフレームはそれぞれの１つ前のフレームと相関が高いことを利用し、前後のフレームの各小領域の対応を調べ、前フレームの結果で得た最適化アルゴリズムを後フレーム処理に用いることにより、動画像を合成する際に必要なフレーム毎のマスク画像生成作業を、第１フレームに対する対象物領域の指定と、各フレームに対する対象物粗輪郭領域の指定という作業に省力化する。
【００１２】
実施例による画像領域抽出方法の処理手順を図２に示す。まずステツプＳＰ１より開始して、ステツプＳＰ２において、前フレームマスク画像のマスク境界付近領域を検出し、前フレーム画像及び前フレームマスク画像のマスク境界付近領域を小領域に分割する。次にステツプＳＰ３に進み、対象物領域と背景領域とが粗く指定された後フレーム画像の粗境界領域画像及び後フレーム画像の粗境界領域に該当する領域を小領域に分割する。
【００１３】
続いてステツプＳＰ４に進み、前後のフレーム間で、対応する小領域を調べて小領域の対を生成してステツプＳＰ５に進む。ステツプＳＰ５において各小領域対の前フレームの小領域の情報を用いて、対象物領域抽出アルゴリズムを最適化する。その後ステツプＳＰ６に進み、各小領域対の後フレーム小領域に対して、ステツプＳＰ５において最適化された対象物領域抽出アルゴリズムを用いて対象物領域を抽出し、抽出結果をマスク画像として出力して、ステツプＳＰ７において処理を終了する。
【００１４】
ここで後フレーム画像より対象物領域を抽出するために必要となる前フレームの画像（前フレームマスク画像）の生成方法、すなわち静止画像より任意の対象物領域を抽出し、抽出結果をマスク画像として出力する画像領域抽出方法について説明する。図３に示すように、対象物領域と対象物領域以外の領域との境界領域が粗く指定された粗境界領域画像を与えて、非境界領域と境界領域とに分けて非境界領域マスク画像と境界領域マスク画像とを生成する。
【００１５】
すなわち粗境界領域画像を複数の小領域（例えば定形のブロツク）に分割する。次に当該各小領域に対して対象物領域抽出アルゴリズムを実行して、各小領域より対象物領域と対象物領域以外の領域とを検出し、当該検出結果に基づいて境界領域マスク画像を生成する。ここで対象物領域が最適に抽出できるように対象物領域抽出アルゴリズムを最適化し、それぞれに最適な抽出アルゴリズムを適用して各小領域より対象物領域を抽出して境界領域マスク画像を生成する。
【００１６】
以下に、本発明の実施例による画像領域抽出方法について詳細に説明する。この実施例では、上述の静止画像より対象物領域を抽出する画像領域抽出方法における対象物領域抽出アルゴリズムの最適化を自動的に行うことによつて、動画像に対応し得るようになされている。実施例による画像領域抽出方法の処理の流れを図４に示す。
【００１７】
この実施例においては、まず各フレーム処理毎に、前フレーム画像、前フレームマスク画像、後フレーム画像、後フレーム粗境界領域画像の４つの画像が入力され、後フレームマスク画像が出力される。ここで前フレームマスク画像は前フレームにおける処理結果を利用するので入力する必要はない。しかし、第１フレームの結果は得られないので、第１フレームに関してだけマスク画像を入力し、第２フレーム以降に対して以下に説明する処理が実行される。
【００１８】
まずブロツク対生成までの処理の流れを図５に示す。最初に上述の方法より得た前フレームマスク画像の境界付近領域と、対象物領域と対象物領域以外の領域とが粗く指定された後フレーム画像の粗境界領域画像を複数の小領域に分割する。この実施例では、小領域の分割形状として境界領域の太さよりも大きい定形のブロツクを用いる。後フレーム画像に対する処理は以下の手順に基づいて実行する。
【００１９】
まず図６（Ａ）に示すように画像中にブロツクを格子状に発生させ、図６（Ｂ）に示すように境界領域が横切るブロツク以外のブロツクを消去する。次に図６（Ｃ）に示すように、残つたブロツクについて、境界領域がブロツクの中心付近を通過するようにブロツクを移動させ、全境界領域がいずれかのブロツクに含まれるようにする。この場合、全境界領域がいずれかのブロツクに含まれるという条件が満たされない場合には、格子をずらして再度ブロツクを発生させてブロツク数を増やした後、上述の処理を繰り返す。
【００２０】
他方、前フレーム画像に対する処理は、前処理としてマスク画像の境界を検出した後、後フレーム画像に対して実行した処理と同様の処理を実行する。次に前フレーム画像からの対象物領域の移動量を推定する。具体的には、前後のマスクの重心位置の変化と面積の変化とを計算する。ここで後フレーム画像のマスク画像は得られていないので、粗境界領域の細線化と内側塗りつぶし処理によつて疑似的なマスク画像を生成し、生成した疑似的なマスク画像の重心位置と面積を計算する。また塗りつぶし処理は、粗境界領域入力と共に与えた領域内部のシードポイントを用いて実行する。
【００２１】
最後に、対象物領域の移動量を考慮したブロツク間の対応付けによつて、前フレーム画像と後フレーム画像との間でのブロツク対を決める。すなわち前フレーム画像の各ブロツクを推定移動量（マスク重心移動量＋重心から各ブロツクまでの距離変化量）に基づいて移動させ、後フレーム画像の各ブロツクに一番近い前フレーム画像のブロツクを対ブロツクとする。
【００２２】
ブロツク間の対応付けの処理手順を図７及び図８に示す。入力データは、前フレーム画像のブロツクの位置情報 pre［ｉ］(x,y) 、後フレーム画像のブロツクの位置情報post［ｉ］(x,y) 、前フレーム画像のブロツク数numpre、後フレーム画像のブロツク数numpost 、前フレーム画像の重心の位置情報prec(x,y) 、後フレーム画像の重心の位置情報postc(x,y)、前フレーム画像の面積prea及び後フレーム画像の面積posta である。
【００２３】
まずステツプＳＰ１より開始して、ステツプＳＰ２において、ｉを「０」に設定し、ステツプＳＰ３においてｉが前フレーム画像のブロツク数numpre未満であるか否かを判定する。「真」である場合には、ステツプＳＰ４に進み、前フレーム画像のｉ番目のブロツク pre［ｉ］を、前フレーム画像の面積preaと後フレーム画像の面積posta の変化量（sqrt(posta/prea)-1）に応じた推定移動量（(prec-postc)+( pre［ｉ］-prec)）だけ平行移動させる。
【００２４】
次にステツプＳＰ５に進んでｉをインクリメントしてステツプＳＰ３に戻る。すなわちステツプＳＰ２からステツプＳＰ５までの処理ループを実行することにより、前フレーム画像のｉ個の全てのブロツクを前フレーム画像と後フレーム画像の面積の比に応じた推定移動量だけ平行移動させる。全てのブロツクについて平行移動が完了すると、ステツプＳＰ６に進んでｉを「０」に設定する。次にステツプＳＰ７（図８）に進み、ｉが後フレーム画像のブロツク数numpost 未満であるか否かを判定する。「真」である場合にはステツプＳＰ８に進んで距離ｄに予め設定した最大距離を代入し、ステツプＳＰ９に進んでｊを「０」に設定する。
【００２５】
続いてステツプＳＰ１０に進み、ｊが前フレーム画像のブロツク数numpre未満であるか否かを判定する。「真」である場合にはステツプＳＰ１１に進んで、後フレーム画像のｉ番目のブロツクと前フレーム画像のｊ番目のブロツクとの距離の差を距離ｄに設定する。距離ｄを設定した後ステツプＳＰ１２に進み、距離ｄが最小距離mindより短いか否かを判定する。
【００２６】
「真」である場合には、ステツプＳＰ１３に進んで最小距離mindを距離ｄに設定すると共に、前フレーム画像のｊ番目のブロツクと後フレーム画像のｉ番目のブロツクとをｉ番目のブロツク対pair［ｉ］に決定してステツプＳＰ１４に進み、またステツプＳＰ１２において「偽」である場合にもステツプＳＰ１４に進む。すなわちステツプＳＰ１０からステツプＳＰ１４までの処理ループを実行することにより、後フレーム画像のｉ番目のブロツクと最も距離が近い前フレーム画像のブロツクを、前フレーム画像の全てのブロツクについて調べて決定する。
【００２７】
後フレーム画像のｉ番目のブロツクと最も距離が近い前フレーム画像のブロツクが見つかつてブロツク対が決定すると、ステツプＳＰ１０よりステツプＳＰ１５に進んでｉをインクリメントし、後フレーム画像の次のブロツクについてステツプＳＰ１０からステツプＳＰ１４までの処理ループを実行して、最も距離が近いブロツクを前フレーム画像のブロツクより見つける。
【００２８】
すなわちステツプＳＰ７からステツプＳＰ１５までの処理ループを実行することにより、後フレーム画像のｉ個のブロツク全てについて、前フレーム画像のブロツクと最も距離が近いブロツクを見つけ出して後フレーム画像の全てのブロツクに対応する対ブロツクを決定する。
【００２９】
後フレーム画像の全てのブロツクに対応する対ブロツクが決定すると、ステツプＳＰ７からステツプＳＰ１６に進んで、ブロツク対の数numpair に後フレーム画像のブロツク数numpost を代入してステツプＳＰ１７において処理を終了する。出力結果は、ブロツク対の数numpair 、ブロツク対における前フレーム画像の当該ブロツクの位置情報pair［ｉ］．pre(x,y)及びブロツク対における後フレーム画像の当該ブロツクの位置情報pair［ｉ］．post(x,y) である。
【００３０】
このように後フレーム画像と前フレーム画像とのブロツクの対応付けが終わると、図４に示すように、対象物領域抽出アルゴリズムを最適化して境界領域マスク画像を生成する。まずアルゴリズムの最適化について説明する。対象物領域抽出アルゴリズムの最適化は、各ブロツク対における前フレーム画像のブロツクの情報を用いて実行される。ここで最適化とは、対象物領域抽出アルゴリズムの選択と各アルゴリズムのパラメータの最適化の両方を行うことを意味する。
【００３１】
ここで対象物領域抽出アルゴリズムとしては、例えば楕円体色空間分割法や軸選択エツジ検出法がある。楕円体色空間分割法は、画像中の所定単位毎の画素データの色情報を色空間に配して得られる色分布を任意個数の３次元楕円体面で近似し、当該楕円体面を用いて色空間を分割して各画素を判別する方法である。また軸選択エツジ検出法は、画像上又は色空間上においてエツジ検出軸方向を選択して対象物境界をエツジ検出する方法である。
【００３２】
この実施例では、最適化を実行するための判断基準として次式（１）
【数１】
0003705448.tif 000002
で求められるσを用いる。ここで、Ｎはブロツクの画素数、ｐは前フレームマスク画像の当該ブロツクの画素値、ｑは前フレーム画像の当該ブロツクにアルゴリズムを適用した結果の画素値である。σは、前フレーム結果との画素毎の誤差の標準偏差に相当し、この標準偏差をできる限り小さくするアルゴリズム又はパラメータを選択する。
【００３３】
対象物領域抽出アルゴリズムの最適化処理の処理手順を図９に示す。図９において、入力データはｉ個のアルゴリズム algorithm［ｉ］及びアルゴリズムの数numalgo である。ステツプＳＰ１より開始して、ステツプＳＰ２において、ｉを「０」に設定してステツプＳＰ３に進む。
【００３４】
ステツプＳＰ３において、ｉがアルゴリズムの数numalgo 未満であるか否かを判定し、「真」である場合にはステツプＳＰ４に進んでｉ番目のアルゴリズムalgorithm ［ｉ］で（１）式のσが最小となるパラメータセツトを決定する。このアルゴリズム毎のパラメータの最適化処理の処理手順を図１０に示す。図１０において、入力データは、アルゴリズムalgorithm() 、パラメータセツトparamset［ｉ］、パラメータセツトの数numpset 、前フレームマスク画像のブロツクの画素の座標(x,y) における画素値ｐ(x,y) 、当該ブロツクのｘ軸方向の大きさｘsize及びブロツクのｙ軸方向の大きさｙsizeである。
【００３５】
ステツプＳＰ１より開始して、ステツプＳＰ２において、ｉを「０」に設定してステツプＳＰ３に進む。ステツプＳＰ３において、ｉがパラメータセツトの数numpset 未満か否かを判定する。「真」である場合には、ステツプＳＰ４に進んでｉ番目のパラメータセツトを一時的にパラメータセツトtmppset に設定すると共に、このパラメータセツトtmppsetが設定されたアルゴリズムを前フレーム画像の当該ブロツクに適用したときに得られる画素値ｑを一時的な画素値 tmpｑに設定する。
【００３６】
次にステツプＳＰ５に進み、誤差の合計sumerrorを「０」に設定すると共に、ブロツクの画素の座標(x,y) に(0，0)を代入してステツプＳＰ６に進み、画素の座標(x,y) が（ｘsize−１、ｙsize−１）であるか否かを判定する。「偽」である場合には、ステツプＳＰ７に進んで、ステツプＳＰ４で得られた前フレーム画像の当該ブロツクの画素の座標(x,y) における画素値 tmpｑ(x,y) と、前フレームマスク画像の当該ブロツクの対応する画素の画素値ｐ(x,y) との誤差の２乗を誤差の合計sumerrorに加算し、画素の座標(x,y) を次の座標(x,y) に設定してステツプＳＰ６に戻る。すなわちステツプＳＰ６及びステツプＳＰ７の処理ループを実行することにより、対応するブロツク内の全ての画素についての誤差の合計sumerrorが求まる。
【００３７】
ブロツク内の全ての画素についての誤差の合計sumerrorが求まると、ステツプＳＰ８に進み、ステツプＳＰ８においてブロツクの画素数Ｎをｘsize及びｙsizeより求め、誤差の平均値の平方根を一時的なσとしての tmpσに設定して、ステツプＳＰ９に進む。ステツプＳＰ９において、 tmpσがσより小さいか否かを判定し、「真」である場合にはステツプＳＰ１０に進んでσに tmpσを代入すると共にｑに tmpｑを代入し、パラメータセツトtmpsetを最適なパラメータセツトbestpsetとして選択してステツプＳＰ１１に進む。ステツプＳＰ９において「偽」である場合には、直接ステツプＳＰ１１に進む。
【００３８】
ステツプＳＰ１１においてｉをインクリメントした後ステツプＳＰ３に戻る。すなわちステツプＳＰ３からステツプＳＰ１１までの処理ループを実行することにより、ｉ個のパラメータセツトの全てについてσ及びｑが計算され、ｉ個のσのうちσが最小となる最適なパラメータセツトbestpsetが選択される。最適なパラメータセツトbestpsetが選択されると、ステツプＳＰ３よりステツプＳＰ１２進んで処理を終了する。出力データは最適なパラメータセツトbestpset、当該パラメータセツトbestpsetをアルゴリズムに設定したときに得られるσ及び画素値ｑである。
【００３９】
図９に戻り、ステツプＳＰ４においてｉ番目のアルゴリズムについて最適なパラメータセツトbestpsetが選択されると、ステツプＳＰ５に進み、ステツプＳＰ４で得られたσが、最小のσ minσより小さいか否かを判定する。「真」である場合にはステツプＳＰ６に進んで、ｉ番目のアルゴリズムを最適なアルゴリズムbestalg として選択すると共にこのアルゴリズムbestalg でのσを最小のσ minσに設定して、ステツプＳＰ７に進む。またステツプＳＰ５において「偽」である場合には、直接ステツプＳＰ７に進む。ステツプＳＰ７において、ｉをインクリメントしてステツプＳＰ３に戻り、次のアルゴリズムについてステツプＳＰ３からステツプＳＰ７までの処理ループを実行する。
【００４０】
すなわちステツプＳＰ３からステツプＳＰ７までの処理ループを実行することより、パラメータセツトが最適化された全アルゴリズムのうちσが最小となるアルゴリズムが選択されてステツプＳＰ８において処理を終了する。出力は最適なアルゴリズムbestalg である。
【００４１】
このようにして各ブロツク毎に最適なアルゴリズムが選択されると、図４に示すように、境界領域マスク画像を生成する。すなわち最適なアルゴリズムを用いて各ブロツクより対象物領域を抽出し、各ブロツクの抽出結果を合成して境界領域マスク画像として出力する。このとき各ブロックの対象物領域抽出結果のうち、粗境界領域画像によつて指定される画素だけ結果にコピーする。
【００４２】
このようにして生成された境界領域マスク画像を、非境界領域マスク画像と合成してマスク画像を生成する。ここで非境界領域マスク生成部では、図１１に示すように、境界領域の外側がα＝０、境界領域の内側がα＝１、境界領域が不定（便宜上α＝0.5 とする）であるようなマスク画像を生成する。境界領域の内側領域の判別は、入力する粗境界領域画像の内側領域の任意の点に予めシードポイントを入れることにより、塗りつぶし処理で判別する。
【００４３】
最後に境界領域マスク画像と非境界領域マスク画像とを合成してマスク画像を生成する。具体的には、図１２に示すように、非境界領域マスク画像の画素値が
0.5である画素を境界領域マスク画像の画素値に置き換える操作を行う。
【００４４】
以上の構成によれば、動画像の各フレームが１つ前のフレームと相関が高いことを利用し、隣接するフレーム間のブロツク同士の対応を調べ、既に領域抽出処理の結果が得られている１つ前のフレームの対応するブロツクの結果を用いて当該ブロツクでの対象物領域抽出アルゴリズムを最適化するようにしたことにより、対象物領域抽出アルゴリズムを自動的に最適化することができるので、対象物領域を指定する作業を、第１フレームに対する対象物領域の指定と各フレームに対する対象物領域粗輪郭領域の指定とに簡略化することができる。
【００４５】
なお上述の実施例においては、楕円体色空間分割法及び軸選択エツジ検出法を対象物領域抽出アルゴリズムの具体例としてあげたが、本発明はこれに限らず他の対象物領域抽出アルゴリズムでもよい。
【００４６】
【発明の効果】
上述のように本発明によれば、一のフレーム画像の直前にある前フレーム画像中の抽出対象領域を抽出するための前フレームマスク画像と、一のフレーム画像中の抽出対象領域を粗く指定させた結果得られる粗境界領域が示された粗境界領域画像とを用意しておくだけで、一のフレーム画像中の抽出対象領域を抽出するためのフレームマスク画像を得ることができる。これにより一のフレーム画像中の抽出対象領域を正確に指定させるような作業を行わなくて良いので、効率よく抽出対象領域を抽出することができる。この結果、動画像中より高精度かつ効率よく所望の領域を抽出し得る画像領域抽出方法及び画像領域抽出装置を実現することができる。
【図面の簡単な説明】
【図１】本発明の実施例による画像領域抽出方法の概略的な流れを示すブロツク図である。
【図２】本発明の実施例による画像領域抽出方法の処理手順を示すフローチヤートである。
【図３】静止画像より対象物領域を抽出する場合の処理の流れを示すブロツク図である。
【図４】本発明の実施例による画像領域抽出方法の流れを詳細に示すブロツク図である。
【図５】ブロツク対を生成するまでの処理の流れを示すブロツク図である。
【図６】境界領域の分割処理の流れを示すブロツク図である。
【図７】ブロツク間の対応付け処理の処理手順を示すフローチヤートである。
【図８】ブロツク間の対応付け処理の処理手順を示すフローチヤートである。
【図９】領域抽出アルゴリズムの最適化処理の処理手順を示すフローチヤートである。
【図１０】パラメータ最適化処理の処理手順を示すフローチヤートである。
【図１１】非境界領域マスク画像の生成処理の説明に供する略線図である。
【図１２】マスク画像の生成処理の説明に供する略線図である。
【図１】
0003705448.tif 000003
【図２】
0003705448.tif 000004
【図３】
0003705448.tif 000005
【図４】
0003705448.tif 000006
【図５】
0003705448.tif 000007
【図６】
0003705448.tif 000008
【図７】
0003705448.tif 000009
【図８】
0003705448.tif 000010
【図９】
0003705448.tif 000011
【図１０】
0003705448.tif 000012
【図１１】
0003705448.tif 000013
【図１２】
0003705448.tif 000014