(57)【要約】【課題】演算量が少なく、抽出精度が高い輪郭線抽出方法、画像処理装置、及びコンピュータプログラムの提供。【解決手段】輪郭線を抽出すべき形状オブジェクトに対し、輪郭候補点である制御点をその外側に設定し、制御点で定まる輪郭領域の色分布情報に基づきエネルギ関数（評価関数）を設定する。そして、形状オブジェクトと重なる制御点の有無を検出し、形状オブジェクト上の制御点を検出した場合、その制御点を輪郭領域の重心に対して所定画素だけ移動させる輪郭領域の拡大処理を行う（Ｓ５）。そして、輪郭領域を縮小しながら制御点の最適位置をエネルギ関数に従って求めて、輪郭線の抽出を行う（Ｓ６）。【選択図】　　　　図６
2004118578.tif 000002
【特許請求の範囲】
【請求項１】
形状オブジェクトを含む画像を画像処理装置に読込み、読込まれた画像から形状オブジェクトの輪郭線を前記画像処理装置が備える演算処理部により抽出する輪郭線抽出方法において、
前記演算処理部により、前記形状オブジェクトに対する複数の輪郭候補点を設定し、設定した輪郭候補点に対する評価関数を定め、前記形状オブジェクト上に存在する輪郭候補点の有無を検出し、前記輪郭候補点が検出された場合、検出された輪郭候補点を前記形状オブジェクトの外側の位置に移動させ、各輪郭候補点を前記形状オブジェクトに近づけるべく移動させて、前記評価関数の値が良好となるように各輪郭候補点の位置を求め、求めた各輪郭候補点の位置から抽出すべき輪郭線を決定することを特徴とする輪郭線抽出方法。
【請求項２】
前記形状オブジェクト上に存在する輪郭候補点を検出する際、前記形状オブジェクトの内側の色分布情報と輪郭候補点における色情報とを前記演算処理部により算出し、算出した色分布情報及び色情報に基づき、前記形状オブジェクト上の輪郭候補点を検出することを特徴とする請求項１に記載の輪郭線抽出方法。
【請求項３】
前記評価関数は、前記形状オブジェクトの内側の色分布情報と輪郭候補点での色情報との相関に基づく関数であることを特徴とする請求項１又は請求項２に記載の輪郭線抽出方法。
【請求項４】
前記画像は、複数のフレーム画像の内の一つであり、ｎ番目（ｎは自然数）のフレーム画像に含まれる形状オブジェクトについて求めた輪郭候補点を、ｎ＋１番目のフレーム画像に含まれる前記形状オブジェクトの輪郭候補点として設定することを特徴とする請求項１乃至請求項３の何れかに記載の輪郭線抽出方法。
【請求項５】
ｎ番目のフレーム画像から抽出した輪郭線の内側領域について色分布情報を算出し、ｎ＋１番目のフレーム画像にて前記評価関数を設定する際、ｎ番目のフレーム画像について算出した色分布情報を用いることを特徴とする請求項４に記載の輪郭線抽出方法。
【請求項６】
形状オブジェクトを含む画像から前記形状オブジェクトの輪郭線を抽出する画像処理装置において、
前記形状オブジェクトに対する複数の輪郭候補点を設定する手段と、設定された輪郭候補点に関する評価関数を定める手段と、前記形状オブジェクト上に存在する輪郭候補点の有無を検出する手段と、前記輪郭候補点が検出された場合、検出された輪郭候補点を前記形状オブジェクトの外側の位置に移動させる手段と、各輪郭候補点を前記形状オブジェクトに近づけるべく移動させる手段と、前記評価関数の値が良好となるように各輪郭候補点の位置を求める手段とを備え、求めた輪郭候補点の位置から抽出すべき輪郭線を決定すべくなしてあることを特徴とする画像処理装置。
【請求項７】
前記形状オブジェクトの内側の色分布情報と輪郭候補点における色情報とを算出する手段を備え、算出した色分布情報及び色情報に基づき、前記形状オブジェクト上の輪郭候補点を検出すべくなしてあることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記形状オブジェクトの内側の色分布情報と輪郭候補点での色情報との相関に基づき前記評価関数を定めるべくなしてあることを特徴とする請求項６又は請求項７に記載の画像処理装置。
【請求項９】
前記画像は、複数のフレーム画像の内の一つであり、ｎ番目（ｎは自然数）のフレーム画像に含まれる形状オブジェクトについて求めた輪郭候補点を、ｎ＋１番目のフレーム画像に含まれる前記形状オブジェクトの輪郭候補点として設定すべくなしてあることを特徴とする請求項６乃至請求項８の何れかに記載の画像処理装置。
【請求項１０】
ｎ番目のフレーム画像から抽出した輪郭線の内側領域について色分布情報を算出する手段を備え、ｎ＋１番目のフレーム画像にて評価関数を設定する際、ｎ番目のフレーム画像にて算出した色分布情報を用いるべくなしてあることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
コンピュータに、形状オブジェクトを含む画像から前記形状オブジェクトの輪郭線を抽出させるステップを有するコンピュータプログラムにおいて、
コンピュータに、前記形状オブジェクトに対する複数の輪郭候補点を設定させるステップと、コンピュータに、輪郭候補点に関する評価関数を設定させるステップと、コンピュータに、前記形状オブジェクト上に存在する輪郭候補点の有無を検出させるステップと、コンピュータに、前記輪郭候補点が検出された場合、検出された輪郭候補点を前記形状オブジェクトの外側の位置に移動させるステップと、コンピュータに、各輪郭候補点を前記形状オブジェクトに近づけるべく移動させるステップと、コンピュータに、前記評価関数の値が良好となるように各輪郭候補点の位置を求めさせるステップとを有することを特徴とするコンピュータプログラム。
【請求項１２】
コンピュータに、前記形状オブジェクトの内側の色分布情報を算出させるステップと、コンピュータに、輪郭候補点における色情報を算出させるステップとを有し、前記評価関数は、算出させた前記形状オブジェクトの内側の色分布情報と輪郭候補点での色情報との相関に基づく関数であることを特徴とする請求項１１に記載のコンピュータプログラム。
【請求項１３】
前記画像は、複数のフレーム画像の内の一つであり、コンピュータに、ｎ番目（ｎは自然数）のフレーム画像に含まれる形状オブジェクトについて求めた輪郭候補点を、ｎ＋１番目のフレーム画像に含まれる前記形状オブジェクトの輪郭候補点として設定させるステップを有することを特徴とする請求項１１又は請求項１２に記載のコンピュータプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像に含まれた形状オブジェクトの輪郭線を抽出する輪郭線抽出方法、画像処理装置、及び該画像処理装置を実現させるためのコンピュータプログラムに関する。
【０００２】
【従来の技術】
近年、動画のデジタル画像通信技術は符号化技術の進歩と共に発展しており、圧縮率及び画質のさらなる向上を目指し、オブジェクトベースで符号化を行う方式について盛んに研究が進められている。特に、ＭＰＥＧ−４（Ｍｏｖｉｎｇ　ＰｉｃｔｕｒｅＥｘｐｅｒｔｓ　Ｇｒｏｕｐ−ｐｈａｓｅ　４）における基本機能の大きな柱の一つとして、任意形状のオブジェクトベース符号化が規格化されており、動画中の人物、物体、背景等の任意の形状オブジェクト単位で圧縮が可能となっている。そこで、オブジェクトベース符号化では符号化の初期化段階において、画像から各形状オブジェクトを抽出するアルゴリズムが求められている。
【０００３】
画像から形状オブジェクトを抽出するアルゴリズムとしては様々なものが提案されているが、その中の一つに、ＳＮＡＫＥＳと呼ばれる動的輪郭モデルが存在する。この動的輪郭モデルは、エネルギ最小化原理に基づくモデルであって、滑らかで閉じた輪郭線を得る手法である。動的輪郭モデルにより、形状オブジェクトの輪郭線を得るためには、まず、滑らかさを保持する内部エネルギ、用途に応じた画像エネルギ等を利用して、評価関数の１つであるエネルギ関数を定義し、エネルギ関数の値を最小化することで輪郭線の変形を行い、形状オブジェクトの輪郭を抽出するようにしている（例えば、非特許文献１参照）。
【０００４】
以下、複数のフレームデータ（フレーム画像）からなる動画に前述の動的輪郭モデルを適用した場合について説明する。図１４は、形状オブジェクトに対して設定する輪郭モデル（輪郭候補線）であり、図１５は、動的輪郭モデルによる輪郭線の抽出方法を説明する模式図である。動的輪郭モデルでは、抽出対象となる形状オブジェクトＴの外側に複数の制御点（輪郭候補点）Ｐ１　，Ｐ２　，…，Ｐｎ　を設定し、それらの制御点Ｐ１　〜Ｐｎ　で定まる輪郭候補線Ｓを設定する。そして、制御点Ｐ１　〜Ｐｎ　の位置座標を最適化することにより、形状オブジェクトＴの最終的な輪郭候補線Ｓを得るようにしている。図１５に示した例では、最初に設定した輪郭候補線Ｓｉｎｔ　上の各制御点Ｐ１　，Ｐ２　，…，Ｐｎ　を形状オブジェクトＴへ近づけてゆき、エネルギ関数の値が最小又は極小となる各制御点Ｐ１　，Ｐ２　，…，Ｐｎ　の位置を求め、最終的な輪郭線Ｓｆｉｎ　を得るようにしている。
【０００５】
制御点Ｐ１　〜Ｐｎ　の位置座標の最適化は、次式（１）のエネルギ関数（評価関数）で与えられるエネルギ値を算出し、そのエネルギ値が最小又は極小となるように各制御点Ｐ１　，…，Ｐｎ　の位置座標を更新する。
【０００６】
【数１】
2004118578.tif 000003
【０００７】
ここで、α，βは定数であり、Ｅｉｎｔ　（Ｓ）は輪郭候補線Ｓで定まる輪郭モデルの幾何学的拘束条件のエネルギ（内部エネルギ）、Ｅｅｘｔ　（Ｓ）は輪郭線Ｓで定まる輪郭モデルの画像エネルギ（外部エネルギ）を表している。
幾何学的拘束条件には、隣接する制御点間の距離、及び輪郭の滑らかさ等が含まれ、画像エネルギＥｅｘｔ　（Ｓ）としては、輪郭モデル上のエッジ強度が用いられている。そのため、各制御点Ｐ１　，…Ｐｎ　が抽出対象である形状オブジェクトＴの輪郭に近い程、エネルギ関数Ｅ（Ｓ）のエネルギ値が小さくなる。
【０００８】
図１６は、フレーム更新時における従来の輪郭抽出処理を説明する模式図である。ｋ番目のフレームデータと、その次のｋ＋１番目のフレームデータとから形状オブジェクトの輪郭線を抽出する場合について説明する。
ｋ番目のフレームデータについて、前述したように形状オブジェクトＴｋ　の外側に複数の制御点を設定することによって輪郭候補線Ｓｋ　を設定する。そして、各制御点の位置を更新しながらエネルギ関数Ｅ（Ｓｋ　）の値を算出し、最適な制御点の位置を求めてｋ番目のフレームデータに対する最終的な輪郭候補線Ｓｋ　を導出する。
【０００９】
次いで、ｋ＋１番目のフレームデータにおける形状オブジェクトＴｋ＋１　の輪郭を抽出する場合、ｋ番目のフレームデータで求めた最終的な輪郭候補線Ｓｋ　を利用する。形状オブジェクトＴｋ＋１　の位置はｋ番目のフレームデータでの位置から移動している場合があるため、輪郭候補線Ｓｋ　と形状オブジェクトＴｋ＋１　とが重なることがあり、形状オブジェクトＴｋ＋１　の輪郭を抽出するためには、予め輪郭候補線Ｓｋ　を拡大しておく必要がある。従来では、形状オブジェクトＴｋ＋１　が最大Ｎ画素だけ移動した場合、輪郭候補線Ｓｋ　を構成する各制御点の位置を一様にＮ画素だけ外側に移動させ、エネルギ関数Ｅ（Ｓｋ＋１　）の評価を行うようにしていた。
【００１０】
図１７は、従来の輪郭抽出処理の処理手順を説明するフローチャートである。まず、輪郭を抽出すべき形状オブジェクトの外側に複数の制御点を設定して、初期輪郭を設定する（ステップＳ５１）。初期輪郭における制御点は、例えば、画像の中心に所定の半径を持つ円周上に設定される。
【００１１】
次いで、輪郭上の制御点を１つ選択して（ステップＳ５２）、選択した制御点の周りの画素についてエネルギ値を算出する（ステップＳ５３）。エネルギ値の算出は、前述したエネルギ関数を利用することによって行う。そして、算出したエネルギ値が極小となる画素の位置へ制御点を移動させる（ステップＳ５４）。
【００１２】
次いで、輪郭上の全ての制御点について実行したか否かを判断し（ステップＳ５５）、エネルギ値を算出していない制御点がある場合（Ｓ５５：ＮＯ）、処理をステップＳ５２へ戻す。輪郭上の全ての制御点についてエネルギ値を算出した場合（Ｓ５５：ＹＥＳ）、輪郭の移動が収束したか否かを判断し（ステップＳ５６）、輪郭の移動が収束していない場合（Ｓ５６：ＮＯ）、処理をステップＳ５２へ戻す。
【００１３】
輪郭の移動が収束したと判断した場合（Ｓ５６：ＹＥＳ）、フレームデータが終了したか否かを判断する（ステップＳ５７）。フレームデータが終了していない場合（Ｓ５７：ＮＯ）、フレームデータの更新を行い（ステップＳ５８）、全ての制御点をＮ画素だけ移動させ（ステップＳ５９）、輪郭領域の拡大を行う。制御点の移動量は、各フレームデータで固定させる必要はなく、前述したように１つ前のフレームデータを参照し、抽出すべき形状オブジェクトの移動量に基づいて算出することが望ましい。全ての制御点を移動させた後、処理をステップＳ５２へ戻し、次のフレームデータに対する輪郭抽出処理を行う。
そして、全てのフレームデータが終了したと判断した場合（Ｓ５７：ＹＥＳ）、輪郭抽出処理を終了する。
【００１４】
【非特許文献１】
安居院猛，長尾智晴共著，「画像の処理と認識」，初版，株式会社昭晃堂，１９９２年１１月，ｐ．１１２−１１３
【００１５】
【発明が解決しようとする課題】
前述した通り、従来の動的輪郭モデルでは、フレーム更新時に形状オブジェクトの移動量を追跡し、その移動量に応じて輪郭の拡大処理を行った後、エネルギ関数を用いて制御点の最適位置を求めるようにしている。
【００１６】
しかしながら、このような輪郭の拡大処理は、演算量と抽出精度とのトレードオフを考慮して決定すべきであり、抽出精度を向上させるためには、演算量が大きくなるという問題点が存在していた。特に、双方向通信の分野にあっては、短い伝送時間が要求されるためリアルタイムにて処理を行うことができるように低演算量のアルゴリズムが求められており、抽出精度を低下させることなく、演算量を低く抑えることができるアルゴリズムが求められていた。
【００１７】
また、従来では、経験等に基づいて予め求められたパラメータ、又は入力された画像データから導出されるパラメータを用いてエネルギ関数を定めるようにしているため、平均的なパラメータを持つ画像データには対処可能であるが、平均から外れたパラメータを持つ画像データに対しては抽出精度が落ちるという問題点を有していた。
【００１８】
本発明は斯かる事情に鑑みてなされたものであり、画像に含まれる形状オブジェクトに対して、複数の輪郭候補点と輪郭候補点に対する評価関数とを設定し、形状オブジェクト上に存在する輪郭候補点の有無を検出し、検出された輪郭候補点を形状オブジェクトの外側の位置に移動させ、各輪郭候補点を形状オブジェクトに近づけるべく移動させて、評価関数の値が良好となるように各輪郭候補点の位置を求め、求めた各輪郭候補点の位置から抽出すべき輪郭線を決定する構成とすることにより、演算量を低く抑えることができるとともに、輪郭線の抽出精度を向上させることができる輪郭線抽出方法、画像処理装置、及びコンピュータプログラムを提供することを目的とする。
【００１９】
本発明の他の目的は、形状オブジェクト上に存在する輪郭候補点を検出する際、形状オブジェクトの内側の色分布情報及び輪郭候補点での色情報に基づいて、輪郭候補点を検出する構成とすることにより、演算量を低く抑えることができるとともに、輪郭線の抽出精度を向上させることができる輪郭線抽出方法、及び画像処理装置を提供することにある。
【００２０】
本発明の更に他の目的は、形状オブジェクトの内側の色分布情報と輪郭候補点での色情報との相関に基づく関数として評価関数を設定する構成とすることにより、演算量を低く抑えることができるとともに、輪郭線の抽出精度を向上させることができる輪郭線抽出方法、画像処理装置、及びコンピュータプログラムを提供することにある。
【００２１】
本発明の更に他の目的は、ｎ番目のフレーム画像に含まれる形状オブジェクトについて求めた輪郭候補点を、ｎ＋１番目のフレーム画像に含まれる前記形状オブジェクトの輪郭候補点として設定する構成とすることにより、演算量を低く抑えることができるとともに、輪郭線の抽出精度を向上させることができる輪郭線抽出方法、画像処理装置、及びコンピュータプログラムを提供することにある。
【００２２】
本発明の更に他の目的は、ｎ番目のフレーム画像から抽出した輪郭線の内側領域について色分布情報を算出し、ｎ＋１番目のフレーム画像にて評価関数を設定する際、ｎ番目のフレーム画像について算出した色分布情報を用いる構成とすることにより、平均的なパラメータを持つ画像に対しても対処することができ、演算量を低く抑えることができるとともに、輪郭線の抽出精度を向上させることができる輪郭線抽出方法、及び画像処理装置を提供することにある。
【００２３】
【課題を解決するための手段】
第１発明に係る輪郭線抽出方法は、形状オブジェクトを含む画像を画像処理装置に読込み、読込まれた画像から形状オブジェクトの輪郭線を前記画像処理装置が備える演算処理部により抽出する輪郭線抽出方法において、前記演算処理部により、前記形状オブジェクトに対する複数の輪郭候補点を設定し、設定した輪郭候補点に対する評価関数を定め、前記形状オブジェクト上に存在する輪郭候補点の有無を検出し、前記輪郭候補点が検出された場合、検出された輪郭候補点を前記形状オブジェクトの外側の位置に移動させ、各輪郭候補点を前記形状オブジェクトに近づけるべく移動させて、前記評価関数の値が良好となるように各輪郭候補点の位置を求め、求めた各輪郭候補点の位置から抽出すべき輪郭線を決定することを特徴とする。
【００２４】
第２発明に係る輪郭線抽出方法は、第１発明に係る輪郭線抽出方法において、前記形状オブジェクト上に存在する輪郭候補点を検出する際、前記形状オブジェクトの内側の色分布情報と輪郭候補点における色情報とを前記演算処理部により算出し、算出した色分布情報及び色情報に基づき、前記形状オブジェクト上の輪郭候補点を検出することを特徴とする。
【００２５】
第３発明に係る輪郭線抽出方法は、第１発明又は第２発明に係る輪郭線抽出方法において、前記評価関数は、前記形状オブジェクトの内側の色分布情報と輪郭候補点での色情報との相関に基づく関数であることを特徴とする。
【００２６】
第４発明に係る輪郭線抽出方法は、第１発明乃至第３発明の何れかの輪郭線抽出方法において、前記画像は、複数のフレーム画像の内の一つであり、ｎ番目（ｎは自然数）のフレーム画像に含まれる形状オブジェクトについて求めた輪郭候補点を、ｎ＋１番目のフレーム画像に含まれる前記形状オブジェクトの輪郭候補点として設定することを特徴とする。
【００２７】
第５発明に係る輪郭線抽出方法は、第４発明に係る輪郭線抽出方法において、ｎ番目のフレーム画像から抽出した輪郭線の内側領域について色分布情報を算出し、ｎ＋１番目のフレーム画像にて前記評価関数を設定する際、ｎ番目のフレーム画像について算出した色分布情報を用いることを特徴とする。
【００２８】
第６発明に係る画像処理装置は、形状オブジェクトを含む画像から前記形状オブジェクトの輪郭線を抽出する画像処理装置において、前記形状オブジェクトに対する複数の輪郭候補点を設定する手段と、設定された輪郭候補点に関する評価関数を定める手段と、前記形状オブジェクト上に存在する輪郭候補点の有無を検出する手段と、前記輪郭候補点が検出された場合、検出された輪郭候補点を前記形状オブジェクトの外側の位置に移動させる手段と、各輪郭候補点を前記形状オブジェクトに近づけるべく移動させる手段と、前記評価関数の値が良好となるように各輪郭候補点の位置を求める手段とを備え、求めた輪郭候補点の位置から抽出すべき輪郭線を決定すべくなしてあることを特徴とする。
【００２９】
第７発明に係る画像処理装置は、第６発明に係る画像処理装置において、前記形状オブジェクトの内側の色分布情報と輪郭候補点における色情報とを算出する手段を備え、算出した色分布情報及び色情報に基づき、前記形状オブジェクト上の輪郭候補点を検出すべくなしてあることを特徴とする。
【００３０】
第８発明に係る画像処理装置は、第６発明又は第７発明に係る画像処理装置において、前記形状オブジェクトの内側の色分布情報と輪郭候補点での色情報との相関に基づき前記評価関数を定めるべくなしてあることを特徴とする。
【００３１】
第９発明に係る画像処理装置は、第６発明乃至第８発明の何れかの画像処理装置において、前記画像は、複数のフレーム画像の内の一つであり、ｎ番目（ｎは自然数）のフレーム画像に含まれる形状オブジェクトについて求めた輪郭候補点を、ｎ＋１番目のフレーム画像に含まれる前記形状オブジェクトの輪郭候補点として設定すべくなしてあることを特徴とする。
【００３２】
第１０発明に係る画像処理装置は、第９発明に係る画像処理装置において、ｎ番目のフレーム画像から抽出した輪郭線の内側領域について色分布情報を算出する手段を備え、ｎ＋１番目のフレーム画像にて評価関数を設定する際、ｎ番目のフレーム画像にて算出した色分布情報を用いるべくなしてあることを特徴とする。
【００３３】
第１１発明に係るコンピュータプログラムは、コンピュータに、形状オブジェクトを含む画像から前記形状オブジェクトの輪郭線を抽出させるステップを有するコンピュータプログラムにおいて、コンピュータに、前記形状オブジェクトに対する複数の輪郭候補点を設定させるステップと、コンピュータに、輪郭候補点に関する評価関数を設定させるステップと、コンピュータに、前記形状オブジェクト上に存在する輪郭候補点の有無を検出させるステップと、コンピュータに、前記輪郭候補点が検出された場合、検出された輪郭候補点を前記形状オブジェクトの外側の位置に移動させるステップと、コンピュータに、各輪郭候補点を前記形状オブジェクトに近づけるべく移動させるステップと、コンピュータに、前記評価関数の値が良好となるように各輪郭候補点の位置を求めさせるステップとを有することを特徴とする。
【００３４】
第１２発明に係るコンピュータプログラムは、第１１発明に係るコンピュータプログラムにおいて、コンピュータに、前記形状オブジェクトの内側の色分布情報を算出させるステップと、コンピュータに、輪郭候補点における色情報を算出させるステップとを有し、前記評価関数は、算出させた前記形状オブジェクトの内側の色分布情報と輪郭候補点での色情報との相関に基づく関数であることを特徴とする。
【００３５】
第１３発明に係るコンピュータプログラムは、第１１発明又は第１２発明に係るコンピュータプログラムにおいて、前記画像は、複数のフレーム画像の内の一つであり、コンピュータに、ｎ番目（ｎは自然数）のフレーム画像に含まれる形状オブジェクトについて求めた輪郭候補点を、ｎ＋１番目のフレーム画像に含まれる前記形状オブジェクトの輪郭候補点として設定させるステップを有することを特徴とする。
【００３６】
第１発明、第６発明、及び第１１発明にあっては、画像に含まれる形状オブジェクトに対して、複数の輪郭候補点と輪郭候補点に対する評価関数とを設定し、形状オブジェクト上に存在する輪郭候補点の有無を検出し、検出された輪郭候補点を形状オブジェクトの外側の位置に移動させ、各輪郭候補点を形状オブジェクトに近づけるべく移動させて、評価関数の値が良好となるように各輪郭候補点の位置を求め、求めた各輪郭候補点の位置から抽出すべき輪郭線を決定するようにしている。したがって、全ての制御点を一様に移動させることがなくなるため、演算量を低く抑えることができるとともに、輪郭線の抽出精度を向上させることができる。
【００３７】
第２発明及び第７発明にあっては、形状オブジェクトの内側の色分布情報と輪郭候補点での色情報との相関に基づく関数として評価関数を設定するようにしているため、輪郭候補点で定まる領域内部、又は輪郭候補点の近傍のみを検出して評価関数を設定することができるため、演算量を低く抑えることができるとともに、輪郭線の抽出精度を向上させることができる。
【００３８】
第３発明、第８発明、及び第１２発明にあっては、形状オブジェクト上に存在する輪郭候補点を検出する際、形状オブジェクトの内側の色分布情報及び輪郭候補点での色情報に基づいて、輪郭候補点を検出するようにしているため、輪郭候補点で定まる領域内部、又は輪郭候補点の近傍のみを検出して評価関数を設定することができるため、演算量を低く抑えることができるとともに、輪郭線の抽出精度を向上させることができる。
【００３９】
第４発明、第９発明、及び第１３発明にあっては、ｎ番目のフレーム画像に含まれる形状オブジェクトについて求めた輪郭候補点を、ｎ＋１番目のフレーム画像に含まれる前記形状オブジェクトの輪郭候補点として設定するようにしている。従って、したがって、全ての制御点を一様に移動させる必要がなくなり、形状オブジェクトが移動した方向へのみ輪郭候補点を移動させてエネルギ関数の評価関数の値を演算できるため、演算量を低く抑えることができるとともに、輪郭線の抽出精度を向上させることができる。
【００４０】
第５発明及び第１０発明にあっては、ｎ番目のフレーム画像から抽出した輪郭線の内側領域について色分布情報を算出し、ｎ＋１番目のフレーム画像にて評価関数を設定する際、ｎ番目のフレーム画像について算出した色分布情報を用いるようにしているため、平均から外れたパラメータを持つ画像に対しても抽出精度を保つことが可能であり、演算量を低く抑えることができるとともに、輪郭線の抽出精度を向上させることができる。
【００４１】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
図１は本実施の形態に係る輪郭線抽出方法を説明する説明図である。本実施の形態では、後述する画像処理装置に入力されたフレーム画像から形状オブジェクトの輪郭線を抽出する処理を行う。具体的には、図１（ａ）に示した如き人物の画像を入力し、入力された画像から人物の顔部分を輪郭として抽出する。
顔部分の輪郭線を抽出するために、まず、画像全体の色分布情報を抽出し、その色分布情報から肌色となる領域を取り出し、それを抽出対象の形状オブジェクトＴとして定める（図１（ｂ）参照）。なお、輪郭抽出処理の初期段階では、画像全体の色分布情報を抽出するようにしているが、あるフレーム画像について形状オブジェクトＴの輪郭を求めた後は、求めた輪郭線内部の色分布情報のみを抽出することによって演算量を減らすことができる。また、初期段階においても必ずしも画像全体から色分布情報を抽出する必要はなく、予め任意に設定した輪郭内部の色分布情報を抽出するようにしてもよい。
そして、形状オブジェクトＴの外側に輪郭候補点となる複数の制御点を設定し、これらの制御点により定まる輪郭候補線Ｓについてエネルギ関数を定義する。本実施の形態でのエネルギ関数は、制御点での色情報と形状オブジェクトＴ内部の色分布情報とに基づいて定義される評価関数であり、エネルギ関数の値が最小又は極小となる制御点の組合せを求めて、形状オブジェクトＴの輪郭を最終的に決定する（図１（ｃ）参照）。
【００４２】
図２は本実施の形態の画像処理装置が行う各処理の相関関係を説明する模式的概念図である。画像処理装置では、（１）輪郭候補線Ｓ内部の色分布情報の取得、（２）色分布情報に基づくエネルギ関数の設定、（３）エネルギ値の最小化による輪郭線の抽出、という３段階の処理を実行して抽出対象である形状オブジェクトＴの輪郭を定める。
【００４３】
本実施の形態では、輪郭候補線Ｓ内部の色分布情報を取得し、取得した色分布情報を輪郭候補線Ｓの補正時に用いるとともに、制御点の位置を最適化して求めた輪郭情報を色分布情報の抽出時に用いることを一つの特徴としており、色情報等のパラメータが一様でない画像であっても柔軟に対応することができ、精度よく輪郭を抽出することができる。
また、抽出すべき形状オブジェクトＴが各フレーム画像間で移動する場合であっても、逐次的に輪郭候補線Ｓを補正し、最新の色分布情報に基づいて処理をすることができるため、精度良く輪郭を抽出することができる。
【００４４】
以下、前述した各処理内容について説明する。
本実施の形態では人物の画像から顔部分を特定する際、輪郭候補線Ｓ内部の色分布情報を抽出する。具体的には、抽出した輪郭候補線Ｓ内部のすべての画素に対し、ＨＳＶ色空間（ＨＳＶ　：　Ｈｕｅ−Ｓａｔｕｒａｔｉｏｎ−Ｖａｌｕｅ）に変換した後のヒストグラムを生成し、肌色とみなすことができる範囲を決定する。輪郭候補線Ｓの内部、又は輪郭候補線Ｓの周辺画素に限定することにより演算量を削減することができる。また、輪郭候補線Ｓ内部には肌色が集中的に分布している領域であるため、肌色抽出の精度向上を実現することが可能である。
【００４５】
図３は色分布情報の抽出結果の一例を示すグラフである。暗部を除いた肌色の色相角は、１０度から５０度近辺に分布するという特徴に基づいて肌色に対する色分布範囲（色分布情報）を決定する。図３に示した如き色分布が得られた場合、まず、ヒストグラム中最大の画素数をもつ色相角を中心とし、色相角が大きくなる方向、及び小さくなる方向へそれぞれ探索し、画素数が極小となる色相角、又は頻度分布が極大値の半分以下となる色相角を求める。そして、何れかの条件が満たされた場合に探索を終了し、それぞれの色相角を色分布範囲の境界とする。図３に示した例では、Ａ点を中心にＢ−Ｃ間が抽出した色分布範囲となる。すなわち、Ｂ点は極大値の半分以下を検出して定めた一方の境界点であり、Ｃ点は極小値として定めた他方の境界点である。
【００４６】
次に、色分布情報に基づくエネルギ関数の設定は、以下のようにして行う。エネルギ関数は、肌色の画素に対して高いエネルギ値を持つように設定する。
現在の肌色の色分布範囲が、ＨＳＶ空間において、Ｈｍｉｎ　，Ｈｍａｘ　，Ｓｍｉｎ　，Ｓｍａｘ　，Ｖｍｉｎ　，Ｖｍｉｎ　によって決定されるとする。ここで、Ｈｍｉｎ　及びＨｍａｘ　は色相角、Ｓｍｉｎ　及びＳｍａｘ　は彩度、Ｖｍｉｎ　，Ｖｍｉｎ　は明度の最小値及び最大値を表す。色分布範囲の平均値を、
【００４７】
【数２】
2004118578.tif 000004
【００４８】
として定義し、処理対象の画素の値をｈ，ｓ，ｖとして、
【００４９】
【数３】
2004118578.tif 000005
【００５０】
を定義する。そして、処理対象の画素の値ｈ，ｓ，ｖが前述の色分布範囲に入っている場合、色エネルギＥｓｋｉｎを、
【００５１】
【数４】
2004118578.tif 000006
【００５２】
とし、それ以外の場合、色エネルギＥｓｋｉｎをゼロとする。ここで、ｗｈ　，ｗｓ　，ｗｖ　は重み係数とし、ｅは肌色でないところと段差をつけるための係数とする。そして、輪郭の滑らかさを表す関数として、
【００５３】
【数５】
2004118578.tif 000007
【００５４】
を定義する。ここで、α，βは１００程度の定数であり、Ｖｓ　（ｓ）は輪郭候補線Ｓの１次微分、Ｖｓｓ（ｓ）は輪郭候補線Ｓの２次微分である。そして、Ｅｓｋｉｎ及びＥｉｎｔ　の合計値、
【００５５】
【数６】
2004118578.tif 000008
【００５６】
を、本実施の形態で用いる動的輪郭モデルのエネルギ関数Ｅ（Ｓ）として設定する。
【００５７】
図４は本実施の形態に係る画像処理装置が行う処理の手順を説明する説明図である。ｋ番目のフレームデータと、その次のｋ＋１番目のフレームデータとから輪郭を抽出する場合について説明する。
ｋ番目のフレームデータについて、前述したように形状オブジェクトＴｋ　の外側に複数の制御点を設定することによって輪郭候補線Ｓｋ　を設定する。そして、各制御点の位置を更新しながらエネルギ関数Ｅ（Ｓｋ　）の値を算出し、最適な制御点の位置を求めてｋ番目のフレームデータに対する最終的な輪郭候補線Ｓｋ　を導出する。
【００５８】
次いで、ｋ＋１番目のフレームデータにおける形状オブジェクトＴｋ＋１　の輪郭を抽出するとき、ｋ番目のフレームデータで求めた最終的な輪郭候補線Ｓｋ　上の各制御点近傍の色情報を検出し、近傍に特定の色分布（例えば、肌色）を持つ領域（特定色領域）の有無を確認する。形状オブジェクトＴｋ＋１　の位置はｋ番目のフレームデータでの位置から移動している場合があるため、輪郭候補線Ｓｋ　と形状オブジェクトＴｋ＋１　とが重なることがあり、輪郭候補線Ｓｋ　上の制御点の近傍に前記特定色領域が存在する場合がある。本実施の形態では、制御点の近傍に特定色領域が存在する場合、その方向へのみ制御点を移動させるようにしている。このように、形状オブジェクトが移動した方向と予測される方向へのみ輪郭領域を拡大することで、従来法と比較して演算量を低く抑えることができる。
【００５９】
図５は本実施の形態に係る画像処理装置の内部構成を示すブロック図である。画像処理装置１００は、パーソナルコンピュータ、サーバコンピュータ、ワークステーション等の情報処理装置であり、ＣＰＵ１０１を備えており、バス１０２を介して、ＲＯＭ１０３、ＲＡＭ１０４、表示部１０５、入力部１０６、通信部１０７、補助記憶装置１０８、及び内部記憶装置１０９等の各種ハードウェアに接続されている。ＣＰＵ１０１は、ＲＯＭ１０３に格納された制御プログラムに従って、それらのハードウェアを制御する。ＲＡＭ１０４は、ＳＲＡＭ又はフラッシュメモリ等で構成され、ＲＯＭ１０３に格納された制御プログラムの実行時に発生するデータ、形状オブジェクトＴの輪郭線を抽出する際の画像データ、輪郭線候補線Ｓ上に設定する制御点の位置情報等を一時的に記憶する。なお、輪郭線の抽出処理等の画像処理は必ずしもＣＰＵ１０１が行う必要はなく、画像処理専用のＡＳＩＣを設けて、ＣＰＵ１０１から前記ＡＳＩＣに指示を与え、画像処理を行わせる形態であってもよい。
【００６０】
表示部１０５は、ＣＲＴ、液晶ディスプレイ等の表示装置であり、輪郭抽出時の途中経過、最終結果等が表示される。入力部１０６は、キーボード、マウス等の入力装置であり、輪郭抽出の実行開始指示等が入力される。
【００６１】
通信部１０７は、モデム等の回線終端装置を備えており、電話回線網、インターネット網等のデータ通信網Ｎへ接続されている。例えば、顔画像等の形状オブジェクトＴを含む画像データをデータ通信網Ｎへ接続された通信機器（不図示）から受信するようにしており、受信した画像データに含まれる形状オブジェクトＴを画像処理装置１００にて抽出し、抽出した形状オブジェクトＴをＭＰＥＧ−４の規格に従って符号化し、符号化した画像データを前記通信機器へ送信することができる。通信部１０７では、このような各種データ、情報等の送受信の制御を行う。
【００６２】
補助記憶装置１０８は、本発明のコンピュータプログラム及びデータを記録したＦＤ、ＣＤ−ＲＯＭ等の記録媒体１１０からコンピュータプログラム及びデータを読取るＦＤドライブ、ＣＤ−ＲＯＭドライブ等からなり、読取られたコンピュータプログラム及びデータは、内部記憶装置１０９に記憶される。内部記憶装置１０９に記憶されるコンピュータプログラム及びデータは、ＲＡＭ１０４に読込まれ、ＣＰＵ１０１が実行することで画像処理装置１００として動作する。
なお、本発明のコンピュータプログラムは、記録媒体１１０により提供されるだけでなく、データ通信回線Ｎ等を利用した通信により提供される形態であってもよいことは勿論である。
【００６３】
図６及び図７は、画像処理装置１００が実行する処理の手順を説明するフローチャートである。まず、画像処理装置１００は画像データの受付けを開始する（ステップＳ１）。画像データは、例えば、映像データ等を構成するフレーム画像であり、それらは通信部１０７を介して外部から提供されるものであってもよく、また、予め内部記憶装置１０９に記憶させたものを読込む形態であってもよい。さらに、ＣＤ−ＲＯＭ等の記録媒体を利用して補助記憶装置１０８から読込む形態であってもよい。受付けた画像データは一時的にＲＡＭ１０４に記憶される。
【００６４】
次いで、画像処理装置１００のＣＰＵ１０１は、初期色検出パラメータの設定を行う（ステップＳ２）。輪郭線抽出処理の初期段階では抽出対象を定める必要があるため、抽出すべき形状オブジェクトＴについて、輪郭候補線Ｓ及び色分布情報の初期設定を行う。輪郭候補線Ｓの初期設定としては、例えば、所定の半径を有する円を画像の中心に設定してもよく、人の手により制御点を複数設定することによって輪郭候補線Ｓを設定してもよい。色分布情報の初期設定は、以前に抽出された色分布情報の算術平均等を利用して設定することが可能である。
【００６５】
次いで、初期色検出パラメータに従って、色検出処理を行い（ステップＳ３）、設定した輪郭候補線Ｓ内部の色分布情報を抽出する。そして、抽出した色分布情報に基づき、前述したエネルギ関数を設定する（ステップＳ４）。
【００６６】
次いで、ＣＰＵ１０１は、輪郭領域の拡大処理（ステップＳ５）と輪郭領域の縮小処理（ステップＳ６）とを行う。輪郭領域の拡大処理では、輪郭候補線Ｓ上の制御点が抽出対象の形状オブジェクトＴ上に存在するか否かを判断し、制御点が形状オブジェクトＴ上に存在する場合、その制御点を輪郭領域の重心に対して外側へ移動させる処理を行う。また、輪郭領域の縮小処理では、ステップＳ４で設定したエネルギ関数が最小又は極小となるように制御点を移動させ、輪郭領域を縮小させる処理を行う。なお、輪郭領域の拡大処理及び縮小処理については、その処理手順を後に詳述する。
【００６７】
次いで、ＣＰＵ１０１は、輪郭候補線Ｓの収束範囲が適正か否かを判定する（ステップＳ７）。すなわち、ステップＳ６で求めた輪郭候補線Ｓが画像全体に広がった場合、逆に、求めた輪郭候補線Ｓが完全に形状となった場合、収束範囲が適正でないと判定し（Ｓ７：ＮＯ）、それ以外の場合、輪郭候補線Ｓが求まったとして、輪郭候補線Ｓの収束範囲が適正であると判定する（Ｓ７：ＹＥＳ）。
【００６８】
ステップＳ６で求めた輪郭候補線Ｓの収束範囲が適正でないと判定された場合（Ｓ７：ＮＯ）、ＣＰＵ１０１は、処理量が予め定められた閾値以下であるか否かを判断する（ステップＳ８）。ここで、処理量とはＣＰＵ１０１の演算量又は演算時間に関する量であり、処理量が予め定められた閾値より大きい場合（Ｓ８：ＮＯ）、すなわち演算量が多い場合又は演算時間が長い場合、その画像データでは最終的な輪郭線を求めることなく、次の処理（ステップＳ１４）を実行する。
【００６９】
ステップＳ８で、処理量が閾値以下であると判断された場合（Ｓ８：ＹＥＳ）、輪郭領域内の色分布情報を再度抽出して（ステップＳ９）、処理をステップＳ４へ戻す。
【００７０】
ステップＳ７で、輪郭線の収束範囲が適正であると判断された場合（Ｓ７：ＹＥＳ）、すなわち、何らかの輪郭候補線Ｓが求まったと判断された場合、その輪郭候補線Ｓで定まるの形状に基づき、輪郭形状判定処理を行う（ステップＳ１０）。本実施の形態では、人物の画像から顔部分の輪郭を抽出するようにしているため、抽出した輪郭の形状は円に比較的近い楕円形状であると予想される。そこで、輪郭形状判定処理では、求めた輪郭の形状が前記楕円形状に近いか否かを判定する処理を行う。なお、その処理手順については後に詳述する。
【００７１】
次いで、ＣＰＵ１０１は、輪郭形状判定処理の結果を受けて輪郭形状が適正か否かを判断する（ステップＳ１１）。輪郭形状が適正でない場合（Ｓ１１：ＮＯ）、例えば、極端に細長い楕円形状等である場合、ＣＰＵ１０１は、前述と同様にして、処理量が予め定められた閾値以下であるか否かを判断する（ステップＳ１２）。
【００７２】
処理量が予め定められた閾値より大きい場合（Ｓ１２：ＮＯ）、すなわち演算量が多い場合、又は演算時間が長い場合、その画像データ（フレーム画像）では輪郭線を求めることなく、次の処理（ステップＳ１４）を実行する。処理量が予め定められた閾値以下である場合（Ｓ１２：ＹＥＳ）、初期輪郭形状を再設定し（ステップＳ１３）、処理をステップＳ４へ戻す。
【００７３】
ステップＳ１１で輪郭形状が適正であると判断された場合（Ｓ１１：ＹＥＳ）、又はステップＳ８若しくはステップＳ１２において処理量が閾値よりも大きいと判断された場合、最終的に求めた輪郭線について抽出結果の出力を行う（ステップＳ１４）。抽出結果の出力は、画像処理装置１００の表示部１０５に表示させることによって行うと共に、内部記憶装置１０９の所定領域に求めた輪郭の情報を記憶させることによって行う。
【００７４】
次いで、ＣＰＵ１０１は、輪郭線を抽出すべき画像データが終了したか否かを判断し（ステップＳ１５）、輪郭線を抽出すべき画像データが残っている場合（Ｓ１５：ＮＯ）、先に求めた輪郭線による輪郭領域内の色分布情報を取得し、ＲＡＭ１０４に記憶させた上で処理をステップＳ４へ戻す。ＲＡＭ１０４に記憶された色分布情報は、ステップＳ４でエネルギ関数を設定する際に利用される。
ステップＳ１５で画像データが終了したと判断された場合（Ｓ１５：ＹＥＳ）、本輪郭線抽出処理を終了する。
【００７５】
図８は輪郭領域の拡大処理について説明する模式図である。輪郭領域の拡大処理では、まず、輪郭対象である形状オブジェクトＴ上に制御点（輪郭候補点）が存在するか否か検出する。形状オブジェクトＴ上の制御点は、形状オブジェクトＴ内の色分布情報と各制御点での色情報とに基づいて検出することが可能である。すなわち、各制御点における画素の色が、形状オブジェクトＴの色分布情報で定められる色分布範囲内の色であるか否かを判断することによって、前記形状オブジェクトＴ上の制御点であるか否かを判断することができる。
【００７６】
図８に示した例では、点Ｐ１　〜点Ｐ５　が形状オブジェクトＴ上の制御点である様子を示している。画像処理装置１００のＣＰＵ１０１が、形状オブジェクトＴ上にある制御点Ｐ１　〜Ｐ５　を検出した場合、それらの制御点Ｐ１　〜Ｐ５　を輪郭候補線Ｓの重心Ｐｇ　から外側の方向へＮ画素（例えば、２〜４画素程度）だけ移動させる。そして、所定回数（例えば、３〜６画素程度）だけ形状オブジェクトＴ上の制御点の検出処理と、検出された制御点の移動処理とを繰返すことにより、形状オブジェクトＴ上に存在する制御点を形状オブジェクトＴの外側へ移動させる。
【００７７】
このように、形状オブジェクトＴが存在する方向へのみ輪郭候補線Ｓを拡大しているため、次のステップで輪郭候補線Ｓを縮小してエネルギ関数の最小値又は極小値を求める際、演算量を低く抑えることが可能となる。
【００７８】
図９は輪郭領域の拡大処理の処理手順を説明するフローチャートである。まず、画像処理装置１００のＣＰＵ１０１は、カウンタをｉ＝０にセットする（ステップＳ２１）。そして、そのカウンタの値を１だけ増加させる（ステップＳ２２）。次いで、ＣＰＵ１０１は、形状オブジェクトＴと重なる制御点を検出する（ステップＳ２３）。形状オブジェクトＴ上の制御点は、前述した手法により検出することができる。すなわち、形状オブジェクトＴ内の色分布情報と各制御点での色情報とに基づいて検出することが可能であり、より具体的には、各制御点における画素の色が、形状オブジェクトＴの色分布情報で定められる色分布範囲内の色であるか否かを判断することによって検出することが可能である。
【００７９】
次いで、ＣＰＵ１０１は、形状オブジェクトＴ上に検出された制御点を、輪郭候補線Ｓで定まる輪郭形状の重心Ｐｇ　に対して放射状にＮ画素だけ移動させる（ステップＳ２４）。ここで、Ｎの値は２〜４程度の整数値をとる。
【００８０】
次いで、ＣＰＵ１０１は、カウンタの値ｉがｉ０　に等しくなったか否かを判断する（ステップＳ２５）。ここで、ｉ０　は拡大処理を行う回数であり、例えば、３〜６程度の整数値をとる。
【００８１】
カウンタの値ｉがｉ０　に等しくないと判断した場合（Ｓ２５：ＮＯ）、処理をステップＳ２２へ戻し、カウンタの値ｉがｉ０　に等しくなった場合（Ｓ２５：ＹＥＳ）、本ルーチンを終了する。
【００８２】
図１０はエネルギ関数の探索範囲について説明する模式図である。本実施の形態では、輪郭候補点である制御点の最適位置を求めるために、エネルギ関数の最小化又は極小化を行う。その際、各制御点の画素を中心に数画素程度の探索範囲を設定し、その探索範囲内でエネルギ関数が最小となる画素の位置を見いだすようにしている。図１０に示した例では、座標（ｘｉ　，ｙｉ　）で指定される制御点Ｐｉ　の周りの１画素の範囲を探索範囲としており、合計９個の画素についてエネルギ関数の値を求め、求めたエネルギ値から最小値又は極小値を求める。なお、探索範囲は、制御点Ｐｉ　の周りの１画素に限定する必要はなく、制御点Ｐｉ　の周りの２画素の範囲としてもよく、この場合、合計２５個の画像についてエネルギ値を求めることになる。
【００８３】
図１１は輪郭領域の縮小処理の処理手順を説明するフローチャートである。まず、画像処理装置１００のＣＰＵ１０１は、輪郭候補線Ｓ上の制御点を１つだけ選択する（ステップＳ３１）。そして、カウンタの値をｊ＝０にセットした後（ステップＳ３２）、ｊの値を１つだけ増加させる（ステップＳ３３）。
【００８４】
次いで、ＣＰＵ１０１は、選択された制御点に対し、探索範囲内におけるエネルギ最小点を検出する（ステップＳ３４）。そして、検出したエネルギ最小点を新たな制御点に設定する（ステップＳ３５）。例えば、（ｘｉ　，ｙｉ　）の座標で指定される制御点Ｐｉ　に対し、図１０に示した探索範囲内でエネルギ関数の最小値を（ｘｉ＋１　，ｙｉ　）の位置に検出した場合、新たな制御点Ｐｉ　の座標を（ｘｉ＋１　，ｙｉ　）に定める。設定された新たな制御点の座標は、ＲＡＭ１０４に一時的に記憶される。
【００８５】
次いで、ＣＰＵ１０１は、カウンタの値ｊがｊ０　に等しくなったか否かを判断する（ステップＳ３６）。ここで、ｊ０　は、輪郭領域の縮小処理の繰返し回数であり、４〜８程度に予め設定されている。カウンタの値ｊがｊ０　に等しくない場合（Ｓ３６：ＮＯ）、処理をステップＳ３３へ戻し、カウンタの値ｊがｊ０　に等しい場合（Ｓ３６：ＹＥＳ）、ＣＰＵ１０１は、全ての制御点について輪郭領域の縮小処理を実行したか否かを判断する（ステップＳ３７）。実行していない制御点が残っている場合（Ｓ３７：ＮＯ）、処理をステップＳ３１へ戻し、全ての制御点について実行し終えた場合（Ｓ３７：ＹＥＳ）、本ルーチンを終了する。
【００８６】
図１２は輪郭形状判定処理を説明する模式図である。本実施の形態では人間の顔を抽出対象としているため、画像処理装置１００にて抽出した輪郭形状は円に比較的近い楕円形状であることが予測される。そこで、本実施の形態では、抽出した輪郭の形状から短軸と長軸とを定め、それらのアスペクト比を算出することにより形状が適正か否かを判定する。また、短軸と長軸とのなす角度を算出することにより形状が歪んでいるか否かを判定する。
【００８７】
抽出した輪郭の形状から短軸と長軸とを定めるには、まず、各画像データにおいて求めた輪郭候補線Ｓから定められる形状の重心Ｐｇ　を算出し、その重心Ｐｇ　から最も遠い点Ｐａ　を長軸の一方の端点として定め、重心Ｐｇ　から最も近い点Ｐｂ　を短軸の一方の端点として定める。そして、半直線Ｐｇ　Ｐａ　を長軸とし、半直線Ｐｇ　Ｐｂ　を短軸とする。なお、点Ｐａ　及び点Ｐｂ　は、必ずしも制御点である必要はないが、制御点の座標（画素）は予め求められているため、演算時間を短縮するためには点Ｐａ　及び点Ｐｂ　を制御点に限定することが望ましい。
【００８８】
図１３は輪郭形状判定処理の処理手順を説明するフローチャートである。まず、ＣＰＵ１０１は、輪郭形状の重心Ｐｇ　から最も遠い点Ｐａ　、及び最も近い点Ｐｂ　を検出する（ステップＳ４１）。点Ｐａ　，Ｐｂ　を検出する際、前述したように、検出対象として制御点に限定して演算時間を少なくすることが可能である。
【００８９】
次いで、ＣＰＵ１０１は、ステップＳ４１で検出した点Ｐａ　及び点Ｐｂ　に基づき、長軸の長さと短軸の長さとの比（アスペクト比）を算出し、アスペクト比が５以上であるか否かを判断する（ステップＳ４２）。アスペクト比が５以上である場合（Ｓ４２：ＹＥＳ）、抽出した輪郭形状が細長すぎるため、顔の形状でないと判定し、輪郭形状が適正でない旨の情報を生成する（ステップＳ４３）。
【００９０】
アスペクト比が５より小さい場合（Ｓ４２：ＮＯ）、ベクトルＰｇ　Ｐａ　とベクトルＰｇ　Ｐｂ　との内積を算出し、算出した内積値が０．６以上であるか否かを判断する（ステップＳ４４）。算出した内積値が０．６以上である場合（Ｓ４４：ＹＥＳ）、長軸と短軸とのなす角度が小さすぎるため、顔の形状でないと判定し、輪郭形状が適正でない旨の情報を生成する（ステップＳ４３）。
算出した内積値が０．６より小さい場合（Ｓ４４：ＮＯ）、輪郭形状が適正である旨の情報を生成する（ステップＳ４５）。ステップＳ４３又はステップＳ４５で生成した情報は、例えば、輪郭抽出処理におけるステップＳ１４（図７参照）にて表示部１０５に表示され、内部記憶装置１０９に記憶される。
【００９１】
なお、本実施の形態では、輪郭の抽出対象を人物の顔部分としたが、抽出対象は、必ずしも人物の顔部分に限定されるものではないことは勿論である。抽出対象が、人物の顔部分でない場合、図１３に示した輪郭形状判定処理は、抽出対象に応じて判定条件を定めることが望ましい。
【００９２】
【発明の効果】
以上、詳述したように、第１発明、第６発明、及び第１１発明による場合は、画像に含まれる形状オブジェクトに対して、複数の輪郭候補点と輪郭候補点に対する評価関数とを設定し、形状オブジェクト上に存在する輪郭候補点の有無を検出し、検出された輪郭候補点を形状オブジェクトの外側の位置に移動させ、各輪郭候補点を形状オブジェクトに近づけるべく移動させて、評価関数の値が良好となるように各輪郭候補点の位置を求め、求めた各輪郭候補点の位置から抽出すべき輪郭線を決定するようにしている。したがって、全ての制御点を一様に移動させることがなくなるため、演算量を低く抑えることができるとともに、輪郭線の抽出精度を向上させることができる。
【００９３】
第２発明及び第７発明による場合は、形状オブジェクトの内側の色分布情報と輪郭候補点での色情報との相関に基づく関数として評価関数を設定するようにしているため、輪郭候補点で定まる領域内部、又は輪郭候補点の近傍のみを検出して評価関数を設定することができるため、演算量を低く抑えることができるとともに、輪郭線の抽出精度を向上させることができる。
【００９４】
第３発明、第８発明、及び第１２発明による場合は、形状オブジェクト上に存在する輪郭候補点を検出する際、形状オブジェクトの内側の色分布情報及び輪郭候補点での色情報に基づいて、輪郭候補点を検出するようにしているため、輪郭候補点で定まる領域内部、又は輪郭候補点の近傍のみを検出して評価関数を設定することができるため、演算量を低く抑えることができるとともに、輪郭線の抽出精度を向上させることができる。
【００９５】
第４発明、第９発明、及び第１３発明による場合は、ｎ番目のフレーム画像に含まれる形状オブジェクトについて求めた輪郭候補点を、ｎ＋１番目のフレーム画像に含まれる前記形状オブジェクトの輪郭候補点として設定するようにしている。従って、したがって、全ての制御点を一様に移動させる必要がなくなり、形状オブジェクトが移動した方向へのみ輪郭候補点を移動させて演算量を低く抑えることができるとともに、輪郭線の抽出精度を向上させることができる。
【００９６】
第５発明及び第１０発明による場合は、ｎ番目のフレーム画像から抽出した輪郭線の内側領域について色分布情報を算出し、ｎ＋１番目のフレーム画像にて評価関数を設定する際、ｎ番目のフレーム画像について算出した色分布情報を用いるようにしているため、平均から外れたパラメータを持つ画像に対しても抽出精度を保つことが可能であり、演算量を低く抑えることができるとともに、輪郭線の抽出精度を向上させることができる等、本発明は優れた効果を奏する。
【図面の簡単な説明】
【図１】本実施の形態に係る輪郭線抽出方法を説明する説明図である。
【図２】本実施の形態の画像処理装置が行う各処理の相関関係を説明する模式的概念図である。
【図３】色分布情報の抽出結果の一例を示すグラフである。
【図４】本実施の形態に係る画像処理装置が行う処理の手順を説明する説明図である。
【図５】本実施の形態に係る画像処理装置の内部構成を示すブロック図である。
【図６】画像処理装置が実行する処理の手順を説明するフローチャートである。
【図７】画像処理装置が実行する処理の手順を説明するフローチャートである。
【図８】輪郭領域の拡大処理について説明する模式図である。
【図９】輪郭領域の拡大処理の処理手順を説明するフローチャートである。
【図１０】エネルギ関数の最小値を見出すための探索範囲について説明する模式図である。
【図１１】輪郭領域の縮小処理の処理手順を説明するフローチャートである。
【図１２】輪郭形状判定処理を説明する模式図である。
【図１３】輪郭形状判定処理の処理手順を説明するフローチャートである。
【図１４】形状オブジェクトに対して設定する輪郭モデルである。
【図１５】動的輪郭モデルによる輪郭線の抽出方法を説明する模式図である。
【図１６】フレーム更新時における従来の輪郭抽出処理を説明する模式図である。
【図１７】従来の輪郭抽出処理の処理手順を説明するフローチャートである。
【符号の説明】
１００　画像処理装置
１０１　ＣＰＵ
１０２　バス
１０３　ＲＯＭ
１０４　ＲＡＭ
１０５　表示部
１０６　入力部
１０７　通信部
１０８　補助記憶装置
１０９　内部記憶装置
１１０　記録媒体
【図１】
2004118578.tif 000009
【図２】
2004118578.tif 000010
【図３】
2004118578.tif 000011
【図４】
2004118578.tif 000012
【図５】
2004118578.tif 000013
【図６】
2004118578.tif 000014
【図７】
2004118578.tif 000015
【図８】
2004118578.tif 000016
【図９】
2004118578.tif 000017
【図１０】
2004118578.tif 000018
【図１１】
2004118578.tif 000019
【図１２】
2004118578.tif 000020
【図１３】
2004118578.tif 000021
【図１４】
2004118578.tif 000022
【図１５】
2004118578.tif 000023
【図１６】
2004118578.tif 000024
【図１７】
2004118578.tif 000025