(57)【特許請求の範囲】
【請求項１】
抽出すべき被写体が記録された第１画像と該被写体を除く背景が記録された第２画像との間の差分データに基づき、抽出すべき領域の初期マスクを生成する第１ステップと、
前記生成された初期マスクの領域を近傍領域との特徴量類似度に基づき成長させるとともに、前記第１および第２画像からそれぞれ抽出される前記第１および第２エッジ強度画像間の差分エッジデータに基づいて得られるエッジ密度が成長方向において所定の閾値以下である場合、成長を抑止する第２ステップと、
前記領域成長後のマスク領域に基づいて前記第１画像から前記被写体を抽出する第３ステップとを備えたことを特徴とする画像抽出方法。
【請求項２】
前記第１ステップは、前記第１および第２画像間の各点での色成分差異に基づいて抽出される色差分核、または前記第１および第２画像からそれぞれ抽出される第１および第２エッジ強度画像間の差分エッジデータに基づいて抽出されるエッジ差分核に基づき、初期核を抽出することを特徴とする請求項１記載の画像抽出方法。
【請求項３】
前記第３ステップは、前記第１および第２画像からそれぞれ抽出される前記第１および第２エッジ強度画像間の差分エッジデータに基づいて前記領域成長後のマスク領域の形状補正処理を行い、該補正後のマスク領域に該当する前記第１画像中の前記被写体画像を抽出することを特徴とする請求項１記載の画像抽出方法。
【請求項４】
前記第１ステップでの前記第１および第２エッジ強度画像は所定の正規化係数で正規化されたものであることを特徴とする請求項２記載の画像抽出方法。
【請求項５】
前記第１ステップでの前記第１および第２エッジ強度画像は所定の正規化係数で正規化されたものであり、該正規化係数はいずれも該第１エッジ強度画像の最大値であることを特徴とする請求項２記載の画像抽出方法。
【請求項６】
抽出すべき被写体が記録された第１画像と該被写体を除く背景が記録された第２画像との間の差分データに基づき、抽出すべき領域の初期マスクを生成する第１ステップと、
前記生成された初期マスクの領域を近傍領域との特徴量類似度に基づき成長させる第２ステップと、
前記領域成長後のマスク領域に基づいて前記第１画像から前記被写体を抽出する第３ステップとを備え、
前記第１ステップは、前記第１および第２画像間の各点での色成分差異に基づいて抽出される色差分核、または前記第１および第２画像からそれぞれ抽出される第１および第２エッジ強度画像間の差分エッジデータに基づいて抽出されるエッジ差分核に基づき、初期核を抽出し、
前記第１ステップでの前記第１および第２エッジ強度画像の所定の点における値は所定の正規化係数で正規化された値であり、該正規化係数には正規化前の該第１エッジ強度画像の該点を中心とする所定サイズの領域内の局所エッジ強度最大値が前記第１および第２エッジ強度画像に対して用いられることを特徴とする画像抽出方法。
【請求項７】
抽出すべき被写体が記録された第１画像と該被写体を除く背景が記録された第２画像との間の差分データに基づき、抽出すべき領域の初期マスクを生成する第１ステップと、
前記生成された初期マスクの領域を近傍領域との特徴量類似度に基づき成長させる第２ステップと、
前記領域成長後のマスク領域に基づいて前記第１画像から前記被写体を抽出する第３ステップとを備え、
前記第３ステップは、前記第１および第２画像からそれぞれ抽出される前記第１および第２エッジ強度画像間の差分エッジデータに基づいて前記領域成長後のマスク領域の形状補正処理を行い、該補正後のマスク領域に該当する前記第１画像中の前記被写体画像を抽出し、
前記形状補正処理は、前記領域成長後のマスク領域の輪郭線上の各点において所定の処理領域を設定し、該処理領域内において前記差分エッジデータまたは前記第１画像のエッジデータのうち所定閾値以上の値を有するエッジ候補のうち、形状連続性評価項と画像特徴量の連続性評価項とからなる所定の評価関数値を最小にするものを抽出するエッジ選択処理、および抽出された輪郭線またはそれを含む補正マスク領域を平滑化する平滑化処理を備えたことを特徴とする画像抽出方法。
【請求項８】
被写体画像および背景画像を入力する入力手段と、
該入力した被写体画像および背景画像を記憶する画像一時記憶手段と、
該記憶された被写体画像と背景画像との間の差分データに基づき、抽出領域の初期データを生成する初期マスク生成手段と、
前記初期マスクの領域を近傍領域との特徴量類似度に基づいて成長させる領域成長手段と、
該領域成長後のマスク領域に基づいて前記被写体画像から被写体を抽出する被写体画像切り出し処理手段とを備え、
前記被写体画像切り出し処理手段は、前記被写体画像と前記背景画像との差分エッジデータを抽出する差分エッジデータ抽出手段と、該差分エッジデータに基づき被写体輪郭線を整形する輪郭整形手段とを備え、
該輪郭整形手段は、前記差分エッジデータまたは前記被写体画像のエッジデータの閾値処理を行う閾値処理手段と、該閾値処理後に残るエッジ候補に対する形状連続性を評価する第１連続性評価手段と、該エッジ候補に対する画像特徴量の連続性を評価する第２連続性評価手段と、該第１および第２連続性評価手段の出力に基づいてエッジ候補を選択するエッジ選択手段と、抽出された輪郭線またはそれを含む補正マスク領域に対する平滑化手段とを備えたことを特徴とする画像抽出装置。
【請求項９】
前記初期マスク生成手段は、前記被写体画像および背景画像間の各点での色成分差異の閾値処理を行う色差分核抽出手段と、
前記被写体画像および前記背景画像からそれぞれ抽出される第１および第２エッジ強度画像を抽出し、該エッジ強度画像間の差分データの閾値処理を行うエッジ差分核抽出手段と、
前記色差分核抽出手段および前記エッジ差分核抽出手段の出力に基づいて初期核を生成する初期核抽出手段とを備えたことを特徴とする請求項８記載の画像抽出装置。
【請求項１０】
前記領域成長手段は、成長抑止条件判定手段および類似度判定手段を含むことを特徴とする請求項８記載の画像抽出装置。
【請求項１１】
前記形状補正処理は、前記初期マスク抽出後または前記領域成長後のマスク領域に基づく初期輪郭の設定処理、および所定の評価関数を最小にするように該輪郭形状を変形あるいは移動させる動的輪郭処理を備えたことを特徴とする請求項３記載の画像抽出方法。
【請求項１２】
前記動的輪郭処理は、前記領域成長後のマスクデータ上で行った後、さらに前記被写体画像上で行うことを特徴とする請求項１１記載の画像抽出方法。
【請求項１３】
入力画像から切り出すべき被写体の一部である部分領域を抽出する部分領域抽出ステップと、
該抽出された部分領域を核として近傍領域との類似度を閾値で処理することにより該部分領域を成長させる領域成長ステップと、
該領域成長後の領域に基づいて前記被写体画像を抽出する切り出しステップとを有する画像抽出方法において、
前記領域成長ステップでの前記閾値は前記入力画像の各点での特徴量分布に基づいて設定されることを特徴とする画像抽出方法。
【請求項１４】
前記部分領域抽出ステップは、前記被写体を除外した背景画像と前記被写体を含む被写体画像との差分に基づいて前記部分領域を抽出することを特徴とする請求項１３記載の画像抽出方法。
【請求項１５】
前記特徴量分布は、前記被写体のエッジ分布であることを特徴とする請求項１３記載の画像抽出方法。
【請求項１６】
前記特徴量分布は、前記部分領域に基づいて設定される最大成長範囲の分布であることを特徴とする請求項１３記載の画像抽出方法。
【請求項１７】
前記閾値は、前記エッジの存在する位置で該エッジの存在しない位置に比べて低い値をとるように設定されることを特徴とする請求項１３記載の画像抽出方法。
【請求項１８】
前記閾値は、前記最大成長範囲内の領域で高い値、該成長範囲外で低い値をとるように設定されることを特徴とする請求項１３記載の画像抽出方法。
【請求項１９】
前記最大成長範囲は、前記部分領域の形状を所定の尺度の平滑化フィルタで平滑化した場合の出力として得られることを特徴とする請求項１３記載の画像抽出方法。
【請求項２０】
前記入力画像は時系列画像であり、前記部分領域抽出ステップは該入力画像の異なる時刻の画像フレーム間の差分データに基づき抽出することを特徴とする請求項１３記載の画像抽出方法。
【請求項２１】
前記入力画像は異なる複数の視点位置からの複数画像であり、前記部分領域抽出ステップは該入力画像間の視差分布に基づき抽出することを特徴とする請求項１３記載の画像抽出方法。
【請求項２２】
入力画像から切り出すべき被写体の一部である部分領域を抽出する部分領域抽出手段と、
該抽出された部分領域を核として近傍領域との類似度を閾値で処理することにより該部分領域を成長させる領域成長手段と、
該領域成長後の領域に基づいて前記被写体画像を抽出する切り出し手段とを有する画像抽出装置において、
前記領域成長手段での前記閾値は前記入力画像の各点での特徴量分布に基づいて設定されることを特徴とする画像抽出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、背景画像と被写体画像とから被写体を切り出す画像抽出装置および方法に関する。
【０００２】
【従来の技術】
従来、画像切り出し（抽出）を行う一般的な手法として、特定の色背景を用いるクロマキーや画像処理（ヒストグラム処理、差分、微分処理、輪郭強調、輪郭追跡など）によりキー信号を生成するビデオマット（テレビジョン学会技術報告、ｖｏｌ．１２，ｐｐ．２９−３４，１９８８）などの手法が知られている。
【０００３】
また、背景画像との差分に基づいて画像抽出を行う手法は古典的なものであり、例えば特開平４−２１６１８１号公報において背景画像と処理対象画像との差分データにマスク画像（特定処理領域のこと）を設定して画像中の複数の特定領域における対象物体を抽出あるいは検出する手法が開示されている。
【０００４】
さらに、特公平７−１６２５０号公報には、抽出対象の色彩モデルを用いて背景を含む現画像の色彩変換データ、背景画像と現画像との明度の差データから抽出対象の存在確立分布を求める手法が開示されている。
【０００５】
背景画像との差分方式は、一般的には背景画像と被写体画像の各画素間で輝度レベルまたは色成分などの差異を所定の評価関数で表し、閾値処理して差異レベルが初定値以上の領域を抽出するものである。例えば、評価関数として各点を中心とする所定サイズのブロック間の相互相関（Digital Picture Processing (2nd ed.),by Rosenfeld,A. and Kak,A.C., Academic Press, 1982）、正規化主成分特徴量（電子情報通信学会論文誌 Ｖｏｌ．Ｊ７４−Ｄ−ＩＩ，ｐｐ．１７３１−１７４０）、標準偏差値と差分値との重み付き加算値（テレビジョン学会誌、Ｖｏｌ．４５，ｐｐ．１２７０−１２７６，１９９１）、色相と輝度レベルに関する局所ヒストグラム間距離（テレビジョン学会誌、Ｖｏｌ．４９，ｐｐ．６７３−６８０，１９９５）などがある。
【０００６】
また、特開平４−３２８６８９号公報および特公平７−３１２４８号公報には、動画像から動きベクトルあるいはフレーム間差分データを抽出して移動体のみを抽出する方法が開示されている。特公平７−６６４４６号公報、特公平６−１４３５８号公報および特公平４−４８０３０号公報には、背景画像との差分により動物体を抽出する方法が開示されている。さらに、複眼撮像系を用いて得た左右の異なる視点位置からの画像から視差量の分布を抽出して視差分布（即ち、撮像手段からの距離分布）に基づいて物体を背景から分離する方法（１９９５年電子情報通信学会情報・システムソサイエティ大会，ｐｐ．１３８）などが知られている。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記従来例のうちクロマキー方式は背景の制約が大きく屋外で使えないこと、色ぬけなどの問題点がある。また、ビデオマット方式は輪郭の指定作業は人間が画素単位で正確に行う必要があり、そのためには労力と熟練を要するという問題点がある。
【０００８】
また、上述した背景画像との差分方式は被写体上の背景と類似した部分領域においては背景か被写体かの判別が困難であり、かつ背景画像と被写体画像間での撮像条件の変動の影響を受け易いこと、被写体によって生じる陰影部分の除去が困難であることなどの問題点があった。さらに、背景と被写体との境界線を忠実に抽出するためには背景画像と被写体領域の輪郭付近での画像特性（画素値など）が顕著に異なる必要があり、一般的には困難であった。
【０００９】
また、特公平７−１６２５０号公報では、抽出対象の色彩モデルを別途要するという点で任意の未知物体の画像抽出に不向きであった。
【００１０】
さらに、動画像からの移動物体の抽出、あるいは視差分布からの被写体抽出のいずれの方式においても背景との境界部のコントラストなどによらず高精度に被写体を切り出すことは一般的に困難であった。
【００１１】
そこで、本発明は背景と被写体との間で画像特性の顕著な差異を前提にしなくても安定した被写体画像を抽出できる画像抽出装置および方法を提供することを目的とする。
【００１２】
また、本発明は少ない処理ステップで領域成長前の被写体領域の面積を大きく確保し、かつ輪郭形状の細部の抽出を可能にする画像抽出装置および方法を提供することを他の目的とする。
【００１３】
さらに、本発明は領域成長後のマスクの輪郭線を実際の被写体の輪郭線に一致させるための処理を被写体の輪郭線付近の背景部のパターンに影響されずに行う画像抽出装置および方法を提供することを他の目的とする。
【００１４】
また、本発明は領域成長条件、即ち近傍領域との特徴量差異の許容値の変動によらずに安定して被写体領域のみにおいて初期マスクを成長させる画像抽出装置および方法を提供することを他の目的とする。
【００１５】
さらに、本発明は背景画像と被写体画像との間の撮影条件の差異またはノイズなどに起因するエッジ強度分布の変動を抑制し、正確に被写体の輪郭形状および被写体領域に存在する背景部のエッジを抽出する画像抽出装置および方法を提供することを他の目的とする。
【００１６】
また、本発明は被写体と背景との境界をなすエッジ強度が小さく、かつ被写体が比較適細い部分形状を含む場合においても安定して被写体画像の抽出を可能にする画像抽出装置および方法を提供することを他の目的とする。
【００１７】
さらに、本発明は被写体近傍に存在する背景部分のエッジ分布の影響を受けずに安定して被写体の輪郭形状を抽出する画像抽出装置および方法を提供することを他の目的とする。
【００１８】
また、本発明は領域成長後の不完全な部分形状を形状連続性の条件に基づき自動復元し、かつ形状データを平滑化する画像抽出装置および方法を提供することを他の目的とする。
【００１９】
さらに、本発明は背景パターンの影響を受けずに背景と被写体との間で画像特性の顕著な差異を前提にしなくても安定した被写体画像を抽出できる画像抽出装置および方法を提供することを他の目的とする。
【００２０】
本発明は領域成長により切り出しを行う際、安定かつ高精度な被写体画像の抽出を可能とする画像抽出装置および方法を提供することを目的とする。
【００２１】
また、本発明は背景画像との差分により切り出しを行う際、背景と被写体との間で画像特性の顕著な差異を前提にしなくても安定した精度で切り出し画像を得ることができる画像抽出装置および方法を提供することを他の目的とする。
【００２２】
さらに、本発明は切り出しを行う物体の輪郭形状を忠実に再現できる領域成長に基づいた被写体切り出しを可能とする画像抽出装置および方法を提供することを他の目的とする。
【００２３】
また、本発明は領域成長の無際限な成長を抑止し、被写体に最も近い切り出し領域の抽出を可能とする画像抽出装置および方法を提供することを他の目的とする。
【００２４】
さらに、本発明はエッジを横切る領域成長、エッジからの領域成長を抑制することにより、複雑な輪郭形状を有する被写体でも安定した切り出し精度を得ることができる画像抽出装置および方法を提供することを他の目的とする。
【００２５】
また、本発明は被写体外（背景中）に存在する陰影などのノイズ成分、あるいは被写体の輪郭の不明瞭な部分の存在に対しても安定した切り出し性能を得ることができる画像抽出装置および方法を提供することを他の目的とする。
【００２６】
さらに、本発明は前もって抽出される部分領域の形状が被写体輪郭形状と合致しない場合でも切り出された被写体形状の外形が真の被写体形状を良好に近似することができる領域成長を実現する画像抽出装置および方法を提供することを他の目的とする。
【００２７】
また、本発明は動画像からの特定被写体の自動切り出しを高精度に実現する画像抽出装置および方法を提供することを他の目的とする。
【００２８】
さらに、本発明は異なる視点位置からの複数画像を用いて特定被写体の自動切り出しを高精度に実現する画像抽出装置および方法を提供することを他の目的とする。
【００２９】
【課題を解決するための手段】
上記目的を達成するために、本発明の請求項１に係る画像抽出方法は、抽出すべき被写体が記録された第１画像と該被写体を除く背景が記録された第２画像との間の差分データに基づき、抽出すべき領域の初期マスクを生成する第１ステップと、前記生成された初期マスクの領域を近傍領域との特徴量類似度に基づき成長させるとともに、前記第１および第２画像からそれぞれ抽出される前記第１および第２エッジ強度画像間の差分エッジデータに基づいて得られるエッジ密度が成長方向において所定の閾値以下である場合、成長を抑止する第２ステップと、前記領域成長後のマスク領域に基づいて前記第１画像から前記被写体を抽出する第３ステップとを備えたことを特徴とする。
【００３０】
請求項２に係る画像抽出方法では、請求項１に係る画像抽出方法において前記第１ステップは、前記第１および第２画像間の各点での色成分差異に基づいて抽出される色差分核、または前記第１および第２画像からそれぞれ抽出される第１および第２エッジ強度画像間の差分エッジデータに基づいて抽出されるエッジ差分核に基づき、初期核を抽出することを特徴とする。
【００３１】
請求項３に係る画像抽出方法では、請求項１に係る画像抽出方法において前記第３ステップは、前記第１および第２画像からそれぞれ抽出される前記第１および第２エッジ強度画像間の差分エッジデータに基づいて前記領域成長後のマスク領域の形状補正処理を行い、該補正後のマスク領域に該当する前記第１画像中の前記被写体画像を抽出することを特徴とする。
【００３３】
請求項４に係る画像抽出方法では、請求項２に係る画像抽出方法において前記第１ステップでの前記第１および第２エッジ強度画像は所定の正規化係数で正規化されたものであることを特徴とする。
【００３４】
請求項５に係る画像抽出方法では、請求項２に係る画像抽出方法において前記第１ステップでの前記第１および第２エッジ強度画像は所定の正規化係数で正規化されたものであり、該正規化係数はいずれも該第１エッジ強度画像の最大値であることを特徴とする。
【００３５】
請求項６に係る画像抽出方法は、抽出すべき被写体が記録された第１画像と該被写体を除く背景が記録された第２画像との間の差分データに基づき、抽出すべき領域の初期マスクを生成する第１ステップと、前記生成された初期マスクの領域を近傍領域との特徴量類似度に基づき成長させる第２ステップと、前記領域成長後のマスク領域に基づいて前記第１画像から前記被写体を抽出する第３ステップとを備え、前記第１ステップは、前記第１および第２画像間の各点での色成分差異に基づいて抽出される色差分核、または前記第１および第２画像からそれぞれ抽出される第１および第２エッジ強度画像間の差分エッジデータに基づいて抽出されるエッジ差分核に基づき、初期核を抽出し、前記第１ステップでの前記第１および第２エッジ強度画像の所定の点における値は所定の正規化係数で正規化された値であり、該正規化係数には正規化前の該第１エッジ強度画像の該点を中心とする所定サイズの領域内の局所エッジ強度最大値が前記第１および第２エッジ強度画像に対して用いられることを特徴とする。
【００３６】
請求項７に係る画像抽出方法は、抽出すべき被写体が記録された第１画像と該被写体を除く背景が記録された第２画像との間の差分データに基づき、抽出すべき領域の初期マスクを生成する第１ステップと、前記生成された初期マスクの領域を近傍領域との特徴量類似度に基づき成長させる第２ステップと、前記領域成長後のマスク領域に基づいて前記第１画像から前記被写体を抽出する第３ステップとを備え、前記第３ステップは、前記第１および第２画像からそれぞれ抽出される前記第１および第２エッジ強度画像間の差分エッジデータに基づいて前記領域成長後のマスク領域の形状補正処理を行い、該補正後のマスク領域に該当する前記第１画像中の前記被写体画像を抽出し、前記形状補正処理は、前記領域成長後のマスク領域の輪郭線上の各点において所定の処理領域を設定し、該処理領域内において前記差分エッジデータまたは前記第１画像のエッジデータのうち所定閾値以上の値を有するエッジ候補のうち、形状連続性評価項と画像特徴量の連続性評価項とからなる所定の評価関数値を最小にするものを抽出するエッジ選択処理、および抽出された輪郭線またはそれを含む補正マスク領域を平滑化する平滑化処理を備えたことを特徴とする。
【００３７】
請求項８に係る画像抽出装置は、被写体画像および背景画像を入力する入力手段と、該入力した被写体画像および背景画像を記憶する画像一時記憶手段と、該記憶された被写体画像と背景画像との間の差分データに基づき、抽出領域の初期データを生成する初期マスク生成手段と、前記初期マスクの領域を近傍領域との特徴量類似度に基づいて成長させる領域成長手段と、該領域成長後のマスク領域に基づいて前記被写体画像から被写体を抽出する被写体画像切り出し処理手段とを備え、前記被写体画像切り出し処理手段は、前記被写体画像と前記背景画像との差分エッジデータを抽出する差分エッジデータ抽出手段と、該差分エッジデータに基づき被写体輪郭線を整形する輪郭整形手段とを備え、該輪郭整形手段は、前記差分エッジデータまたは前記被写体画像のエッジデータの閾値処理を行う閾値処理手段と、該閾値処理後に残るエッジ候補に対する形状連続性を評価する第１連続性評価手段と、該エッジ候補に対する画像特徴量の連続性を評価する第２連続性評価手段と、該第１および第２連続性評価手段の出力に基づいてエッジ候補を選択するエッジ選択手段と、抽出された輪郭線またはそれを含む補正マスク領域に対する平滑化手段とを備えたことを特徴とする。
【００３８】
請求項９に係る画像抽出装置では、請求項８に係る画像抽出装置において前記初期マスク生成手段は、前記被写体画像および背景画像間の各点での色成分差異の閾値処理を行う色差分核抽出手段と、前記被写体画像および前記背景画像からそれぞれ抽出される第１および第２エッジ強度画像を抽出し、該エッジ強度画像間の差分データの閾値処理を行うエッジ差分核抽出手段と、前記色差分核抽出手段および前記エッジ差分核抽出手段の出力に基づいて初期核を生成する初期核抽出手段とを備えたことを特徴とする。
【００４１】
請求項１０に係る画像抽出装置では、請求項８に係る画像抽出装置において前記領域成長手段は、成長抑止条件判定手段および類似度判定手段を含むことを特徴とする。
【００４２】
請求項１１に係る画像抽出方法では、請求項３に係る画像抽出方法において前記形状補正処理は、前記初期マスク抽出後または前記領域成長後のマスク領域に基づく初期輪郭の設定処理、および所定の評価関数を最小にするように該輪郭形状を変形あるいは移動させる動的輪郭処理を備えたことを特徴とする。
【００４３】
請求項１２に係る画像抽出方法では、請求項１１に係る画像抽出方法において前記動的輪郭処理は、前記領域成長後のマスクデータ上で行った後、さらに前記被写体画像上で行うことを特徴とする。
【００４４】
請求項１３に係る画像抽出方法は、入力画像から切り出すべき被写体の一部である部分領域を抽出する部分領域抽出ステップと、該抽出された部分領域を核として近傍領域との類似度を閾値で処理することにより該部分領域を成長させる領域成長ステップと、該領域成長後の領域に基づいて前記被写体画像を抽出する切り出しステップとを有する画像抽出方法において、前記領域成長ステップでの前記閾値は前記入力画像の各点での特徴量分布に基づいて設定されることを特徴とする。
【００４５】
請求項１４に係る画像抽出方法では、請求項１３に係る画像抽出方法において前記部分領域抽出ステップは、前記被写体を除外した背景画像と前記被写体を含む被写体画像との差分に基づいて前記部分領域を抽出することを特徴とする。
【００４６】
請求項１５に係る画像抽出方法では、請求項１３に係る画像抽出方法において前記特徴量分布は、前記被写体のエッジ分布であることを特徴とする。
【００４７】
請求項１６に係る画像抽出方法では、請求項１３に係る画像抽出方法において前記特徴量分布は、前記部分領域に基づいて設定される最大成長範囲の分布であることを特徴とする。
【００４８】
請求項１７に係る画像抽出方法では、請求項１３に係る画像抽出方法において前記閾値は、前記エッジの存在する位置で該エッジの存在しない位置に比べて低い値をとるように設定されることを特徴とする。
【００４９】
請求項１８に係る画像抽出方法では、請求項１３に係る画像抽出方法において前記閾値は、前記最大成長範囲内の領域で高い値、該成長範囲外で低い値をとるように設定されることを特徴とする。
【００５０】
請求項１９に係る画像抽出方法では、請求項１３に係る画像抽出方法において前記最大成長範囲は、前記部分領域の形状を所定の尺度の平滑化フィルタで平滑化した場合の出力として得られることを特徴とする。
【００５１】
請求項２０に係る画像抽出方法では、請求項１３に係る画像抽出方法において前記入力画像は時系列画像であり、前記部分領域抽出ステップは該入力画像の異なる時刻の画像フレーム間の差分データに基づき抽出することを特徴とする。
【００５２】
請求項２１に係る画像抽出方法では、請求項１３に係る画像抽出方法において前記入力画像は異なる複数の視点位置からの複数画像であり、前記部分領域抽出ステップは該入力画像間の視差分布に基づき抽出することを特徴とする。
【００５３】
請求項２２に係る画像抽出装置は、入力画像から切り出すべき被写体の一部である部分領域を抽出する部分領域抽出手段と、該抽出された部分領域を核として近傍領域との類似度を閾値で処理することにより該部分領域を成長させる領域成長手段と、該領域成長後の領域に基づいて前記被写体画像を抽出する切り出し手段とを有する画像抽出装置において、前記領域成長手段での前記閾値は前記入力画像の各点での特徴量分布に基づいて設定されることを特徴とする。
【００５４】
【発明の実施の形態】
本発明の画像抽出装置の実施の形態について説明する。本実施の形態における画像抽出装置は撮像システムに適用される。
【００５５】
［第１の実施の形態］
図１は第１の実施の形態における撮像システムの構成を示すブロック図である。撮像装置１は、レンズ、絞りおよびそれらのレンズ駆動制御部１ｅを含む結像光学系１ａ、イメージセンサ１ｂ、映像信号処理回路（ガンマ特性、ホワイトバランス制御、露光条件制御、フォーカシング特性制御などを行う）１ｃ、画像記録部１ｄなどを主な構成要素とする。
【００５６】
切り出し処理装置２は、被写体画像一時記憶部３ａおよび背景画像一時記憶部３ｂからなる画像一時記憶部３、正規化エッジ強度抽出部４、差分画像データの閾値処理を行う初期マスク領域抽出部５、領域成長部６、輪郭整形処理部７、被写体画像出力部８、およびインターフェース部１１などから構成される。切り出し処理装置２の外部には、画像表示装置９および端末装置１０が接続されている。
【００５７】
尚、切り出し処理装置２としては、同図に示す構成の他に、後述する図２のフローチャートで示されるプログラムとしてコンピュータの記憶装置上に存在するものや、同様のフローチャートで示されるゲートアレーとして存在するものなど種々の形態をとることができる。
【００５８】
図２は被写体切り出し処理手順を示すフローチャートである。まず、被写体画像、背景画像を撮像装置１から入力する（ステップＳ１１）。この際、後続の処理スピードを上げるために、適当な縮尺率で画像データの間引きを行い（ステップＳ１２）、被写体画像上で被写体存在範囲を含むように処理領域の設定を行う（ステップＳ１３）。尚、ステップＳ１２の間引き処理およびステップＳ１３の処理領域設定処理は省いてもよい。
【００５９】
図３、図４、図５、図６、図７および図８は被写体切り出し処理の主な途中結果が表示された画面を示す写真である。図３の（ａ）、（ｂ）はそれぞれ入力被写体画像、背景画像である。
【００６０】
つぎに、領域成長の核を抽出するための初期データ抽出処理を行う。本実施の形態では、被写体エッジ強度画像および背景エッジ強度画像を抽出し（ステップＳ１４）、エッジ強度正規化処理を行う（ステップＳ１５）。正規化された背景エッジ画像および被写体エッジ画像からの差分エッジ核抽出処理を行う（ステップＳ１６）。
【００６１】
背景画像および被写体画像の各画素について色成分（ＲＧＢ値または色相）の差異に基づく色差分核抽出処理を行う（ステップＳ１７）。色差分核およびエッジ核からの初期マスク領域抽出処理を行う（ステップＳ１８）。
【００６２】
尚、初期マスク領域抽出処理は、上述のフローチャートに限定されるものではなく、例えば、各点を中心として定義される所定サイズのブロック間の相関係数または画素値の平均値、標準偏差値などの統計量を閾値処理することによって抽出してもよい。各処理の内容について示す。
【００６３】
エッジ抽出処理（ステップＳ１４）では、Ｓｏｂｅｌ，Ｐｒｅｗｉｔｔ，Ｒｏｂｅｒｔｓなどの演算子（画像認識の基礎（ＩＩ）、１５章、森、坂倉著、オーム社、１９９０）の他、Ｃａｎｎｙのエッジ検出演算子（IEEE,Trans. Pattern Analysis and Machine Intelligence. Vol. PAMI-8,pp. 679-698,1986），Ｍａｒｒ−Ｈｉｌｄｒｅｔｈのエッジ検出演算子（Proc.Royal Society of London, Vol. B-207,pp. 187-217, 1980）などを用いてもよい。
【００６４】
エッジ強度正規化処理（ステップＳ１５）においては、被写体エッジ画像の強度最大値を正規化の共通分母とし、被写体エッジ画像、背景エッジ画像のそれぞれに適用する。但し、被写体と背景との境界をなすエッジ、即ち被写体輪郭線が密に分布している場合（例えば、草花などのように比較的細かい部分形状が多く存在する場合など、以下、エッジリッチな場合と称する）には、被写体エッジ画像の各点を中心とする所定サイズのブロック内でのエッジ強度最大値を該当する場所においてそれぞれのエッジ強度画像に対して用いることにする。
【００６５】
尚、被写体エッジ画像、背景エッジ画像それぞれの（全体または局所）最大値をそれぞれの正規化分母としても撮像条件の変動の影響を縮小する目的に使うことは可能である。図４の（ａ）、（ｂ）は、それぞれＳｏｂｅｌ演算子を用いてエッジ抽出し、正規化した結果の被写体エッジ画像、背景エッジ画像を示す。
【００６６】
差分エッジ核抽出処理（ステップＳ１６）では、被写体画像と背景画像との正規化エッジ強度画像間の差分絶対値が与えられた閾値以上の点をエッジ核として残す。この閾値は画像に応じて適宜変更してもよい。図５は正規化エッジ強度画像間の差分絶対値が与えられた閾値以上の点をエッジ核とした結果を示す。
【００６７】
色差分核抽出処理（ステップＳ１７）では、ＲＧＢカラー画素値の同様に定義される差分絶対値のいずれかが所定の閾値以上である点を色差分核として残す。ここで、閾値を比較的高く設定することにより、ノイズや撮影条件の差異に起因する画素値の変動の影響を排除し、かつ淡い陰影などを除去することができる。
【００６８】
初期マスク領域抽出処理（ステップＳ１８）では、上記色差分核およびエッジ差分核との併合を行う。但し、この段階でエッジリッチな場合にはさらに残存する背景エッジパターンの除去処理を行うことができる。即ち、一旦、抽出された初期マスク領域のうち、背景画像の正規化エッジ強度値が所定の閾値以上の点を除去すればよい。この処理結果を図６の（ａ）に示す。
【００６９】
初期マスク領域と被写体領域とが殆ど一致するか否かを判別し（ステップＳ１９）、殆ど一致する場合、上記マスク抽出処理を終了し、後述する被写体画像出力処理（ステップＳ５０）または輪郭整形処理（ステップＳ４０）に移行する。一方、初期マスク領域が不完全であると判定された場合、次の領域成長処理（ステップ３０）に移行する。
【００７０】
図９はステップＳ３０における領域成長処理手順を示すフローチャートである。この処理では、初期マスクの各核領域の境界上の点において近傍画素（または領域）との画像特徴量の類似度判定を行い、類似度が所定の閾値より高い場合、同一の被写体領域とみなしてマスク領域に併合する。
【００７１】
まず、領域成長の際、類似度判定に必要なパラメータとして輝度レベル、色相の閾値Ｉｔｈ，Ｈｔｈの値を入力する（ステップＳ３１）。本実施の形態では、特徴量としてＲＧＢ各成分の値および色相値の差分絶対値（の逆数）を用い、それぞれ８近傍画素について類似度判定（ステップＳ３２）を行う。特に、本実施の形態では近傍画素とのＲＧＢそれぞれの差分絶対値がいずれも閾値Ｉｔｈ以下となるか、または色相の差分絶対値が閾値Ｈｔｈ以下であることの類似度判定を行う。即ち、成長条件に用い、いずれか一方が成り立つとき、同一の被写体領域として併合する（ステップＳ３３）。
【００７２】
また、成長方向の所定領域内のエッジ核の分布密度が所定閾値より小さい場合、その方向への成長を停止するように成長条件を定めてもよい（ステップＳ３４）。例えば、成長方向（８近傍方向の１つ）に存在する未成長領域において処理領域を最近傍画素から１０画素程度に設定し、その中にエッジ差分核が全く存在しないかあるいは値１乃至値２以下であって、最近傍画素と注目画素との類似度が成長条件を満足する場合、領域成長を最近傍画素までとし、以降の成長を停止する。
【００７３】
このような抑止条件はエッジリッチな場合に自動的に付帯させてもよいし、あるいはユーザの判断で付加してもよい。領域成長の結果を図６の（ｂ）に示す。
【００７４】
領域成長処理後、未成長部分に存在する被写体領域の穴を自動的に埋めるための穴埋め処理（ステップＳ３５）を実行した結果と、中間切り出し画像を図７の（ａ）、（ｂ）に示す。
【００７５】
このような穴の最大サイズは予め標準的に与えられているか、またはユーザが領域成長結果から判断して与えてもよい。この段階で被写体の輪郭形状が不完全である場合、輪郭整形処理（ステップＳ４０）を行う。
【００７６】
図１０は輪郭整形処理手順を示すフローチャートである。この処理の目的は被写体近傍の背景の輪郭パターンに左右されずに安定的に正しい形状を抽出することである。ここでは、前述の被写体画像と背景画像の正規化エッジ強度分布の差分データを用いることとする。
【００７７】
また、差分エッジ核抽出時のように被写体内部に背景のエッジパターンが存在する場合、後述するエッジ選択処理がその影響を受け、正しい被写体輪郭の抽出を妨げる要因となる。このことを避けるために被写体エッジ画像から背景エッジ画像を差し引いてエッジ強度値が負となる点（領域）を差分エッジデータから除去しておくものとする。但し、上述した目的を外し、被写体画像のエッジ強度データを用いて以下と同様の処理を行ってもよい。
【００７８】
輪郭整形処理の内容を詳しく説明する。まず、正規化被写体エッジ画像と正規化背景エッジ画像との差分データから所定の閾値（正値）以下のものを除去し、信頼度の高い被写体エッジデータのみを残す（ステップＳ４１）。
【００７９】
領域成長後のマスクの輪郭線追跡処理を行い（ステップＳ４２）、輪郭線上各点において処理領域を輪郭追跡方向（常に追跡方向の右手側が被写体領域の内側であるように追跡方向を定める）と直交方向に設定する（ステップＳ４３）。追跡された輪郭データは追跡行路長（弧長）の関数として表される。
【００８０】
ステップＳ４３の処理で設定された局所領域内に候補となるエッジ点が複数存在する場合、エッジ選択処理（ステップＳ４４）を行う。図１１はエッジ選択処理を示す説明図である。黒丸の点Ｑｓ２、Ｑｓ１、Ｑｓなどはエッジ選択処理で選択された点、白丸の点Ｐ１、Ｐ２、Ｐ３などは選択すべきエッジ候補の点を表す。
【００８１】
また、処理領域はエッジ選択を行うべき点を含み、輪郭追跡方向と直交方向に設定された領域を示す。ここでは、候補エッジ（白丸の点）の被写体側の特徴量（例えばＲＧＢ値）連続性Ｐと輪郭形状連続性Ｓの２つを判定するエネルギー関数Ｆを設定し、これを評価することによりエネルギー関数値が小さい方の候補エッジを選択する。
【００８２】
本実施の形態では、特徴量連続性Ｐは候補エッジを含む輪郭線（但し、既に選択済みのエッジデータ、およびこれに接続する候補エッジとからなる４点列程度の輪郭データとする）の被写体内側の特徴量（ＲＧＢ値）の輪郭追跡方向における変動量（内側近傍画素間での値）として表され、例えば数式１のように定義する。
【００８３】
【数１】
Ｐ＝ｄＲ／ＭＲ＋ｄＧ／ＭＧ＋ｄＢ／ＭＢ
ここで、ｄＲ，ｄＧ，ｄＢはそれぞれＲＧＢ値の内側近傍画素（例えば、点Ｑｓ，Ｑｓ−１および点Ｐｉを被写体輪郭上の点列としたときのそれぞれを端点とし、輪郭追跡方向と直交方向に存在する所定サイズの被写体内部領域）間の変動量、ＭＲ，ＭＧ，ＭＢはそれぞれ各領域内の最大変動量（最大値と最小値との差）を表す。したがって、ここではＰはＲＧＢ成分の正規化変動量の総和となる。但し、このような正規化処理は特徴量連続性評価の必要条件ではない。
【００８４】
形状連続性Ｓは候補エッジを含む局所領域での輪郭線の曲率で評価し、輪郭線は弧長ｓで与えられるので、数式２のように表される。
【００８５】
【数２】
Ｓ＝（ｘss＋ｙss）0.5
ここで、ｘss，ｙssはそれぞれ輪郭線座標値データの弧長ｓに関する２階微分値を表す。尚、Ｓとしては輪郭線データの候補エッジを含む輪郭線サンプリング点列に関する一次微分値などで与えてもよい。数式２を選択済みおよび未選択データを用いて離散化することにより、Ｓは具体的に数式３で与えられる。
【００８６】
【数３】
Ｓ＝｛（ｅｘ−３＊ＥｄｇｅＸ（ｓ）＋３＊ＥｄｇｅＸ（ｓ−１）−ＥｄｇｅＸ（ｓ−２））2＋（ｅｙ−３＊ＥｄｇｅＹ（ｓ）＋３＊ＥｄｇｅＹ（ｓ−１）−ＥｄｇｅＹ（ｓ−２））2｝0.5
ここで、ＥｄｇｅＸ（ｓ），ＥｄｇｅＹ（ｓ）などは既に確定した（あるいは設定済の初期値としての）輪郭線データを表し、ｅｘ，ｅｙはそれぞれ候補エッジ（即ち、点Ｐ１，Ｐ２，Ｐ３の１つ）のＸ座標、Ｙ座標を示す。輪郭追跡方向を上または下（Ｙ軸方向）とすると、候補エッジの探索領域を追跡方向と直交方向に設定しているので、ｅｘが確定すべきエッジ候補座標値となる（左または右であればｅｙが変動要素）。
【００８７】
エネルギー関数Ｆは、Ｆ＝Ｐ＋ａＳとし、ａはＰおよびＳ間の重みを与える因子であり（０≦ａ≦１）、また一種の正規化処理の正規化係数とみなすことができる。
【００８８】
一方、ステップＳ４３で設定された局所領域内に候補エッジが存在しない場合、即ち、信頼度の高い被写体エッジ候補が存在しない場合、マスク上の輪郭点または輪郭追跡方向の予測エッジ位置（例えば、追跡方向が上であればＸ座標を固定し、Ｙ座標値を１画素分増加した点とするなど）をエッジ候補点とし、上記エネルギー関数を評価して値の低い方を選択するか、あるいは単にマスク上の点を選択エッジとする。
【００８９】
ステップＳ４４の処理の後、抽出されたマスクデータの平滑化処理を行う（ステップＳ４５）。ここでは、輪郭データ（１次元）および２次元マスクデータのメディアンフィルタ処理を行う。これにより、上述したエッジ選択処理が不完全な部分形状を残す場合（例えば、信頼度の高い候補エッジがない場合の処理の結果、被写体輪郭線近傍またはそれを中心とする不連続な凸凹、またはディザパターンが残存するなど）に、それを平滑化して被写体輪郭形状の近似の程度を向上することができる。
【００９０】
尚、メディアンフィルタなどの処理は再帰的に適用してもよい。また、いうまでもなく、平滑化用フィルタリング処理はメディアンフィルタに限定されるものではない。上記輪郭整形処理（ステップＳ４０）により得られるマスクデータに基づき、被写体画像出力処理（ステップＳ５０）を行い、その結果を画像表示装置９または被写体画像出力部８としてのプリンタなどに出力する。被写体画像を図８に示す。
【００９１】
［第２の実施の形態］
第２の実施の形態における撮像システムでは、初期マスク領域抽出、領域成長処理の後、輪郭整形処理を動的輪郭法（M.kass et al. "Snakes: Active Contour Models," International Journal of Computer Vision, vlo. 1,pp. 321-331, 1987）を用いて行う。
【００９２】
動的輪郭とは対象物の近傍に設定された初期輪郭を以下に示すような評価関数を最小化するように移動、変形して最終的に対象物の外形またはその包絡線に収束させるものである。本実施の形態では、マスク画像（値０／１データ）に対して動的輪郭整形処理（ステップＳ４００）を行い、更に被写体画像に対し、輪郭整形処理（ステップＳ４０）を施す。
【００９３】
図１２は動的輪郭整形処理手順を示すフローチャートである。具体的には、前記第１の実施の形態と同様に初期マスク領域抽出と領域成長処理後に得られるマスク領域に基づいて初期輪郭を設定する（ステップＳ４０１）。初期輪郭として、例えばマスク境界線をその重心を中心として所定数倍に拡大したもの、あるいはマウスなどの指示選択装置を用いてマスク領域の周囲に設定したものなどが挙げられる。
【００９４】
つぎに、マスクデータ上で以下に示す動的輪郭処理を行う（ステップＳ４０２）。輪郭上各点の座標を記述するためのパラメータｓ（典型的には弧長）を用いて表される輪郭線ｖ（ｓ）＝（ｘ（ｓ），ｙ（ｓ））に対し、数式４で示される評価関数Ｅを最小にする輪郭線形状ｖ（ｓ）を求める。
【００９５】
【数４】
0003679512.tif 000002
Ｉ（ｖ（ｓ））はｖ（ｓ）上の輝度レベルを表し、α（ｓ）、β（ｓ）、ｗ0は、ユーザが適宜定める。輪郭の変形、移動は時系列的に逐次更新しながら行われる。各ステップでは輪郭線上の各点において移動可能範囲の点の集合（予め定義される近傍領域）から上記関数が最小となる点を選択したり、あるいは上記評価関数を最小にする輪郭を変分法を用いてＥｕｌｅｒの方程式を解くことなどにより処理される。
【００９６】
このように、マスクデータ上で動的輪郭処理を行うことにより、被写体画像上の被写体近傍にある背景パターンに誤って収束することを回避しつつ、領域成長後のマスク形状の平滑化、未成長領域の輪郭形状の修整などを行うことができる。特に、修整機能としては形状の欠損部分に主観的輪郭線に相当する滑らかな連続形状を生成する場合などに発揮される。
【００９７】
エネルギ関数が最小値に収束した後の輪郭形状は多くの場合、被写体の形状に十分に近いと考えられる。そこで、これを初期輪郭として設定し（ステップＳ４０３）、被写体画像上で上述した動的輪郭処理を同様に適用し（ステップＳ４０４）、最終的に収束した輪郭内を切り出しマスク領域とする（ステップＳ４０５）。
【００９８】
尚、マスクデータ上での動的輪郭処理は必須でない場合があるが、このようなときはステップＳ４０２、Ｓ４０３の処理を省略しても構わない。
【００９９】
また、初期マスク領域抽出後、領域成長処理を省いてマスク領域を包囲するように初期輪郭を設定し、マスクデータに対し上述した動的輪郭処理を行ってもよい。この場合、概略収束した輪郭形状を初期輪郭として更に被写体画像上で輪郭整形処理して細部の形状を抽出する。また、条件によっては初期マスク領域抽出後、被写体画像上で上記動的輪郭処理を行ってもよい。
【０１００】
［第３の実施の形態］
図１３は第３の実施の形態における撮像システムの構成を示すブロック図である。本実施の形態では、切り出したい被写体が写った被写体画像とその被写体を除いた背景画像との２つが入力画像として用いられる。
【０１０１】
撮像装置１は、レンズ、絞りおよびそれらのレンズ駆動制御部１ｅを含む結像光学系１ａ、イメージセンサ１ｂ、映像信号処理回路（ガンマ特性、ホワイトバランス制御、露光条件制御、フォーカシング特性制御などを行う）１ｃ、画像記録部１ｄ、インターフェース部１ｆなどを主な構成要素とする。
【０１０２】
切り出し処理装置２は、被写体画像一時記憶部３ａおよび背景画像一時記憶部３ｂからなる画像一時記憶部３、差分画像データの閾値処理を行う初期マスク領域抽出部５、領域成長部６、被写体画像出力部８、インターフェース部１１などから構成される。切り出し処理装置２の外部には画像表示装置９および端末装置１０が接続されている。
【０１０３】
図１４および図１５は被写体切り出し処理手順を示すフローチャートである。尚、切り出し処理装置としては上記構成の他、図１４および図１５のフローチャートで示すプログラムとしてコンピュータの記憶装置上に存在するもの、同様にゲートアレーとして存在するもの、さらに撮像装置１に内蔵されているものなど種々の形態をとることができる。
【０１０４】
まず、被写体画像および背景画像を撮像装置１から入力する（ステップＳ１１１）。この際、後続の処理スピードを上げるために、適当な縮尺率で画像データの間引きを行い（ステップＳ１１２）、被写体画像上で被写体存在範囲を含むように処理領域の設定を行う（ステップＳ１１３）。尚、ステップＳ１１２の間引き処理およびステップＳ１１３の処理領域の設定処理は省いてもよい。
【０１０５】
図１６、図１７は被写体切り出し処理の主な途中結果が表示された画面を示す写真である。本実施の形態では、前記第１の実施の形態と同様に、図３の（ａ）、（ｂ）をそれぞれ入力被写体画像、背景画像とする。
【０１０６】
つづいて、領域成長の核を抽出するための初期核データ抽出処理を行う（ステップＳ１１６、Ｓ１１７、Ｓ１１８）。この処理は背景画像および被写体画像間での各画素について色成分（ＲＧＢ値または色相、彩度）の差異に基づき、例えば各成分の差分絶対値を閾値処理することにより初期核抽出を主として行う。ここで、閾値を比較的高く設定することにより、ノイズや撮影条件の差異に起因する画素値の変動の影響を排除し、かつ淡い陰影などを除去することができる。
【０１０７】
但し、三脚等に撮像装置１を固定せず手持ち状態で撮影を行い、また、背景画像、被写体画像をそれぞれを露光条件およびフォーカシングの自動設定により撮影する場合、閾値処理を行う前に以下の処理を行う必要がある。
【０１０８】
即ち、被写体画像および背景画像間の対応する点間での幾何学的またはＲＧＢ成分の変換パラメータ群を抽出し（ステップＳ１１４）、２つの画像間での位置合わせ（シフト、回転、倍率変換）、および各色成分（ＲＧＢ値）のレベル合わせ（最小二乗法などを用いた補正用非線形関数の推定などを行う）を抽出した変換パラメータ群を用いて行う（ステップＳ１１５）。
【０１０９】
また、他の処理法として各点を中心として定義される所定サイズのブロック間の相関係数または画素値の平均値、標準偏差値などの統計量を閾値処理することにより抽出してもよい。初期核抽出の結果得られるマスク領域を図１６の（ａ）に示す（被写体領域を黒で示す）。上記処理は図１３の切り出し処理装置２の初期マスク領域抽出部５で行われる。初期マスク領域抽出部５で行う代わりに、端末装置１０のコンピュータ内部のプログラムにより実行されるようにしてもよい。
【０１１０】
一般的な背景と被写体の組み合わせでは、この段階で切り出すべき被写体の領域が完全に抽出されることはあり得ない。即ち、被写体画像および背景画像間において同一箇所で部分的にＲＧＢレベル、あるいはそれらの局所的統計量（平均値、標準偏差など）などが類似した領域がある場合、その部分領域が閾値処理後に未抽出領域として残る。したがって、次の領域成長処理では、それらの復元が行われる。
【０１１１】
領域成長処理では、初期マスクの各核領域の境界上の点において近傍画素（または領域）との画像特徴量の類似度を求め、これが所定の閾値により高い場合、同一被写体領域とみなしてマスク領域に併合する。上記処理は図１３の切り出し処理装置２の中の初期領域成長部６で行われる。初期領域成長部６で行う代わりに、端末装置１０のコンピュータ内部のプログラムにより実行されるようにしてもよい。
【０１１２】
本実施の形態では、まず領域成長を行う前に被写体画像のエッジ強度分布抽出処理（ステップＳ１１９）、およびその閾値処理による２値化処理（ステップＳ１２０）、および初期核の成長範囲を制限するための最大領域成長範囲の設定処理（ステップＳ１２１）を初期核の領域データに基づいて行う。
【０１１３】
具体的には初期核の存在領域の横（Ｘ）方向各点でのＹ（縦）成分最小値、最大値（ＭｉｎＹ（Ｘ），ＭａｘＹ（Ｘ））、および縦（Ｙ）方向各点でのＸ（横）成分最小値、最大値（ＭｉｎＸ（Ｙ），ＭａｘＸ（Ｙ））を求め、各データに対して平滑化（ローパスフィルタ）を行う。
【０１１４】
本実施の形態では、所定サイズのメディアンフィルタを適用することにより突発的な変動が抑えられ、被写体の輪郭形状にほぼ沿った滑らかな成長範囲を得ることができる（図１６の（ｂ）参照）。
【０１１５】
つぎに、類似度判定に必要な特徴パラメータとして、輝度レベル、色相の近傍との差異の初期閾値Ｉｔｈ，Ｈｔｈの値を入力する（ステップＳ１２２）。これらは背景画像および被写体画像間のそれぞれのパラメータに関する差分（差分絶対値）データの平均値、標準偏差などの統計量に基づいて自動設定してもよい。更に、最大成長範囲およびエッジ強度分布に基づき各閾値の値を画像中の位置によって以下のように可変に設定する（ステップＳ１２３）。
【０１１６】
最大成長範囲（ＭｉｎＹ（Ｘ），ＭａｘＹ（Ｘ））、（ＭｉｎＸ（Ｙ），ＭａｘＸ（Ｙ））の中では閾値を高く、各範囲外では低く設定する。具体的には点（Ｘ，Ｙ）が各成長範囲のいずれの中にもある場合、高い閾値（例えば、初期閾値）に設定し、それ以外の場合、低い閾値（例えば、初期閾値の１割）に設定する。
【０１１７】
また、閾値の分布関数としては最大成長範囲の境界線からの距離が大きくなるにつれて減少する任意の関数を用いてもよい。この関数の他の値の取り方としては離散値とし、所定範囲の境界からの距離については同じ値を与えるようなものでもよい。さらに、別の閾値の与え方としては、領域成長の閾値を縦方向と横方向それぞれで設定し（Ｉｔｈｙ，Ｉｔｈｘ）、縦方向成長範囲（ＭｉｎＹ（Ｘ），ＭａｘＹ（Ｘ））内ではＩｔｈｙを高く、横方向成長範囲（ＭｉｎＸ（Ｙ），ＭａｘＸ（Ｙ））ではＩｔｈｘが高くなるように設定してもよい。
【０１１８】
本実施の形態では、さらに被写体画像のエッジ強度分布を所定の閾値で２値化し、エッジが存在する位置およびその近傍で閾値を低くする。閾値の分布としてはエッジの位置で最も低く（例えば、値０とするとエッジと交差する領域成長は完全に抑止される）、その近傍ではエッジからの距離に対して若干の増加を呈するもの、あるいはエッジとその近傍で一様に低い値をとるものなどが用いられる。
【０１１９】
図１８はエッジ分布および最大領域成長範囲に基づいて設定された近傍画素との特徴量差異に基づく領域成長の閾値分布を示す説明図である。横軸Ｘ（Ｙ）は縦方向の位置Ｙにおける被写体画像の断面上の横方向位置を表し、最大成長範囲ＭｉｎＸ（Ｙ），ＭａｘＸ（Ｙ）も同様にその断面上での横方向の成長範囲の最小値、最大値を示す。また、閾値Ｔｈｈ，Ｔｈｌはそれぞれ閾値の最大値、最小値を表す。尚、最大領域成長範囲の境界線を入力画像に重畳させてディスプレイに表示し、ユーザがこれに基づいて適正な平滑化フィルタサイズを設定できるようにしてもよい。
【０１２０】
上記閾値設定方法により初期閾値（Ｉｔｈ，Ｈｔｈ）の差異に対する領域成長結果のロバスト化、安定化が達せられる（被写体の輪郭形状に沿った形状の変動が少ない）。また、最大成長範囲が被写体の外側輪郭形状と異なる場合でも領域成長の結果、これが一致するように閾値（Ｉｔｈ，Ｈｔｈ）を設定する際、大まかに行うことができる。
【０１２１】
つぎに、特徴量に基づき、近傍画素について類似度判定処理（ステップＳ１２４）を行う。特に、本実施の形態では近傍画素（その時点で非マスク領域）とのＲＧＢそれぞれの差分絶対値がいずれも閾値以下となるか、または色相の差分絶対値が閾値以下であることを類似度判定、即ち成長条件に用い、いずれか一方が成立するとき当該近傍画素を同一被写体領域として併合する（ステップＳ１２５、図１７の（ａ）参照）。
【０１２２】
類似度判定に用いる特徴量としてはこれらに限定されるものではなく、例えば、彩度などの低次特徴量、あるいは高次特徴量としてエッジを含む局所的ラインセグメントの部分形状（セグメントの向きなど）、局所空間周波数、さらにはＲＧＢなどの低次特徴量を統計処理して得られる特徴量などが好適に用いられる。
【０１２３】
また、領域成長の併合処理は、必ずしも８近傍画素について行われるように限定されるものではなく、他の方法で求めた近傍領域を用いてもよい。さらに、領域成長後のマスクデータについて所定サイズ以下の穴を自動的に埋める穴埋め処理（ステップＳ１２６）を行う。
【０１２４】
この穴埋め処理は被写体画像データ、即ち、画像特徴量の近傍領域との類似度、均質性などとは一切無関係に行われ、２値化マスクデータに対して行われるものである。以上の結果、得られる成長済み領域を被写体切り出しマスク領域とし、該当する領域を被写体画像から抽出し（ステップＳ１２７）、ディスプレイに画像データを（または画像ファイルとして）出力する（ステップＳ１２８）ことにより切り出し処理は完了する（図１７の（ｂ）参照）。
【０１２５】
尚、被写体画像抽出処理（ステップＳ１２７）の際、マスク領域の境界線の平滑化処理、あるいは境界線の補正処理などを行ってからマスクに対応する被写体画像を抽出してもよい。切り出し画像出力処理（ステップＳ１２８）は図１３の切り出し処理装置２の被写体画像出力部８で行われる。被写体画像出力部８で行う代わりに、コンピュータ上のプログラムとして実行されるようにしてもよい。
【０１２６】
［第４の実施の形態］
図１９は第４の実施の形態における撮像システムの構成を示すブロック図である。図において、５１は画像入力装置であり、撮像装置または画像データベース部を示す。撮像装置としてはビデオカメラ、あるいは複眼タイプのカメラなど特に限定されない。
【０１２７】
５２は画像中の１次特徴データを抽出する一次特徴抽出部、５３は特徴データの均質度を評価する特徴均質度評価部である。５４は画像記憶部、５５は特徴データの均質度に基づき領域を分割する領域分割部、５６は分割画像生成部、５７は二次特徴に基づく領域成長部である。５８は表示装置である。５９は分割領域の選択を指示する分割領域指示装置であり、マウスなどのポインティングデバイスを表す。
【０１２８】
尚、本実施の形態では、領域成長は画像中の所定領域内の特徴量の均質度を評価して領域の分割、併合を行うことを意味する。本実施の形態における特徴は、画像中の一次特徴データを抽出し、その分布に基づいて画像の領域分割を行うことにより抽出可能性のある画像領域を概略的に抽出する。次のステップとしてより精細な抽出のために候補領域を核とする二次特徴量（一次特徴と種別、属性などが異なる特徴量）に基づく領域成長を前記第３の実施の形態と同様に行う。
【０１２９】
また、一次特徴データに基づいて抽出された領域には、二次特徴に基づく領域成長を行うために必要な画像情報が含まれているものとする。本実施の形態では二次特徴とは、基本的に一次特徴と異なるものであればよく、必ずしも幾何学的な構造を有するもの、あるいは輝度分布、色成分を処理して得られる高次の特徴を有するものなどのような限定を意味せず、例えば色成分情報などが好適に用いられる。但し、一次特徴と同じ種別（本実施の形態では動きベクトルまたは視差ベクトル）であっても、領域成長による精細な画像分割が可能であれば問題ない。
【０１３０】
一次特徴データの検出の目的は領域成長処理を行う際の成長核となる領域の抽出を高速に行うことで、実際に特定対象の画像領域を抽出する際のオペレータによる大まかな選択と指示を可能としたり、あるいは自動抽出処理を容易にすることである。
【０１３１】
一次特徴データとしては画像入力装置５１より時系列画像データを入力する場合、画面上の各点の動きベクトルを、また複眼カメラから画像を入力する場合、左右画像間の対応点の視差ベクトルの分布を用いる。一次特徴抽出部５２の抽出精度は後で用いる二次特徴抽出部の精度（分解能）より多少劣っていても構わないが、高速に抽出可能であることが望ましい。このため、一次特徴の抽出、均質領域の統合を行うための専用ハードウェアを設定してもよい。
【０１３２】
図２０は図１９の撮像システムの具体的構成を示すブロック図である。尚、視差ベクトル（動きベクトル）の検出アルゴリズムについては本発明の主眼ではないので、ここでの説明を省略する（「ロボットビジョン」谷内田  著、昭晃堂など参照）。
【０１３３】
本実施の形態では、特徴均質度の尺度として、所定領域内の一次特徴量（動きベクトル、視差ベクトルなど）の大きさと方向に関する分散で表すこととする。評価する領域（ブロック）のサイズを対象の画面内サイズに基づいて適切に設定することにより、処理時間の短縮と効率化が達成される。即ち、対象の画面内縦横サイズと比較して数分の１から１０分の１程度の分割領域程度が典型的に用いられる。この値はオペレータ側で予め適宜設定可能にしてもよい。
【０１３４】
領域分割部５５は、均質度の値（その領域内の分散値など）が所定閾値より小さい場合、その領域は均質であるとして均質度代表値が所定許容範囲内にある領域同士を連結し許容範囲外の領域を分離することにより、一定値の一次特徴量（視差ベクトル、動きベクトル等）で代表することができる均質な塊状領域（複数可）を形成する。この処理はいわゆる領域成長処理の１つとみなすこともできるが、この段階では、前記第３の実施の形態と同様の領域成長の条件（制約）を付与しない。
【０１３５】
図２１は複眼カメラで撮像された入力画像の例（ａ）、視差ベクトルの大きさに基づいて行った大まかな領域分割結果（ｂ）、および色成分などの二次特徴に基づく領域成長（及び分割）による画像切り出し結果（ｃ）を示す説明図である。
【０１３６】
尚、前述したように図２１の（ｂ）に示す分割後の領域（初期核）は第１の実施の形態と同様に必ずしも実際の対象物の形状を正確に反映するものではなくてもよいが、分割後の領域（初期核）内に背景領域が混在しないことが望ましい。
【０１３７】
このため、領域分割後（初期核抽出後）、一定割合で各領域を縮小したもの、あるいはｍｏｒｐｈｏｌｏｇｉｃａｌ演算子の作用によるマスクの細らせ（ｅｒｏｓｉｏｎ；縮退）処理を行った結果を分割領域（初期核）としてもよい。
【０１３８】
また、背景領域が部分的に混在する場合、まずその初期核領域を色成分などに基づいて分割し、初期核の輪郭線を含む小領域を削除してから領域成長を行うことなどにより、被写体形状のより精密な切り出しが可能である。
【０１３９】
分割画像（初期核画像）生成部５６では、一次特徴データに基づいて分割された複数の領域に対応してそれぞれの異なる属性の画像データ（例えば、異なる色、異なるハッチングパターンなど）を付与し、表示装置５８上に入力画像データと重なるように表示する。具体的には分割された領域にラベル付けを行い、同じラベル領域を固有のパターン（または色）で塗りつぶすこなどの処理を行う。
【０１４０】
このようにすることにより、オペレータは指示すべき候補領域の区別を目視により容易に行うことができ、かつ分割領域指示装置５９による抽出対象の指定が容易となる。分割領域指示装置５９としては典型的にマウスなどが用いられるが、タッチパネル型表示装置を用いる場合、不要である。画像中に動きのある物体、あるいは視差値の所定範囲の領域が１つしかない場合も指示選択は不要である。また、抽出された複数の初期核全てを領域成長核としてもよい。
【０１４１】
領域成長部５７は、一次特徴データに基づき抽出されて選択された初期核領域の近傍から二次特徴（例えば、色相、ＲＧＢ値など）を抽出する二次特徴抽出部５７１、二次特徴に基づく領域成長部５７２、およひ成長後の各領域を連結する領域連結部（穴埋め手段）５７３、最大領域成長範囲設定部５７４、二次特徴量の近傍画素との類似度評価のための閾値分布設定部５７５から構成される。
【０１４２】
各設定部５７４、５７５での処理内容は前記第３の実施の形態と同様であるが、本実施の形態における閾値分布設定の固有の方法としては、例えば指示選択（あるいは自動処理）により統合された初期核領域内の一次特徴量（視差ベクトル、動きベクトルなど）の不連続部を二次特徴量（ＲＧＢ値、色相など）の不連続部と同等に扱い、これらの上（および近傍）で類似度評価の閾値を低く設定してもよい。
【０１４３】
図２２は閾値分布の設定を示す説明図である。上記のような場合を含めた閾値（近傍画素との特徴量差異の許容値）分布の設定例を示し、視差エッジとは視差ベクトルの変化率がその点を含む近傍で所定閾値より大となる所を意味する。ここでは、画像中のいわゆるエッジ強度分布（強度分布または各色成分の強度分布などに対してＳＯＢＥＬ演算子を代表とする微分オペレータなどを作用させて得られる）と視差エッジが同一点で観測される場合、閾値を最も低く（Ｔｈｌ）、いずれか一方のみが観測される場合、中程度の閾値（Ｔｈｍ）、いずれのエッジも観測されず、さらにどのエッジ近傍にも属さない領域には最も高い閾値（Ｔｈｈ）を与えている。
【０１４４】
【発明の効果】
本発明の画像抽出方法によれば、抽出すべき被写体が記録された第１画像と該被写体を除く背景が記録された第２画像との間の差分データに基づき、抽出すべき領域の初期マスクを生成する第１ステップと、該生成された初期マスクの領域を近傍領域との特徴量類似度に基づき成長させる第２ステップと、該領域成長後のマスク領域に基づいて前記第１画像から前記被写体を抽出する第３ステップとを備えたので、ノイズや撮影条件の変動の影響を排除し、かつ淡い陰影部分を自動除去した被写体抽出が可能である。また、被写体内部において背景画像と類似する画像特性を有する領域を含めた被写体領域の抽出が可能である。
また前記第２ステップは、前記第１および第２画像からそれぞれ抽出される前記第１および第２エッジ強度画像間の差分エッジデータに基づいて得られるエッジ密度が成長方向において所定の閾値以下である場合、成長を抑止するので、領域成長条件を緩和したり、あるいは大まかに設定しても被写体外への領域成長を抑制し、高精度な被写体抽出が可能となる。また、初期マスク領域が被写体以外の領域（陰影部など）を含む場合でもそのような領域からの成長を抑制することが可能である。
【図面の簡単な説明】
【図１】第１の実施の形態における撮像システムの構成を示すブロック図である。
【図２】被写体切り出し処理手順を示すフローチャートである。
【図３】被写体画像および背景画像が表示された中間調画像を示す写真である。
【図４】被写体切り出し処理の主な途中結果が表示された中間調画像を示す写真である。
【図５】被写体切り出し処理の主な途中結果が表示された中間調画像を示す写真である。
【図６】被写体切り出し処理の主な途中結果が表示された中間調画像を示す写真である。
【図７】被写体切り出し処理の主な途中結果が表示された中間調画像を示す写真である。
【図８】被写体切り出し処理の結果が表示された中間調画像を示す写真である。
【図９】ステップＳ３０における領域成長処理手順を示すフローチャートである。
【図１０】輪郭整形処理手順を示すフローチャートである。
【図１１】エッジ選択処理を示す説明図である。
【図１２】動的輪郭整形処理手順を示すフローチャートである。
【図１３】第３の実施の形態における撮像システムの構成を示すブロック図である。
【図１４】被写体切り出し処理手順を示すフローチャートである。
【図１５】図１４につづく被写体切り出し処理手順を示すフローチャートである。
【図１６】被写体切り出し処理の主な途中結果が表示された中間調画像を示す写真である。
【図１７】被写体切り出し処理の主な途中結果が表示された中間調画像を示す写真である。
【図１８】エッジ分布および最大領域成長範囲に基づいて設定された近傍画素との特徴量差異に基づく領域成長の閾値分布を示す説明図である。
【図１９】第４の実施の形態における撮像システムの構成を示すブロック図である。
【図２０】図１９の撮像システムの具体的構成を示すブロック図である。
【図２１】複眼カメラで撮像された入力画像の例（ａ）、視差ベクトルの大きさに基づいて行った大まかな領域分割結果（ｂ）、および色成分などの二次特徴に基づく領域成長（及び分割）による画像切り出し結果（ｃ）を示す説明図である。
【図２２】閾値分布の設定を示す説明図である。
【符号の説明】
１  撮像装置
２  切り出し処理装置
３  画像一時記憶部
４  正規化エッジ強度抽出部
５  初期化マスク領域抽出部
６、５７  領域成長部
７  輪郭整形処理部
５１  画像入力装置
５２  一次特徴抽出部
５３  特徴均質度評価部
５５  領域分割部
５６  分割画像生成部
【図１】
0003679512.tif 000003
【図２】
0003679512.tif 000004
【図３】
0003679512.tif 000005
【図４】
0003679512.tif 000006
【図５】
0003679512.tif 000007
【図６】
0003679512.tif 000008
【図７】
0003679512.tif 000009
【図８】
0003679512.tif 000010
【図９】
0003679512.tif 000011
【図１０】
0003679512.tif 000012
【図１１】
0003679512.tif 000013
【図１２】
0003679512.tif 000014
【図１３】
0003679512.tif 000015
【図１４】
0003679512.tif 000016
【図１５】
0003679512.tif 000017
【図１６】
0003679512.tif 000018
【図１７】
0003679512.tif 000019
【図１８】
0003679512.tif 000020
【図１９】
0003679512.tif 000021
【図２０】
0003679512.tif 000022
【図２１】
0003679512.tif 000023
【図２２】
0003679512.tif 000024