(57)【特許請求の範囲】
【請求項１】
撮像手段により撮像を行う際の撮像条件を制御するための撮像条件制御手段と、
上記撮像手段により撮像を行う際の撮像条件を記録するとともに、上記記録した撮像条件を再生して出力するための撮像条件記録再生手段と、
上記撮像手段で撮像した複数画像を記録するための画像記録手段と、
上記撮像条件記録再生手段から供給される撮像条件に基づいて上記複数画像のうち、少なくとも一つの画像の画像データを変換するための画像データ変換手段と、
上記画像データ変換手段によって変換された複数画像の画像データを比較するための画像データ比較手段と、
上記画像データ比較手段から出力される比較結果に基づいて特定画像領域の画像を抽出するための画像切り出し手段とを具備し、
上記画像記録手段は、背景のみの画像および切り出し対象画像が背景中に存在する被写体込み画像を一次的に記憶保持し、
上記画像データ比較手段は、上記画像記録手段により再生されて出力される複数画像の差分画像データを抽出し、
上記撮像条件記録再生手段は、所定背景中の切り出し対象画像を撮像した時の撮像条件を記録し、
上記画像データ変換手段は、上記撮像条件記録再生手段により再生されて出力される撮像条件に基づいて上記背景のみの画像の画像データを変換することを特徴とする画像抽出装置。
【請求項２】
上記画像記録手段は、上記画像切り出し手段で得られる特定画像領域の画像データを符号化して記録することを特徴とする請求項１に記載の画像抽出装置。
【請求項３】
上記画像データ変換手段は、上記背景のみの画像および被写体込み画像間の類似度が最大となるように空間的にシフト演算を行うことを特徴とする請求項１又は２に記載の画像抽出装置。
【請求項４】
上記画像データ変換手段は、画像サイズ、輝度レベル、色成分および解像度を変換することを特徴とする請求項１〜３の何れか１項に記載の画像抽出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像抽出装置に関し、特に、画像切り出し機能、領域抽出機能を有する画像処理システムに用いて好適なものである。
【０００２】
【従来の技術】
従来、画像切り出し（抽出）を行う一般的な手法としては、特定の色背景を用いるクロマキー方式や、ヒストグラム処理、差分処理、微分処理、輪郭強調処理、輪郭追跡などの画像処理によりキー信号を生成するビデオマット（テレビジョン学会技術報告、ｖｏｌ．１２，ｐｐ．２９−３４，１９８８）などの手法が知られている。
【０００３】
画像から特定領域の画像を抽出する装置として、例えば特公平6-9062号公報に開示される手法においては、空間フィルタによって得られる微分値を２値化して境界線を検出し、上記検出した境界線で仕切られる連結領域にラベル付けを行い、同じラベルを有する領域を抽出するようにしている。
【０００４】
なお、背景のみの画像との差分に基づいて画像抽出を行う手法は古典的なものであり、最近は、特開平4-216181号公報において背景のみの画像と処理対象画像との差分データにマスク画像( 特定処理領域のこと) を設定して、画像中の複数の特定領域における対象物体を抽出または検出を行う手法が開示されている。
【０００５】
また、特公平7-16250 号公報に係わる方式では、抽出対象の色彩モデルを用いて背景を含む現画像の色彩変換データ、背景のみの画像と現画像との明度の差分データから抽出対象の存在確率分布を求めるようにしている。
【０００６】
さらに、カメラ操作、動作モードの適正化を行う手法の一例として、特開平6-253197号公報に記載されている方法では、背景のみの画像の撮像時に平均輝度が適正となるように絞りを設定する。そして、同じ設定値を用いて現画像を撮像してそれらの差分画像データに基づいて物体画像の抽出を行うようにしている。
【０００７】
一方、撮像手段においては、信号処理のデジタル化に伴い映像情報の処理および加工の自由度が上がるに従って、内部での処理は輝度レベル、色調の変換、ホワイトバランス処理、量子化サイズ変換などの比較的軽易な処理から、エッジ抽出機能を有するものや、色成分の逐次成長法を用いた画像抽出機能（テレビジョン学会技術報告、ｖｏｌ．１８，ｐｐ．１３−１８，１９９４）を有するものなどへと大きな進展を見せている。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記従来例のうち、背景のみの画像との差分データを利用する方式は、特開平6-253197号公報に記載されている手法を除いて、いずれも撮影条件（カメラパラメータおよび照明などの外的条件）を考慮していないために、同じ撮影条件および同一固定位置で、背景のみの画像と抽出すべき被写体込み画像を得なければ、差分データからの抽出対象領域の判定誤差が非常に大きくなってしまうという問題があった。
【０００９】
また、特公平7-16250 号公報に記載されている方法は、抽出対象の色彩モデルを要するという点で任意の未知物体の画像抽出には不向きであった。
【００１０】
また、特開平6-253197号公報に係わる方式においても、撮像手段が同一固定位置にあることや、背景のみの画像撮像時と同一の撮像条件であることが前提であり、背景のみの画像を撮像した時の絞りの設定値を、被写体込み画像を撮像する際に用いるという技術を開示しているに過ぎなかった。また、背景のみの画像の撮像条件を優先するこの方式では、被写体込み画像の抽出対象の画質は一般的には保証されないという問題があった。
【００１１】
さらに、上記クロマキー方式は、背景の制約が大きいために屋外で使えない問題や、色ぬけなどの問題点があった。
また、ビデオマット方式は、輪郭の指定作業は人間が画素単位で正確に行う必要があり、そのためには労力と熟練を要するという問題点があった。
【００１２】
また、微分演算で境界線を検出して境界線で仕切られる領域を検出する方式は、複雑なテクスチャパターン（模様) を有する物体への適用が困難であることや、安定的かつ汎用的な境界線検出処理方式がないこと等の問題点があった。
【００１３】
本発明は上述の問題点にかんがみ、複数画像間の比較から特定被写体を抽出する際に、各画像における撮像条件の相違に対する許容度を大きくすることと、抽出対象領域を簡易に同定することと、抽出すべき対象の良好な画像が得られるようにすることとができる画像抽出装置を提供することを目的とする。
【００２０】
【課題を解決するための手段】
本発明の画像抽出装置は、撮像手段により撮像を行う際の撮像条件を制御するための撮像条件制御手段と、上記撮像手段により撮像を行う際の撮像条件を記録するとともに、上記記録した撮像条件を再生して出力するための撮像条件記録再生手段と、上記撮像手段で撮像した複数画像を記録するための画像記録手段と、上記撮像条件記録再生手段から供給される撮像条件に基づいて上記複数画像のうち、少なくとも一つの画像の画像データを変換するための画像データ変換手段と、上記画像データ変換手段によって変換された複数画像の画像データを比較するための画像データ比較手段と、上記画像データ比較手段から出力される比較結果に基づいて特定画像領域の画像を抽出するための画像切り出し手段とを具備し、上記画像記録手段は、背景のみの画像および切り出し対象画像が背景中に存在する被写体込み画像を一次的に記憶保持し、上記画像データ比較手段は、上記画像記録手段により再生されて出力される複数画像の差分画像データを抽出し、上記撮像条件記録再生手段は、所定背景中の切り出し対象画像を撮像した時の撮像条件を記録し、上記画像データ変換手段は、上記撮像条件記録再生手段により再生されて出力される撮像条件に基づいて上記背景のみの画像の画像データを変換することを特徴とする。
【００２３】
また、本発明のその他の特徴とするところは、上記画像記録手段は、上記画像切り出し手段で得られる特定画像領域の画像データを符号化して記録することを特徴としている。
【００２４】
また、本発明のその他の特徴とするところは、上記画像データ変換手段は、上記背景のみの画像および被写体込み画像間の類似度が最大となるように空間的にシフト演算を行うようにしている。
【００２６】
また、本発明のその他の特徴とするところは、上記画像データ変換手段は、画像サイズ、輝度レベル、色成分および解像度を変換するようにしている。
【００２７】
【作用】
本発明は上記技術手段よりなるので、第１の発明によれば、撮像条件が記録および再生され、上記再生された撮像条件に基づいて画像データが変換されるので、例えば登録済の画像と現画像、あるいは動画像中の異なるフレーム画像などのような複数の画像間の比較を行って特定被写体を抽出する際に、各画像の撮像条件が相違することに対する許容度を大きくすることができ、これにより、手ぶれなどによる撮像手段の位置の微小変動、露光条件の相違、センサのゲイン変動等が多少あっても特定被写体を抽出することが可能となる。
【００２８】
そして、背景のみの画像および切り出し対象画像が背景中に存在する被写体込み画像が、画像記録手段で一次的に記憶保持されるとともに、上記画像記録手段により再生されて出力される複数画像の差分画像データが画像データ比較手段により抽出され、上記抽出された差分画像データが上記背景のみの画像と被写体込み画像との比較データとして用いられるので、背景から特定被写体を切り出す処理を効率的に行うことが可能となる。
【００２９】
さらに、撮像条件記録再生手段に記録された所定背景中の切り出し対象画像を撮像した時の撮像条件に基づいて背景のみの画像の画像データが変換されるので、切り出し対象にピントの合った高画質の画像を出力することが可能となる。
【００３０】
第２の発明によれば、画像切り出し手段で得られる特定画像領域の画像データが符号化されて画像記録手段に記録されるので、必要とする画像を効率的に符号化することができる画像抽出が可能となる。
【００３１】
第３の発明によれば、背景のみの画像および被写体込み画像間の類似度が最大となるように、空間的にシフト演算が行われるので、撮像手段の位置、姿勢の変動を許容する画像抽出が可能となる。
【００３３】
第４の発明によれば、画像サイズ、輝度レベル、色成分、および解像度を画像データ変換手段によって変換されるので、異なる撮像条件で撮像された複数画像間の画像データの正規化を良好に行うことができ、特定被写体の抽出を高精度に行うことが可能となる。
【００３４】
【発明の実施の形態】
以下、本発明の画像抽出装置の実施形態を図面を参照して説明する。
図１は、本発明の画像抽出装置の要部構成を示す機能構成図である。図１においてＡは撮像光学系および撮像素子等からなる撮像手段、Ｂはズーム、焦点、絞りその他、種々の撮像パラメータを制御する撮像条件制御手段、Ｃは撮像条件制御手段Ｂの制御データを記録再生する撮像条件記録再生手段、Ｄは撮像手段Ａによって撮像された画像を記録する画像記録手段、Ｅは撮像条件記録再生手段Ｃより供給された各種制御パラメータに基づいて画像を変換する画像データ変換手段、Ｆは背景画像と被写体込みの画像とを比較する画像データ比較手段、Ｇは画像切り出し手段であり、画像比較手段Ｆの出力に基づいて画像の切り出し領域を設定するものである。Ｈは画像を表示するためのモニタディスプレイ、電子ビューファイダ等からなる表示手段である。
【００３５】
また、上記撮像手段Ａは、複数画像を撮像するために設けられているものであり、上記撮像条件制御手段Ｂは、上記撮像手段Ａにより撮像を行う際の撮像条件を制御するためのものである。なお、本実施形態においては、上記撮像条件は露光量、合焦状態およびストロボ発光の有無を含んでいる。
【００３６】
上記撮像条件記録再生手段Ｃは、上記撮像手段Ａにより撮像を行う際の撮像条件を記録するとともに、上記記録した撮像条件を再生して出力するためのものであり、本実施形態においては上記撮像条件記録再生手段Ｃは、所定背景中の切り出し対象画像を撮像した時の撮像条件を記録する。
【００３７】
上記画像記録手段Ｄは、上記撮像手段Ａで撮像した複数画像を記録するためのものであり、背景のみの画像および切り出し対象画像が背景中に存在する被写体込み画像を一次的に記憶保持する。また、上記画像切り出し手段Ｇで得られる特定画像領域の画像データを符号化して記録する。
【００３８】
また、上記画像データ変換手段Ｅは、上記撮像条件記録再生手段Ｃから供給される撮像条件に基づいて上記複数画像のうち、少なくとも一つの画像の画像データを変換するために設けられているものである。また、上記撮像条件記録再生手段Ｃにより再生されて出力される撮像条件に基づいて上記背景のみの画像の画像データを変換する。さらに、上記画像データ変換手段Ｅは、上記背景のみの画像および被写体込み画像間の類似度が最大となるようにメモリ上で空間的にシフト演算を行うとともに、画像サイズ、輝度レベル、色成分および解像度を変換する。
【００３９】
上記画像データ比較手段Ｆは、上記画像データ変換手段Ｅによって変換された複数画像の画像データを比較するためのものであり、上記画像記録手段Ｄにより再生されて出力される複数画像の差分画像データを抽出する。
【００４０】
上記画像切り出し手段Ｇは、上記画像データ比較手段Ｆから出力される複数画像の画像データの比較結果に基づいて特定画像領域の画像を抽出するために設けられているものである。
【００４１】
このように構成された本実施形態の画像抽出装置によれば、例えば登録済の画像と現画像、あるいは動画像中の異なるフレーム画像などのような、複数の画像間の比較から特定被写体を抽出する際に、各画像のそれぞれにおいて撮像条件が相違することに対する許容度を大きくすることができる。
【００４２】
これにより、背景のみの画像から被写体画像の抽出を行う際に、例えば手ぶれなどによる撮像手段Ａの位置の微小変動や露光条件の相違、あるいはセンサのゲインなどの変動が多少あっても、特定被写体を良好に抽出することができる。また、色彩モデルなど抽出対象に関するモデルを用いずに照明条件などの変動の許容度を大きくすることができる。
【００４３】
また、撮像条件やカメラパラメータの変動に対する許容度を高めることができるので、背景からの特定被写体を切り出す処理を効率的に行うようにすることができる。さらに、背景のみの画像を撮像した際の撮像条件で撮像した被写体込み画像を用いて背景のみの画像の画像データを変換するので、背景のみの画像と被写体込み画像とから撮像条件およびカメラパラメータの変動に対する許容度を高めることができる。また、背景のみの画像の撮像時の撮像条件に左右されない高画質な被写体抽出を行うことができ、切り出し対象にピントの合った高画質な画像を出力することができる。
【００４４】
また、本実施形態の他の特徴によれば、画像切り出し手段Ｇで得られる特定画像領域の画像データを符号化して画像記録手段Ｄに記録するようにしたので、必要とする画像を効率的に符号化することができ、画像抽出を良好に行うようにすることができる。
【００４５】
また、本実施形態のその他の特徴によれば、背景のみの画像および被写体込み画像間の類似度が最大となるように、画像データ変換手段Ｅが空間的にシフト演算を行うようにしたので、撮像手段Ａの位置の変動や姿勢の変動を許容する画像抽出が可能となり、撮像時の手ぶれ等による悪影響が少ない画像抽出を行うことができる。
【００４６】
また、本実施形態のその他の特徴によれば、撮像条件に露光量、合焦状態およびストロボ発光の有無を含むようにしたことにより、異なる撮像条件で撮像された複数画像から特定被写体の画像抽出を行うことが可能となり、倍率条件、ピント、コントラスト、照明条件などの変動に対する許容度を高めた画像抽出を行うことができる。
【００４７】
また、本実施形態のその他の特徴によれば、画像データ変換手段Ｅが画像サイズ、輝度レベル、色成分、および解像度を変換するようにしたので、異なる撮像条件で撮像された複数画像間の画像データの正規化を行い、画像間の比較に基づく特定被写体の抽出処理を高精度に行うことができ、高精度な被写体画像抽出を行うことができるようになる。
【００４８】
次に、図２〜図６を参照しながら本発明の画像抽出装置の構成および動作をより具体的に説明する。
まず、第１の実施形態を説明する。第１の実施形態の基本処理は、背景のみの画像と背景中の被写体画像とを撮像し、両者の撮像条件を考慮した比較データ（差分データ）に統計的な処理を施すことにより、被写体画像領域を検出して被写体の画像抽出を行うものである。
【００４９】
また、本実施形態では、操作者がビデオカメラ等による撮像手段を手に持って撮像することを想定し、抽出すべき被写体が背景中に入っている画像を最初に撮像し、その時の撮像条件を画像データとともに記憶手段に記録する。次に、同じ撮像条件（画像信号特性パラメータを含むカメラ内部パラメータ）を記憶手段から読みだして背景のみの画像を撮像するようにしている。
【００５０】
一方、２回の撮像で環境条件が同一とは見做せない場合、例えば、撮像時刻や外部からの照明条件が全く異なる場合などは、同一条件にすべき撮像パラメータは倍率、ピントなどに限定して、同一条件にできない事態が生じるのを防止するようにしている。
【００５１】
図２は、本実施形態の撮像システムの要部構成を示している。図２において、１は撮像手段、２は撮像レンズからなる結像光学系で、本実施形態では立体画像を撮像するための複眼撮像系となっている。３は結像光学系２の各レンズを駆動するレンズモータ駆動制御部、４はイメージセンサであり、一般にはＣＣＤ等が用いられる。
【００５２】
５は撮像パラメータ計測制御手段であり、倍率を制御するズームレンズの焦点距離検出手段、周知の手段によってレンズの合焦状態を検出する合焦状態検出手段、例えばＣＣＤの蓄積時間を制御するシャッタ速度検出制御手段、絞りの開口径を制御する絞り計測制御手段、画像信号特性パラメータ（ガンマ、ニー、ホワイトバランス補正、ＣＣＤの蓄積時間など）の特徴量（例えばガンマについては補正係数など）検出手段などを含んでいる。６はメモリ等からなる画像記録手段、７は表示手段としての電子ビューファインダ（ＥＶＦなど）である。
【００５３】
８は撮像モード記録手段であり、撮像パラメータ、画像特性パラメータおよびストロボ発光の有無、スキャンニングなどの意図的な運動、手ぶれの有無などを含む撮像時の情報を記録するためのものである。なお、手振れ、スキャンやパンなどのカメラ運動については撮像手段に加速度センサを内蔵させ、その出力データ等から判定してもよい。これらの付帯データは、画像データとともに画像データベース１８に記憶される。
【００５４】
９は、撮像条件などに基づいて合成時に画像データの変換を行う画像データの変換手段であり、詳細については後で説明する。１０は画像信号処理回路であり、ガンマ、ニー、ホワイトバランス補正、ＡＦ（Automatic Focusing）、ＡＥ（Automatic Exposure）、ＡＧＣ（Automatic Gain Contorol ）処理回路などを有している。１１は画像データ比較手段であり、背景のみの画像と被写体込み画像との差分を検出して出力するためのものである。
【００５５】
１２は画像切り出し手段であり、上記画像データ比較手段１１からの出力を統計処理した結果に基づいて抽出対象領域を同定し、上記同定した抽出対象領域を被写体込み画像から切り出しためのキー信号（またはマスクデータ）を出力するものである。１３は画像転送手段であり、外部のデータベースまたは端末などに画像データなどを転送するために設けられているものである。
【００５６】
１４はストロボ発光手段、１５は外部同期手段であり、信号線は省略するが、各回路へと同期クロックを供給する。１６は端末を表し、外部からの撮像モード制御、切り出し画像の選択、登録画像の検索および選択などを行うためのものである。１７はディスプレイであり、処理画像の出力やファインダディスプレイとしても機能する。
【００５７】
１８は画像データベースを表し、過去に撮像された画像データ、およびそれぞれの付帯データとして、登録画像であるか否かの種別、撮像パラメータ、撮像条件（屋外または室内の区別、ストロボ発光の有無など）、あるいはその他の情報（日付、時刻、場所、カメラ操作者、タイトルなど）を保存している。
【００５８】
１９は画像種別設定手段であり、他の画像との比較に基づいて対象を抽出する際の基準画像として登録するためのスイッチや、基準画像と比較すべき被写体抽出用画像かの種別を設定するためのスイッチ等の手段を表し、これにより画像種別が付帯情報として自動的に記録される。
【００５９】
２０はカメラパラメータ設定手段であり、通常は背景のみの画像と被写体込み画像とは同じ撮像モードで撮像が行われるが、上記カメラパラメータ設定手段２０は、撮像手段の内部の特性を操作者が任意に設定する場合に用いるものである。なお、撮像手段の内部の回路は、その機能ごとの表示としたが、各機能は不図示のマイクロプロセッサによって動作制御される。
【００６０】
次に、上述のように構成された本実施形態の画像抽出装置の基本処理を図３のフローチャートに示し、画像抽出の実例を図６に示して説明する。なお、これらの動作も、図には機能ごとの表示を行ったが、実際はマイクロプロセッサによって処理される。
処理が開始されると、先ず、最初のステップＳ１において、撮像手段より出力された画像が背景のみの画像であるか、それとも被写体込み画像であるかの種別が判断される。上記判断は、画像種別設定手段１９を介して操作者によって設定された画像の種別について行われる。すなわち、操作者が撮像しようとする画像が主被写体か、背景のみか、両者を併合したものかの種別を指示する。
【００６１】
ステップＳ１の判断の結果、被写体込みの画像を撮像する場合には、ステップＳ２に進んで撮像モードを設定する。その後、ステップＳ３において、撮像のための各種パラメータを設定して被写体に最適な撮像条件（以下に説明）で撮像を行う。そして、上記ステップＳ３における撮像を終了した後は、ステップＳ４に進み、上述のように倍率（焦点距離）、合焦度、絞り、シャッタ速度、手振れの有無、パンニング・チルティングの有無、あるいはゲイン等、各種の撮像モードや撮像条件などの付帯情報の計測を行う。
【００６２】
次に、ステップＳ５に進み、上記ステップＳ４で計測した付帯情報を画像データとともに所定のフォーマットで記録する。なお、上記付帯情報は対応する画像データのアドレス等とともに別途ヘッダファイル等に記録するようにしてもよい。
【００６３】
一方、上記ステップＳ１の判別結果、背景のみの画像を撮像する場合には、ステップＳ１からステップＳ６に進む。そして、ステップＳ６において、被写体込み画像の付帯情報を読み込み、次に、ステップＳ７において上述と同様に撮像モードを設定する。この場合、ステップＳ２の処理における同一条件パラメータを選択するようにして、基本的には、次のステップＳ８において同一の撮像条件で背景のみの画像を撮像するようにする。
【００６４】
ただし、環境条件などの変動に対応するために、上記ステップＳ７においては、撮像時に撮像モード記録手段８で記録された撮像条件の選択モードとして、屋外または室内の区別、ストロボ投光の有無等の情報を用いて最適な撮像モードを設定するようにする。撮像パラメータ計測制御手段５においては、これら撮像条件と付帯情報を活用して環境条件の変化の有無を判定し、同一条件にするように撮像パラメータを制御する。
【００６５】
なお、室内、屋外を問わず、背景のみの画像の撮像時刻と被写体込み画像の撮像時刻とが近接している場合には、環境条件、特にストロボ等のような、撮像手段に搭載の照明手段を除いた照明条件および背景パターン等はほとんど変化していないと考えられる。
【００６６】
したがって、画像信号特性パラメータを除く撮像モードを両者間で同一（例えば、被写体込み画像の撮像モードで統一）にすることにより、２つの画像間において背景パターンの同一領域での画像データの変動を抑制することができ、後続する画像切り出し用統計的処理の信頼性を増すことができる。
【００６７】
ただし、被写体画像の分光反射率特性等によってセンサ信号処理回路の特性（ガンマ、ホワイトバランスなど）が変化することやノイズが加わること等から、一般的な状況では同じ撮像モードでも背景部の画像データは２つの画像間で完全に一致しないケースもあり得る。
【００６８】
このようなケースに対応するために、ステップＳ９において画像データの変換処理を行う。この場合、スケール変換（倍率変動時）、輝度変換（露光量／ガンマ変動時）、色成分変換（ホワイトバランス特性変動）、画像間位置合わせ（画像の位置に変化のあるときは）等を行い、背景のみの画像のうち、被写体込み画像の背景のみの画像領域に相当する部分の画像データがほぼ同じとなるように正規化する。
【００６９】
次に、ステップＳ１０で背景のみの画像との画像比較処理を行って画像データ差分を算出するとともにその画像差分データに基づいて、ステップＳ１１で画像切り出し処理を行う。なお、これらの処理内容については後で詳しく説明する。
【００７０】
上記画像データ変換手段９は、図４に示すように、画像データおよびその付帯データを入力するデータ入力手段９０、輝度値変換手段９１、色成分変換手段９２、空間シフト演算手段９３、画像サイズスケーリング手段９４、パラメータ変動評価手段９５等から構成されている。なお、一般的には、被写体込み画像を基準画像とする。そして、上記基準画像については画像データを固定とし、背景のみの画像の画像データを変換するようにしている。
【００７１】
また、撮像モードが両画像間で同一の場合には、すなわち、環境条件の変化が全然無い場合には、輝度値および色成分の変換は一般的には必要ないといえる。しかし、被写体画像の特徴およびその背景に対する面積の割合によっては、画像信号特性パラメータ、すなわち、ゲインおよびホワイトバランス特性、ガンマ特性が変わることがある。
【００７２】
したがって、これらの特性値のうち、少なくとも一つの特性値の変化幅が一定閾値を越えた場合には、所定のメモリに記録した背景のみの画像および被写体込み画像中の各点のパラメータ特性値の差異に基づいて背景のみの画像を、その輝度、色成分を被写体込み画像の特性値に対応するように変換する。以下、各変換手段において行われる処理内容を説明する。
【００７３】
なお、画像データ変換手段９における変換処理は、各パラメータの変動が比較的小さい場合は、撮像環境に大きな変化がないと考えられ、図４（ａ）に示すごとく、複数画像のサイズを合わせるスケーリング変換、各画像の位置合わせを行って基本的な画像合成を可能にした後、輝度変換、色成分変換等の画像の細部の合わせ込みを行うといった順に行われる。なお、図４（ａ）において縦方向の矢印は処理の行われる順序を表している。
【００７４】
ただし、撮像モード同一化制御を撮像パラメータ設定手段２０により解除した場合はこの限りではなく、図４（ｂ）のように、位置合わせを除いて変換順序を設定するための変換順序設定手段９６により、変動量の大きい項目順に順序設定をして変換を行うようにしてもよい。これによって、変動量の小さい項目の変換を行うにつれて、誤差の影響が小さくなり、精度が向上する。
【００７５】
上記スケーリング変換を行うためのスケーリング変換手段９４は、両画像間の倍率変動量に基づいて、被写体込み画像と同じ視野角となるように背景のみの画像を変換する。ただし、撮像手段と被写体との距離の変動が十分小さいと仮定する。また、倍率データの変動がない場合は、ここでの処理を省略して位置合わせ手段９３から変換を始めてもよい。
【００７６】
輝度値変換手段９１は、背景のみの画像と被写体込み画像との間でのゲイン、ガンマ特性の変動量、露光量、および屋外・室内の区別、ストロボ発光の有無などの照明条件の一致・不一致などに基づいて、輝度レベルの変換を各画素ごとに行う。
色成分変換手段９２は、ホワイトバランス特性変動量などに基づいて、各画像データの色成分の変換を行う。
【００７７】
位置合わせ手段９３は、背景のみの画像および被写体込み画像間の類似度が最大となるようにするために、メモリ上で空間的にシフト演算を行う。すなわち、２つの画像を撮像する間の撮像手段の位置の変動や、姿勢変動（手ぶれ、撮像手段の持ち直しがある場合、足の位置を多少変えたりする場合）を許容するために、両画像間の対応点抽出と対応点に基づく位置合わせ、すなわち、マッチング演算を行う。
【００７８】
通常は、短時間中の手ぶれ程度の変動に対しては、各画像の４隅の局所領域間での対応点（少なくとも３点）抽出で十分である。なお、上記のような両画像間の対応点抽出を行うためのアルゴリズムとしては、代表的には、画像中の各点を中心とする所定サイズのブロックに分割し、ブロック間の相互相関値が最大となる点同士を対応点とするブロックマッチング方式を考慮することができる。
【００７９】
ところで、位置合わせを行うためには、背景部分が両画像間で所定割合以上で重なり合うことが重要である。一般的な目安としては、抽出対象の画像領域を除いた重なり合う面積が両画像間で、例えば５割以上あることが必要な条件となる。
【００８０】
ただし、重なり合う面積の割合の最低値は、背景のみの画像のパターンに応じて可変であることはいうまでもない。特に、背景と被写体との領域分離が比較的容易な場合、例えば背景が無地に近い場合、あるいは周期パターン等を有し、かつ抽出被写体がそれとは明白に異なるパターンを有する場合などにおいては、重なり面積は著しく小さくてもよい。
【００８１】
上記画像データ比較手段１１においては、画像変換後の背景のみの画像と被写体込み画像との差分画像データを生成する。
また、上記画像切り出し手段１２は、上記生成した差分画像データを平滑化処理（メディアンフィルタなど）、統計処理（色成分偏差、輝度レベル偏差に基づく）することにより、背景画像データの変動の大きい領域から被写体領域を抽出する。
【００８２】
具体的には、変換後の背景のみの画像Ｉb 、被写体込み画像Ｉt のＲ，Ｇ，Ｂ成分および輝度信号から、色相Ｈb ，Ｈt 、彩度Ｓb ，Ｓt 、明度Ｖb ，Ｖt をそれぞれ抽出し、以下の評価関数Ｆの値を所定の閾値で２値化して被写体領域と背景領域の識別を行う。
F (Hb − Ht ,Sb − St ,Vb − Vt )
＝αh (Hb − Ht )2＋αs (Sb − St )2＋αu (Vb − Vt )2  …（式１)
【００８３】
ここに、αh 、αs 、αu は画像Ｉb,Ｉt の各成分のS ／Ｎ値または各画像を所定サイズのブロックに分割した際の各成分の分散値の関数であり、例えばαh ＝Ｐh （Ｉb ）・Ｐh （Ｉt ）などが用いられる。
【００８４】
ここに、Ｐh （Ｉ）は、画像データＩの所定領域における色相成分に関するＳ／Ｎ値の単調増加関数あるいは分散値の単調減少関数（逆数など）を表す。同様にして、Ｐs （Ｉ）、Ｐu （Ｉ）として彩度、明度に関するパラメータが定義される。領域中各点の判別用閾値Ｔの設定は大津の方法（電子情報通信学会論文誌、vol.J63,PP.349−356,1980）などを評価関数の各頁、すなわち、（H b − H t）2 ，（S b − S t）2 ，（V b − V t）2 それぞれについて適用して、Ｔh,Ｔs,Ｔu を得たとすると、Ｔ＝Ｔh ＋Ｔs + Ｔu としてもよい。
【００８５】
なお、以上の評価関数および各パラメータは、上記した定義に限定されるものではない。また、閾値そのものはあらかじめ与えた値で画像全領域にわたって一定値としてもよい。
【００８６】
次に、閾値処理の結果、被写体領域と判定された連結領域をラベル付けし、ディスプレイ１７上にそれぞれ異なる色、輝度値、またはハッチングパターン等でマスク画像データとして表示する。
【００８７】
この際、連結領域内の孤立領域、すなわち背景の塊状領域を同一被写体領域と見做してそれを取り囲む被写体領域と同一のラベルに変換してもよい。ユーザは、抽出すべき被写体領域の一つを不図示のマウスなどを用いて選択、指示（マウスでクリックするなど）し、結果として背景などを除去した被写体画像のみがディスプレイ１７上に表示される。
【００８８】
ユーザは、その抽出画像データで問題なければ、例えば、確認用のアイコンをクリックするなどして確認の指示を与える。これにより、上記被写体のみの画像データが符号化され、次に画像データファイルの生成が実行される。
【００８９】
図６の（１）は、被写体および背景の両方を入れた被写体込み画像の例を示し、図６の（２）は背景のみの画像の例を示している。図６の（１）の被写体込み画像では、被写体（人物）を優先した撮像モードで画像が入力される。
【００９０】
また、図６の（２）の背景のみの画像では、同じ倍率で遠景に画像信号特性量が合うように撮像されている。これらの画像間では、同じ背景部においても画像データの特性（平均的輝度レベル、色成分）が若干異なることがあり、図６の（２）は説明上それを強調した図である。
【００９１】
図６の（３）は、被写体込み画像の撮像条件に基づいて背景のみの画像の正規化を行った結果を示している。切り出し処理は、被写体込み画像（１）と背景のみの画像（３）との差分データ（上述したステップＳ１０における比較処理の結果）に基づいて行い、その結果を図６の（４）に示す。
【００９２】
なお、登録画像を画像データベース１８から検索、抽出して用いてもよい。この場合、登録画像とは本実施形態では被写体込み画像のことであり、画像のヘッダ部またはヘッダファイルに記録された撮像時の付帯情報を活用して同様の処理を行う。
【００９３】
次に、本発明の画像抽出装置の第２の実施形態を説明する。
この第２の実施形態では、背景のみの画像と被写体込み画像の撮像順序によらず、被写体画像の画質および切り出し精度を損なわない処理を行うようにしている。
【００９４】
このために、本実施形態ではそれぞれの倍率条件を一定に保持しながら他の撮像条件を独立に設定可能な条件下で撮像して記録するようにしている。ただし、被写体込み画像を撮像する際は、被写体像の画質を優先した撮像モードが取られるものとする。
【００９５】
図５に、第２の実施形態の処理フローを示す。図５中の、第一画像および第二画像とは、上述の説明における背景のみの画像、被写体込み画像またはそれらの逆順の画像に対応する。
【００９６】
図５において、ステップＳ４９の画像データ変換処理においては、第１の実施形態と同様に画像データ変換手段９において、いずれか一方の撮像条件と一致するように他方の画像データの変換と両画像間の位置合わせを行う。
【００９７】
なお、この処理に先だって、両画像データに対して間引き処理または局所平均化処理などによる低解像度画像への変換を行ってもよい。これは、倍率条件が同じ場合でもピント（解像度）は被写体込み画像の背景領域と背景のみの画像の対応する領域とでは大きく異なる場合があるからである。上述のように、両画像とも低解像度化して処理すると、被写体領域を大まかに推定する際の効率および精度を向上させることができる。
【００９８】
【発明の効果】
第１の発明によれば、撮像条件を記録し、上記記録した撮像条件に基づいて画像データを変換するようにしたので、例えば登録済の画像と現画像、あるいは動画像中の異なるフレーム画像などのような、複数の画像間の比較から特定被写体を抽出する際に、各画像のそれぞれにおいて撮像条件が相違することに対する許容度を大きくすることができる。これにより、背景のみの画像から被写体画像の抽出を行う際に、手ぶれなどによる撮像手段の位置の微小変動や露光条件の相違、あるいはセンサのゲインなどの変動が多少あっても特定被写体を良好に抽出することができる。また、色彩モデルなど抽出対象に関するモデルを用いずに照明条件などの変動の許容度を大きくすることができる。
【００９９】
そして、背景のみの画像と被写体込み画像との比較データとして差分画像データを用いるようにしたので、撮像条件やカメラパラメータの変動に対する許容度を高めることができ、背景からの特定被写体を切り出す処理を効率的に行うようにすることができる。
【０１００】
さらに、背景のみの画像を撮像した際の撮像条件で撮像した被写体込み画像を用いて背景のみの画像の画像データを変換するようにしたので、背景のみの画像と被写体込み画像とから撮像条件およびカメラパラメータの変動に対する許容度を高め、かつ背景のみの画像の撮像時の撮像条件に左右されない高画質な被写体抽出を行うことができ、切り出し対象にピントの合った高画質な画像を出力することができる。
【０１０１】
第２の発明によれば、画像切り出し手段で得られる特定画像領域の画像データを符号化して画像記録手段に記録するようにしたので、必要とする画像を効率的に符号化することができ、画像抽出を良好に行うようにすることができる。
【０１０２】
第３の発明によれば、空間的にシフト演算を行い、背景のみの画像および被写体込み画像間の類似度が最大となるようにしたので、撮像手段の位置の変動や姿勢の変動を許容する画像抽出が可能となり、撮像時の手ぶれ等による悪影響が少ない画像抽出を行うことができる。
【０１０４】
第４の発明によれば、画像データ変換手段が画像サイズ、輝度レベル、色成分、および解像度を変換するようにしたので、異なる撮像条件で撮像された複数画像間の画像データの正規化を行い、画像間の比較に基づく特定被写体の抽出処理を高精度に行うことができ、高精度な被写体画像抽出を行うことができる。
【図面の簡単な説明】
【図１】本発明の画像抽出装置の要部構成を示す機能構成図である。
【図２】本発明の一実施形態を示すシステム構成図である。
【図３】基本処理の手順を示すフローチャートである。
【図４】画像データ変換手段の構成を示すブロック図である。
【図５】第２の実施形態の処理を示すフローチャートである。
【図６】処理過程の実施例を示す図である。
【符号の説明】
１  撮像手段
２  結像光学系
３  レンズモータ駆動制御部
４  イメージセンサ
５  撮像パラメータ計測制御手段
６  画像記録手段
７  ビューファインダ
８  撮像モード記録手段
９  画像データ変換手段
１０  撮像モード設定手段
１１  画像データ比較手段
１２  画像転送手段
１３  画像切り出し手段
１４  ストロボ発光手段
１５  外部同期手段
１６  端末
１７  ディスプレイ
１８  画像データベース
【図１】
0003727991.tif 000002
【図２】
0003727991.tif 000003
【図３】
0003727991.tif 000004
【図４】
0003727991.tif 000005
【図５】
0003727991.tif 000006
【図６】
0003727991.tif 000007