(57)【要約】【課題】オブジェクト抽出装置において、ユーザの負担を軽減しつつ、精度よくオブジェクトを抽出可能とする。【解決手段】オブジェクト抽出装置は、画像におけるオブジェクト領域を囲み線で囲うことによって、囲み線の内部の領域を、オブジェクト領域を含む初期領域として設定する初期領域設定手段（２１０）と、囲み線からオブジェクトまでの距離よりも短い距離だけ離れた領域内の画素を、オブジェクト領域の背景である背景領域を構成する背景画素と推定し、初期領域における、背景画素と画素情報がオブジェクト領域に比べて類似する画素によって構成される領域を、背景領域として推定する背景領域推定手段（３００）と、初期領域から推定された背景領域を除いた領域を、オブジェクト領域として決定するオブジェクト領域決定手段（４００）とを備える。【選択図】図１
2009211607.tif 000002
【特許請求の範囲】
【請求項１】
画像におけるオブジェクト領域の外側を、前記オブジェクト領域から距離を隔てて囲み線で囲うことによって、前記囲み線の内部の領域を、前記オブジェクト領域を含む初期領域として設定する初期領域設定手段と、
前記初期領域が設定されると、前記囲み線から前記距離よりも短い距離だけ離れた領域内の画素を前記オブジェクト領域の背景である背景領域を構成する背景画素と推定し、前記初期領域における、前記背景画素と画素情報が前記オブジェクト領域に比べて類似する画素によって構成される領域を、背景領域として推定する背景領域推定手段と、
前記初期領域から前記推定された背景領域を除いた領域を、前記オブジェクト領域として決定するオブジェクト領域決定手段と
を備えることを特徴とするオブジェクト抽出装置。
【請求項２】
前記背景領域推定手段は、
前記囲み線と少なくとも部分的に重なるように背景画素取得領域を設定し、前記背景画素取得領域内の画素の画素情報を、前記背景画素の画素情報として取得する背景画素取得手段と、
前記背景画素取得領域を少なくとも部分的に囲うように背景画素探索領域を設定し、前記背景画素探索領域内において、前記取得された画素情報と前記オブジェクト領域に比べて類似する画素情報を有する画素を探索する背景画素探索手段と
を有することを特徴とする請求項１に記載のオブジェクト抽出装置。
【請求項３】
前記背景画素探索手段は、前記背景画素探索領域内の画素における、前記取得された画素情報と類似する画素情報を有する画素の割合に基づいて、前記背景画素探索領域の大きさを変更することを特徴とする請求項２に記載のオブジェクト抽出装置。
【請求項４】
前記オブジェクト領域決定手段は、
前記推定された背景領域に基づいてオブジェクト領域を推定するオブジェクト領域推定手段と、
前記推定された背景領域及び前記推定されたオブジェクト領域における画素情報と比較することで、前記初期領域における各画素が前記背景領域及び前記オブジェクト領域のいずれであるかをクラスタリングするクラスタリング手段と
を有し、
前記クラスタリング手段において、前記オブジェクト領域であるとされた画素によって構成される領域をオブジェクト領域として決定する
ことを特徴とする請求項１から３のいずれか一項に記載のオブジェクト抽出装置。
【請求項５】
前記画像内の前記画像より径の小さい領域を、前記囲み線を有効とする有効範囲として設定する有効範囲設定手段と、
前記有効範囲を超えて描かれた前記囲み線を、前記画像の縁に向かって描かれた線として補正する補正手段と
を更に備えることを特徴とする請求項１から４のいずれか一項に記載のオブジェクト抽出装置。
【請求項６】
時間的に連続する複数の画像からなる動画像において、一の画像において決定されたオブジェクト領域を拡大し、前記拡大されたオブジェクト領域を、前記一の画像の次に表示される他の画像における初期領域として設定する自動初期領域設定手段を更に備えることを特徴とする請求項１から５のいずれか一項に記載のオブジェクト抽出装置。
【請求項７】
画像におけるオブジェクト領域の外側を、前記オブジェクト領域から距離を隔てて囲み線で囲うことによって、前記囲み線の内部の領域を、前記オブジェクト領域を含む初期領域として設定する初期領域設定工程と、
前記初期領域が設定されると、前記囲み線から前記距離よりも短い距離だけ離れた領域内の画素を前記オブジェクト領域の背景である背景領域を構成する背景画素と推定し、前記初期領域における、前記背景画素と画素情報が前記オブジェクト領域に比べて類似する画素によって構成される領域を、背景領域として推定する背景領域推定工程と、
前記初期領域から前記推定された背景領域を除いた領域を、前記オブジェクト領域として決定するオブジェクト領域決定工程と
を備えることを特徴とするオブジェクト抽出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば写真等の画像から、指定された人物、乗り物及び建造物等のオブジェクトを抽出するオブジェクト抽出装置及びオブジェクトの抽出方法の技術分野に関する。
【背景技術】
【０００２】
この種のオブジェクト抽出装置として、ユーザが指定した画像内のオブジェクトに対し、自動的に輪郭等を推定して抽出を行うものがある。例えば、特許文献１では、ユーザがオブジェクト上の一点を指定すれば、その点に類似する画素を探索してオブジェクトを抽出するという技術が開示されている。また特許文献２では、動的輪郭法（スネークス法）を用いてオブジェクトの輪郭を推定し、オブジェクトを抽出するという技術が開示されている。非特許文献１では、ユーザが指定した輪郭周辺で小領域及び中領域を設定し、各領域における画像の相似性（フラクタル性）を利用してオブジェクトの輪郭を推定するという技術が開示されている。
【０００３】
【特許文献１】特開２００２−９２６１３号公報
【特許文献２】特開２００６−１９０３０７号公報
【非特許文献１】“Self-Affine Mapping System and Its Application to Object Contour Extraction”, IEEE Transaction on Image Processing, vol.9, No11, November, 2000
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に係る技術は、オブジェクトを指定する際に、ユーザが一点を指定する形態であるため、例えばオブジェクトが異なる色を持つ複数の領域からなる場合には、正確にオブジェクトを抽出することができないおそれがある。また、特許文献２に係る技術は、ユーザに対して比較的高い精度で輪郭を指定することが要求されるため、ユーザへの負担が増大してしまう。加えて、特許文献２及び非特許文献１に係る技術は、いずれも比較的複雑な処理を要するため、処理時間の増加及び装置構成の複雑化等を招くおそれがある。
【０００５】
以上のように、上述した技術では、抽出精度の向上とユーザの負担軽減とを両立させることが困難であるという技術的問題点がある。
【０００６】
本発明は、例えば上述した問題点に鑑みなされたものであり、ユーザの負担を軽減しつつ、精度よくオブジェクトを抽出可能なオブジェクト抽出装置及びオブジェクト抽出方法を提供することを課題とする。
【課題を解決するための手段】
【０００７】
本発明のオブジェクト抽出装置は上記課題を解決するために、画像におけるオブジェクト領域の外側を、前記オブジェクト領域から距離を隔てて囲み線で囲うことによって、前記囲み線の内部の領域を、前記オブジェクト領域を含む初期領域として設定する初期領域設定手段と、前記初期領域が設定されると、前記囲み線から前記距離よりも短い距離だけ離れた領域内の画素を前記オブジェクト領域の背景である背景領域を構成する背景画素と推定し、前記初期領域における、前記背景画素と画素情報が前記オブジェクト領域に比べて類似する画素によって構成される領域を、背景領域として推定する背景領域推定手段と、前記初期領域から前記推定された背景領域を除いた領域を、前記オブジェクト領域として決定するオブジェクト領域決定手段とを備える。
【０００８】
本発明のオブジェクト抽出方法は上記課題を解決するために、画像におけるオブジェクト領域の外側を、前記オブジェクト領域から距離を隔てて囲み線で囲うことによって、前記囲み線の内部の領域を、前記オブジェクト領域を含む初期領域として設定する初期領域設定工程と、前記初期領域が設定されると、前記囲み線から前記距離よりも短い距離だけ離れた領域内の画素を前記オブジェクト領域の背景である背景領域を構成する背景画素と推定し、前記初期領域における、前記背景画素と画素情報が前記オブジェクト領域に比べて類似する画素によって構成される領域を、背景領域として推定する背景領域推定工程と、前記初期領域から前記決定された背景領域を除いた領域を、前記オブジェクト領域として決定するオブジェクト領域決定工程とを備える。
【０００９】
本発明の作用及び他の利得は次に説明する実施するための最良の形態から明らかにされる。
【発明を実施するための最良の形態】
【００１０】
以下では、発明を実施するための最良の形態としてのオブジェクト抽出装置及びオブジェクト抽出方法について説明する。
【００１１】
本実施形態のオブジェクト抽出装置は上記課題を解決するために、画像におけるオブジェクト領域の外側を、前記オブジェクト領域から距離を隔てて囲み線で囲うことによって、前記囲み線の内部の領域を、前記オブジェクト領域を含む初期領域として設定する初期領域設定手段と、前記初期領域が設定されると、前記囲み線から前記距離よりも短い距離だけ離れた領域内の画素を前記オブジェクト領域の背景である背景領域を構成する背景画素と推定し、前記初期領域における、前記背景画素と画素情報が前記オブジェクト領域に比べて類似する画素によって構成される領域を、背景領域として推定する背景領域推定手段と、前記初期領域から前記推定された背景領域を除いた領域を、前記オブジェクト領域として決定するオブジェクト領域決定手段とを備える。
【００１２】
本実施形態のオブジェクト抽出装置によれば、その動作時に、先ず画像におけるオブジェクト領域の外側を、オブジェクト領域から距離を隔てて囲み線で囲うことによって、囲み線の内部の領域が、オブジェクト領域を含む初期領域として設定される。囲み線は、例えばユーザがマウスやタッチペン等を操作することで画像上に描かれる。ここで囲み線は、オブジェクト領域と重ならない閉曲線として描かれた方がよい。但し、閉曲線として描かれていない場合には、線の両端を直線や曲線等で繋いで補完することも可能である。
【００１３】
前記初期領域が設定されると、囲み線から上述した距離（即ち、囲み線及びオブジェクト領域間の距離）よりも短い距離だけ離れた領域内の画素が、オブジェクト領域の背景である背景領域を構成する背景画素と推定される。即ち、囲み線はオブジェクトと距離を隔てて（言い換えれば、重ならないように）描かれているため、囲み線の近傍の画素を背景画素と推定することができる。尚、ここで背景画素と推定される画素は、典型的には、囲み線から数画素の範囲内にある画素である。また、背景画素と推定される画素は、囲み線に沿って数画素の範囲内にある画素全てであってもよいし、例えば囲み線上のいくつかの点から数画素の範囲内にある画素であってもよい。即ち、背景画素と推定される画素は、囲み線の近傍の画素の一部分でよい。この場合、後述する背景領域を推定する処理を比較的簡単なものとすることが可能である。
【００１４】
背景画素が推定されると、初期領域における背景画素と画素情報がオブジェクト領域に比べて類似する画素によって構成される領域が、背景領域として推定される。即ち、画素における画素情報が、オブジェクト領域よりも背景画素に近い画素によって構成される領域が、背景領域と推定される。具体的には、例えば画素情報に対する閾値等が予め設定され、その閾値に基づいて画素情報が類似しているか否かが判定される。そして、画素情報が背景画素と類似していると判定された画素によって構成される領域が、背景領域と推定される。尚、ここでの「画素情報」とは、例えば色調、輝度及びテクスチャ（周波数成分）等の表示する画像によって画素毎に変化する情報であり、例えば、画素情報として色調を用いる場合、囲み線の近傍の画素におけるＲＧＢヒストグラムと、各画素のＲＧＢ値とを比較することで類似しているか否かを判定することができる。
【００１５】
背景領域が推定されると、初期領域から背景領域を除いた領域が、オブジェクト領域として決定される。尚、決定されたオブジェクト領域は、例えばオブジェクト領域としての画像データ又はオブジェクト領域を切り取った画像データとして出力される。出力されたデータは、例えば画面上に表示されたり、メモリ等に保存されたりする。或いは、インターネット等を介して配信されるようにしてもよい。
【００１６】
本実施形態では特に、背景領域推定手段によって背景領域が高い精度で推定されるため、オブジェクト領域を高い精度で決定することが可能である。即ち、抽出されるべきオブジェクト領域が部分的に削られたり、或いは抽出すべきでない領域が抽出されたりしてしまうことを低減しつつ、オブジェクト領域を抽出することが可能である。また、背景領域を元にオブジェクト領域が決定されるため、オブジェクト領域が相異なる色を持つ複数の領域からなるような場合であっても、好適にオブジェクトを抽出することができる。
【００１７】
更に、上述したように背景領域が高い精度で推定されるため、初期領域を設定する時点での精度は比較的高くなくてもよい。即ち、囲み線がある程度大まかに描かれた場合であっても、高い精度でオブジェクトを抽出することが可能である。言い換えれば、囲み線がオブジェクト領域を含む閉曲線として描かれてさえいれば、本実施形態の効果は発揮される。よって、ユーザへの負担を軽くすることができる。但し、オブジェクトの輪郭に合わせて（即ち、輪郭に沿うように）囲み線を描くことによって、抽出の精度をより高くすることも可能である。
【００１８】
以上説明したように、本実施形態に係るオブジェクト抽出装置によれば、ユーザへの負担を軽減しつつ、精度よくオブジェクト領域を抽出することが可能である。
【００１９】
本実施形態のオブジェクト抽出装置の一態様では、前記背景領域推定手段は、前記囲み線と少なくとも部分的に重なるように背景画素取得領域を設定し、前記背景画素取得領域内の画素の画素情報を、前記背景画素の画素情報として取得する背景画素取得手段と、前記背景画素取得領域を少なくとも部分的に囲うように背景画素探索領域を設定し、前記背景画素探索領域内において、前記取得された画素情報と前記オブジェクト領域に比べて類似する画素情報を有する画素を探索する背景画素探索手段とを有する。
【００２０】
この態様によれば、初期領域設定手段によって初期領域が設定されると、先ず背景画素取得手段によって背景画素取得領域が設定される。背景画素取得領域は、典型的には、囲み線上の一点を中心として数画素の画素を含む領域として複数設定される。背景画素取得領域が設定されると、背景画素取得領域内の画素の画素情報が、背景画素の画素情報として取得される。
【００２１】
続いて、背景画素探索手段によって背景画素探索領域が設定される。背景画素探索領域は、典型的には、背景画素取得領域を中心とする円形の領域として設定される。但し、矩形或いはより複雑な形状の領域として設定されてもよい。また領域の大きさは、例えば画像全体の大きさによって決定される。或いは、設定された初期領域の大きさ等に応じて決定されてもよい。尚、背景画素探索領域は典型的には複数設定されるが、大きさは互いに異なっていてもよい。
【００２２】
背景画素探索領域が設定されると、背景画素探索領域内において、背景画素として取得された画素情報とオブジェクト領域に比べて類似する画素情報を有する画素が探索される。即ち、背景画素探索領域では、オブジェクト領域より背景画素に近い画素情報を有する画素が探索される。これにより、背景領域を確実に推定することが可能となる。また、探索範囲を背景画素探索領域内の囲み線内部に絞るようにすれば、探索にかかる処理を軽くすることができる。
【００２３】
上述した背景画素取得領域及び背景画素探索領域は、隣り合う背景画素探索領域が互いに部分的に重なるように複数設定される。言い換えれば、背景画素探索領域が重なるように設定できるのであれば、背景画素取得領域及び背景画素探索領域を、ある程度の間隔を空けて設定することが可能である。背景画素取得領域及び背景画素探索領域の間隔が広がることで、全体として設定される背景画素取得領域及び背景画素探索領域の数は減少する。よって、画素の取得及び探索にかかる処理を少なくすることができる。
【００２４】
以上説明したように、本態様に係るオブジェクト抽出装置によれば、上述した各処理を比較的軽いものとしつつ、確実に背景領域を推定することができる。従って、より好適にオブジェクト領域を抽出することが可能である。
【００２５】
上述した背景画素推定手段が背景画素取得手段及び背景画素探索領域を有する態様では、前記背景画素探索手段は、前記背景画素探索領域内の画素における、前記取得された画素情報と類似する画素情報を有する画素の割合に基づいて、前記背景画素探索領域の大きさを変更するように構成してもよい。
【００２６】
この構成によれば、先ず画素の探索が行われ、背景画素探索領域内の画素における、背景画素として取得された画素情報と類似する画素情報を有する画素の割合が求められる。そして、この割合に基づいて、背景画素探索領域の大きさが変更される。背景画素探索領域の大きさが変更されると、再び画素の探索が行われる。
【００２７】
具体的には、例えば背景画素と類似する画素の割合が多い場合は、探索範囲がオブジェクト領域の境界まで十分にカバーしきれていない可能性が高いため、背景画素探索領域を大きくする。背景画素探索領域を大きくすることで、より適切に背景領域を推定できるようになる。他方で、背景画素と類似する画素の割合が少ない場合は、オブジェクト領域にかかる部分が多いと考えられるため、背景画素探索領域を小さくする。背景画素探索領域を小さくした場合は、探索範囲が狭まるため、探索にかかる処理が軽くなる。
【００２８】
上述したように背景画素探索領域の大きさが変更されることで、画素の探索をより好適に行うことが可能となる。よって、背景領域推定手段は、より好適に背景領域を推定することができる。
【００２９】
本実施形態のオブジェクト抽出装置の他の態様では、前記オブジェクト領域決定手段は、前記推定された背景領域に基づいてオブジェクト領域を推定するオブジェクト領域推定手段と、前記推定された背景領域及び前記推定されたオブジェクト領域における画素情報と比較することで、前記初期領域における各画素が前記背景領域及び前記オブジェクト領域のいずれであるかをクラスタリングするクラスタリング手段とを有し、前記クラスタリング手段において、前記オブジェクト領域であるとされた画素によって構成される領域をオブジェクト領域として決定する。
【００３０】
この態様によれば、背景領域が推定されると、オブジェクト領域推定手段によって、オブジェクト領域が推定される。そして、クラスタリング手段によって、初期領域における各画素と、推定された背景領域及び推定されたオブジェクト領域における画素情報とが比較され、背景領域及びオブジェクト領域のいずれであるかがクラスタリング（即ち、分類）される。
【００３１】
クラスタリングが行われた後は、オブジェクト領域であると分類された画素によって構成される領域がオブジェクト領域として決定される。本態様では、背景領域が推定された後に、更にクラスタリングが行われているため、オブジェクト領域を精度よく抽出することができる。
【００３２】
尚、クラスタリングの手法は、非線形分離が可能且つリジェクトを許す手法であることが好ましい。リジェクトを許す手法である場合、背景領域及びオブジェクト領域のいずれにも分類されない画素は、リジェクトとして分類され、オブジェクト領域からは除かれる。これにより、オブジェクト領域の抽出精度をより向上させることが可能となる。
【００３３】
また、クラスタリングする際には、初期領域を領域分割（縦分割、横分割、十字分割等）してもよい。これにより、例えばオブジェクト領域又は背景領域が、相異なる色を持つ複数の領域からなる場合であっても、好適にオブジェクト領域を抽出することが可能である。
【００３４】
本実施形態のオブジェクト抽出装置の他の態様では、前記画像内の前記画像より径の小さい領域を、前記囲み線を有効とする有効範囲として設定する有効範囲設定手段と、前記有効範囲を超えて描かれた前記囲み線を、前記画像の縁に向かって描かれた線として補正する補正手段とを更に備える。
【００３５】
この態様によれば、初期領域が設定される前（即ち、囲み線が描かれる前）に、画像内における画像より径の小さい領域が、囲み線を有効とする有効範囲として設定される。有効範囲は、典型的には、画像全体に対して径が数ミリから数センチ小さい領域（即ち、画像より一回り小さい領域）として設定される。
【００３６】
有効範囲が設定された後、囲み線が描かれると、有効範囲を超えて描かれた囲み線は、画像の縁に向かって描かれた線として補正される。より具体的には、例えば有効とされた囲み線の延長方向に延びる線或いは縁に対する垂線として補正される。尚、画像の縁に達した線は、他の画像の縁に達した線と、画像の縁に沿うような線によって結ばれる。即ち、補正された場合であっても、囲み線は閉曲線とされる。
【００３７】
上述したように構成すれば、例えばオブジェクト領域が画像の縁に接するような領域である場合に、画像の縁に接するような囲み線を描かなくともよい。即ち、ユーザは画像の縁を意識せずに、画像内のオブジェクト領域を囲うような囲み線を描けばよく、囲み線は自動的に画像の縁に沿ったものに補正される。よって、好適に初期領域を設定することができる。従って、ユーザの負担を増加させることなく、好適にオブジェクト領域を抽出することが可能である。
【００３８】
本実施形態のオブジェクト抽出装置の他の態様では、時間的に連続する複数の画像からなる動画像において、一の画像において決定されたオブジェクト領域を拡大し、前記拡大されたオブジェクト領域を、前記一の画像の次に表示される他の画像における初期領域として設定する自動初期領域設定手段を更に備える。
【００３９】
この態様によれば、時間的に連続する複数の画像からなる動画像における、一の画像においてオブジェクト領域が決定されると、自動初期領域設定手段において、先ず決定されたオブジェクト領域が拡大される。そして、拡大されたオブジェクト領域は、一の画像の次に表示される他の画像における初期領域として決定される。言い換えれば、一の画像において決定されたオブジェクト領域は、次に表示される画像においてオブジェクト領域が移動した場合であっても、オブジェクト領域が新たに設定される初期領域内に含まれるように拡大される。拡大率や拡大方向は予め所定の値として設定されていてもよいが、例えばオブジェクト領域の動く速さや方向等に基づいて設定することで、精度を高めることが可能である。
【００４０】
上述したように他の画像における初期領域が設定されると、他の画像においても同様に、背景領域が推定され、オブジェクト領域が決定される。即ち、時間的に連続する複数の画像について、夫々オブジェクト領域が決定される。よって、例えばユーザが一時停止された画面（即ち、一の画像）においてオブジェクト領域を囲み線で囲えば、それに続く画像においては、自動的に初期領域が設定され、オブジェクト領域が抽出される。よって、動画像においても、ユーザの負担を増加させることなく、好適にオブジェクトを抽出することが可能となる。
【００４１】
本実施形態のオブジェクト抽出方法は上記課題を解決するために、画像におけるオブジェクト領域の外側を、前記オブジェクト領域から距離を隔てて囲み線で囲うことによって、前記囲み線の内部の領域を、前記オブジェクト領域を含む初期領域として設定する初期領域設定工程と、前記初期領域が設定されると、前記囲み線から前記距離よりも短い距離だけ離れた領域内の画素を前記オブジェクト領域の背景である背景領域を構成する背景画素と推定し、前記初期領域における、前記背景画素と画素情報が前記オブジェクト領域に比べて類似する画素によって構成される領域を、背景領域として推定する背景領域推定工程と、前記初期領域から前記決定された背景領域を除いた領域を、前記オブジェクト領域として決定するオブジェクト領域決定工程とを備える。
【００４２】
本実施形態のオブジェクト抽出方法によれば、上述した本実施形態のオブジェクト抽出装置の場合と同様に、初期領域を設定することで、背景領域が高い精度で推定されるため、より好適にオブジェクトを抽出することができる。即ち、ユーザへの負担を軽減しつつ、精度よくオブジェクト領域を抽出することが可能である。
【００４３】
尚、本実施形態のオブジェクト抽出方法においても、上述した本実施形態のオブジェクト抽出装置における各種態様と同様の各種態様を採ることが可能である。
【００４４】
本実施形態の作用及び他の利得は、以下に説明する実施例から明らかにされる。
【実施例】
【００４５】
以下では、本発明の実施例について図を参照しつつ説明する。
【００４６】
＜第１実施例＞
先ず、第１実施例に係るオブジェクト抽出装置の構成について、図１を参照して説明する。ここに図１は、第１実施例に係るオブジェクト抽出装置の構成を示すブロック図である。
【００４７】
図１において、第１実施例に係るオブジェクト抽出装置は、画像入力部１１０と、画像蓄積部１２０と、制御部１３０と、画像表示部１４０と、操作部１５０と、初期領域設定部２１０と、有効範囲設定部２２０と、補正部２３０と、背景領域推定部３００と、オブジェクト領域決定部４００とを備えて構成されている。
【００４８】
画像入力部１１０は、例えば放送波を受信復号するチューナ、インターネット入力、及びカメラなどの撮影機器等であり、制御部１３０に画像データを入力する。
【００４９】
画像蓄積部１２０は、例えばＨＤＤ（Hard Disc Drive）やメモリ装置等の記憶媒体であり、蓄積された画像データを制御部１３０に入力する。
【００５０】
制御部１３０は、例えば演算回路等を備えたコントロールユニットであり、入力されたデータに演算処理を施して出力することで、他の部位を制御する。また装置、或いは装置を含むシステム全体を制御するようなものであってもよい。
【００５１】
画像表示部１４０は、例えばディスプレイモニタであり、画像入力部１１０及び画像蓄積部１２０から入力された画像を表示する。また、触れることで囲み線を入力可能なタッチパネルとして構成されてもよい。
【００５２】
操作部１５０は、例えばマウスやタッチペンであり、ユーザが画像中に囲み線を入力するためのツールである。
【００５３】
初期領域設定部２１０は、本発明の「初期領域設定手段」の一例であり、操作部１５０等において描かれた囲み線の内部を初期領域として設定する。
【００５４】
有効範囲設定部２２０は、本発明の「有効範囲設定手段」の一例であり、画像表示部１４０等において表示される画像に書き込み線を有効とする有効範囲を設定する。有効範囲は、例えばメモリ等に記憶されていてもよいし、画像の大きさ等から算出するようにしてもよい。
【００５５】
補正部２３０は、本発明の「補正手段」の一例であり、有効範囲を超えた囲み線に対して演算処理を施して補正する。
【００５６】
背景領域推定部３００は、本発明の「背景領域推定手段」の一例であり、演算処理等を行うことで、初期領域における背景領域を推定する。また、本発明の「背景画素取得手段」の一例である、背景画素取得部３１０及び本発明の「背景画素探索手段」の一例である、背景画素探索部３２０を備えている。
【００５７】
オブジェクト領域決定部４００は、本発明の「オブジェクト領域決定手段」の一例であり、推定された背景領域からオブジェクト領域を決定する。また、本発明の「オブジェクト領域推定手段」の一例である、オブジェクト領域推定部４１０及び本発明の「クラスタリング手段」の一例である、クラスタリング部４２０を備えている。
【００５８】
続いて、第１実施例に係るオブジェクト抽出方法について、図１に加えて図２から図１１を参照して説明する。ここに図２は、第１実施例に係るオブジェクト抽出方法の一連の処理の流れを示すフローチャートであり、図３は、画像に描かれるオブジェクト及び囲み線を示す平面図である。図４は、画像内に設定される有効範囲を示す平面図であり、図５は、囲み線の補正を示す平面図である。図６は、背景画素取得領域及び背景画素探索領域を部分拡大図と共に示す平面図であり、図７は、背景画素取得領域及び背景画素探索領域の設定方法を示す平面図である。図８は、推定される背景領域及びオブジェクト領域を示す平面図であり、図９は、クラスタリングにおいて分類される各領域を示す平面図である。図１０は、クラスタリングにおける領域分割を示す平面図であり、図１１は、抽出されるオブジェクト領域を示す平面図である。尚、以下では、本実施例に係るオブジェクト抽出方法について、上述したオブジェクト抽出装置の動作と併せて説明する。
【００５９】
図１及び図２において、第１実施例に係るオブジェクト抽出方法では、先ず画像入力部１１０から入力された画像データ又は画像蓄積部１２０に蓄積されていた画像データが制御部１３０に出力される。制御部１３０は、入力された画像データを画像表示部１４０に出力し、画像を表示させる（ステップＳ１）。
【００６０】
画像が表示されると、ユーザは操作部１５０を操作して、抽出したいオブジェクト領域を囲み線で囲う。囲み線が入力されると（ステップＳ２：ＹＥＳ）、初期領域設定部２１０は、囲み線の内部を初期領域として設定する（ステップＳ３）。
【００６１】
図３において、例えば人物オブジェクトＯｈを抽出しようとする場合には、図に示すように、人物オブジェクトＯｈの外側を囲うような囲み線Ｓを描けばよい。尚、囲み線は、人物オブジェクトＯｈに重ならないような閉曲線であることが好ましい。但し、輪郭に沿って正確に描かれたものでなくともよく、例えば図に示すような、ある程度大まかなものでよい。囲み線で囲われた人物オブジェクトＯｈを含む領域は、初期領域Ｄとして設定される。
【００６２】
図４において、表示される画像には、有効範囲設定部２２０によって有効範囲Ａｒが設定されている。ここで、例えば図における星形オブジェクトＯｓを抽出しようとする場合には、オブジェクト領域が画面の縁に接しているため、オブジェクト領域の外側を囲うことはできない。このような場合、ユーザは描ける範囲で囲み線Ｓを描けばよく、例えば図に示すような、画像の縁に接しないような囲み線Ｓを描いてもよい。
【００６３】
図５において、有効範囲Ａｒを超えて描かれた囲み線Ｓは、補正部２３０によって画面の縁に向かう線として補正される。この際、図に示すように、有効範囲Ａｒ内の囲み線の延長方向に延びる線として補正してもよいし、例えば縁に対する垂線として補正してもよい。このように、予め有効範囲Ａｒを設定しておくことで、画像の縁に接したオブジェクト領域に対しても、好適に初期領域Ｄを設定することが可能となる。
【００６４】
図２に戻り、初期領域が設定されると、背景画素取得部３１０は、例えば囲み線から数画素の範囲を背景画素取得領域として設定する。そして、背景画素取得領域における画素の画素情報を取得する（ステップＳ４）。画素情報は、色調、輝度、テクスチャ等であり、例えば色調を画素情報として取得する場合、ＲＧＢヒストグラムが作成される。
【００６５】
続いて、背景画素探索部３２０は、背景画素取得領域を中心とした、背景画素探索領域を設定する。そして、背景画素探索領域における画素から、取得された画素情報と類似する画素情報を有する画素を探索する（ステップＳ５）。具体的には、上述したＲＧＢヒストグラムと各画素のＲＧＢ値を比較することで類似した画素を探索する。類似するか否かの判定には、例えば予め設定された閾値等が用いられる。また、取得された画素情報に基づいて閾値が決定されるようにしてもよい。
【００６６】
図６において、上述した背景画素取得領域は、例えば囲み線Ｓ上の一点を中心とする円形の領域Ｃｉとして設定され、背景画素探索領域は、Ｃｉと同じ点を中心とする外円Ｃｏとして設定される。ここで、図に示す背景画素取得領域Ｃｉ及び背景画素探索領域Ｃｏにおける画素情報の取得及び画素の探索が行われたとすると、図の右下の拡大図で示すような領域における画素が、取得された画素情報と類似する画素情報を有する画素とされる。
【００６７】
図７に示すように、背景画素取得領域Ｃｉ及び背景画素探索領域Ｃｏは、囲み線Ｓに沿って複数設定される。背景画素取得部３１０及び背景画素探索部３２０による画素情報の取得及び類似する画素の探索は、図に示す各領域で実行される。よって、抽出したいオブジェクトの周囲に沿って、背景画素と類似する画素が探索される。尚、背景画素取得領域Ｃｉ及び背景画素探索領域Ｃｏは、図に示すように、互いに隣り合う背景画素探索領域Ｃｏが部分的に重なり合うような間隔で設定される。典型的には、背景画素取得領域Ｃｉ及び背景画素探索領域Ｃｏが多く設定されることで、探索精度は向上する。但し、背景画素取得領域Ｃｉ及び背景画素探索領域Ｃｏを少なく設定すれば、探索にかかる処理を軽くすることが可能である。
【００６８】
また、背景画素探索領域Ｃｏの大きさは最初に設定された大きさから変更されてもよい。例えば、探索の結果求められる、背景画素と類似する画素の割合に応じて変更されてもよい。具体的には、背景画素と類似する画素の割合が多い場合は、探索範囲がオブジェクト領域の境界まで十分にカバーしきれていない可能性が高いため、背景画素探索領域Ｃｏを大きくする。背景画素探索領域Ｃｏを大きくすることで、より適切に背景領域を推定できるようになる。他方で、背景画素と類似する画素の割合が少ない場合は、オブジェクト領域にかかる部分が多いと考えられるため、背景画素探索領域Ｃｏを小さくする。背景画素探索領域Ｃｏを小さくした場合は、探索範囲が狭まるため、探索にかかる処理が軽くなる。このように、背景画素探索領域Ｃｏの大きさを変更することで、画素の探索をより好適に行うことが可能となる。
【００６９】
再び図２に戻り、背景画素推定部３００は、背景画素と類似するとされた画素を、オブジェクト領域の背景を構成する背景領域として推定する（ステップＳ６）。そして、オブジェクト領域推定部４１０は、初期領域Ｄから背景領域と推定された領域（以下、適宜「推定背景領域」と称する）を除いた領域をオブジェクト領域と推定する（ステップＳ７）。
【００７０】
図８において、例えば図７に示した画像は、探索の結果、推定背景領域Ｂｅとオブジェクト領域と推定された領域Ｏｅ（以下、適宜「推定オブジェクト領域」と称する）とに分類される。推定オブジェクト領域には、例えば背景画素探索領域Ｃｏが届かなかった領域（即ち、人物オブジェクトＯｈの脇周辺部分や首周辺部分）が含まれている。
【００７１】
再び図２に戻り、本実施例に係るオブジェクト抽出方法では、ここで色によるクラスタリングを行う（ステップＳ８）。具体的には、クラスタリング部４２０が、先ず推定背景領域Ｂｅにおける画素情報からＲＧＢヒストグラムを作成する（以下、適宜「背景ヒストグラム」と称する）。続いて、推定オブジェクト領域Ｏｅにおける画素情報からＲＧＢヒストグラムを作成する（以下、適宜「オブジェクトヒストグラム」と称する）。そして、初期領域Ｄ内の各画素のＲＧＢ値を調べ、背景ヒストグラム及びオブジェクトヒストグラムと比較する。より具体的には、各画素に対する背景ヒストグラムの対応するビンの値をＮｂ、オブジェクトヒストグラムの対応するビンの値をＮｏとし、所定の閾値Ｔｈとすると、Ｎｂ≧Ｔｈ且つＮｏ＜Ｔｈの場合、背景画素（即ち、背景領域を構成する画素）として分類する。Ｎｂ＜Ｔｈ且つＮｏ≧Ｔｈの場合、オブジェクト画素（即ち、オブジェクト領域を構成する画素）として分類する。また、Ｎｂ＜Ｔｈ且つＮｏ＜Ｔｈの場合、及びＮｂ≧Ｔｈ且つＮｏ≧Ｔｈの場合は、リジェクト（即ち、背景領域及びオブジェクト領域のいずれにも属さない画素）として分類する。これにより、初期領域Ｄにおける各画素は、背景画素、オブジェクト画素及びリジェクト画素のいずれかに分類される。尚、上で用いた閾値Ｔｈは、例えば画素数に応じて上下したり、Ｎｂ及びＮｏについて夫々別個に設定されてもよい。また、上述したクラスタリングの手法はあくまで一例であり、同様の効果が得られるような、他のクラスタリング手法を用いても構わない。
【００７２】
図９において、例えば図８に示すように、推定背景領域Ｂｅ及び推定オブジェクト領域Ｏｅが推定されていた場合、上述したクラスタリングによって、人物オブジェクトＯｈの脇周辺部分や首周辺部分がリジェクトＲｅとして分類される。リジェクトＲｅに分類された画素は、背景領域と同様に扱われ、オブジェクト領域からは除外される。この結果から、オブジェクト領域決定部４００は、最終的に背景領域Ｂｒ及びオブジェクト領域Ｏｒを決定する（ステップＳ９）。
【００７３】
図１０において、クラスタリングの際には、例えば初期領域を複数の領域に分割することで精度を向上させることが可能である。このような効果は特に、オブジェクト領域及び背景領域が複数の色を含む場合等においてより顕著に発揮される。また、図では縦方向分割の例を示しているが、分割方法は限定されず、例えば、横方向分割や十字分割等を用いてもよい。
【００７４】
図１１において、決定されたオブジェクト領域Ｏｒは、図に示すようにオブジェクト領域Ｏｒそのもの（即ち、人物オブジェクトＯｈのみの画像データ）として出力されてもよいし、逆にオブジェクト領域Ｏｒを画像から切り取った画像データとして出力されてもよい。また、このようなデータは、画像蓄積部１２０による蓄積や画像表示部１４０における表示、或いはインターネットへの配信等、様々な形態で出力される。
【００７５】
以上説明したように、第１実施例に係るオブジェクト抽出装置及びオブジェクト抽出方法によれば、画像からオブジェクト領域を指定するユーザの負担を軽減しつつ、より精度の高いオブジェクト領域の抽出を実現できる。
【００７６】
＜第２実施例＞
次に、第２実施例に係るオブジェクト抽出装置及び方法について、図１２から図１５を参照して説明する。尚、第２実施例は、上述の第１実施例と比べて、動画像を対象としている点で異なり、その他の構成については概ね同様である。このため第２実施例では、動画像からオブジェクトを抽出する際の特有の構成及び処理について詳細に説明し、その他の第１実施例と重複する部分については適宜説明を省略する。
【００７７】
先ず、第２実施例に係るオブジェクト抽出装置の構成について、図１２を参照して説明する。ここに図１２は、第２実施例に係るオブジェクト抽出装置の構成を示すブロック図である。尚、図１２では、図１に示した第１実施例に係る構成要素と同様の構成要素に同一の参照符合を付している。
【００７８】
図１２において、第２実施例に係るオブジェクト抽出装置は、図１で示した第１実施例に係るオブジェクト抽出装置の各構成要素に加えて、自動初期領域設定部５００を備えて構成されている。
【００７９】
自動初期領域設定部５００は、本発明の「自動初期領域設定手段」の一例であり、オブジェクト領域決定部４００によって決定されたオブジェクト領域Ｏｒを拡大し、初期領域のデータとして出力する。即ち、第２実施例におけるオブジェクト領域決定部４００は、抽出結果を自動初期領域設定部５００にも出力可能とされている。
【００８０】
続いて、第２実施例に係るオブジェクト抽出方法について、図１２に加えて、上で用いた図２、並びに図１３から図１５を参照して説明する。ここに図１３は、第２実施例に係るオブジェクト抽出方法の一連の処理の流れを示すフローチャートである。また図１４は、連続するフレームにおける初期領域の設定方法を、順を追って示す工程図であり、図１５は、図１４で示す工程図を各領域と共に詳細に示す工程図である。尚、以下では、本実施例に係るオブジェクト抽出方法について、上述したオブジェクト抽出装置の動作と併せて説明する。
【００８１】
図１２及び図２において、第２実施例に係るオブジェクト抽出方法では、先ず上述した第１実施例と同様にステップＳ１からステップＳ９までの処理が実行され、一の画像におけるオブジェクト領域Ｏｒが決定される。尚、一の画像とは、例えば動画が一時停止された際に画面に静止画として表示される画像である。即ち、ユーザは抽出したいオブジェクト領域を指定する際に、動画像を一時停止させるなどしてから囲み線Ｓを描く。
【００８２】
図１３において、一の画像におけるオブジェクト領域Ｏｒが決定されると、フレーム数を規定するパラメータｋがｋ＝２とされる（ステップＳ１１）。即ち、オブジェクト領域Ｏｒを決定した一の画像を第１フレームとすると、第１フレームの次に表示される第２フレームへと対象画像が移る。
【００８３】
続いて、自動初期領域設定部５００は、第（ｋ−１）フレーム（即ち、ここでは第１フレーム）のオブジェクト領域Ｏｒを拡大する（ステップＳ１２）。ここでの拡大は、第２フレームにおけるオブジェクト領域Ｏｒが、拡大された第１フレームのオブジェクト領域に含まれるように行われる。尚、ここでの拡大率は、典型的には、所定の値として予め自動初期領域設定部５００におけるメモリ等に記憶されている。但し、オブジェクトの動く速さや方向等に応じて、適宜変更されるようにしてもよい。具体的には、オブジェクトの動きが速ければ拡大率を大きくしたり、オブジェクトの動く方向にだけ拡大率を高めたりしてもよい。
【００８４】
自動初期領域設定部５００は、第（ｋ−１）フレームの拡大されたオブジェクト領域を、第ｋフレームの初期領域Ｄとして設定する（ステップＳ１３）。即ち、第２フレームの初期領域Ｄとしては、第１フレームのオブジェクト領域Ｏｒが拡大された領域が設定される。
【００８５】
初期領域が設定されると、以降は上述した第１実施例と同様にオブジェクト領域Ｏｒが決定される。即ち、図２においてステップＳ４からステップＳ９で示した処理と同様に、第ｋフレームについて、ステップＳ１４からステップＳ１９までの処理が実行される。よって、第２フレームについては、第１フレームのようにユーザが囲み線Ｓを描かなくともオブジェクト領域Ｏｒが抽出される。
【００８６】
第ｋフレームのオブジェクト領域Ｏｒが決定されると、オブジェクト領域Ｏｒが全てのフレームについて決定されたか否かが判定される（ステップＳ２０）。尚、ここでの全てのフレームとは、動画像を構成する全てのフレームであってもよいし、例えば予め設定された数のフレーム、或いはユーザ等が設定した数のフレーム全てを指してもよい。ここで、全てのフレームについてオブジェクト領域Ｏｒが決定されていると判定されると（ステップＳ２０：ＹＥＳ）、一連の処理は終了する。即ち、動画像におけるオブジェクト領域Ｏｒが抽出される。一方、全てのフレームについてオブジェクト領域Ｏｒが決定されていないと判定された場合には（ステップＳ２０：ＮＯ）、パラメータｋがｋ＝ｋ＋１とされる（ステップＳ２０）。即ち、パラメータｋがインクリメントされて、次のフレームに処理が移る。そして、上述したステップＳ１２からステップＳ２０の処理が繰り返し実行されることとなる。これにより、以降の連続したフレームについてもオブジェクト領域の抽出が行われる。
【００８７】
尚、上ではユーザが指定したフレームから後のフレームについて処理が行われる場合を説明したが、例えばステップＳ２１における処理をｋ＝ｋ−１とすることで、指定したフレームより前のフレームについても、同様にオブジェクト領域Ｏｒを抽出することができる。以下では、上述した一連の処理を、具体的な例を用いて詳細に説明する。
【００８８】
図１４及び図１５において、例えばボール型のオブジェクトＯｂが、傾斜面を下に向かって転がる動画像を対象とする場合、ユーザは動画像を一時停止してボール型のオブジェクトＯｂを囲み線Ｓで囲う。第１フレームにおいては、この囲み線Ｓの内部が初期領域Ｄと設定されて、オブジェクト領域Ｏｒが決定される。
【００８９】
続いて、第１フレームにおいて決定されたオブジェクト領域Ｏｒが拡大されてＥｒ１とされる。この拡大領域Ｅｒ１は、続く第２フレームにおける初期領域Ｄとされる。拡大領域Ｅｒ１は、オブジェクト領域Ｏｒが拡大されたものなので、図に示すように、ボール型のオブジェクトＯｂが画像中の右下に移動したとしても、ボール型のオブジェクトＯｂを含む領域となる。言い換えれば、オブジェト領域Ｏｒは、次のフレームにおけるオブジェクトを含むように拡大されればよい。
【００９０】
第２フレームでは拡大領域Ｅｒ１内部について処理が行われ、オブジェクト領域Ｏｒが決定される。以降のフレームについても同様に、拡大領域Ｅｒ２、Ｅｒ３…と、各フレームにおいて決定されたオブジェクト領域Ｏｒが拡大されて、初期領域Ｄとして設定される。これにより、以降の連続するフレームにおいても、オブジェクト領域Ｏｒが自動的に決定される。
【００９１】
以上説明したように、第２実施例に係るオブジェクト抽出装置及びオブジェクト抽出方法によれば、対象が動画像であったとしても（即ち、オブジェクト領域が移動する場合であっても）、ユーザにおけるオブジェクト領域の指定動作は、静止画の場合と概ね同様のものでよい。即ち、オブジェクト領域を指定するユーザの負担を軽減しつつ、より精度の高いオブジェクト領域の抽出を実現できる。
【００９２】
上述した本発明のオブジェクト抽出装置及びオブジェクト抽出方法は、例えば画像若しくは動画像を編集するソフトウェア、又はこれらを応用する機器等に利用することができる。より具体的には、パソコン用の画像編集ソフト、ＤＶＤレコーダ、カメラ、ＴＶ電話等に利用できる。
【００９３】
本発明は、上述した実施例に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴うオブジェクト抽出装置及びオブジェクト抽出方法もまた本発明の技術的範囲に含まれるものである。
【図面の簡単な説明】
【００９４】
【図１】第１実施例に係るオブジェクト抽出装置の構成を示すブロック図である。
【図２】第１実施例に係るオブジェクト抽出方法の一連の処理の流れを示すフローチャートである。
【図３】画像に描かれるオブジェクト及び囲み線を示す平面図である。
【図４】画像内に設定される有効範囲を示す平面図である。
【図５】囲み線の補正を示す平面図である。
【図６】背景画素取得領域及び背景画素探索領域を部分拡大図と共に示す平面図である。
【図７】背景画素取得領域及び背景画素探索領域の設定方法を示す平面図である。
【図８】推定される背景領域及びオブジェクト領域を示す平面図である。
【図９】クラスタリングにおいて分類される各領域を示す平面図である。
【図１０】クラスタリングにおける領域分割を示す平面図である。
【図１１】抽出されるオブジェクト領域を示す平面図である。
【図１２】第２実施例に係るオブジェクト抽出装置の構成を示すブロック図である。
【図１３】第２実施例に係るオブジェクト抽出方法の一連の処理の流れを示すフローチャートである。
【図１４】連続するフレームにおける初期領域の設定方法を、順を追って示す工程図である。
【図１５】図１４で示す工程図を各領域と共に詳細に示す工程図である
【符号の説明】
【００９５】
１１０…画像入力部、１２０…画像蓄積部、１３０…制御部、１４０…画像表示部、１５０…操作部、２１０…初期領域設定部、２２０…有効範囲設定部、２３０…補正部、３００…背景領域推定部、３１０…背景画素取得部、３２０…背景画素探索部、４００…オブジェクト領域決定部、４１０…オブジェクト領域推定部、４２０…クラスタリング部、５００…自動初期領域設定部
【図１】
2009211607.tif 000003
【図２】
2009211607.tif 000004
【図３】
2009211607.tif 000005
【図４】
2009211607.tif 000006
【図５】
2009211607.tif 000007
【図６】
2009211607.tif 000008
【図７】
2009211607.tif 000009
【図８】
2009211607.tif 000010
【図９】
2009211607.tif 000011
【図１０】
2009211607.tif 000012
【図１１】
2009211607.tif 000013
【図１２】
2009211607.tif 000014
【図１３】
2009211607.tif 000015
【図１４】
2009211607.tif 000016
【図１５】
2009211607.tif 000017