(57)【要約】【課題】カメラ画像上の３次元物体の背景や照明環境の変動などにも対象物の未検出および誤検出を大幅に低減する。【解決手段】画像領域分割手段１は画像の各画素の色情報を基に、画像領域分割ルール１Ａに従って、画像を複数の背反的候補領域に分割する。分割領域合成手段２は背反的画像領域の集合に対して、該各画像領域内の各画素の色情報を基に、分割領域組合せパターン２Ａとの比較によって、該各画像領域の組み合わせた合成をする。合成領域形状評価手段３は合成した各画像領域に対して、対象物領域形状テンプレート３Ａとの比較による形状評価により３次元物体が検出されているか否かを判定、または３次元物体を検出する。【選択図】  図１
2006004032.tif 000002
【特許請求の範囲】
【請求項１】
カメラで撮像された画像の中から所定形状の３次元物体を検出する装置であって、
前記画像の各画素の色情報を基に、画像領域分割ルールに従って、前記画像を複数の背反的候補領域に分割する画像領域分割手段と、
前記背反的画像領域の集合に対して、該各画像領域内の各画素の色情報を基に、分割領域組合せパターンとの比較によって、該各画像領域の組み合わせた合成をする分割領域合成手段と、
前記合成した各画像領域に対して、対象物領域形状テンプレートとの比較による形状評価により３次元物体が検出されているか否かを判定、または３次元物体を検出する合成領域形状評価手段と、
を備えたことを特徴とする対象物検出装置。
【請求項２】
前記分割領域合成手段は、画像領域の合成に際して、各画像領域の面積が所定の値以上である画像領域を含む組み合わせパターンを取り除いて合成することを特徴とする請求項１に記載の対象物検出装置。
【請求項３】
前記分割領域合成手段は、画像領域の合成に際して、前記各画像領域内の各画素に対して、色情報からスカラー値に変換する所定の変換を適用した後、各画素のスカラー値の和を画素数で除した値が所定の値以下である画像領域を含む組み合わせパターンを取り除いて合成することを特徴とする請求項１または２に記載の対象物検出装置。
【請求項４】
カメラで撮像された画像の中から所定形状の３次元物体を検出する方法であって、
前記画像の各画素の色情報を基に、画像領域分割ルールに従って、前記画像を複数の背反的候補領域に分割する画像領域分割過程と、
前記背反的画像領域の集合に対して、該各画像領域内の各画素の色情報を基に、分割領域組合せパターンとの比較によって、該各画像領域の組み合わせた合成をする分割領域合成過程と、
前記合成した各画像領域に対して、対象物領域形状テンプレートとの比較による形状評価により３次元物体が検出されているか否かを判定、または３次元物体を検出する合成領域形状評価過程と、
を有することを特徴とする対象物検出方法。
【請求項５】
前記分割領域合成過程は、画像領域の合成に際して、各画像領域の面積が所定の値以上である画像領域を含む組み合わせパターンを取り除いて合成することを特徴とする請求項１に記載の対象物検出方法。
【請求項６】
前記分割領域合成過程は、画像領域の合成に際して、前記各画像領域内の各画素に対して、色情報からスカラー値に変換する所定の変換を適用した後、各画素のスカラー値の和を画素数で除した値が所定の値以下である画像領域を含む組み合わせパターンを取り除いて合成することを特徴とする請求項１または２に記載の対象物検出方法。
【請求項７】
請求項４〜６のいずれか１項に記載の対象物検出方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とする対象物検出方法のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮像された画像の中から所定の３次元物体を検出する対象物検出装置および方法に関する。
【背景技術】
【０００２】
カメラで撮像された画像上での所定の３次元物体の検出について、とりわけ、住宅の居室やオフィスなどの通常の室内における、カメラで撮像された手などの対象物の検出については、３次元物体と共に撮像される背景や照明変動などの影響を受け、一般にこれは容易ではない。
【０００３】
例えば、３次元物体は立体であるため、通常の照明環境では陰影が生じ、すなわち画像上での３次元物体の領域は一様な色合・輝度ではないことから、色合・輝度情報空間における固定的な領域をもってその３次元物体の領域を画像内から切り出すことは不可能である。
【０００４】
さらには、カメラ画像には無視できないレベルのノイズが含まれること、照明に変動があること、たとえ純粋白色光源であったとしても、壁や天井からの反射光は微かな色が含まれていること、通常３次元物体の境界近傍においては、輝度が低いことに起因し、相対的に大きなノイズが色合情報に含まれること、および手などの３次元物体は、その姿勢、すなわち撮像される方向により物体自体の色合が変化することなども、色合・輝度情報空間における固定的な領域をもってその３次元物体の領域を画像上で切り出すことが不可能となる典型的な理由である。
【０００５】
このような条件の下において、カメラで撮像された画像上で所定の３次元物体を検出するにあたり、複数の検出ルールにより検出された複数の領域情報を統合し、解析することにより、対象物の確度を高めるものがある（例えば、特許文献１参照）。
【特許文献１】特開２００１−１６６０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、前記の特許文献は、時系列画像を必要とすること、物体の識別において重要である色情報に基づいた検出ルールとしては単一のルールしか用いていないことから、スチル画像や対象物の動きが速い画像、もしくは背景や照明環境の変動などにより、画像上の対象物の色合・輝度が大きく変化した場合には、十分に対応できない。
【０００７】
本発明の目的は、カメラ画像上の３次元物体の背景や照明環境の変動などにも対象物の未検出および誤検出を大幅に低減して３次元物体を検出できる対象物検出装置、方法およびこの方法のプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明は、画像の各画素の色情報を基に、画像を複数の背反的候補領域に画像領域分割し、これら複数の背反的候補領域の組み合わせによって領域合成し、これらの合成領域に対して所定の形状判定ルールにより対象物領域の判定を行い、さらに対象物領域の判定には所定の形状に最も近い結果の類似度（最大相関値）を求め、その類似度と所定の閾値との比較結果により３次元物体が検出されているか否かを判定または３次元物体を検出することにより、対象物の未検出および誤検出を大幅に低減できるようにしたもので、以下の装置、方法およびプログラムを特徴とする。
【０００９】
（装置の発明）
（１）カメラで撮像された画像の中から所定形状の３次元物体を検出する装置であって、
前記画像の各画素の色情報を基に、画像領域分割ルールに従って、前記画像を複数の背反的候補領域に分割する画像領域分割手段と、
前記背反的画像領域の集合に対して、該各画像領域内の各画素の色情報を基に、分割領域組合せパターンとの比較によって、該各画像領域の組み合わせた合成をする分割領域合成手段と、
前記合成した各画像領域に対して、対象物領域形状テンプレートとの比較による形状評価により３次元物体が検出されているか否かを判定、または３次元物体を検出する合成領域形状評価手段と、
を備えたことを特徴とする。
【００１０】
（２）前記分割領域合成手段は、画像領域の合成に際して、各画像領域の面積が所定の値以上である画像領域を含む組み合わせパターンを取り除いて合成することを特徴とする。
【００１１】
（３）前記分割領域合成手段は、画像領域の合成に際して、前記各画像領域内の各画素に対して、色情報からスカラー値に変換する所定の変換を適用した後、各画素のスカラー値の和を画素数で除した値が所定の値以下である画像領域を含む組み合わせパターンを取り除いて合成することを特徴とする。
【００１２】
（方法の発明）
（４）カメラで撮像された画像の中から所定形状の３次元物体を検出する方法であって、
前記画像の各画素の色情報を基に、画像領域分割ルールに従って、前記画像を複数の背反的候補領域に分割する画像領域分割過程と、
前記背反的画像領域の集合に対して、該各画像領域内の各画素の色情報を基に、分割領域組合せパターンとの比較によって、該各画像領域の組み合わせた合成をする分割領域合成過程と、
前記合成した各画像領域に対して、対象物領域形状テンプレートとの比較による形状評価により３次元物体が検出されているか否かを判定、または３次元物体を検出する合成領域形状評価過程と、
を有することを特徴とする。
【００１３】
（５）前記分割領域合成過程は、画像領域の合成に際して、各画像領域の面積が所定の値以上である画像領域を含む組み合わせパターンを取り除いて合成することを特徴とする。
【００１４】
（６）前記分割領域合成過程は、画像領域の合成に際して、前記各画像領域内の各画素に対して、色情報からスカラー値に変換する所定の変換を適用した後、各画素のスカラー値の和を画素数で除した値が所定の値以下である画像領域を含む組み合わせパターンを取り除いて合成することを特徴とする。
【００１５】
（プログラムの発明）
（７）前記の（４）〜（６）のいずれか１項に記載の対象物検出方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とする対象物検出方法のプログラム。
【発明の効果】
【００１６】
以上のとおり、本発明によれば、画像の各画素の色情報を基に、画像を複数の背反的候補領域に画像領域分割し、これら複数の背反的候補領域の組み合わせによって領域合成し、これらの合成領域に対して所定の形状判定ルールにより対象物領域の判定を行い、さらに対象物領域の判定には所定の形状に最も近い結果の類似度（最大相関値）を求め、その類似度と所定の閾値との比較結果により３次元物体が検出されているか否かを判定または３次元物体を検出するようにしたため、色情報を用いた対象物検出において、背景や照明環境の変動などの影響を受けにくくし、未検出および誤検出を大幅に低減することができる。
【発明を実施するための最良の形態】
【００１７】
（実施形態１）
住宅の居室やオフィスなどの通常の室内において、対象物をカメラで撮像した場合、その対象物と共に撮像される背景や照明変動などの影響を受けるため、撮像された画像上での手の色合・輝度は一定ではない。
【００１８】
図３のＡおよびＢは、対象物としての手の撮像画像例を示し、照明の強さおよび方向が変動した場合には、撮像画像は大きな影響を受ける。また、前述のように、３次元物体の境界近傍は、通常、輝度が低いため、撮像画像の境界近傍の画素の色合い情報は、背景色の変動により大きな影響を受ける。
【００１９】
例えば、図３のＡとＢに示される手の画像において、人差し指先端部の色情報の詳細は、図４のＡとＢに示すようになる。ここで、色情報とは、例えば、３次元の場合は（Ｒ，Ｇ，Ｂ）、２次元の場合は色度、１次元の場合はＲ単体もしくは輝度、などのことである。また、説明を簡単にするために、色情報の値のバリエーションをＡ0，Ｂ0，Ｃ0，Ｄ0の４つ、もしくはＡ1，Ｂ1，Ｃ1，Ｄ1の４つとした（図５参照）。このような色情報の値のバリエーションは、例えば、「ある画像の色情報ヒストグラム（図６のＡ参照）のうち、極値となる色情報を代表値（図６のＢ参照）として、これらの値以外は最も近い代表値に変更する」という方法により得ることができる。
【００２０】
手などの局面をもつ３次元物体を撮像した場合、その境界近傍は輝度が低いため、色合情報には相対的に大きなノイズが含まれる傾向が強く、わずかな照明環境の変動がある場合に、図４のＡとＢに示されるような画像上の差異は典型的なものである。
【００２１】
さて、このような画像から手の領域を切り出す場合、例えば、図５のＲ0で示す境界により、図４のＡに示す画像から手の領域を切り出すと、図７のＡ0に示す結果となり、図４のＢに示す画像から手の領域を切り出すと、図７のＢ0に示す結果となる。一方、図５のＲ1で示す境界により、図４のＡに示す画像から手の領域を切り出すと、図７のＡ1に示す結果となり、図４のＢに示す画像から手の領域を切り出すと、図７のＢ1に示す結果となる。
【００２２】
以上のことから解るように、色情報空間において固定的な境界をもって、画像上において対象物を正確に切り出すことは非常に困難である。なお図５では、説明を解りやすくするために、図４のＡに示す画像に含まれる色情報と図４のＢに示す画像に含まれる色情報とを同じ図で示してある。
【００２３】
これに対し、本実施形態は以下に示す方法により、画像上において３次元対象物を正確に切り出す。
【００２４】
「色情報の値のバリエーションに対する許容範囲を図５のＲ2で示す境界内とする」などの所定のルールにより、図４のＡに示す画像に対する有効な色情報の値のバリエーションをＡ0，Ｂ0．Ｃ0，Ｄ0の４つに、図４のＢに示す画像に対する有効な色情報の値のバリエーションをＡ1，Ｂ1．Ｃ1，Ｄ1の４つに限定し、これらの色情報の値を有する領域を個別に切り出す（後述の図１における画像領域分割ルールによる切り出す）。これら切り出しにより、図４のＡに示す画像からは、図８のＡ，Ｂ，Ｃ，Ｄに示す結果が得られ、図４のＢに示す画像からは図９のＡ，Ｂ，Ｃ，Ｄに示す結果が得られる。
【００２５】
次に、図１に示す分割領域組合せパターンにより、これらの結果から例えば２つを選び出す全ての組み合わせで、２つの結果を選び出し、ＯＲ（論理和）合成することで、複数の合成画像を生成する。このＯＲ合成には、図８、図９において、黒部が０で、白部が１とする。
【００２６】
例として、図８のＡとＢに示す領域のＯＲ合成領域を図１０のＡに示す。同様に、図８のＢとＣに示す領域のＯＲ合成領域を図１０のＢに、図８のＣとＡに示す領域のＯＲ合成領域を図１０のＣに示す。
【００２７】
この合成画像の全てに対して、予め用意しておく手（検出対象物）の形状テンプレート（図１１および図１の対象物領域形状テンプレートを参照）との相関演算を行い、相関値の最大値を求める。その最大相関値を予め定めてある閾値と比較することで、対象物が検出されているか否かを判定し、この条件に適合した合成画像が対象物の形状であると判定する。
【００２８】
以上までは、切り出された領域を２つ選び出す例を示したが、３つ以上の任意の個数の領域を選び出し、組み合わせるようにしてもよい。
【００２９】
上記までの対象物検出のアルゴリズムを図２に示し、このアルゴリズムを実現するための装置の要部ブロック構成を図１に示す。
【００３０】
図２および図１において、最大相関値の変数Ｖmax＝０，画像領域分割ルールの最大値Ｎiの変数ｉ＝０の初期化を行い（Ｓ１，Ｓ２）、画像領域分割手段１によって、検出対象画像について数Ｎiの画像領域分割ルール１Ａの１つのルールに従って画像領域分割を行う（Ｓ２，Ｓ３，Ｓ４）。
【００３１】
この後、分割領域組み合わせパターンの最大値Ｎjの変数ｊ＝０の初期化を行い（Ｓ５）、分割領域合成手段２によって、分割された画像領域について数Ｎjの分割領域組合せパターン２Ａの１つの組合わせパターンによる領域合成を行い（Ｓ６，Ｓ８）、この合成された画像領域について、合成領域形状評価手段３が、対象物領域形状テンプレート３Ａとの間の相関演算（形状評価ルールによる演算）により相関値Ｖを求める（Ｓ９）。この相関値Ｖの算出に用いる形状評価ルールの例としては、当該形状と図１に示す対象物領域形状テンプレートとの正規化相関演算とすることができる。
【００３２】
このようにして求められる相関値Ｖを前回までの最大相関値Ｖmaxと大小比較で更新しながら最大相関値Ｖmaxを更新していく（Ｓ１０，Ｓ１１，Ｓ１２）。
【００３３】
上記の分割領域合成と形状評価は、画像領域分割手段１によって分割された１つの領域分割画像についてなされた後、分割領域組合わせパターン数Ｎjまでの繰り返しを終了したときに、次の分割ルールによる画像領域分割を行い（Ｓ７）、この分割画像領域について分割領域合成と形状評価を繰り返す。そして、分割ルールのすべてＮiについての分割と分割領域合成と形状評価の繰り返しで処理を終了する（Ｓ３）。
【００３４】
これら処理が全て終了した後、この最大相関値Ｖmaxと予め定めてある閾値と比較することで、対象物が検出されているか否かを判定、または最大相関値Ｖmaxをもつ合成画像を対象物として検出する。
【００３５】
（実施形態２）
本実施形態は、図２の処理方法または図１の構成による対象物検出に際して、カメラに対して対象物を想定される最短距離に配置した際の撮像画像における対象物領域の面積を求め、これを閾値としておき、限定された有効な色情報の値のバリエーション（例えば、図４のＡ0，Ｂ0，Ｃ0，Ｄ0）の個々の値を個別に適用して、元の画像から切り出された複数の領域に対してその面積が前記の閾値を越えるものを評価（相関演算）対象から取り除く。
【００３６】
こうすることで、対象物領域として検出され得ない領域に対してまで評価（相関演算）を行うことがなくなり、計算コストを低減できる。
【００３７】
（実施形態３）
本実施形態では、図２の処理方法または図１の構成による対象物検出に際して、実際に様々な個人の肌色を撮像した結果から得られる色情報の輝度分布から、予め色情報の領域を求めておき、領域合成処理（Ｓ８）を行う際に、その領域に含まれる色情報により切り出し領域のみからなる組み合わせに限り合成を行い、評価（相関演算）をする。
【００３８】
こうすることで、実施形態２と同様、計算コストを低減できる。
【００３９】
例えば、図４のＡに示す画像に関して、図５に示す色情報を全て用いた場合、有効な色情報の値のバリエーションをＡ0，Ｂ0，Ｃ0，Ｄ0の４つであり、この色情報の値のバリエーションから２つを選び出す組み合わせの総数は６個であるが、図５に示す色情報のうち、領域Ｒ1に含まれる色情報だけを用いた場合には、有効な色情報の値のバリエーションはＡ0，Ｂ0，Ｃ0の３つとなり、この色情報の値のバリエーションから２つを選び出す組み合わせの総数は３個となり、計算コストを低減できる。
【００４０】
（実施形態４）
実施形態３に示す方法は、分割領域に対して、その領域内の各画素に、その代表値に変更する前の色情報が所定の色情報領域にある場合に評価値１を与え、それ以外の場合には０を与え、その総和をその分割領域の画素数で除した値を算出し、この値が１／２以上である分割領域を含む組み合わせに限り評価（相関演算）することと同値である。
【００４１】
本実施形態では、分割領域内の各画素に、その代表値に変更する前の色情報が所定の色情報領域の中心付近の場合には評価値１を与え、中心付近から遠ざかるにつれて徐々に０に近づく評価値を与え、その総和をその分割領域の画素数で除した値を算出し、この値が１／２以上である分割領域を含む組み合わせに限り評価（相関演算）する。この場合も実施形態３と同様の作用効果を得ることができる。
【００４２】
本実施形態および実施形態３は、概念的には、画像領域の合成に際して、各画像領域内の各画素に対して、色情報からスカラー値に変換する所定の変換を適用した後、各画素のスカラー値の和を画素数で除した値が所定の値以下である画像領域を含む組み合わせパターンを取り除いて合成することになる。
【００４３】
なお、本発明は、図２に示した処理方法の一部又は全部の処理機能をプログラムとして構成してコンピュータに実行させることができる。
【図面の簡単な説明】
【００４４】
【図１】本発明の実施形態を示す対象物検出装置の要部ブロック図。
【図２】本発明の実施形態を示す対象物検出方法のフローチャート。
【図３】異なる照明環境の下で撮像された手の画像の例。
【図４】手の領域における色情報の詳細の例。
【図５】色情報の値のバリエーションの例。
【図６】色情報の値のバリエーションの個数を減らすための方法の例。
【図７】色情報空間の異なる境界に基づき切り出された領域の例。
【図８】個々の色情報の単一の値に基づき切り出された領域の例。
【図９】個々の色情報の単一の値に基づき切り出された領域の例。
【図１０】個々の色情報の単一の値に基づき切り出された領域からなる合成領域の例。
【図１１】形状判定ルールで用いる形状テンプレートの例。
【符号の説明】
【００４５】
１  画像領域分割手段
１Ａ  画像領域分割ルール
２  分割領域合成手段
２Ａ  分割領域組合せパターン
３  合成領域形状評価手段
３Ａ  対象物領域形状テンプレート
【図１】
2006004032.tif 000003
【図２】
2006004032.tif 000004
【図３】
2006004032.tif 000005
【図４】
2006004032.tif 000006
【図５】
2006004032.tif 000007
【図６】
2006004032.tif 000008
【図７】
2006004032.tif 000009
【図８】
2006004032.tif 000010
【図９】
2006004032.tif 000011
【図１０】
2006004032.tif 000012
【図１１】
2006004032.tif 000013