(57)【要約】      （修正有）【課題】経時的変化のない背景の下で撮像した画像から対象物領域を抽出する。【解決手段】撮影装置Ｃ１．Ｃ２にて手指を撮像した画像データが対象領域抽出装置に入力されている。撮影装置Ｃ１は、色合いを含まずかつ経時的に変化しない背景の下に手指を撮像している。対象領域抽出装置は、撮影装置の撮影画像から代表的個体肌色情報を取得する（Ｓ０１）。また、対象領域抽出装置は、代表的個体肌色情報をもとに撮像装置Ｃ２の撮像画像を肌色領域および未定領域を含む画像に変換する（Ｓ０２）。この変換画像中の未定領域に領域拡張処理を施した領域拡張画像を取得する（Ｓ０３）。この領域拡張画像の肌色領域にラベリング処理を施して手指領域を抽出する（Ｓ０４）。【選択図】図５
2010015294.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮影装置をもって検出対象を撮像した画像から、該検出対象の領域を抽出する対象領域抽出装置であって、
前記検出対象を、色合いを含まずかつ経時的に変化しない背景の下に撮像した画像から前記検出対象の特徴を取得する手段と、
該取得した特徴をもとに、前記検出対象を撮像した他の画像から前記検出対象の領域を抽出する手段と、
を有することを特徴とする対象領域抽出装置。
【請求項２】
前記検出対象の特徴は、前記画像中に含まれる検出対象領域の色を輝度および色合いに分解したときの
輝度ごとに定められた代表的色合いを集合させた個体色情報であることを特徴とする請求項１記載の対象領域抽出装置。
【請求項３】
前記個体色情報をもとに前記他の画像を色領域と未定領域を含む画像に変換する手段と、
前記変換画像中、色領域に隣接する未定領域の色合いが前記個体色情報の色合いに近似しているときに色領域に未定領域を含めた拡張色領域画像を取得する手段と、
前記拡張色領域画像中の色領域にラベリング処理を施して、前記検出対象の領域を抽出する手段と、
を有することを特徴とする請求項２記載の対象領域抽出装置。
【請求項４】
複数の撮影装置をもって検出対象を撮像した画像から、画像処理手段が前記検出対象の領域を抽出する対象領域抽出方法であって、
前記画像処理手段が、前記検出対象を色合いを含まずかつ経時的に変化しない背景の下に撮像した画像から前記検出対象の特徴を取得する第１ステップと、
前記画像処理手段が、前記取得した特徴をもとに前記検出対象を撮像した他の画像から前記検出対象の領域を抽出する第２ステップと、
を有することを特徴とする対象領域抽出方法。
【請求項５】
前記第１ステップは、前記画像に含まれる検出対象領域の色を輝度および色合いに分解したときの
輝度ごとに定められた代表的色合いを集合させた個体色情報を取得することを特徴とする請求項４記載の対象領域抽出方法。
【請求項６】
前記第２ステップは、前記個体色情報をもとに前記他の画像を色領域と未定領域を含む画像に変換するステップと、
前記変換画像中、色領域に隣接する未定領域の色合いが前記個体色情報の色合いに近似しているときに色領域に未定領域を含めた拡張色領域画像を取得するステップと、
前記拡張色領域画像中の色領域にラベリング処理を施して、前記検出対象の領域を抽出するステップと、
を有することを特徴とする請求項５記載の対象領域抽出方法。
【請求項７】
請求項１〜３のいずれか１項に記載の対象領域抽出装置の各手段としてコンピュータを機能させることを特徴とする対象領域抽出プログラム。
【請求項８】
請求項７記載の対象領域抽出プログラムを記録したコンピュータの読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特定の単色をもつ任意の物体形状を画像から認識する技術に関し、例えば撮像装置で撮影した画像から手の動作を認識する技術に関する。
【背景技術】
【０００２】
現在、人とコンピュータ間のマンマシンインタフェースのために様々な方法や装置が提案されている。例えば、ＡＶ機器やパーソナルコンピュータなどを、リモコンやマウスおよびキーボードなどを用いて操作するのではなく、カメラで撮像された素手によるジェスチャーなどの画像から手指の動きを認識して得られる動作情報に基づき操作する、といったコンセプトが提唱されてきている。これによれば機器に接触せずに操作が可能であるため、衛生の観点から、医療および食品の現場におけるインタフェースにも好適である。
【０００３】
このコンセプトの実現に必要となる、画像中にある手指の認識技術としては、例えば特許文献１の「手形状認識方法」が公知となっている。この方法は、必要となる手指領域の抽出を、予め撮像して取得しておいた背景画像と手指を撮像した画像との差分により行っている。
【特許文献１】特開平７−１０５３７１号
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１のような背景差分手法の単純な適用では、背景が変化するケースには原理的に対応できず、また手指以外の運動物体がある場合には、フレーム間差分手法を用いたとしても原理的に対応できないおそれがある。
【０００５】
本発明は、このような従来の問題点に鑑みなされたもので、背景が変化するケースのもとで撮像した画像から検出対象領域を抽出することを解決課題としている。
【課題を解決するための手段】
【０００６】
本発明は、前記課題を解決するため創作された技術的思想であって、請求項１記載の発明は、複数の撮影装置をもって検出対象を撮像した画像から、該検出対象の領域を抽出する対象領域抽出装置であって、前記検出対象を、色合いを含まずかつ経時的に変化しない背景の下に撮像した画像から前記検出対象の特徴を取得する手段と、該取得した特徴をもとに、前記検出対象を撮像した他の画像から前記検出対象の領域を抽出する手段と、を有することを特徴としている。
【０００７】
請求項２記載の発明は、前記検出対象の特徴は、前記画像中に含まれる検出対象領域の色を輝度および色合いに分解したときの輝度ごとに定められた代表的色合いを集合させた個体色情報であることを特徴としている。
【０００８】
請求項３記載の発明は、前記個体色情報をもとに前記他の画像を色領域と未定領域を含む画像に変換する手段と、前記変換画像中、色領域に隣接する未定領域の色合いが前記個体色情報の色合いに近似しているときに色領域に未定領域を含めた拡張色領域画像を取得する手段と、前記拡張色領域画像中の色領域にラベリング処理を施して、前記検出対象の領域を抽出する手段と、を有することを特徴としている。
【０００９】
請求項４記載の発明は、複数の撮影装置をもって検出対象を撮像した画像から、画像処理手段が前記検出対象の領域を抽出する対象領域抽出方法であって、前記画像処理手段が、前記検出対象を色合いを含まずかつ経時的に変化しない背景の下に撮像した画像から前記検出対象の特徴を取得する第１ステップと、前記画像処理手段が、前記取得した特徴をもとに前記検出対象を撮像した他の画像から前記検出対象の領域を抽出する第２ステップと、を有することを特徴としている。
【００１０】
請求項５記載の発明は、前記第１ステップは、前記画像に含まれる検出対象領域の色を輝度および色合いに分解したときの輝度ごとに定められた代表的色合いを集合させた個体色情報を取得することを特徴としている。
【００１１】
請求項６記載の発明は、前記第２ステップは、前記個体色情報をもとに前記他の画像を色領域と未定領域を含む画像に変換するステップと、前記変換画像中、色領域に隣接する未定領域の色合いが前記個体色情報の色合いに近似しているときに色領域に未定領域を含めた拡張色領域画像を取得するステップと、前記拡張色領域画像中の色領域にラベリング処理を施して、前記検出対象の領域を抽出するステップと、を有することを特徴としている。
【００１２】
請求項７記載の発明は、請求項１〜３のいずれか１項に記載の対象領域抽出装置の各手段としてコンピュータを機能させることを特徴とする対象領域抽出プログラムに関する。
【００１３】
請求項８記載の発明は、請求項７記載の対象領域抽出プログラムを記録したコンピュータの読み取り可能な記録媒体に関する。
【発明の効果】
【００１４】
請求項１〜８記載の発明によれば、経時的変化のない背景の下でも画像から対象物領域を抽出することができ、また検出対象が手指以外の運動物体であっても対応することができる。
【発明を実施するための最良の形態】
【００１５】
図１は、本発明の実施形態に係る対象領域抽出装置を示している。この対象領域抽出装置１には、二台の撮影装置Ｃ１，Ｃ２をもって撮像された画像データ群が時系列に入力されている。
【００１６】
前記対象領域抽出装置１は、コンピュータから構成され、前記両撮影装置Ｃ１．Ｃ２から画像データをネットワーク経由で入力するデータ通信手段２と、入力された画像データを処理する画像処理手段４と、処理データなどを一時記憶するメモリ（ＲＡＭ）などの記憶手段３と、処理データを保存するハードディスクドライブ装置などの保存手段５と、処理データを表示可能なモニタなどの表示手段６と、キーボード，マウスなどの入力手段７とを備えている。
【００１７】
具体的には、前記画像処理手段４は、プロセッサ（ＣＰＵ：Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｏｒ  Ｕｎｉｔなど）とソフトウェアとの協働の結果、図２に示すように、前記撮影装置Ｃ１の撮像画像データから検出対象の特徴を抽出する手段８と、該抽出された特徴をもとに前記撮影装置Ｃ２の撮像画像データから検出対象の領域を抽出する手段９として機能している。
【００１８】
前記撮影装置Ｃ１，Ｃ２には、一例としてデジタルビデオカメラが使用されているものとする。ここで前記撮影装置Ｃ１は、図３および図４に示すように、テーブルの天板を略鉛直下方に向かって撮像可能な位置、即ち天井に据付けられ、撮像背景となるテーブル面は、肌色を含まず、かつ経時的変化をしないブルーバックと看做せるものとする。このとき撮像背景を、肌色成分を含まず、かつ経時的変化をしないようにするために、図４に示すように、ブルーバックと看做せる天板をテーブル上に載置してもよい。
【００１９】
一方、前記撮影装置Ｃ２の撮像背景は、肌色成分を含まず、かつ経時的変化があるものとする。ここでは一例として前記撮影装置Ｃ１，Ｃ２は、検出対象として操作者の手指を撮像しているものとする。以下、図５に基づき前記撮影装置Ｃ１，Ｃ２で撮像された入力画像データに前記画像処理手段４が施す対象領域抽出方法を説明する。
【００２０】
Ｓ０１：まず、前記撮影装置Ｃ１で撮像された入力画像データから、検出対象（操作者の手指）の特徴として代表的個体肌色情報（個体色情報）を取得する。
【００２１】
すなわち、前記撮影装置Ｃ１は、肌色を含まず、かつ経時的変化のない背景の下に手指を撮像しているので、図６に示す入力画像データから背景差分手法を用いて手指領域が抽出できる。ここでは抽出された手指領域の境界付近の画素は肌色成分と背景色の成分とが混合された色合いとなる可能性があるため、この抽出された手指領域を図７に示す暫定手指領域とし、この暫定手指領域に侵食処理を施した領域を図８に示す純粋手指領域とする。
【００２２】
この得られた純粋手指領域データに含まれる全画素に対して、図９に示す輝度（Ｙ）および色合い（Ｕ，Ｖ）の頻度分布を求める。本実施例では、輝度（Ｙ）は「０」〜「６３」の６４階調、色合い（Ｕ，Ｖ）は「０」〜「２５５」の２５６階調とした。なお、図９は、輝度（Ｙ）および色合い（Ｕ，Ｖ）の頻度分布を模式的に表現した図であり、実際には、輝度（Ｙ）ごとの色合い（Ｕ，Ｖ）の頻度分布は図１０に示すようなかたちとなる。この図１０中、「Ｆ」は頻度（ｆｒｅｑｕｅｎｃｙ）を示している。
【００２３】
そして、図９に示す輝度（Ｙ）および色合い（Ｕ，Ｖ）の頻度分布から、輝度（Ｙ）ごとに分布の最頻値となる色合い（Ｕ，Ｖ）値を求め、これをもって図１１に示す代表的個体肌色情報として記憶手段３に記憶しておく。その際、図１０に示す輝度（Ｙ）ごとの分布に対して、予めガウシアンカーネルなどで、たたみ込み処理を施してもよい。
【００２４】
ここで得られた図１１に示す代表的個体肌色情報は、黒点Ｂの位置において「１」となり、それ以外の点では「０」となる輝度（Ｙ）および色合い（Ｕ，Ｖ）を変数とする３変数関数と看做すことができる。この関数を式（１）に示す代表的個体肌色関数とする。
【００２５】
【数１】
2010015294.tif 000003
【００２６】
Ｓ０２：つぎに、前記撮影装置Ｃ２にて撮像された入力画像データと前記代表的個体肌色情報とから、肌色領域および未定領域を取得する。ここでは、図１２に示す前記撮影装置Ｃ２で撮像された入力画像データ、および前記代表的個体肌色関数から、式（２）に従い、図１３に示す変換画像を得る。
【００２７】
【数２】
2010015294.tif 000004
【００２８】
ただし、「Ｉ」は、図１３に示す変換画像データの各画素の値であり、「０」もしくは「１」に限られる。また、「ＩY」、「ＩU」、「ＩV」は、図１２に示す撮影装置Ｃ２で撮像された入力画像データの各画素の輝度および色合いの値である。なお、図１３の変換画像データは、記憶手段３に記憶してもよく、また保存手段５に保存しておいてもよい。
【００２９】
Ｓ０３：図１３の変換画像データに含まれる肌色領域および未定領域に図１７に示す領域拡張処理を施す。すなわち、図１３の変換画像データに対して、値「１」をとる画素を肌色領域、値「０」をとる画素を未定領域として、図１４に示す領域拡張画像データを得る。
【００３０】
ここでは前記代表的個体肌色関数は輝度（Ｙ）および色合い（Ｕ，Ｖ）を変数とする３変数関数であるが、輝度（Ｙ）ごとに色合い（Ｕ，Ｖ）を変数とする２変数関数が層をなしたものと看做すことができる。この層を輝度レイヤーと称することとする。また、図１６に示すように、前記代表的個体肌色情報の黒点Ｂの位置に対応する色合い（Ｕ，Ｖ）を当該輝度レイヤーの主たる色合いとするとともに、要素の個数が１個ではあるが、当該輝度レイヤーの色合い分布とする。以下、前記領域拡張処理のアルゴリズムを図１７に基づき詳細に説明する。
【００３１】
まず、図１３に示す変換画像データについて、いずれかの肌色領域画素の８近傍に未定領域画素があるか否かを確認する（Ｓ１１）。未定領域画素がある場合には、当該未定領域画素の輝度値に対応する輝度レイヤーにおいて、既存の主たる色合いと当該未定領域画素の色合いとの差（ΔＵ、ΔＶ）を算出する（Ｓ１２）。
【００３２】
つぎに、Ｓ１２で算出された差のノルムと所定の基準値との比較に基づき、当該輝度レイヤーの色合い分布に統合するか否かを判定する（Ｓ１３）。この基準値はプログラムに閾値として記述されているものとする。
【００３３】
このときＳ１２で算出された差のノルムが所定の基準値より小さければ統合することとし、当該輝度レイヤーの色合い分布に当該未定領域画素の色合いを追加し新たな色合い分布とし、この新たな色合い分布の重心を新たな主たる色合いとし、肌色領域画素として記憶手段３に記憶する（Ｓ１４）。
【００３４】
一方、Ｓ１２で算出された差のノルムが所定の基準値より大きい場合には統合しないこととし、当該未定領域画素を非肌色領域画素として記憶手段３に記憶する（Ｓ１５）。どの肌色領域画素の８近傍にも未定領域画素がない場合に領域拡張処理を終了する。
【００３５】
Ｓ０４：Ｓ０３の処理によって得られた図１４に示す領域拡張画像データ中の肌色領域に含まれる各画素にラベル属性を付加するラベリング処理を施して、図１５に示す手指領域のデータを取得する。これにより経時的変化のある背景の下でも画像から手指領域を取得することができ、この点で指認証などに使用する画像の範囲が拡大する。
【００３６】
このとき手指領域の選択については、例えば、面積最大の領域とすればよく、もしくは、予め用意されている、様々なスケールにおける様々な姿勢の手指のシルエットテンプレートとの相関が最も高い領域をもってしてもよい。ここで取得した手指領域のデータは保存手段５などに保存してもよい。なお、Ｓ０１〜Ｓ０４の処理はモニタなどの表示手段６に表示させながら行ってもよい。
【００３７】
以下、Ｓ０１の他例を説明する。ここでは肌色を含まずかつ経時的変化のない背景の下に撮像された手指の画像データから、背景差分の手法によらずに、手指領域を抽出している。
【００３８】
まず、撮像装置Ｃ１にて、図１８の背景画像を撮像する。この撮像画像の入力データに対して、図１９に示す輝度（Ｙ）および色合い（Ｕ，Ｖ）の頻度分布を求める。求められた分布頻度に対して、分布頻度が「１」以上の場合に分布頻度を「０」とし、分布頻度が「０」の場合に分布頻度を「１」とする。
【００３９】
つぎに、分布頻度が「０」の領域および「１」の領域を、それぞれ、マスク領域および非マスク領域とし、輝度レイヤーごとに非マスク領域に対して侵食処理を施して得られる侵食非マスク領域から、背景マスク関数を得る。この背景マスク関数ｆは、式（３）（４）を用いて取得することができる。
【００４０】
【数３】
2010015294.tif 000005
【００４１】
【数４】
2010015294.tif 000006
【００４２】
そして、図６に示す手指を撮像した入力画像データ、および前記背景マスク関数から、式（５）に従い、図７に示す暫定手指領域画像データを得る。
【００４３】
【数５】
2010015294.tif 000007
【００４４】
ここでは、「ＩP」は図７に示す暫定手指領域画像データの各画素の値であり、「０」もしくは「１」に限られ、「ＩY」、「ＩU」、「ＩV」は図６に示す手指を撮像した入力画像データの各画素の輝度（Ｙ）および色合い（Ｕ，Ｖ）の値である。このとき図７に示す暫定手指領域画像データにおいて、画素の値が「１」である領域を暫定手指領域とする。この暫定手指領域から図８に示す純粋手指領域を抽出し、ここから図１１の代表的肌色情報を求め、Ｓ０２〜Ｓ０４の処理を行う。
【００４５】
なお、本発明は、上記実施形態に限定されるものではなく、例えば前記対象領域抽出装置の画像処理手段４としてコンピュータを機能させるプログラムとして構築することもできる。このプログラムは、Ｓ０１〜Ｓ０４の全ての処理をコンピュータに実行させるものでもよく、あるいはＳ１１〜Ｓ１５の領域拡張処理のみをコンピュータに実行させるものであってもよい。
【００４６】
このプログラムは、Ｗｅｂサイトなどからのダウンロードによってコンピュータに提供できる。また、前記プログラムは、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ，ＤＶＤ−Ｒ，ＤＶＤ−ＲＷ，ＭＯ，ＨＤＤ，Ｂｌｕ−ｒａｙ  Ｄｉｓｋ（登録商標）などの記録媒体に格納してコンピュータに提供してもよい。この記録媒体から読み出されたプログラムコード自体が前記実施形態の処理を実現するので、該記録媒体も本発明を構成する。
【図面の簡単な説明】
【００４７】
【図１】本発明の実施形態に係る対象領域抽出装置の構成概略図。
【図２】同  画像処理手段の概略図。
【図３】同  撮影装置Ｃ１，Ｃ２の撮像状況の概略図。
【図４】同  撮影装置Ｃ１の撮像背景の概略図。
【図５】同  対象領域抽出方法のフローチャート。
【図６】同  撮影装置Ｃ１からの入力画像を示す図。
【図７】同  図６の入力画像から抽出された暫定手指領域を示す図。
【図８】同  図７の暫定手指領域に侵食処理を施した純粋手指領域を示す図。
【図９】同  図７の純粋手指領域の輝度および色合いの頻度分布の模式図。
【図１０】同  輝度ごとの色合いの頻度分布図。
【図１１】同  代表的個体肌色情報の模式図。
【図１２】同  撮影装置Ｃ２からの入力画像を示す図。
【図１３】同  変換画像を示す図。
【図１４】同  領域拡張画像を示す図。
【図１５】同  手指領域を示す図。
【図１６】同  代表的個体肌色情報の黒点位置に対応する輝度レイヤーの色合い分布図。
【図１７】同  領域拡張処理のフローチャート
【図１８】図５中のＳ１の他例に使用する背景画像を示す図。
【図１９】同  輝度および色合いの頻度分布図。
【符号の説明】
【００４８】
１…対象領域抽出装置
２…データ通信手段
３…記憶手段
４…画像処理手段
５…保存手段
６…表示手段
７…入力手段
８…対象物の特徴を抽出する手段
９…対象物の領域を抽出する手段
Ｃ１．Ｃ２…撮影装置
【図１】
2010015294.tif 000008
【図２】
2010015294.tif 000009
【図３】
2010015294.tif 000010
【図４】
2010015294.tif 000011
【図５】
2010015294.tif 000012
【図６】
2010015294.tif 000013
【図７】
2010015294.tif 000014
【図８】
2010015294.tif 000015
【図９】
2010015294.tif 000016
【図１０】
2010015294.tif 000017
【図１１】
2010015294.tif 000018
【図１２】
2010015294.tif 000019
【図１３】
2010015294.tif 000020
【図１４】
2010015294.tif 000021
【図１５】
2010015294.tif 000022
【図１６】
2010015294.tif 000023
【図１７】
2010015294.tif 000024
【図１８】
2010015294.tif 000025
【図１９】
2010015294.tif 000026