(57)【要約】計算コストを軽減させつつ、より早いタイミングで必要な輪郭処理分裂を行うことができる輪郭抽出装置を提供する。  輪郭抽出手段３２では、節点配置部３２Ａで、対象物の周縁に、複数の節点を配置し、輪郭変形部３２Ｂで節点を所定の順序で連結して形成される輪郭を変形させた後、節点間距離測定部３２Ｃで、隣り合う節点同士を除く、全ての節点の組み合わせについての節点間距離を測定する。そして、接続線設定部３２Ｄで、「節点間距離が閾値以下となる節点の組み合わせ」があるか否かを判定し、前記「組み合わせ」が検出された場合、その一方の節点から他方の節点の先頭側又は後ろ側にある隣の節点に新たな接続線を設定することで輪郭を分裂させる。
2005004060.tif 000002
【特許請求の範囲】
【請求項１】
カメラによって対象物を撮像した画像から、前記対象物の輪郭を抽出するための装置であって、
前記輪郭を形成し、予め定義されたエネルギ関数が最小になるように移動する複数の節点に関し、異なる２節点間の距離が、前記対象物までの距離に応じて設定される閾値以下となった場合、当該２節点部に新たな接続線を設けて、前記輪郭を分裂させることを特徴とする輪郭抽出装置。
【請求項２】
カメラによって対象物を撮像した画像から、前記対象物の輪郭を抽出するための装置であって、
前記画像内において、前記対象物を含む領域の周縁に、複数の節点を配置する節点配置部と、
前記節点を予め定義されたエネルギ関数が最小となるように移動させることにより、前記節点を所定の順序で連結して形成される輪郭を変形させる輪郭変形部と、
隣り合う節点同士を除く、全ての節点の組み合わせについての節点間距離を測定する節点間距離測定部と、
前記節点間距離が第１の閾値以下となる２つの節点が検出された場合、その一方の節点から他方の節点の先頭側又は後ろ側にある隣の節点に新たな接続線を設定することで前記輪郭を分裂させる接続線設定部と
を備えたことを特徴とする輪郭抽出装置。
【請求項３】
前記第１の閾値は、前記対象物までの距離が近いほど大きくなるように設定されることを特徴とする請求項２に記載の輪郭抽出装置。
【請求項４】
前記画像から生成した前記対象物の距離情報、動き情報及びエッジ情報に基づいて、前記対象物の画素を含む領域を設定する対象領域設定手段をさらに備え、
前記節点配置部は、前記対象領域設定手段によって設定された対象領域の周辺上に、複数の節点を配置することを特徴とする請求項２又は請求項３に記載の輪郭抽出装置。
【請求項５】
前記対象領域設定手段は、動きが検出されている画素が、第２の閾値よりも多く検出されている距離を対象距離とし、該対象距離から所定の前後幅を持つ領域内の画像を反映した画素のエッジ情報を得て、エッジの検出されている画素の累計値が最大となっている画素列を中心として対象領域を設定することを特徴とする請求項４に記載の輪郭抽出装置。
【請求項６】
前記対象領域設定手段は、前記中心線から左右に５０ｃｍの幅を有し、かつ、２ｍの高さを有する矩形領域を対象領域として設定することを特徴とする請求項５に記載の輪郭抽出装置。
【請求項７】
前記対象領域設定手段は、予め設定された所定数の輪郭が抽出されたか、別の対象領域が設定できなくなったと判断されるまで、新たな対象領域の設定処理を繰り返すことを特徴とする請求項４から請求項６のいずれか１項に記載の輪郭抽出装置。
【請求項８】
前記対象領域設定手段は、新たな対象領域を設定する際に、既に抽出した輪郭領域及び対象物が存在しないと判断された領域以外の領域から、新たな領域を設定することを特徴とする請求項７に記載の輪郭抽出装置。
【請求項９】
前記対象領域設定手段は、前記カメラから得られる色情報をも用いて前記対象領域を設定することを特徴とする請求項２から請求項８のいずれか一項に記載の輪郭抽出装置。
【請求項１０】
カメラによって対象物を撮像した画像から、前記対象物の輪郭を抽出するための方法であって、
前記画像内において、前記対象物を含む領域の周縁に、複数の節点を配置する節点配置ステップと、
前記節点を予め定義されたエネルギ関数が最小となるように移動させることにより、前記節点を所定の順序で連結して形成される輪郭を変形させる輪郭変形ステップと、
隣り合う節点同士を除く、全ての節点の組み合わせについての節点間距離を測定する節点間距離測定ステップと、
前記節点間距離が第１の閾値以下となる２つの節点が検出された場合、その一方の節点から他方の節点の先頭側又は後ろ側にある隣の節点に新たな接続線を設定することで前記輪郭を分裂させる接続線設定ステップと
を含むことを特徴とする輪郭抽出方法。
【請求項１１】
カメラによって対象物を撮像した画像から、前記対象物の輪郭を抽出するために、コンピュータを、
前記画像内において、前記対象物を含む領域の周縁に、複数の節点を配置する節点配置手段と、
前記節点を予め定義されたエネルギ関数が最小となるように移動させることにより、前記節点を所定の順序で連結して形成される輪郭を変形させる輪郭変形手段と、
隣り合う節点同士を除く、全ての節点の組み合わせについての節点間距離を測定する節点間距離測定手段と、
前記節点間距離が第１の閾値以下となる２つの節点が検出された場合、その一方の節点から他方の節点の先頭側又は後ろ側にある隣の節点に新たな接続線を設定することで前記輪郭を分裂させる接続線設定手段と
として機能させることを特徴とする輪郭抽出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】  本発明は、カメラによって対象物を撮像した画像から、対象物の輪郭を抽出するための装置、方法及びプログラムに関する。
【背景技術】
【０００２】  従来、カメラによって対象物を撮像した画像から、対象物の輪郭を抽出する手法として、「Ｓｎａｋｅｓ」と呼ばれる閉曲線からなる動的輪郭モデルを用いた手法（以下、「スネーク手法」という）が知られている。【０００３】  スネーク手法とは、閉曲線を、予め定義されたエネルギ関数が最小となるように変形させることにより、対象物の輪郭を抽出する手法である。具体的には、対象物の概略の輪郭を設定した後、その輪郭を下記の式（１）で表わされるエネルギ関数が所定値以下となるように繰り返し収縮変形させることにより、対象物の輪郭を抽出している。【０００４】
2005004060.tif 000003
【０００５】  式（１）において、ｐ（ｓ）は輪郭を形成する節点、Ｅｉｎｔ（ｐ（ｓ））は輪郭の滑らかさ等を表す「内部エネルギ」、Ｅｉｍａｇｅ（ｐ（ｓ））は画像の輝度勾配等を表す「画像エネルギ」、Ｅｃｏｎ（ｐ（ｓ））は輪郭に外部から加えられる力を表す「外部エネルギ」を示している。【０００６】  しかし、前記したスネーク手法では、対象物が複数ある場合や、対象物の概略の輪郭が予め与えられていない場合には、対象物の輪郭を正確に抽出できないという問題点があった。特に、対象物が他の物体と近接している場合や、画像上で対象物が他の物体と前後に重なっている場合には、対象物の輪郭と他の物体の輪郭とが、１つの輪郭として抽出されてしまうという問題点があった。【０００７】  そこで、前記した問題点を解決するために、隣り合う節点を結んで形成された線分同士が交差する場合に、１つの輪郭を２つに分裂させる技術が提案されている（例えば、特許文献１，特許文献２参照）。【０００８】  具体的には、図１１（ａ）に示すように、輪郭Ｖにおける「線分ＰａＰａ＋１」と「線分ＰｂＰｂ＋１」とが交差する場合は、図１１（ｂ）に示すように、節点「節点Ｐａ」と「節点Ｐａ＋１」との節点、及び「節点Ｐｂ」と「節点Ｐｂ＋１」との接続をそれぞれ解消し、「節点Ｐａ」と「節点Ｐｂ＋１」とを結ぶ「接続線Ｌ１」と、「節点Ｐｂ」と「節点Ｐａ＋１」とを結ぶ「接続線Ｌ２」とを設定することにより、輪郭Ｖを、輪郭Ｖ１と輪郭Ｖ２とに分裂させている。【０００９】  なお、「線分ＰａＰａ＋１」と「線分ＰｂＰｂ＋１」との交点の有無は、
節点Ｐｉ（ｉ＝１，２，……，ｎ）の座標を（ｘｉ，ｙｉ）とすると、
ｐ（Ｐａ＋１−Ｐａ）＋Ｐａ＝ｑ（Ｐｂ＋１−Ｐｂ）＋Ｐｂの解ｐ，ｑが、
ｐ｛（ｙｂ＋１−ｙａ）（ｘａ−ｘｂ）＋（ｘｂ−ｘｂ＋１）（ｙａ−ｙｂ）｝／ｄｅｔ
ｑ｛（ｙａ＋１−ｙａ）（ｘａ−ｘｂ）＋（ｘａ−ｘａ＋１）（ｙａ−ｙｂ）｝／ｄｅｔ
ｄｅｔ＝（ｘａ−ｘａ＋１）（ｙｂ＋１−ｙｂ）−（ｘｂ＋１−ｘｂ）
０≦ｐ≦１、及び０≦ｑ≦１を満たすときに、交点があると判断している。【００１０】  また、非特許文献１には、下記の技術が開示されている。【００１１】（１）Ｓｎａｋｅの収束演算において、初期輪郭設定時にＳｎａｋｅの各隣接する要素（節点）間の距離が等しくなるようにする（図１２（ａ）参照）。その距離をＬｅｌｍで表わす。
（２）Ｓｎａｋｅの要素同士の距離を求め、その中の最小値の距離（＜Ｌｅｌｍ）にある２つの要素Ｐａ，Ｐｂ（Ｐａ，Ｐｂは隣接する要素ではない。）を求める。
（３）最短距離がある閾値以下のときには、ＰａからＰｂ（反時計回り）と、ＰｂからＰａ（時計回り）の２つの閉じたＳｎａｋｅに分離する（図１２（ｂ）参照）。
（４）それぞれのＳｎａｋｅの全長を求め、ｎ等分し、Ｓｎａｋｅの各要素間の距離が等しくなるように均等長に割り付ける（図１２（ｃ）参照）。これにより、Ｓｎａｋｅは２つに分裂したことになる。後は、それぞれのＳｎａｋｅについて、（１）〜（４）を繰り返す。
【特許文献１】特開平８−３２９２５４号公報（第５−６頁、第４図）
【特許文献２】特開平９−２７００１４号公報（第４−８頁、第２図）
【非特許文献１】坂口，美濃，池田、「ＳＮＡＫＥパラメータの設定についての検討」、電子情報通信学会技術研究報告（ＰＲＵ９０−２１）、ｐ４３−４９
【発明の開示】
【発明が解決しようとする課題】
【００１２】  しかし、特許文献１及び特許文献２に開示されている従来の輪郭分裂手法では、計算コストが非常に大きかった。また、非特許文献１に開示されている方法では、輪郭を形成する各要素間の距離の閾値を汎用性をもたせながら一意に決定するのが困難であった。これは、カメラからの距離に応じて画像上の対象物の大きさが異なるからである。【００１３】  そこで、本発明は、計算コストを軽減させつつ、より早いタイミングで必要な輪郭分裂処理を行うことができる輪郭抽出装置、輪郭抽出方法及び輪郭抽出プログラムを提供することを目的とする。また、本発明は、対象物までの距離にかかわらず柔軟に複数の輪郭処理を行うことができる輪郭抽出装置、輪郭抽出方法及び輪郭抽出プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】  前記課題を解決するため、請求項１に記載の輪郭抽出装置は、カメラによって対象物を撮像した画像から、前記対象物の輪郭を抽出するための装置であって、前記輪郭を形成し、予め定義されたエネルギ関数が最小になるように移動する複数の節点に関し、異なる２節点間の距離が、前記対象物までの距離に応じて設定される閾値以下となった場合、当該２節点部に新たな接続線を設けて、前記輪郭を分裂させることを特徴とする。【００１５】  この装置は、輪郭を形成した後、予め定義されたエネルギ関数が最小になるように移動する複数の節点に関し、異なる２節点間の距離が、対象物までの距離に応じて設定される閾値以下となった場合に、当該２節点部に新たな接続線を設けて、輪郭を分裂させる。【００１６】  また、請求項２に記載の輪郭抽出装置は、カメラによって対象物を撮像した画像から、前記対象物の輪郭を抽出するための装置であって、前記画像内において、前記対象物を含む領域の周縁に、複数の節点を配置する節点配置部と、前記節点を予め定義されたエネルギ関数が最小となるように移動させることにより、前記節点を所定の順序で連結して形成される輪郭を変形させる輪郭変形部と、隣り合う節点同士を除く、全ての節点の組み合わせについての節点間距離を測定する節点間距離測定部と、前記節点間距離が第１の閾値以下となる２つの節点が検出された場合、その一方の節点から他方の節点の先頭側又は後ろ側にある隣の節点に新たな接続線を設定することで前記輪郭を分裂させる接続線設定部とを備えたことを特徴とする【００１７】  この装置は、節点配置部で対象物の周縁に、複数の節点を配置し、輪郭変形部で節点を所定の順序で連結して形成される輪郭を変形させた後、節点間距離測定部で、隣り合う節点同士を除く、全ての節点の組み合わせについての節点間距離を測定する。そして、接続線設定部で、節点間距離が第１の閾値以下となる２つの節点が検出された場合、その一方の節点から他方の節点の先頭側又は後ろ側にある隣の節点に新たな接続線を設定することで輪郭を分裂させる。なお、第１の閾値は、対象物までの距離が近いほど大きくなるように設定される（請求項３）。【００１８】  また、請求項４に記載の輪郭抽出装置は、請求項２又は請求項３に記載の輪郭抽出装置において、前記画像から生成した前記対象物の距離情報、動き情報及びエッジ情報に基づいて、前記対象物の画素を含む領域を設定する対象領域設定手段をさらに備え、前記節点配置部は、前記対象領域設定手段によって設定された対象領域の周辺上に、複数の節点を配置することを特徴とする。【００１９】  この装置は、対象領域設定手段によって、画像から生成した対象物の距離情報、動き情報及びエッジ情報に基づいて、対象物の画素を含む領域を設定することができる。そして、節点配置部は、対象領域設定手段によって設定された対象領域の周辺上に、複数の節点を配置する。
また、前記対象領域設定手段は、動きが検出されている画素が、第２の閾値よりも多く検出されている距離を対象距離とし、該対象距離から所定の前後幅を持つ領域内の画像を反映した画素のエッジ情報を得て、エッジの検出されている画素の累計値が最大となっている画素列を中心として対象領域を設定する（請求項５）。
また、前記対象領域設定手段は、前記中心線から左右に５０ｃｍの幅を有し、かつ、２ｍの高さを有する矩形領域を対象領域として設定する（請求項６）。
また、前記対象領域設定手段は、予め設定された所定数の輪郭が抽出されたか、別の対象領域が設定できなくなったと判断されるまで、新たな対象領域の設定処理を繰り返す（請求項７）。
そして、前記対象領域設定手段は、新たな対象領域を設定する際に、既に抽出した輪郭領域及び対象物が存在しないと判断された領域以外の領域から、新たな領域を設定する（請求項８）。
さらに、前記対象領域設定手段は、前記カメラから得られる色情報をも用いて前記対象領域を設定する（請求項９）。【００２０】  請求項１０に記載の輪郭抽出方法は、カメラによって対象物を撮像した画像から、前記対象物の輪郭を抽出するための方法であって、前記画像内において、前記対象物を含む領域の周縁に、複数の節点を配置する節点配置ステップと、前記節点を予め定義されたエネルギ関数が最小となるように移動させることにより、前記節点を所定の順序で連結して形成される輪郭を変形させる輪郭変形ステップと、隣り合う節点同士を除く、全ての節点の組み合わせについての節点間距離を測定する節点間距離測定ステップと、前記節点間距離が第１の閾値以下となる２つの節点が検出された場合、その一方の節点から他方の節点の先頭側又は後ろ側にある隣の節点に新たな接続線を設定することで前記輪郭を分裂させる接続線設定ステップとを含むことを特徴とする。【００２１】  この方法は、節点配置ステップにおいて、対象物を含む領域の周縁に、複数の節点を配置し、輪郭変形ステップにおいて、節点を予め定義されたエネルギ関数が最小となるように移動させることにより、節点を所定の順序で連結して形成される輪郭を変形させた後、節点間距離測定ステップにおいて、隣り合う節点同士を除く、全ての節点の組み合わせについての節点間距離を測定する。そして、接続線設定ステップにおいて、節点間距離測定ステップでの測定結果に基づいて、節点間距離が第１の閾値以下となる２つの節点が検出された場合、その一方の節点から他方の節点の先頭側又は後ろ側にある隣の節点に新たな接続線を設定することで輪郭を分裂させる。【００２２】  請求項１１に記載の輪郭抽出プログラムは、カメラによって対象物を撮像した画像から、前記対象物の輪郭を抽出するために、コンピュータを、前記画像内において、前記対象物を含む領域の周縁に、複数の節点を配置する節点配置手段と、前記節点を予め定義されたエネルギ関数が最小となるように移動させることにより、前記節点を所定の順序で連結して形成される輪郭を変形させる輪郭変形手段と、隣り合う節点同士を除く、全ての節点の組み合わせについての節点間距離を測定する節点間距離測定手段と、前記節点間距離が第１の閾値以下となる２つの節点が検出された場合、その一方の節点から他方の節点の先頭側又は後ろ側にある隣の節点に新たな接続線を設定することで前記輪郭を分裂させる接続線設定手段として機能させることを特徴とする。【００２３】  このプログラムは、コンピュータを、節点配置手段、輪郭変形手段、節点間距離測定手段、接続線設定手段として機能させることにより、節点配置手段により、対象物を含む領域の周縁に、複数の節点を配置し、輪郭変形手段により、節点を予め定義されたエネルギ関数が最小となるように移動させることにより、節点を所定の順序で連結して形成される輪郭を変形させた後、節点間距離測定手段により、隣り合う節点同士を除く、全ての節点の組み合わせについての節点間距離を測定する。そして、接続線設定手段により、節点間距離測定ステップでの測定結果に基づいて、節点間距離が第１の閾値以下となる２つの節点が検出された場合、その一方の節点から他方の節点���先頭側又は後ろ側にある隣の節点に新たな接続線を設定することで輪郭を分裂させる。
【発明の効果】
【００２４】  本発明によれば、計算コストを軽減させつつ、より早いタイミングで必要な輪郭処理分裂を行うことができる。また、本発明によれば、対象物までの距離にかかわらず柔軟に複数の輪郭処理を行うことができる。
【発明を実施するための最良の形態】
【００２５】  次に、本発明の実施形態について、適宜図面を参照して詳細に説明する。ここでは、まず、本発明に係る輪郭抽出装置を含む輪郭抽出システムの構成について図１〜図７を参照して説明し、その後、輪郭抽出システムの動作について図８〜図１０を参照して説明する。【００２６】（輪郭抽出システムＡの構成）
まず、本発明に係る輪郭抽出装置３を含む輪郭抽出システムＡの全体構成について図１を参照して説明する。図１は輪郭抽出システムＡの全体構成を示すブロック図である。なお、ここでは、人（以下、「対象人物」という）の輪郭を抽出する場合を想定している。【００２７】  図１に示すように、輪郭抽出システムＡは、図示しない対象人物を撮像する２台のカメラ１（１ａ，１ｂ）と、カメラ１で撮像された画像（撮像画像）を解析して各種情報を生成する撮像画像解析装置２と、撮像画像解析装置２で生成された各種情報に基づいて対象人物の輪郭を抽出する輪郭抽出装置３とから構成されている。以下、カメラ１、撮像画像解析装置２、輪郭抽出装置３について、順に説明する。【００２８】（カメラ１）
カメラ１（１ａ，１ｂ）はカラーＣＣＤカメラであり、右カメラ１ａと左カメラ１ｂは、左右に距離Ｂだけ離れて並設されている。ここでは、右カメラ１ａを基準カメラとしている。カメラ１ａ，１ｂが所定のタイミング（１フレーム毎）で撮像した画像（撮像画像）は、フレーム毎に図示しないフレームグラバに記憶された後、撮像画像解析装置２に同期して入力される。【００２９】  なお、カメラ１で撮像した画像（撮像画像）は、図示しない補正機器によりキャリブレーション処理とレクティフィケーション処理を行い、画像補正した後に撮像画像解析装置２に入力される。なお、カメラ１は、カラーＣＣＤカメラではなく、単に、例えば０〜２５５階調の白黒濃淡値を取得できるようなものでもよい。【００３０】（撮像画像解析装置２）
撮像画像解析装置２は、カメラ１ａ，１ｂから入力された画像（撮像画像）を解析して、「距離情報」、「動き情報」、「エッジ情報」を生成する装置である。撮像画像解析装置２は、「距離情報」を生成する距離情報生成部２１と、「動き情報」を生成する動き情報生成部２２と、「エッジ情報」を生成するエッジ情報生成部２３とから構成されている（図１参照）。【００３１】（距離情報生成部２１）
距離情報生成部２１は、同時刻にカメラ１ａ，１ｂで撮像された２枚の撮像画像の視差に基づいて、各画素に対応する対象物までのカメラ１からの距離を検出する。具体的には、基準カメラであるカメラ１ａで撮像された第１の撮像画像と、カメラ１ｂで撮像された第２の撮像画像とから、ブロック相関法を用いて視差を求める。本実施形態では、視差は、画素毎に、０〜３２のスカラー値として求められるようにした。なお、視差（スカラー値）は０〜３２に限らず、他の範囲の値をとるようにしてもよい。つまり、視差（スカラー値）は、撮像画像解析装置２の計算能力やカメラ１の位置関係等に応じて適宜設定することができる。【００３２】  なお、ブロック相関法とは、第１の撮像画像と第２の撮像画像とで特定の大きさの同一ブロック（例えば８×３画素）を比較することで、第１の撮像画像と第２の撮像画像とで同一のものを撮像している画素（領域）を抽出する方法である。この方法を用いることにより、両画像で対応する画素（領域）が両画像フレーム内で何画素分ずれてフレーム内に位置しているかを検出することができる。【００３３】  そして、画素毎に求められた視差から、三角法を用いて、カメラ１から「各画素に撮像された対象物」までの距離情報を求める。距離情報としては、画素毎に０〜３２の範囲の視差値と、実空間上（ｘ、ｙ、ｚ）の位置情報が対応付けられている。視差値０〜３２を０〜２５５の２５６の濃度値に変換すると、距離に応じて濃度が変化した画像が得られる。本実施形態では、濃度値「０」の画素は、カメラ１から無限遠にある対象物を撮像したことを意味し、濃度値「２２５」の画素は、カメラ１から約８０ｃｍの位置にある対象物を撮像したことを意味するように設定した。なお、この「８０ｃｍ」という値は、カメラ１の焦点距離，画素サイズ，２つのカメラ１ａ，１ｂ間の距離等に応じて決定される。画素毎に生成された距離情報は、距離情報生成部２１内に設けられた図示しない記憶手段に記憶された後、必要に応じて輪郭抽出装置３に入力される。【００３４】  図２（ａ）は、距離情報生成部２１で生成された各画素の距離情報に応じて濃淡表現した距離画像Ｐ１である。ここでは、対象人物Ｃ以外には物体が全く無い環境で撮像を行った。図２（ａ）に示すように、対象人物Ｃの画素は、その距離に応じて、濃淡値２５５（＝白）に近い色で表現されている。また、背景の部分の画素は、濃淡値０、すなわち黒色で表わされる。なお、「対象人物」とは輪郭を抽出する対象となる人物のことである。【００３５】（動き情報生成部２２）
動き情報生成部２２は、基準カメラであるカメラ１ａで時系列に撮像した「時刻ｔ」における「撮像画像（ｔ）」と、「時刻ｔ＋Δｔ」における「撮像画像（ｔ＋Δｔ）」との差分に基づいて、画像内の動き情報を検出する。【００３６】  具体的には、「撮像画像（ｔ）」と「撮像画像（ｔ＋Δｔ）」とで、各画素の輝度値の差分を取り、その差分値が所定の閾値Ｔ１よりも大きい画素を抽出する。この閾値Ｔ１は、撮像する環境の複雑さや画像内の対象物の数、動きの煩雑さ等に応じて適宜決定される。なお、本実施形態では、閾値Ｔ１は、対象人物Ｃの動きのみが抽出されるように試行錯誤を繰り返して、閾値値Ｔ１を調整しながら適当な値に最終決定した。【００３７】  抽出した差分値を画素毎に０〜２５５のいずれかのスカラー値に変換したものが動き情報である。図２（ｂ）は、そのスカラー値に応じた輝度値で表現した差分画像Ｐ２である。図２（ｂ）の例では、対象人物Ｃの左腕の動きが特に強く検出されている。なお、移動物体の動きを検出する方法としては、他の方法を用いることもできる。また、カメラ１が移動しながら撮像するような場合は、カメラパラメータの変化量から背景の動きとして抽出される情報がキャンセルされるように、一方の画像を変換して動き情報の検出を行うとよい。【００３８】（エッジ情報生成部２３）
エッジ情報生成部２３は、基準カメラであるカメラ１ａで撮像された画像（撮像画像）における各画素の濃淡情報又は色情報に基づいて、その撮像画像内に存在するエッジを抽出する。【００３９】  具体的には、撮像画像における各画素の輝度に基づいて、隣接する画素の輝度値と比べて、輝度が大きく変化する部分をエッジとして検出する。エッジ値を画素毎に対応付けて得られた情報がエッジ情報である。図２（ｃ）は、エッジの大きさに応じた輝度値で表現されたエッジ画像Ｄ３である。【００４０】  エッジの検出は、例えばＳｏｂｅｌオペレータを画素毎に乗算し、行又は列単位で、隣の線分と所定の差がある線分をエッジ（横エッジ又は縦エッジ）として検出する。なお、Ｓｏｂｅｌオペレータとは、ある画素の近傍領域の画素に対して重み係数を持つ係数行例のことである。また、本実施形態では、エッジの検出はＳｏｂｅｌオペレータを用いて行ったが、他の方法を用いてエッジを検出してもよい。【００４１】  撮像画像解析装置２で生成された「距離情報」」と「動き情報」は、輪郭抽出装置３の対象距離検出部３１Ａに入力される。また、「エッジ情報」は、輪郭抽出装置３の対象領域設定部３１Ｂに入力される。【００４２】（輪郭抽出装置３）
輪郭抽出装置３は、撮像画像解析装置２で生成された「距離情報」、「動き情報」、「エッジ情報」に基づいて、対象人物Ｃの輪郭を抽出する装置である。輪郭抽出装置３は、「距離情報」、「動き情報」、「エッジ情報」に基づいて、対象人物Ｃが存在すると推測され、その輪郭抽出を行うべき領域（対象領域）を設定する対象領域設定手段３１と、対象領域設定手段３１によって設定された「対象領域」内から、Ｓｎａｋｅｓ手法を用いて対象人物Ｃの輪郭を抽出する輪郭抽出手段３２とを備えている（図１参照）。【００４３】（対象領域設定手段３１）
対象領域設定手段３１は、カメラ１から対象人物Ｃまでの距離（対象距離）を検出する対象距離検出部３１Ａと、対象距離検出部３１Ａで検出された対象距離に応じた「対象領域」を設定する対象領域設定部３１Ｂとから構成されている。【００４４】（対象距離検出部３１Ａ）
対象距離検出部３１Ａは、距離情報生成部２１で生成された距離情報と、動き情報生成部２２で生成された動き情報とに基づいて、カメラ１から対象人物Ｃまでの距離である「対象距離Ｄ１」を検出する。具体的には、０〜２５５のスカラー値で表現される距離毎に動きが検出されている画素の数を累計する。そして、その累計値が所定の閾値Ｔ２よりも大きい場合、その距離にある動きが検出されている画素を対象人物Ｃの動きを反映した画素であるとして検出する。なお、閾値Ｔ２は、［特許請求の範囲］における「第２の閾値」に相当する。【００４５】  なお、閾値Ｔ２よりも大きい累計値が複数の距離において算出された場合、最もカメラ１に近い距離にある対象物のみに注目して以降の輪郭抽出処理等を行うようにしてもよい。閾値Ｔ２は、対象人物Ｃの数やその動きの特性、存在範囲等に応じて、対象人物Ｃが正確に検出できるように適宜設定される。【００４６】  図３（ａ）はカメラ１から２．２ｍ（＝対象距離Ｄ１）の距離において、動きが検出された画素の累計が閾値Ｔ２を超えている状態を示す図である。対象距離検出部３１Ａで検出された対象距離Ｄ１は、対象領域設定部３１Ｂに入力される。【００４７】（対象領域設定部３１Ｂ）
対象領域設定部３１Ｂは、対象距離検出部３１Ａで検出された対象距離Ｄ１と前後±αの距離にある対象物を撮像した画素のエッジ情報を抽出する（図２（ｃ）参照）。この際、動きが検出された画素に限らず、対象距離Ｄ１±αの距離にある画素のエッジ情報が全て抽出される。本実施形態では、「α」は人間の体の幅とマージンを考慮して５０ｃｍとした。この処理によって、対象人物Ｃと推測される移動物体を撮像した画素部分のみのエッジ情報が抽出された状態となる。この状態を視覚的に理解しやすいように図３（ｂ）に示した。なお、「α」は、［特許請求の範囲］における「所定の前後幅」に相当する。【００４８】  次に、対象領域設定部３１Ｂは、輪郭抽出処理を行うための矩形の対象領域Ａを設定する。既に、対象距離Ｄ１（奥行き）が設定されているので、さらに対象領域Ａを設定することで、結果的に直方体の空間領域に対応する画像情報に対して後述する輪郭抽出処理が実行されることになる。具体的には、まず対象人物Ｃを撮像した画素部分のみのエッジ情報に関し、画像フレームの各列（縦線）毎にエッジの検出されている画素の数を累計する。そして、その累計値（ヒストグラムＨ）が最大である画素列の位置を対象人物Ｃの中心線として特定する。図４（ａ）は中心線が特定された状態を示すイメージ図である。【００４９】  そして、対象領域設定部３１Ｂは、特定された中心線に基づき対象領域Ａを設定する。本実施形態では、２ｍの高さの基準として、カメラ１から対象距離Ｄ１にある床面を下辺として設定したが、輪郭抽出を行いたい対象物を含むように、他の方法を用いて対象領域Ａを設定してもよい。【００５０】  なお、対象領域Ａを設定する際は、カメラ１のチルト角や、カメラ１の高さ等の各種カメラパラメータを参照することにより、床面位置の認識や対象領域Ａの決定を正確に行うことができる。この結果、対象領域Ａ内に確実に対象人物Ｃが含まれる状態とされる。【００５１】  図４（ｂ）は対象領域Ａが設定された状態を示す図である。ここで、図４（ａ）、（ｂ）に示すように、画像上で実際にエッジ画素やヒストグラムを表示して中心線や対象領域Ａを設定してもよいが、図４（ａ）、（ｂ）のような画像を作成することは本発明の必須要件ではない。【００５２】（輪郭抽出手段３２）
輪郭抽出手段３２は、対象領域設定部３１Ｂで設定された対象領域Ａの周辺上に節点を等間隔で配置する節点配置部３２Ａと、輪郭を変形させる輪郭変形部３２Ｂと、輪郭を構成する各節点の節点間距離を測定する節点間距離測定部３２Ｃと、節点間距離測定部３２Ｃでの測定結果に基づいて、輪郭を分裂させる接続線を設定する接続線設定部３２Ｄとから構成されている。【００５３】  なお、本来ならば、この輪郭抽出手段３２は、図４（ｂ）の対象領域Ａ内から対象人物Ｃの輪郭を抽出するが、ここでは、［従来の技術］の欄において説明した、従来の輪郭分裂手法との差異を明確にするために、単純化した図５〜図７を用いて説明する。【００５４】（節点配置部３２Ａ）
節点配置部３２Ａは、対象領域Ａの周辺上に、複数の節点Ｐｉ（ｉ＝１，２，……，ｎ）を等間隔で配置する（図５（ａ）参照）。各節点Ｐｉを、その配置順に結んだものをが、輪郭Ｖとなる。これらの節点Ｐｉの位置情報は、輪郭変形部３２Ｂに入力される。なお、節点数ｎは、輪郭抽出装置３の処理能力や、抽出しようとする対象物の形状の複雑さ、動きの速さ等に応じて適宜決定される。本実施形態では節点数ｎを１００個とした。【００５５】（輪郭変形部３２Ｂ）
輪郭変形部３２Ｂは、節点Ｐｉを、予め定義されたエネルギ関数が最小となるように移動させることにより、輪郭Ｖを変形させる（図５（ｂ）参照）。なお、「予め定義されたエネルギ関数」としては、例えば、［従来の技術］の欄における式（１）に表わしたエネルギ関数を用いることができる。式（１）の各項は具体的には、下記のようなものである。なお、１節点は１画素で構成される。【００５６】  すなわち、上記エネルギ関数を最小化するように各節点を移動させていくことは、次の式（１）〜（４）から計算されるエネルギが小さくなる点へ移動させることを意味する。
（１）対象物と他の物体とを区別するために、画像上で、対象距離Ｄ１±αの範囲内において、輝度勾配が大きい部分にある節点を移動させる。
2005004060.tif 000004
（２）輪郭の形状を滑らかにするために、連続する３つの節点を結ぶ線分をできるだけ直線に近づける。
2005004060.tif 000005
（３）対象物の輪郭における窪んだ部分を正確に抽出するために、輪郭が囲む閉領域をできるだけ小さくする。
2005004060.tif 000006
（４）各節点をバランス良く配置するために、各節点間の距離を平均化させる。
2005004060.tif 000007
【００５７】（節点間距離測定部３２Ｃ）
節点間距離測定部３２Ｃは、輪郭変形部３２Ｂで変形された輪郭Ｖを構成する各節点Ｐｉについて、隣り合う節点同士を除く、全ての節点の組み合わせについての節点間距離Ｄ２を測定（算出）する。【００５８】  具体的には、まず、節点Ｐ１から、節点Ｐ３，節点Ｐ４，……，節点Ｐｎ−１までの節点間距離Ｄ２をそれぞれ測定する（図６（ａ）参照）。次に、節点Ｐ２から、節点Ｐ３，節点Ｐ４，……，節点Ｐｎまでの節点間距離Ｄ２をそれぞれ測定する（図６（ｂ）参照）。節点Ｐ３，Ｐ４，……，Ｐｎ−１についても同様のことを行う。なお、この際一度検出されている「節点の組み合わせ」については、節点間距離Ｄ２の測定は行わない。そして、最終的には、節点Ｐｎ−２から節点Ｐｎまでの節点間距離Ｄ２を測定する（図６（ｃ）参照）。節点間距離測定部３２Ｃでの測定結果は、接続線設定部３２Ｄに入力される。【００５９】（接続線設定部３２Ｄ）
接続線設定部３２Ｄは、まず、節点間距離測定部３２Ｃから入力された測定結果に基づいて、節点間距離Ｄ２が予め定められた距離Ｄ３以下となる「節点Ｐｉの組み合わせ」があるか否かを判定する。なお、距離Ｄ３は、［特許請求の範囲］における「第１の閾値」に相当する。【００６０】  ここで、距離Ｄ３はカメラ１からの距離に応じて小さくなるように設定されている。このため、対象物が近くにあっても遠くにあっても正確な輪郭抽出が可能となる。本発明では画素毎に撮像した対象物までの距離が算出されているので、その距離に応じた閾値を適用した本判定処理が可能となっている。また、距離Ｄ３は、検出したい対象物の輪郭が検出された時に、最小となる節点間距離Ｄ２（例えば、手首間の距離）よりも小さい値となるように、輪郭抽出対象物に応じて適宜設定されている。このため、１つの対象物に対して２つの輪郭が抽出されてしまうことを防止することができる。【００６１】  節点間距離Ｄ２が閾値である距離Ｄ３以下となる「節点Ｐｉの組み合わせ」が検出された場合は、その「節点Ｐｉの組み合わせ」において、自身と相手の節点連結順序における先頭側に隣り合う節点とをそれぞれ結ぶ接続線を設定する、又は自身と相手の節点連結順序における後ろ側に隣り合う節点とをそれぞれ結ぶ接続線を設定する。このことにより、１つの輪郭を２つの輪郭に分裂させることができる。【００６２】  具体的には、図７（ａ）に示すように、節点間距離Ｄ２が距離Ｄ３以下である節点の組み合わせ（節点Ｐａ，節点Ｐｂ）が検出された場合は、図７（ｂ）に示すように、節点Ｐａ−節点Ｐａ＋１間と、節点Ｐｂ−節点Ｐｂ＋１間の接続を解消し、節点Ｐａと節点Ｐｂ＋１とを結ぶ接続線Ｌ１を設定し、節点Ｐｂと節点Ｐａ＋１とを結ぶ接続線Ｌ２を設定することにより、輪郭Ｖを、輪郭Ｖ１と輪郭Ｖ２とに分裂させることができる（図７（ｃ）参照）。なお、本実施形態では、節点の組み合わせにおいて、「自身（Ｐａ）」と、「相手（Ｐｂ）の節点連結順序における先頭側に隣り合う節点（Ｐｂ＋１）」とをそれぞれ結ぶ接続線を設定することにより輪郭を分裂させたが、「自身（Ｐａ）」と、「相手（Ｐｂ）の節点連結順序における後ろ側に隣り合う節点（Ｐｂ−１）」とをそれぞれ結ぶ接続線を設定することにより輪郭を分裂させることもできる。【００６３】  以上のようにして、輪郭抽出手段３２では、節点配置部３２Ａで概略の輪郭を設定し、輪郭変形部３２Ｂで輪郭を変形させた後、節点間距離測定部３２Ｃで、隣り合う節点Ｐｉ同士を除く、全ての節点Ｐｉの組み合わせについての節点間距離Ｄ２を測定する。そして、接続線設定部３２Ｄで、節点間距離測定部３２Ｃでの測定結果に基づいて、節点間距離Ｄ２が距離Ｄ３以下となる節点の組み合わせを検出し、その検出された節点の組み合わせ（節点Ｐａ，節点Ｐｂ）において、節点Ｐａと節点Ｐｂ＋１とを結ぶ接続線Ｌ１を設定し、節点Ｐｂと節点Ｐａ＋１とを結ぶ接続線Ｌ２を設定することにより、輪郭Ｖを、輪郭Ｖ１と輪郭Ｖ２とに分裂させることができる。【００６４】（輪郭抽出システムＡの動作）
次に、輪郭抽出システムＡの動作について、図１に示す輪郭抽出システムＡの全体構成を示すブロック図と、図８〜図１０に示すフローチャートを参照して説明する。参照する図面において、図８は、輪郭抽出システムＡの動作における、「撮像画像解析ステップ」と「対象領域設定ステップ」を説明するためのフローチャートである。また、図９は、輪郭抽出システムＡの動作における、「輪郭抽出ステップ」を説明するための第１のフローチャートである。また、図１０は、輪郭抽出システムＡの動作における、「輪郭抽出ステップ」を説明するための第２のフローチャートである。【００６５】＜撮像画像解析ステップ＞
図８に示すフローチャートを参照して、まず、ステップＳ１では、撮像画像解析装置２に撮像画像が入力される。続いて、ステップＳ２では、距離情報生成部２１で、ステップＳ１で入力された撮像画像から「距離情報」を生成する。次に、ステップＳ３では、動き情報生成部２２で、ステップＳ１で入力された撮像画像から「動き情報」を生成する。そして、ステップＳ４では、エッジ情報生成部２２で、ステップＳ１で入力された撮像画像から「エッジ情報」を生成する。【００６６】＜対象領域設定ステップ＞
引き続き図８に示すフローチャートを参照して、ステップＳ５では、対象距離検出部３１Ａで、ステップＳ２で生成された「距離情報」と、ステップＳ３で生成された「動き情報」とから、カメラ１から対象人物Ｃまでの距離である「対象距離Ｄ１」を検出する。そして、ステップＳ６では、対象距離設定部３１Ｂで、ステップＳ５で検出された「対象距離Ｄ１」に基づいて、輪郭抽出処理を行うための領域である「対象領域Ａ」を設定する。なお、ステップＳ２，ステップＳ３，ステップＳ４の各処理は、並列に行ってもよい。【００６７】＜輪郭抽出ステップ＞
図９に示すフローチャートを参照して、ステップＳ７では、節点配置部３２Ａで、対象領域Ａの周辺上に、複数の節点Ｐｉ（ｉ＝１，２，……，ｎ）を等間隔で配置する（図５（ａ）参照）。各節点Ｐｉを、その配置順に結んだものをが、輪郭Ｖとなる。続いて、ステップＳ８では、ステップＳ７で配置された各節点Ｐｉを、予め定義されたエネルギ関数が最小となるように移動させることにより、輪郭Ｖを変形させる（図５（ｂ）参照）。本実施形態では、注目している節点が位置する画素に近接している８画素のそれぞれの位置に当該節点が移動した場合に、上記エネルギがどうなるかを計算し、計算結果からエネルギが最小となると判明した画素位置を移動後の新たな節点位置とする。そして、ステップＳ９では、輪郭Ｖを構成している各節点Ｐｉについて、隣り合う節点同士を除く、全ての節点の組み合わせについての節点間距離Ｄ２を測定する（図６（ａ），（ｂ），（ｃ）参照）。【００６８】  次に、ステップＳ１０では、ステップＳ９での測定結果に基づいて、節点間距離Ｄ２が予め定められた距離Ｄ３以下となる「節点Ｐｉの組み合わせ」あるか否かを判断する。ステップＳ１０で、「節点間距離Ｄ２≦距離Ｄ３となる節点Ｐｉの組み合わせがある」と判断された場合は、ステップＳ１１に進み、「節点間距離Ｄ２≦距離Ｄ３となる節点Ｐｉの組み合わせが無い」と判断された場合は、ステップＳ１２に進む。【００６９】  なお、ステップＳ１０では、具体的には、節点Ｐｉ（ｉ＝１，２，……，ｎ）の座標を（ｘｉ，ｙｉ）とすると、
Ｄ２２＝（ｘａ−ｘｂ）２＋（ｙａ−ｙｂ）２≦Ｄ３２
となる場合に、「節点間距離Ｄ２≦距離Ｄ３となる節点Ｐｉの組み合わせがある」と判断している。【００７０】  続く、ステップＳ１１では、ステップＳ１０で検出された「節点間距離Ｄ２≦距離Ｄ３となる節点Ｐｉの組み合わせ（節点Ｐａ，節点Ｐｂ）」において、節点Ｐａと節点Ｐｂ＋１とを結ぶ接続線Ｌ１を設定し、節点Ｐｂと節点Ｐａ＋１とを結ぶ接続線Ｌ２を設定することにより、（図７（ｂ）参照）。このことにより、輪郭Ｖを、輪郭Ｖ１と輪郭Ｖ２とに分裂させることができる（図７（ｃ）参照）。【００７１】  そして、ステップＳ１２では、ステップＳ１２における判定処理の繰り返し回数が、予め定めた閾値Ｔｈ１よりも多いか否かを判断する。ステップＳ１２で、「繰り返し回数が予め定めた閾値Ｔｈ１よりも多い」と判断された場合は、次のステップＳ１３に進む。逆に、ステップＳ１２で、「繰り返し回数が予め定めた閾値Ｔｈ１よりも多くない」と判断された場合は、先のステップＳ８に戻る。【００７２】  次に、ステップＳ１３では、抽出された輪郭に基づき算出される実際の高さが、予め定めた閾値Ｔｈ２よりも高いか否かを判断する。この閾値Ｔｈ２は、対象物の輪郭が適度に抽出されるまで繰り返されるように、対象物の形状、動きの速さ、輪郭抽出装置３の処理能力等に応じて設定すればよい。ステップＳ１３で、「輪郭の高さが予め定めた閾値Ｔｈ２よりも高い」と判断された場合は、ステップＳ１５に進む。逆に、ステップＳ１３で、「輪郭の高さが予め定めた閾値Ｔｈ２よりも高くはない」と判断された場合は、ステップＳ１４に進む。ここで、閾値Ｔｈ２を高すぎる値に設定してしまうと、抽出すべき対象物の輪郭抽出することができない。一方、閾値Ｔｈ２を低すぎる値に設定してしまうと、対象物以外の不要なものの輪郭まで抽出してしまう。したがって、この処理において用いる閾値Ｔｈ２は、輪郭抽出しようとする対象物の高さに基づいて適宜設定する。【００７３】  ステップＳ１４では、抽出された輪郭内の画像情報を更新する。なお、画像情報を更新するということは、その画像情報における距離情報をゼロにするということである。輪郭内の画像情報を更新した後は、ステップＳ１５に進む。【００７４】  ステップＳ１５では、既抽出の輪郭数（オブジェクト数）が予め定めた閾値Ｔｈ３に達したか否かを判断する。ステップＳ１５で、「既抽出の輪郭数が閾値Ｔｈ３に達した（例えば、人物の輪郭を５人分抽出した）」と判断された場合は、処理を終了する。一方、ステップＳ１５において、「既抽出の輪郭数が閾値Ｔｈ３に達していない」と判断された場合は、続いてステップＳ６の処理が実行される。閾値Ｔｈ３は、同時に抽出したい対象物の数に応じて決定すればよいが、その数が多すぎると、計算負荷が増大して、高速で正確な輪郭抽出に支障をきたすおそれがある。したがって、閾値Ｔｈ３は輪郭抽出装置３の計算能力や、輪郭抽出の目的などに応じて適宜設定する必要がある。【００７５】  なお、以上説明した輪郭抽出システムＡにおける処理は、時間ｔにおいて撮像された画像に対しての処理であるので、時間ｔにおいて撮像された画像に対してステップＳ１〜ステップＳ１５の処理を終了した後、時間ｔ＋１において撮像された画像に対しても同様の処理が行われる。
なお、ステップＳ１４で、対象物ではないと判断される画像情報（距離情報）はキャンセルされる。そして、ステップＳ１５で「ＮＯ」と判断された後に行われるステップＳ６の処理は、ステップＳ１４でキャンセルされた領域及び既に輪郭抽出された領域以外の残りの画像領域に対して実行される。したがって、本発明では、複数の輪郭抽出を効率良く実行することが可能となっている。
また、ステップＳ３において全く動きが検出されない場合や、ステップＳ５において対象距離Ｄ１が設定できない場合など、輪郭抽出すべき対象物が明らかに存在しないと判断される場合は、全ての処理を終了する。【００７６】  以上説明したように、本発明によれば、隣り合う節点同士を結ぶ線分が交差又は接触する前に、より早いタイミングで輪郭を分裂させることができる。
また、従来の輪郭分裂手法では、図１１（ａ），（ｂ）を用いて説明したように、輪郭分裂の是非を判断するのに多数の計算処理を必要とするのに対し、本発明では、ステップＳ１０の説明で示した簡単な距離計算のみで輪郭分裂の是非を判断することができる。したがって、本発明では計算負荷が著しく軽減される。
具体的には、節点数が１００個のとき、特許文献１に開示されている従来の輪郭分裂手法では、計算コストは約２００ｍｓｅｃ／ｆｒａｍｅであったのに対し、本発明では、計算コストは約１００ｍｓｅｃ／ｆｒａｍｅであった。
さらに、非特許文献１では、輪郭分裂させるための固定された閾値に汎用性を持たせるのが困難であったのに対し、本発明では、各画素に対して距離情報を対応付け、対象物の距離に応じて閾値距離Ｄ３を可変させるので、対象物が遠くにあっても近くにあっても必要に応じて正確にその輪郭抽出を行うことができる。【００７７】  以上、輪郭抽出システムＡについて説明したが、この輪郭抽出システムＡに含まれる撮像画像解析装置２や輪郭抽出装置３の各構成部は、ハードウェアで構成してもよいし、プログラムで構成してもよい。例えば、輪郭抽出装置３の各構成部をプログラムで構成した場合は、コンピュータ内のＣＰＵやメモリ等をプログラムに従って動作させることにより、ハードウェアで構成した場合と同様の効果が得られる。【００７８】  また、カメラ１は固定カメラでもよいし、撮像方向が可変なものでもよい。そして、カメラ１は固定体に備え付けてもよいし、移動体に搭載してもよい。さらに、カメラ１、撮像画像解析装置２及び輪郭抽出装置３は、個別に設けてもよいし、一体化させてもよい。なお、カメラ１、撮像画像解析装置２及び輪郭抽出装置３を個別に設けた場合は、各装置間の情報通信は、有線で行ってもよいし、無線で行ってもよい。また、カメラ１が取得した色情報を用いて、肌色領域を抽出することによって、人間の画素領域を特定し、その特定領域のみに対して輪郭抽出を行ってもよい。さらに、肌色であって、かつ、略楕円の部分を顔として判定するなどの方法をも組み合わせて対象人物を切り出すようにすれば、より効率的かつ確実に人物の輪郭抽出が行われるようになる。【００７９】  時々刻々と連続的に抽出される輪郭情報は、室内監視カメラ、交通量計測、自律二足歩行ロボットなどの多くのものに利用可能である。
本発明によれば、計算負荷を減らしつつ同時に複数の輪郭抽出を行えるが、例えば、本発明を室内監視カメラに適用して動的輪郭抽出された領域以外の情報をキャンセルすれば、さらに情報量を削減しながら注目すべき監視対象物の画像のみを長時間保存することもできる。
また、自律二足歩行ロボットの場合、歩行制御、外部環境認識、ヒト指示への応答など多くの複雑な処理を可能な限り短時間で行う必要があるが、本発明は輪郭抽出処理の計算負荷を削減し、かつ、早いタイミングで必要な輪郭分裂を実現するので、実環境における自律二足歩行ロボットの応答性を顕著に高めることができる。
なお、連続的に抽出される対象物の輪郭を画像と共に図示しない表示装置に表示すれば、管理者が画像内の物体の有無などを把握したり、図８〜図１０を用いて説明した各種閾値の調整に有効である。
【図面の簡単な説明】
【００８０】
【図１】輪郭抽出システムＡの全体構成を示すブロック図である。
【図２】（ａ）は距離画像Ｐ１、（ｂ）は差分画像Ｐ２、（ｃ）はエッジ画像Ｐ３を示す図である。
【図３】対象距離の設定について説明するための図である。
【図４】対象領域Ａの設定について説明するための図である。
【図５】（ａ）は節点の配置について説明するための図であり、（ｂ）は輪郭の変形について説明するための図である。
【図６】節点間距離の測定について説明するための図である。
【図７】接続線の設定について説明するための図である。
【図８】輪郭抽出システムＡの動作における、「撮像画像解析ステップ」と「対象領域設定ステップ」を説明するためのフローチャートである。
【図９】輪郭抽出システムＡの動作における、「輪郭抽出ステップ」を説明するためのフローチャートである。
【図１０】輪郭抽出システムＡの動作における、「輪郭抽出ステップ」を説明するための第２のフローチャートである。
【図１１】従来の輪郭分裂手法を説明するための図である。
【図１２】従来の輪郭分裂手法を説明するための図である。
【符号の説明】
【００８１】  Ａ      輪郭抽出システムＡ
１      カメラ
２      撮像画像解析装置
３      輪郭抽出装置
３１    対象領域設定手段
３１Ａ  対象距離検出部
３１Ｂ  対象領域設定部
３２    輪郭抽出手段
３２Ａ  節点配置部
３２Ｂ  輪郭変形部
３２Ｃ  節点間距離測定部
３２Ｄ  接続線設定部
【図１】
2005004060.tif 000008
【図２】
2005004060.tif 000009
【図３】
2005004060.tif 000010
【図４】
2005004060.tif 000011
【図５】
2005004060.tif 000012
【図６】
2005004060.tif 000013
【図７】
2005004060.tif 000014
【図８】
2005004060.tif 000015
【図９】
2005004060.tif 000016
【図１０】
2005004060.tif 000017
【図１１】
2005004060.tif 000018
【図１２】
2005004060.tif 000019
【手続補正書】
【提出日】平成16年10月14日(2004.10.14)
【手続補正００１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
（削除）
【請求項２】
（補正後）カメラによって対象物を撮像した画像から、前記対象物の輪郭を抽出するための装置であって、
前記画像内において、前記対象物を含む領域の周縁に、複数の節点を配置する節点配置部と、
前記節点を予め定義されたエネルギ関数が最小となるように移動させることにより、前記節点を所定の順序で連結して形成される輪郭を変形させる輪郭変形部と、
隣り合う節点同士を除く、全ての節点の組み合わせについての節点間距離を測定する節点間距離測定部と、
前記節点間距離が、前記対象物までの距離に応じて設定される第１の閾値以下となる２つの節点が検出された場合、その一方の節点から他方の節点の先頭側又は後ろ側にある隣の節点に新たな接続線を設定することで前記輪郭を分裂させる接続線設定部と
を備えたことを特徴とする輪郭抽出装置。
【請求項３】
前記第１の閾値は、前記対象物までの距離が近いほど大きくなるように設定されることを特徴とする請求項２に記載の輪郭抽出装置。
【請求項４】
前記画像から生成した前記対象物の距離情報、動き情報及びエッジ情報に基づいて、前記対象物の画素を含む領域を設定する対象領域設定手段をさらに備え、
前記節点配置部は、前記対象領域設定手段によって設定された対象領域の周辺上に、複数の節点を配置することを特徴とする請求項２又は請求項３に記載の輪郭抽出装置。
【請求項５】
前記対象領域設定手段は、動きが検出されている画素が、第２の閾値よりも多く検出されている距離を対象距離とし、該対象距離から所定の前後幅を持つ領域内の画像を反映した画素のエッジ情報を得て、エッジの検出されている画素の累計値が最大となっている画素列を中心として対象領域を設定することを特徴とする請求項４に記載の輪郭抽出装置。
【請求項６】
前記対象領域設定手段は、前記中心線から左右に５０ｃｍの幅を有し、かつ、２ｍの高さを有する矩形領域を対象領域として設定することを特徴とする請求項５に記載の輪郭抽出装置。
【請求項７】
前記対象領域設定手段は、予め設定された所定数の輪郭が抽出されたか、別の対象領域が設定できなくなったと判断されるまで、新たな対象領域の設定処理を繰り返すことを特徴とする請求項４から請求項６のいずれか一項に記載の輪郭抽出装置。
【請求項８】
前記対象領域設定手段は、新たな対象領域を設定する際に、既に抽出した輪郭領域及び対象物が存在しないと判断された領域以外の領域から、新たな領域を設定することを特徴とする請求項７に記載の輪郭抽出装置。
【請求項９】
（補正後）前記対象領域設定手段は、前記カメラから得られる色情報をも用いて前記対象領域を設定することを特徴とする請求項４から請求項８のいずれか一項に記載の輪郭抽出装置。
【請求項１０】
（補正後）カメラによって対象物を撮像した画像から、前記対象物の輪郭を抽出するための方法であって、
前記画像内において、前記対象物を含む領域の周縁に、複数の節点を配置する節点配置ステップと、
前記節点を予め定義されたエネルギ関数が最小となるように移動させることにより、前記節点を所定の順序で連結して形成される輪郭を変形させる輪郭変形ステップと、
隣り合う節点同士を除く、全ての節点の組み合わせについての節点間距離を測定する節点間距離測定ステップと、
前記節点間距離が、前記対象物までの距離に応じて設定される第１の閾値以下となる２つの節点が検出された場合、その一方の節点から他方の節点の先頭側又は後ろ側にある隣の節点に新たな接続線を設定することで前記輪郭を分裂させる接続線設定ステップと
を含むことを特徴とする輪郭抽出方法。
【請求項１１】
（補正後）カメラによって対象物を撮像した画像から、前記対象物の輪郭を抽出するために、コンピュータを、
前記画像内において、前記対象物を含む領域の周縁に、複数の節点を配置する節点配置手段と、
前記節点を予め定義されたエネルギ関数が最小となるように移動させることにより、前記節点を所定の順序で連結して形成される輪郭を変形させる輪郭変形手段と、
隣り合う節点同士を除く、全ての節点の組み合わせについての節点間距離を測定する節点間距離測定手段と、
前記節点間距離が、前記対象物までの距離に応じて設定される第１の閾値以下となる２つの節点が検出された場合、その一方の節点から他方の節点の先頭側又は後ろ側にある隣の節点に新たな接続線を設定することで前記輪郭を分裂させる接続線設定手段と
として機能させることを特徴とする輪郭抽出プログラム。
【国際調査報告】
2005004060.tif 000020
2005004060.tif 000021