(57)【特許請求の範囲】
【請求項１】
電子画像内で物体のセグメントを求める方法であって、セグメントは画像の部分であり、
教師なし学習によって複数の基本フィルタ・マップ（Ｆｉ）から得られた、複数の２値化マップ（Ｂｉ）を形成するステップと、
関連性マップ（ＩＲＥＬ）を形成するステップと、
該関連性マップを選択基準として使用して、該複数の２値化マップ（Ｂｉ）からセグメントの選択を形成するステップと、
該選択に基づいて、物体マップを形成するステップと、を含む物体のセグメントを求める方法。
【請求項２】
セグメントと前記関連性マップとの重複によって、該セグメントが物体に属する確率を推定するステップをさらに備える、請求項１に記載の方法。
【請求項３】
複数の２値化マップ（Ｂｉ）を形成するステップが、
基本フィルタ・マップ（Ｆｉ）を使用して訓練データベクトル
【数１】
0004567660.tif 000021
を形成するステップと、
ベクトル定量化ネットワーク（ＶＱ）を使用して前記訓練データベクトル
【数２】
0004567660.tif 000022
からコードブック・ベクトル
【数３】
0004567660.tif 000023
を取得するステップと、
前記訓練データベクトル
【数４】
0004567660.tif 000024
および前記コードブック・ベクトル
【数５】
0004567660.tif 000025
から適応トポグラフィック・アクチベーション・マップ（ＶＪ）を生成するステップと、前記適応トポグラフィック・アクチベーション・マップ（ＶＪ）を２値化して、２値化マップ（Ｂｉ）を取得するステップと、を備える、請求項１または２に記載の方法。
【請求項４】
前記アクチベーション・マップの生成は、固定数の訓練ステップを備える標準ベクトル定量化ネットワークＶＱを採用する、請求項３に記載の方法。
【請求項５】
前記訓練データベクトル
【数６】
0004567660.tif 000026
が、ピクセル位置（ｘ，ｙ）を特徴として含む、請求項３に記載の方法。
【請求項６】
前記訓練データベクトル
【数７】
0004567660.tif 000027
の各成分が、その分散σ（ｍｉ）２によりそれぞれ正規化される、請求項３に記載の方法。
【請求項７】
前記訓練データベクトルの各成分が、追加重み係数（ζｉ）により重み付けされる、請求項３に記載の方法。
【請求項８】
前記コードブック・ベクトルＣＪが、
画像からランダムな（ｘ，ｙ）位置を抽出するステップと、
この位置においてベクトル
【数８】
0004567660.tif 000028
を生成するステップと、
現在のコードブックのすべてのＣＪまでのｍ（ｘ，ｙ）の最小距離（ｄｍｉｎ）を計算するステップと、
新たなコードブック・ベクトル
【数９】
0004567660.tif 000029
を割り当てるステップと、によって得られる、請求項３に記載の方法。
【請求項９】
ｄｍｉｎがしきい値（ｄ’）よりも大きな場合、前記新たなコードブック・ベクトル
【数１０】
0004567660.tif 000030
が、
【数１１】
0004567660.tif 000031
と等しくなり、その他の場合に、新たなベクトル
【数１２】
0004567660.tif 000032
が抽出される、請求項８に記載の方法。
【請求項１０】
前記シーン依存型適応トポグラフィック・アクチベーション・マップ（ＶＪ）が、
【数１３】
0004567660.tif 000033
として計算される、請求項３に記載の方法。
【請求項１１】
前記シーン依存型適応トポグラフィック・アクチベーション・マップ（ＶＪ）が、数式
【数１４】
0004567660.tif 000034
によって２値化される、請求項１０に記載の方法。
【請求項１２】
該関連性マップ（ＩＲＥＬ）が、中央マップＩＣおよび視差マップＩＤＩＳＰから付加的な重ね合わせとして計算される、請求項１に記載の方法。
【請求項１３】
物体マップを形成するステップが、皮膚色領域を除外する、請求項１に記載の方法。
【請求項１４】
２値化マップ（Ｂｉ）が物体に属する確率が、該関連性マップ（ＩＲＥＬ）と該２値化マップとの交差領域のピクセルの数（ｉｎＰｉｘ）を、該関連性マップを除いた該２値化マップのピクセル数（ｏｕｔＰｉｘ）で割った値によって推定される請求項２に記載の方法。
【請求項１５】
推定された確率が所定のしきい値よりも大きい場合、該２値化マップ（Ｂｉ）は、該物体マップに含まれる、請求項１４に記載の方法。
【請求項１６】
該物体マップ（ＩＦｉｎａｌ）は選択された２値化マップ（Ｂｉ）の付加的な重ね合わせとして計算され、皮膚色ピクセルはこのマップから削除される（ＩＦｉｎａｌ＝ΣｉＢｉ−ＩＳｋｉｎ）、請求項１３に記載の方法。
【請求項１７】
コンピュータにロードされて実行されるときに、請求項１乃至１６のいずれかに記載の方法を実行するソフトウェア。
【請求項１８】
請求項１７に記載のソフトウェアが格納されるコンピュータ読み取り可能媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機械によるデジタル画像処理の分野に関する。特に、本発明は、実世界のシーンにおける機械による注意制御、シーンのセグメンテーション、および物体認識の問題に関する。
【背景技術】
【０００２】
インテリジェントな人間−機械のインタラクションを実現するため、注意制御（attention control）および物体認識（object recognition）は重要な課題として広く認識されている。実世界のシーンにおいてシーンのセグメンテーション（segmentation、セグメント化、分割、区分）および物体認識が困難であるため、この領域の多くの作業は、たとえば整理された背景、前景物体の均質な配色、または定義済みの物体の種類などの明示的または黙示的に制約されるシナリオに専念してきた。しかし、下位レベルの先入観と物体表現の記号レベルとの間のギャップを埋めることは、依然として困難である。
【０００３】
物体学習の現在最も強力な手法は、確率論およびベイズの方法に基づくものである（非特許文献１）。Ｊ．ＷｉｎｎおよびＮ．Ｊｏｉｊｉｃは（非特許文献２）、学習規範型物体（learning prototypic object）のカテゴリを、本来の画像とは異なる形状で示す。しかし、彼らの方法は計算処理的に極めて要求が厳しく、オンラインおよびインタラクティブ学習には適していない。
【０００４】
ビジュアル処理を容易にし、検索スペースを軽減するため、多くの認知視覚システムでは視覚制御に基づく注意を使用して固視点（fixation）を生成する。下位レベルにおいて、注意制御は多くの場合、地形的に順序付けられたマップ（topographically ordered map）に基づいてある関心点にシステムリソースを集中させる（非特許文献３）。これらのマップでは大部分が、色、有向エッジ（oriented edge）、または輝度などの単純な刺激を使用するが、より上位レベルの情報を統合するためのメカニズムも提案された（非特許文献４）。意味論的レベルに到達するための１つの手法は、全体論的な物体分類体系により現在の固視点において既知の物体を検索することであり（非特許文献５）、認識された物体を記号メモリに格納することである（非特許文献６および非特許文献７）。さまざまな視点からの膨大量の訓練画像が必要になるため、物体分類自体はあらかじめオフラインで訓練しておく必要がある。
【０００５】
セグメンテーションと認識には密接な関係性があると一般に考えられており、一部の著者は両手法を同時に解決しようと試み（たとえば、非特許文献８を参照）、その結果オンライン機能によらないかなり複雑なアーキテクチャに至る。より伝統的な手法において、セグメンテーションは、認識に対して独立した前処理段階として扱われる。しかし、物体に関する先験的知識は使用できないため、そのような学習コンテキストにおいては、教師なしの（unsupervised）セグメンテーションを使用することが極めて重要である。
【０００６】
教師なしセグメンテーションを可能にするため、いくつかのクラスタ・ベースのセグメンテーションの手法（非特許文献９および非特許文献１０）では、さまざまな色空間と、場合によってはピクセル座標を特徴空間として使用する。彼らは、Ｋ平均（K-means）または自己組織化マップ（self organizing map：ＳＯＭ）のようなベクトル量子化法を適用して、この空間を分割し、コードブック・ベクトル（codebook vector）に関して画像を区分化する。同様に、一部の手法では、色にインデックスを付け、このインデックス空間を定量化して、この定量化をセグメントに背景映写する（非特許文献１１および非特許文献１２）。そのような定量化法は高速となる可能性を秘めているが、物体が均質的に彩色される必要があり、１つのセグメントによってカバーされうることを想定する。立体画像が使用可能である場合、視差情報はセグメンテーション・キューとして使用することができ（非特許文献１３）、一部の手法では追加の色セグメンテーションによって信頼できない視差情報をサポートしようと試みる（非特許文献１４）。これらの方式において、色セグメンテーションは学習されず、根底にある強い均質性の前提を使用する。黙示的には、これらの手法では区分化する物体が相互に分離されることも想定されるが、これは現実のシナリオにおいて、特に人間が学習対象の物体を操作して機械に提示する場合、あてはまらない。
【０００７】
一部の手法は、教師なしの色クラスタリング法を、他のソースから導出された物体に関するトップダウンの情報と組み合わせるためになされた（非特許文献１５および非特許文献１６）。この手法は、教師なしステップにおいて、より小さいセグメントが生成され、それが物体を過剰に区分化することができるという利点を備えている。したがって、均質性の前提は緩和できるが、トップダウンの情報は、結果として生じるあいまいさを解決するのに十分でなければならない。
【０００８】
したがって、前述の非特許文献１５において、教師なしステップは、ツリーで順序付けられたセグメントの階層および連続的な最適化手順を生成して、トップレベル情報に基づくコスト関数に関して物体に属すことを示すラベルをセグメントに付けることからなる。
【０００９】
この方法の複雑さは、ピクセルの数では線形であるが、依然として、毎秒数フレームというリアルタイム・パフォーマンス処理を可能にするほど十分な高速さを備えてはいない。
【非特許文献１】Krishnapuram B., C. M. Bishop, and M. Szummer, “Generative models and Bayesian model comparison for shape recognition”, Proceedings Ninth International Workshop on Frontiers in Handwriting Recognition, 2004
【非特許文献２】J. Winn and N. Joijic, “Locus: Learning object classes withunsupervised segmentation”, Intl. Conf. on Computer Vision, 2005
【非特許文献３】Joseph A. Driscoll, Richard Alan Peters II and Kyle R. Cave, “A visual attention network for a humanoid robot”, Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems（IROS-98）, Victoria, B. C. , 1998年10月12〜16日
【非特許文献４】J．J．Steil、G．Heidemann、J．Jockusch、R．Rae、N．Jungclausand H．Ritter, “Guiding attention for grasping tasks by gestural instruction: The gravis-robot architecture”, Proc．IROS 2001, pages 1570-1577, IEEE, 2001
【非特許文献５】J．J．Steil and H．Ritter, “Learning issues in a multi-modal robot-instruction scenario”, IEEE Int. Conf. Robotics, Intelligent Systems and Signal Processing, 2003
【非特許文献６】G．Heidemann, “A  multi-purpose  visual  classification  system”, In B．Reusch、Editor、Proc．7th  Fuzzy  Days、Dortmund、2001、pages 305-312、Springer-Verlag、2001
【非特許文献７】G．Heidemann and H．Ritter, “Combining  multiple  neural  nets  for  visual  feature  selection  and  classification”, Proceedings  of  ICANN  99、1999
【非特許文献８】Stella X. Yu, Ralph Gross, and Jianbo Shi, “Concurrent  object  recognition  and  segmentation  by  graph  partitioning”, Online  proceedings  of  the  Neural  Information  Processing  Systems  conference、2002
【非特許文献９】Guo Dong and Ming Xie, “Color  clustering  and  learning  for  image  Segmentation  based  on  neural  networks”, IEEE  Transactions  on  Neural  Networks、16(14):925-936、2005
【非特許文献１０】Y. Jiang and Z. -H. Zhou, “Some  ensemble-based  image  Segmentation”, Neural  Processing  Letters、20(3):171-178、2004
【非特許文献１１】Jung Kim Robert Li, “Image  compression  using  fast  transformed  vector  quantization”, Applied  Imagery  Pattern  Recognition  Workshop、page 141、2000
【非特許文献１２】Dorin Comaniciu and Richard Grisel, “Image  coding  using  transform  vector  quantization  with  training  set  synthesis”, Signal  Process．，82(11):1649-1663、2002
【非特許文献１３】N. H. Kim and Jai Song Park, “Segmentation  of  object  regions  using  depth  information”, ICIP、pages 231-234、2004
【非特許文献１４】Hai Tao and Harpreet S. Sawhney, “Global  matching  criterion  and  Color  Segmentation  based  stereo”, Workshop  on  the  application  of  Computer  Vision、pages 246〜253、2000
【非特許文献１５】E. Borenstein, E. Sharon, and S. Ullman, “Combining  top-down  and  bottom-up  Segmentation”, 2004  Conference  on  Computer  Vision  and  Pattern  Recognition  Workshop  （CVPRW’04）、4:46、2004
【非特許文献１６】M．J．Bravo  and  H．Farid, “Object  Segmentation  by  top-down  processes”, Visual  Cognition、10(4):471-491、2003
【発明の開示】
【発明が解決しようとする課題】
【００１０】
したがって、本発明の目的は、電子画像内で物体のセグメント（segment、部分、切片、区分）を決定するための高速な方法およびシステムを提供することである。方法またはシステムは、たとえば毎秒数フレームのリアルタイム処理を可能にする十分な速さであることが好ましい。
【課題を解決するための手段】
【００１１】
この問題は、請求項１に記載の方法、独立請求項２１に記載のソフトウェア、および独立請求項２２に記載のコンピュータ・プログラムによって解決される。有利な実施形態は、従属請求項において定義される。
【００１２】
電子画像内の物体のセグメントを決定する方法は、複数特徴の（multi-featured）セグメンテーションを教師なし学習するステップおよび関連性マップ（relevance map）を形成するステップを備えることができる。
【００１３】
方法はさらに、セグメントおよび関連性マップの重複によってセグメントが物体に属する確率を推定するステップを備えることができる。
【００１４】
方法において、複数特徴セグメンテーションを教師なし学習するステップはさらに、基本フィルタ・マップを使用して訓練データベクトルを形成するステップと、ベクトル定量化ネットワーク（vector quantization network：ＶＱ）を使用して訓練データベクトルからコードブック・ベクトルを取得するステップと、訓練データベクトルおよびコードブック・ベクトルから適応トポグラフィック・アクチベーション・マップ（adaptive topographic activation map）を生成するステップと、適応トポグラフィック・アクチベーション・マップを２値化して２値化（binarised）適応トポグラフィック・アクチベーション・マップを取得するステップと、を備えることができる。
【００１５】
この方法において、アクチベーション・マップの生成は、固定数の訓練ステップを備える標準ベクトル定量化ネットワークを採用してもよい。適用されるベクトル量子化法はまた、Ｋ平均法（K-means method）、自己組織化マップ、あるいは成長ニューラル・ガス（growing neural gas）または瞬時トポロジカル・マップ（instantaneous topological map）のような成長ネットワーク（growing map）であってもよい。
【００１６】
さらに、訓練データベクトル
【数１】
0004567660.tif 000002
は、ピクセル位置（ｘ，ｙ）を特徴として含むことができる。
【００１７】
訓練データベクトルの各成分は、その分散σ（ｍｉ）２により正規化することができる。訓練データベクトルの各成分はさらに、追加重み係数（additional weighting factor）により重み付けすることができる。追加重み係数は、発見的に決めることができる。
【００１８】
初期コードブック・ベクトル
【数２】
0004567660.tif 000003
は、画像からランダムな（ｘ，ｙ）位置を抽出するステップ、この位置において特徴ベクトルを生成するステップ、現在のコードブックのすべてのコードブック・ベクトルまでのこのベクトルの最小距離を計算するステップ、および新たなコードブック・ベクトルを割り当てるステップによって取得される。新たなコードブック・ベクトルは、最小距離がしきい値よりも大きく、新たな特徴ベクトルが他の方法で抽出される場合、ランダムに抽出されたベクトルと等しくなりうる。その後の入力画像に対して、すでに既存のコードブック・ベクトルは、標準ＶＱ学習ステップを使用して適合される。
【００１９】
さらに、シーン依存型（scene dependent）適応トポグラフィック・アクチベーション・マップ（Ｖｊ）は、
【数３】
0004567660.tif 000004
として計算することができる。シーン依存型適応トポグラフィック・アクチベーション・マップ（Ｖｊ）は、すべてのｊにわたる勝者決定競合（winner-take-all competition）によって２値化することができる。さらに、関連性マスク（relevance mask）は、中央マップおよび視差マップから付加的な重ね合わせとして計算することができる。
【００２０】
関連性マップは、どの適応シーン依存型フィルタ（Adaptive Scene Dependent Filter：ＡＳＤＦ）の組み合わせが選択されるべきかを明らかにするために使用することができる。方法はさらに、皮膚色マスクを形成／皮膚色を検出するステップを備えることができる。適応皮膚色セグメンテーションはさらに、最終マスク（final mask）から皮膚色領域を除外することができる。
【００２１】
関連マスクと２値化されたトポグラフィック・アクチベーション・マップとの間の交差領域のピクセル数、および関連マスクなしの２値化トポグラフィック・アクチベーション・マップのピクセル数は、適切なマスクを選択するために使用することができる。マスクが物体に属する確率は、関連マスクとトポグラフィック・アクチベーション・マップとの間の重複によって推定される。相対度数が所定のしきい値よりも大きい場合、マスクは最終セグメント・マスクに含めることができる。最終マスクは、選択されたアクチベーション・マップの付加的な重ね合わせとして計算することができ、皮膚色ピクセルはこのマスクから削除することができる。
【００２２】
本発明のさらなる態様および利点は、付属の図面と共に以下の詳細な説明を読めば明らかとなろう。
【発明を実施するための最良の形態】
【００２３】
図１は、適応シーン依存型フィルタ（ＡＳＤＦ）１１０、関連性マップ１２０、および皮膚色検出１３０を、物体マップ決定モジュール１４０の入力として使用する、画像セグメンテーションおよび物体認識のための多段階およびマルチパスＡＳＤＦ処理スキームの概要を示している。物体マップ決定モジュール１４０は、セグメンテーション・マスクを求めるが、これはその後、物体認識モジュール１５０において使用される。
【００２４】
縦の点線は、処理体系が二重であることを示している。最初に、セグメンテーション・マスクが導出される。次に、取得されたセグメンテーション・マスクは、物体認識モジュールによって使用される。
【００２５】
本発明は主として、前述の３つの入力１１０、１２０、および１３０を取得して、そのようなセグメンテーション・マスクを導出するためにこれらの入力を組み合わせる第１のステップに関係している。
【００２６】
図２を参照して、適応シーン依存型フィルタ１１０を取得するプロセスが最初に説明される。
【００２７】
完全な視覚アーキテクチャの初期段階において、入力画像に対する低レベルのフィルタ操作または基本フィルタ・マップが提供されることが想定される。純色セグメンテーションスキームとは対照的に、結合特徴空間を形成するためのエッジ・マップ、輝度、差分画像、速度フィールド、視差、画像位置、またはさまざまな色空間のようなあらゆる種類のトポグラフィック特徴マップの組み合わせが許容される。本発明において、ピクセル位置（ｘ，ｙ）において特徴
【数４】
0004567660.tif 000005
を持つＭ個のそのような基本フィルタ・マップＦｉが、第１層に使用される：
【数５】
0004567660.tif 000006
ここで、（ｘ，ｙ）はそれぞれのピクセル・インデックスであり、
【数６】
0004567660.tif 000007
は特徴としてピクセル位置を含む。各成分は、その分散σ（ｍｉ）２により正規化される。ζｉは、追加の発見的に決められた重み係数（weighting factor）であるが、これは別のマップの相対的重要度に重み付けするために使用することができる。
【００２８】
第２層において、ベクトル定量化ネットワーク（vector quantization network：ＶＱ）は、最も度数が高く顕著な特徴の組み合わせを表すＮ個の原型コードブック・ベクトル
【数７】
0004567660.tif 000008
を取得するために採用される。適用されるベクトル量子化法は、Ｋ平均法、自己組織化マップの変種（flavor）、あるいは成長ニューラル・ガスまたは瞬時トポロジカル・マップのような成長ネットワークであってもよい。以下において、アクチベーション・マップの生成は、固定数の訓練ステップ（計算を加速するため）および訓練データ
【数８】
0004567660.tif 000009
（上記の式１を参照）を備える標準ＶＱを採用する。
【００２９】
各ステップにおいて、最小距離
【数９】
0004567660.tif 000010
が計算され、最小距離を持つ勝者（winning）コードブック・ベクトルが標準ＶＱ規則（standard VQ rule）を通じて適合される。
【００３０】
ＶＱコードブックＣの初期化では、空のコードブックから開始し、以下の手順により新たなコードブック・ベクトルを付加的に割り当てることができる。
【００３１】
画像からランダムな（ｘ，ｙ）位置を抽出し、この位置において特徴ベクトル
【数１０】
0004567660.tif 000011
を生成し、現在のコードブックのすべての
【数１１】
0004567660.tif 000012
までの
【数１２】
0004567660.tif 000013
の最小距離ｄｍｉｎを計算する。新たなコードブック・ベクトル
【数１３】
0004567660.tif 000014
は、ｄｍｉｎに応じて以下のように割り当てられる。
【数１４】
0004567660.tif 000015
ここで
【数１５】
0004567660.tif 000016
は、コードブック・ベクトルの良好な分散を確実にするためのしきい値である。この手順は、コードブック・ベクトルの最大数に達するまで、ＶＱの各適合ステップの前に行われてもよい。
【００３２】
前述のステップは、以下のアルゴリズムにおいて実施することができる（擬似コードで記述）。
【表１】
0004567660.tif 000017
【００３３】
アルゴリズムは、Ｑの反復ステップを実行する。各ステップ内で、標準ＶＱ学習ステップが既存のコードブック・ベクトルに対して実行される。ランダムに抽出された
【数１６】
0004567660.tif 000018
がすでに既存のコードブック・ベクトルまで十分に離れた距離を有する場合、新たなコードブック・ベクトルが追加される。
【００３４】
第３層において、特徴空間の分割は、元の特徴ベクトルのコードブック・ベクトルまでの距離を各ピクセル位置に割り当てることにより、コードブック・ベクトルごとに新たな適応特徴マップを生成する。
【００３５】
第３層の入力は、適応コードブックＣおよび基本フィルタ・マップＦｉからなる。コードブックに基づいて、Ｎ個のシーン依存型アクチベーション・マップ（Ｖｊ）は、以下のように計算される。
【数１７】
0004567660.tif 000019
【００３６】
適応マップ間の更なる勝者決定競合は、互いに素なセグメントを取得するために使用される。これは、マップＶｊを以下のように２値化することにより達成される。
【数１８】
0004567660.tif 000020
【００３７】
物体マップ決定ユニットの課題は、着目された物体を区分化するためのＡＳＤＦの組み合わせを明らかにすることである。これは、適切な選択基準を使用して、再結合ステップにおいて行われる。
【００３８】
関連性マップは、適切な選択基準として使用することができる。関連性マップは、着目された物体周囲の粗い領域の予測マスクとしての役割を果たすことができる。この領域は、適応シーン依存型フィルタのセットから適切なフィルタを見つけ出すための手がかりとして使用することができる。
【００３９】
図３に示されているように、関連性マップは、参照番号３１０によって示される中央マップＩＣ、および参照番号３２０によって示される視差（disparity）マップＩＤｉｓｐから付加的な重ね合わせとして計算することができる。関連性マップの出力は、参照番号３３０によって示される画像マスクＩＲｅｌを備えている。
【００４０】
再結合ステップでは、関連性マップからの情報を使用して、どのセグメントが物体に属するかを決定する。Ｅ．Ｂｏｒｅｎｓｔｅｉｎ、Ｅ．ＳｈａｒｏｎおよびＳ．Ｕｌｌｍａｎによる手法（前述の非特許文献１５を参照）とは対照的に、この再結合のステップは、学習対象の物体に関する明示的な前提を使用せず、注意システムからの情報のみに依存して関心領域を定義するが、それは使用可能な場合に視差情報またはその他の手がかりによって改良することができる。処理を加速するために、関心領域にあると想定される、セグメントが物体に属する確率は、セグメントの関連性マップとの重複によって推定することができる。
【００４１】
関連性マップはさらに、領域をゼロの関連度に設定するセグメントを特に除外することができるようにする。これは、別個の特化された処理パスにおいて検出される皮膚および手の色を表す領域を減算するために使用することができる。常に、完全なセグメントまたはセグメントの連結コンポーネントが受け入れられるので、さらに初期の関心領域の外側になるピクセルは、最終マスクに含めることができる。
【００４２】
入力画面内にあっても関心領域の外側にある物体は、区分化されず、計算時間を節約することができる。アーキテクチャは、関連性マップによって定義された注意の焦点において物体を区分化するために、あらゆる種類の画像に適応することができ、特に、任意の背景の前面にいる人間のパートナーによって提示される「手持ちの物体（objects in hand）」のオンライン学習の状況において使用することができる。
【００４３】
この目的のために、ＩＲｅｌおよびＢｉの交差領域のピクセルの数ｉｎＰｉｘ（ｉｎＰｉｘ＝＃（Ｂｉ＼ＩＲｅｌ））および、ＩＲｅｌなしのＢｉのピクセルの数ｏｕｔＰｉｘ（ｏｕｔＰｉｘ＝＃（Ｂｉ＼ＩＲｅｌ））が計算される。これらの２つのパラメータは、適切なマスクを選択するために使用することができる。マスクＢｉが物体に属する確率は、相対度数ｏｕｔＰｉｘ／ｉｎＰｉｘによって推定することができる。ｏｕｔＰｉｘ／ｉｎＰｉｘ＜０．２である場合に、マスクは最終セグメント・マスクＩＦｉｎａｌに含めることができる。
【００４４】
適応皮膚色セグメンテーションは、最終マスクから皮膚色領域を除外することができる。最終マスクＩＦｉｎａｌは、選択されたＢｉの付加的な重ね合わせとして計算することができ、皮膚色ピクセルはこのマスクから削除することができる：
（ＩＦｉｎａｌ＝ΣｉＢｉ−ＩＳｋｉｎ）
図４は、２値化ＡＳＤＦセグメントＢｉを示している。セグメント５、７、９、１１、１２、および１３の組み合わせは、示されている物体の物体・マスクを構成している。マスク番号９は、輪郭の一部をもたらし、色特徴に特化されないことに留意されたい。
【００４５】
図５は、アーキテクチャのセグメンテーション結果（入力画像、視差マスク、および最終セグメンテーション）を示す。
【図面の簡単な説明】
【００４６】
【図１】適応フィルタ、関連性マップ、皮膚色検出および物体認識モジュールを使用する画像セグメンテーションおよび物体認識のためのマルチパスＡＳＤＦ処理スキームを示す図である。
【図２】多段ＡＳＤＦアーキテクチャを示す図である。
【図３】関連性マップのコンポーネントを示す図である。
【図４】２値化ＡＳＤＦセグメントＢｉを示す図である。
【図５】アーキテクチャのセグメンテーション結果（入力画像、視差マスク、および最終セグメンテーション）を示す図である。
【符号の説明】
【００４７】
１１０  適応シーン依存型フィルタ（ＡＳＤＦ）
１２０  関連性マップ
１３０  皮膚色検出
１４０  物体マップ決定モジュール
１５０  物体認識モジュール
Ｂｉ  ２値化適応トポグラフィック・アクチベーション・マップ
ＣＪ  コードブック・ベクトル
Ｆｉ  基本フィルタ・マップ
ＩＣ  中央マップ
ＩＤＩＳＰ  視差マップ
ＩＲＥＬ  関連マスク
Ｉｆｉｎａｌ  最終セグメント・マスク
ＶＪ  適応トポグラフィック・アクチベーション・マップ
ＶＱ  ベクトル定量化ネットワーク
【図１】
0004567660.tif 000035
【図２】
0004567660.tif 000036
【図３】
0004567660.tif 000037
【図４】
0004567660.tif 000038
【図５】
0004567660.tif 000039