(57)【要約】【課題】　事前に把握してない対象物が現れる未知の環境でも、人工視覚認識の効率的なブートストラップを可能にする。【解決手段】　同期された時間ステップの対を連続的に設定し；遅延時間τ０で隔てられた同期時間ステップの各対での２つの連続画像を比較し、対象物の動きの特徴化を考慮して該２つの連続画像の各画素間の距離を算出することでデルタ画像Δｔを取得し；デルタ画像Δｔから特徴部分を抽出して、レパートリーに予め記憶されていた動的パッチと比較されるべき動的パッチ候補Ｐｔを求め；レパートリーの中から類似性が最も高い動的パッチＤｉを選択、あるいは、類似性が高い動的パッチが無い場合には動的パッチ候補Ｐｔをレパートリーに加えることで動的パッチＤｉを取得保存し；レパートリーに保存された動的パッチＤｉを時間的に統合して、観測された再発生している動き又はイベントの特徴を示すアクティブな動的パッチの安定セットを検出保存する。【選択図】　図７
2004133940.tif 000002
【特許請求の範囲】
【請求項１】
　適応型人工視覚方法において、
　（ａ）同期された時間ステップの対（ｔ−１、ｔ；ｔ、ｔ＋１；・・・）を、該対に含まれる２つの同期時間ステップの時間差τが予め定めた遅延時間τ０となるように、連続的に設定し、
　（ｂ）前記予め定めた遅延時間τ０で隔てられた同期時間ステップの各対（ｔ−１、ｔ；ｔ、ｔ＋１；・・・）における２つの連続する画像（Ｉ−１、Ｉ；Ｉ、Ｉ＋１；・・・）を比較し、該２つの連続画像間での対象物の動きを特徴化を考慮して、該２つの連続画像の各画素間の距離を算出することによってデルタ画像Δｔを取得し、
　（ｃ）前記デルタ画像Δｔから特徴部分を抽出することで、空白の初期レパートリーにおいてリアルタイムで順次構築されてきた第１のレパートリーＲｄに予め記憶されていた動的パッチと比較されるべき動的パッチ候補Ｐｔを求め、
　（ｄ）前記第１のレパートリーＲｄの中から類似性が最も高い動的パッチＤｉを選択するか、あるいは、類似性が高い動的パッチが無い場合には前記動的パッチ候補Ｐｔを前記第１のレパートリーＲｄに加えることで、前記同期時間ステップの各対（ｔ−１、ｔ；ｔ、ｔ＋１；・・・）における２つの連続画像（Ｉ−１、Ｉ；Ｉ、Ｉ＋１；・・・）の比較から動的パッチＤｉを取得して保存し、
　（ｅ）前記第１のレパートリーＲｄに保存された動的パッチＤｉを時間的に統合して、観測された再発生している動き又はイベントの特徴を示すアクティブな動的パッチの安定セットを検出し、保存する適応型人工視覚方法。
【請求項２】
　前記再発生している動きの特徴を示すアクティブな動的パッチの安定セットが検出された場合、該動きの中心が識別され、該動きの中心から予め定めた距離ｄにおける静的パターンの認識処理により静的パッチが取得され、第２のレパートリーＲｓに格納される与えられた時間ステップでのアクティブな静的パッチＳｉのセットを構成するように、該静的パッチが分析されることを特徴とする請求項１に記載の適応型人工視覚方法。
【請求項３】
　観測された既知の再発生している動きに繰り返し関与している対象物の特徴を示すアクティブな静的パッチの安定セットを検出し格納するために、前記第２のレパートリーＲｓに格納された静的パッチＳｉが空間的に統合されることを特徴とする請求項２に記載の適応型人工視覚方法。
【請求項４】
　前記静的パターン認識及び前記静的パッチ生成の処理は、前記再発生している動きの特徴を示すアクティブな動的パッチの安定セットが検出された後、開始されることを特徴とする請求項２又は３に記載の適応型人工視覚方法。
【請求項５】
　前記静的パターン認識及び前記静的パッチ生成の処理は、前記動的動き認識及び動的パッチ生成の処理と共に開始され、前記再発生している動きの特徴を示すアクティブな動的パッチの安定セットが検出された場合、前記静的パターン認識処理は、前記識別された動きの中心を中心とする限定された画像領域に位置する静的パッチについてのみ継続されることを特徴とする請求項２又は３に記載の適応型人工視覚方法。
【請求項６】
　前記２つの連続画像（Ｉｔ−１、Ｉｔ）の各ピクセル間の距離の算出の際には、最も顕著な差だけを残すためにフィルタ関数ｆｔｈが用いられ、前記デルタ画像Δｔは
　Δｔ＝ｆｔｈ（｜｜（Ｉｔ−１、Ｉｔ）｜｜）
により求められることを特徴とする請求項１乃至５のいずれか１項に記載の適応型人工視覚方法。
【請求項７】
　前記フィルタ関数ｆｔｈは閾値関数であることを特徴とする請求項６に記載の適応型人工視覚方法。
【請求項８】
　前記デルタ画像Δｔから特徴を抽出するステップには、各色要素に対する分布のガウス色モデルの算出が含まれることを特徴とする請求項１乃至７のいずれか１項に記載の適応型人工視覚方法。
【請求項９】
　前記デルタ画像Δｔから特徴を抽出するステップには、色要素、形状及びテクスチャのいずれかに対する分布をモデル化するヒストグラムを用いることを特徴とする請求項１乃至７のいずれか１項に記載の適応型人工視覚方法。
【請求項１０】
　前記静的パッチは、１つの特徴点が検出された場合、同期時間ステップｔにおいて提供された画像Ｉｔでの特徴点群（ｘ、ｙ）に基づき取得されるものであり、囲んでいるピクセルに対応する領域Ｒｘ、ｙが定義され、該領域Ｒｘ、ｙから特徴を抽出することで静的パッチの候補Ｓｘ，ｙを決定することを特徴とする請求項２乃至５のいずれか１項に記載の適応型人工視覚方法。
【請求項１１】
　前記領域Ｒｘ、ｙからの特徴抽出では、隣接ピクセルに対する色変化を測定し、該領域Ｒｘ、ｙにおける色分布の色モデルを算出することを特徴とする請求項１０に記載の適応型人工視覚方法。
【請求項１２】
　前記同期時間ステップ（ｔ−１、ｔ；Ｔ＋ｔ−１；Ｔ＋ｔ；・・・）の連続する時間ステップは、前記予め定めた遅延時間τ０のｎ倍に等しい時間Ｔで隔てられているものであり、該ｎはゼロ又は正の整数であることを特徴とする請求項１乃至１１のいずれか１項に記載の適応型人工視覚方法。
【請求項１３】
　前記同期時間ステップの連続する対（ｔ−１、ｔ；ｔ、ｔ＋１；・・・）は連続的であり、連続する同期時間ステップの２対の間が断続的ではないことを特徴とする請求項１２に記載の適応型人工視覚方法。
【請求項１４】
　再発生している動きの特徴を示すアクティブな動的パッチの安定セット間での状態遷移を検出するステップと、
　識別された一連の動きを含む複雑なイベントを予想するための状態遷移グラフを構築するステップとをさらに有する請求項１乃至１３のいずれか１項に記載の適応型人工視覚方法。
【請求項１５】
　適応型人工視覚システムにおいて、
　同期された時間ステップの対（ｔ−１、ｔ；ｔ、ｔ＋１；・・・）を、該対に含まれる２つの同期時間ステップの時間差τが予め定めた遅延時間τ０となるように、連続的に設定するクロックと、
　カメラにより提供された前記同期時間ステップ（ｔ−１、ｔ；ｔ、ｔ＋１；・・・）での画像（Ｉ−１、Ｉ；Ｉ、Ｉ＋１；・・・）を入力する入力手段と、
　前記予め定めた遅延時間τ０で隔てられた同期時間ステップの各対（ｔ−１、ｔ；ｔ、ｔ＋１；・・・）に入力された２つの連続する画像（Ｉ−１、Ｉ；Ｉ、Ｉ＋１；・・・）を比較し、該２つの連続画像の各画素間の距離を算出することによってデルタ画像Δｔを取得する第１の比較手段と、
　対象物の特徴化された動きを記述するための、可視要素部分を示す動的パッチを格納する第１の記憶手段と、
　前記デルタ画像Δｔから特徴部分を抽出し、動的パッチ候補Ｐｔを生成する特徴抽出手段と、
　比較されるべき動的パッチ候補Ｐｔと、前記第１の記憶手段に予め格納されている動的パッチとを比較する第２の比較手段と、
　前記第１の記憶手段の中から最も近い動的パッチＤｉを選択するか、あるいは、充分に近い動的パッチが無い場合には前記動的パッチ候補Ｐｔを前記第１の記憶手段に格納することで、前記同期時間ステップの各対（ｔ−１、ｔ；ｔ、ｔ＋１；・・・）における２つの連続画像（Ｉ−１、Ｉ；Ｉ、Ｉ＋１；・・・）の比較する毎に動的パッチＤｉを前記第１の記憶手段に格納する選択手段と、
　予め定めた個数Ｎ１の前記同期時間ステップの対に対応する時間ＴＦ１において前記第１の記憶手段に格納されている動的パッチＤｉの各々の頻度を算出する算出手段と、予め定めた閾値よりも高い頻度を示した動的パッチＤｉから構成されるアクティブな動的パッチのセットを決定する閾値手段とを備える第１の時間的統合手段と、
　予め定めた個数Ｎ２の前記同期時間ステップの対に対応する時間ＴＦ２において前記決定されたアクティブな動的パッチのセット各々の頻度を算出する算出手段と、予め定めた閾値よりも高い頻度を示したアクティブな動的パッチのセット各々を、再発生している動きに対応する動的パッチの安定セットとして決定する閾値手段とを備える第２の時間的統合手段とを備える適応型人工視覚システム。
【請求項１６】
　前記アクティブな動的パッチの安定セットによって示されている再発生している動きの中心を識別する手段と、
　前記再発生している動きの中心から予め定めた距離ｄにある静的パッチを分析するために静的パターン解析を開始させる手段とをさらに備える請求項１５に記載の適応型人工視覚システム。
【発明の詳細な説明】
【技術分野】
【０００１】
　本発明は、適応型人工視覚方法及び適応型人工視覚システムに関する。
【背景技術】
【０００２】
　多くの人工視覚システムにおいて、対象物は予め与えられているか又は存在しない。
【０００３】
　幾つかのシステムでは、画像の特定の特徴（色、境界など）に基づいて画像のセグメンテーションが実行されているが、このようなシステムでは、対象物を概念的に把握しているわけではない。これらのシステムでは、そのシステム自体において関心があるように見える領域が抽出されているだけである。この方法は、「対象物」が提示されているバックグランドが既知であるか又は強調されている（例えば、白いフロア上の着色された対象物）場合にはうまく機能する。このようなケースでは、自動的に抽出されたセグメンテーション要素は、ある対象物の「輪郭」と見なすことができる。
【０００４】
　また他のシステムでは、モデルとして使用されるように与えられた所定の対象物のセットにより、対象物の識別が実行される。モデルが十分に優れた品質である場合、このようなシステムの性能は、非常に優れたものになり得る（例えば非特許文献１を参照）。
【０００５】
【非特許文献１】エス　ウルマン（S. Ullman）著、「ハイレベルビジョン：対象物認識と視覚認知」ハンドブック、１９９６年、米国マサチューセッツ州ボストン、ＭＩＴプレス。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
　しかしながら、残念なことに、ある状況下では、上述した２つの条件のいずれも適合しない場合がある。これは特に、事前に知らされていない「対象物」の存在の発見を試みる、よくある未知の環境で動作するロボットの状況に該当する。この場合、対象物のセグメンテーション及び認識では、以下のように要約できるブートストラップ（bootstrapping）の問題がある。
【０００７】
　・セグメンテーションアルゴリズムは、対象物のテンプレートが提示されないと、現実の条件下ではうまく動作しない。
【０００８】
　・対象物のテンプレートは、優れたセグメンテーションアルゴリズムがないと構築できない。
【０００９】
　このような状況は、技術的な行き詰まりを招くこととなる。
【００１０】
　本発明は、前述の問題点を解消するとともに、事前に把握してない対象物が現れる未知の環境でも、人工視覚認識の効率的なブートストラップを可能にすることを目的にしている。
【課題を解決するための手段】
【００１１】
　本発明の一実施形態によれば適応型人工視覚方法が提供される。この適応型人工視覚方法においては、
　（ａ）同期された時間ステップの対（ｔ−１、ｔ；ｔ、ｔ＋１；・・・）を、対に含まれる２つの同期時間ステップの時間差τが予め定めた遅延時間τ０となるように、連続的に設定し、
　（ｂ）予め定めた遅延時間τ０で隔てられた同期時間ステップの各対（ｔ−１、ｔ；ｔ、ｔ＋１；・・・）における２つの連続する画像（Ｉ−１、Ｉ；Ｉ、Ｉ＋１；・・・）を比較し、２つの連続画像間での対象物の動きを特徴化を考慮して、２つの連続画像の各画素間の距離を算出することによってデルタ画像Δｔを取得し、
　（ｃ）デルタ画像Δｔから特徴部分を抽出することで、空白の初期レパートリーにおいてリアルタイムで順次構築されてきた第１のレパートリー（repertory）Ｒｄに予め記憶されていた動的パッチと比較されるべき、動的パッチ候補Ｐｔを求め、
　（ｄ）第１のレパートリーＲｄの中から類似性が最も高い動的パッチＤｉを選択するか、あるいは、類似性が高い動的パッチが無い場合には動的パッチ候補Ｐｔを第１のレパートリーＲｄに加えることで、同期時間ステップの各対（ｔ−１、ｔ；ｔ、ｔ＋１；・・・）における２つの連続画像（Ｉ−１、Ｉ；Ｉ、Ｉ＋１；・・・）の比較から動的パッチＤｉを取得して保存し、
　（ｅ）第１のレパートリーＲｄに保存された動的パッチＤｉを時間的に統合（integrate）して、観測された再発生している動き又はイベントの特徴を示すアクティブな動的パッチの安定セットを検出し、保存する。
【００１２】
　適応型人工視覚方法において、再発生している動きの特徴を示すアクティブな動的パッチの安定セットが検出された場合、動きの中心が識別され、動きの中心から予め定めた距離ｄにおける静的パターンの認識処理により静的パッチが取得され、第２のレパートリーＲｓに格納される与えられた時間ステップでのアクティブな静的パッチＳｉのセットを構成するように、静的パッチが分析される構成としてもよい。
【００１３】
　また適応型人工視覚方法において、観測された既知の再発生している動きに繰り返し関与している対象物の特徴を示すアクティブな静的パッチの安定セットを検出し格納するために、第２のレパートリーＲｓに格納された静的パッチＳｉを空間的に統合（integrate）してもよい。
【００１４】
　本発明の他の実施形態においては、静的パターン認識及び静的パッチ生成の処理が、再発生している動きの特徴を示すアクティブな動的パッチの安定セットが検出された後、開始される。
【００１５】
　本発明のさらに他の実施形態においては、静的パターン認識及び静的パッチ生成の処理は、動的動き認識及び動的パッチ生成の処理と同時に開始され、再発生している動きの特徴を示すアクティブな動的パッチの安定セットが検出された場合、静的パターン認識処理は、識別された動きの中心を中心とする限定された画像領域に位置する静的パッチについてのみ継続される。
【００１６】
　本発明のさらに他の実施形態においては、２つの連続画像（Ｉｔ−１、Ｉｔ）の各ピクセル間の距離の算出の際には、最も顕著な差だけを残すためにフィルタ関数ｆｔｈが用いられ、デルタ画像Δｔは
　Δｔ＝ｆｔｈ（｜｜（Ｉｔ−１、Ｉｔ）｜｜）
により求められる。
【００１７】
　フィルタ関数ｆｔｈは閾値関数であってもよい。
【００１８】
　本発明のさらに他の実施形態においては、デルタ画像Δｔから特徴を抽出するステップには、各色要素に対する分布のガウス色モデルの算出が含まれる。また、デルタ画像Δｔから特徴を抽出するステップに、色要素、形状及びテクスチャのいずれかに対する分布をモデル化するヒストグラムを用いてもよい。
【００１９】
　本発明のさらに他の実施形態においては、静的パッチは、１つの特徴点（salient point）が検出された場合、同期時間ステップｔにおいて提供された画像Ｉｔでの特徴点群（ｘ、ｙ）に基づき取得されるものであり、囲んでいるピクセルに対応する領域Ｒｘ、ｙが定義され、領域Ｒｘ、ｙから特徴を抽出することで静的パッチの候補Ｓｘ，ｙを決定する。
【００２０】
　上述のような場合、領域Ｒｘ、ｙからの特徴抽出では、隣接ピクセルに対する色変化を測定し、領域Ｒｘ、ｙにおける色分布の色モデルを算出してもよい。
【００２１】
　また、同期時間ステップ（ｔ−１、ｔ；Ｔ＋ｔ−１；Ｔ＋ｔ；・・・）の連続する時間ステップは、予め定めた遅延時間τ０のｎ倍に等しい時間Ｔで隔てられているものであり、ｎはゼロ又は正の整数であるよう構成されていてもよい。
【００２２】
　しかしながら、同期時間ステップの連続する対（ｔ−１、ｔ；ｔ、ｔ＋１；・・・）は連続的であり、連続する同期時間ステップの２対の間が断続的ではないことがより好ましい。
【００２３】
　本発明の一実施形態による方法においては、上記構成に加えて、再発生している動きの特徴を示すアクティブな動的パッチの安定セット間での状態遷移を検出するステップと、識別された一連の動きを含む複雑なイベントを予想するための状態遷移グラフを構築するステップとをさらに備えるよう構成されていてもよい。
【００２４】
　本発明のさらに他の実施形態によれば、適応型人工視覚システムが提供される。本適応型人工視覚システムは、
　同期された時間ステップの対（ｔ−１、ｔ；ｔ、ｔ＋１；・・・）を、対に含まれる２つの同期時間ステップの時間差τが予め定めた遅延時間τ０となるように、連続的に設定するクロックと、
　カメラにより提供された同期時間ステップ（ｔ−１、ｔ；ｔ、ｔ＋１；・・・）での画像（Ｉ−１、Ｉ；Ｉ、Ｉ＋１；・・・）を入力する入力手段と、
　予め定めた遅延時間τ０で隔てられた同期時間ステップの各対（ｔ−１、ｔ；ｔ、ｔ＋１；・・・）に入力された２つの連続する画像（Ｉ−１、Ｉ；Ｉ、Ｉ＋１；・・・）を比較し、２つの連続画像の各画素間の距離を算出することによってデルタ画像Δｔを取得する第１の比較手段と、
　対象物の特徴化された動きを記述するための、可視要素部分（elementary visual part）を示す動的パッチを格納する第１の記憶手段と、
　デルタ画像Δｔから特徴部分を抽出し、動的パッチ候補Ｐｔを生成する特徴抽出手段と、
　比較されるべき動的パッチ候補Ｐｔと、第１の記憶手段に予め格納されている動的パッチとを比較する第２の比較手段と、
　第１の記憶手段の中から最も近い動的パッチＤｉを選択するか、あるいは、充分に近い動的パッチが無い場合には動的パッチ候補Ｐｔを第１の記憶手段に格納することで、同期時間ステップの各対（ｔ−１、ｔ；ｔ、ｔ＋１；・・・）における２つの連続画像（Ｉ−１、Ｉ；Ｉ、Ｉ＋１；・・・）の比較する毎に動的パッチＤｉを第１の記憶手段に格納する選択手段と、
　予め定めた個数Ｎ１の同期時間ステップの対に対応する時間ＴＦ１において第１の記憶手段に格納されている動的パッチＤｉの各々の頻度を算出する算出手段と、予め定めた閾値よりも高い頻度を示した動的パッチＤｉから構成されるアクティブな動的パッチのセットを決定する閾値手段とを備える第１の時間的統合手段と、
　予め定めた個数Ｎ２の同期時間ステップの対に対応する時間ＴＦ２において決定されたアクティブな動的パッチのセット各々の頻度を算出する算出手段と、予め定めた閾値よりも高い頻度を示したアクティブな動的パッチのセット各々を、再発生している動きに対応する動的パッチの安定セットとして決定する閾値手段とを備える第２の時間的統合手段とを備える。
【００２５】
　また、上記システムは、アクティブな動的パッチの安定セットによって示されている再発生している動きの中心を識別する手段と、再発生している動きの中心から予め定めた距離ｄにある静的パッチを分析するために静的パターン解析を開始させる手段とをさらに備える構成としてもよい。
【発明の効果】
【００２６】
　本発明によれば、事前に把握してない対象物が現れる未知の環境でも、人工視覚認識の効率的なブートストラップを可能にする適応型人工視覚方法及び／又はシステムが提供される。
【発明を実施するための最良の形態】
【００２７】
　本発明に係る適応型人工視覚方法及びシステムは、対象物及びイベントの認識をブートストラップ（bootstrapping）できるように考案されている。
【００２８】
　本発明に係る適応型人工視覚方法及びシステムは、非常に大まかな認識性能から開始される。この適応型人工視覚システムは、動的又は静的イベントを示す可視要素部分である、パッチ（patch）を認識するように適応されているため、印象主義的（impressionist）であるとも言える。動的イベントは、通常、動きにより設定され、静的イベントは対象物により設定される。
【００２９】
　パッチは、その視覚的な認識を最低限のレベルで表すために、本発明に係る適応型人工視覚方法及びシステムによって構築されるものである。この適応型人工視覚システムでの視覚体験が積み重ねられるにつれて、この適応型人工視覚システムは、安定セット（stable set）を見出すために、これらのパッチを統合するよう動作する。この統合処理は、時間的及び空間的な領域の両方で行われる。しばらくすると、適応型人工視覚システムは、再発生している動きの認識が可能になる。この段階に達した後、適応型人工視覚システムは、検出された動きに関与している対象物の構造の抽出を試みる。この手法により、適応型人工視覚システムは、これらの対象物の動きがない場合でも、その認識が可能になる。適応型人工視覚システムは、何も無い状態からスタートし、段階を経る毎に学習して、より複雑な表現も認識できるように構成される。
【００３０】
　パッチの安定セットは、環境中に発生したり存在している事物（イベントや対象物）についての、より高いレベルの表現形式を構成している。更に、動的パッチのセットが構築される方法は、静的パッチのセットが処理される方法に直接影響する。実際、優れた動的認識がまず前提となり、これに基づいて静的認識が開始されることになる。
【００３１】
　図１、２、７を参照して、動的認識処理を更に詳細に説明する。
【００３２】
　クロック１０１は、ｔ−１、ｔのような同期された時間ステップの連続する対を設定する。２つの同期時間ステップ、例えば同期時間ステップの対のｔ−１、ｔの間の時間差τは、予め定めた遅延時間τ０に等しい。
【００３３】
　同期時間ステップの連続する対、例えばｔ−１、ｔ；Ｔ＋ｔ−１、Ｔ＋ｔ；・・・は、予め定めた遅延時間τ０のｎ倍に等しい時間Ｔの期間で、分離される。ここで、ｎは正の整数であるか又はゼロに等しい。好ましくは、ｎ＝０であり、同期時間ステップの連続する対ｔ−１、ｔ；ｔ、ｔ＋１；・・・は、同期時間ステップの２つの連続する対の間に任意の時間的な中断がない状態で連続している。
【００３４】
　環境の画像は、ビデオカメラのようなカメラ１０３によって取得され、クロック１０１によって同期された入力回路１０２を介して、この適応型人工視覚システムへ入力される。すなわち、カメラ１０３が撮像した場面のデジタル画像Ｉｔ−１、Ｉｔ、Ｉｔ＋１、・・・の入力は、設定した連続時間ステップｔ−１、ｔ；ｔ、ｔ＋１；・・・での入力回路１０２による第１のコンパレータ１０４への入力によって実施される。
【００３５】
　以下では、同期時間ステップの連続する対ｔ−１、ｔ；ｔ、ｔ＋１；・・・は、連続している（すなわちｎ＝０、Ｔ＝ｎτ０＝０）と想定している。
【００３６】
　動的パッチは、予め定めた遅延時間τ０で隔てられた同期時間ステップｔ−１、ｔ；ｔ、ｔ＋１；・・・の各対で第１のコンパレータ１０４に入力した２つの連続画像Ｉｔ−１、Ｉｔ；Ｉｔ、Ｉｔ＋１；・・・を比較して得られている。
【００３７】
　デルタ画像△ｔは、２つの連続する画像Ｉｔ−１、Ｉｔ；Ｉｔ、Ｉｔ＋１、・・・間で生じた特徴イベント（対象物の動き）を鑑みて、２つの連続画像Ｉｔ−１、Ｉｔ；Ｉｔ、Ｉｔ＋１、・・・の各画素間での距離の計算の結果得られる。
【００３８】
　第１のコンパレータ１０４は、最も顕著な差分だけを保持するように、閾値関数ｆｔｈのようなフィルタ関数を含んでいてもよい。このような場合、画像の対Ｉｔ−１、Ｉｔを考慮すると、△ｔ＝ｆｔｈ（｜｜Ｉｔ−Ｉｔ−１｜｜）である。
【００３９】
　メモリＭｄは、対象物の動きを特徴化した可視要素部分を表す動的パッチＤｉを保存するために用いられる。
【００４０】
　デルタ画像△ｔは、該デルタ画像△ｔから特徴を抽出するとともに動的パッチ候補Ｐｔを生成するモジュール１０５へ送られる。デルタ画像△ｔの特徴を抽出するモジュール１０５は、異なる周知の技術を使用することができる。例えば、色成分毎の分布に関するガウス色モデルは、モジュール１０５で計算することができる。また代わりに、モジュール１０５でデルタ画像△ｔから特徴を抽出するステップには、色の成分、形状又はテクスチャの分布をモデル化するヒストグラムを用いる処理が含まれていてもよい。色モデルが使用される場合、動的パッチ候補Ｐｔは、デルタ画像△ｔの色の分布を表している。
【００４１】
　メモリＭｄは、初期の空白レパートリーからリアルタイムで継続的に構築されるレパートリーＲｄを含んでいる。
【００４２】
　モジュール１０６では、動的パッチ候補ＰｔがメモリＭｄのレパートリーＲｄに既に格納されている動的パッチと比較される。
【００４３】
　選択モジュール１０７は、メモリＭｄで最も類似している動的パッチＤｉの選択を可能とするか、又は、これが最初のステップである場合あるいは十分に類似する動的パッチが存在しない場合、選択モジュール１０７は、メモリＭｄ内のレパートリーＲｄに動的パッチ候補Ｐｔの格納を可能とするように構成されている。したがって、動的パッチＤｉは、同期時間ステップの各対における２つの連続する画像の比較のために、各比較のたびにメモリＭｄに保存される。
【００４４】
　図２において、参照番号２０Ａ、２０Ｂは、ある色（例えば赤）のボールを持つ手の第１の動きを示す２つの連続した画像の一例を示す。参照番号２０Ｃは、連続する画像２０Ａ、２０Ｂに対応するデルタ画像△ｔを示す。動的パッチＤ２０は、デルタ画像２０Ｃから構築されて、メモリＭｄのレパートリーＲｄに保存される。
【００４５】
　同様に、参照番号２２Ａ、２２Ｂは、同じ赤色のボールを持つ手の第２の動きを示す２つの連続した画像の一例を示す。参照番号２２Ｃは、画像２２Ａ、２２Ｂに対応するとともに、動的パッチＤ２２の生成を可能にするデルタ画像Δｔを示している。
【００４６】
　参照番号２６Ａ、２６Ｂは、他の色のボール、例えば黄色のボールを持つ手の第３の動きを示す２つの連続画像の他の対の一例を示す。参照番号２６Ｃは、画像２６Ａ、２６Ｂに対応するとともに、動的パッチＤ２６の生成を可能にするデルタ画像Δｔを示している。
【００４７】
　動的パッチＤ２０、Ｄ２２、Ｄ２６は、メモリＭｄのレパートリーＲｄに全て保存される。
【００４８】
　図７のモジュール１０８は、第１の時間的統合手段を構成するとともに、同期時間ステップの対に関して予め定めた数Ｎ１に対応する時間ＴＦ１中に、レジスタからなるレパートリーＲｄに保存されていた各動的パッチＤｉの頻度を計算する計算手段１０８Ａを備えている。閾値手段１０８Ｂは、その頻度が予め定めた閾値より高い動的パッチＤｉを有するアクティブな動的パッチのセットを設定するように構成されている。
【００４９】
　次に、時間ステップの最後のＮ１番目の対におけるレパートリーＲｄの各動的パッチＤｉの頻度が計算される。頻度がある閾値を超えている動的パッチＤｉの全てが、アクティブと呼ばれる。任意の時間ステップにおいて、適応型人工視覚システムが検出したイベントを特徴付けたとされるアクティブな動的パッチのセットが提供される。
【００５０】
　例えば、時間ステップｔでは、図１の画像１から、３つの動的パッチがアクティブと見なされる（Ａｔ＝Ｄ２０、Ｄ２２、Ｄ２６）。図１の画像１は、黄色のボールを持って動いている手を示すとともに、デルタ画像２０Ｃ（赤のボールを持つ手の第１の動き）と、デルタ画像２２Ｃ（赤のボールを持つ手の第２の動き）と、デルタ画像２６Ｃ（黄のボールを持つ手の第３の動き）とにそれぞれ対応する動的パッチＤ２０、Ｄ２２、Ｄ２６とから設定されると考えることができる。
【００５１】
　図７に示した適応型人工視覚システムは、第２の時間的統合手段を構成するモジュール１０９を更に備えている。モジュール１０９は、同期時間ステップの対に関して予め定めた数Ｎ２に対応する時間ＴＦ２中に、動的パッチＤ２０、Ｄ２２、Ｄ２６のように設定したアクティブな動的パッチの各セットＡｔの頻度を計算する計算手段１０９Ａを備えている。閾値手段１０９Ｂは、その頻度が予め定めた閾値より高い、アクティブな動的パッチのセットＡｔの各々について、再発生している動きに対応する動的パッチの安定セットを設定するよう構成されている。
【００５２】
　以上のように、アクティブな各動的パッチの頻度が計算される。あるアクティブな動的パッチのセットが非常に頻繁に再発する場合、それは安定していると見なされる。これは、この環境内で定期的に生じることに対応すると想定された場合である。すなわち、単なるパッチより高いレベルとなるイベントが生成される。このような動的イベントは、例えば図１での「黄色のボールを示す」イベントとして設定されるように生成されて、再発生している動きに関与するパッチのセットにより設定される。図１の例では、イベントが動的パッチＤ２０、Ｄ２２、Ｄ２６のセットで設定され、これらのデータがメモリＭｄに保存される。
【００５３】
　このような動的イベントが構築されると、特別な検出器が直ちに形成され、アクティブな動的パッチのセットの１つが、このイベントに対応するたびに起動がされる。図２は、このような検出の一例を示す図である。ユーザは、黄色のボールをカメラに示している。適応型人工視覚システムは、このイベントをアクティブな動的パッチのセットＡｔ＝（Ｄ２０、Ｄ２２、Ｄ２６）で特徴付ける。適応型人工視覚システムは、既に過去に数回現れた動的イベントとして、このセットを認識する。どのように認識が行われるかについてより明確に示すために、図２に初期パッチの生成に使用された２つの画像を、検出に関与するパッチ毎に示している。動的パッチＤ２０、Ｄ２２は、赤色のボールがカメラに示された時に生成されていた。動的パッチＤ２６は、この時に黄色のボールを伴う類似のイベントに対するものであった。最初の２つは、丸い形状の対象物を示す時に行われた手の特別な動きの特徴であり、最後のものは、関与していた黄色に関して更に特定したものである。パッチの記述は、適応型人工視覚システムが発生しているものをより簡潔に記すために生成する、非常に単純な「言語」と見なすことができる。新しいイベントが感知されるたびに、この適応型人工視覚システムは、該イベントを説明するために、レパートリーに存在するパッチをできるだけ利用する。
【００５４】
　したがって、背景の部分にすぎない特徴に対して、関心のある対象物を移動できると想定される場合には、動的認識処理で得た結果を用いて、静的認識処理をブートストラップ又は再フォーカスすることができる。
【００５５】
　動きからなる動的イベントに反復性があると高い信頼性で検出した場合、適応型人工視覚システムは、図７のモジュール１１０で識別した動きの中心に直ちにフォーカスをあて、モジュール１１２で実現する静的パターン認識がトリガ手段１１１によってトリガされる。このため、再発生する動きの中心から予め定めた距離ｄに位置する静的パッチが分析されて、ある時間ステップにおけるアクティブな動的パッチのセットが構成される。
【００５６】
　図３では、手の動きに対応する既知のイベントが検出された画像（画像３）を示す図である。その場合、４つの静的パッチが、その部分と見なされる（Ｓ１６、Ｓ２９、Ｓ３４、Ｓ４０）。
【００５７】
　適応型人工視覚システムは、動的ケースと全く同じようにアクティブな各静的パッチのセットの頻度を計算してもよい。あるセットが既知の動きに規則的に関与している場合、それらは実際に存在する対象物に対応していると想定される。そこで静的な対象物が生成される。この静的対象物は、規則的に感知される静的パッチのセットによって設定される。
【００５８】
　第１の静的対象物が構築されると直ちに、適応型人工視覚システムは、各時間ステップにおいて該第１の静的対象物が存在するかどうかを調べる。適応型人工視覚システムは、画像分析中に検出したパッチを検索して、対象物の定義に対応している構成を探す。対象物は、再発生している動きの部分だったために、最初に生成されていたが、ここでは動いていない場合でも検出することができる。図１の例では、適応型人工視覚システムは、既知の動き（動きを示す手）及び既知の対象物（ボール）の両方を検出する。
【００５９】
　図４は、図３の画像３０を含めた画像群から、適応型人工視覚システムが構築できる静的パッチのセットに対応する対象物の例を示している。対象物１１〜１４は、この具体例では、各々手、首、ボール、犬型ロボットを表している。
【００６０】
　次に、静的認識システムの具体的な例について説明する。
【００６１】
　静的パッチは、視覚感知Ｉｔにおける特徴点に基づいている。例えば、人の顔での特徴点は目と口である。これらの特徴点は、例えば隣接画素との比較によって得られる色変化を測定することで判定することができる。これは、一般的に、エッジ検出のために用いる方法である。
【００６２】
　特徴点（ｘ、ｙ）を検出すると、周囲の画素に対応する領域Ｒｘ、ｙが、下記のように定められる。
【００６３】
　Ｒｘ、ｙ＝ｒｅｇｉｏｎａｒｏｕｎｄ（ｘ、ｙ）
　動的ケースのように異なる特徴が抽出できるが、一実施形態によれば、この領域の画素の色モデルが計算される。これが静的パス候補Ｓｘ、ｙを構成する。
【００６４】
　Ｓｘ、ｙ＝ｃｏｌｏｒｄｉｓｔｒｉｂｕｔｉｏｎ（Ｒｘ、ｙ）
　このパッチが、メモリＭｄに存在するパッチと比較される。メモリＭｄで最も類似するパッチＳｉが選択される。十分に類似するパッチが存在しない場合、Ｓｘ、ｙがメモリＭｄに加えられる。
【００６５】
　Ｓｉ＝ｃｌｏｓｅｔｐａｔｃｈ（Ｓｘ、ｙ、Ｍｓ）
　各時間ステップｔで、適応型人工視覚システムは、画像Ｉｔを分析して、それを記す静的パッチＳｉのセットを生成する。静的パッチＳｉの数が大きければ大きいほど、認識性能が高まる。しかしながら、このような処理が全ての時間ステップで進むにつれて、過度に時間を費やす分析とならないように注意しなければならない。したがって、実施する際には、可能性のある静的パッチＳｉの数を制限することがより好ましい。これは、次に示すような様々な方式により実現できる。
【００６６】
　１．低い分解能で分析を行う；
　２．時間ステップ毎に画像のある部分だけに集中するフォーカス設定機構を導入する；
　３．各特徴点間の最短距離を指定する；
　４．画像を事前にフィルタリングして、関心のある事物（飽和色又は肌のような色）を含んでいると思われる部分を抽出する；
　５．特徴点を固定した数に限定して、最も特徴的な点だけ取り出す。
【００６７】
　動的パッチの安定セットにより設定された既に認識済みのイベントＥ１の一例を、図５の画像５０に示す。このイベントＥ１の例は、２つの動的パッチＤ１、Ｄ４から設定した手の動きから成り立っている。
【００６８】
　図５の画像５１、５２、５３は、動的パッチの他の安定セット、すなわちＤ１−Ｄ４−Ｄ９、Ｄ１−Ｄ４−Ｄ５、Ｄ１−Ｄ４−Ｄ１１から各々設定した他のイベントＥ２、Ｅ３、Ｅ４を示している。
【００６９】
　画像５１、５２、５３は、手に保持したボールから構成された、対象物を持つ手の更なる動きを示している。画像５１と画像５３は、異なる色のボールを持つ手の非常に似た動きを示している。画像５１と画像５２は、同じ色のボールを持つ手の少し異なる動きを示している。
【００７０】
　イベントＥ２、Ｅ３、Ｅ４の形状は全て、イベントＥ１を設定する動的パッチＤ１、Ｄ４を含んでいるが、第３の動的パッチの追加だけによるイベントＥ１の設定とは異なっている（各々Ｄ９、Ｄ５、Ｄ１１）。したがって、動的パッチの安定セットによって設定した、それらの構造から始まる、異なるイベントＥ１、Ｅ２、Ｅ３、Ｅ４の間での類似性が識別できる。すなわちイベントＥ２、Ｅ３、Ｅ４は全て、他の自律的なイベントＥ１に構造的に関連しているので、類似イベントの同じファミリーに属すると認識できる。
【００７１】
　図６は、イベント空間を構成する他の方法を示している。
【００７２】
　動的パッチの安定セットによって設定したイベントＥｉが時間ステップｔ１で認識される場合、本発明を適用した適応型人工視覚システムでは、動的パッチの安定セットによって設定したイベントＥｊが認識された更なる時間ステップｔ２で生成された新たな状況が観察される。
【００７３】
　時間ステップｔ２と時間ステップｔ１との間の時間差が、予め定めた時間間隔△ｔ（△ｔは同期時間ステップｔ−１、ｔ；ｔ、ｔ＋１；・・・との間の予め定めた遅延時間τ０よりはるかに長く、かつ、動的パッチの安定セットの統合時間よりも長い）より短い場合、イベントＥｉとイベントＥｊとの間での状態遷移が識別され、状態遷移アーク（transition arc）が生成される。状態遷移グラフは、イベントＥｉ、Ｅｊ、・・・の間での状態遷移アークにより順次構成され、動的パッチの安定セットによって識別した動きのタイプを設定していく。
【００７４】
　なお、ある長さの時間中に同じ動きが継続し、状態遷移アークが異なる時間ステップｔ１、ｔ２で観察された類似イベントＥｉの間に存在することがある。もちろん、状態遷移アークは、連続する時間ステップｔ１、ｔ２で観察された異なるイベントＥｉとイベントＥｊの間でも構成できる。
【００７５】
　異なるイベントが複数回観察されたある長さの時間の後、観察した状態遷移の頻度を用いて、同じ状態の検出時に各々識別した状態遷移が生じる確率を予測できる。
【００７６】
　図６は、３つの異なるイベントＥ５、Ｅ６、Ｅ７をそれぞれ示す３つの画像６１、６２、６３を示す。
【００７７】
　図６の例で、画像６１は、最上部から対象物を保持して前後に動かしている手を示していて、この動きは動的パッチＤ４、Ｄ２の安定セットによって設定されたイベントＥ５を構成している。
【００７８】
　画像６２は、底部から対象物を保持して振り回している手を示していて、この動きは動的パッチＤ３、Ｄ２の安定セットによって設定したイベントＥ６を構成している。
【００７９】
　画像６３は、最上部から対象物を保持して回転させている手を示していて、この動きは動的パッチＤ４、Ｄ３、Ｄ２の安定セットによって設定したイベントＥ７を構成している。
【００８０】
　図６には、状態遷移アークが、各々新しい変化の確率が既に観察済みの状態遷移とその頻度とから各々算出された新しい状態遷移の確率と共に図示してある。
【００８１】
　この具体例では、イベントＥ５がそれ自体に続く確率は７０％であるが、イベントＥ７がイベントＥ５に続く確率は３０％であり、イベントＥ６がイベントＥ５に続く確率は１０％である。イベントＥ６がそれ自体に続く確率は８５％であるが、イベントＥ５がイベントＥ６に続く確率は１０％であり、イベントＥ７がイベントＥ６に続く確率は５％である。最後に、イベントＥ７がそれ自体に続く確率は６５％であるが、イベントＥ５がイベントＥ７に続く確率は３０％であり、イベントＥ６がイベントＥ７に続く確率は５％である。
【００８２】
　本発明に係る適応型人工視覚システムでは、パッチ又はパッチのセットがメモリＭｄ、Ｍｓに保存されるため、膨大な量のデータを保存する必要はない。さらに、必要に応じて、保存するデータの量を減少するために、パッチの安定セットに用いられない一部のプロトタイプパッチＤｉを一定の間隔で消去してもよい。
【００８３】
　本発明に係る適応型人工視覚システムは、過度に大きな処理パワーを必要とせず、埋込型のシステムにおいて実行できることが確認されている。例えば、適応型人工視覚システムは、４９２×３６２画素のカラーＣＣＤカメラを具備するロボットに埋め込みが可能であり、他のコンピュータに無線ＬＡＮを経由して接続することができる。このようなコンピュータとしては、例えば、リナックスで動作するソニー株式会社のバイオノート（商標）ＰＣＧＣＩＸＮがある。
【００８４】
　ロボットは、家屋のような未知に環境において進化している。このような条件では、従来のセグメンテーション方法は不十分な結果しか提供しないのに対し、本発明によれば大きな改良をもたらすことができる。特に本発明に係る適応型人工視覚方法システムがロボットが対象物の名前の学習を試みるアプリケーションで使用される場合、特定の対象物に対する注意を共有させるための優れた機構は、この適応型人工視覚システムの重要な構成要素となる。本発明に係る適応型人工視覚方法システムを具備するロボットでは、印象主義的な視覚モジュールが、ロボットの頭部を制御する注意マネージャ（attention manager）と結合している。したがって、ロボットは移動する事物や自身が知っている事物とに向けて、その頭部を旋回させることができる。ブートストラップ処理が進むにつれて、ロボットがより鋭い注意深さを示すことで、ロボットの認識処理の進行状態が示される。
【図面の簡単な説明】
【００８５】
【図１】本発明に係る適応型人工視覚方法システムによって観察され検出される、再発生しているイベントの一例を描く画像である。
【図２】図１に示したイベントの認識に関与する３つの異なる動的パッチの構築処理を描く画像のセットを示す。
【図３】動的パッチのセットによって既に認識されていたイベントの検出中にアクティブな静的パッチのセットの構造を描く一例として与えられた画像である。
【図４】イベントと対象物の認識の処理中に構築された静的パッチのセットに対応する対象物の画像の例を示す。
【図５】パッチの２つの安定セットによって識別された基準となる動きを描く画像と、基準となる動きにリンクする３つのパッチのセットによって識別された更なる動きを描く３つの更なる画像とを示す。
【図６】ある動きから他の動きへの状態遷移を生じるとともに、状態遷移グラフの構築を可能にする異なる動きを描く画像を示す。
【図７】本発明に係る適応型人工視覚システムのアーキテクチュアの一例を示す略図である。
【符号の説明】
【００８６】
　１０１　クロック、１０２　入力回路、１０３　　　カメラ、１０４　第１のコンパレータ、１０５　モジュール、１０６　モジュール、１０７　選択モジュール、１０８　モジュール、１０９　モジュール
【図１】
2004133940.tif 000003
【図２】
2004133940.tif 000004
【図３】
2004133940.tif 000005
【図４】
2004133940.tif 000006
【図５】
2004133940.tif 000007
【図６】
2004133940.tif 000008
【図７】
2004133940.tif 000009