(57)【要約】  刺激に応じて、複数のトポロジカルに互いに異なる各センサの信号出力を処理する方法（４００）。この方法は、複数の各一時的センサ出力を並行に取得する（４０３）ことを含む。その後、各特徴が抽出され（４０６）、上記特徴は動的挙動パターンを有する。上記抽出は、互いに隣り合う各一時的センサ出力を並列に算術処理することによって、トポロジカルに同一の方法で行われる。さらに、抽出された各特徴の特性が判定される。
2010539445.tif 000002
【特許請求の範囲】
【請求項１】
機械的刺激に応じて、複数のトポロジカルに互いに異なる各センサの信号出力を処理する方法（４００）であって、上記方法は、
・複数のトポロジカルに配置された各一時的センサ出力を並行に取得する工程（４０２）と、
・トポロジカルに同一な方法にて、互いに隣り合う各一時的センサ出力の並行算術処理によって動的挙動パターンを有する各特徴を抽出する工程（４０６）と、
・上記抽出された各特徴の特性を判定する工程とを含む、方法（４００）。
【請求項２】
前記トポロジカルに同一な方法にて各特徴を抽出することは、上記各特徴を、トポロジーを維持した１つのアレイまたは複数の各アレイ（４０８）に配置することを含む、請求項１に記載の方法（４００）。
【請求項３】
前記複数の各一時的センサ出力を並行に取得すること（４０２）は、上記各一時的センサ出力を生成するために、複数の各センサ出力を適時にサンプリングすること（４０４）を含む、請求項１または２に記載の方法（４００）。
【請求項４】
前記各一時的センサ出力は、各機械的センサからの各センサ出力である、請求項１ないし３のいずれか１項に記載の方法（４００）。
【請求項５】
算術処理は、一時的ドメインにおける上記互いに隣り合う各一時的センサ出力を処理することを含む、請求項１ないし４のいずれか１項に記載の方法（４００）。
【請求項６】
前記トポロジカルに同一な方法にて各特徴を抽出することは、各センサ出力において各特徴を認識することと、上記各特徴の空間的局在性を保持することとを含む、請求項１ないし５のいずれか１項に記載の方法（４００）。
【請求項７】
前記方法は、上記１つのアレイまたは複数の各アレイの空間的フィルタリング（４１０）または空間一時的フィルタリングを行うことをさらに含む、請求項２に従属する限りは請求項１ないし６のいずれか１項に記載の方法（４００）。
【請求項８】
前記空間的フィルタリング（４１０）は、上記トポロジーを維持している１つのアレイまたは複数の各アレイでの互いに隣り合う抽出された各特徴の複数に基づく事象の抽出を含む、請求項７に記載の方法（４００）。
【請求項９】
前記算術処理は、一時的特徴抽出のため、バンドパス、ロウパスまたはハイパスのフィルタ、またはバンドパス、ロウパス、またはハイパスの各フィルタの組み合わせを適用することを含む、請求項１ないし８のいずれか１項に記載の方法（４００）。
【請求項１０】
前記算術処理は、セルラ式のノンリニアネットワークを用いることを含む、請求項１ないし９のいずれか１項に記載の方法（４００）。
【請求項１１】
前記算術処理は、加算、減算、遅延、閾値化、論理、または形態学の機能のみを含む、請求項１ないし１０のいずれか１項に記載の方法（４００）。
【請求項１２】
前記算術処理は、単一のフィルタ入力信号、および複数の各フィルタ出力信号を有するフィルタを適用することを含み、
上記各フィルタ出力信号のそれぞれは、変形された入力信号を、元の入力信号から減算することに基づく、請求項１ないし１１のいずれか１項に記載の方法（４００）。
【請求項１３】
互いに隣り合う各一時的センサ出力における並行な算術処理は、上記互いに隣り合う各一時的センサ出力の一部のみにおける並行な算術処理を含む、請求項１ないし１２のいずれか１項に記載の方法（４００）。
【請求項１４】
前記動的挙動は、変化（６０６、６０８）、バイブレーション、および振動(６１０、６１２、６１４、６１６)のうちの少なくとも１つを含む、請求項１ないし１３のいずれか１項に記載の方法（４００）。
【請求項１５】
前記抽出された各特徴の特性は、動的挙動の互いに隣り合うものの複数の間の安定性を含む、上記請求項のうちのいずれか１項に記載の方法（４００）。
【請求項１６】
前記方法は、環境において発生する各事象または各特徴のアクティブまたはパッシブな知覚を向上させるために上記各センサ出力の処理を適合化する、請求項１ないし１５のいずれか１項に記載の方法。
【請求項１７】
自動車産業、自動車システム、自動車センサシステム、または自動車処理システムにおける、請求項１ないし１６のいずれか１項に記載の方法の使用。
【請求項１８】
複数のトポロジカルに互いに異なる各センサを有する、少なくとも１つの可動要素を備えるコンピュータ化されたシステムを制御する方法であって、上記方法は、
・機械的な上記各センサからの複数の各出力信号を測定する工程と、
・請求項１ないし１６のいずれか１項に記載の方法（４００）を用いて上記複数の各出力信号を処理する工程と、
・上記抽出された各特徴の上記判定された特性に基づいて、上記少なくとも１つの可動要素を制御する工程とを含む、方法。
【請求項１９】
機械的刺激に応じて複数のトポロジカルに互いに異なる各センサの信号出力を処理するためのデータプロセッサ（１００）であって、上記プロセッサは、
・複数のトポロジカルに配置された各一時的センサ出力を並行に受信するための入力手段（１０２）と、
・トポロジーに同一な方法で動的挙動パターンを有する各特徴を抽出し、上記各センサ出力における互いに隣り合う各一時的サンプルを並列に算術処理を行うための算術プロセッサ（１１０）を含む、特徴抽出手段（１０６）と、
・上記抽出された各特徴の特性を判定するための判定手段（１０８）とを有する、データプロセッサ（１００）。
【請求項２０】
上記複数の各一時的センサ出力を並行に受信するための入力手段（１０２）は、上記各一時的センサ出力を生成するために、複数の各センサ出力を適時にサンプリングするためのサンプリング手段（１０４）を備える、請求項１９に記載のデータプロセッサ（１００）。
【請求項２１】
上記算術プロセッサ（１１０）は、一時的ドメインにおける上記互いに隣り合う各一時的センサ出力を算術処理するように適合化される、請求項１９または２０に記載のデータプロセッサ（１００）。
【請求項２２】
上記データプロセッサ（１００）は、上記抽出された各特徴を、トポロジーを維持している１つのアレイまたは複数の各アレイに配置するようにさらに適合化される、請求項１９ないし２１のいずれか１項に記載のデータプロセッサ（１００）。
【請求項２３】
上記データプロセッサは、各センサ出力にて各特徴を認識し、上記各特徴の空間的局在性を保持するように適合化される、請求項２２に記載のデータプロセッサ（１００）。
【請求項２４】
上記プロセッサは、上記１つのアレイまたは複数の各アレイの空間的または空間一時的なフィルタリングを行うためのフィルタを備える、請求項２２または２３に記載のデータプロセッサ（１００）。
【請求項２５】
上記フィルタは、上記トポロジーを維持している１つのアレイまたは複数の各アレイにおける複数の互いに隣り合う、抽出された各特徴に基づいて、事象を抽出するためのフィルタリング手段を備える、請求項２４に記載のデータプロセッサ（１００）。
【請求項２６】
上記算術プロセッサ（１１０）は、各一時的特徴を抽出するためのバンドパスフィルタまたは各バンドパスフィルタの組み合わせを備える、請求項１９ないし２５のいずれか１項に記載のデータプロセッサ（１００）。
【請求項２７】
上記算術プロセッサ（１１０）は、セルラ式のニューラルネットワークまたはセルラ式のノンリニアネットワークを備える、請求項１９ないし２６のいずれか１項に記載のデータプロセッサ（１００）。
【請求項２８】
上記算術プロセッサ（１１０）は、減算、遅延、閾値化、論理または形態学の各機能にのみ基づくフィルタを備える、請求項１９ないし２７のいずれか１項に記載のデータプロセッサ（１００）。
【請求項２９】
上記算術プロセッサ（１１０）は、単一のフィルタ入力信号、および、複数の各フィルタ出力信号をもたらすフィルタを備え、上記各各フィルタ出力信号のそれぞれは、元の入力信号から変形された入力信号を減算することに基づく、請求項１９ないし２８のいずれか１項に記載のデータプロセッサ（１００）。
【請求項３０】
互いに隣り合う各一時的センサ出力を並列に処理するための上記算術プロセッサ（１１０）は、互いに隣り合う各一時的センサ出力の一部のみを並列に算術処理するための算術プロセッサ（１１０）である、請求項１９ないし２９のいずれか１項に記載のデータプロセッサ（１００）。
【請求項３１】
上記動的挙動は、変化（６０６、６０８）、バイブレーションおよび振動（６１０、６１２、６１４、６１６）の少なくとも１つを含む、請求項１９ないし３０のいずれか１項に記載のデータプロセッサ（１００）。
【請求項３２】
上記抽出された各特徴の上記特性は、上記動的挙動の互いに隣り合うものの複数の間における安定性を含む、請求項１９ないし３１のいずれか１項に記載のデータプロセッサ（１００）。
【請求項３３】
複数のトポロジカルに互いに異なる各センサ（２０）と、請求項１９ないし３２のいずれか１項に記載のデータプロセッサ（１００）とを有する少なくとも１つの可動要素（３０２）を備える、コンピュータ化されたシステム（３００）。
【請求項３４】
上記システムは、上記抽出された各特徴における取得された特性の機能として、上記少なくとも１つの可動要素を制御するためのコントローラ（３０）をさらに備える、請求項３３に記載のコンピュータ化されたシステム（３００）。
【請求項３５】
機械的反応に応じて、複数のトポロジカルに互いに異なる各機械的センサの信号出力を処理するためのコンピュータプログラム製品であって、
上記コンピュータプログラム製品は、コンピュータ上で実行されるとき、請求項１ないし１８のいずれか１項に記載の方法を実行するように適合化される、コンピュータプログラム製品。
【請求項３６】
請求項３５に記載のコンピュータプログラム製品を記憶する、機械読み出し可能なデータ記憶装置。
【請求項３７】
請求項３５に記載のコンピュータプログラム製品の、ローカルまたはワイドエリアな電気通信ネットワークを介する伝送。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ処理の分野に関する。より詳細には、本発明は、特にロボット工学および車両／自動車など、一般的にコンピュータ化されたシステムにおける適用と同様にデータ処理のための方法およびデータ処理のためのシステムに関する。
【背景技術】
【０００２】
ロボット工学の適用は広く普及している。ロボット類は、高い計算能力を必要とする複雑かつ洗練されたシステムである場合が多い。自動化を行うための現在のロボット類は、非常に高性能かつ信頼できる機械であることが多い一方、特に自発的な行動や使い勝手の良い、人間と機械の間におけるインターフェイスの観点においては、ロボット類は、ほとんどの日常生活のタスクを人間と共有することが難しい。より詳細には、ロボット類は、未知の、または予測できない対象物、または生物の操作または相互作用をほとんど行うことができない。
【０００３】
神経生理学およびロボット工学のコミュニティの両方から長年多くの注目を集めてきた日常生活のタスクの例は、掴んで持ち上げるというタスクである。安定して掴むためには２つの側面が重要である。対象物がスリップするのを避けるためのハードウェアおよびソフトウェアシステムの能力、および掴む力をリアルタイムで制御する能力である。神経生理学の研究により、人間におけるこれら２つの側面を深く理解することができ、その単純な構造において、すなわち、対向する親指と人差し指の間で対象物が掴まれ持ち上げられるという構造において掴むということを分析してきた。
【０００４】
対象物がスリップすることを避けるために人間が用いる方法に加えて、掴んでいる間の肌の機械受容器の役割、モータ調節のメカニズムが広く調査された。特に、肌と対象物の間の摩擦について、掴む力（握力）の適応が、最初の接触後の０．１ｓで行われることが示された。さらに、対象物を持ち上げた後、力のバランスの２度目の調節が、（主にパチニ小体によって検出される）バイブレーションとして示される小さな短時間のスリップに応じて発生し得る。
【０００５】
初期のスリップの概念は、巨視的なスリップが発生する直前に現れる接触領域の周辺領域における微細なバイブレーションを示すために紹介された。このような小さなバイブレーションの検出は、ロボットによる掴みにおける掴み安定性を確保するために用いられる主な方法の１つである。
【０００６】
提案された１つの解決策は、初期スリップを検出するためのダイナミックセンサ（例えば、各帯状圧電体）を用いることであり、他の解決策は、対象物と指の間の摩擦係数の測定に基づくものである。
【０００７】
スリップの検出は、センサアレイ、または例えば、張力受感センサと人工ニューラルネットワークを組み合わせて使用する際の出力の周波数（頻度）内容分析に基づき得る。他に提案される解決策は、ファジーコントローラを用いることである。
【０００８】
コントローラの出力が指の閉じる速度である一方、コントローラへの入力は、高速フーリエ変換（ＦＦＴ）分析を経て得られる容量性センサにおける力分散の周波数内容に加え、対象物と指の間の相対速度と加速度である。
【０００９】
これらの方法の主な欠点は、それらの高い計算要件であり、このため、センサの数が多いと、リアルタイムの手の制御および迅速な反応には不向きである。
【００１０】
最近、初期スリップが、指先の変形の視覚化分析を経て検出された。精巧な操作制御の側面から、指と対象物の間の接触のオンセットまたはオフセット、またはスリップ時のオンセットの間の微細なバイブレーション、または操作タスクの特定の段階の間の推移に関連する外側の動き等、知覚し得る事象を検出するためにダイナミック検出（ＲＶＤＦ帯）を用いることが提案された。上記提案は、事象により駆動される掴みコントローラを紹介した。
【００１１】
人工知覚システムがロボットの掴みにおいてだけでなく、一般的な操作や人間とロボットの相互作用の目的においても有用であるために、刺激の局所化は必須であり、これによって知覚センサの密に、かつ拡散したアレイが不可欠となる。
【００１２】
一方、知覚センサとセンサアレイの組立ておよび小型化において昨年重要な進展があった。これは、操作および／または人間とロボットの相互作用目的のためのロボット工学において上記組立ておよび小型化を実現するものであるが、それに伴う問題は大部分が未解決のままである。スリップ検出は、センサアレイについて取り組まねばならない課題の一例である。
【発明の概要】
【００１３】
本発明の目的は、センサ出力データなどの信号を処理するための良好な装置または方法を、信号を処理する上記方法およびシステムを用いるロボット等、良好なコンピュータ化されたシステムを提供するのと同様に提供する。
【００１４】
本発明に係る実施形態の長所は、センサ出力信号のデータ処理を効率的に行うことができ、リアルタイムでの人間−ロボット相互作用および／または機械知覚目的に対して有効なシステムをもたらす。上記システムは、アクティブ知覚および／またはパッシブ知覚に対して有効であり得る。ロボットによる操作は、人間−ロボット相互作用において用いられ得る処理の一例である。操作情報は知覚情報であり得る。
【００１５】
上記目的は、本発明に係る方法および装置によって達成される。
【００１６】
本発明は、機械的刺激に応じてトポロジカルに識別可能な複数の各センサの各信号出力を処理する方法であって、上記方法は、トポロジカルに配列された複数の各一時的センサ出力を並列に取得する工程と、トポロジカルに同一の方法にて互いに隣り合う各一時的センサ出力の並行な算術処理によって動的挙動パターンを有する各特徴を抽出する工程と、上記抽出された各特徴の特性を判定する工程とを含む。上記各機械的センサは、アナログセンサ類であってもよい。
【００１７】
本発明は、効率的なシステムが得られるという長所を有する。本発明に係る実施形態の長所は、安定した掴み等のリアルタイムの操作を、形状、重量、摩擦、および表面状態などが未知の、未知の対象物について最小の操作力を用いて行うために、可能な限り多数の各知覚要素からの情報を用いることができるシステムを得ることができる。
【００１８】
並行に複数の各一時的センサ出力を取得することは、各一時的センサ出力を生成するために適時に複数の各センサ出力をサンプリングすることを含む。
【００１９】
各一時的センサ出力は、各機械的センサからの各センサ出力であってもよい。
【００２０】
算術処理は、一時的ドメインにおける互いに隣り合う上記各一時的センサ出力を処理することを含んでもよい。算術処理は、フーリエ分析を行わない処理であってもよい。フーリエ分析を行わない処理の構成ではより速いシステムが得られる。
【００２１】
上記方法は、上記抽出した各特徴を、トポロジーを維持している、１つのアレイまたは複数の各アレイに配列する工程を有してもよい。本発明が係る実施形態の長所は、重要な知覚し得る各事象または、対象物が急な動き等の特定の動きをするような各事象等、重要な各操作事象の認識に基づくプロセッサを提供することである。
【００２２】
また、本発明が係る実施形態の長所は、同時に、上記システムが、互いに独立した各センサ、または各センサの各サブセットの誤りに対して安定した状態を保持する頑健性を有する。
【００２３】
上記方法は、環境において発生する各事象や各特徴に対するアクティブな、またはパッシブな知覚を向上させるための上記各センサ出力を処理するように適合化されてもよい。
【００２４】
本発明は、また、上記処理方法を、自動車産業、自動車システム、自動車センサシステム、または自動車処理システムに使用することに関連している。
【００２５】
上記抽出および配列は、各センサ出力において各特徴を認識することと、それらの空間的局在化を保持することを含む。
【００２６】
上記方法はさらに、上記１つのアレイ、または複数の各アレイの空間的フィルタリングまたは空間一時的フィルタリングを行うことをさらに含んでもよい。
【００２７】
空間フィルタリングまたは空間一時的フィルタリングは、複数の各センサのキャリア基板を制御するためのコントローラが、コントローラの派生的な動作によって上記フィルタリングを実行するように適合化されてもよい。
【００２８】
上記空間的フィルタリングは、トポロジーを維持している、１つのアレイまたは複数の各アレイにおける互いに隣り合う抽出される各特徴の複数に基づく事象の抽出を含んでもよい。
【００２９】
事象は、ロボット等のコンピュータ化されたシステムにより、対象物を掴む等、対象物の複数の各センサ出力で行われる操作であってもよい。事象は視野における対象物の動きまたは対象物の動きの概念であってもよい。より一般的には、事象はコンピュータ化システムの環境の認知に関連する動作であってもよい。互いに隣り合う抽出される各特徴は、互いに隣り合う複数の各センサと対象物との間の接触、または、互いに隣り合う複数の各センサの起動または知覚の増加等のブロブを示し得る。
【００３０】
上記算術処理は、一時的特徴の抽出のため、バンドパス、または、各バンドパスの組み合わせを設けることを含んでもよい。
【００３１】
上記算術処理は、セルラ式のニューラルネットワークまたはセルラ式のノンリニアネットワークを用いることを含んでもよい。
【００３２】
セルラ式のニューラルネットワークまたはセルラ式のノンリニアネットワークは、非学習性であってもよい。本発明に係る実施形態の長所は、フーリエ変換分析を避けることができ、このため、並行に大量の信号を処理できる等、効率の良いシステムをもたらすことである。
【００３３】
本発明に係る実施形態の長所は、セルラ式のノンリニアネットワーク（ＣＮＮ）のパラダイムに基づく並行データ処理構造を提供することである。後者は脳に近い並列アルゴリズムの設計および実行を有利に可能にし得る。
【００３４】
算術処理は、加算、減算、遅延、閾値化、および、論理機能のみを含んでもよい。本発明に係る実施形態の長所は、フーリエ変換分析を避けることができ、並列に大量の各信号を処理できる等、効率の良いシステムをもたらすことである。
【００３５】
算術処理は、単一のフィルタ入力信号を有し、複数の各フィルタ出力信号をもたらすフィルタを設けることを含んでよく、フィルタ出力信号のそれぞれは、修飾（変形）された入力信号を、元の入力信号から減算することに基づく。
【００３６】
互いに隣り合う各一時的センサ出力における並列な算術処理は、互いに隣り合う各一時的センサ出力の部分のみにおける並列な算術処理を含んでもよい。
【００３７】
互いに隣り合う一時的センサ出力のデータの数は、利用可能な各センサ出力の数の５０％よりも少なく限定されてもよい。上記限定は使用者が決めてよい。
【００３８】
動的挙動を有する特徴は、変化、バイブレーション、および振動の少なくとも何れかを示す特徴を含んでもよい。上記変化は、所定の期間における少なくとも所定の閾値による強度の変化であってもよい。上記振動は、上記と同じ所定の期間における反対のサイン（および独立の使用者が決定する振幅）の２つの変化の連続であってもよい。上記バイブレーションは、２つの連続した各期間での、少なくとも２つの振動の連続であってもよい。
【００３９】
抽出される各特徴の特性は、互いに隣り合う各信号の複数の間の動的挙動の安定性を含んでもよい。安定性は、互いに隣り合う各信号の複数の間の動的挙動のパターンの発生頻度の同一性であってもよい。
【００４０】
本発明は、また、トポロジカルに識別可能な複数な各センサを有する少なくとも１つの可動要素を含むコンピュータ化されたシステムを制御する方法であって、上記方法は、例えば、機械的センサまたは光学的センサであってもよい各センサからの、トポロジカルに配置された複数の各出力信号を測定する工程と、上述した方法を用いて上記複数の各出力信号を処理する工程と、上記抽出された各特徴における上記判定された特性に基づいて、上記少なくとも１つの可動要素を制御する工程とを含む方法に関する。
【００４１】
本発明は、さらに、機械的刺激に応じて、トポロジカルに識別可能な複数の各センサの各信号出力を処理するためのデータプロセッサであって、上記プロセッサは、トポロジカルに配列された複数の各一時的センサ出力を並行に受信するための入力手段と、トポロジカルに同一の方法にて、上記各センサ出力の互いに隣り合う一時的サンプルを並列に算術的に処理するための算術プロセッサを備え、動的挙動パターンを有する各特徴を抽出するための特徴抽出手段と、上記抽出された各特徴の特性を判定するための判定手段とを有する。
【００４２】
本発明に係る実施形態の長所は、効率的な情報抽出を提供し、このため、例えば、多数の各センサを使用することを可能にするということである。本発明に係る実施形態の長所は、掴んだり持ち上げたりするように、リアルタイムの操作で、ロボット、または例えばより詳細にはロボットハンド等のように、多数の各知覚要素を用いるコンピュータ化されたシステムの制御を行うことができることである。
【００４３】
複数の各一時的センサ出力を並行に受信するための入力手段は、上記各一時的センサ出力を生成するために複数の各センサ出力を適時にサンプリングするためのサンプリング手段を備えてもよい。
【００４４】
上記算術プロセッサは、上記一時的ドメインにおける互いに隣り合う上記各一時的センサ出力の算術処理を行うように適合化されてもよい。
【００４５】
上記データプロセッサは、上記抽出された各特徴を、トポロジーを維持している、１つのアレイまたは複数の各アレイに配列するようにさらに適合化されてもよい。
【００４６】
上記データプロセッサは、各センサ出力での各特徴を認識し、それらの空間的局在化を保持するように適合化されてもよい。
【００４７】
上記プロセッサは、上記１つまたは複数のアレイの空間的または空間一時的フィルタリングを行うためのフィルタを備えてもよい。
【００４８】
上記フィルタは、上記トポロジーを維持している、１つのアレイまたは複数の各アレイでの複数の互いに隣り合う抽出された各特徴に基づいて、事象を抽出するためのフィルタリング手段を備えてもよい。
【００４９】
上記算術プロセッサは、各一時的特徴を抽出するためのバンドパスフィルタまたはバンドパスフィルタの組み合わせを備えてもよい。
上記算術プロセッサは、セルラ式のニューラルネットワークまたはセルラ式のノンリニアネットワークを含んでもよい。
【００５０】
上記算術プロセッサは、減算、遅延、閾値化、並びに、論理的および形態学的の少なくとも１つの機能にのみに基づくフィルタを備えるものでもよい。
【００５１】
上記算術プロセッサは、単一のフィルタ入力信号を有し、かつ、複数の各フィルタ出力信号をもたらすフィルタを備えてもよく、各フィルタ出力信号は、元の入力信号から修飾（変形）された入力信号を減算することに基づく。
【００５２】
互いに隣り合う各一時的センサ出力を並列に処理するための上記算術プロセッサは、上記互いに隣り合う各一時的センサ出力の部分のみを並列に算術処理するための算術プロセッサであってもよい。
【００５３】
上記動的挙動は、変化、バイブレーション、および振動の少なくとも１つを含んでもよい。
【００５４】
上記抽出された各特徴の上記特性は、互いに隣り合うものの複数の間における動的挙動の安定性を含んでもよい。
【００５５】
本発明は、また、トポロジカルに識別可能な複数の各センサと、上記のデータプロセッサとを有する、少なくとも１つの可動要素を備えるコンピュータ化されたシステムに関する。
【００５６】
上記システムは、上記抽出された各特徴における取得された特性の機能として、上記少なくとも１つの可動要素を制御するためのコントローラをさらに備えてもよい。
【００５７】
本発明は、さらに、機械的刺激に応じて、トポロジカルに識別可能な複数の各機械的センサの各信号出力を処理するためのコンピュータプログラム製品であって、上記コンピュータプログラム製品は、コンピュータ上で実行されるとき、上記の方法を実行するように適合化された、コンピュータプログラム製品に関わる。
【００５８】
本発明は、また、上記のコンピュータプログラム製品を記憶する機械読み出し可能な記憶装置および／またはローカルまたはワイドエリアな電気通信ネットワークによって上記コンピュータプログラム製品を伝送することに関する。
【００５９】
本発明に係る実施形態の長所は、感覚−モータ間の適切な連携を有するシステムが得られることである。
【００６０】
本発明に係る実施形態の長所は、繰り返される各操作タスクが安定してうまく行うことができるということである。例えば、繰り返される、つかみおよび持ち上げの各タスクについて、本発明の実施形態は、柔軟なスポンジボール、および日本の豆腐のような特に滑りやすく、変形可能かつデリケートな対象物を用いるのに加えて、プラスティックボトルのような一般的な対象物について、安定した掴みと、滑り始めの認識とを保証することができる。
【００６１】
本発明に係る実施形態の長所は、例えば掴む力を、低く、例えば必要最低限の値に保つように、リアルタイムで操作力を調節するための、多くの各アナログ信号を扱うことのできるデータプロセッサおよびコンピュータ化されたシステムを得ることができることである。
【００６２】
本発明の特別かつ好ましい側面は、添付の独立項および従属項に示される。従属項の特徴は、独立項の特徴と組み合わされてもよく、また請求項に明示されているだけでなく適宜他の従属項の特徴と組み合わされてもよい。
【００６３】
本発明の教示は、他の物において、例えばロボットまたは車両／自動車等の改良されたコンピュータ化されたシステムの設計と、例えば人間−ロボット相互作用を実現する方法、ロボットの操作を実現する方法、または機械知覚を活用する方法等、対応する方法を可能にする。
【００６４】
本発明の上記および他の特徴、特性、長所は、本発明の原理を例示する添付の図面を参照しながら以下の詳細な説明を読めば明らかであろう。この説明はあくまで例示として示されるものであって、本発明の範囲を限定するものではない。以下に引用する参照番号は添付の図面を示す。
【図面の簡単な説明】
【００６５】
【図１】本発明の第１側面の実施形態に係るデータプロセッサおよび関連するコンポーネントの模式図である。
【図２ａ】本発明の各実施形態に係るデータプロセッサにおいて用いられ得る例示の光コード化入力データを示す模式図である。
【図２ｂ】本発明の実施形態に係るデータプロセッサにおいて用いられ得る例示の他の光コード化入力データを示す模式図である。
【図３】本発明の実施形態に係る例示のデータプロセッサにおける可能なデータフローの模式図である。
【図４】本発明の実施形態に係る、処理が行われる例示のデータプロセッサとその対応する場所において実行される、互いに異なる各処理タスクの配分の模式図である。
【図５】本発明の第１詳細実施形態に係るデータプロセッサにおいて用いられ得る、変化を検出するためのコンパクトフィルタの模式図である。
【図６ａ】本発明の実施形態において用いられ得るセルラ式のニューラルネットワークつまりセルラ式のノンリニアネットワークにおける各コンポーネントおよびそれらの間の相互関係の模式図である。
【図６ｂ】本発明の実施形態において用いられ得るセルラ式のニューラルネットワークつまりセルラ式のノンリニアネットワークにおける各コンポーネントおよびそれらの間の相互関係の他の模式図である。
【図７】本発明の実施形態において用いられ得るセルラ式のニューラルネットワークつまりセルラ式のノンリニアネットワークにおけるデータフローの模式図である。
【図８】本発明の第２側面の各実施形態に係るコンピュータ化されたシステムの模式図である。
【図９】本発明の各実施形態に係る各センサ出力信号を処理するための、例示の方法の模式図である。
【図１０】本発明の第３側面の各実施形態に係る方法を実行するためのホストコンピュータとして用いられ得るコンピュータシステムを示すブロック図である。
【図１１】本発明の第２側面の実施形態に係る、バイオメカニカルハンドに基づくコンピュータ化された例示のシステムを示すブロック図である。
【図１２ａ】本発明の一側面の各実施形態に係る、対象物を操作するための例示的方法の説明において用いられるような、各特徴の抽出において用いられる各特徴と各パラメータの各定義を示す模式図である。
【図１２ｂ】本発明の一側面の各実施形態に係る、対象物を操作するための例示的方法の説明において用いられるような、各特徴の抽出において用いられる各特徴と各パラメータの各定義を示す他の模式図である。
【図１３】本発明の一側面の各実施形態に係る、対象物を操作するための方法を示す、触知し得る各事象を検出するためのアルゴリズムのためのブロック図である。
【図１４】本発明の一側面の各実施形態に係る、対象物を操作するための方法において用いられ得る触知し得る信号の各振動を検出するための例示的なアルゴリズムを示す模式図である。
【図１５】本発明の一側面の各実施形態に係る、対象物を操作するための方法において用いられ得る触知し得るシステムのセンサ状態をチェックするための、例示的なアルゴリズムを示す模式図である。
【図１６】本発明の一側面の各実施形態に係る、対象物を操作するための方法において行われ得る掴みまたは持ち上げの安定性を判定するための例示的アルゴリズムを示す模式図である。
【図１７】本発明の一側面の各実施形態に係る、対象物を操作するための方法の例示として、対象物を掴むまたは持ち上げるための方法のモデルを示す模式図である。
【図１８】本発明の一側面の各実施形態に係るシステムおよび／または方法を用いて検出され得る、歩行者が通りを横切る事象の例を示す模式図である。
【図１９】本発明の一側面の各実施形態に係るシステムおよび／または方法を用いて検出され得る、自動車が通りを移動する事象の例を示す模式図である。異なる図面において、同じ参照符号は、同じまたは類似の要素を示す。
【発明を実施するための形態】
【００６６】
本発明は、特定の各実施形態について説明され、特定の図面を参照して説明されるが、本発明はそれらに限定されることなく、請求項によってのみ限定される。描写される図面は、模式的なものに過ぎず、限定的なものではない。図面において、いくつかの要素のサイズは誇張されている場合があり、例示目的のために、そのままのスケールでは描かれていない。寸法および相対的寸法は、本発明の実使用のための実際の縮尺には対応していない。
【００６７】
さらに、図面および請求項においての第１、第２、第３などの用語は、類似の要素を区別するために用いられており、必ずしも順序、時間的、空間的な順位などを示すものではない。また、説明において上面、底面、上、下、などの用語は、描写目的で用いられており、必ずしも相対的位置を示すものではない。このように用いられる用語は、適切な状況の下で交換可能であり、本明細書にて説明する本発明の各実施形態が、本明細書にて説明し図示するものとは異なった順序または位置づけで動作可能であることを理解されたい。
【００６８】
請求項において用いられる用語“含む”は、その後に挙げられる手段に限定して解釈されるべきではないことを注意してもらいたい。この表現は、他の要素や工程を排除するものではない。同様に、“接続される”という用語は、接続のみを限定的に指すものと解釈してはならないことを注意してもらいたい。出力Ａと入力Ｂの間のパスがあり、このパスは他の装置または手段を含むパスであり得る、ということを意味している。“接続される”は、２つ以上の要素が直接物理的に、または電気的に接触していること、または、２つ以上の各要素が互いに直接接触せず、互いに連携する、または相互作用することを意味する。
【００６９】
“一実施形態”または“実施形態”を、明細書を通して参照することは、実施形態に関して説明される特定の構成、構造、または特徴が、本発明の少なくとも１つの実施形態に含まれることを意味する。同様に、本発明の例示的な各実施形態の説明では、本発明の様々な構成が単一の実施形態、図面、または説明において、開示を簡素化するためと、様々な発明の側面の１つ以上の理解を促すために、グループ化されることもある。さらに、本明細書にて説明される幾つかの各実施形態は、幾つかの構成を含むが、他の実施形態に含まれる他の構成は含まない一方、異なる各実施形態の構成の組み合わせは、本発明の範囲内であることが意味され、当業者によって理解され得るであろう、異なる各実施形態を形成する。
【００７０】
本明細書において与えられる説明では、多くの特定の詳細が述べられる。しかし、本発明の各実施形態はこれらの特定の詳細がなくても実施し得る。他の例では、本明細書の理解を曖昧にしないように、周知の、方法、構造、および技術について、詳細には示していない。
【００７１】
“データプロセッサ”および“データ処理手段”などの用語は、本願において置き換え可能であり、どちらもデータまたは信号を処理するために適用される構成要素を意味する。“プロセッサ”または“処理手段”という用語は、本願において置き換え可能であり、どちらも例えば信号を処理するために適用される構成要素を意味する。
【００７２】
“入力手段”または“入力データ受信器”という用語は、本願において置き換え可能であり、どちらも入力信号を受信するために適用される構成要素を意味する。“特徴抽出器”および“特徴抽出手段”、“特性判定器”および“特性判定手段”と同様に、“サンプラー”および“サンプリング手段”は、本願において置き換え可能である。
【００７３】
他に特に説明がなければ、以下の説明からも明らかなように、明細書を通して、“加速”、“処理”、“演算”、“算出”、“判定”などの用語を用いた説明は、コンピュータまたは演算システム、または同様の電子演算装置における動作および／または処理を意味し、物理的に示されるデータ、例えば、電子的な量などを操作および／または転換して、同様に物理的な量として示される他のデータにすることを意味している。
【００７４】
“リアルタイム”という用語は、実世界の処理と適合する任意かつ予測可能な速度で行われる処理について用いられ得る。特に、実世界の事象に対応する所定の最大潜時内の事象を検出し、演算処理が十分高く、素早い反応が確実に行われる速さを意味する。
【００７５】
ここで本発明について、発明のいくつかの実施形態の詳細な説明を用いて説明する。本発明の他の実施形態は、本発明の精神または技術的教示から逸脱することなく、当業者の知識に基づいて構成され得、本発明が添付の請求項の用語のみによって限定されることは明白である。
【００７６】
第１側面では、本発明は、例えば圧力、力、音響センサ等の機械的センサ、また光センサ、磁気センサ等の電磁センサのような、トポロジカルに識別可能な複数の各センサの各出力を処理するためのデータプロセッサに関する。データプロセッサは、機械的刺激に対する応答としてセンサ出力を提供するセンサに特に適している。
【００７７】
ここで、機械的刺激は、対象物の移動、対象物による圧力の変化等である。先に示されるセンサと一致して、このような機械的刺激は、光学的な方法、圧力または力を用いる方法、音響的方法、電磁相互作用を用いる方法、磁気相互作用を用いる方法等で知覚され得る。
【００７８】
いくつかの各実施形態では、機械的刺激を知覚するために、対象物がセンサと直接物理的接触を有する必要はない。他の有利な各実施形態では、対象物はセンサまたはセンサ表面に直接物理的に接触する。上記データプロセッサは、ロボット等のコンピュータ化されたシステム、ロボットアームまたはレッグ等のコンピュータ化された人工器官、製造環境において用いる機械において、またはその使用において、また例えば、自動車や、車両等の輸送手段における他のコンピュータ化されたシステムにおいて、またはその使用において適切であり得る。
【００７９】
このようなコンピュータ化されたシステムは、機械的知覚を可能にし、かつ／または、例えば未知の対象物等を操作することとの相互作用を制御可能にする複数の各センサを備え、このようなコンピュータ化されたシステムを、例えば日々のタスクおよび／またはシステムに、すなわち人間との相互作用に適切なものとする。
【００８０】
図示することによって、本発明は限定されるものではないが、例示的なデータプロセッサ１００の標準的かつ任意の各コンポーネントを図１に示す。データプロセッサ１００は、コンピュータ化されたシステム１０から入力信号を受信する。上記コンピュータ化されたシステム１０は、例えば、圧力、力、音響センサ等の機械的センサ、光センサ、磁気センサ等の電磁センサ等の複数の各センサ２０を備える周辺システムであり得る。
【００８１】
データプロセッサの外側にあり、またはデータプロセッサが統合される、コンピュータ化されたシステム１０は、コントローラ３０を用いて制御され得、制御信号を生成するように適合化される。
【００８２】
本発明に係る各実施形態は、例えば、人工器官装置、製造目的の機械と同様に、人間−ロボット間の相互作用、操作および／または制御、人型ロボット等、コンピュータ化されたシステムを含む、または、これにおいて使用され得、また例えば、自動車等の車両等の輸送手段におけるコンピュータ化されたシステムを含み、または、これにおいて使用され得る。
【００８３】
本発明の各実施形態は、対象物や生物を持ち上げたり掴んだりすること等の触知し得る事象について適用されるコンピュータ化されたシステムに特に適している。より一般的に、本発明の各実施形態は、機械環境等の機械的知覚または理解においてより高いレベルを達成し得る。
【００８４】
データプロセッサ１００は、複数の各センサ出力を受信する、例えばデータ受信機と称する入力手段１０２を備える。好ましくは、データプロセッサ１００のための入力データである複数の各センサ出力は、並行に取得されてもよい。受信されたセンサ出力は、例えば電気信号、光信号等、任意の種類のデータまたは信号であってもよい。光コード入力の長所は、並行に効率よくデータを受信できることである。
【００８５】
これらの入力信号は、例えば、処理され、光パルス等の光コード信号に変換された、センサ毎の１つ以上の各電気センサ出力であり得る。１つの例において、入力手段１０２は、例えば、光信号を受信するためのＣＣＤまたはＣ−ＭＯＳ光入力層等の光受信器を備えてもよい。
【００８６】
このため、入力信号は、プラスティック光ファイバー等の光ファイバーを介して伝達される光信号として取得されてもよいが、本発明はこれに限定されない。入力手段１０２は、画像の各画素が、例えば、ハンドであるコンピュータ化されたシステムにおける１つのセンサ信号に理想的に対応する光画像等の光信号として複数のセンサ出力を受信するように適合化され得る。それにもかかわらず、上記システムを制御するため実装されるアルゴリズムは、画像における画素のグループも個別の各センサ出力を示し得るような解像度不変のものである。
【００８７】
並行に取得され得る入力データまたは各入力信号の数は、大きくてもよく、例えば、２よりも大きく、例えば５よりも大きく、または８よりも大きく、または１６よりも大きく、または３２よりも大きく、または５０よりも大きく、または１００よりも大きく、または数千であってもよい。
【００８８】
本発明に係る各実施形態の長所は、各信号の効率的な処理をアシストするように、多数の各センサ出力が同時に取得できることである。さらに、上記同時の取得は、互いに独立した不調な検出器または検出アレイを検出することをアシストする。
【００８９】
入力データは、トポロジカル同一の方法で受信される。すなわち、入力手段１０２における受信データの幾何学的な相対位置は、上記受信データを生成する各センサの相対位置に対応し得る。
【００９０】
いくつかの各実施形態では、本発明は、それに限定されないが、センサ空間と画素空間との間には同相写像の関係が存在し得る。実際に互いに近接する２つの各センサは、互いに近接する入力手段１０２にそれらの投影を行い得る。いくつかの各実施形態では、異なる種類の各センサが用いられる場合、各種類の各センサに対する入力データは、トポロジカルに同一の状態で受信され得る。
【００９１】
いくつかの各実施形態では、複数の各信号出力は、センサのそれぞれによって抽出されてもよく、入力手段１０２におけるセンサチャンネルの形状が、予見される処理に応じて選択され得る。
【００９２】
いくつかの例示的な各実施形態では、画像として入力が受信されるとき、各センサの各位置、および受信光入力の各位置、例えば各画素の位置は、有利には、互いに、トポロジカルに同一である。
【００９３】
１つの特定の例では、入力手段１０２は、例えば工業用ＰＣにおいて用いられるＡＣＥ１６Ｋ  ＣＮＮビジュアルマイクロプロセッサ等のビジュアルマイクロプロセッサにおける、１２８×１２８のＣ−ＭＯＳ光入力層である。図示することによって、本発明をこれに限定するわけではないが、このようなシステムにおいて取得されるような入力データの２つの例を図２ａおよび図２ｂに示す。これらの図面に示される入力データは、５４の触知し得る光信号が、１２８×１２８のＣ−ＭＯＳ光入力層にマッピングされるロボットアームと、２つの異なる触知し得る各画像とのための入力データを示す。
【００９４】
セルラ式のノンリニアネットワーク（ＣＮＮ）（つまり、セルラ式のニューラルネットワーク）は、限定された局部的な互いに隣り合うもの内で直接相互作用を行う同一の動力学的なシステム（セルと呼ばれる）のｎ−次元アレイであり、上記隣り合うものの状態変数は連続した値の信号である。
【００９５】
ＣＮＮは、信号値が正規２−Ｄグリッド（例えば、画像またはアレイ処理）に位置される明確なタスクとして再公式化された問題のための演算パラダイムである。局部的ＣＮＮの接続性は、超高速で局部的操作に基づく画像処理を行うことができるＶＬＳＩ（ACE16K ＣＮＮビジュアルマイクロプロセッサと同様）またはＦＰＧＡとして実行することを可能にする。
【００９６】
データプロセッサ１００は、さらに、適時に複数の各センサをサンプリングするためのサンプリング手段１０４を備え得る。このように、各一時的サンプルが生成される。サンプリング手段１０４は、入力手段１０２に統合される、または入力手段１０２から分離されてもよい。例えば、データプロセッサのための入力信号であるセンサ出力信号が光学的に符号化されると、出力手段において積算時間を設定し、光受信器として機能することによってサンプリングが行われてもよい。
【００９７】
サンプリングは、例えば、光受信器においてシャッターを制御することによって行われ得る。このように、取得されたセンサのデータは、各階調画像となる。それにもかかわらず、他の種類のサンプリング、例えば、他の種類の信号におけるサンプリングも用いられてよい。サンプリングは、また、システムの周辺部分において行われてもよく、その結果、サンプリングされた信号出力がデータプロセッサにおいて受信される。
【００９８】
本発明のいくつかの各実施形態では、システムの周辺部分とデータプロセッサの両方においてサンプリングが行われてもよい。例えば、周辺レベルにおいて、触知し得る信号がスキンモジュールにおいてサンプリングされてもよく、光パルスに変換されてもよく、データプロセッサは、第２サンプリングを提供する。データプロセッサは、各アナログ信号を直接入力されてもよく、必ずしも、各デジタル信号に変換する必要はない。
【００９９】
データプロセッサは、データプロセッサのセルにデータ信号を適切に充填またはチャージするためのシャッターを備えてもよい。以下で詳述するように光信号がデータプロセッサのセルを充填またはチャージするために用いられるとき、光信号は有利にアナログ光信号であってもよく、このため、例えばパルス幅変調によって変調されたデジタル光信号を用いて充填またはチャージを行うことに比べて、データプロセッサによるデータの処理が容易になる。
【０１００】
データプロセッサ１００は、動力学的な挙動パターンを有する各特徴を抽出するための特徴抽出手段１０６をさらに有する。上記動力学的な挙動パターンは、上記コンピュータ化されてシステムによって実行される操作タスクにとって、特定なものである動的挙動であってもよい。上記各特徴は、操作の間に発生する事象についての特徴の任意なものである。
【０１０１】
このような事象は、例えば、スリップすること、掴んだり打ったりする等の接触、対象物を放すこと、対象物が動くこと、対象物が回転すること、対象物の動きが変化すること等であってもよい。このような事象に特有の各特徴は、例えば特定の閾値よりも大きい、センサ信号における変化であってもよい。このような変化は、変化量として示されてもよい。
【０１０２】
他の各特徴は、例えば信号の変調、（単調な）増減、所定の機能を満たす変化等、所定の状態のセンサ信号の変化であってもよい。用いられ得る他の各特徴は、例えば一実施例に詳述するように、振動やバイブレーションであってもよい。一例ではあるが、本発明はこれに限定されない。それは、掴むというタスクおよび持ち上げ動的挙動パターンは、変化、振動、またはバイブレーションを参照して用いられ得るからである。
【０１０３】
通行中の歩行者または車両における突然の動きを検出するというタスクのために、対象物の部分または全部の変化、振動、またはバイブレーションが用いられ得る。動的挙動パターンを有する各特徴に加えて、例えばセンサ活性が広がる領域、センサ信号の平均強度、センサ活性の広がり等、他の各特徴も用いられ得る。
【０１０４】
動的挙動パターンを有する各特徴の抽出は、例えば、トポロジカルに同一状態にて、各センサ出力における互いに隣り合う各一時的サンプルに対して並列に算術処理を行うことによって実行される。特徴抽出手段１０６は、一時的ドメインにおける互いに隣り合う各一時的サンプルに対する算術処理に適合化され得る。
【０１０５】
動的挙動パターンを有する各特徴は、各センサ出力における並列に処理された各サンプルのトポロジーを考慮に入れて有利に抽出され得る。フーリエ変換分析を用いない処理に適合化されてもよい。特徴抽出手段１０６のタスク処理は、算術プロセッサ１１０によって行われてもよく、それは特徴抽出手段１０６専用であってもよく、またはデータプロセッサ１００における異なるコンポーネントによって共通に用いられてもよい。
【０１０６】
異なる種類の算術プロセッサが用いられてもよい。例えば、一実施形態では、特徴抽出手段１０６は、一時的特徴抽出のための、バンドパスフィルタ、または複数の各バンドパスフィルタ、または異なるバンドを有する複数の各バンドパスフィルタの機能を提供するフィルタとして機能する、またはそれらを有する算術プロセッサ１１０を備えてもよい。
【０１０７】
特徴抽出手段１０６は、以下に詳述するように、セルラ式のニューラルネットワークまたはセルラ式のノンリニアネットワーク（ＣＮＮ）を有する算術プロセッサ１１０を備えてもよい。特徴抽出手段１０６は、全ての感覚入力を並行に取得し、並列に処理するように適合化されてもよい。さらに、アナログドメインにおいてこれらの感覚入力を処理するように適合化されてもよい。後者の処理は高速で行われてもよい。
【０１０８】
特徴抽出手段１０６は、生物学的に喚起されるアルゴリズムを用いる人間操作システムによって抽出される特徴と同様の入力刺激特徴から抽出するように適合化されてもよい。後者の処理は、演算的に効率の良い方法で実行され得る。特徴抽出手段１０６は、さらに、人間感覚−モータ間の連携戦略における機能的側面を考慮に入れるように適合化されてもよい。
【０１０９】
本発明に係る実施形態の長所は、効率が良く安定した、生物学的に活性化される制御アルゴリズムが得られることである。この方法は、また、各センサ出力における互いに隣り合う各一時的サンプルの、並列な算術処理によって行われる、静的挙動パターンを有する各特徴の抽出を含んでもよい。
【０１１０】
データプロセッサ１００は、また、抽出された特徴の特性を判定するための特性判定手段１０８を備える。抽出された特徴の特性は、例えば動的挙動の安定性、動的挙動の強さ、複数の互いに隣り合う各データの間における動的挙動の同一性、またはそれらの組み合わせであり得る。
【０１１１】
それゆえ、上記安定性は、複数時間にわたる動的挙動パターンの発生の同一性として定義され得る。これらの特性は、各様相として所定の閾値に対して評価され得る。このため、データプロセッサ１００は、抽出された各特徴の特性を決定するための処理能力を備え得る。
【０１１２】
後者は、好ましくは、特徴抽出（図１に示すように）に用いられる算術プロセッサと同じ算術プロセッサ１１０によって行われ得るが、本発明はこれに限定されず、異なる算術プロセッサが用いられてもよい。抽出された特徴における判定された特性は、コンピュータ化されたシステムを制御するための内部または外部のコントローラによって用いられ得る。
【０１１３】
抽出された特徴における判定された特性は、また、操作に関する意味論的情報を生成するために用いられ得、これによって、意味論的情報は、コンピュータ化されたシステムを制御するための内部または外部のコントローラによって用いられる。意味論的情報は、実世界において発生する操作に関する情報に関する。
【０１１４】
意味論的情報は、例えば、スリップ、安定した接触、突然の触知し得る事象、動きの方向における変化、動き、突然の動き等、操作に関する情報を含み得る。意味論的情報は、算術プロセッサを用いるか、他の任意の適切なプロセッサを用いることによって、特性データから生成され得る。意味論的情報の生成は、また、コントローラからの固有受容性情報において部分的に基づき得るものであり、例えば、より高いレベルの意味論的情報をもたらす。
【０１１５】
このような固有受容性情報は、コンピュータ化されたシステムによって生成されるデータであり得、例えば、上記システムの関節位置に関し、例えば、コンピュータ化されたシステムがロボットアームであるときは、ハンドの閉め具合および／またはアームの高さに関する。
【０１１６】
図示することによって、本発明はそれに限定されないが、受信され、操作され、データプロセッサ１００によって処理されるデータのための例示的データフローを図３に示す。
【０１１７】
データプロセッサ１００は、センサ出力データ２０２を受信し、それは前処理された、および／または、変換された信号であり得る。このようなデータ周辺システムから、例えば、コンピュータ化されたシステムからのセンサから受信される。このような信号は、例えば、前処理された、および電気光学的に変換された触知し得る信号を表す光信号であり得る。
【０１１８】
データプロセッサ１００のための入力データであるセンサ出力データ２０２は、データプロセッサ１００のための入力データをサンプリングすることによって必要に応じて得られる一時的データ２０４である。他の例としては、入力データは連続した信号として得られる一時的データ２０４である。そして、一時的データは算術的に処理され、抽出された特徴２０６のセットをもたらす。
【０１１９】
抽出された各特徴は、トポロジーを維持している１つのアレイまたは複数の各アレイに配置され得、各特徴の抽出はこのため、各センサ出力のトポロジーを考慮に入れて実行され得る。抽出された各特徴から、抽出された各特徴の特性２０８を得るが、これは操作に関する意味論的情報に対応する。
【０１２０】
このような意味論的情報の一例として、以下に示すように、接触が最初に確立されたとき、スリップを示す各特徴のサブセットの組み合わせが挙げられる。抽出された各特徴の特性２０８またはそれに対応する意味論的情報は、コンピュータ化されたシステムを制御するためのコントローラに出力されるが、それは制御情報２１０において伝達され得る。
【０１２１】
このようなコントローラは、データプロセッサ１００に対して内部であり得、または、データプロセッサ１００に対して外部であり得る。例として、図１において、コントローラはデータプロセッサ１００の外部として示される。コントローラは、取得した情報を、例えばコンピュータ化されたシステムからの位置信号等の固有受容性情報と組み合わせ得る。
【０１２２】
このように、より高いレベルの意味論的情報が生成され得る。例えばロボットハンドについて、スリップが検出されて接触が確立されるが、実際にハンドは開いている場合、これは何かの不都合を示している。データが生成され、操作され、用いられる、異なる処理ハードウェアレベルを図４に示す。
【０１２３】
入力データ２０２は、センサモジュールにおいて生成され、すなわち、前処理が行われ得るコンピュータ化されたシステム１０の一部において生成される。また、センサ出力における電気光学的変換が行われ得るが、後者はデータプロセッサによって受信できる信号の種類による。
【０１２４】
一度受信され、必要に応じてサンプラーによって適切にサンプルされると、算術プロセッサは特徴を抽出するための、また、その特性を判定するための入力データを処理する。算術プロセッサは、データプロセッサ１００内に位置し得る。算術プロセッサにおいて生成される意味論的データは、抽出された各特徴における判定された特性を含み得、または、上記特性の解釈を含み得る。
【０１２５】
そして、特性データまたは意味論的データは、コントローラ３０内に位置するコントローラプロセッサに伝達され（出力され）、コンピュータ化されたシステムを制御するための制御データへと処理され得る。
【０１２６】
本発明の各実施形態では、データプロセッサ１００は、算術的に処理された各信号を、トポロジカルに同一な状態にて記憶するように適合化され得る。上記状態は、例えば、トポロジカルに同一なアレイの状態であり得る。言い換えると、コンピュータ化されたシステム１０の各センサのトポロジーは、データプロセッサ１００のための入力データのトポロジーと対応し得るだけでなく、各信号の算術的処理後の処理された各信号のトポロジーにもさらに対応し得る。
【０１２７】
言い換えると、抽出された各特徴は、入力センサが得られるセンサの位相と対応する、トポロジカルに同一な状態に配置され得る。抽出された各特徴は、例えば、トポロジカルに同一な１つのアレイまたは複数の各アレイに記憶される。上記アレイまたは上記各アレイは、データプロセッサのための入力として用いられる各センサの位置とトポロジカルに同一である。トポロジーは、考慮されて、例えば、動的挙動パターンを有する各特徴の抽出のために維持され得る。
【０１２８】
本発明の各実施形態では、データプロセッサ１００は、動的挙動パターンを有する抽出された特徴に加えて、空間的挙動または特定の強度の挙動を有する特徴を抽出するように適合化されていてもよい。言い換えると、データプロセッサ１００は、さらに、操作の間に起動される各センサの領域および分布といった空間的特徴、または、起動されたセンサまたは各センサの平均強度といった強度の特徴を得るように適合化されてもよい。
【０１２９】
これらの各特徴は、必要に応じて、処理された後に、抽出された各特徴の特性を判定するための動的挙動パターンを有する抽出された特徴とともに用いられてもよく、または、例えば、意味論的状況を判定する、抽出された各特徴の特性とともに用いられてもよい。例えば、一時的ドメインにおいて各センサ信号を並行に取り扱うことによる動的挙動パターンを有する各特徴の抽出に加えて、空間的フィルタリングが空間的情報を抽出するために実行されてもよい。
【０１３０】
データプロセッサ１００は、特徴の特性を検出すること、または、例えば、コンピュータ化されたシステム１０と対象物の間の接触等の対応する事象を検出することに加えて、操作事象を判定する、または検出するように適合化されていてもよい。
【０１３１】
データプロセッサ１００は、より一般的には、知覚事象、例えば、コンピュータ化されたシステムの環境特徴に対する知覚事象を判定する、または検出するように適合化されていてもよい。
【０１３２】
本発明の第１側面に係る特定の各実施形態をさらに詳しく説明するが、本発明はそれらに限定されず、請求項によってのみ限定される。
【０１３３】
第１の特定実施形態では、本発明は、上記のように、各信号出力を処理するためのデータプロセッサ１００に関し、少なくとも特徴抽出手段１０６は、バンドパスフィルタを、または複数（多数）の各バンドパスフィルタの組み合わせを、または一時的ドメインにおいてはじめて動作する互いに異なる各バンドを有する複数（多数）の各バンドパスフィルタの組み合わせの機能性を提供するフィルタを用いて、入力データの一時的サンプルをフィルタリングするための算術プロセッサ１１０を有するように適合化される。
【０１３４】
バンドパスフィルタは、一時的ドメインにおいてはじめて動作する空間一時的バンドパスフィルタであり得る。空間一時的バンドパスフィルタは、フーリエ変換なしで動作し得る。バンドパスフィルタまたは各バンドパスフィルタは、各ステップにおいて並行に受信される各個別データ信号に適用され得る。
【０１３５】
上記フィルタは、フィードフォワードＣＯＭＢ（櫛型）フィルタを有し得る。従来の櫛型フィルタとは異なり、上記各信号は、減算されてもよい。バンドパスフィルタまたは各バンドパスフィルタは、一時的ＣＯＭＢフィルタを有し得、各時間において、出力信号は、２つのみの各信号の組み合わせ、例えば、上記２つの各信号の減算による組み合わせであるが、ウィンドウにおける前の各サンプルの全ての組み合わせではない。
【０１３６】
バンドパスフィルタは、非線形であってもよい。非線形のバンドパスフィルタは、非線形機能のブロックを有し得る。バンドパスフィルタは、入力信号についてのノイズ消去、または他の動作のための、各論理演算子を、および／または、各形態演算子を有し得る。
【０１３７】
バンドパスフィルタまたは各バンドパスフィルタは、フィードフォワードＣＯＭＢフィルタ、非線形機能のブロック、ノイズ消去のための論理演算子、および形態演算子のいずれかまたは全ての組み合わせを有し得る。バンドパスフィルタまたは各バンドパスフィルタは、減算、遅延、閾値化、および論理の機能を適用する機能性のみを有し得る。
【０１３８】
後者は必要な演算パワーを限定し、このため有利により速い動作時間を可能にする。バンドパスフィルタまたは各バンドパスフィルタは、単一の入力でもよく、複数の各入力でもよい。各フィルタ出力信号は、元の入力信号からの、変形された入力信号の減算に基づき得る。
【０１３９】
図示することによって、本発明は、図示に限定されないが、用いることのできるフィルタの明確な構造を図５に示す。フィルタ構造は、フィードフォワードＣＯＭＢフィルタ、非線形機能、および、論理または機能を有する。フィルタの動作は、さらに、以下の特徴を有する。
【０１４０】
ｘｉ[ｎ]、ｙｉ[ｎ]は、画素の階調値と対応する一例における時間信号である。フィルタの動作は、このため、例えば画像などデータ全体に対し並行に、すなわち、全ての個別入力データに対し並行に適用され得る。一例における信号ｘｉ[ｎ]、ｙｉ[ｎ]は、このため、各画像と考えられ得る。
【０１４１】
フィルタは、多数のサンプルＮと対応する長さを有するタイリング時間ウィンドウにおいて動作し、タイリングされたウィンドウは、遅延ｋを１からＮまで増加することによって生成される。サンプルＮの数は、フィルタにおける、サンプリング率、必要なバンドパス、および必要な潜在性の関数として選択されてもよい。
【０１４２】
フィルタの動作の間、遅延ｋはこのため、各反復において増加し、出力信号ｙｉ[ｎ]は、ＯＲ[ｆｉ（ｘ[ｎ]−ｘ[ｎ−１]）、ｆｉ（ｘ[ｎ]−ｘ[ｎ−２]）、．．．、ｆｉ（ｘ[ｎ]−ｘ[ｎ−ｋ]）]と等しく、ｆｉ（ｘ）は閾値関数である。このサイクルの終わりにおいて、ｋ＝Ｎの場合、以下の動作が行われ得る。
【０１４３】
ｙ１[ｎ]．．．ｙ８[ｎ]が、一連の論理関数（ＡＮＤ，ＯＲ，ＮＯＴ）によって組み合わされ、調べる特徴を分離させ、ｙ１．．．ｙ８をリセットし、ｋを１に等しく設定する。言い換えると、各Ｎ反復の後、Ｍ出力信号が一連の論理演算に組み合わされ、特徴を抽出する。
【０１４４】
第２の特定実施形態では、本発明は、上述した各信号出力を処理するためのデータプロセッサ１００に関するもので、例えば、第１の特定実施形態に説明されているようなものであるが、これに限定されず、特徴抽出手段１０６は、少なくともセルラ式のノンリニアネットワーク（ＣＮＮ）を備える、またはセルラ式のノンリニアネットワーク（ＣＮＮ）からなる算術プロセッサを有するように適合化される。
【０１４５】
後者は、アナログアレイ信号を処理するに特に適している。上記セルラ式のネットワークは、実行されるハードウェア、実行されるソフトウェア、または実行されるハードウェアおよびソフトウェアの組み合わせであってもよい。上記セルラ式のネットワークは、例えば、集積回路チップにおいて実行されるハードウェアであってもよい。
【０１４６】
後者は、超大規模集積（ＶＬＳＩ）チップであってもよいが、本発明はこれに限定されない。ＣＮＮ構造は、局部的に接続されたアナログダイナミックプロセッサまたはセルの２次元アレイであり得る。このようなセルラ式のネットワークは、非学習性のネットワークであってもよい。一例において、セルラ式のネットワークは、上記のようにACE16K ＣＮＮビジュアルマイクロプロセッサにおける１２８×１２８セルのセルラ式のネットワーク構造等の光入力層に連結されるセルラ式のネットワーク構造であってもよい。
【０１４７】
この場合、光受信器における各画素は、セルラ式のネットワーク構造のセルに対応し得る。ＣＮＮプロセッサを有するビジュアルマイクロプロセッサを用いることによって、ＣＮＮプロセッサは、各画像を、データ入力として並行に、また、連続時間に基づいて受け入れ、処理をしてもよい。
【０１４８】
それにもかかわらず、より一般的には、入力信号が必要に応じてサンプリング手段１０４によってサンプリングされた後、セルラ式のネットワークは、入力手段１０２からその入力を受信してもよい。本発明に係る実施形態の長所は、ＣＮＮ構造がある程度、多くの生物学的感覚および処理システムにおける構造および生理機構を模倣することである。
【０１４９】
本発明に係る方法およびシステムを適用することによって、脳に似た情報処理アルゴリズム、元来アナログで、空間的に一時的なアルゴリズムを実行できる。後者は、本説明において記載したような長所の少なくともいくつかをもたらす。
【０１５０】
ＣＮＮは、局部的に接続されたアナログダイナミックプロセッサまたはセルのグループであり得る。図示することによって、本発明をそれに限定するわけではないが、局部的に接続されるアナログダイナミックプロセスの２次元アレイであるＣＮＮは、図６ａに示され、総体的に説明される。
【０１５１】
この図を参照して、行ｉおよび列ｊにおけるセルは、記号Ｃ（i, j）によって示される。図６ｂは、セルＣ（i, j）とセルＣ（i, j）を囲む各セルとをリンクする、上記と異なるシナプス結合を示す。
【０１５２】
Ｃ（i, j）と直接接続される各セルのサブセットは、記号Ｓ（i, j）、より具体的にはＳｒ（i, j）によって示され、ｒはセルＣ（i, j）に及ぼす影響の範囲を示す。図示すると、図６ｂにおいて、２つの互いに隣り合う各セルの間の距離であるｒのための位置が示される。各セルＣ（i, j）は、状態ｘijによって特徴付けられ、出力ｙijを生成する。
【０１５３】
状態ｘijは、その前の状態、入力ｕからＳ（i, j）の組み合わせ、Ｓ（i, j）における前の演算の出力ｙの組み合わせに依存し、オフセット値ｚij；ｙijは、ｘijの非線形関数であり、たいていは飽和関数である。より形式的な記号では、セルにおける後の状態を判定する式は以下の通りである。
【０１５４】
【数１】
2010539445.tif 000003
一方、出力は、以下の非線形の式によって上記状態に関連付けられる。
ｙij＝ｆ（ｘij）
ＡおよびＢは、２つのマトリックスであり、それらは、それぞれフィードバックの演算子や入力シナプスの演算子と呼ばれる。ｚijは、Ｃ（i, j）の閾値である。ＣＮＮセルについてのデータ入力およびデータ出力を図７に示す。クローニングテンプレートまたは単純にテンプレートとも呼ばれるトリプレット[Ａ、Ｂ、ｚ]は、完全に各ＣＮＮを特徴付ける。
【０１５５】
ＣＮＮハードウェアの実装の一例は、２つの３×３の実マトリクスＢ、Ａ（Ｃ（i, j）およびその周囲のＳｒ（i, j）の間の各関係の各重み付けを記述する）および実スカラー値のｚの使用であってもよい。
【０１５６】
この実施形態の長所は、ＣＮＮアルゴリズムが、２次元画像としてトポロジカルに組織化される入力信号毎に並行に同時に適用される、各テンプレートの順序付けられた配列を備えてもよい、または該配列からなってもよいことである。
【０１５７】
各ＣＮＮの長所は、大量の感覚情報を効率的に処理するために、各ＣＮＮが適切な構造を提供することである。ＣＮＮによる処理は、コンピュータ化されたシステムをリアルタイムで制御するために、各センサのアレイから抽出される空間的、一時的特徴に加えて、手書きの各特徴の組み合わせを用いてもよい。
【０１５８】
第２側面では、本発明は、人型ロボットまたはコンピュータ化された人工器官のような、コンピュータ化されたシステムに関する。コンピュータ化されたシステムは、複数のトポロジカルに互いに異なる各センサを有する少なくとも１つの可動要素を備える。
【０１５９】
各センサは、例えば、圧力、力、または音響センサのような機械的センサ類や、例えば光センサ類、磁気センサ類等のような電磁センサ類であってもよい。データプロセッサは、機械的刺激に対する応答としてのセンサ出力を提供する各センサのために特に適したものであってもよい。
【０１６０】
このため、上記システムは、マルチセンサシステムである。機械的刺激は、対象物の動き、対象物による圧力の変化等であってもよい。上述した各センサと同様に、このような機械的刺激は、光学的方法、圧力または力を用いる方法、音響的方法、電磁相互作用を用いる方法、磁気相互作用を用いる方法等で知覚され得る。いくつかの各実施形態では、機械的な刺激を感知するために、対象物は、必ずしもセンサに対して直接物理的な接触を有さなくてもよい。
【０１６１】
他の有利な実施形態では、対象物は、センサまたはセンサの知覚表面に対して直接物理的に接触しているもの、または接触するようになるものであってもよい。可動要素は、対象物の操作を行うように、または生物と相互作用するように適合化され得る。
【０１６２】
可動要素は、アクチュエータを用いて作動される。本発明に係る特定の各実施形態では、コンピュータ化されたシステムは、対象物を操作するための、かつ／または生物と相互作用するためのハンドを有するロボットハンドまたはアームであり得る。
【０１６３】
このため、センサは、触知し得る事象を記録するために用いられてもよいが、本発明はこれに限定されない。より具体的には、システムは、また、直接の物理的な接触がない対象物との相互作用のために用いられてもよい。コンピュータ化されたシステムは、例えば掴んだり持ち上げたりするタスク、対象物の置き換えに関するタスク、対象物を揃えることに関するタスク等の日常のタスクのために適合化されてもよいが、本発明はこれに限定されない。
【０１６４】
コンピュータ化されたシステムは、本発明の第１側面において説明されたようなデータプロセッサを備え、第１側面で記載した同じ各特徴および各有利な点を備える。データプロセッサは、例えばデータが前処理され、かつ／または変換された後に、センサから上記データを受信する。
【０１６５】
コンピュータ化されたシステムは、データプロセッサの信号出力の機能として、可動要素を制御するためのコントローラをさらに備えてもよい。このため、上記コントローラは、データプロセッサから出力データを受信し、例えばコンピュータ化されたシステムの可動要素のように、コンピュータ化されたシステムを制御するためのデータを制御するための上記データを処理するように適合化される。
【０１６６】
上記コントローラは、例えばパーソナルコンピュータのようなホストコンピュータのように、データ処理と同じハードウェア環境において実装され得る処理機能性を提供し得るが、後者は、データプロセッサと通信する別個の演算装置に対して実装され得る。コントローラの処理容量は、例えばデジタルデータプロセッサ、または、プログラマブルアレイロジック（ＰＡＬ）、プログラマブルロジックアレイ、プログラマブルゲートアレイ等のプログラマブルデジタルロジック装置等のホストコンピュータにおける任意の適切な種類のプロセッサによって実現され得る。
【０１６７】
図示することによって、本発明はこれに限定されないが、コンピュータ化されたシステム３００の例を、このようなシステムにおける標準的かつ任意のコンポーネントを示す図８に示す。コンピュータ化されたシステム３００は、本例においてコントローラ３０によって制御されるアクチュエータ３０４によって作動される少なくとも１つの可動要素３０２を備える。
【０１６８】
可動要素３０２は、例えば、高感度皮膚受容器とも呼ばれる皮膚の機械的受容器として実装され得る複数の各センサ２０を備えるが、本発明はこれに限定されない。センサから処理されたデータを受信、処理、および出力するように適合化されたデータプロセッサ１００の出力に伴って可動要素３０２を制御するためのさらなる制御信号を判定するためのコントローラ３０において用いられ得る、例えば可動要素の位置情報等の固有受容性情報を提供する各エンコーダのセットが可動要素３０２にさらに設けられ得る。
【０１６９】
コンピュータ化されたシステムのさらなる各特徴および各長所は、本発明において提供される各実施例と同様に、第１側面において説明されるデータプロセッサ１００の特徴によって説明され、かつ／または示される。
【０１７０】
第３側面において、本発明は、例えば、圧力、力、または音響の各センサ等の機械的センサ類や、光セン類サ、磁気センサ類等の電磁センサ類といった、複数のトポロジカルに互いに異なる各センサの信号出力を処理するための方法に関する。
【０１７１】
データプロセッサは、機械的刺激に対する応答としてセンサ出力を提供する各センサのため特に適したものになっている。機械的刺激は、対象物の動き、対象物による圧力の変化等であってもよい。上記のセンサに従って、このような機械的刺激は、光学的方法、圧力または力を用いる方法、音響的方法、電磁相互作用を用いる方法、磁力相互作用を用いる方法等で感知され得る。
【０１７２】
いくつかの各実施形態では、機械的刺激を感知するために、対象物は、必ずしもセンサに対して直接に物理的接触を有しなくてもよい。他の有利な長所では、対象物は、センサまたは感知表面に対して直接物理的な接触を有する。このような方法は、例えば対象物の操作または生物との相互作用の間、またはその操作または相互作用のために、コンピュータ化されたシステムを制御するために有利に用いられ得る。
【０１７３】
この方法は、並行に複数の各センサ出力を取得する工程と、各一時的サンプルを生成するために、複数の各センサ出力を所定の時間内にサンプリングする工程とを含む。この方法は、例えば、トポロジカルに同一の状態で、各センサ出力における互いに隣り合う各一時的サンプルを並行に算術処理することによって動的挙動パターンを有する各特徴を抽出する工程をさらに含む。
【０１７４】
上記抽出する工程は、各センサ出力のトポロジカルな配置を考慮に入れ、または基づいて行われてもよい。この方法は、また、各センサ出力における互いに隣り合う各一時的サンプルを並行に算術処理することによって静的挙動パターンを有する特徴を抽出する工程を含んでもよい。
【０１７５】
この方法は、抽出された特徴の特性を判定する工程をさらに含む。図示によって、複数の互いに異なる各センサの各信号出力を処理するための例示的な方法４００を、標準的な各工程、および任意の各工程を示すものとして図９に示す。第１工程４０２では、複数の各センサの各出力信号が入力として受信される。各信号は並行に取得され、これにより効率的処理がアシストされる。各入力信号の受信は、入力信号を光学的に検出することによって行われてよいが、例えば、各電気信号等、他の種類の各信号が処理されてもよい。各入力信号は、各アナログ入力信号であってもよい。
【０１７６】
任意の第２工程４０４では、一時的データを得るために、各入力信号は必要に応じてサンプルされてもよい。他の例では、受信した入力データは、一時的データとして直接受信されてもよい。後者は、例えば、光学的受信入力ユニットにおけるシャッターを用いる等、任意の適切な方法で行われてもよい。
【０１７７】
第３工程４０６では、動的挙動パターンを有する各特徴が、算術処理を用いて抽出される。後者は、各センサ出力のトポロジーを考慮に入れて行われてもよい。算術処理は、各センサ出力における互いに隣り合う各一時的サンプルについて並行に実行される。上記各センサ出力は、データ処理システムのための信号入力とも称される。
【０１７８】
このような算術処理は、バンドパスハイパスまたはローパスフィルタまたは、一時的ドメインにおいてのみデータについて動作するバンドパスハイパス、ローパスフィルタの組み合わせを適用する工程を含んでもよい、または該工程からなってもよい。
【０１７９】
このため、上記算術処理は、１つのバンド（周波数帯域）、または連続していない複数の各バンドに対してフィルタ帯域を有するフィルタを備えてもよい。算術処理は、閾値化、遅延、減算、論理および／または形態学的な各機能のみを用いるフィルタを適用する工程を含んでもよいし、該工程からなってもよい。
【０１８０】
フィルタリングは、非線形であってもよい。算術処理は、セルラ式のノンリニアネットワークで、またはそれを用いて行われてもよい。処理は、各画像として組織化さデータについて行われてもよい。各特徴は、前記第１側面において説明したようなものであってもよい。
【０１８１】
任意の第４工程４０８では、抽出された各特徴は、例えば、トポロジカルに同一なアレイ等、トポロジカルに同一なフォーマットにおいて記憶されてもよい。言い換えると、コンピュータ化されたシステムにおける、互いに隣り合うものに対する各センサの位置は、互いに隣り合う各センサにおける記憶され処理されたデータに対するセンサの処理データの記憶された位置に対応し得る。
【０１８２】
任意の第５工程４１０では、追加の各特徴は、空間フィルタリングまたは空間および一時的なフィルタリングの組み合わせによって抽出されてもよい。後者は、任意の適切なフィルタを用いて行われてもよく、また、起動された各センサの各センサ信号における領域および分布等の空間的特徴を抽出するために用いられてもよい。
【０１８３】
第６工程４１２では、抽出された特徴の特性が判定される。後者は、任意の空間的フィルタリングの前または後で行われてもよい。特性は、前記第１側面で説明したようなものであってもよい。特性の判定は、例えば、抽出された各特徴の安定性または対応する事象を判定するものであってもよい。
【０１８４】
任意の工程４１４では、判定された特性のデータは、意味論的情報に変換されてもよく、実世界での操作の間に行われる実際のアクション（動作）を表現し、コントローラがそれに応じてコンピュータ化されたシステムをさらに制御することを可能とする。この意味論的な情報または特性の情報は、コントローラに対する出力情報として提供され得る。
【０１８５】
処理を行う方法の他の特徴および側面は、前記第１側面で説明したようなデータプロセッサの各特徴における各機能性によって表現される各特徴であり得る。一実施形態では、さらなる任意の工程は、有利には、手順の最初において行われてもよい。
【０１８６】
このさらなる任意の工程は、例えば、使用される各物質、使用される各センサ、各センサのカバー層の厚さ等によって決定される現在のハードウェア構成に対して、提案されたアルゴリズムにて、各パラメータを調整することを含む。さらなる任意の工程は、例えば、スリップが重要な役割を果たし得る操作について特に有効であり得る。
【０１８７】
第４側面では、本発明は、コンピュータ化されたシステムを制御する方法に関する。コンピュータ化されたシステムは、例えば、圧力、力、または音響の各センサ等の機械的センサ類と、光センサ類、磁気センサ類等の電磁センサ類といった複数のトポロジカルに互いに異なる各センサを含む少なくとも１つの可動要素を備える。
【０１８８】
上記方法は、各センサからの複数の各出力信号を測定する工程と、抽出された各特徴の特性を得るために、前記第３側面で説明したような方法を用いて各信号出力を処理する工程とを含む。
【０１８９】
上記方法は、コンピュータ化されたシステムの状況を判定する工程および／または抽出された特徴の特性に基づいて少なくとも１つの可動要素を制御する工程を含み得る。このような制御は、例えば、上記少なくとも１つの可動要素の位置または動きを制御することであり得る。
【０１９０】
このような方法は、コンピュータ化されたシステムによる、発生する事象および環境に存在する特徴の認識の改善をアシストする。各信号出力を処理するための方法工程における各特徴および各長所は、前記第３側面で説明したものと同じであるので、ここでは繰り返さない。
【０１９１】
一実施形態では、上記方法は、データプロセッサにおいて入力データを取得する前に、光学的にコード化された状態で各センサの各出力信号を得るために、各センサの電気的または電子的信号を光電子的に変換する工程を含んでもよい。上記各出力信号は、例えば、画像として並行に提供されるものでもよい。
【０１９２】
一実施形態では、コンピュータ化されたシステムを制御するための方法は、各センサが適切に動作しているかどうかをチェックするための初期テスト工程を含み得る。初期テスト工程は、各センサの各出力信号を、所定の期間において判定して、例えば、故障といった、信頼性のない各センサにより、始動または作動しなかったりしたきに、上記各センサを使用から除外することによって行われてもよい。初期テスト工程は、複数のセンサが重複している場合、特に有効である。
【０１９３】
上記少なくとも１つの可動要素を制御することは、第一に、抽出された特徴の特性に関する情報を、実世界における操作状況を表す意味論的データに変換し、その後、意味論的データを用いることを含み得る。
【０１９４】
さらに、上記少なくとも１つの可動要素を制御することは、例えばコンピュータ化されたシステムにおける各エンコーダから得られる固有受容性情報を考慮に入れることを含み得る。上記方法の他の任意の特徴は、前記の各側面および追加の実施例において説明されるコンピュータ化されたシステムの各コンポーネントによって生じるような処理工程を含む。
【０１９５】
本発明の第３側面および第４側面における上記方法の実施形態は、前記第１側面で説明した処理システムまたはプロセッサに対して実装され得る。図１０は、例えばＲＡＭ、ＲＯＭ等のメモリの少なくとも一形態を含むメモリシステム５０５に接続される少なくとも１つのプログラマブルプロセッサ５０３を含む処理システム５００の一構成を示す。
【０１９６】
プロセッサ５０３またはプロセッサは、汎用のものであっても、または特別な目的のプロセッサであってもよく、例えば、請求項に記載された、および／または、本明細書にて記述された方法における方法工程において表現される機能性を提供できる限り、他の機能を果たす他のコンポーネントを有するチップ等の装置に含まれるものであってもよいことを注意されたい。
【０１９７】
したがって、本発明の１つ以上の側面は、電子回路において、またはコンピュータハードウェア、ファームウェア、ソフトウェアにおいて、またはそれらの組み合わせにおいて実行され得る。処理システムは、少なくとも１つのディスクドライブおよび／またはＣＤ−ＲＯＭドライブおよび／またはＤＶＤドライブを有する記憶サブシステム５０７を含んでもよい。
【０１９８】
記憶サブシステム５０７は、上記の方法の各実施形態における工程を行うためのコンピュータプログラム製品を記憶するための固体メモリを備えてもよい。いくつかの実装において、ユーザーが情報を手で入力できるように、ディスプレイシステム、キーボード、およびポインティングデバイスがユーザーインターフェイスサブシステム５０９の一部として含まれてもよい。データを入出力するための各ポートも含まれてもよい。
【０１９９】
様々な装置等に対する各ネットワーク接続、各インターフェイス等のより多くの各要素が含まれてもよいが、図１０には図示していない。処理システム５００における様々な各要素は、簡単のために単一のバスとして図１０に示されるバスサブシステム５１３を介することを含めて、様々な方法で接続されてもよいが、少なくとも１つのバスのシステムを含むことを当業者なら理解するであろう。
【０２００】
メモリサブシステム５０５のメモリは、処理システム５００において実装されると、本明細書にて説明する方法の各実施形態の工程を実行するという指示のセットの一部または全て（５１１として示されるいずれかの場合）を保持する場合があってもよい。このため、図１０で示すような処理システム５００が従来技術である一方、信号またはデータを処理するための方法の側面を実行するための指示を含むシステムは従来技術ではなく、そのため、図１０は従来技術としては示さない。
【０２０１】
本発明は、また、演算装置において実行されたときに本発明に係る方法のいずれかにおける機能性を与えるコンピュータプログラム製品を含む。このようなコンピュータプログラムは、プログラマブルプロセッサによる実行についての機械読み出し可能なコードを有するキャリア媒体において明白に実施され得る。
【０２０２】
このように本発明は、演算手段において実行されたとき、上記のような方法のいずれかを実行するための指示を与えるコンピュータプログラム製品を有するキャリア媒体に関する。“キャリア媒体”という用語は、プロセッサを実行させる指示を与えることに関与するいかなる媒体をも意味する。
【０２０３】
このような媒体は、不揮発性媒体および伝送媒体を含むが、それに限定されない多くの形態を有し得る。不揮発性媒体は例えば、大容量記憶の一部である記憶装置等、光学または磁気の各ディスクを含む。コンピュータ読み出し可能な媒体の一般的な形態は、ＣＤ−ＲＯＭ、ＤＶＤ、フレキシブルディスクまたはフロッピー（登録商標）ディスク、テープ、メモリチップまたはカートリッジ、またはコンピュータが読み出すことのできる他の任意の媒体を含む。
【０２０４】
コンピュータ読み出し可能な媒体の様々な形態は、プロセッサが実行するための１つ以上の指示における１つ以上の配列を有する際に必要となり得る。コンピュータプログラム製品はまた、ＬＡＮ、ＷＡＮ、またはインターネット等のネットワークにおける搬送波を介して送信され得る。送信媒体は、電波および赤外線のデータ通信の間に生成されるような音響波または光波の形態を有し得る。送信媒体は、コンピュータ内のバスを有するワイヤを含めて、同軸ケーブル、銅ワイヤ、およびオプティカルファイバーを含む。
【０２０５】
本発明は、図示されるが、図示には限定されず、コンピュータ化されたシステムの例は、劣駆動バイオメカトロニックハンドを備える人工アームであり、バイオメカトロニックハンドを備えるこのような人工アームを制御するための信号を処理するための方法およびこのようなシステムを制御するための方法と同様に、上記例をより詳細に説明する。
【０２０６】
システムの各特徴および／または方法の各特徴は、バイオメカトロニックハンドを備える人工アームに適用されるものとして説明され、これらは異なるコンピュータ化されたシステム、異なるコンピュータ化されたシステムにおけるデータ処理の方法、または異なるコンピュータ化されたシステムの制御方法に、本発明の範囲内で含まれ、適用され、および／または用いられ得る。以下の実施例は、本発明に係る実施形態によって得られる特定の各特徴および各長所のいくつかを示す。
【０２０７】
[実施例１：コンピュータ化されたシステム]
本実施例で説明されるコンピュータ化されたシステム６００は、図１１に模式的に示され、人工アーム６０２とバイオメカトロニックハンド６０４を示す。知覚を有する２本の各フィンガーが装着されて有するバイオメカトロニックハンド６０４が設けられ、上記各フィンガーが、単一の牽引ケーブルのみによって制御されて、上記ハンドが、掴まれた対象物を包むように適合化され得る。
【０２０８】
タスクコントローラ６１０は、バイブレーションのない、スムーズな動きをもたらすアーム６０２および／またはハンド６０４を制御するために用いられる。本実施例では、各フィンガーの先端部の内側表面が、微細加工された力センサ６０６および電気−光コンバータからなる、３つの触知し得るモジュールでカバーされていた。
【０２０９】
この特定の場合において、各モジュールアレイは、フレキシブル基板の上で組み立てられ、保護およびグリップ（把持）を目的とした柔軟なポリウレタン層で覆われた、多数の微細加工された３軸力センサ６０６からなる。
【０２１０】
３つの電気信号が各センサから抽出され、処理され、各モジュールに埋め込まれたオプトエレクトロニクスによって光パルスへ変換される。触知し得る画像からの光コード化された触知し得る情報は、データプロセッサ６０８へ転送される。
【０２１１】
本実施例では、該プロセッサは、一般的なプロセッサ６１２におけるタスクコントローラ６１０とともに設けられるセルラ式のニューラルネットワークのＣＮＮビジュアルマイクロプロセッサであり、また、本実施例では、工業用ＰＣで、ハンガリー、ブダペストに所在するAnaLogic Computers Ltd.社製のBi−l v2 PCである。
【０２１２】
使用されるタスクコントローラ６１０は、６００ＭＨｚで作動するTexas Instruments TMS320Ｃ6415デジタルデータプロセッサ（ＤＳＰ）であり、データプロセッサ６０８は、超高速ACE16Ｋ  ＣＮＮビジュアルマイクロプロセッサ（AnaFocus Ltd6）であり、入力装置およびメイン処理ユニット（算術プロセッサ）として用いられる、デジタルに制御されるアナログアレイプロセッサである。
【０２１３】
このプロセッサは、１２８×１２８セルのＣＮＮ構造の上面における１２８×１２８のＣＣＤ光学入力層からなる。適切な時間情報が、ビジュアルマイクロプロセッサ上で統合時間（シャッター）を適切に設定する、すなわちサンプリングすることによって得られ、取得された触知し得るデータは、動的階調画像として得られる（より明るい領域がより強い刺激を示す）。
【０２１４】
画像における各センサ６０６および各画素の各位置は、トポロジカルに同一にしている。すなわち、トポロジカルに同一とは、フィンガーの先端部の表面における所定の各センサ６０６の各位置は、触知し得る画像における対応する各画素の相対位置に対応していることである。本実施例では、単一の触知し得るチャンネルが、そのチャンネルの情報のために、およそ１６の互いに隣り合う各画素の小グループに割り当てられる。入力画像の一部は、各フィンガーの親指部の各センサに対応し、入力画像の他の部分は、各フィンガーの人さし指部の各センサに対応している。
【０２１５】
各特徴は、常に全入力画像について演算され、演算上の過負荷はない。本実施例では、予め設定された特徴がＣＮＮの形態学的および論理的演算によって検出される位置を抽出するためにマスク画像が用いられる。このため、データプロセッサ６０８は、ＣＮＮベースのプロセッサを用いる。
【０２１６】
ＣＮＮベースのプロセッサは、特徴の検出された、白い部分を示す画像の領域（および対応する入力空間の領域）を元の二値画像に戻す、所定の、ＣＮＮベースの特徴抽出アルゴリズムを提供する。
【０２１７】
刺激方向との相関が不十分な、３つの各光信号が各センサ６０６から抽出される結果、上記位置抽出の動作に用いられる外受容システムは、５４コの触知し得る各光信号からなる。
【０２１８】
各センサ６０６のアレイにおける安定したキャリブレーションは、各方向に沿って入力刺激強度を正確にコード化する各信号を生成するが、次に続くアプローチによると上記キャリブレーション工程は不必要となる。データプロセッサ６０８には、刺激方向と不十分に相関する信号が入力される。または、上記実装された触知し得るシステムは、未加工かつ方向無相関の信号を入力として受け入れる。
【０２１９】
本実施例では、プラスティック光ファイバー（ＰＯＦ）からなるケーブルは、光学的にコード化された情報を、ハンドのフィンガーにおける触知し得るセンサから一般的なプロセッサ６１２へ伝え、ハンドのフィンガー上の触知し得る画像をACE16Ｋビジュアルマイクロプロセッサに割り当て、光学層（各画素は対応するＣＮＮセルの光入力である）の下に設けられるＣＮＮ構造において画像を即座に処理する。上記システムは、チップに光の焦点をあわせるための結合要素を備えてもよい。
【０２２０】
検出される各特徴または相関する意味論的表示の特性を表す、ＣＮＮチップの内側での触知し得る画像の処理の結果は、タスクコントローラ６１０に転送され、例えば位置情報を与えるためのアームおよびハンド６１４におけるエンコーダから受信される固有受容性情報とともに用いられる。一般プロセッサ６１２は、アーム６０２およびハンド６０４またはそれらのローカルコントローラと、例えばネットワークを介して通信を行う。図１１は、本実施例において用いられるロボットシステムの構造における異なる情報の流れを示す。
【０２２１】
[実施例２：各特徴の抽出]
掴むことに関する本実施例では、一時的ドメインにおいて認識される３種類の触知し得る各事象の認識に基づいたアルゴリズムが用いられ、上記各事象は、変化、振動、およびバイブレーションである。これら３種類の各特徴は、本説明では以下のように示される。
【０２２２】
変化：予め設定された触知し得る信号は、その強度が同じ期間Ｔにおいて少なくとも所定の閾値σによって変化する場合、変化を含む。上記閾値σは、本実施例においては、階調（２５５のうち）の数で表現される画素強度の観点から定義され、触知し得る信号のノイズレベルに依存する。上記強度が増加する場合、変化はポジティブであり得、またはネガティブであり得る。触知し得るモジュールの予備的な特徴値および本実施例におけるセンサのノイズ性能によって、σ＝５のグレーレベル（全ダイナミックレンジの２％）と考えることが可能である。
【０２２３】
振動：振動は、少なくともｎ・σおよびｍ・σの振幅を有する、同じ期間Ｔにおける互いに極性が逆の２つの連続する各変化の組み合わせであり、したがって、周期性に対する特定の傾向を示す。本実施例では、ｎ＝３、ｍ＝１は、通常操作において振動を検出する上でよい選択であることが分かる。
【０２２４】
バイブレーション：バイブレーションは、２つの連続する各期間Ｔにおける少なくとも２つの振動の連続である。
【０２２５】
図１２ａは、このワークで分類されるように、触知し得る各信号を模式的に示す。第１信号６５２および第２信号６５４は、変化であるが、周期性に対する傾向を失っているので、振動ではない。
【０２２６】
第３信号６５６および第４信号６５８では、検出される振動についての２つの各条件が一致している。最終曲線６６２は、少なくとも２つの各振動の連続であり、バイブレーションと認識される。一方、第５曲線６６０が、変化における最小の条件と一致せず、バイブレーションとは認識されない。
【０２２７】
提案される命名法の中で、図１２ａに示される全ての各信号６６２、６６４、６６６は、信号６６４がはっきりと周期的でなくても、バイブレーションと見なされることを指摘する価値がある。
【０２２８】
これらの命名法で、触知し得る各信号のバイブレーション（しばしばスリップと関連付けられる）の検出は、２つの連続する期間内に発生する各振動の検出として再公式化され得る。
【０２２９】
スリップの間に現れる各振動における振幅および周波数の両方は、肌の特徴、重量、対象物の材質および柔軟さ、もちろん、突然に変化する刺激を検出するセンサの敏感さおよび能力によって変化し得、振幅および周波数を有する各振動は、かなり大きな範囲で検出された。
【０２３０】
本実施例では、２０〜５０Ｈｚ内の周波数内容を有する触知し得る信号の検出が適切であると分かった。本実施例で用いられた期間はＴ＝２５ｍｓであった。２．５ｍｓのサンプリング期間で、４００Ｈｚのサンプリングレートが得られた。これらは図１２ｂに示される。
【０２３１】
本実施例では、全てのサンプルされた各センサ出力について、データプロセッサ上で並列に展開されるアルゴリズムは、Ｔ秒における連続した期間内に信号変動を探す。メモリサイズの問題と、比較および更新の最小化に取り組むために、時間は近接する期間ウィンドウに分割され、それらのうちの１つ１つは持続期間Ｔである。
【０２３２】
本実施例において、例えばスライディングウィンドウの代りに隣り合う期間ウィンドウを選択する欠点は、触知し得る情報処理鎖全体に重要な効果を及ぼさなかったことである。それにもかかわらず、より大きい演算能力を用い、スライディングウィンドウがまた選択され得る。
【０２３３】
本実施例では、画像取得のための高いフレームレートを確保しつつ、特徴抽出が全ての触知し得る知覚情報の並列処理によって実現され、演算効率の良いシステムがもたらされる。用いられるアルゴリズムは、タスクコントローラに転送されるデータの数を最小化するように設計され、安定し信頼感のあるＣＮＮ演算子のみを用いることに基づいていた。
【０２３４】
図示によって、図１３は、本実施例における触知し得る事象を検出するために用いられる一般的ＣＮＮアルゴリズム７００の例示的ブロック図を示す。初期化ステップ（フェーズ）７０２では、画像バッファは、適切な初期ブラック値に設定される（フィルブラック（filblack）演算子を用いて）。
【０２３５】
その後、例えば"第１期間画像"と題された第１画像が取得され、ACE16Ｋプロセッサにおいてノイズ消去され、試験される期間における第１の触知し得る画像として記憶される（ステップ７０４）。時間遅延が、取得レートを同期化するために設定され（ステップ７０６）、その後、“現在の画像”と題された、続いた画像が取得される（ステップ７０８）。
【０２３６】
ステップ７１０では、触知し得る各信号の検出が行われ、本実施例では、変化の検出に基づく。これらの触知し得る各信号の検出は、各反復において“現在の画像”と“第１期間の画像”との比較を実行するために、基本的には、ＣＮＮ演算子に基づく。
【０２３７】
このような検出についてのアルゴリズムは、対称構造を有し得、このため、ポジティブ変化およびネガティブ変化の検出が可能となる。演算には、減算および閾値ＣＮＮ演算子が含まれ得、触知し得る各信号が、現在の期間の初めにおける触知し得る状態に対してどの程度変化するかを評価することを目指す。
【０２３８】
より正確には、減算画像を閾値化することによって、いくつかの二値画像が得られ、これらのうちの１つ１つは任意の閾値σより多く変化した全ての領域を示す。このような検出の正確さは、最も信頼性のない測定可能な変化σの値によって限定される。
【０２３９】
この手順は、触知し得る信号の変化の存在を記憶する二値画像のセットの更新を可能とする。一般的なＣＮＮアルゴリズム７００では、各反復における新しい“現在の画像”を用いて、期間の終わりが図１３に示されるように判定ステップ７１２において判定されるまで、前の工程が繰り返される。各期間の終わりにおいて、ステップ７１４において示されるように、最後の期間に各振動が発生する、触知し得る領域を分離するために、二値画像における照合が行われる。
【０２４０】
この検出についての例示的なアルゴリズム７２５のより詳細な概要を図１４に示す。二値画像の対が、論理演算子であるlogAND ＣＮＮ演算子によって比較される。各ＡＮＤは、検討される期間に沿った特定の波形とともに各振動を検出するために用いられる。また、上記各振動が十分に広い輝度振幅に対して広がることを確実にするように、ＡＮＤ演算子の入力において対にされる。
【０２４１】
logOR 演算子は、"振動画像"と題されるただ１つの画像において検討される期間に沿って振動した、触知され得る各信号を集めるために用いられる。最終的に、各振動が最後の２つの各期間において発生した領域において、ステップ７１６に示すように、各バイブレーションが検出される。
【０２４２】
各バイブレーションを検出するために、例えば、前のステップで得られ、２つの連続する各期間に関連付けられる"振動画像"という画像は、ＡＮＤｅｄ（logAND 演算子）である。
【０２４３】
その後、一般的なＣＮＮアルゴリズム７００は、次の時間周期の分析を行うための変数状態を調節するために、ステップ７１８に示されるように、いくつかの画像のリフレッシュを行う。特に、最後の期間における最後の触知し得る画像は、次の期間の第１および基準画像となる（第１期間画像＝現在の画像）。
【０２４４】
システムにおける検出によって引き起こされるエラーを防ぐために、処理はウォーミング段階で始められてもよく、センサの適切な操作がここでチェックされる。このために用いられ得るアルゴリズム７３０の例を、図１５に示す。
【０２４５】
前記ハンドが開くとき、第１工程７３２に示されるように、一連の画像が取得され、工程７３４に示される、センサチェックを行う手順に送られる。センサチェック手順は、全ての画像領域を評価し、工程７３５で起動される画像を示し、または、工程７３７で点滅する画像を示すことにより破損したセンサとして全期間にわたって黒表示しない。
【０２４６】
後者は、上記開いたハンドについて判定され得、触知し得る各信号はセンサによって感知されない。十分なチェックが行われていると判断される場合、判定ステップ７３６によって示されるように、信頼できる領域７３９の画像が生成され、生成ステップ７３８は、信頼できない領域を信頼できる領域の演算から除外することによってセンサチェックステップの間に示される信頼できない領域を考慮に入れる。
【０２４７】
この特徴は、触知し得るシステム全体の安定性を増加し、特に、多くのセンサが存在し、この場合のように重複が活用され得るときに、上記安定性を増加する。図１５に示すように、この手順における出力は、信頼できる領域を含む二値画像（ＣＮＮ言語ではマスク）である。
【０２４８】
[実施例３：各特徴の特性の判定]
本実施例において各特徴の特性の判定と、それを意味論的特徴と相関させることは、抽出された各特徴の長時間にわたる安定性をチェックすることによって行われる。後者は、データ信号から各特徴を抽出するために用いられるような時間の各特徴だけでなく、空間的な特徴や、強度の各特徴も考慮に入れるのが好ましい。
【０２４９】
このような各特徴の混合は、非常に滑りやすい性質、かつ滑らかな表面を有する対象物、例えば、豆腐等を掴むには特に適切である。あまり滑りやすくない対象物を掴むときは、場合によっては一時的情報の各特徴だけで十分である。このため、掴むことの安全性は、また、接触領域のサイズに基づき得られ、また、適用される力制御の最小値に基づき得られる。
【０２５０】
各特徴の特性の判定は、例えば、何らかの初期接触が検出されてすぐに行われてもよい。図示するが、本発明はこれに限定されず、用いられる例示的ＣＮＮアルゴリズムは、図１６に示される。本実施例における各特徴の特性の判定は、抽出された各特徴における長時間にわたる安定性を判定することを含む。
【０２５１】
例示的アルゴリズム７５０は、工程７５２において各画像の順次入力を受信すること、および、信頼できる領域情報７５３に基づいてバイブレーション７５４を検出することに対応する階調および形態学的な演算によって、入力される触知し得る各画像における、信頼できる各領域の長時間にわたる安定性のチェックを行う。特に、その後の各画像と二値閾値化演算の間のアナログな相違が用いられる。
【０２５２】
演算要件を低く抑えるために、単一の二値画像が、触知し得る、順次入力において変更する部分のトレース(痕跡)を維持するように用いられる。安定した活性領域を含む二値画像が最終的に生成され、それは工程７５５に示される。
【０２５３】
その後、閾値は、各活性領域に対応する位置におけるこれらの領域入力画像に適用され、安全接触領域が十分大きいことを確実にする。２つの互いに異なる各知覚チャンネルは、触知し得る画像における２つの幾何学的に分離した（非接触の）各領域であってブロブとも呼ばれる領域上に割り当てられており、この段階は、工程７５６によって示され、簡単のために活性ブロブのカウントとして説明され得る。
【０２５４】
その後、決定工程７５８によって、上記接触が、工程７６０に示すように安全であるか、工程７６２に示すように安全でないかを判定することが可能となる。安全接触領域が１つフィンガーまたは２つの各フィンガーの上で十分大きくない場合、または、安定領域において触知し得る信号の強度が十分でない場合、上記手順は、対応するフィンガーモータにおける小さく縮小するためのパルスのトリガとなる。
【０２５５】
フィンガーと対象物との間の摩擦係数は、接触性質評価への上記アプローチを用いて推測されず、１００ｍｓの所要時間を有する手順全体は、アームを持ち上げる前に行われる。上記演算はこのため、４００Ｈｚで取得される４０の各画像を伴う。
【０２５６】
[実施例４：タスク制御]
例えば上記特定のアルゴリズムを用いるが、本発明はこれに限定されず、掴んだり持ち上げたりするタスクは、実施例１にて示されるコンピュータ化されたシステムを参照して、本実施例でさらに説明される。
【０２５７】
タスクを行うための方法８００は、図１７を参照して説明される以下の段階からなり、タスクをモデリングする限定された状態の一部分を示す。
【０２５８】
第１の工程、すなわち工程８０２では、ウォーミング段階が行われ、多数の各画像が、上記ハンドを開いた状態で取得され、破損した各センサを見つけ、それらを後の処理から除外するためにチェックが行わる。このようなウォーミング段階は、図１５に示すようにアルゴリズムを用いて行われ得るが、本発明はこれに限定されない。
【０２５９】
システムが最終的に破損した各センサを分離する初期ウォーミング段階の後、接触が検出されるまで、ロボットのハンドは対象物の周囲にて閉じることが予期される（ハンドクロージング段階）。第２工程８０４では、このため、独立して作動される上記ハンドのフィンガーを閉じることによって掴むことが開始される。対象物に対する何らかの接触が検出されるまでクロージングされる。
【０２６０】
何らかの接触の検出は、上記ハンドのクロージングの停止を可能にする唯一の信号である。接触という事象は、接触の特性を評価する安定性チェック状態への遷移のトリガとなる。第３工程８０６では、接触の特性がこのように評価され、上記ハンドを上げる前に適切に掴めていることを確実にする。
【０２６１】
十分な掴みの品質は、入力される触知し得る画像における特定の基準が満たされるまで、小さくかつ素早い各クロージングパルスによって最終的に達成される。安定性が不十分な場合、上記ハンドは、小さいが急な追加のクロージングを行い得、十分な安定性が得られない場合、上記システムは、工程８０８によって示されるように失敗を示し得、例えば、上記ハンドを開くなどする。
【０２６２】
安定した掴みが達成された後、第４工程において、上記ハンドは、対象物を持ち上げ、小さく、素早いクロージングパルスを通してスリップまたは外部刺激を受ける間に発生するバイブレーション、または振動のような、触知し得る事象に対して反応する。本実施例における持ち上げは、１０ｃｍの高さに届くまでアームを持ち上げることによって行われる。
【０２６３】
任意の第５工程８１２では、対象物の動きまたは静止等のさらなる操作が誘導される。本実施例では、対象物は、１０秒間定位置に維持される。後者は、上記方法の安定性を示す。この工程と、その前の工程との両方の間に、コントローラは、スリップが検出された場合に、小さく素早い動きによって上記ハンドをクロージングする。第６工程８１４では、対象物を放して、アームは初期位置に戻される。
【０２６４】
上記方法は、タスクコントローラによって制御される。異なるタスクの間における遷移は、アームまたはハンドエンコーダからの位置情報等の、またはタイマーからの時間間隔等の固有受容性情報によって、または周辺部分から、すなわち、コンピュータ化されたシステムのセンサから得られる外受容性の意味論的な情報によって規制され得る。
【０２６５】
図示によって、さらなる各実施例を示す。ここで、動き、または動きの方向性が検出される。これらの各実施例は、限定的なものとして考えてはならないことを注意されたい。各実施例は、機械的刺激（動き）を光学的方法によって検出することを示している。各実施例において、交通状況における対象物の動きは、光学的検出器類によって生成される。
【０２６６】
上記動きは、上記と同様の方法で生成され、すなわち、動的挙動を有する各特徴の抽出は、各センサ出力のトポロジーを考慮に入れて行われる。このような各特徴は、例えば、パターンまたはそのパターンの一部内での振動またはバイブレーションのような局部的変化であり得る。
【０２６７】
[実施例５]
第５実施例では、道路を横切る歩行者の動向を検出することを示す。第１ステップでは、歩行者は、当業者によって知られるような、従来の検出手段によって検出され得る。歩行者の頭および胴体の検出および識別のための異なるアルゴリズムが知られており、本発明に係るシステムにおいて、例えば、上記システムで検出された交通のシーンの画像を操作することによって実行可能である。例えば、歩行者の胴体および頭は、それぞれ円筒体および楕円体として示され得る。歩行者の認識と、適用されるアルゴリズムは、本発明に係るシステムと組み合わせて行われ得る。
【０２６８】
このように、歩行者の単純化されたモデルは、入力として割り当てられる。その後、動的挙動を有する各特徴を抽出するための画像を処理することは、掴む動きのための上記のシステムを用いて行われ得る。
【０２６９】
後者は、胴体に対する頭のバイブレーションを認識するために用いられてもよい。上記バイブレーションは、道路を横切る前に歩行者が左右を見ることによって行う動作を示す。このようなバイブレーションは、この場合、例えば、頭のバイブレーション、振動しない胴体についての表示、またはその表示を検出することによって検出され得る。
【０２７０】
同じアルゴリズムが、前記各実施例において提供されているように適用され得、検出された事象は、歩行者が道路を横切ること、または、歩行者が道路を横切ろうとしていることであり、これは動的挙動を有する各特徴、すなわち頭の振動を認識することに基づく。
【０２７１】
事象は、このため、動的挙動を有する空間的および一時的な各特徴の検出によって認識され得る。本発明に係る実施形態の長所は、並列処理を行うことによって、当該技術が、刺激の発生場所をトレースしつつ、追加の演算要件を必要とせず、シーンに存在する複数の各歩行者を検出することができるということである。
【０２７２】
図１８は歩行者についてのモデルを示し、ここでは、胴体に対する頭の振動は、歩行者が道路を横切ろうとする事象を示すものとして識別され得る。例えば、車両等のシステムは、行われるタスクを制御するためのタスクコントローラと、１セットの各センサと、センサ出力処理手段と、発生する特徴または事象の特性を判定するための特性判定システムとを備え得る。
【０２７３】
センサ出力処理手段および特性判定システムは、各実施例２、３に設けられてもよい。振動の検出は、頭の外側部分またはそのモデルを表す信号における振動の検出であってもよい。各センサアレイは、光学的に動きを検出するための光検出器であってもよい。
【０２７４】
タスクコントローラは、検出された特徴または事象について取得された特性に対応するものであってもよく、例えば歩行者が道路を横切ることを検出すると、車両の速度を落としたり、停車したりしてもよい。所定のルールまたはプログラムされた、または引き出されたアルゴリズムに係る他の動作が行われてもよい。
【０２７５】
[実施例６]
本発明に係る実施形態が適用される他の例は、車両における、レーンを変更したり、追い越し操作を開始したりする動きである。画像における車両の検出または認識は、当業者によって知られるように、従来の技術によって実行され得る。このような方法は、本発明に係る方法およびシステムと容易に組み合わせることが可能である。
【０２７６】
画像または取得されたモデルは、予め割り当てられ得る、すなわち、任意の前処理段階の後において割り当てられ、処理を行うために取得される。例えば、上記実施形態のいくつかにおいて説明された光入力を有するプロセッサが用いられる場合、このような割り当てによってプロセッサは、光入力を得る。
【０２７７】
使用される複数の各センサは、複数の各光センサであってもよい。処理手段は、特性判定手段と同様に、以前の各実施例で示されたようなものであってもよい。接近してくる、または離れていく車両は、静的に見えるだろうが、車両が操作を行い始める、または車両がレーンを変更し始めることについて、変化や振動等の動的挙動を有する各特徴は、複数の並列処理された各一時的センサ出力をフィルタリングして空間的に、および一時的に検出され得る。
【０２７８】
上記の実施形態で説明した方法およびシステムは、このため、事象を検出するために適用され得る。それゆえ、車両の各部分における振動および／またはバイブレーションは、導き出され得る。図示するが、図１９は、本発明の実施形態にかかる方法およびシステムを用いて検出できるような、車両の振動が示される、車両の模式的図である。車両の外側左および外側右の位置と同様に安定中央位置が示される。
【０２７９】
材質と同様に、好ましい実施形態、特定の構造および構成が本明細書で説明されるが、形状や詳細についてさまざまな変更および改変が行われてもよい。例えば、上記で示されたいかなる式も、用い得る各手順の単なる代表を示しているに過ぎない。ブロック図に機能性を追加してもよいし削除してもよく、機能ブロックの中で動作が交換されてもよい。各工程や各ステップは、本発明の範囲内で説明される方法に追加されてもよく、または削除されてもよい。
【図１】
2010539445.tif 000004
【図２ａ】
2010539445.tif 000005
【図２ｂ】
2010539445.tif 000006
【図３】
2010539445.tif 000007
【図４】
2010539445.tif 000008
【図５】
2010539445.tif 000009
【図６ａ】
2010539445.tif 000010
【図６ｂ】
2010539445.tif 000011
【図７】
2010539445.tif 000012
【図８】
2010539445.tif 000013
【図９】
2010539445.tif 000014
【図１０】
2010539445.tif 000015
【図１１】
2010539445.tif 000016
【図１２ａ】
2010539445.tif 000017
【図１２ｂ】
2010539445.tif 000018
【図１３】
2010539445.tif 000019
【図１４】
2010539445.tif 000020
【図１５】
2010539445.tif 000021
【図１６】
2010539445.tif 000022
【図１７】
2010539445.tif 000023
【図１８】
2010539445.tif 000024
【図１９】
2010539445.tif 000025
【手続補正書】
【提出日】平成22年5月7日(2010.5.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
機械的刺激に応じて、複数のトポロジカルに互いに異なる各センサの信号出力を処理する方法（４００）であって、上記方法は、
・複数のトポロジカルに配置された各一時的センサ出力を並行に取得する工程（４０２）と、
・トポロジカルに同一な方法にて、互いに隣り合う各一時的センサ出力の並行算術処理によって各特徴を抽出する工程（４０６）と、
・上記抽出された各特徴の特性を判定する工程とを含み、
上記各特徴は、動的挙動のパターンによって同定され、上記動的挙動は、変化（６０６、６０８）、バイブレーション、および振動(６１０、６１２、６１４、６１６)のうちの少なくとも１つを含む、方法（４００）。
【請求項２】
前記トポロジカルに同一な方法にて各特徴を抽出することは、
上記各特徴を、トポロジーを維持した１つのアレイまたは複数の各アレイ（４０８）に配置すること、および、
各センサ出力において各特徴を認識し、上記各特徴の空間的局在性を保持することの少なくとも一方を含む、請求項１に記載の方法（４００）。
【請求項３】
前記各一時的センサ出力は、各機械的センサまたは各知覚センサからの各センサ出力である、請求項１または２に記載の方法（４００）。
【請求項４】
前記方法は、上記１つのアレイまたは複数の各アレイの空間的フィルタリング（４１０）または空間一時的フィルタリングを行うことをさらに含む、請求項２または請求項２に従属する請求項３に記載の方法（４００）。
【請求項５】
前記空間的フィルタリング（４１０）は、上記トポロジーを維持している１つのアレイまたは複数の各アレイでの互いに隣り合う抽出された各特徴の複数に基づく事象の抽出を含む、請求項４に記載の方法（４００）。
【請求項６】
前記算術処理は、一時的特徴抽出のため、バンドパス、ロウパスまたはハイパスのフィルタ、またはバンドパス、ロウパス、またはハイパスの各フィルタの組み合わせを適用すること、
前記算術処理は、セルラ式のノンリニアネットワークを用いること、
前記算術処理は、加算、減算、遅延、閾値化、論理、または形態学の機能のみを含むこと、
前記算術処理は、単一のフィルタ入力信号、および複数の各フィルタ出力信号を有するフィルタを適用することを含み、上記各フィルタ出力信号のそれぞれは、変形された入力信号を、元の入力信号から減算することに基づくこと、および、
互いに隣り合う各一時的センサ出力における並行な算術処理は、上記互いに隣り合う各一時的センサ出力の一部のみにおける並行な算術処理を含むことの、少なくとも１つである、請求項１ないし５のいずれか１項に記載の方法（４００）。
【請求項７】
前記抽出された各特徴の特性は、動的挙動の互いに隣り合うものの複数の間の安定性を含む、請求項１ないし６のいずれか１項に記載の方法（４００）。
【請求項８】
複数のトポロジカルに互いに異なる各センサを有する、少なくとも１つの可動要素を備えるコンピュータ化されたシステムを制御する方法であって、上記方法は、
・機械的な上記各センサからの複数の各出力信号を測定する工程と、
・請求項１ないし７のいずれか１項に記載の方法（４００）を用いて上記複数の各出力信号を処理する工程と、
・上記抽出された各特徴の上記判定された特性に基づいて、上記少なくとも１つの可動要素を制御する工程とを含む、方法。
【請求項９】
機械的刺激に応じて複数のトポロジカルに互いに異なる各センサの信号出力を処理するためのデータプロセッサ（１００）であって、上記プロセッサは、
・複数のトポロジカルに配置された各一時的センサ出力を並行に受信するための入力手段（１０２）と、
・トポロジーに同一な方法で動的挙動パターンを有する各特徴を抽出し、前記動的挙動は、変化（６０６、６０８）、バイブレーション、および振動(６１０、６１２、６１４、６１６)のうちの少なくとも１つを含み、上記各センサ出力における互いに隣り合う各一時的サンプルを並列に算術処理を行うための算術プロセッサ（１１０）を含む、特徴抽出手段（１０６）と、
・上記抽出された各特徴の特性を判定するための判定手段（１０８）とを有する、データプロセッサ（１００）。
【請求項１０】
上記算術プロセッサ（１１０）は、一時的ドメインにおける上記互いに隣り合う各一時的センサ出力を算術処理するように適合化される、請求項９に記載のデータプロセッサ（１００）。
【請求項１１】
上記データプロセッサ（１００）は、上記抽出された各特徴を、トポロジーを維持している１つのアレイまたは複数の各アレイに配置するようにさらに適合化される、または、
上記データプロセッサは、各センサ出力にて各特徴を認識し、上記各特徴の空間的局在性を保持するように適合化され、または、
上記データプロセッサ（１００）は、上記抽出された各特徴を、トポロジーを維持している１つのアレイまたは複数の各アレイに配置するようにさらに適合化され、かつ、上記１つのアレイまたは複数の各アレイの空間的または空間一時的なフィルタリングを行うためのフィルタを備える、請求項９または１０に記載のデータプロセッサ（１００）。
【請求項１２】
上記フィルタは、上記トポロジーを維持している１つのアレイまたは複数の各アレイにおける複数の互いに隣り合う、抽出された各特徴に基づいて、事象を抽出するためのフィルタリング手段を備える、請求項１１に記載のデータプロセッサ（１００）。
【請求項１３】
上記算術プロセッサ（１１０）は、各一時的特徴を抽出するためのバンドパスフィルタまたは各バンドパスフィルタの組み合わせを備えること、
上記算術プロセッサ（１１０）は、セルラ式のニューラルネットワークまたはセルラ式のノンリニアネットワークを備えること、
上記算術プロセッサ（１１０）は、減算、遅延、閾値化、論理または形態学の各機能にのみ基づくフィルタを備えること、
上記算術プロセッサ（１１０）は、単一のフィルタ入力信号、および、複数の各フィルタ出力信号をもたらすフィルタを備え、上記各各フィルタ出力信号のそれぞれは、元の入力信号から変形された入力信号を減算することに基づくこと、および、
互いに隣り合う各一時的センサ出力を並列に処理するための上記算術プロセッサ（１１０）は、互いに隣り合う各一時的センサ出力の一部のみを並列に算術処理するための算術プロセッサ（１１０）であることの少なくとも１つである、請求項９ないし１２のいずれか１項に記載のデータプロセッサ（１００）。
【請求項１４】
上記抽出された各特徴の上記特性は、上記動的挙動の互いに隣り合うものの複数の間における安定性を含む、請求項９ないし１３のいずれか１項に記載のデータプロセッサ（１００）。
【請求項１５】
複数のトポロジカルに互いに異なる各センサ（２０）と、請求項９ないし１４のいずれか１項に記載のデータプロセッサ（１００）とを有する少なくとも１つの可動要素（３０２）を備え、上記システムは、上記抽出された各特徴における取得された特性の機能として、上記少なくとも１つの可動要素を制御するためのコントローラ（３０）をさらに備える、コンピュータ化されたシステム（３００）。
【請求項１６】
機械的反応に応じて、複数のトポロジカルに互いに異なる各機械的センサの信号出力を処理するためのコンピュータプログラム製品であって、
上記コンピュータプログラム製品は、コンピュータ上で実行されるとき、請求項１ないし８のいずれか１項に記載の方法を実行するように適合化される、コンピュータプログラム製品。
【請求項１７】
請求項１６に記載のコンピュータプログラム製品を不揮発的に記憶する、機械読み出し可能なデータ記憶装置。
【国際調査報告】
2010539445.tif 000026
2010539445.tif 000027
2010539445.tif 000028