(57)【要約】【課題】人間と機械との相互関係における改善された危険防止を実現する。【解決手段】空間及び時間によって変化する危険度を、機械又は機械要素及び観察される人間の現在位置及び現在の動作状態の関数として、監視される空間領域に割り当てる。このため、マルチカメラシステムを使用し、画像データ中で人間が検知されたときは、人体の、関節による仮想の3Dモデルをこの人間の仮説と照合する。次いで、この仮想の身体モデルを、画像データ中で検知された人間の動作挙動と継続的に照合する。空間における仮想の身体モデルの位置及び動作挙動の知識を使って、危険の可能性を決定し、このようにして決定された危険の可能性を閾値と比較して、この閾値を超過している場合に、機械又は機械部分の動作制御を行う。【特許請求の範囲】
【請求項１】
工業環境中で人間を観察するための方法において、
前記人間の画像データをマルチカメラシステムによって取得し、
前記画像データを、人間の画像化に関して検査し、
前記画像中に人間が検知されたときは、人体の仮想の3Dモデルをこの検知された人間と照合し、
前記仮想の人体モデルを、前記画像データ中で検知された前記人間の動作挙動と継続的に照合し、
前記人間のいる環境に置かれた機械又は機械要素の位置及び／又は動作挙動を決定し、
空間中の前記仮想の人体モデルの位置及び動作挙動の知識に基づいて、危険の可能性を決定し、
前記危険の可能性が一定の閾値を超えたときは、前記機械又は機械部分の動作制御を行う、方法。
【請求項２】
前記機械又は前記機械部分の前記動作制御は、そのシャットダウンを行うこと、又はその動作を遅くすることである、請求項１に記載の方法。
【請求項３】
工業環境中で人間を観察するための方法において、
前記人間の画像データをマルチカメラシステムによって取得し、
前記画像データを、人間の画像化に関して検査し、
前記画像中で人間が検知されたときは、人体の仮想の3Dモデルをこの検知された人間と照合し、
前記仮想の人体モデルを、前記画像データ中で検知された前記人間の動作挙動と継続的に照合し、
前記仮想の身体モデルの現在の形状及び位置の関数としてデータを継続的に導き出し、前記データを、人間の動作サイクルを表す複数の動作段階中の身体モデルの形状及び位置から予め決定された複数のデータを含むデータベースのデータと相関させ、
その現在の身体モデルから導き出されたデータが、前記データベース中の当該動作段階に関して保存されたデータに対して一定の類似性を示すときは、観察されている人間により採用されたものであるとみなし、
前記人間の動作サイクルに、前記データベースに保存された動作段階の特定の順序が検知されたときは、前記観察されている人間により完全に実行されたと評価し、動作段階が不完全に実行されたと評価されたときは、この結果を信号化する、方法。
【請求項４】
不完全と評価された動作サイクルの信号化において、前記動作サイクルを参照して正しい順序を確認している際に、採用されなかったとみなされる、少なくとも一つの前記動作段階を参照する、請求項３に記載の方法。
【請求項５】
採用されなかったとみなされる前記動作段階の統計的な取得が行われる、請求項３又は請求項４に記載の方法。
【請求項６】
前記データベースに保存された個々の前記動作段階及び／又は前記動作サイクルに関するデータは、複数の調整サイクルによって、及び／又はシミュレーションによって生成される、請求項３ないし請求項５のいずれか１項に記載の方法。
【請求項７】
前記データベースに保存された前記画像データは、変換、特に主軸変換され、
現在取得されている画像データと前記データベースの前記データとの前記類似性を決定するための前記相関は、変換された画像データに基づき行われる、請求項３ないし請求項６のいずれか１項に記載の方法。
【請求項８】
前記人間の3Dモデルの生成は、純粋な情報(pure information)を超えた情報の3D点データに基づいて、その空間座標を参照して行われる、請求項１ないし請求項７のいずれか１項に記載の方法。
【請求項９】
前記3D点データは、人間に特有の制限的な値を考慮することにより、クラスタに組み合わされる、請求項８に記載の方法。
【請求項１０】
個々のクラスタが重なり合わず、結果として得られる共通のクラスタが前記人間に特有の制限的な値を含むとき、隣接する前記クラスタは組み合わされて、人間を画像化する前記共通のクラスタを形成する、請求項９に記載の方法。
【請求項１１】
前記身体モデルを、前記画像データ中で検知された前記人間の前記動作挙動と継続的に照合する目的で、特に線形予測及びカルマンフィルタリングにより、前記工業環境の床上の前記クラスタの突出又はその凸状エンベロープを追跡する、請求項９又は請求項１０に記載の方法。
【請求項１２】
人体の、関節による仮想の3Dモデルを、人間を表す前記画像データと照合したのちに、前記身体モデルの所与の姿勢が前記人間の測定された形状を再現する可能性を決定する、請求項１ないし請求項１１のいずれか１項に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、工業環境中で人間を観察(observe)する方法に関するものである。
【背景技術】
【０００２】
従来、自動車生産における現代の工業生産工程は一般に、機械のみによって行われる完全に自動のサイクルと、個々の作業者又は互いに協働する多数の作業者のみによって行われる完全に手動のサイクルとに分けられる。これまで人間と機械、特に工業ロボットとの緊密な協働は、安全の観点から大きく制限されてきた。生産環境で作業者を潜在的に危険な機械から遠ざけておくために、例えば金属柵、光バリア、レーザースキャナ又は複合システムなどの、複雑で高価な安全システムが必要である。こうしたシステムは、人間の正確な場所、体の姿勢又は動作挙動などを正確に検知することができない。作業者がロボットに近づくとすぐに、ロボットは停止され、生産工程が中断される。
【０００３】
製造工程が人間と機械との緊密な協力から大きな利益を受けることを考えると、監視されている生産環境に関する、こうしたシステムの「知識」の欠如は、特に不利益である。人間は柔軟に適応性のある仕方で行動できるが、繰り返しの作業を行う場合に間違いを犯しやすい。これに対し、機械はすばやく正確に作動するが、その場合に変化がなく、柔軟であるとも言えない。例えば、協働する多数のロボットからなる完全に自動の製造ユニットの場合、協働するロボットのたった一つに不具合が起きても、生産工程を停止しなければならない。その際、残りのロボットと協働する作業者が、不具合のあるロボットと一時的に交代し、生産を続けられることが望ましい。工業生産の効率、柔軟性及び質を、半自動化工程を目的とする人間と機械との緊密な協働により、大きく向上させることができる。
【０００４】
工業生産の分野における現代の安全システムは大部分、金属柵、光バリア及び／又はレーザースキャナからなっている。第1の手法は、画像処理に基づきロボット保護区域を確保することであり、これは非特許文献［1］及び［2］（以下単に［1］、［2］等と表記）に詳細に記載されている。［1］に記載の方法では、立体画像分析を使って、何かの物体がロボットの保護区域内に存在しているかどうかを、物体の性質（例えば人間か物体か）や動作挙動についての正確な情報を抽出せずに検知する。［2］では、手の皮膚の色だけを使って人間を検知するが、照明の状態が一定でない（色温度が変化する）場合に検知の信頼性に問題が生じる。この記載された方法は、作業用手袋を使う場合には、まったく利用できない。［1］に記載の先行技術と同じように、これらの方法では物体の種類に関する情報を抽出しない。また、人間が関係している場合に、その人間の身体部分及び動作挙動を検知しない。ゆえに、こうしたシステムは、人間が保護区域に侵入した場合にロボットを停止することは確かにできるが、衝突の危険があるかということ、又は人間がロボットのすぐ周辺にいる場合に人間と機械とが正しく協働しており、危険がないかということを検知することができない。
【０００５】
［3］のレビュー記事によれば、人間の認識という分野において、適切な手法は、明示的な形状モデルによる又はモデルなしの2次元的方法と、3次元的モデルとに分けられる。［4］では、異なる寸法の窓が最初の画像に当てられる。対応する画像領域が、ハール(Haar)ウェーブレット変換される。異なるスケーリング及び方位を画像領域の異なる位置に対して適用することにより、対応するウェーブレット係数を得る。画像中での絶対値及び局所分布に基づく、係数の小さな集合（subset）は、この側面(features)のセットから「手で」選択され、状況によっては非常に大きくなる。この縮小された側面のセットは、分類のためにサポートベクターマシン（SVM）に供給される。検知の目的で、異なる寸法の窓が画像に当てられ、対応する側面がこれらの画像領域から抽出される。次いで、対応する窓が人間を含んでいるかどうかを、SVMが判断する。［5］では、2次元のハールウェーブレット特徴の時系列が組み合わされて、高次元の側面ベクトルを形成し、これらはSVMによって分類され、その結果、純粋に個別の画像法に比べて、検知性能が向上する。［6］では、非固定カメラを使った道路交通の予測における歩行者の輪郭の検知に、チャムファーマッチング（chamfer matching）法が適用されている。［7］では、チャムファーマッチング技術が立体画像処理システム及び局所受容フィールド（local receptive fields）を有するニューラルネットワークと組み合わされ、［8］によればこれは、信頼できる確かな分類結果を得るために、テクスチャ分類器（texture classifier）として使用される。
【０００６】
別の方法では、人間を検知し追跡するために、統計的な形状モデルが使用される。ここで［9］は、調整段階（training phase）により取得し、例示的な輪郭を特徴点の位置によって表すモデルと関係している。主成分分析（PCA）を使ってパラメータのセットを減少させる。これにより計算費が減少するだけでなく、ある程度の一般化能力が得られる。これは、例えば動く歩行者のような時間と共に変化し得る輪郭を追跡する場合に有効である。これは、パラメータのセットが学習したセットと不一致になるのをそもそもの初めから防ぐためである。検知可能なのは人間の全身の輪郭だけでない。手の輪郭及び対応する動きも検知することができる。しかし、この手法では、常にすべての特徴が存在しなければならず、それゆえマスキングの事実(instance)は許可されない。さらに、調整段階によって決定されるパラメータ化により、物理的に不可能な状態が許容されることも排除できない。その形状は［10］のBスプラインにより表現される。固定カメラの場合、差分画像解析（difference image analysis）により、人間が背景から区分される。追跡アルゴリズムはカルマンフィルタを使って機能する。
【０００７】
また、［11］では、移動式カメラにより記録された連続画像（image sequences）中の人間を検知するために、カラー・クラスタフロー（color cluster flow）技術が使用されている。ゆえに、人間の部分マスキングの場合でも、非常に信頼性の高い仕方で人間を検知し、時間の経過と共に追跡することができる。この検知局面を、［8］に詳細に記載されているTDNN分類手法と組み合わせられる。
【０００８】
道路交通の場面で歩行者を検知するための、検知局面、追跡局面及び物体分類局面からなる、完全な、リアルタイムのシステムに関する最近の研究が、［12］に記載されている。
人間を検知する方法の別のグループは、人間の外観についての明示的な先行知識をモデルの形で使用する、モデル基盤の技術である。この場合、身体の部分のマスキングの事例には問題があるため、多くのシステムが、検知されるべき動作の種類及びカメラの視角についての先行知識を追加的に仮定している。例えば、人間を減算により背景から区分するが、これは固定カメラ及び変化のない、又はゆっくりとしか変化しない背景を前提としている。使用されるモデルは、例えば直線の棒（「棒線画」）からなっており、個々の身体部分は楕円で近似される［13〜16］。
【０００９】
カメラの側方で立ったり動いたりしている人間の検知に対するマルチキュー手法を目的として、濃度、境界線、距離及び動きという非常に異なる特徴を同時使用する例が、［17］に記載されている。この手法は、特定の用途のために包括的な物体が定義され（例えば人間、背景、床、光源）、画像中のこれらの物体を検知するために、関連する方法を利用可能にするという点で、「オブジェクト指向」である。画像から物体の特性がいくつか抽出され、物体が具体化されて（instantiated）、さらなる特殊化された方法を適用することが可能になる。
【００１０】
人間の姿勢（身体部分の位置及び様子）の3次元測定用の市販のシステムは、人体に付けられた標識を検知することに基づいている。姿勢を標識なしに3次元測定するための効果的な方法について、［18］に記載されている。
人間の姿勢の検知に関する研究の大部分は、手の3D復元に関係している。［19］では、運動学的制約を有する、特に物理的に可能な連結角度に関する、関節による(articulated)モデルにより、手を表現する。これらの制約により、手の3次元的位置、姿勢及び動作を決定することが可能になる。［20］には、輪郭分析、追跡局面及び隠れマルコフモデル（HMM）に基づく動作用の分類器に基づく手の動作サイクル（及び身振り）を検知する方法が記載されている。［21］に記載のGREFITシステムでは、グレースケール画像に基づき、手の、関節によるモデルを使って、手の姿勢の力学を分類することができる。第1の局面で、ニューラルネットワークの階層型システムが、連続する画像中の指先の2D位置を特定する。第2の局面で、さらなるニューラルネットワークがこれらの値を、関節による手のモデルの3D構成に最もよく合致するものに変換する。［22］では、自己組織化マップ（SOM）によって、対応する画像をラベリングし、次いでニューラルネットワークを使って調整することで、手の姿勢を直接検知する。
【００１１】
［23］において、粒子フィルタに基づき、シンボリックオブジェクトの知識をも含む軌道分析が、「操作的身振り」（物体をつかんだり移したりするための手の動作）の検知に使用されている。［24］において、隠れマルコフモデルによる手の軌道の分類をベイズネットワーク及び粒子フィルタと組み合わせて行うために、人間／ロボットの相互作用の関係においてこの手法が拡大されている。粒子フィルタ手法を使った動作パターンの分析による、構築行動（例えば部品の組み立て）の分類の手法が、［25］に記載されている。［26］には、個々の要素からなる構成品を検知するための手法において、より信頼できる物体検知を目的として、手の動作の分析結果を組み込む方法が記載されている。この関係において、［27］には、ニューラルネットワークによって物体を検知し、次にオンラインで、つまり稼動段階において、調整することのできる、視覚を利用した（view-based）システムが記載されている。
【００１２】
2D画像データから人間を3Dモデル化するための方法が、［30］に記載されている。ここで、人間の画像データを取得するためにマルチカメラシステムが使用されており、人間の身体部分が、特にテンプレートマッチングにより、2D画像データ中で識別される。このようにして識別された身体部分は次いで、3Dテンプレートを使った動的なテンプレートマッチングによりモデル化される。その結果、人間が部分的に隠れていたり、一時的にマルチカメラシステムにより取得できなかったりする場合でも、すばやく、継続的に人間を識別することができる。検知された人間は次いで、運動学的動作モデル及びカルマンフィルタを使って、画像データ中で追跡される。
【００１３】
［31］には、3D空間に変換された画像データ内の人間及びその身体部分の識別について記載されている。マルチカメラシステムにより生成された画像データから、3Dボクセルデータが生成される。それに続いて、特別な照合アルゴリズムにより、対応するテンプレートが身体部分に照合される。ここでも、先の［30］の場合のように、運動学的な身体モデルが参照される。
【００１４】
2D画像データ及び一般的な動作分析から3D人間モデルを生成することに加えて、［32］の論文にはさらに、観察されている人間の生態測定的な挙動、特にその身振り（「質問したいことを示すために手を挙げること」）の分析に向けた第1の手法が示されている。
【先行技術文献】
【非特許文献】
【００１５】
【非特許文献１】[1] D. Do"ttling, L. Kru"ger, W. Progscha, M. Wendler, C. Wo"hler. Verfahren und Vorrichtung zur Absicherung eines Gefahrenbereichs. Deutsche Offenlegungsschrift DE 10245720 Al.
【非特許文献２】[2] D. Ebert and D. Henrich. Simero - sichere Mensch-Roboter-Koexistenz. In: Fraunhofer IRB, Hrsg., 2. Workshop fu"r OTS-Systeme in der Robotik - Mensch und Roboter ohne trennende Schutzsysteme, S. 119-134, Stuttgart, 2003
【非特許文献３】[3] D. Gavrila. The Visual Analysis of Human Movement: A Survey. Computer Vision and Image Understanding, 73(1):82--98, Jan. 1999.
【非特許文献４】[4] M. Oren, C. Papageorgiou, P. Sinha, E. Osuna, T. Poggio. Pedestrian detection using wavelet templates. IEEE Int. Conf. on Computer Vision and Pattern Recognition, S. 193-199, San Juan, 1997.
【非特許文献５】[5] C. Papageorgiou, T. Poggio. A Pattern Classification Approach to Dynamical Object Detection. Int. Conf. on Computer Vision, S. 1223-1228, Kerkyra, Griechenland, 1999.
【非特許文献６】[6] D. M. Gavrila, V. Philomin. Real-time object detection for "smart" vehicles. Int. Conf. on Computer Vision, S. 87-93, FCerkyra, Griechenland, 1999.
【非特許文献７】[7] D.M. Gavrila, J. Giebel, S. Mu"nder. Vision-Based Pedestrian Detection: The PROTECTOR, System. IEEE Intelligent Vehicles Symposium, Parma, Italy, 2004.
【非特許文献８】[8] C. Wo"hler, Neuronale Zeitverzo"gerungsnetzwerke fu"r die Bildsequenzanalyse und ihre Anwendung in fahrzeuggebundenen Bildverarbeitungssystemen. Dissertationsschrift. Mathematisch-Naturwissenschaftliche Fakulta"t der Rheinischen Friedrich-Wilhelms-Universita"t Bonn, 2000. VDI-Fortschritt-Berichte, Reihe 10. Nr. 645, VDI-Verlag, Du"sseldorf, 2000.
【非特許文献９】[9] M. J. S. Day, J. S. Payne. A Projection Filter for Use with Parameterised Learning Models. Int. Conf. on Pattern Recognition, S. 867-869, Brisbane, 1998.
【非特許文献１０】[10] A. Baumberg, D. Hogg. An Efficient Method for Contour Tracking Using Active Shape Models. IEEE Workshop on Motion of Non-Rigid and Articulated Objects, S. 194-199, Austin, Texas, 1994.
【非特許文献１１】[11] B. Heisele, C. Wo"hler. Motion-Based Recognition of Pedestrians. Int. Conf. on Pattern Recognition, S. 1325-1330, Brisbane, 1998.
【非特許文献１２】[12] D. M. Gavrila, J. Giebel, S. Mu"nder. Vision-Based Pedestrian Detection: The PROTECTOR, System. Proc. of the IEEE Intelligent Vehicles Symposium, Parma, Italy,
【非特許文献１３】[13] Y. Guo, G. Xu, S. Tsuji. UnderStanding Human Motion Patterns. Int. Conf. on Pattern Recognition, S. 325-329, 1994.
【非特許文献１４】[14] I.-C. Chang, C.-L. Huang. Ribbon-based Motion Analysis of Human Body Movements. Int. Conf. on Pattern Recognition, S. 436-440, Wien, 1996.
【非特許文献１５】[15] K. Akita. Image Sequence Analysis of Real World Human Motion. Pattern Recognition, Vol. 17, Nr. 1, S. 73-83, 1984.
【非特許文献１６】[16] W. Long, Y. Yang. Log-Tracker, an Attribute-Based Approach to Tracking Human Body Motion. Int. J. Pattern Recog. Artificial Intell., Vol. 5, Nr. 3, S. 439-458, 1991.
【非特許文献１７】[17] R. Kahn, M. Swain, P. Propkowicz, J. Firby. Gesture Recognition Using the Perseus Architecture. IEEE Conference on Computer Vision and Pattern Recognition, S. 734-741, San Francisco, 1996.
【非特許文献１８】[18] B. Rosenhahn, U. G. Kersting, A. W. Smith, J. K. Gurney, T. Brox, R. Klette. A System for Marker-less Human Motion Estimation. In: W. Kropatsch, R. Sablatnig, A. Hanbury (eds.). Pattern Recognition. Proc. 27th DAGM Symposium, Vienna, Austria. Lecture Notes in Computer Seience 3663, pp. 176-183, Springer-Verlag Berlin Heidelberg, 2005.
【非特許文献１９】[19] S. U. Lee, I. Cohen. 3D Hand Reconstruction from a Monocular View. Int. Conf. on Pattern Recognition, Cambridge, UK, 2004.
【非特許文献２０】[20] A. Ramamoorthy, N. Vaswani, S. Chaudhury, S. Banerjee. Recognition of dynamic hand gestures. Pattern Recognition, Vol. 36, S. 2069-2081, 2003.
【非特許文献２１】[21] C. No"lker, H. Ritter. Visual Recognition of Continuous Hand Postures. IEEE Transactions on Neural Networks, Special Issue Multimedia, 2002.
【非特許文献２２】[22] G. Heidemann, H. Bekel, I. Bax, A. Saalbach. Hand Gesture Recognition: Seif-Organising Maps as a Graphical User Interface for the Partitioning of Large Training Data Sets. Int. Conf. on Pattern Recognition, Cambridge, UK, 2004.
【非特許文献２３】[23] J. Fritsch, N. Hofemann, G. Sagerer. Combining Sensory and Symbolic Data for Manipulative Gesture Recognition. Int. Conf. on Pattern Recognition, Cambridge, UK, 2004.
【非特許文献２４】[24] Z. Li, N. Hofemann, J. Fritsch, G. Sagerer. Hierarchical Modelling and Recognition of Manipulative Gesture. In Proc. IEEE ICCV, Workshop on Modeling People and Human Interaction, Beijing, China, 2005.
【非特許文献２５】[25] J. Fritsch, F. Lo"mker, M. Wienecke, G. Sagerer. Erkennung von Konstruktionshandlungen aus Bildfolgen. In: Mustererkennung 2000, 22. DAGM-Symposium, Informatik aktuell, S. 389-396, Kiel, 2000.
【非特許文献２６】[26] E. Braun, J. Fritsch, G. Sagerer. Incorporating Process Knowledge into Object Recognition for Assemblies. IEEE Conf. on Computer Vision, S. 726-732, Vancouver.
【非特許文献２７】[27] H. Bekel, I. Bax, G. Heidemann, H. Ritter. Adaptive Computer Vision: Online Learning for Object Recognition. In: C. E. Rasmussen, H. H. Bu"lthoff, M. A. Giese, B. Scho"lkopf(eds.). Pattern Recognition. Proc. 26th DAGM Symposium, Tubingen, Germany. Lecture Notes in Computer Science 3175, pp. 447-454, Springer-Verlag Berlin Heidelberg, 2004.
【非特許文献２８】[28] C. Wo"hler, L. Kru"ger. Verfahren und Vorrichtung zur Korrespondenzbestimmung, vorzugsweise zur dreidimensionalen Rekonstruktion einer Szene; nachvero"ffentlichte deutsche Patentanmeldung DE 102006013598.9.
【非特許文献２９】[29] C. Chang, R. Ansari, A. Khokhar. Multiple object tracking with kernel particle filter. IEEE Int. Conf. on Computer Vision and Pattern Recognition, Vol. 1, S. 566-573, 2005.
【非特許文献３０】[30] Horprasert, T. Haritaoglu, I., Harwood, D., et al. Realtime 3D motion capture. In Proc. Perceptual User Interfaces, pages 87-90, November 1998.
【非特許文献３１】[31] I. Mikic, M. Trivedi, E. Hunter, and P. Cosman. Human body model acquisition and tracking using voxel data. International Journal on Computer Vision, 53(3):199--223, Juli 2003.
【非特許文献３２】[32] M. Parda"s et al., Body detection, tracking and analysis, WP5 partners first focus meeting, 1-2 Dezember 2005, Rocquencourt, slides, http://www-rocq.inria.fr/imedia/Muscle/WP5/ WP5-FFM-docs/E-TEAM-BODY-3.ppt.
【発明の概要】
【発明が解決しようとする課題】
【００１６】
前記の各先行技術は、身体部分及びその動作サイクルを検知するために、ならびに個々の部分からなる複雑な物体及び対応する集合的な活動を検知するために、画像処理に基づく複数の方法が、人間を異なる複雑な環境で検知する目的のためには公知であることを示している。しかし、これらのアルゴリズムの適用性は、しばしば純粋に学問的な用途によってのみ示される。
【００１７】
本発明の目的は、カメラを利用した検知及び人間のモデル化を、工業環境において使用可能にすることである。
【課題を解決するための手段】
【００１８】
前記の本発明の目的は、独立請求項1及び3に記載の方法によって実現される。本発明の有利な改良形態及び発展形態を、従属請求項に記載している。
本発明によれば、工業環境における人間の位置及び配置について入手できる、最も詳細な情報を得るために、特にその身体部分をも参照して、人間の画像データをマルチカメラシステムによって取得する。次いで、これらの画像データを人間の画像化に関して検査し、画像中で人間が検知されているときはいつでも、人体の、関節からなる仮想の3Dモデルをこの人間の仮説に照合する。次いで、この仮想の身体モデルが、画像データ中で検知された人間の動作挙動と継続的に照合される。
【発明を実施するための形態】
【００１９】
工業環境中での人間の観察(observation)についての本発明の第1の改良形態において、人間のいる環境に置かれた機械又は機械要素の位置及び／又は動作挙動を決定する。空間における仮想の身体モデルの位置及び動作挙動の知識から、危険の可能性を決定することができる。このようにして決定される危険の可能性は閾値と比較され、この閾値を超過している場合に、機械又は機械部分の動作制御を行う。
【００２０】
特に有利なやり方では、機械又は機械部分の動作制御により、そのシャットダウンを行うこと、又はその動作を遅くすることが行われる。動作を遅くするだけであった場合、機械又はその可動の機械要素は、危険の可能性を低下させながら、作業を続けることができる。
人間を観察する本発明のこのやり方は、危険を防ぐための方法を、信頼できる人間／機械の相互作用という関係において適用することを、特に有利な仕方で可能にする。その際、場所及び時間により変化する危険度を、機械又は機械要素及び観察されている人間の現在位置及び現在の動作状態の関数として、監視されている空間領域へ割り当てることができる。
【００２１】
工業環境における人間の観察についての、本発明の第２の改良形態において、仮想の身体モデルの現在の形状及び位置の関数として、データが継続的に導き出され、データベースのデータと相関させられる。この場合データベースは、人間の動作サイクルを表す複数の動作段階中の身体モデルの形状及び位置から予め決定された複数のデータを含んでいる。この場合、本方法の実施中に、これらの動作段階は、その現在の身体モデルから導き出したデータが、データベース中にこの動作段階に関連して保存されているデータと一定の類似性を示すときはいつでも、観察されている人間が採用していたとして、その観察されている人間によるものとみなされる。この場合に、データベースに保存されている動作段階の特定の順序が検知されれば、動作サイクルは観察されている人間によって完全に実行されたとみなされる。しかし、動作サイクルが不完全に実施されたと評価された場合、この結果が信号化される。
【００２２】
本発明のこの種の人間の観察により、有利なことに、動作及び作業サイクルを確認するための方法を工業生産分野において適用することが可能になる。これにより、一例として、複雑な手作業の組み付けサイクルが、適切な作業が完全に及び正しい順序でなされたかどうかに関し、その実行中に確認される。観察された動作サイクルが期待されたものから外れている場合、それを信号化することができる。特に、例えば集積素子(aggregates)などの高度に複雑なモジュールの場合、この種の品質検査は、あとで作業をやり直さなくてはならないかもしれないことをも含めて、組み立て品を確認するよりも、実質的により効果的である。これは、後者の場合、モジュールを完全に又は部分的に分解しなければならないかも知れず、そうなれば多大の時間及び費用が関係するためである。
【００２３】
本発明のこの別の改良形態を適用するさらに有利な分野は、新たに訓練される操作員の監督である。例えば、新たな労働者を休暇中にただちに訓練しなくてはならない場合、生産中に多くの間違いが発生する。本発明により、新たに訓練される操作員は作業サイクルを観察することができる。これにより、ある動作サイクル内で行われるべき動作段階が完了していないことがいつ分かるかということ、そして、それにより作業が正しく実行されていなかったことを推測する必要があることを助言することができる。
【００２４】
特に有利なやり方では、未完了と評価された動作サイクルの信号化中に、動作サイクルを参照して正しい順序を確認する最中に採用されていなかったとみなされる、少なくとも一つの動作段階を参照する。このようにして、観察された人間にとって、自分自身の動作サイクルでの、又は自分自身の操作中の間違いを検知するのが特に容易となる。他方、訓練員は、訓練生にとって学習した活動のどの部分が依然難しいか、及び、もしかするとさらに説明又は訓練を必要としているかということを検知することができる。
【００２５】
採用されたとみなされなかった動作段階の統計的な取得により、問題のある動作段階を全動作段階内で人間工学的に検知することもでき、適切であれば、動作段階の順序を再設定することにより、又は操作されるシステムもしくは物体を観察されている人間に合わせて調整することにより、最適化することもできる。
データベースのための個々の動作段階及び／又は動作サイクルに関するデータに到達するために、当該データを、観察すべき空間、人間又は機械の記録された画像をマルチカメラシステムにより取得している間に、複数の調整段階により得ることができる。しかし、あるいは又は加えて、この点で予期される動作サイクル及び画像情報をコンピュータシステム上でシミュレートすることにより、データベースのデータを生成することも十分に考えられる。このようにして、有利なことに、シミュレーションにより決定した観察システムのデータにより、システム設計及びその実施と平行して、観察システムを工場で予め初期化しておくことが可能になる。
【００２６】
特に有利なやり方では、データ量をデータベース中で管理することができ、データベースに保存された画像データを変換する、特に主軸変換することにより、処理にかかる費用を削減することもできる。この目的のために、現在取得されている画像データとデータベースのデータとの類似性を決定するための相関を、当該変換された画像データに基づき行うことができる。
【００２７】
特に有利なやり方では、人間の3Dモデルを3D点データに基づき作成することができる。これらの点データは、特に立体画像分析を含む、複眼（multiocular）画像分析により作成することができる。例えば、その速度又は加速度のような、その空間座標（x,y,z）を超える空間における各3D点に関する情報項目を、時空間特徴に基づく（例えば［28］に記載されているような）立体法を使って得ることができる。複数の3D点データ（3D点群）の分割を、クラスタ法、特に球状クラスタリングにより、有利に行うことができる。次いで、凸状エンベロープ（convex envelope）が3D点の各抽出されたクラスタについて決定される。人間を検知するために、特に高さ又は体積という簡単な特徴が、各クラスタについてまず決定される。次いで、このやり方で、特に自然な人間の特徴についての先験的な知識から、無効で不合理なクラスタを排除することができる。このようにして、個々のクラスタが重なり合わず、形状及び寸法に関する対応する制約が、得られた物体全体について観察される場合に、隣接するクラスタを組み合わせて有利に人間を形成することができる。
【００２８】
先行するステップで不必要に排除された3D点、特に床又は他の物体との接点の周辺にある足点は、復元するのが好ましい。この第1の処理ステップの結果は、クラスタの凸状エンベロープによって表される、その場面での人間となる。床の上に突出し、2D多角形を形成する凸状エンベロープを、線形予測及びカルマンフィルタリングによって追跡することにより、このようにして検知された人間を時間の経過と共に、有利に追跡することができる。
【００２９】
人体の、関節による3Dモデルは、このようにして判明した人間の仮説と、有利に照合することができる。この場合、相互に連結された円筒により身体部分をモデル化することが有利である。このモデルにおいて、人間の姿勢は、モデルの連結角度のベクトルとして与えられる。姿勢の評価は、3D点群及び場面の画像から導き出された特徴と、所与の姿勢のためのモデルの外観との間の偏差を決定することにより行われるのが好ましい。その際、所与の姿勢が人間の測定された形状を再現する確率を決定することができる。［29］のカーネルベースの粒子フィルタは、探索空間の精査のための確率論的手法として、特に適切である。
【００３０】
身体部分の検知された動作は、運動テンプレートとして、有利に表される。ここで、このような運動テンプレートは、典型的な人間の動作サイクルの3D測定に含まれ、人間モデルの可能な連結角度及び連結角速度の範囲を限定する、代表的な動作パターンである。このようにして、特に人間と機械との衝突の危険を検知することを目的として、生物学的に真に迫った仕方で人間の動作を推定することができる。この場合、動作の過程は動作段階の複合的なサイクルとみなすことができる。
【国際調査報告】
2009545789.tif 000002
2009545789.tif 000003
2009545789.tif 000004
2009545789.tif 000005
2009545789.tif 000006
2009545789.tif 000007