MEANS FOR RECORDING, ANALYSING BY MEASURING TECHNIQUES, AND/OR CONTROLLING SUCCESSIVE PHASES OF TECHNICAL PROCESSES

Abstract: 1. Device for the detection, measurement-technical analysis and/or regulation of technical process sequences, preferably for the checking of assembly operations, docking sequences, for robot guidance or for the steering of projectiles, with the use of at least one opti-electronic image sensor and a grey value image processing equipment which is arranged downstream of the image sensor or sensors and displays an equipment for the digital quantisation of the sensor images detected by the image sensor or sensors or of preset reference images into more than two grey value stages, an equipment for the actual value detection of the digitally quantised sensor images or for the target value presetting of the digitally quantised reference images and an equipment for the comparison of target value and actual value between the digitally quantised grey value images of the sensor or sensors and the digitally quantised reference images as well as, if required, for making available evaluating signals and/or setting signals for setting members connected therebehind, characterised thereby that real time data reduction equipments (7 or 12), which reduce the digitally quantised image information of the sensor or sensors (5) and the preset digitally quantised reference images to a few grey value features, are connected downstream of the equipments (6 or 13) for the digital quantisation of the sensor images or of the reference images and that the equipment (10) for the comparison of target value and actual value is constructed as real time data comparison equipment which performs a comparison of target value and actual value within one or more image periods.

Description: '|Vorrichtung zur Erfassung, messtechnischen Analyse und/oder Regelung von technischen Verfahrensabläufen" Die Erfindung betrifft eine Vorrichtung gemäss dem Oberbegriff von Anspruch 1. Es ist ein Verfahren zur Automatisierung von technischen Produktionsabläufen bekannt geworden (DEOS 30 31 507), das unter Verwendung von einem oder mehreren optoelektronischen Bildsensoren, insbesondere von mehreren Bildsensoren für einen Produktionsablauf, Einrichtungen zur optoelektronischen Bildauswertung und von diesen Einrichtungen gesteuerten Stellgliedern arbeitet. Die von den Bildsensoren erfassten Sensorbilder werden in mehr als zwei Grauwertstufen digital quantisiert. Digitale Grauwertmerkmale werden in der durch die Produktionsabläufe vorgegebenen Taktzeit verarbeitet. Bei einer Einrichtung zur Durchführung dieses bekannten Verfahrens weist die Einrichtung zur optoelektronischen Bildauswertung eine Einrichtung zur Istlageerfassung, eine Einrichtung zur Sollagevorgabe und eine Einrichtung zum Soll-Istwertvergleich auf. Nach Durchführung eines Soll-Istwertvergleiches gibt die Vergleichseinrichtung ein Stellsignal an ein Stellglied ab, beispielsweise an einen mehrdimensionalen (mehrfingerigen) Manipulator. Dieser Manipulator kann z.B. ein Werkstück mit einer Greifvorrichtung umfassen und entsprechend dem Stellsignal in eine gewünschte Lage drehen und/oder in einer gewünschten Richtung bewegen. Der Erfindung liegt die Aufgabe zugrunde1 eine Vorrichtung zur Erfassung, Analyse und/oder Regelung von technischen Verfahrensabläufen zu schaffen, die es ermöglicht, eine grosse Anzahl von Einzelbildern liefernde technische Vorgänge zu erfassen, messtechnisch zu analysieren und /oder zu regeln. Die Aufgabe wird erfindungsgemäss durch die kennzeichnenden Merkmale von Anspruch 1 gelöst. Ausgestaltungen der Erfindung sind in den Unteransprüchen 2 bis 6 beschrieben. Der wesentliche Vorteil der Erfindung ist in der Auswertung der von dem bzw. den Sensoren gelieferten Bilder in Realzeit zu sehen, d.h. das Ergebnis für ein Sensorbild liegt bereits vor, bevor der bzw. die Sensoren das nächste Bild liefern. Vorteilhafterweise ist die Erfindung für eine ganze Reihe von Anwendungsfällen verwendbar, beispielsweise für Qualitätskontrollen, Montagevorgänge, Schiffsanlegemanöver, Koppelaufgaben im Weltraum, Navigations-, Homing und Überwachungsaufgaben im mil. Bereich. In der Zeichnung ist ein Ausführungsbeispiel nach der Erfindung dargestellt, und zwar wird eine für einen Montagevorgang vorgesehene Vorrichtung gezeigt. Eine Greifvorrichtung 2 eines Manipulators 1, der mehrdimensional und mehrfingerig ausgeführt sein kann, umfasst ein Werkstück 3, beispiels weise eine mit einem Zapfen versehene kreisförmige Scheibe. Diese Scheibe soll an eine rechteckige Platte 4 angeschraubt werden, die von der Scheibe 3 räumlich entfernt und örtlich feststehend angeordnet ist. Um den Montagevorgang durchführen zu können, muss daher der Manipulator 1 die Scheibe 3 in Richtung der Platte 4 bewegen und dort an einer durch eine Montageanleitung vorgegebenen Stelle zur Anlage bringen. Zur Regelung des Bewegungsanlaufes des Manipulators 1 ist ein optoelektronischer Sensor 5, beispielsweise eine Fernsehkamera, vorgesehen, die sowohl die Scheibe 3 und die Platte 4 optisch erfasst und während des oben erwähnten Bewegungsablaufes von diesen beiden Gegenständen aktuelle Sensorbilder an eine Einrichtung zur digitalen Quantisierung 6 liefert. Diese Einrichtung führt eine digitale Quantisierung der aktuellen Sensorbilder durch und gibt die entstehenden Grauwertbilder an eine Realzeit-Datenreduktionseinrichtung 7 weiter, der eine Einrichtung 8 zur Istlageerfassung der digital quantisierten Sensorbilder nachgeordnet ist. Die Einrichtung 8 ist mit ihrem Ausgang - ebenso wie eine Einrichtung 9 zur Sollagevorgabe - an eine Einrichtung 10 zum Sollwert-Istwertvergleich angeschlossen die als Realzeit-Datenvergleichseinrichtung ausgebildet ist und nach Durchführung eines Sollwert-Istwertvergleiches ein Stellsignal (Pfeil 11) an den Manipulator 1 abgibt. Hierbei wird der Sollwert von der Einrichtung 9 bereitgestellt, deren Eingang mit dem Ausgang einer Realzeit-Datenreduktionseinrichtung 12 elektrisch leitend verbunden ist. Der Realzeit-Datenreduktionseinrichtung 12 ist eine Einrichtung 13 zur digitalen Quantisierung der von einem Referenzbilderzeuger 14 abgegebenen Referenzbilder, die im vorliegenden Fall das Bild einer an der Platte 4 anliegenden Scheibe 3 wiedergeben, in mehr als zwei Grauwertstufen. Die Einrichtungen 6 bis 10 und 12 bis 14 stellen praktisch eine Grauwertbildverarbeitungseinrichtung dar, die in der Zeichnung gestrichelt dargestellt und mit 15 bezeichnet ist. Als optoelektronischer Sensor 5 ist jeder abbildende Sensor mit elektronischem Ausgangssignal verwendbar, vorzugsweise eine TV-Kamera mit elektronischer Kurzzeitbelichtung, eine CCD-Matrixkamera, eine CCD Diodenzeilenkamera mit nachgestaltetem Viodeonormwandler oder andere. Als Datenreduktions- und Datenvergleichseinrichtungen 7, 12 bzw. 10 können mit konventionellen Logikbausteinen aufgebaute Hardwareprozessoren verwendet werden, z.B. MOS, TTL, ECL, Gatearrays oder Kundenschaltkreise. Zur Reduktion der Anzahl der vorgegebenen Referenzbilder der Daten- vergleichseinrichtung (10) kann eine zeichnerisch nicht dargestellte Realzeitbi ldverarbeitungseinrichtung zur Drehlageerkennung vorge- schaltet sein. Dieses ist vorteilhaft für Anwendungsfälle, bei denen die Drehlage dieses Gegenstandes unbekannt ist, da dann alle möglichen Drehpositionen als Referenzbilder gespeichert werden müssen und somit ein unwirtschaftlich grosser Zeitaufwand für das Überspielen der Referenzbilder von einem Referenzbildträgermedium (Referenzbilderzeuger 14) in das prozessnahe Sensorsystem erforderlich ist. Als Träger des Referenzbildes kann erfindungsgemäss ein Videorecorder oder die zentrale Datenverarbeitungsanlage eines Fertigungskomplexes, von der während Umrüstpausen die aktuellen Referenzen in das System der Sensoren 5 überspielbar sind, verwendet werden. Vorteilhafterweise wird nicht nur dasjenige Referenzbild mit bestmöglicher Ubereinstimmung ermittelt, sondern es werden "nächste verwandte Referenzbilder " bestimmt, die anschliessend tiefergehenden Analysen unterworfen werden. Die Realzeit-Datenreduktionseinrichtungen 7 bzw. 12 reduzieren die digital quantisierten Bildinformationen des Sensors 5 bzw. die durch den Referenzbilderzeuger 14, der lernfähig ausgebildet sein kann, vorgegebenen, in der Einrichtung 13 digital quantisierten Referenzbilder auf wenige Grauwertmerkmale. Beispielsweise werden aus 256 x 256 Grauwerten eines Sensorbildes ein Satz von 32 Makropixelgrauwerten (Bytes), die einem 4 x 8 Makropixelmuster entsprechen, gebildet und mit vorgegebenen Referenzen in Makropixelgrauwertform verglichen. Der anschliessende Vergleich kann somit in Realzeit durchgeführt werden. Hierbei ist es gleichgültig, ob beispielsweise in 20 ms ein Gegenstand aus 15.000 Referenzansichten herausgesucht werden kann, oder ob ein Montagezustand eines Werkstückes aus 15.000 mög- lichen Ansichten ermittelt wird. Folgende verschiedene Anwendungsfälle können mit der erfindungsgemässen Vorrichtung durchgeführt werden: 1. Führung eines Schweissroboters entlang beliebig im Raum befindlicher Kanten. Die Lösen6 wäre das Einspielen verschiedener für die jeweilige Schweisspunktposition relevanter Referenzbilder in den optronischen Sensor. Dieser hätte die Aufgabe, jeweils die Istlage z.B. eines gekrümmten Türrahmens mit der Sollage zu vergleichen und Schweiss roboter Punkt für Punkt feinzupositionieren. 2. Entstapelaufgaben liefern als vereinfachte Version des "Griffs in die Kiste" typische Bildfolgen, in denen die zu entnehmenden Teile zwar grob vororientiert und weitgehend artenrein sind, doch Be leuchtungseffekte, Aspektwinkeländerungen, Kameraverzeichnungen und unterschiedlichste Anlieferqualität im Verlauf eines kompletten Abstapelvorgangs eine Reihe von ständig wechselnden Problemen (grosse Anzahl von Bildern eines bestimmten Gegenstandes) aufwerfen. Hinzu kommen nach Entnahme einer bestimmten Zahl von Teilen einer Belegungsebene verschiedene sekundäre--Erkennungsaufgaben, die der Bildverarbeitung auferlegt werden. 3. Ungeordnet über Forderbänder zugeführte unterschiedliche Objekte stellen ebenfalls eine Folge von Bildern dar, die zwecks Identifi kation, Geschwindigkeits- oder Lagevermessung eines bestimmten Ob jektes ausgewertet werden müssen. Lagevermessungen sind mittels des vorgeschlagenen Verfahrens derart realisierbar, dass diverse Bilder eines Gegenstandes mit unterschiedlicher Position relativ zur optischen Achse als Referenzen gespeichert werden. 4. Montagevorgänge liefern möglicherweise die grösste Komplexität: räumliche Kontrolle des Vorhandenseins bestimmter Komponenten richtige Reihenfolge des Zusamenbaus prüfen optische Führung des Roboterarms auf bestimmten, für die Mon tageaufgabe notwendigen Bahnen garantieren Feinpositionierung des Manipulators bei der Montage gewähr leisten 5. Montageaufgaben an bewegten Objekten sind mit einem "Zieltracking" im militärischen Einsatzfall vergleichbar: Ein Objekt kann in Be wegung erkannt und vermessen, dann kann auch mit entsprechendem Vorhalt ein zweites Objekt dem Objekt nachgeführt und "angepasst" werden. 6. Überwachungsaufgaben in der Kriminalistik und Objektschutzaufgaben sind ebenfalls ein Anwendungsfeld für den sehr schnellen Vergleich grosser Bildmengen. 7. Beispiele aus der Schiffahrt Müssen zwei sich in beliebiger räumlicher Lage zueinander befind liche Gegenstände nach genau vorgeschriebenem Ablauf miteinander gekoppelt werden, ist es oft vertretbar und erforderlich, einen solchen "Docking"-Vorgang zu automatisieren. Stehen kostspielige Löscheinrichtungen von Schiffen (Flüssiggas tanker) auf dem Spiel, oder muss die Schiffsführung eines Fähr schiffes von der Routinearbeit des Anlegens in immer demselben Fähr hafen entlastet werden, bietet sich eine optronische Lösung nach dem oben gezeigten Prinzip an 7.1 Analysiert man die erste Aufgabenstellung, muss zunächst ein Er kennen der zu koppelnden Gegenstände erfolgen. Im Falle der Lösch einrichtung muss eine Bildverarbeitungsintelligenz den am Kran hängenden Schnorchel und das von Land kommende Gegenstück erkennen. Das kann mittels einer Anzahl von festen Referenzbildern geschehen, wobei man entweder die Kopplungsgegenstände einer starren Kamera vorführt oder die Kamera Suchbewegungen durchführen lässt. Der zweite Schritt ist das Vermessen der Lage der zu koppelnden Gegenstände (z.B. mittels eines der beim Erkennungsvorgang mit Erfolg benutz ten Referenzbilder). Es kann erforderlich sein, dass zur 3-D-Ver messung beider Gegenstände zwei senkrecht zueinander angeordnete TV-Kamera auf per Bildverarbeitung mitgeführtem Schwenk/Neige kopf eingesetzt werden müssen. Schliesslich wird zur eigentlichen Kopplung der Gegenstände ein Sollablauf (Bildfolge) vorgegeben und dieser Bewegungsvorgang geregelt. 7.2 Das Beispiel des Anlegemanövers eines Fährschiffes ist anders geortet. Das Erkennen nur eines Gegenstandes (Hafeneinfahrt) ist erforder lich. Ferner ist dieser Gegenstand starr und seine Ansicht quasi unveränderlich. Zudem kann und sollte sich der Bildsensor auf einem der Gegenstände selbst befinden(Fährschiff). Nach dem Erkennen und Vermessen der Hafeneinfahrt erfolgt nun das geregelte Einfahrmanöver, indem man den Soll-Film abspielt und mit dem Ist-Verlauf vergleicht. Der Einsatz der Bildverarbeitung ist allein schon deshalb interessant, weil damit ein Messmittel zur Erkennung unerwünschter Objekte (Schiff auf Kollisionskurs) zur Verfügung steht. Damit gibt man der Schiffsführung eine zusätzliche, nicht von Routine abgestumpfte Kontrollinstanz mit. Ein Videore corder wird schliesslich zum unbestechlichen Zeugen im Havariefall. 8. Dockingaufgaben im Weltraum oder im militärischen Anwendungsfall sind denkbar. 9. Flugkörper (ähnlich Cruise Missiles) lassen sich ebenso mit Hilfe derartiger Verfahren über einen vorgegebenen Film navigieren oder ins Ziel lenken. 10. Hubschrauberwarnsensoren haben die Aufgabe, das plötzliche Er scheinen eines Angreifers zu melden. Ein Objektschutzpanzer (Ge pard) kann bei geeigneter Ausstattung mit einem optronischen Sensor an einem bestimmten Einsatzort - zunächst in vorgeschlagener Weise das gesamte Szenario in einen Referenzspeicher legen. Der daran anschliessende Suchvorgang vergleicht permanent die eingespeicherte Szene mit der aktuellen Szene und meldet jede grössere Grauwert änderung in einem Makropixel. Folgende grobe Abschätzung zeigt das derzeit mögliche Auflösungsvermögen: Aus einer Szene von 128 x 128 Bildpunkten wird durch Zusammenfas sung der Pixel eine Anzahl von z.B. 8 x 8 Makropixeln gebildet derart, dass die zu detektierenden Zielobjekte trotz dieser groben Zusammenfassung noch einen genügend grossen Beitrag im Summengrau- wert des Makropixels leisten. Die Zusammenfassung entspricht einer Datenreduktion von 1 : 128 bei Verwendung eines 16 bit Summen wertes und 8 bit Originalvideodaten. Wenn man insgesamt von 10 MByte/s Originalbilddaten ausgeht, wird nach Datenreduktion eine Verarbeitungsgeschwindigkeit von nur 10 M/128 = 78125 Byte/s gefordert, was für Hardwareprozessoren nach der vorgeschlagenen Art unproblematisch ist. Möglich sind derzeit 40 MByte/s. Der Speicherbedarf ist für einen Umlauf pro Sekunde nur 78125 Byte.

Claims: Patentansprüche 1. Vorrichtung zur Erfassung, nesstechnischen Analyse und/oder Regelung von technischen Verfahrensabläufen, vorzugsweise zur Kontrolle von Montagevorgängen, Dockingabläufen, zur Roboterführung oder zur Lenkung von Fluskörpern, unter Verwendung mindestens eines optoelektronischen Bildsensors und einer dem bzw. den Bildsensoren nachgeordneten Grauwert bildverarbeitungseinrichtung, die eine Einrichtung zur digitalen Quantisierung der von den bzw. den Bildsensoren erfassten Sensorbildern bzw. von vorgegebenen Referenzbildern in mehr als zwei Grauwertstufen, eine Einrichtung zur Istlageerfassung der digital quantisierten Sensorbilder bzw. zur Sollagevorgabe der digital quantisierten Referenzbilder und eine Einrichtung zum Sollwert-Istwertvergleich zwischen den digital quantisierten Grauwertbildern des bzw. der Sensoren und den digital quantisierten Referenzbildern sowie erforderlichenfalls zur Bereitsstellung von Auswertesignalen und/oder Stellsignalen für nachgeschaltete Stellglieder aufweist, dadurch gekennzeichnet, dass den Einrichtungen (6 bzw. 13) zur digitalen Quantisierung der Sensorbilder bzw. der Referenzbilder Realzeit-Datenreduktionseinrichtungen (7 bzw. 12) nachge- schaltet sind, die die digital quantisierten Bildinformationen des bzw. der Sensoren (5) und die vorgegebenen, digital quantisierten Referenzbilder auf wenige Grauwertmerkmale reduzieren, und dass die Einrichtung (10) zum Sollwert-Istwert-Vergleich als Realzeit-Datenvergleichseinrichtung ausgebildet ist, die innerhalb einer oder mehrerer Bildperioden einen Sollwert-Istwert-Vergleich durchführt. 2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass als Datenreduktions- und Datenvergleichseinrichtungen (7,12 bzw. 10) mit konventionellen Logikbausteinen aufgebaute Hardwareprozessoren verwendet werden. 3. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass zwecks Reduktion der Anzahl der vorgegebenen Referenzbilder der Datenvergleichseinrichtung (10) eine Realzeitbildverarbeitungseinrichtung zur Dreh lagenerkennung vorgeschaltet ist. 4. Vorrichtung nach Anspruch 1 oder 3, dadurch gekennzeichnet, dass als Träger der Referenzbilder ein Videorecorder vorgesehen ist. 5. Vorrichtung nach Anspruch 1 oder 3, dadurch gekennzeichnet, dass als Träger der Referenzbilder die zentrale Datenverarbeitungsanlage eines Fertigungskomplexes verwendet wird, von der während Umrüstpausen die aktuellen Referenzen in das System der Sensoren (5) überspielbar sind. 6. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass nicht nur dasjenige Referenzbild mit bestmöglicher Übereinstimmung ermittelt wird, sondern mehrere "nächste verwandte Referenzansichten " bestimmt werden, die anschliessend tiefergehenden Analysen unterworfen werden.

Inventors: BOTHE, WOLFGANG, DIPL.-ING., HANEKE, EKKEHARD, DIPL.-ING., SCHONE, GERHARD, DIPL.-ING., Schöne, Gerhard, Dipl.-Ing.
Applicants: TELEFUNKEN SYSTEMTECHNIK GMBH
Application year: 1984
Main classification: B25J9
IPC codes: B25J9, G06T1