Source: https://patents.google.com/patent/ES2214115A1/en
Timestamp: 2019-12-12 23:41:32+00:00

Document:
ES2214115A1 - System for automatically recognizing screening objects in database, has motion control module moving mobile autonomous agent by environment and allowing cameras to be directed to same selected points - Google Patents
System for automatically recognizing screening objects in database, has motion control module moving mobile autonomous agent by environment and allowing cameras to be directed to same selected points
ES2214115A1
ES2214115A1 ES200202362A ES200202362A ES2214115A1 ES 2214115 A1 ES2214115 A1 ES 2214115A1 ES 200202362 A ES200202362 A ES 200202362A ES 200202362 A ES200202362 A ES 200202362A ES 2214115 A1 ES2214115 A1 ES 2214115A1
ES200202362A
ES2214115B1 (en
Antonio Banderas Rubio
Francisco Sandoval Hernandez
Cristina Urdiales Garcia
2002-10-15 Application filed by Universidad de Malaga filed Critical Universidad de Malaga
2002-10-15 Priority to ES200202362A priority Critical patent/ES2214115B1/en
2004-09-01 Publication of ES2214115A1 publication Critical patent/ES2214115A1/en
2005-07-16 Publication of ES2214115B1 publication Critical patent/ES2214115B1/en
The system has an image capturing module capturing images (1.f) of an environment, and a processing module internally divided into two modules that are connected by a wireless communication link (1.b). A user module detects classified entities, and virtual reality (VR) equipment with glasses (2.d) and gloves (2.c) allows a user to control scanning of possible objects with high frequency. A motion control module moves a mobile autonomous agent (1) i.e. robot, by the environment and allows cameras (1.c) to be directed to same selected points.
Sistema de reconocimiento automático de objetos por proyección en una base algebraica y controlado remotamente por realidad virtual. Automatic recognition of objects by projection in an algebraic basis and remotely controlled by virtual reality.
La invención se encuadra en el sector técnico de la robótica, y más concretamente en el relativo al del control de agentes autónomos móviles empleando herramientas de realidad virtual. The invention fits in the technical field of robotics, and more specifically in regard to the control of autonomous mobile agents using virtual reality tools.
Actualmente, el concepto de robótica ha evolucionado hacia los sistemas móviles autónomos, que son capaces de desenvolverse por sí mismo en entornos desconocidos y parcialmente cambiantes sin necesidad de supervisión. Currently, the concept of robotics has evolved into autonomous mobile systems, which are able to fend for itself in unfamiliar and partially changing environments without supervision. De esta forma, el mundo de la robótica se debate entre modelos sumamente ambiciosos, como es el caso del IT, diseñado para expresar emociones, el COG, también conocido como el robot de los cuatro sentidos, el famoso SOUJOURNER o el LUNAR ROVER, vehículo de turismo con control remoto, y otros mucho más específicos y sencillos (Delgado, L. y Lozano, D., "Robots, el sueño inalcanzable de Pigmalión", El Semanal, pp. 24-35, 1999). Thus, the world of robotics debate between highly ambitious models, such as the IT, designed to express emotions, COG, also known as the robot of the four senses, the famous SOUJOURNER or LUNAR ROVER vehicle tourism with remote control, and other much more specific and simple (Delgado, L. Lozano, D., "Robots, the unattainable dream of Pygmalion", the Weekly, pp. 24-35, 1999). Entre estos últimos se puede destacar a ROBODOC, empleado en cirugía para operaciones de cadera, CYPHER, un helicóptero robot de uso militar, el guardia de tráfico japonés ANZEN TARO, los robots mascota de Sony, el PIONEER, encargado de la limpieza en la central nuclear de Chernobyl o el DANTE II, que exploró el volcán Mt. Spurr en Alaska (Rosheim, M., "Robot evolution: the development of antrobotics", New York: John Wiley & Sons, Inc., pp. 1-36, 1994). The latter can highlight ROBODOC, used in surgery for hip operations, Cypher, a helicopter robot for military use, the guard Japanese Anzen TARO traffic, robots mascot of Sony, the Pioneer, in charge of cleaning the central Chernobyl nuclear or DANTE II, which explored the Mt. Spurr volcano in Alaska (Rosheim, M., "Robot evolution: the development of antrobotics" New York:. John Wiley & Sons, Inc., pp 1-36, 1994). En muchos de estos casos, especialmente en aquellos destinados a aplicaciones que se pueden calificar como críticas por su peligrosidad, resulta obligado contar con una estación de control remoto que permita supervisar el estado del agente autónomo, seguir su evolución por el entorno y evitar en la medida de lo posible, de esta forma, cualquier problema que pudiera surgir, no sólo por la acción del agente sobre el entorno, sino también por el daño que pueda sufrir el agente. In many cases, especially those intended for applications qualify as criticism for its danger, it must have a remote control station that will monitor the status of autonomous agent, follow its evolution for the environment and avoid the as far as possible, in this way, any problems that may arise, not only by the action of the agent on the environment but also for the damage that may occur to the agent. En estas situaciones resulta especialmente importante contar con un sistema de control que actúe rápidamente, cuestión difícil si todo el procesamiento se centra en un único computador o si se deja prácticamente en manos del operador humano. In these situations it is especially important to have a control system that quickly, act difficult question if all processing focuses on a single computer or if left hands almost human operator. De entre las tareas que debe llevar a cabo un agente autónomo móvil, posiblemente sean las relacionadas con la visión artificial las que precisan una mayor capacidad de procesamiento (Levine, M., "Vision in man and machine", New York: McGraw Hill, 1985), especialmente cuando deben de resolver la cuestión del reconocimiento no supervisado de objetos. Among the tasks you must perform a mobile autonomous agent, may be those related to artificial vision which require greater processing capacity (Levine, M., "Vision in Man and Machine", New York: McGraw Hill, 1985), especially when they have to solve the issue of recognizing objects unsupervised. Es, por ello, normal que hayan aparecido numerosos trabajos relacionados con el tema, algunos de ellos referidos a patentes de invención (ES 2 081 204, 17.12.92, Hendrik Höfer, Procedimiento y dispositivo para el reconocimiento automático de objetos). It is therefore normal that have appeared numerous works related to the subject, some of them referred to patents (ES 2081204, 17.12.92, Hendrik HÃ¶fer, Method and device for the automatic recognition of objects). Pese a todo, el reconocimiento de objetos plantea aún numerosos problemas en las distintas etapas en que se puede dividir dicha tarea. Nevertheless, object recognition still poses many problems in different stages that can split the task. Así, en la primera fase, de representación del propio objeto, puede darse el caso de que el grado de rotación, escala o ruido en la captura no sean siempre los mismos, por lo que algunos autores recurren a usar etapas de preproceso (Shrikantan, G., Lam, S., y Srihari, S., Gradient-based contour encoding for character recognition, Pattern Recognition 7 (29), pp. 1147-1160, 1996; Hsu, J. y Hwang, S. A machine learning approach for acquiring descriptive classification rules of shape contour, Pattern Recognition 2(30), pp. 245-252, 1997), pero esto incrementa excesivamente el tiempo de proceso, siendo inviable para situaciones de actuación en las que el tiempo es el factor más importante. Thus, in the first stage, rendering the object itself may be the case that the degree of rotation, scaling or noise in capture are not always the same, so some authors resort to use stages of preprocessing (Shrikantan, G., Lam, S., and Srihari, S., Gradient-based contour encoding for character recognition, Pattern Recognition 7 (29), pp 1147-1160., 1996; Hsu, J. Hwang, S. A machine learning approach for acquiring descriptive classification rules of shape contour, Pattern Recognition 2 (30), pp. 245-252, 1997), but this increases excessively processing time being unfeasible for performance situations in which time is the factor important. La implementación de un sistema de extracción de características que sea tan independiente como sea posible de las distorsiones que pueda sufrir el objeto es posible, pero difícil. Implementing a feature extraction system that is as independent as possible distortions that may occur to the object is possible, but difficult. Por ello, algunos autores usan enormes bases de datos, en las que guardan información sobre el objeto obtenida del estudio de numerosas versiones distorsionadas. Thus, some authors use huge databases, which store information about the object obtained from the study of numerous distorted versions. Esto conduce a sistemas en las que el volumen de información a manejar es excesivo y, por tanto, a nuevos problemas de tiempo de procesado (Cyganski, D., Orr, J., Cott, T., y Dobson, R. Development, implementation, testing and application of an affine transform invariant curvature function, Proc. of the First Int. Conf. on Computer Vision, pp. 496-500, 1987). This leads to systems in which the amount of information to handle is excessive and therefore new problems of processing time (Cyganski, D., Orr, J., Cott, T., Dobson, R. Development, implementation, testing and application of an affine transform invariant curvature function, Proc. of the First Int. Conf. on Computer Vision, pp. 496-500, 1987).
Una vez caracterizado el objeto, y dado que la cantidad de información relacionada con el mismo es generalmente muy elevada, surge el problema de determinar qué características emplear finalmente para representar el objeto. Once characterized the object, and since the amount of information related thereto is generally very high, the problem of determining which features finally used to represent the object emerges. Las desventajas que presentan las soluciones adoptadas para ello son, principalmente, el excesivo tamaño del vector de características (Campbell, N., MacKeown, W., Thomas, B. y Troscianko, T. Interpreting image databases by region classification, Pattern Recognition 4(30), pp. 555-563, 1997; Romero, R., Touretzky, D. Y Thibadeau, R. Optical chinese character recognition using probabilistic neural network, Pattern Recognition 8(30), pp. 1279-1292, 1997), y la necesidad de usar sistemas expertos para extraer el conjunto de características, lo cual implica llevar a cabo un profundo estudio sobre el conjunto de patrones que entran al sistema y, por ello, restringir el sistema de reconocimiento a una aplicación muy específica (Cao, J., Ahmadi, M. y Shridhar, M. A hierarchical neural network architecture for handwritten numeral recognition, Pattern Recognition 2(30), pp. 289-294, 1997). The disadvantages of the solutions adopted for this are, principally, the excessive size of the feature vector (Campbell, N., MacKeown, W., Thomas, B. and Troscianko T. Interpreting image databases by region classification, Pattern Recognition 4 (30), pp 555-563., 1997; Romero, R., Touretzky, D. And Thibadeau, R. Optical character recognition using probabilistic chinese neural network, Pattern Recognition 8 (30), pp 1279-1292, 1997). and the need for expert systems for extracting the feature set, which involves carrying out a comprehensive study of the set of patterns entering the system and therefore restrict recognition system to a specific application (Cao , J., Ahmadi, and M. Shridhar, M. A hierarchical neural network architecture for handwritten numeral recognition, Pattern Recognition 2 (30), pp. 289-294, 1997). En este trabajo se presenta una posible solución a estos problemas, desarrollando una etapa de reconocimiento que actúa de forma rápida y que no presenta limitaciones en el espacio de objetos de entrada. In this work a possible solution to these problems is presented by developing a recognition stage which acts rapidly and that no limitations in space input object. No se debe olvidar, sin embargo, que dicho sistema es sólo una de las partes del sistema que se describe, que consta de un agente autónomo móvil dotado de sistemas de captura de imágenes y procesamiento, pero también de una estación externa donde, usando un equipo de realidad virtual formado por gafas y guante, se puede controlar este sistema de percepción visual del agente móvil. should not be forgotten, however, that system is just one of the parts of the system described, consisting of a mobile autonomous agent endowed system image capture and processing, but also an external station where, using a virtual reality equipment consisting of glasses and gloves, can control this visual perception system of the mobile agent.
La invención consiste en un sistema de reconocimiento de objetos que consta de un agente autónomo móvil dotado de sistemas de captura de imágenes y procesamiento, y de una estación externa donde, usando un equipo de realidad virtual formado por gafas y guante, se puede controlar el sistema de percepción visual del agente móvil. The invention is a system for recognizing objects comprising a mobile autonomous agent endowed system image capture and processing, and an external station where, using a virtual reality equipment consisting of glasses and gloves, can control the visual perception system of the mobile agent. El proceso de reconocimiento es, sin embargo, automático y se basa en proyectar la forma del objeto encontrado sobre una base algebraica fija. The recognition process is, however, automatic and is based on projecting the object shape found on a fixed algebraic base. Esto es, si bien la estación externa permite identificar nuevos objetos y dirigir la atención del agente hacía una determinada región del espacio, el agente realiza la extracción y caracterización de los posibles objetos presentes en su campo visual de manera no supervisada. That is, although the external station can identify new objects and to direct attention of the agent to a specific region of space, the agent performs the extraction and characterization of possible objects present in the visual field unsupervised manner.
La principal finalidad del sistema es conseguir el control remoto de un agente autónomo con la finalidad de que éste reconozca de forma automática los objetos presentes en su entorno. The main purpose of the system is to get the remote control of an autonomous agent in order to recognize it automatically objects in their environment. Como se ha comentado, aunque dicho reconocimiento es llevado a cabo de forma automática, puede ser supervisado externamente. As mentioned, although this recognition is carried out automatically, it can be monitored externally. De igual forma, la interfaz externa permite que un operario controle, ayudado por un equipo de realidad virtual, la operación del agente. Similarly, the external interface allows an operator to control, aided by a virtual reality equipment, the operation of the agent. Inicialmente, este control se realiza con el único objetivo de que el agente autónomo explore su entorno, por lo que sólo se interactúa sobre el movimiento del cuerpo del agente y sobre las cámaras que capturan la imagen. Initially, this control is carried out with the sole purpose of which the autonomous explore its environment, so it only interacts on the movement of the agent's body and on the cameras capturing the image. Para llevar a cabo este movimiento de cámaras, el agente incorpora una cabeza con tres grados de libertad ( pan, tilt y vergencia). To carry out this movement of cameras, the agent incorporates a head with three degrees of freedom (pan, tilt and vergence). La aplicación de un sistema de este tipo puede resultar especialmente interesante para la exploración o identificación de determinados objetos en entornos de difícil acceso o en situaciones en las que resulte conveniente ejercer un control remoto (reconocimiento de matrículas, trabajo en centrales nucleares, etc.). The application of a system of this type can be particularly interesting for exploration or identification of certain objects in inaccessible environments or in situations where exercise convenient remote control (license plate recognition, work at nuclear power plants, etc.) .
Descripción de los dibujos DESCRIPTION OF THE DRAWINGS Figura 1 Figure 1 Arquitectura del sistema System architecture
Módulo de captura de imagen Image capture module
Módulo de procesamiento Processing module
Submódulo de procesamiento ubicado en el agente Processing sub-module located in the agent
Submódulo de procesamiento externo External processing submodule
Módulo de usuario User module
Módulo de control de movimiento Motion control module
Figura 2 Figure 2 Esquema de la fase de representación del proceso de reconocimiento de objetos Scheme phase representation of the process object recognition
C. Vector curvatura del contorno del objeto C. Vector curvature of the object outline
A_{0}, A_{1}, A_{N}. A_ {0}, {1} A_, A_ {N}. Vector resultante de la comparación de C con distintos vectores previamente almacenados en memoria. Vector resulting from the comparison of different vectors C with previously stored in memory.
Figura 3 Figure 3 Representación del sistema Representation System
Agente autónomo móvil mobile autonomous agent
1.a. 1.a.
Computador de procesamiento interno Internal processing computer
1.b. 1 B.
Enlace inalámbrico para comunicación wireless communication link
1.c. 1 C.
1.d. 1.d.
Cabeza para soporte de cámaras con tres grados de libertad Head for camera support with three degrees of freedom
1.e. 1.e.
Control de la cabeza 1.d Head control 1.d.
1.f. 1.f
Capturadora de imagen Image capture
Red externa de procesamiento y control external network processing and control
2.a. 2.a.
Computador de procesamiento externo External processing computer
2.b. 2.b.
Computador de control del agente Computer control agent
2.c. 2 C.
Guante de realidad virtual para control de movimiento Virtual reality glove for motion control
2.d. 2.d
Gafas de realidad virtual y sensor de posición Virtual reality glasses and position sensor
En la Figura 1 se presenta la arquitectura del sistema. In Figure 1 the system architecture is presented. En concreto, el sistema se caracteriza porque consta de: Specifically, the system is characterized in that it comprises:
un módulo de captura de imagen (1), residente en el agente autónomo, y que se encarga de capturar las imágenes del entorno. a module image capture (1), a resident of the autonomous agent, which is responsible for capturing images of the environment. Estas imágenes son enviadas al These images are sent to
módulo de procesamiento (2), que a su vez se divide en dos submódulos, uno de ellos ubicado en el agente autónomo -submódulo 1 (2.1)-, y encargado principalmente de gestionar el paso de comandos e imágenes entre el agente y el exterior, y otro externo -submódulo 2 (2.2)-, donde se lleva a cabo la mayor parte del proceso de tratamiento de imagen. processing module (2), which in turn is divided into two sub-modules, one located in the autonomous agent -submódulo 1 (2.1) - and primarily responsible for managing the passage of commands and images between the agent and abroad and other external -submódulo 2 (2.2) - where is carried out most of the image processing process. Por lo tanto, una vez que las imágenes llegan al submódulo 1, éste las comprime y transmite vía radio al submódulo 2. Este segundo submódulo se encarga de detectar los posibles objetos, enviando esta información al Therefore, once the images reach submodule 1, it compresses and transmits it via radio to the submodule 2. This second sub-module is responsible for detecting possible objects, sending this information to
módulo de usuario (3), donde se lleva a cabo la clasificación de las entidades detectadas. user module (3) where it is carried out the classification of the detected entities. Este módulo permite al usuario decidir hacia donde seguir la exploración y, para hacerle esta tarea más flexible y ayudar a la integración del mismo en el entorno percibido por el agente autónomo, se emplea un equipo de realidad virtual. This module allows the user to decide where to continue the exploration and, to make this more flexible task and help its integration in the environment perceived by the autonomous agent, a team of virtual reality is used. En caso de que el usuario decida que debe cambiar el entorno visual percibido, mandará sus órdenes al módulo de procesamiento que, a su vez, las guiará al If the user decides to change the visual environment perceived, will send their orders to the processing module which, in turn, lead to
módulo de control de movimiento (4), que permite mover el robot por el entorno y girar las cámaras que lleva para que se dirijan hacia el punto seleccionado del mismo. motion control module (4), to move the robot by the setting and turning chambers leading to be directed towards the selected point thereof. Una vez completada la maniobra, se informa al módulo de procesamiento, que vuelve a comenzar el Once the operation is completed, informs the processing module, which restarts the
\hbox{proceso.} \ Hbox {process.}
El sistema también se caracteriza porque el proceso de reconocimiento de objetos, ubicado en los módulos de procesamiento y de usuario, se subdivide en: The system is also characterized in that the process of recognizing objects located in the processing modules and user, is divided into:
una fase de detección de objetos, en la cual se detectan, sobre la imagen matricial de entrada, aquellas entidades de puntos que presentan un nivel de gris o color homogéneo, suficientemente distinto del que presentan los puntos que los rodean. a phase detecting objects, which are detected on the input image matrix, entities of points having gray level or homogeneous color sufficiently distinct from that present points around them. Si estas entidades tienen unas características de área y compacidad suficientes se considerarán como objetos potenciales, a expensas de que puedan ser descartados como objetos reales en las siguientes fases del If these entities have characteristics of compactness and sufficient area shall be considered as potential objects at the expense of which may be discarded as real objects in the following phases
\hbox{proceso;} \ Hbox {process;}
una fase de caracterización, en la que se estudia la forma de los objetos detectados en la fase anterior. a characterization phase, in which the shape of objects detected in the previous phase is studied. Aunque en la detección se hayan tenido en cuenta otros factores (área, nivel de gris o color, etc.), la característica que identificará finalmente al objeto será su forma. Although they have taken into account other factors (area, color or gray level, etc.), the characteristic that finally identify the object will form in the detection. En particular, la forma del contorno del objeto se cuantifica calculando su curvatura, que se define, en cada punto del contorno, como el cambio de orientación relativa del contorno; In particular, the shape of the object outline is quantified by calculating the curvature, defined in every point on the contour, as the change of relative orientation of the contour;
una fase de representación (Figura 2), en la cual el vector curvatura del contorno del objeto (C) se compara con distintos vectores previamente almacenados en memoria. a phase representation (Figure 2), in which the vector curvature of the object outline (C) is compared with different vectors previously stored in memory. El resultado de estas comparaciones será un vector de características (A), que se asocia al objeto de entrada, y que permitirá posteriormente su clasificación; The result of these comparisons is a feature vector (A) which is associated with the input object, and subsequently allow its classification;
una fase de clasificación, en la que utilizando el vector de características asociado al objeto y un algoritmo de agrupación no supervisado se puede clasificar el objeto de entrada en alguna de las clases ya existentes, crear una clase nueva o descartarlo, si el usuario estima que su forma no coincide con ningún objeto real. a phase classification, in which using the feature vector associated with the object and an algorithm Unsupervised clustering can classify the input object in one of the existing classes, create a new or discard class, if the user believes that its shape does not match any real object. Hay que destacar que el proceso de clasificación es automático, quedando sólo como tareas del usuario el renombrar cada clase recién creada con el nombre real asociado al objeto, o el ya comentado descarte de objetos no reales. It notes that the classification process is automatic, being only as user tasks renaming each newly created class name associated with the real object, and said discarding or not real objects.
Las tres primeras fases se encontrarán físicamente ubicadas en el submódulo 2 de procesamiento y la última fase en el módulo de usuario. The first three phases will find physically placed on the submodule 2 and the last processing phase in the user module.
En la fase de caracterización, a su vez, hay que señalar el empleo de un algoritmo que calcula la curvatura en cada punto del contorno de manera adaptativa, con lo cual la estimación presenta una relación señal a ruido mayor y permite caracterizar el contorno, sin depender de las escalas naturales que éste presente. In the characterization phase, in turn, it should be noted the use of an algorithm that calculates the curvature at each contour point adaptively, thereby estimating presents a signal to greater noise and to characterize the outline, without relying on natural scales as presented.
La fase de representación se caracteriza por realizar una proyección del vector curvatura del objeto sobre una base algebraica almacenada en memoria. Phase representation is characterized by performing a projection of the curvature vector of the object on an algebraic base stored in memory. Para ello, se llevan a cabo las siguientes acciones: To do this, perform the following actions:
Cálculo de la transformada de Fourier del vector curvatura del contorno del objeto; Calculating the Fourier transform of the vector curvature of the object outline;
Multiplicación de dicha transformada con otras transformadas de Fourier de vectores de curvatura previamente almacenadas en memoria. Multiplying said transformed with other Fourier transforms of curvature vectors previously stored in memory. Estas transformadas almacenadas constituyen una base, sobre la cual se proyecta la transformada de entrada. These stored transformed form a basis upon which the transformed input is projected. Los resultados de estas multiplicaciones constituyen el vector de características que identifica al objeto de entrada. The results of these multiplications are the feature vector identifying the input object.
Modo de realización de la invención Embodiment of the invention
A continuación se describe un ejemplo de realización práctica, no limitativo, del presente invento. An example of practical, non limitative of the present invention is described. No se descartan, sin embargo, otros modos de realización en los que se introduzcan cambios accesorios que no desvirtúen su fundamento. They are not ruled out, however, other embodiments in which accessory changes that do not alter its foundation are introduced.
El sistema descrito se muestra en la Figura 3. En este caso, el módulo de procesamiento se reparte entre el Pentium PC 133 MHz (1.a) residente en un agente móvil Nomad200 (1) de Nomadic Technologies y un Pentium PC 200 MHz externo (2.a) conectado a la red local. The system described is shown in Figure 3. In this case, the processing module is shared between the PC Pentium 133 MHz (1.a) resident in a mobile agent Nomad200 (1) Nomadic Technologies and a Pentium PC 200 MHz external (2.a) connected to the local network. Al estar el módulo de procesamiento repartido en dos computadoras independientes, se podrá trabajar en paralelo, aumentando con ello la velocidad del sistema. Being the processing module divided into two separate computers, you can work in parallel, thereby increasing system speed. Sin embargo, ya que se debe mantener la autonomía del agente móvil, la comunicación interna a este módulo se resuelve mediante un enlace radio (1.b) que conecta al agente con la red local. However, since it must maintain the autonomy of the mobile agent, internal communication to this module is solved by a radio link (1.b) that connects the agent with the local network. En este caso, el enlace es del tipo RangeLan2 7510. Las rutinas del módulo de procesamiento que se ejecutan en el interior del Nomad200 se encargan de controlar la captura de imagen y el movimiento de la cabeza del agente. In this case, the link is the type RangeLAN2 7510. The processing module routines running inside the Nomad200 are responsible for controlling the image capture and the head movement of the agent. De cualquier forma, en estas dos misiones el consumo computacional es mínimo, pues en el control de la cabeza se realiza un simple intercambio de comandos con el exterior, y el control de imagen se reduce a su compresión y transmisión por el enlace radio. Either way, these two missions computational consumption is minimal, as the head control a simple exchange of commands with the outside, and the image control is reduced to its compression and transmission over the radio link is performed. De esta manera, la práctica totalidad de las funciones del sistema de reconocimiento se ejecutan en el Pentium PC externo conectado a la red local, que recibirá del agente las imágenes, llevará a cabo las fases de detección de objetos, caracterización y representación, y, con ayuda del módulo de usuario, la de clasificación. Thus, the entire practice of the functions of the recognition system running on the Pentium external PC connected to the local network, to receive the agent images, carry out the phases of object detection, characterization and representation, and, using the user module, the classification. Como datos de salida, este PC externo solicitará al residente en el agente que dirija las cámaras hacía una determinada región del campo visual. As output data, this external PC will ask the resident agent to direct the cameras to a specific region of the visual field.
Para la captura de imágenes se emplea una cabeza que consta de dos cámaras KP-D50 (1.c), lo que permite implementar un sistema de visión binocular. For imaging a head comprising two cameras KP-D50 (1.c) it is used, which allows to implement a system of binocular vision. Estas dos cámaras obtienen imágenes en color o niveles de gris y formato NTSC/PAL del entorno usando un sistema entrelazado de 2:1. These two cameras take images in color or gray levels and NTSC / PAL format environment using an interlace system of 2: 1. La transmisión de imágenes estéreo en tiempo real por un enlace radio es un problema complejo que requiere, en muchas ocasiones, un enorme ancho de banda. Transmitting stereo images in real time by a radio link is a complex problem that requires, in many cases, a huge bandwidth.
En el sistema implementado las imágenes recogidas por ambas cámaras presentan una resolución variable en el espacio, de manera que la resolución de la escena se mantiene al máximo sólo en una zona denominada fóvea, a partir de la cual la resolución baja progresivamente formando los denominados anillos foveales. In the system implemented images collected by the two cameras have a variable resolution in space, so that the resolution of the scene is kept to a maximum only in an area called the fovea, from which the low resolution progressively forming the so-called rings foveal. Si se mantiene la zona de máxima resolución en el área de atención, no se percibe disminución en la cantidad de información óptima, reduciéndose los requisitos de memoria y la carga computacional necesaria para procesar dichas imágenes. If the area of ​​maximum resolution in the area of ​​care is maintained, no decrease is seen in the optimum amount of information, reducing memory requirements and computational load required to process these images.
Las cámaras se sustentan en una cabeza Zebra Pan/Tilt/Vergence Head (1.d) que presenta tres grados de libertad (giros horizontal, vertical y vergencia), controlada mediante un circuito de control ( Zebra Controller (1.e)) que se conecta a través de un puerto serie con el módulo de procesamiento residente en el propio agente autónomo. The cameras are supported by a head Zebra Pan / Tilt / Vergence Head (1.d) having three degrees of freedom (horizontal, vertical and vergence turns), controlled by a control circuit (Zebra Controller (1.e)) that it is connected through a serial port module resident in the autonomous agent processing itself. Las imágenes captadas por ambas cámaras se reciben usando una tarjeta capturadora/digitalizadora de imagen modelo TMS320C44 (1.f), igualmente conectada con el módulo de procesamiento residente en el agente móvil. The images captured by both cameras are received using a frame grabber / digitizer equally connected to the processing module resident on the mobile agent model TMS320C44 image (1.f). Este dispositivo se encargará únicamente de capturar las imágenes a una velocidad lo más constante posible, suministrando éstas al módulo de procesamiento cuando éste lo desee. This device is responsible only for capturing images at a speed as constant as possible, providing them to the processing module when it wishes. La conexión entre la tarjeta capturadora/digitalizadora y el módulo de procesamiento presenta el problema de establecerse a través de un bus que siempre presentará un ancho de banda pequeño para la transmisión de imágenes estéreo. The connection between the frame grabber / digitizer and processing module presents the problem established through a bus always present a small bandwidth for transmitting stereo images.
Dadas las limitaciones propias al sistema, se trabaja con imágenes de 256x256 píxeles con 256 niveles de gris, que ocuparían, a resolución uniforme, 65 Kbytes cada una. Given the inherent system limitations, working with images of 256x256 pixels with 256 gray levels, which would take at uniform resolution, 65 Kbytes each. Para alcanzar una calidad de vídeo de al menos 8 imágenes por segundo, el ancho de banda del enlace debería ser de 520 Mbytes/s, disponiéndose, con el equipo descrito, de tan sólo un 13'56% de dicho valor. To achieve video quality of at least 8 frames per second, the bandwidth of the link should be 520 Mbytes / s, provided, with the mentioned equipment of only 13.56% of that value. Si las imágenes son de resolución variable (fóvea centrada de 64x64 píxeles y 2 anillos de resolución), cada imagen se reduce a 10240 bytes. If the images are of variable resolution (fovea centered 64x64 pixels resolution and 2 rings), each image is reduced to 10240 bytes. De esta forma, la tarjeta capturadora/digitalizadora transmite hasta 100 imágenes por segundo al módulo de procesamiento interno al agente autónomo. Thus, the capture / digitizer card transmits up to 100 images per second internal processing module to autonomous agent. Si se reduce la captura a 9 imágenes por segundo en estéreo, el flujo de información supondría tan sólo 90 Kbytes/s. If the catch to 9 frames per second in stereo is reduced, the flow of information would only 90 Kbytes / s. Aunque podría parecer que el trabajar con una imagen de resolución variable puede resultar incómodo para el observador interesado en áreas periféricas de la imagen, el desarrollo de fóveas móviles ha permitido solventar dicho problema. While it might seem that working with a variable image resolution can be uncomfortable for the viewer interested in peripheral areas of the image, the development of mobile foveae has allowed solve the problem. Asimismo, se dispone de algoritmos de procesado de imágenes multirresolución basados en estructuras jerárquicas que trabajan a velocidades mucho mayores que sus equivalentes en imagen de resolución uniforme con niveles de calidad muy similares. Additional features image processing algorithms based multiresolution hierarchical structures that work at speeds much higher than their counterparts in uniform image with very similar quality levels of resolution.
Finalmente, el usuario podrá supervisar o simplemente seguir el funcionamiento del agente autónomo a través de un módulo de usuario residente en un PC externo al sistema (2.b), y conectado por red al módulo de procesamiento. Finally, the user can monitor or simply monitor the operation of the autonomous agent through a user module resident in an external computer system (2.b) and connected by network processing module. Adicionalmente, este módulo de usuario cuenta con un equipo de apoyo consistente en un guante y un casco de realidad virtual. In addition, this user module has a support team consisting of a glove and a virtual reality helmet.
El guante empleado (2.c) es el 5^{th} Glove desarrollado por 5DT (Fith Dimension Technologies ), que dispone de cinco sensores de flexión para los dedos de la mano y de un detector de posición del guante con dos grados de libertad (inclinación y rotación). The glove employee (2.c) is 5 th ^ {} Glove developed by 5DT (Fith Dimension Technologies) has five sensors for bending fingers and a position detector glove with two degrees of freedom (tilt and rotation). La misión del guante es ubicar la fóvea móvil sobre el objeto de interés. Glove mission is to locate the mobile fovea on the object of interest. Por otro lado, el casco de realidad virtual es el I-Glasses de Virtual IO (2.d), que se compone de unas gafas, encargadas de la visión, y de un detector de posición, que transmite al PC los distintos movimientos de la cabeza. On the other hand, the virtual reality helmet is the I-Glasses Virtual IO (2.d), which consists of a pair of glasses, responsible for vision, and a position detector, which transmits the various movements PC head. Con el casco se controla la posición de las cámaras. With the helmet camera position is controlled.
Cada una de las imágenes que finalmente llegan al extremo usuario será analizada, para así detectar, caracterizar e identificar cada uno de los objetos presentes en el campo visual. Each of the images that come finally to end user will be analyzed, to thereby detect, characterize and identify each of the objects present in the visual field. Para acelerar el proceso de detección de entidades que se distinguen del fondo, la imagen de resolución variable recibida se segmenta empleando una estructura tridimensional denominada polígono foveal. To accelerate the detection process entities that are distinguishable from background, the image received variable resolution is segmented using a three-dimensional structure called foveal polygon. Los sucesivos niveles de esta estructura presentan porciones mayores de la imagen a una resolución progresivamente menor. Successive levels of this structure have larger portions of the image at a progressively lower resolution. El algoritmo de detección de objetos trabaja de forma descendente y se basa tanto en criterios descriptivos como proposicionales. The detection algorithm works objects downwardly and is based both on descriptive criteria as propositional. El sistema de detección implementado da buenos resultados tanto en imágenes artificiales como con imágenes reales siempre y cuando el fondo sea relativamente homogéneo y es capaz de trabajar con figuras planas y volúmenes, concentrando los recursos del sistema sobre el objeto de estudio. The detection system implemented gives good results both as artificial images with real images and always when the background is relatively homogeneous and is able to work with flat figures and volumes, focusing system resources on the object of study. Los tiempos de detección son, además, inferiores al segundo, lo cual permite actualizar el conjunto de posibles objetos a analizar con una frecuencia relativamente elevada. Detection times are also lower than the second, which allows updating the set of possible objects to be scanned with a relatively high frequency.
Una vez detectados los posibles objetos, éstos se caracterizan mediante el cálculo adaptativo de la función de curvatura asociada a su contorno. Once detected possible objects, these are characterized by adaptive computation of curvature function associated with its contour. El hecho de que la curvatura se calcule de forma adaptativa permite eliminar gran parte del ruido de cuantificación sin pérdida de puntos significativos. The fact that the curvature is calculated adaptively eliminates much of the quantization noise without loss of significant points. De forma básica, el método de cálculo de la curvatura de cada punto del contorno compara iterativamente la distancia euclídea entre el punto en estudio y el ubicado k puntos delante, d(i,i+k) , con la distancia en píxeles entre ambos puntos. In basic form, the method of calculating the curvature of each contour point iteratively compares the Euclidean distance between the point under study and located k points ahead, d (i, i + k), with the distance in pixels between the two points . Si ambas distancias son muy similares se aumenta k , si son muy distintas se decrementa k . If the distances are very similar k is increased, if they are very different decrements k. Una vez determinado el k asociado a cada punto, se usa una tabla de pendiente- k para obtener la curvatura de cada punto. After determining the k associated with each point, a table of slope - k is used to obtain the curvature of each point. La simplicidad del método permite que su tiempo de procesado sea de tan sólo 4-5 milisegundos, consumiendo escasos recursos del módulo de procesamiento. The simplicity of the method allows the processing time is just 5.4 milliseconds, consuming scarce resources processing module.
Para comprimir la información contenida en una función de curvatura se proyecta la transformada de Fourier (DFT) de dicha función sobre una base previamente calculada del conjunto de transformadas de Fourier de funciones de curvatura (CFDFTs). To compress the information in a curvature function Fourier transform (DFT) of said function based on a previously calculated set of Fourier transforms of functions curvature (CFDFTs) projects. A efectos de construir la base del subespacio de las CFDFTs se empleó un conjunto de tan sólo 27 objetos. In order to build the base of the subspace of CFDFTs a set of only 27 items it was used. Tras extraer las DFT de sus funciones de curvatura, éstas se agruparon mediante un algoritmo c -medias donde el número de clases c varió desde 2 hasta 15. Cada uno de los prototipos obtenidos por este algoritmo será uno de los elementos de la base buscada. After removing the DFT functions of curvature, which clustered together by an algorithm c -medias where the number of classes c ranged from 2 to 15. Each of the prototypes obtained by this algorithm will be one of the elements of the desired base. Mientras c fue inferior a 10, los ángulos medios entre vectores presentaron variaciones de aproximadamente 0.0245°. While c was less than 10, the average angles between vectors showed variations of about 0.0245 °. En la transición de 10 a 11 el ángulo medio entre vectores disminuyó en 3.63°. In the transition from 10 to 11 the average angle between vectors decreased 3.63 °. En vista de este decremento se optó por una base de 10 elementos. In view of this decrease it was chosen base 10 elements. Si bien el ángulo medio entre vectores está más cerca de 60° que de 90°, los resultados posteriores prueban que el método funciona correctamente. While the average angle between vectors is closer to 60 ° to 90 °, subsequent results prove that the method works correctly.
Una vez se dispone de la base de 10 elementos descrita, para obtener el vector de características de un objeto cualquiera sólo son necesarios tres pasos: a) cálculo de su función de curvatura, b) cálculo de su CFDFT, yc) proyección de dicha CFDFT sobre los vectores de la base. Once it has the base 10 elements described to obtain the feature vector of any object three steps only: a) calculation of the curvature function, b) calculating the CFDFT, c) projection of said CFDFT on basis vectors. Este proceso lleva un tiempo aproximado de 0.07 s por objeto. This process takes a time of approximately 0.07 s purpose. Sobre la base de 10 elementos propuesta, cada vector de características ocupa únicamente 40 bytes, dado que son necesarios 4 bytes para representar cada número real en punto flotante. Based on 10 elements proposed, each feature vector occupies only 40 bytes, 4 bytes are required because to represent each real floating point number.
Finalmente, los resultados de clasificación en pruebas no supervisadas proporcionan errores inferiores al 10%, aún trabajando con espacios muestrales cuyos objetos no formaron parte de los seleccionados para construir la base. Finally, the results of unsupervised classification errors tests provide less than 10%, still working with sample spaces whose objects were not part of the selected to build the base. Estos datos permiten que el agente autónomo pueda resolver sin supervisión la mayoría de las situaciones que se le presentan, y sólo requiere la intervención del usuario para resolver determinadas situaciones o nombrar los distintos tipos de objetos. These data allow the autonomous agent can resolve unsupervised most of the situations that are presented, and only requires user intervention to resolve certain situations or name the different types of objects. Todo ello posibilita que la exploración del entorno sea rápida y prácticamente autónoma. All this enables the exploration of the environment is quick and virtually autonomous.
1. Sistema de reconocimiento automático de objetos por proyección en una base algebraica y controlado remotamente por realidad virtual, caracterizado porque consta de: 1. System for automatic recognition of objects by projection in an algebraic basis and remotely controlled virtual reality, characterized by comprising:
un módulo de captura de imagen, que se encarga de capturar las imágenes del entorno y enviarlas a a module image capture, which is responsible for capturing images of the environment and send them to
un módulo de procesamiento, dividido en dos submódulos internamente conectados por un enlace radio, lo que permite la autonomía del agente, así como el disponer de una gran capacidad computacional, de modo que una vez detectados los posibles objetos presentes en el entorno, esta información es transmitida a a processing module, divided into two submodules internally connected by a radio link, allowing the autonomy of the agent as well as have a large processing capacity, so that once detected possible objects in the environment, this information it is transmitted
un módulo de usuario, en el cual se clasifican las entidades detectadas, que incorpora un equipo de realidad virtual que consta de gafas y guante para permitir al usuario que el control de la exploración sea lo más flexible e interactivo posible, ya través del cual el usuario envía sus órdenes al a user module, in which the detected entities are classified incorporating a virtual reality equipment consisting of glasses and glove to allow the user to control the scan is as flexible and interactive as possible, and through which the user sends his orders to
módulo de control de movimiento, que mueve al agente autónomo por el entorno y permite que sus cámaras se dirijan al punto seleccionado del mismo. motion control module, which moves the autonomous agent for the environment and allows cameras are directed to the selected point thereof.
2. Sistema de reconocimiento automático de objetos por proyección en una base algebraica y controlado remotamente por realidad virtual, según reivindicación anterior, caracterizado porque el proceso de reconocimiento de objetos se subdivide en: 2. System for automatic recognition of objects by projection in an algebraic basis and remotely controlled by virtual reality, according to previous claim, wherein the object recognition process is subdivided into:
una fase de detección de objetos, en la que se detectan sobre la imagen matricial de entrada las entidades de nivel de gris o color homogéneo; a phase of detecting objects, which are detected on the matrix input image entities or gray level homogeneous color;
una fase de caracterización, en la que se extrae de forma adaptativa la función de curvatura asociada al contorno de los objetos detectados; a phase characterization, which is extracted adaptively curvature function associated with the contour of the detected objects;
una fase de representación, en la cual el objeto se representa mediante un vector de características cuyas componentes resultan del producto de la Transformada de Fourier de la función de curvatura extraída en b) por un conjunto de vectores previamente calculados y que representan una pseudo-base del conjunto de Transformadas de Fourier de las funciones de curvatura del conjunto de objetos; a phase representation, in which the object is represented by a feature vector whose components are the product of the Fourier transform of curvature function extracted in b) by a set of previously calculated vectors and represent a pseudo-base the set of Fourier transforms of the functions of curvature of the set of objects;
una fase de clasificación, en la que el vector de características permite identificar el objeto o, si el agente desconoce la naturaleza de éste, proceder a su identificación por el usuario. one classification stage in which the feature vector to identify the object or, if the agent ignores the nature of it, proceed to user identification.
3. Sistema de reconocimiento automático de objetos por proyección en una base algebraica y controlado remotamente por realidad virtual, según reivindicaciones anteriores, caracterizado porque el proceso de representación de objetos se subdivide en: 3. System for automatic recognition of objects by projection in an algebraic basis and remotely controlled by virtual reality, according to previous claims, characterized in that the process object representation is subdivided into:
Cálculo previo al proceso de reconocimiento de una base del conjunto de Transformadas de Fourier de las funciones de curvatura de los objetos, que se lleva a cabo sólo una vez y de manera externa al proceso de reconocimiento, no siendo necesario que en el proceso de construcción de la base entren todos los posibles objetos que posteriormente se reconocerán, aunque si es necesario que los empleados sean bastante significativos. precalculation recognition process of a base set of Fourier transforms of the functions of curvature of the object, which is performed only once and external recognition process way not be necessary in the construction process base all possible objects come later be recognized, even if it is necessary for employees to be quite significant.
Obtención de la Transformada de Fourier de la función de curvatura del objeto. Obtaining the Fourier Transform of the function of curvature of the object.
Proyección de la Transformada de Fourier obtenida en b) sobre la base calculada en a), lo que origina un vector del mismo tamaño que la base, que será el vector de características empleado en el proceso de clasificación. Projection of the Fourier transform obtained in b) calculated based on a), resulting in a vector of the same size as the base, which is the feature vector used in the classification process.
ES200202362A 2002-10-15 2002-10-15 Automatic object recognition system by projection on an algebraic base and remotely controlled by virtual reality. Active ES2214115B1 (en)
ES200202362A ES2214115B1 (en) 2002-10-15 2002-10-15 Automatic object recognition system by projection on an algebraic base and remotely controlled by virtual reality.
ES2214115A1 true ES2214115A1 (en) 2004-09-01
ES2214115B1 ES2214115B1 (en) 2005-07-16
ID=32921734
ES200202362A Active ES2214115B1 (en) 2002-10-15 2002-10-15 Automatic object recognition system by projection on an algebraic base and remotely controlled by virtual reality.
ES (1) ES2214115B1 (en)
CN105334692A (en) * 2015-09-28 2016-02-17 联想(北京)有限公司 An information processing method and an electronic device
WO1994016406A1 (en) * 1993-01-11 1994-07-21 Ritchey Kurtis J Improved panoramic image based virtual reality/telepresence audio-visual system and method
JPH08112449A (en) * 1994-10-19 1996-05-07 Casio Comput Co Ltd Image control device
JPH1040381A (en) * 1996-07-22 1998-02-13 Kubota Corp Method for inspecting object and device therefor
2002-10-15 ES ES200202362A patent/ES2214115B1/en active Active
CN105334692B (en) * 2015-09-28 2018-06-29 联想(北京)有限公司 Information processing method and electronic equipment
ES2214115B1 (en) 2005-07-16
Yasin et al. 2016 A dual-source approach for 3d pose estimation from a single image
JP4332649B2 (en) 2009-09-16 Hand shape and posture recognition device, hand shape and posture recognition method, and recording medium storing a program for executing the method
US7212665B2 (en) 2007-05-01 Human pose estimation with data driven belief propagation
JP4644248B2 (en) 2011-03-02 Simultaneous positioning and mapping using multi-view feature descriptors
JP5016175B2 (en) 2012-09-05 Face image processing system
Chaumette 2014 Visual servoing
Blake et al. 2012 Active contours: the application of techniques from graphics, vision, control theory and statistics to visual tracking of shapes in motion
Gokturk et al. 2004 3D head tracking based on recognition and interpolation using a time-of-flight depth sensor
Bodor et al. 2007 Optimal camera placement for automated surveillance tasks
Schmidt et al. 2006 Kernel particle filter for real-time 3D body tracking in monocular color images
Zhao et al. 2005 An automatic face recognition system in the near infrared spectrum
2004-09-01 EC2A Search report published
Date of ref document: 20040901
2005-07-16 FG2A Definitive protection
Ref document number: 2214115B1

References: resolución 
 resolución 
 resolución 
 resolución 
 resolución 
 resolución 
 resolución 
 resolución 
 resolución 
 resolución