Source: http://www.sumobrain.com/patents/wipo/Panoramic-viewing-system-with-image/WO2015136138A1.html
Timestamp: 2019-12-06 16:15:23+00:00

Document:
PANORAMIC VIEWING SYSTEM WITH IMAGE CORRECTION IN REFUELLING AND SIMILAR OPERATIONS - ADARVE LOZANO, Alberto
PANORAMIC VIEWING SYSTEM WITH IMAGE CORRECTION IN REFUELLING AND SIMILAR OPERATIONS
WIPO Patent Application WO/2015/136138
The invention relates to a system for obtaining a continuous image of the environment of an operation such as that of in-flight refuelling, using a camera (8) (or two in the case of a redundant system being required, since the geometry of the invention permits this), based on a vertical positioning thereof and vertical focusing towards a composite lens (7), together with electronics for adaptation of the image obtained in order to map same in a horizontal rectangle (10). The electronics also include the implementation of a superresolution algorithm and a communications system for transmitting signals carrying the image information after the image resolution has been enhanced by means of the aforesaid method, all the above being included in a mechanical structure of cylinder form (3), which allows the positioning of the elements that form part of the invention in the appropriate relative positions.
ADARVE LOZANO, Alberto (Rio Sella, 31 B, Madrid, 28023, ES)
ES2015/070172
G06T3/00; B64D37/14; B64D39/00; G06T5/50; H04N5/232
US5691765A 1997-11-25
US6831680B1 2004-12-14
US6201574B1 2001-03-13
MUÑOZ GRACIA, Antonio (Miguel Angel 16, Madrid, 28010, ES)
Ia.- Sistema de visión panorámica con corrección de imagen, que estando ideada para obtener una visión continua de! entorno, por ejemplo en operaciones de repostaje y en operaciones críticas, caracterizado porque comprende al menos una cámara (8) dispuesta de forma vertical, enfocando en forma perpendicular a la dirección de vuelo de la correspondiente aeronave (1), en combinación con una lente (7) proyectando la imagen sobre un sensor, obteniendo una imagen en lodo el entorno con un campo de visión vertical determinado por la forma de ia lente (7), en donde la visión periférica es susceptible de alcanzar hasta los 360° alrededor dei propio sistema; habiéndose previsto una electrónica de mapeado de la imagen obtenida a través de ia lente, con el fin de eliminar cualquier distorsión y mejorar a la vez su resolución y calidad.
2a.--Sistema de visión panorámica con corrección de Imagen, según reivindicación Ia, caracterizado porque los elementos que participan en el conjunto de! sistema, están dispuestos en el interior de un cuerpo cilindrico (3),
3a - Sistema de visión panorámica con correcció de imagen, según reivindicación 1a, caracterizado porque comprende dos cámaras (6), Iguales pero orientadas en sentidos contrarios, con sus correspondientes lentes (7) alojadas axíaimente en el interior del cuerpo cilindrico (3), complementándose con la electrónica de transmisión de las señales de las cámaras (6).
4a.- Sistema de visión panorámica con corrección de imagen, según reivindicación 1a, caracterizado porque ia lente (7) de ia cámara (8) está formada por un espejo de forma cónica y una iente adiciona! para enfocar la imagen obtenida sobre el sensor de ia cámara.
58.- Sistema de visión panorámica con corrección de imagen, según reivindicación 1a, caracterizado porque ia lente (7) de ia cámara (8) está formada por un espejo de forma parabólica, complementándose con una iente adiciona! para enfocar la imagen obtenida sobre el sensor de la cámara.
HOJA DE REEMPLAZO (REGLA 26) 8s.-- Sistema de visión panorámica con corrección de imagen, según reivindicación Ia, caracterizado porque la lente (7) de la cámara (6) está formada por un espejo de formada por un espejo de forma hiperbólica, complementándose con una lente adicional para enfocar la imagen obtenida sobre e! sensor de la cámara.
7a.- Sistema de visión panorámica con corrección de imagen, según reivindicación 1a, caracterizado porque la lente (7) de la cámara (6) está formada por un espejo en forma de paraboloide, complementándose con una lente adicional para enfocar la imagen obtenida sobre el sensor de la cámara.
88.- Sistema de visión panorámica con corrección de imagen, según reivindicación Ia, caracterizado porque la lente (7) de la cámara (6) está formada por un espejo de forma esférica, complementándose con una lente adiciona! para enfocar ja imagen obtenida sobre ei sensor de la cámara.
9a.- Sistema de visión panorámica con corrección d imagen, según reivindicación Ia, caracterizado porque la lente (7) de la cámara (6) es una lente compuesta, de gran angular.
10a.- Sistema de visión panorámica con corrección de imagen, según reivindicación 1a, caracterizado porque la transmisión de la señal por parte del sistema es de tipo óptico por fibra.
11a'.- Sistema de visión panorámica con corrección de imagen, según reivindicación 1a, caracterizado porque la electrónica se complementa con un sub-sistema de mejora de la resolución de la imagen obtenida por medio de un circuito programabie FPGA.
12a.~ Sistema de visión panorámica con corrección d imagen, según reivindicación 1a, caracterizado porque los algoritmos a emplear se impiementan en una electrónica basada en circuitos programados (FPGAS).
13a.- Sistema de visión panorámica con corrección de imagen, según reivindicación 1a, caracterizado porque ios algoritmos a emplear se impiementan mediante software y ejecutados mediante procesadores previstos al efecto.
HOJA DE REEMPLAZO (REGLA 26) 14a.- Sistema de visión panorámica con corrección de imagen, según reivindicación 1a, caracterizado porque ei sistema es susceptible de incluir mas de dos cámaras (8).
15a.- Sistema de visión panorámica con corrección de imagen, según reivindicación 1a, caracterizado porque una de las cámaras (8) es de visión y color normal mientras que ía otra es de visión en el espectro fuera del visible por ei ojo humano.
16a.- Sistema de visión panorámica con corrección de imagen, según reivindicación Ia, caracterizado porque ei mapeado de ia imagen se realiza mediante un procesador complementado con un ¡software especifico.
17a.- Sistema de visión panorámica con corrección de imagen, según reivindicación 1a, caracterizado porque el cuerpo cilindrico (3) es susceptible de rotar a través de un eje vertical, orientando ei sistema en ei piano horizontal paralelo al avión.
SISTE ' MA DE V ÓH PANORAMICA CON CORRECCIÓN DE IMAGEN EN
OPERACIONES DE REPOSTAJE Y SIMILARES
D E S C I P C S Ó N
OBJETO DE LA INVENCIÓ
La presente invención se refiere a un sistema de visión panorámica con corrección de imagen, previsto para la obtención de una visión continua dei entorno en, por ejemplo, operaciones de repostaje y en operaciones criticas.
Ei objeto de la invención es conseguir una reducción del número de cámaras necesarias para la visión panorámica, ai tiempo de mantener una imagen global sin discontinuidades y con posibilidad de redundancia, necesaria e tocias aquellas situaciones en ias que se pretende monitorlzar operaciones con un cierto nivel de c iticidad, todo ello en orden a facilitar la operación de supervisión.
ANTECEDENTES DE LA. INVENCIÓN
En algunas aeronaves que realizan repostaje en vuelo, o en otros puntos con necesidades estratégicas similares, es necesario disponer de una imagen que permita obtener información de todos ios alrededores del sistema mediante el empleo de cámaras. Dichas operaciones de repostaje se pueden llevar a cabo mediante mangueras y cestas o mediante el uso de un Boom o dispositivo de suministro de combustible de alto caudal.
El número de aeronaves involucradas en un repostaje puede ser múltiple y las mismas pueden repostar en distintos puntos del avión tanquero Incluso al mismo tiempo. Es por lo tanto muy deseable tener una imagen generaf del escenario de ias operaciones, que puede ayudar enormemente a evitar colisiones y a coordinar dichas operaciones de una forma ordenada y controlada.
HOJA DE REEMPLAZO (REGLA 26) Generalmente se emplean varias cámaras para obtener la imagen panorámica deseada. Las imágenes procedentes de las mismas se unen en uno o más monitores para proporcionar la imagen global indicada.
Cuando las cámaras empleadas son de aito coste, ei reducir este número implica una reducción importante del coste del sistema completo y la utilización de una sola cámara para obtener una imagen global del entorno significa una reducción significativa a valorar.
Otro factor de considerable relevancia, es la obtención una imagen So más continua posible y sin distorsiones apreciables que permita, con un solo vistazo, ver la posición de tocios ios aviones que en ese momento se puedan encontrar en el escenarlo de la operación.
En la actualidad, los sistemas que generan una imagen del entorno de la operación u operaciones de repostaje están basados en el empleo de varias cámaras, generalmente tres, con unos ángulos de visión de alrededor de ios ochenta grados sexagesimales en ei plano horizontal, junto con ei ángulo correspondiente en el piano vertical de acuerdo a su relación de aspecto, que permiten obtener sendas Imágenes dei entorno y componerlas bien electrónicamente o geométricamente en correspondientes monitor o monitores, generalmente también tres, que proporcionan la visión general cié conjunto de Sos alrededores de la zona de repóstale.
Las imágenes procedentes de dichas cámaras adolecen del defecto de no proporcionar imágenes continuas del entorno debido a que las mismas están colocadas en puntos diferentes cleí espacio. El resultado es que las imágenes contienen zonas duplicadas, entre otros defectos, dando lugar a la aparición de partes de los aviones implicados en ei repostaje que se repiten en dos monitores a la vez. Además, en ciertas ocasiones ia zona importante de la operación cae en aquellas zonas de intersección entre las visiones de cámaras adyacentes, lo que lleva a un esfuerzo y una Incomodidad por parte de! operador o supervisor de la operación que tiene que componer mentalmente las imágenes d dos monitores adyacentes para tener un imagen completa de algunos de ios aviones a repostar o de la zona de Interés
Un sistema como el anterior se describe dentro de la patente US 201 10147529 Al .
HOJA DE REEMPLAZO (REGLA 26) También las cámaras empleadas son duplicadas con el fin de tener una imagen de día y otra de noche que permitan las operaciones de repostaje durante ambos intervalos de tiempo. Todo esto da lugar a un sistema de seis cámaras implicadas en ía obtención de ia imagen de interés. Igualmente, y debido a la sensibilidad de ías cámaras nocturnas, es necesario el empleo de iluminadores, no visibles con el ojo desnudo, para obtener los fotones suficientes que permitan, durante la noche, disponer de imágenes de suficiente calidad.
Todo lo anterior termina, poco a poco con una tendencia a emplear cámaras de mayor sensibilidad e incluso con un funcionamiento en rangos del espectro de iluminación que estén fuera de aquellos fácilmente aícanzables para el ciudadano de a pie puesto que se trata de operaciones generalmente de aiío valor táctico y de carácter militar.
En definitiva todo apunta al empleo de cámaras de alto precio, cuyo número es de alto interés poder reducir al tiempo que poder mejorar la calidad, uniformidad y continuidad de la imaaen obtenidas.
Ei sistema de ia invención está previsto para -utilizar una o dos únicas cámaras para ia supervisión alrededor de toda ia aeronave, de manera que ei empleo de una de ias cámaras es suficiente para obtener una imagen panorámica de todo ei contorno, permitiendo emplear dos cámaras por redundancia, ya que esta es necesaria en ciertas operaciones para garantizar que un failo simple no implique la suspensión de la operación, viéndose al mismo tiempo aumentada la fiabilídad del sistema.
La reducció del número de cámaras a una sola, lleva aparejada una reducción en ia resolución, en número total de pixe!es ; de la Imagen global de entorno. Es más, ei empleo de una cámara para obtener una imagen panorámica alrededor de nuestro punto de referencia implica no sólo repartir ios pixeles del sensor de la misma entre toda ia zona a supervisar sino que además la forma del sensor, por lo general rectangular, implica un
HOJA DE REEMPLAZO (REGLA 26) desperdicio adiciona! de píxeíes debido a que la imagen proyectada por nuestra lente es circular. También la zona central de este círculo, tampoco puede ser aprovechada., puesto que refleja ía imagen de ia propia cámara utilizada y no es parte de! entorno de interés. Todo lo anterior implica una reducción considerable de ia resolución media de nuestra ¡magen que debe y puede ser compensada como se explicará a continuación y que forma parte del objeto de esta invención.
E! sistema básico propuesto consta una cámara en disposición vertícaí aunque en su ímpíementacíón preferida se emplean dos cámaras para proporcionar redundancia ai sistema porque ia geometría de la invención así lo permite.
Las dos cámaras se disponen en posición vertical aunque en sentidos diferentes ambas apuntando a sendos lacios junto con el empleo de dos lentes que generan una vista de 360 grados alrededor del eje de las mismas.
Una vez obtenida la imagen periférica habrá que compensar ia deformación introducida por todas las lentes. Esto se realiza mediante un circuito fpga programado a ese fin. de manera que a partir de los valores de los píxeles obtenidos genera mediante un algoritmo de transformación geométrica la imagen rectangular del entorno que se requiere a partir de la corona circular de origen.
Finalmente se obtiene una imagen rectangular de la panorámica circundante. A ésta habrá que someterla a un algoritmo de super-résoiución que mejore ia calidad de ías imágenes obtenidas.
Consecuentemente, y considerando el limitado número de patrones diferentes que pueden circundar la periferia de una aeronave, procedemos a reconocer los aviones circundantes y demás elementos de interés como las cestas, mangueras y el boom.
Todo lo anterior nos permitirá generar un conjunto de objetos virtuales, mediante ía síntesis gráfica de los reales reconocidos en ia fase anterior, que se colocarán en un escenario vlrtuaí como si de un video juego se tratase con ia particularidad de que corresponderá a una realidad y que sin embargo nos dará la facilidad de poder ser observada desde puntos
HOJA DE REEMPLAZO (REGLA 26) adicionales a aquellos en ios que las cámaras estén ubicadas.
Podremos girar ia imagen para observaría desde punios que permitan fácilmente determinar cualquier situación de colisión con otras aeronaves. Y asi tener una vista de situación global que contemplará observaciones completas y con una menor carga de trabajo con respecto a aquellas proporcionadas por las cámaras ubicadas en el fuselaje.
Concretamente, el sistema de la invención permite obtener una imagen de calidad, continua y sin duplicidades de fragmentos de ia misma, de hasta 360° alrededor dei propio sistema, permitiendo conocer el estado-dé ocupación dei espacio que circunda a un avión que realiza operaciones de repostaje., con el fin de evitar colisiones entre las aeronaves y equipos involucradas en dichas operaciones asi como conseguir una mejor coordinación de tales operaciones.
En lo que se refiere al montaje del sistema, el mismo ira situado en la parte inferior central del avión tanque, es decir desde el cual se realiza eí repostaje, comprendiendo las siguientes partes fundamentales:
1 .- Una caja estructural que soporta y contiene todos ios elementos que conforman el resto del sistema al tiempo que los mantiene en las posiciones adecuadas necesarias para obtener las imágenes que se desean mientras confiere ai conjunto una forma con características adecuadas desde el punto de vista aerodinámico.
2 - Preferentemente, dicha caja tiene forma cilindrica, dispuesta vertlcaimente, co un soporte superior, mediante el cual el sistema es fijado ai avión gracias a un conjunto de tornillos dispuestos vertlcaimente a través sendas ranuras a tal efecto.
3, - Dentro de ia cala anterior se encuentra al menos una cámara dispuesta con su eje, es decir el eje perpendicular ai plano de su sensor, de forma vertical, o sea perpendicular ai plano dei avión tanquero que seria paralelo a la tierra. Sin pérdida de generalidad esta cámara puede estar mirando con sentido hacia abajo apuntando hacia una lente compuesta.
4. ~ La lente compuesta puede ser de tipo catadióptrlco con inclusión de un espejo circular
HOJA DE REEMPLAZO (REGLA 26) con forma adecuada entendiendo como tal paraboloide, hiperbólica, cónica o incluso esférica y de una lente adicional de enfoque que puede ser una simple lente biconvexa o compuesta. También la lente compuesta puede ser de tipo gran angular de ias denominadas ojo de pez, mediante la cual sobre el sensor se proyectan las imágenes que rodean a la cámara con un ángulo vertical de incluso 180 grados. Siendo en ambos casos el ángulo horizontal de 360 grados. En eí primer case las imágenes son reflejadas por un espejo colocado en frente de la cámara con alguna de las formas indicadas mientras que en el segundo caso, las imágenes se difractan en las lentes simples que componen la compuesta.
En ambos casos la imagen obtenida sobre él sensor tiene forma ele circulo o más concretamente de corona circular con una deformación inicial de ias imágenes proyectadas que se corrige en ios pasos que se describen a continuación, mediante un niapeo que se realiza de forma electrónica o por software.
5.- Una electrónica que se encarga de realizar el mapeado referido con el fin de convertir la corona circular Inicial en un rectángulo que muestre el espacio circundante de nuestro sistema. La electrónica puede estar basada en algoritmos que corran sobre un procesador o bien consistir en un hardware especifico. En nuestra ímpiementación preferida dicha funcionalidad se obtiene a partir de un circuito programado fpga de tipo Ki.ntex ai que llega la señal procedente del sensor de la cámara y a cuya salida gracias a las interconexiones realizadas dentro de la misma se obtiene directamente la imagen rectanguiar deseada. El resultado es un estiramiento que permite obtener imágenes sin la deformación Introducida por la lente.
8.- Una electrónica que se encarga de aumentar la resolución mediante técnicas de "super resolución" basadas en el hecho de que nuestro sistema está sometido a una constante vibración que permite obtener pixel.es· adicionales de cada punto de la imagen a lo largo de cuadros o trames consecutivos y que nos permite por ende aumentar e! número de estos píxeies por unidad de superficie, generando mediante ei uso de los recursos de la fpga una Imagen de mayor resolución que la obtenida por métodos tradicionales.
7.~ Una electrónica de transmisión y comunicaciones que se encarga de enviar ios
HOJA DE REEMPLAZO (REGLA 26) sucesivos cuadros de la imagen a un punto remoto en otro lugar del avión. Preferentemente esta electrónica dispone además de un convertidor a fibra óptica que permite enviar sin pérdidas apreciables, las imágenes obtenidas con la calidad de origen amén de las correspondientes adaptadores de tensión y proíecciones para suministrar energía a las distintas etapas de ia electrónica descrita.
Todo es sistema aquí descrito va dentro de la caja explicada en el punto 1 y sujeta en ia parte inferior del avión tanquero, desde donde tendrá visión de toda la periferia de este último durante el vuelo.
Para complementar la descripción que seguidamente se va a realizar y con objeto de ayudar a una mejor comprensión de las características del invento, de acuerdo con un ejemplo preferente de realización práctica del mismo, se acompaña como parte integrante de dicha descripción, un juego de dibujos en donde con carácter ilustrativo y no limitativo, se ha representado ío siguiente:
La figura 1.- Muestra el esquema correspondiente a un avión tanquero con la ubicación del sistema de la invención, en correspondencia con la parte inferior de dicho avión.
La figura 2.~ Muestra el esquema correspondiente ai sistema de la invención.
REALIZACIÓN PREFERENTE PE LA INVENCIÓN
Como se puede ver en las figuras referidas, el sistema de la Invención, aplicable a un avión tanquero (1 ), corno se representa en la figura 1 , está previsto para su ubicación en la parte inferior (2) de dicho avión.
Concretamente, el sistema comprende una cala de configuración cilindrica (3), de manera que dicho cuerpo cilindrico (3) está unido a otro cuerpo cilindrico (4) de menor longitud y
HOJA DE REEMPLAZO (REGLA 26) que esta afectado de orificios {5} a través de los cuales se lleva la fijación o agarre del conjunto del sistema a la parte inferior (2) del avión íanquero (i)., realizándose esa fijación mediante tomillos, remaches o elementos similares.
El conjunto referido constituye una plataforma giratoria que corresponde a la unión entre el propio sistema y el punto donde se desee instalar el mismo, tratándose de una pieza giratoria que permite al conjunto orientarse con un giro determinado.
En el cuerpo cilindrico (3) se establecen una o dos cámaras completas (6) que enfocan a direcciones opuestas, concretamente hacia respectivas lentes compuestas formadas por una lente de ajuste (7) y una lente bi~pseudoparabóííca (8) sobre la que se ha añadido un tratamiento de espejo que permite ver a las cámaras, reflejada en su superficie cualquier objeto (9) de su alrededor.
Ádícíonalmente, el sistema se complementa con la electrónica encargada de "mapear" la superficie de la lenta para, mediante una transformación geométrica, obtener un rectángulo de Imagen (10), siendo capaz de mejorar la resolución mediante un algoritmo dé super- resolución y de transmisión y comunicaciones, todas ellas junto con sus respectivas alimentaciones.
Previous Patent: VACUUM SYSTEM FOR SECURING ITEMS IN PRINTING MACHINES
Next Patent: VIEWING SYSTEM FOR IN-FLIGHT REFUELLING

References: resolución 
 resolución 
 resolución 
 resolución 
 resolución 
 resolución 
 resolución