Source: https://www.scribd.com/document/269526188/03-Algoritmo-GRASP-Para-Registrado-y-Fusion-de-Imagenes-Digitales
Timestamp: 2018-12-14 02:02:10+00:00

Document:
Uploaded by juan begazo
Algoritmo GRASP párrafo Registrado y fusión de Imágenes digitales
03 - Algoritmo GRASP Para Registrado y Fusión de I...
Algoritmo GRASP para registrado y fusión de imágenes digitales
José Miguel Puerta Callejón
su continuo apoyo y ánimo desde el comienzo del Proyecto y por enseñarme el valor del trabajo. Ingeniería en Informática I . dedicación y por sus muy valiosas y adecuadas indicaciones que han sido esenciales para realizar este proyecto. Finalmente. paciencia. la constancia y la perseverancia por encima de todo.Algoritmo GRASP para registrado y fusión de imágenes digitales AGRADECIMIENTOS Y DEDICATORIAS Quiero agradecer a mis tutores D. no quiero olvidarme de dar las gracias a mis amigos y compañeros con los que he compartido tantas vivencias y que siempre me han ayudado a lo largo de la carrera. por su disponibilidad. Jesús Martínez Gómez la oportunidad de trabajar con ellos. También quiero agradecer a toda mi familia y en concreto a mis padres y a mi hermano. José Miguel Puerta Callejón y D.
Algoritmo GRASP para registrado y fusión de imágenes digitales Ingeniería en Informática II .
de alto rango dinámico. puntos de vista o con diversos dispositivos. La captura de imágenes. Como realizaremos un registrado de imágenes basado en características será importante que la extracción de las mismas sea rigurosa y veraz para obtener una transformación precisa y que la apariencia de la composición resulte realista. comúnmente proporcionará un conjunto de instantáneas en diferentes sistemas de referencia. Este proceso se descompone en tres fases: captura. En este proyecto pretendemos resolver todas esas deficiencias de manera conjunta encontrando la mejor zona de unión entre las imágenes para que no se produzca un impacto visual negativo. basándose en las diferencias. Este proceso es de una complejidad elevada y se debe abordar mediante técnicas metaheurísticas.Algoritmo GRASP para registrado y fusión de imágenes digitales RESUMEN La fusión de imágenes es una de las áreas de más desarrollo dentro de la fotografía actual. Gracias a ella es posible crear imágenes de mayor resolución. Desarrollaremos un algoritmo GRASP que encontrará una línea recta por donde efectuar la fusión de las imágenes. La implementación de este proyecto se ha realizado en C++ sobre el entorno de programación VisualStudio 2010 y empleando la librería de visión por computador OpenCV y una implementación de SIFT en código abierto. Ingeniería en Informática III . Finalmente se ha diseñado un método para elegir cuál de las posibles mezclas es la más apropiada y se ha aplicado un filtro de suavizado para atenuar la transición entre las imágenes. panorámicas o eliminar ruido y personas u objetos indeseados. La última fase es la unión de las imágenes que se encarga de eliminar las distorsiones producidas por las etapas anteriores. debido a que fueron adquiridas en distintos momentos. los puntos característicos invariantes a escalado y rotación y los contornos existentes en las regiones de solapamiento entre las imágenes. El registrado de imágenes consistirá en encontrar la transformación óptima entre los pares de imágenes anteriores para conseguir que sus zonas comunes (aquéllas que representan la misma información) se superpongan. registrado y unión de las imágenes.
Algoritmo GRASP para registrado y fusión de imágenes digitales Ingeniería en Informática IV .
...................................................................................... 15 2...................................5 HOMOGRAFÍA: .......................................................................1 Componentes de un sistema de registrado de imágenes: . 26 2..................................................................................5.................................2 Propiedades: ............. 21 2.. 8 2.....................................4 EXTRACCIÓN DE CARACTERÍSTICAS:..................3 Clasificación:...........................9 GREEDY RANDOMIZED ADAPTIVE SEARCH PROCEDURE (GRASP): .........................................5....1 Algoritmos para la estimación de la homografía:.............. 13 2..................1.......................................................... V ÍNDICE DE FIGURAS ................... 39 2........................................... VII 1........... 40 2.........................................................................................................................................................1 PROCESAMIENTO ESPACIAL: ......................................4............................................1 Scale-Invariant Feature Transform (SIFT): ........................ 17 2..1...3 Transformaciones típicas: ........3.........................................2..3 REGISTRADO DE IMÁGENES: ...1 Características: ............ 31 2................... 23 2... ESTADO DE LA CUESTIÓN .............................................................. 32 2........................ 11 2........................................... INTRODUCCIÓN ............. 29 2...7 COMPOSICIÓN DE IMÁGENES:..............3. III ÍNDICE DE CONTENIDO ......4. 2 1......... 8 2.....................2 Algoritmo CANNY: .......... 7 2............................................................................. 28 2.........................................................................................................5...................... 1 1.............Algoritmo GRASP para registrado y fusión de imágenes digitales ÍNDICE DE CONTENIDO AGRADECIMIENTOS Y DEDICATORIAS .......................................................8 TÉCNICAS METAHEURÍSTICAS: ............ 9 2......3.........1 Umbralización: .......4 Operaciones Lógicas: ..........................................................3 Estimación robusta: .............................................................3 Transformada de Hough: .....................8......................... 12 2.................................................2 Funciones de costo: ..........I RESUMEN ..............................1...........4........1 OBJETIVOS DEL PROYECTO: ................................................................. 7 2...............................................................................................................................................................................................................1 Filtros espaciales de paso bajo: .............................................. 14 2..........................8............................................................ 39 2.................................................................................................. 37 2..8.....................................................................2 ENFOQUE: ..........2 FILTRADO DE LA IMAGEN: .................. 10 2.......1............................................... 3 2............................4 Clasificación:..........2 Pasos del registrado de imágenes: ..................................................3...... 34 2...................................3 Operaciones Aritméticas: .............................................................6 RANDOM SAMPLE CONSENSUS (RANSAC): ....... 41 Ingeniería en Informática V ......................... 33 2............................. 7 2.......................... 20 2................................2 Binarización: ............ ANTECEDENTES.............
...... 49 5................. 43 3.......................3 MATCHING Y CÁLCULO DE LA HOMOGRAFÍA: ......................1 ENTORNO Y LENGUAJE DE PROGRAMACIÓN: ...1 Función de evaluación: ...............................4..................2 Implementación de SIFT: ....................4 ALGORITMO GRASP: ... 87 Ingeniería en Informática VI ....................................... 48 4.................................................................................................................................... HIPÓTESIS DE TRABAJO ............................................................................... 66 5...................... CONCLUSIONES Y PROPUESTAS ...................................................................1 Microsoft Visual Studio: .............. 47 4...................................... 55 5.................................... 78 7......................6 FILTRO DE SUAVIZADO: .............................................................................................3 Fase de mejora: ............... 47 4................... 58 5........................9..........4.................................................... 64 5.................5 MÉTODO DE ELECCIÓN DE IMAGEN EN CADA ZONA DEL CORTE: ..................................... 53 5.....................................2 LIBRERÍAS Y HERRAMIENTAS: . 47 4.............2 Fase de mejora: ........................ 67 6........................................................................1..................................................................2................................................ METODOLOGÍA Y RESULTADOS.........9...............4 Cálculo de la complejidad del algoritmo GRASP: .. 83 ANEXO ............................ 45 4...............Algoritmo GRASP para registrado y fusión de imágenes digitales 2.......................................................................................... OBJETIVOS DEL PROYECTO ........2 Fase de construcción: .............................................. BIBLIOGRAFÍA ............................1 POSIBLES MEJORAS Y AMPLIACIONES: . 63 5.................................................... 47 4.... 65 5..........1 Fase de construcción: .......... 60 5............................................................................................... 64 5..................... 53 5....1......................4............................................. 48 4.7 RESULTADOS: .............................................................. 54 5.................. 77 6............2.......................................................................................................2 IMPLEMENTACIÓN: ...........2 C++: ....................... 42 2....1 Open Source Computer Vision (OpenCV): .................................................1 DISEÑO: ........................................................................4.........................................................
.... ......................................................................... 36 Figura 2........................ 49 Figura 4....... 26 Figura 2........ ............................ .......... ...................11: Ejemplo de transformación proyectiva...... ........ 20 Figura 2......................... ...........10: Ejemplo de transformación de perspectiva........................................................ .. ..... 19 Figura 2...... rotación......3: Modelo de cruce de rectas en un punto para seleccionar emparejamientos.............3: Resta de dos imágenes......... 2004)............. .... 27 Figura 2... 22 Figura 2..26: Sistema creado por Uyttendaele: (a) imágenes superpuestas (b) Regiones de diferencia (c) Gráfico de coincidencias de RODs...................... 4 Figura 2. ...................... ...... ... 56 Figura 5........ 36 Figura 2.. ... 17 Figura 2........27: Composición final a partir de un conjunto de 4 imágenes (Agarwala...12: Registrado de imágenes desde el enfoque de la búsqueda de correspondencias............................ 17 Figura 2.........................1: Estructura básica de OpenCV..18: Resultado de la detección de bordes mediante el algoritmo de Canny.........................................7: Esquema general de un sistema de RI................................29: Pseudocódigo de la fase de construcción de GRASP ........... ................................................................. 16 Figura 2.. 24 Figura 2........................... 54 Figura 5.......... 10 Figura 2.............6: Aplicación de un filtro de suavizado lineal......21: Representación polar de la recta........................................................ ............................ 24 Figura 2.... ..... 14 Figura 2.......................... 50 Figura 4.Algoritmo GRASP para registrado y fusión de imágenes digitales ÍNDICE DE FIGURAS Figura 1.............................................. 43 Figura 2.................. 44 Figura 4...1: Representación matricial de una imagen digital de MxN píxeles....................................................................................... 23 Figura 2. 9 Figura 2......................................3: RANSAC para calcular la transformación........... .......................... 28 Figura 2...................................................................... 8 Figura 2........... 28 Figura 2...... 28 Figura 2............ .............................. 37 Figura 2................. ................. ..... ..........8: Pasos del registrado de imágenes........ 12 Figura 2..13: Registrado de imágenes desde el enfoque de búsqueda de parámetros. .............................16: Detector de bordes de Canny......................................23: Homografía entre dos puntos..........................20: Células acumulador en el espacio parámetro....5: Esquema de funcionamiento de un filtro.......................................................... ..14: Ejemplo de puntos clave obtenidos por SIFT....2: Detección de puntos clave SIFT.....1: Diagrama de clases.... 25 Figura 2....................................... escalado y cizalla.................................... 50 Figura 5............................. ................... 7 Figura 2............25: Composición final obtenida al aplicar: (a) media (b) mediana (c) media ponderada (d) Vornoi..9: Ejemplos de traslación..........................15: Diferencia entre aplicar 1ª o 2ª derivada Gaussiana......................... 41 Figura 2.......................................................................2: Resultado de umbralización de una imagen............................ ............2: Modelo de rectas paralelas para seleccionar emparejamientos......19: Representación de la recta en el: (a) Plano xy..... 56 Ingeniería en Informática VII ...... ..................................... .........17: Modelos de los distintos tipos de bordes que pueden aparecer en las imágenes: ...........................4: Operaciones lógicas.....................24: Pseudocódigo para calcular N iterativamente...............................1: Tipos de ruido que se pueden producir en una imagen...........30: Pseudocódigo de la fase de mejora de GRASP.......................... (b) Espacio parámetro....... 15 Figura 2.......................................................... ...............22: Líneas obtenidas al aplicar la transformada de Hough......... 10 Figura 2........................... 34 Figura 2..28: Pseudocódigo del algoritmo GRASP..............................................
............. ........................ 60 Figura 5.............23: Ejecución de GRASP para 'edificio4' y la composición anterior.........26: Composición final......1: Comparación de resultados obtenidos por ASIFT y SIFT......................................10: Pseudocódigo de la fase de construcción de nuestro GRASP....32: Ejecución de GRASP para 'esii4' y la composición anterior...............................8: Pseudocódigo de nuestro algoritmo GRASP.24: Composición con 4 imágenes. 59 Figura 5.......... ............................. ...................11: Pseudocódigo de la fase de mejora de nuestro GRASP....... 75 Figura 5.................. .............................. 72 Figura 5......... 73 Figura 5....6: Composición final de Derecho..........27: Captura de imágenes para realizar la composición....4: Composición final del CorteIngles............................................................................................................................. 66 Figura 5.............. 72 Figura 5..........8: Composición final del Gimnasio................................... ....................... 73 Figura 5........Algoritmo GRASP para registrado y fusión de imágenes digitales Figura 5................14: Método de elección del corte.........18: Matching entre las imágenes 'edificio1' y 'edificio2'.....................33: Composición final......................................................... 58 Figura 5............................15: Resultado de aplicar el filtro de suavizado.....................................7: Puntos de contorno de cada una de las regiones....12: Opción 1 de elección de corte.............16: Captura de imágenes para la creación de una panorámica............................................................1: Captura de imágenes del Consistorio........... 88 Figura 0.... .............. .....................13: Opción 2 de elección de corte. 89 Figura 0. 61 Figura 5...................................... ..................3: Captura de imágenes del CorteIngles....................... 70 Figura 5... 89 Figura 0..........7: Captura de imágenes del Gimnasio........................ .......2: Composición final del Consistorio................................................9: Distancia de un punto P a la recta r............................17: Puntos SIFT de la imagen 'edificio1'.................... 75 Figura 5...................... 93 Ingeniería en Informática VIII ...................................22: Composición con 3 imágenes.................................................................. 67 Figura 5............. 90 Figura 0........................................ ...................29: Composición con 2 imágenes...... 70 Figura 5..... 75 Figura 5.... 69 Figura 5.......... .......... .......................25: Ejecución de GRASP para 'edificio5' y la composición anterior................. 59 Figura 5........ 90 Figura 0........ 74 Figura 5............................31: Composición con 3 imágenes...... .......... 88 Figura 0................ ................................20: Composición con 2 imágenes..... ..10: Composición final del Paraninfo... 71 Figura 5................................................... .... 76 Figura 6... 72 Figura 5.. ..... 92 Figura 0......................................9: Captura de imágenes del Paraninfo.................. 92 Figura 0.................. ..............28: Ejecución de GRASP para 'esii1' y 'esii2'........................ .................... 79 Figura 0............... 59 Figura 5.................... ...... ................................ 91 Figura 0...... ..6: Puntos SIFT de cada una de las regiones................................... 71 Figura 5..........5: Imagen diferencia de las regiones de solapamiento anteriores......................................................4: Ejemplo de zonas de superposición en 2 imágenes....... 64 Figura 5.................................. 74 Figura 5......... ... ......5: Captura de imágenes de Derecho........................................... ...... 76 Figura 5................. 66 Figura 5........................... .................................................................................30: Ejecución de GRASP para 'esii3' y la composición anterior......................... 65 Figura 5. 73 Figura 5............... ..........19: Ejecución de GRASP para 'edificio1' y 'edificio2'....................... ............................................................21: Ejecución de GRASP para 'edificio3' y la composición anterior....................................................... 63 Figura 5...............................................
Esta importancia se ha visto incrementada debido a la proliferación de nuevas tecnologías y medios de captura que han posibilitado que se haya extendido y facilitado su uso. Restauración: El objetivo es la eliminación o minimización de algún tipo de degradación en las imágenes. Incluye desenfoque. En este proyecto se abordarán aspectos concernientes al primer y cuarto grupo. Las áreas que abarca son muy extensas y por tanto. constituye uno de los sectores de investigación más activo. Se persigue mejorar el aspecto visual de una imagen compuesta por la fusión de varias imágenes. 3. 2. de preservar. han tenido una enorme importancia en campos como la publicidad. Hace tiempo que todas las formas de la información están sufriendo un proceso de digitalización y las imágenes están incluidas en este proceso. el periodismo. robótica e identificación de objetos. Debe ser suficiente para la toma de decisiones por parte del robot respecto a cómo actuar en función del entorno. de transmitir. preservando cierto nivel en la calidad de la imagen y una inteligibilidad aceptable. de las imágenes digitales para los propósitos de su corrección. Las aplicaciones del análisis de imágenes. incluyen la visión por ordenador. Desde que Joseph-Nicéphore Niépce tomara su primera fotografía en 1823. Realce de imágenes: Pretende acentuar ciertas partes de la imagen para un posterior análisis. Se suele utilizar para reducir el ancho de banda de un canal de comunicación cuando se transmite una imagen. Ejemplos típicos son el filtrado de ruido. se pueden clasificar básicamente en cuatro grandes grupos: 1. El origen del tratamiento digital de imágenes se sitúa a mediados de la década de los 60. contraste y detección de bordes. pero ha sufrido un desarrollo espectacular en los últimos años gracias a los avances en el desarrollo del hardware y de los algoritmos utilizados. y posiblemente lo más interesante. 4. perfeccionamiento y/o extracción de información. En la actualidad. Ingeniería en Informática 1 . como en el caso de panorámicas o para solventar problemas de ruido. INTRODUCCIÓN Las imágenes son esenciales en nuestra sociedad. las artes y las ciencias. con la ayuda de un computador. Codificación: Representa una imagen con la menor cantidad de bits posibles. Las imágenes digitales son fáciles de almacenar. El procesamiento de imágenes es la disciplina que trata la manipulación. etc. de reproducir. emborronamiento y corrección de la distorsión geométrica. aprovechando las posibilidades que ofrecen las técnicas de realce de imágenes.Algoritmo GRASP para registrado y fusión de imágenes digitales 1. de modificar o tratar. Análisis: Realiza una descripción simbólica de la imagen.
defensa. Esto se conoce en inglés como “Digital blending”.1 OBJETIVOS DEL PROYECTO: El objetivo principal del proyecto consiste en desarrollar un procedimiento que mejore la calidad. Debido a esta complejidad. la teledetección. etc. tendremos que elegir aquellas regiones de la imagen que eliminen el ruido y produzcan menos distorsión en la imagen. robótica. ya que representa un cambio de la intensidad de los niveles de gris y delimitan los límites de los objetos. esperando que sean mejores. Este problema es muy difícil de resolver de forma exacta en un tiempo razonable. aprovechando los aspectos psicofísicos del sistema visual humano. Las metaheurísticas son procedimientos iterativos generales de alto nivel que se encargan de guiar a los heurísticos. Para solventar este problema. 1. Este procedimiento consiste en la superposición de éstas. los algoritmos de aproximación o heurísticos proponen soluciones eficientes aproximadas. El resultado obtenido puede ser la inclusión total o parcial de una imagen en la otra. que mejoran la eficiencia de los anteriores. o bien la composición de una imagen de mayor orden a modo de puzle. algoritmos evolutivos. De entre las aplicaciones más destacadas en las que el registrado interviene. se encuentran las relacionadas con la medicina. proporcionando una buena zona de partición donde llevar a cabo la unión de las imágenes. Estos algoritmos tienen el inconveniente de quedar atrapados fácilmente en óptimos locales al no poseer ningún mecanismo que les permita escapar de ellos. Pueden ser clasificados en dos tipos: • Constructivos: Generan soluciones empezando desde cero y añadiendo nuevos resultados a la solución. templado simulado o la optimización por colonia de hormigas. Ingeniería en Informática 2 .Algoritmo GRASP para registrado y fusión de imágenes digitales Las transformaciones necesarias de las diversas imágenes digitales para que las coincidencias sean las máximas posibles recibe el nombre de registrado de imágenes. Una vez unificadas todas las imágenes hay que seleccionar lo mejor de cada una de ellas. evite posibles ruidos y/o elimine personas u objetos indeseados de una imagen digital. durante las dos últimas décadas se han introducido otro tipo de algoritmos de búsqueda más inteligentes. GRASP. haciéndolas corresponder por sus partes iguales o similares. Por tanto. llamados metaheurísticas. La detección de los contornos adquiere gran relevancia en este sentido. intentando que la mezcla sea la mejor posible. Algunos ejemplos bien conocidos de metaheurísticas para resolver problemas de diferente dominio son: búsqueda tabú. • Búsqueda local: Buscan soluciones de forma iterativa migrando a soluciones vecinas.
2 ENFOQUE: Hay veces que es imposible o muy difícil obtener una fotografía con la suficiente calidad y nos encontramos con que las imágenes captadas presentan ciertas deficiencias. a la denominaremos variable aleatoria gaussiana. • Estudiar cómo se puede mejorar la selección de puntos invariantes comunes en dos imágenes. Se considera que el valor final del píxel sería el ideal más una cantidad correspondiente al error. • Analizar la información y características que se extraen de las imágenes digitales. señales de ruido o elementos móviles. • Comprender las operaciones de procesamiento espacial que se pueden realizar para fusionar imágenes digitales.Algoritmo GRASP para registrado y fusión de imágenes digitales Se pretende que esta mejora no provenga del empleo de métodos de mejora de la imagen en el dominio espacial ni de la frecuencia (únicamente usaremos un filtro espacial paso bajo o de suavizado). • Conocer qué técnicas de realce de la imagen pueden servir y de qué manera. Es frecuente que se produzcan errores de iluminación. ruido en los digitalizadores o perturbaciones en la transmisión. • Adaptar un filtro de suavizado para aplicarlo a la zona donde se solapan las imágenes. para que la mezcla de imágenes sea la mejor posible. Impulsional: También conocido como ruido de “sal y pimienta”. 2. • Entender los procesos y transformaciones necesarios que intervienen en el registrado de imágenes. se pueden identificar los siguientes subobjetivos u objetivos secundarios: • Investigar sobre posibles librerías visuales que implementen funciones de procesamiento digital de imágenes y elegir la más conveniente. La mayoría de las imágenes tienen cierta cantidad de ruido. generalmente ocasionadas por diferentes ganancias en la cámara. posiblemente debido a la cámara o al medio de transmisión de la señal. 1. sino por la fusión de otras imágenes similares obtenidas bajo diferentes condiciones (temporales. que podríamos definir como la información no deseada que contamina la imagen. El valor que toma el píxel no tiene relación Ingeniería en Informática 3 . punto de vista. sensores o cualquier combinación de las anteriores) y la utilización de técnicas relativas al realce de la imagen que ayuden a seleccionar la unión más adecuada para realizar la mezcla. Causa saturación en un píxel sin afectar a los adyacentes. El ruido. • Determinar el algoritmo más apropiado de entre las posibles técnicas metaheurísticas para llevar a cabo la unión de las imágenes. Además. se clasifica en los siguientes tipos: 1. Gaussiano: Produce pequeñas variaciones en todos y cada uno de los píxeles que componen la imagen.
aumentando el rango dinámico de la imagen resultante. nos permitirá disponer de un conjunto de imágenes para fusionar. En este punto es donde cobra especial relevancia los procesos involucrados en el registrado de imágenes. deberemos localizar la zona de solape entre ambas imágenes y detectar las diferencias y los contornos que existen en cada una de ellas para posteriormente. de las cuáles podremos elegir las características más adecuadas para mejorar la imagen resultante. Una vez unificadas las imágenes. tarea que sucede igualmente al formar las panorámicas.Algoritmo GRASP para registrado y fusión de imágenes digitales con el valor ideal. Multiplicativo: La imagen obtenida es el resultado de la multiplicación de dos señales.1: Tipos de ruido que se pueden producir en una imagen. si se ha perdido la señal en ese punto. mediante Ingeniería en Informática 4 . 3. El disponer de varias fotografías tomadas desde lugares similares. En la siguiente figura se refleja una imagen afectada por los distintos tipos de ruido: Figura 1. El horquillado o bracketing es una técnica automática que toma varias imágenes con un fuerte contraste de luces y sombras para posteriormente unirlas en una sola. la selección de puntos invariantes coincidentes en ellas y el cálculo de transformaciones para alinear las imágenes en un mismo sistema de referencia. como son la extracción de características. en diferentes modalidades o con más o menos luz de un mismo elemento. sino con el valor del ruido que toma valores muy altos o bajos (puntos blancos y/o negros) producidos por una saturación del sensor o por un valor mínimo captado.
Illustrator o Photomatix. Ingeniería en Informática 5 . La finalidad del proyecto será la de automatizar este proceso y que no sea necesario que uno mismo tenga que hacerlo con un editor de imágenes como puede ser Photoshop.Algoritmo GRASP para registrado y fusión de imágenes digitales una técnica metaheurística. obtener una unión que permita que la transición de una imagen a otra sea lo más leve posible.
Algoritmo GRASP para registrado y fusión de imágenes digitales Ingeniería en Informática 6 .
2) A continuación mostramos un ejemplo de umbralización: Ingeniería en Informática 7 . 2. 𝑦)) (2. El término imagen se refiere a una función bidimensional f(x.Algoritmo GRASP para registrado y fusión de imágenes digitales 2. Las transformaciones son de la siguiente forma: 𝐵(𝑥. ANTECEDENTES.1 PROCESAMIENTO ESPACIAL: El procesamiento espacial está formado por aquellas técnicas que operan directamente sobre los valores de los píxeles de la imagen.y) es la imagen original.y) es proporcional al brillo (o nivel de gris) de la imagen en ese punto. conocido como umbral. Se puede considerar una imagen digital como una matriz cuyos índices de filas y columnas identifican un punto en la imagen y el correspondiente elemento de la matriz identifica el valor de gris en ese punto. 𝑦) = 𝐹(𝐴(𝑥. 𝑦) = 𝐴(𝑥. y F la transformación.1. 𝑦) ∗ (𝐴(𝑥.y) la imagen resultante. donde x e y son las coordenadas espaciales y el valor de f en cualquier punto (x. ESTADO DE LA CUESTIÓN La visión artificial es una disciplina de la inteligencia artificial. que permite la obtención. procesamiento y análisis de cualquier tipo de información contenida en las imágenes digitales. Una imagen digital es una imagen que ha sido discretizada tanto en coordenadas espaciales como en brillo. Figura 2.1 Umbralización: También se conoce como thresholding y consiste en comparar los niveles de gris de los píxeles de una imagen respecto a un valor predeterminado. 𝐵(𝑥. eliminando (poniendo a cero) los valores que sean inferiores a él.1) Donde A(x. 2. Permite eliminar las zonas que no interesen y resaltar aquellas partes que sean de interés. 𝑦) ≥ 𝑢𝑚𝑏𝑟𝑎𝑙) (2.1). (Figura 2.1: Representación matricial de una imagen digital de MxN píxeles. que representa la intensidad de luz.y). B(x.
Es muy utilizada cuando se busca el movimiento de un objeto dentro de una escena. La imagen final queda constituida por un conjunto de unos y ceros. Para poder llevar a cabo estas operaciones.1.3 se puede observar la utilidad de realizar la resta de dos imágenes. Se utiliza para añadir textura a una imagen.3) 2.4) 𝐶(𝑥. 𝑦) + 𝐵(𝑥.2: Resultado de umbralización de una imagen. 𝑦) = 𝐴(𝑥. Aumenta la luminancia de cada píxel.3 Operaciones Aritméticas: Las operaciones aritméticas más usadas en el procesamiento de imágenes son la suma. En la Figura 2. consiguiendo que se incremente el brillo de la imagen. Se comparan dos imágenes correlativas en el tiempo mediante la substracción de ellas. 𝑦) = 𝐴(𝑥. 𝑦) ∗ 𝐶 Ingeniería en Informática (2. resta. 𝑦) (2. Si algún objeto se ha movido se detecta inmediatamente porque aparece en la imagen resultante. • Suma: La suma o adición consiste en sumar los valores de los píxeles de dos imágenes. 𝐵(𝑥. en blanco y negro. 2. 𝐶(𝑥.Algoritmo GRASP para registrado y fusión de imágenes digitales Figura 2. aquellos que son iguales o mayores. 𝑦) − 𝐵(𝑥. 𝑦) (2. 𝐵(𝑥. En caso que la escena esté completamente quieta. es decir. la imagen resultante será cero. ambas imágenes deben tener el mismo tamaño. 𝑦) ≥ 𝑢𝑚𝑏𝑟𝑎𝑙) (2. consistente en dejar a cero todos los píxeles menores de un umbral y a uno. 𝑦) = (𝐴(𝑥.5) • Resta: La resta o substracción calcula la diferencia entre los píxeles de dos imágenes. 𝑦) = 𝐴(𝑥. • Multiplicación: Realiza la multiplicación del valor de cada píxel de la imagen por una constante.1. multiplicación y división.2 Binarización: La binarización es una variante de la umbralización.6) 8 .
disyunción y negación. 𝑦) = 𝐴(𝑥.1. 𝑦) (2. 𝑦) (2. 𝐶(𝑥. El efecto que se obtiene es como el negativo de una foto. • Negación: O complementación. Se cambia el nivel de los grises de forma que los blanco se convierten en negro y viceversa.4 Operaciones Lógicas: Las principales operaciones lógicas son la conjunción. 𝑦) (2. Se utilizan en análisis de imágenes y también para trabajar con máscaras y recortes de objetos. 𝑦) = 𝐴(𝑥. 𝑦) = 𝐴(𝑥. o En la siguiente figura puede verse un ejemplo de estas operaciones: Ingeniería en Informática 9 .7) Figura 2. consiste en invertir el valor de los píxeles de la imagen. y tienen sentido cuando al menos una de las imágenes sobre las que se aplican es binaria.8) 𝐶(𝑥.11) • Disyunción: Realiza la operación lógica OR entre los bits de dos imágenes. 2.Algoritmo GRASP para registrado y fusión de imágenes digitales • División: Efectúa la división del valor de cada píxel de la imagen por una constante. 𝑦) = 255 − 𝐴(𝑥. Suele usarse para evitar la saturación en una imagen.10) 𝐵(𝑥.3: Resta de dos imágenes.9) 𝐵(𝑥. 𝑦) 𝑂𝑅 𝐵(𝑥. El negro (0) se considera falso y el blanco (desde 1 hasta 255) se trata como verdadero. 𝑦) (2. 𝑦) = 𝑁𝑂𝑇 𝐴(𝑥. 𝐵(𝑥. Se utiliza para borrar píxeles en una imagen. el brillo de la imagen. 𝑦)/𝐶 (2. disminuyendo la luminancia de cada píxel y por tanto. • Conjunción: Realiza la operación lógica AND entre los bits de dos imágenes. 𝑦) 𝐴𝑁𝐷 𝐵(𝑥. Se usa para añadir píxeles a una imagen.
L.). (Vélez Serrano.. F. Moreno Díaz. Los filtros espaciales operan directamente con los valores de los píxeles de la imagen mientras que los basados en el dominio de la frecuencia traducen éstos a un mapa de frecuencias mediante una transformada de Fourier. A. Un filtro se puede definir como un mecanismo de cambio o transformación de una señal de entrada E a la que se le aplica una función H.. Las implementaciones de filtros se realizan sobre dos dominios: el espacial y el frecuencial.Algoritmo GRASP para registrado y fusión de imágenes digitales Figura 2. Consiguen resaltar los bordes de la imagen.4: Operaciones lógicas. B. Por tanto. 2. los filtros son operaciones que se aplican sobre los píxeles de una imagen digital para optimizarla. J. Sánchez Calle. • Paso alto: Al revés que los de paso bajo. Consiguen hacer más borrosa la imagen.. Esteban Sánchez-Marín. resaltar cierta información o conseguir un efecto especial en ella. conocida como función de transferencia. J. A. Se pueden clasificar en tres tipos: • Paso bajo: Eliminan o atenúan las componentes de alta frecuencia y dejan inalteradas las bajas. Figura 2. eliminan o atenúan las componentes de baja frecuencia y dejan inalteradas las altas.5: Esquema de funcionamiento de un filtro.2 FILTRADO DE LA IMAGEN: El filtrado de la imagen es el conjunto de técnicas destinadas a obtener una imagen más adecuada para una aplicación específica. para obtener una señal de salida S. Ingeniería en Informática 10 .
La repetición de este proceso en todos los píxeles genera la imagen resultante. máscara o matriz de convolución. Algunos ejemplos de las máscaras más frecuentes son: ℎ= 1 1 1 1 �1 1 1 � 9 1 1 1 3 1 ⎛6 ℎ= 8 249 ⎜ 6 ⎝3 ℎ= 6 8 14 19 19 25 14 19 6 8 1 1 �2 16 1 6 14 19 14 6 2 1 4 2� 2 1 3 6⎞ 8⎟ 6 3⎠ (2. Las matrices de convolución pueden ser rectangulares o circulares. disminuyendo con la distancia respecto al píxel central. Estos pesos se pueden asignar por medio de una distribución Gaussiana. que consiste en la suma de las multiplicaciones de cada elemento de la máscara por el correspondiente valor del píxel. aunque suelen ser cuadradas de 3x3 ó de 5x5 píxeles.Algoritmo GRASP para registrado y fusión de imágenes digitales • Paso banda: Obtiene las regiones de frecuencias entre un valor mínimo y otro máximo. La suma de los coeficientes debe ser 1 para evitar ganancias indeseadas. que son los únicos relevantes para lo que pretendemos realizar.1 Filtros espaciales de paso bajo: Los filtros espaciales de paso bajo o de suavizado reducen el ruido de alta frecuencia en una imagen. Este entorno de vecindad respecto al píxel central se denomina ventana.1.2. Cuanto mayor sea el tamaño de la ventana o el número de veces que se realice el filtrado más se difuminará la imagen. A cada elemento se le asigna un peso en el cálculo del nuevo valor. 2.1 Filtros lineales: Estos filtros realizan un promediado de los píxeles adyacentes al que se evalúa. En la Figura 2. Las altas frecuencias de una imagen se corresponden con los bordes y las bajas con el contraste y la intensidad media. 2. A continuación nos centraremos en los filtros espaciales de paso bajo o de suavizado.2. Se pueden distinguir dos clases: lineales y no lineales.6 se puede observar el efecto que produce la aplicación de un filtro de suavizado lineal sobre una imagen: Ingeniería en Informática 11 .12) En cada píxel de la imagen se aplica el filtro.
Aumenta las zonas claras y disminuye las oscuras. Produce la homogeneidad de la imagen. Si la diferencia es mayor que un umbral fijado previamente. Ingeniería en Informática 12 . en distintos instantes de tiempo.Algoritmo GRASP para registrado y fusión de imágenes digitales Figura 2. El factor relevante a tener en cuenta es que cada imagen se encuentra en un sistema de referencia diferente y por tanto. Si no. • Filtro de mínimo: Al contrario que el filtro de mínimo. ordena los valores de los píxeles vecinos y en este caso. • Filtro de moda: Al igual que el filtro de mediana. se mantiene el valor del píxel central. Entre ellos se encuentran los siguientes: • Filtro del bicho raro: Compara la intensidad del píxel central con la de sus vecinos. Dicho cambio de coordenadas se conoce como transformación de registrado. El filtro de la media es un caso particular perteneciente a los filtros lineales. (posición y orientación de las imágenes) de una de ellas para situarla en el sistema de coordenadas de la otra. se sustituye por la media de los píxeles vecinos. su superposición es el resultado de “modificar” el sistema de referencia. asigna al píxel central el valor más bajo encontrado entre sus vecinos.6: Aplicación de un filtro de suavizado lineal. 2.3 REGISTRADO DE IMÁGENES: El registrado de imágenes (RI) tiene como misión fundamental la de superponer o solapar imágenes obtenidas en diferentes condiciones: con diversos sensores o dispositivos de captura. • Filtro de máximo: Asigna al píxel central el valor más alto encontrado entre sus vecinos. 2.1. El efecto para una imagen dispar será de zonas bien diferenciadas y para una imagen homogénea. desde diferentes puntos de vista o cualquier combinación de ellas.2. de mayor homogeneidad.2 Filtros no lineales: Este tipo de filtros están basados en una operación no lineal con los píxeles del entorno de vecindad. asigna el valor más repetido al píxel central. • Filtro de mediana: Ordena los valores de los píxeles vecinos y asigna el valor del medio al píxel central. disminuyendo las zonas claras y aumentando las oscuras.
2003) proporciona una mejor interpretación del contenido de las imágenes por lo que se suele utilizar en un gran número de tareas. cuando se trata de transformaciones simples y una correspondencia correcta entre imágenes o mediante métodos iterativos de optimización si el problema es de naturaleza no lineal. . El problema de registrado de imágenes se puede abordar en primer lugar desde una perspectiva de resolución lineal haciendo uso de métodos directos (sistemas de ecuaciones). se pueden dividir cuatro grandes grupos de aplicaciones: a) Diferentes puntos de vista (análisis multivista): Las imágenes de la misma escena se obtienen desde diferentes puntos de vista. El objetivo es obtener mayores vistas 2D o una representación 3D de la escena. El objetivo es encontrar y evaluar los cambios aparecidos en la escena. lo que hace imposible proporcionar un método de registrado universal. c) Diferentes sensores (análisis multimodal): Las imágenes se obtienen utilizando diversos sensores. b) Diferentes instantes (análisis multitemporal): Las imágenes se obtienen en distintos instantes de tiempo.Algoritmo GRASP para registrado y fusión de imágenes digitales El registrado de imágenes (Zitová y Flusser. El modelo puede ser una representación informatizada de la escena. De acuerdo al modo de adquisición de la imagen. visión por computador o antropología.3.Una transformación de registrado (f) o función paramétrica: Relaciona las nuevas coordenadas (coordenadas transformadas) de la imagen escena con las de la Ingeniería en Informática 13 . 2. El objetivo es localizar la imagen en la escena/modelo y compararlas.1 Componentes de un sistema de registrado de imágenes: Los sistemas de registrado de imágenes están formados por un conjunto de componentes que realizan un proceso iterativo de optimización: . d) Registro de escena/modelo: Se registran las imágenes y un modelo de la escena. como es el caso de la teledetección. Los primeros garantizan encontrar la solución óptima pero. cada una en su respectivo sistema de referencia. a veces. el tiempo empleado es inadmisible y los aproximados obtienen soluciones de calidad aceptable en un tiempo mucho más reducido. medicina. Los algoritmos desarrollados para abordar este segundo tipo de problemas son los llamados exactos y aproximados. El registrado está presente en multitud de aplicaciones de muy diversa naturaleza.Dos imágenes: Denominadas escena (o imagen móvil) y modelo (o imagen fija). El objetivo es integrar la información obtenida de diferentes fuentes para lograr una representación de la escena más compleja y detallada.
imagen modelo. La elección del tipo de transformación dependerá de la naturaleza de
los objetos y de los sistemas de adquisición empleados.
- Una métrica de similitud (F): Mide el grado de solapamiento entre las imágenes.
- Una estrategia de búsqueda (u optimizador): Su misión es la de encontrar
aquella transformación de registrado que optimice la métrica de similitud.
El esquema de un sistema de registrado de imágenes es el siguiente:
Figura 2.7: Esquema general de un sistema de RI.
2.3.2 Pasos del registrado de imágenes:
La mayoría de métodos de registrado consisten en los siguientes 4 pasos:
1. Detección de características: Detección de forma automática o manual de
características descriptivas de las imágenes, representadas por sus puntos clave.
2. Emparejamiento de características: Se establece la correspondencia entre las
características detectadas en las imágenes.
3. Estimación del modelo de transformación: Se estima el tipo y los parámetros de las
funciones de mapeo, que alinean ambas imágenes. Estos parámetros se calculan
considerando los emparejamientos establecidos anteriormente.
4. Transformación y remuestreo de la imagen: La imagen se transforma mediante las
funciones de mapeo anteriores y los valores intermedios se obtienen por la técnica de
interpolación apropiada.
En la siguiente figura se ilustran estos 4 pasos. En la primera fila se realiza la
extracción de características, detectando las esquinas de los objetos. En la fila intermedia,
se lleva a cabo el emparejamiento entre descriptores invariantes (los pares se indican
mediante números). Y en la última fila, a la izquierda, se estima el modelo según las
correspondencias y a la derecha, se aplica la transformación y remuestreo a la imagen.
Figura 2.8: Pasos del registrado de imágenes.
2.3.3 Transformaciones típicas:
- Traslación: La traslación t, también conocida como desplazamiento, se basa en el
cambio de posición de un objeto de acuerdo a la fórmula: 𝑋
=𝑌+𝑍
X e Y son vectores formados por las coordenadas de las imágenes y Z es un vector
que representa el desplazamiento realizado en cada eje.
- Rotación: Realiza un giro de la imagen. Preserva escala, ángulos y orientación.
sen 𝜃 𝑋
−𝑠𝑒𝑛 𝜃
�×𝑌
- Escalado: Permite aumentar o reducir un objeto por un determinado factor. Si el
cambio que se produce es el mismo en todas las dimensiones (s1 igual a s2), se trata
de un escalado uniforme y si es distinto, de uno no uniforme.
s1 𝑋
- Isometría: Supone una rotación y una traslación. También se conoce como
transformación rígida o transformación euclídea.
�×𝑌+𝑍
- Similitud: Es una combinación de traslación, rotación y escalado. Se puede expresar
como: 𝑋
s1 × cos 𝜃
sen 𝜃
�×𝑌+𝑍 𝑠
2 × cos 𝜃
- Cizalla: También conocida como transformación afín. Esta transformación
representa una deformación que ejerce una fuerza paralela a la base, manteniendo ésta
fija. Conserva invariante el paralelismo.
1 𝑡𝑎𝑛 𝜃
1 𝑋
A continuación se muestran ejemplos de estas transformaciones:
Figura 2.9: Ejemplos de traslación, rotación, escalado y cizalla.
- Transformación de perspectiva: Esta transformación convierte escenas 3D en
escenas 2D. Se caracteriza por hacer que parezca más pequeño lo más lejano a la
cámara. (Figura 2.10).
- Transformación proyectiva: Se conoce también como homografía, es una
transformación lineal no única de coordenadas homogéneas. (Figura 2.11).
o Automáticos: El sistema es el encargado de realizar el registrado de imágenes.3. Figura 2. 2.Algoritmo GRASP para registrado y fusión de imágenes digitales Figura 2. En los siguientes sub-apartados detallaremos cada una de ellas.): • Grado de interacción software-usuario (Van den Elsen): Se consideran tres tipos: o Interactivos: El usuario trata de superponer las imágenes probando. y si provienen de diferentes objetos aunque similares. • Diseño de componentes (Brown y Zitová): Dependiendo del diseño particular de los componentes que formen el sistema de RI. 2. se establecen distintas clasificaciones.4 Clasificación: Los métodos de registrado pueden clasificarse en función de varios criterios (Santamaría López. se trata de intersujeto. o Semiautomáticos: Se reduce en gran medida la intervención del usuario mediante una etapa de procesamiento de imágenes previa al RI. J.11: Ejemplo de transformación proyectiva.3.4.1 Imagen: Se clasifican conforme a: • Tipo de escena u objeto: Si las imágenes provienen de un único objeto se consideran intrasujeto. Ingeniería en Informática 17 . de forma reiterada.10: Ejemplo de transformación de perspectiva. múltiples valores para los parámetros de la transformación de registrado.
4.19) donde X. los métodos de registrado intrínsecos pueden clasificarse en:  Basados en intensidades: Operan directamente con la imagen original. en la mayoría de los casos.2 Transformación de registrado: Los algoritmos de registrado también pueden clasificarse de acuerdo al modelo de transformación o mapeado que utilicen.Algoritmo GRASP para registrado y fusión de imágenes digitales • Dimensionalidad: Da lugar a configuraciones 2D y 3D de las imágenes. • Modo de adquisición de las imágenes: Dependiendo de si las imágenes se han adquirido utilizando el mismo o diferentes dispositivos. cambios de intensidad lumínica y ruido. Este tipo de técnicas se utiliza en aplicaciones médicas. condiciones radiométricas. Consiste en realizar un registrado rígido y. • Naturaleza de las imágenes: Permite establecer una clasificación en función del tipo de información considerada: o Métodos extrínsecos: Introducen objetos marcadores al margen de los que aparecen en la propia imagen para detectarlos de forma fácil y precisa. que son. una traslación y un escalado. • Transformaciones no rígidas o elásticas. el detector de características debe ser robusto ante cambios en la geometría de las imágenes. respectivamente. realizar un segundo registrado no rígido. se clasifican en Monomodal o Multimodal. • Transformación multinivel. A su vez. En este caso. Incluyen las transformaciones lineales. Ingeniería en Informática 18 . 2. Tienen un carácter invasivo. Operan de forma global sobre la imagen. Y y Z representan vectores n-dimensionales y 𝒜 es una matriz nxn. Estas transformaciones son de la forma: 𝑋 =𝒜∙Y+Z (2. o Métodos intrínsecos: emplean exclusivamente el contenido de las imágenes. aquellas producidas por la combinación de una rotación. transformando únicamente regiones concretas de la imagen. Las transformaciones afines también pertenecen a esta categoría. Son capaces de modelar deformaciones locales.  Basados en características: Trabajan con un conjunto reducido de características relevantes en las imágenes y extraídas previamente al registrado por un método de procedimiento de la imagen.3. se pueden diferenciar dos categorías: • Transformaciones rígidas. En este caso. posteriormente.
implícita en el conjunto de correspondencias. (Figura 2. Por tanto. J.12). 2. haciendo uso de métodos numéricos. El siguiente paso consiste en calcular la transformación de registrado. como son el caso de Kd-tree o mapas de distancias.4. que no aportan ningún tipo de información de importancia y alteran la estimación de f.4 Estrategia de búsqueda: A su vez los métodos de registrado de imágenes pueden clasificarse según el espacio de búsqueda sobre el que trabaje la estrategia de búsqueda considerada. la fase de correspondencia se convierte en una etapa fundamental y tiene gran importancia el criterio adoptado para construir los emparejamientos ya que la transformación se verá afectada por la calidad de las correspondencias establecidas. En función del tipo de métrica de similitud considerada. en primer lugar. obtener un conjunto de correspondencias (x) entre ambas imágenes.4.3. con el fin de mejorar la eficiencia. b) Geometría de la imagen: Las coordenadas de las primitivas son la fuente principal para evaluar la métrica.3.). cómo de diferentes son las imágenes modelo y escena para cierta transformación (Santamaría López.): • Búsqueda en el espacio de correspondencias: Esta estrategia.12: Registrado de imágenes desde el enfoque de la búsqueda de correspondencias. en otro sentido.Algoritmo GRASP para registrado y fusión de imágenes digitales 2.3 Métrica de similitud: Una de las componentes más importantes de cualquier método de registrado de imágenes es la métrica de similitud. J. también conocida como point matching. El principal problema del cálculo de la transformación es la observación de valores erróneos o ruidosos (outliers). Ingeniería en Informática 19 . Existen dos enfoques principales (Santamaría López. los métodos pueden clasificarse en: a) Atributos de la imagen: Tratan principalmente con primitivas elementales haciendo uso del valor de nivel de grises de la imagen. tiene por objetivo. Figura 2. El coste computacional de esta métrica puede ser elevado cuando el volumen de información de las imágenes es considerable y se necesita hacer uso de estructuras de indexación. La misión que tiene es valorar el grado de solapamiento de las imágenes o.
A diferencia del anterior. Además. • Discriminante: Deberá servir para distinguir objetos de clases distintas. la estrategia de búsqueda genera directamente posibles soluciones al problema del registrado.13: Registrado de imágenes desde el enfoque de búsqueda de parámetros. • Robustez: Los resultados deberán permanecer estables ante posibles cambios en la escena.4 EXTRACCIÓN DE CARACTERÍSTICAS: La extracción de información de las imágenes. en inglés “Information from imagery”. El sistema encargado de obtener la máxima información posible debe cumplir las siguientes condiciones: • Eficiencia: El coste de extracción de características no debe ser excesivo. siendo un procedimiento de optimización de parámetros centrado en la búsqueda de los mejores valores de f que optimicen F. Ingeniería en Informática 20 .  Líneas: Representan segmentos o contornos de objetos mediante pares de puntos o puntos intermedios. Se representan a menudo por su centro de gravedad. • Precisión: El error cometido en la estimación de características debe ser lo menor posible.13). Existen distintas características que pueden ser extraídas de las imágenes:  Regiones: Determinan zonas de la imagen. el proceso de búsqueda está guiado por el valor de función F. (Figura 2. una solución (x) se representa mediante un vector de parámetros con la misma dimensión que el número de parámetros del modelo de transformación considerado. De esta forma. constituye un inmenso campo de estudio e investigación en diversas disciplinas y posee gran importancia en multitud de aplicaciones. En este caso.Algoritmo GRASP para registrado y fusión de imágenes digitales Cuanto mejor sea la correspondencia entre ambas imágenes. este segundo enfoque implica realizar la búsqueda directamente en el espacio de parámetros de la transformación de registrado. 2. Figura 2. más próxima será la estimación al valor óptimo de f. • Búsqueda en el espacio de parámetros de la transformación.
Lowe. orientación y escala mediante un modelo. y así identificar los potenciales puntos clave invariantes a la escala y orientación. ya sea por su bajo contraste o su mala localización. En esta etapa eliminamos y descartamos aquellos puntos de interés que no sean adecuados.4. • Localización de los puntos clave: Para cada candidato a punto de interés se determina su localización. El objetivo principal del algoritmo SIFT es la extracción de unas características distintivas. permite obtener una serie de características y puntos clave. que por separado presentaban ciertas deficiencias. Los puntos clave se eligen en base a las medidas de estabilidad. describen zonas importantes de la imagen. De esta forma se podrán observar las similitudes existentes entre las imágenes. que describen de forma correcta los objetos que aparecen en las distintas imágenes que se tienen recopiladas.Algoritmo GRASP para registrado y fusión de imágenes digitales  Puntos: Utilizados en intersecciones de líneas. Estas características locales se almacenan en descriptores.1 Scale-Invariant Feature Transform (SIFT): El algoritmo SIFT desarrollado en 1999 por David G. Surgió de la combinación de las técnicas basadas en modelos geométricos y en apariencia. Mediante la función de la Diferencia de Gaussianas es posible realizar esta tarea de forma eficiente. como el gradiente. Los puntos de interés encontrados en éste método se caracterizan por permanecer invariantes al escalado y rotación. detección de esquinas o discontinuidades locales. 2. que mediante determinadas variables. iluminación o ruido de una imagen. en las que se buscan características estables en todas las posibles escalas y localizaciones en la imagen. El coste de extraer estos puntos se puede minimizar utilizando una aproximación de filtros en cascada. por la Universidad de British Columbia donde el Dr. En el proceso de registrado de imágenes uno de los aspectos fundamentales es la detección automática de características y puntos clave entre las imágenes. en la que las operaciones más costosas se aplican sólo a las localizaciones que pasan un test inicial. • Asignación de la orientación: A cada punto clave se le asigna una o más orientaciones basándose en las direcciones de gradiente local de la imagen. El algoritmo SIFT define cuatro etapas importantes para la generación del conjunto de puntos invariantes: • Detección de extremos en escala-espacio: Es la primera de las etapas. Fue patentado en Estados Unidos. Para Ingeniería en Informática 21 . y parcialmente invariantes ante posibles cambios producidos en la orientación. Lowe era investigador y profesor.
b) Orientación. c) Escala. Los descriptores creados deberán ser suficientemente distintivos y permanecer invariantes ante posibles cambios de distorsión e iluminación. En la Figura 2. que será aquél que minimice la distancia euclídea entre ellos. Estos vectores indican la localización.14: Ejemplo de puntos clave obtenidos por SIFT. Los descriptores de los puntos clave son altamente distintivos y por tanto. Ingeniería en Informática 22 . d) Descripción de su entorno por medio de un conjunto de gradientes. mediante el algoritmo SIFT se pueden obtener los puntos clave que caracterizan a los objetos de una imagen cualquiera. Los datos son transformados en relación a la orientación asignada.y) en la imagen.14 se muestra los puntos clave (representados por vectores) obtenidos al aplicar SIFT en una imagen. escala y orientación que almacenará cada descriptor. si dos imágenes contienen descriptores muy similares probablemente estén describiendo una misma zona y sean correspondientes. Figura 2. De esta forma se podrá realizar una búsqueda automática de objetos en distintas imágenes. se calcula un histograma del gradiente de la orientación en los puntos vecinos al punto de interés.Algoritmo GRASP para registrado y fusión de imágenes digitales determinar la orientación del punto clave. escala y localización. En definitiva. • Descriptor del punto clave: Se genera el descriptor para cada punto a través de un conjunto de histogramas de orientación creados sobre una región NxN en los píxeles vecinos. proporcionar invariancia a estas transformaciones. y así. El emparejamiento entre descriptores se estimará por su grado de similitud (vecino más cercano). que posteriormente podrán ser localizados en otras escenas en las que existan rotaciones. cambios de escala e iluminación y oclusiones parciales. Cada descriptor contendrá la siguiente información: a) Posición (x. A cada sub-histograma se le aplica un umbral y una normalización para aumentar su robustez.
basados en la aplicación del operador derivada en un entorno de vecindad.Algoritmo GRASP para registrado y fusión de imágenes digitales 2. Sin embargo. Suele ser muy utilizada en el reconocimiento de objetos y la segmentación de regiones. Por tanto. Un borde se puede definir como aquella región donde aparece una fuerte variación del nivel de intensidad de los píxeles adyacentes. Prewitt. de forma no deseada. Existen dos posibilidades (Figura 2. se producen por la intersección de varios objetos. estas discontinuidades también pueden aparecer. Algunos ejemplos de técnicas que utilizan la primera derivada Gaussiana son Roberts. Sobel o Canny. por la presencia de ruido o por el efecto de una iluminación no uniforme o sombras sobre los objetos de la escena. Normalmente. 1986) consiste en un proceso multifase donde se aplica máscaras de convolución y la primera derivada. la detección automática de bordes es una tarea esencial en muchas aplicaciones de interpretación de imágenes. Se han desarrollado multitud de algoritmos para la detección de los bordes. Canny. En el primer caso se buscan grandes cambios de intensidad y en el segundo. un cambio de intensidad se manifiesta como un cambio brusco en la primera derivada.15): emplear la primera derivada (gradiente) o la segunda derivada (laplaciana). La primera derivada Gaussiana toma el valor cero en todas las regiones donde no varía la intensidad y tiene un valor constante en la transición de intensidad. cambios de signo en la señal.4. Figura 2. Ingeniería en Informática 23 . con diferentes niveles de reflectancia. se encuentra Marr-Hildreth. característica que es usada por Canny para detectar un borde. y entre los que se fundamentan en la segunda derivada.15: Diferencia entre aplicar 1ª o 2ª derivada Gaussiana. El detector de bordes o filtro de Canny (John F. generando discontinuidades de intensidad en esos píxeles. de positivo a negativo y viceversa (cruces por cero).2 Algoritmo CANNY: En el área de procesamiento de imágenes.
Algoritmo GRASP para registrado y fusión de imágenes digitales Resulta el método más idóneo para detectar todos los bordes existentes en una imagen. los bordes normalmente se encuentran algo difuminados.16: Detector de bordes de Canny. Ingeniería en Informática 24 . como resultado de optimizarlos. Figura 2. ya que optimiza tres criterios vitales: • Buena detección: Minimiza la probabilidad de eliminar bordes reales y detectar falsos bordes. que es igual a la magnitud del gradiente. (b) Función rampa. Canny formula matemáticamente estos tres criterios y. frecuentemente. • Buena localización: La distancia entre el punto de contorno detectado y el punto central del contorno verdadero debe ser mínima. En las imágenes reales. son debidos a ruido. Un píxel de borde se describe mediante dos características importantes: .17: Modelos de los distintos tipos de bordes que pueden aparecer en las imágenes: (a) Función escalón. Figura 2. obtiene que el detector de bordes óptimo consiste en aplicar un suavizado por convolución con el gaussiano a la imagen y posteriormente obtener su gradiente. (c) Función cuadrada. eliminando las demás respuestas.Intensidad del borde. • Única respuesta: Obtiene un único borde por cada contorno. por lo que el contraste en el borde no se modela mediante un escalón perfecto sino mediante una función de rampa.Dirección del borde. No detectará otros tipos de borde (tipos cuadrada y triangular). (d) Función triangular. ya que estos bordes son difíciles de encontrar en las imágenes y. Canny parte de la suposición de que en la imagen de entrada solamente existe ruido blanco y contraste de tipo escalón o rampa. que es igual al ángulo del gradiente. .
a sus buenos resultados ante la presencia de ruido y a su sencillez. 2. uno de los dos vecinos que se encuentran en esa orientación. al menos. es habitual que se realice un último paso en el algoritmo de Canny. Aplica un doble umbral para evitar la posible presencia de bordes ruidosos y reducir la posibilidad de aparición de contornos falsos.18: Resultado de la detección de bordes mediante el algoritmo de Canny.4. Supresión de no-máximos: Se eliminan aquellos bordes cuya magnitud sea inferior a. Se debe de tener cuidado de no realizar un suavizado excesivo. Obtención del gradiente: Se detectan los cambios de intensidad en la imagen suavizada en la fase anterior y se calcula la magnitud y orientación del vector gradiente en cada píxel. El resultado es una imagen con los bordes adelgazados como consecuencia de la supresión. El método más utilizado es el algoritmo de Deriche y Cocquerez. 4. que consiste en cerrar los contornos que pudiesen haber quedado abiertos por problemas de ruido. pues se podrían perder detalles de la imagen. Ingeniería en Informática 25 . A continuación podemos observar los bordes detectados al utilizar el algoritmo de Canny: Figura 2.1 Fases en la aplicación del algoritmo: Intervienen cuatro fases en la aplicación del filtro de Canny: 1. 3.Algoritmo GRASP para registrado y fusión de imágenes digitales 2. Generalmente. Histéresis de umbral: Es la fase más delicada. Este algoritmo busca los extremos de los contornos abiertos y sigue la dirección del máximo gradiente hasta cerrarlos con otro extremo abierto.2. Suavizado de la imagen: La imagen original es suavizada mediante la convolución con una función gaussiana. La popularidad del algoritmo de Canny se debe a su gran adaptabilidad a diversos tipos de imagen. que permite una gran velocidad de procesamiento.
únicamente era capaz de extraer líneas y curvas. C. Figura 2.21) Sin embargo. propuesta por Ballard en 1981. más complejas. para distintos valores de a y b: 𝑦𝑖 = 𝑎𝑥𝑖 + 𝑏 (2.yj). (b) Espacio parámetro. como círculos o elipses.b’). El algoritmo.4. en el que se extraigan los bordes y se realice una binarización. Hough en 1962 con el título “Method and Means for Recognizing Complex Patterns”. Si repetimos el proceso para otro punto (xj. La transformada de Hough parte de la consideración de que para cualquier punto (xi. Permite descubrir las formas que existen en una imagen mediante la transformación de los puntos de la imagen en un espacio de parámetros.yi). La transformada original. pasan un número infinito de líneas que satisfacen la ecuación general de la recta en su forma explícita. Para poder aplicarse. es necesario un procesado previo de la imagen. aunque una generalización. por una nube de puntos. veremos que su recta en el plano ab corta a la anterior en un punto (a’.yi). probablemente. logra identificar formas arbitrarias. Ingeniería en Informática 26 . patentado por Paul V. obtenemos una única recta que pase por el punto (xi.Algoritmo GRASP para registrado y fusión de imágenes digitales 2.20) 𝑏 = −𝑥𝑖 𝑎 + 𝑦𝑖 (2. tiene el objetivo de detectar el conjunto de rectas determinadas.19: Representación de la recta en el: (a) Plano xy. La intersección de estas rectas determina los parámetros a y b de la recta que contiene a estos dos puntos en el plano xy.3 Transformada de Hough: La transformada de Hough es una de las técnicas más populares de extracción de características. si se reescribe esta ecuación como: Y asumimos el plano ab (también denominado espacio parámetro).
El resultado de esta celda. en lugar de una recta. se incrementa. 𝜌 es la distancia del origen a la recta y 𝜃 es el ángulo formado por el segmento que une el origen con la recta y el eje de abscisas.b’). que inicialmente está puesta a cero. le corresponderá una sinusoide en el plano 𝜌𝜃.amáx) y (bmín. donde n es el número de puntos imagen y k el de incrementos de a o b.22) De esta forma. se cortan en un único punto (a’. En la Figura 2.Algoritmo GRASP para registrado y fusión de imágenes digitales Asimismo. al igual que la complejidad.20) para representar una línea es que tanto la pendiente como la ordenada en el origen tienden a infinito cuando la línea se acerca a la vertical. donde (amín. todas las rectas en el plano ab correspondientes a los puntos pertenecientes a la recta en el plano xy.bmáx) son los rangos esperados para la pendiente y la ordenada en el origen. La precisión del método está determinada por el número de subdivisiones del plano ab.20 podemos ver un ejemplo: Figura 2. el número que contenga la celda indicará la cantidad de puntos contenidos en la recta y aquellas celdas con los valores máximos determinarán las líneas que mejor se ajustan a los puntos existentes. que será nk. por lo que realiza la subdivisión del espacio parámetro en las denominadas células acumulador. El cálculo de la transformada de Hough se basa en un esquema guiado por votación. utilizando la ecuación anterior. Al final del procedimiento. El valor de b obtenido se redondea al del más próximo permitido. La única diferencia que se produce es que ahora a cada punto del plano xy. se fija el parámetro a a cada uno de los valores permitidos y se calcula su respectiva b.20: Células acumulador en el espacio parámetro. Ingeniería en Informática 27 . Para cada punto de la imagen. Una manera de evitar este problema consiste en utilizar la representación polar de la recta: 𝑥 cos 𝜃 + 𝑦 𝑠𝑒𝑛 𝜃 = 𝜌 (2. Un problema que surge al emplear la ecuación de la recta (2.
ya sea un punto o una recta. Figura 2. consiste en calcular la transformación proyectiva que lleva xi a x’i. calcular h: Pn Pn. Sin embargo. Ingeniería en Informática 28 . 2. Figura 2. es decir.23: Homografía entre dos puntos. de modo que a un elemento de una de ellas.21: Representación polar de la recta. Una homografía.22: Líneas obtenidas al aplicar la transformada de Hough. Dado un conjunto de puntos xi ∈ Pn y su conjunto de puntos correspondientes x’i ∈ Pn. tal que h(x): x’ = H ⋅ x. En definitiva. la transformada de Hough es una técnica de segmentación muy robusta frente al ruido y a la existencia de huecos en la frontera de los objetos. su coste computacional es elevado. es un mapeo invertible de puntos y líneas en el plano proyectivo Pn. ya que depende del tamaño del espacio parámetro.Algoritmo GRASP para registrado y fusión de imágenes digitales Figura 2. también llamada colineación o proyectividad. le corresponde otro elemento semejante de la otra.5 HOMOGRAFÍA: Una homografía es una transformación proyectiva que establece una correspondencia entre dos formas geométricas.
El número de grados de libertad de un punto 2D es dos.25) 𝑐 = ℎ31 ⋅ 𝑥𝑖 + ℎ32 ⋅ 𝑦𝑖 + ℎ33 Ingeniería en Informática 29 . en inglés Direct Linear Transformation (DLT). tan sólo posee ocho elementos independientes. de 3x3 no singular.24) Operando se obtienen las siguientes ecuaciones: 𝑐 ⋅ 𝑥 ′ 𝑖 = ℎ11 ⋅ 𝑥𝑖 + ℎ12 ⋅ 𝑦𝑖 + ℎ13 𝑐 ⋅ 𝑦 ′ 𝑖 = ℎ21 ⋅ 𝑥𝑖 + ℎ22 ⋅ 𝑦𝑖 + ℎ23 (2. Como conclusión. x′i = H ⋅ xi .5. Es posible calcular una cota inferior teniendo en cuenta los grados de libertad de los vectores homogéneos.x2. 2. Abzdel-Aziz y H. Por otro lado.x2/x3)T en P2. que se corresponden con sus coordenadas x e y. El carácter homogéneo de estos vectores permite que sus componentes puedan ser multiplicadas por cualquier constante y seguir representando al mismo punto y que la transformación no se modifique. se puede establecer que es necesario especificar como mínimo cuatro correspondencias entre puntos para poder calcular completamente la matriz H. Karara en 1971.Algoritmo GRASP para registrado y fusión de imágenes digitales Una transformación proyectiva entre planos es una transformación lineal sobre 3 vectores homogéneos. I.x3)T representa el punto (x1/x3. de forma que la relación entre puntos originales y transformados es x′i = H ⋅ xi . esta ecuación puede escribirse de la siguiente manera siendo c una constante distinta de cero: ℎ11 𝑥′𝑖 𝑐 ⋅ �𝑦′𝑖 � = �ℎ21 ℎ31 1 ℎ12 ℎ22 ℎ32 ℎ13 𝑥𝑖 ℎ23 � ⋅ �𝑦𝑖 � 1 ℎ33 (2. M. la matriz H tiene nueve parámetros pero al estar definida salvo una constante de proporcionalidad. 𝑥′1 ℎ11 ℎ �𝑥′2 � = � 21 ℎ31 𝑥′3 ℎ12 ℎ22 ℎ32 𝑥1 ℎ13 ℎ23 � ⋅ �𝑥2 � 𝑥3 ℎ33 (2. representada por una matriz de homografía H. Al trabajar con coordenadas homogéneas. El principal aspecto a considerar es el número de puntos o correspondencias necesarios para estimar la matriz H.23) Un vector homogéneo arbitrario (x1.1 Algoritmos para la estimación de la homografía: El método de transformación lineal directa. es un algoritmo sencillo usado para la resolución de la matriz de homografía H a partir de un conjunto de cuatro puntos 2D en correspondencia. propuesto por los investigadores Y.
que tienen la forma 𝑏𝑖 = 𝐴𝑖 ⋅ ℎ. Formando un sistema con n correspondencias. 2. el sistema resultante es sobredeterminado (el número de ecuaciones es mayor que el de incógnitas) y es necesario aplicar un método de minimización por mínimos cuadrados. cuyos de forma que se obtengan dos conjuntos de puntos 𝑥�𝚤 y 𝑥′ centroides sean el origen y sus distancias media sean de √2. consistentes en un escalado y una traslación. por ser la componente homogénea de la matriz H. Aplicar la SVD de A. Obtener la matriz A de 2n x 8 que resulta de unir las n matrices Ai. suele aplicarse una normalización antes de calcular la homografía. Recolocar los elementos de h para obtener la matriz de homografía H. calcular la matriz Ai. Para cada correspondencia xi x’i. El algoritmo DLT normalizado es el siguiente: 1.Algoritmo GRASP para registrado y fusión de imágenes digitales Resolviendo el sistema por sustitución y considerando h33=1. se pueden resumir en: 1. con la única restricción de que tres puntos no pueden ser colineales (no pueden pertenecer a la misma recta).26) Que en forma matricial es: � 𝑥′𝑖 𝑥𝑖 ′ �=� 𝑦𝑖 0 𝑦𝑖 0 1 0 0 𝑥𝑖 0 𝑦𝑖 0 −𝑥𝑖 ⋅ 𝑥′𝑖 1 −𝑥𝑖 ⋅ 𝑦′𝑖 ℎ11 ℎ ⎛ 12 ⎞ ⎜ℎ13 ⎟ −𝑥𝑖 ⋅ 𝑦𝑖 ⎜ℎ21 ⎟ �⋅ −𝑦𝑖 ⋅ 𝑦′𝑖 ⎜ℎ22 ⎟ ⎜ ⎟ ⎜ℎ23 ⎟ ℎ31 ⎝ℎ32 ⎠ (2. Si n>4. con n=4 es suficiente para calcular la matriz h. 4. Aplicar el algoritmo DLT a los nuevos puntos 𝑥�𝚤 y 𝑥′ Ingeniería en Informática 30 . Este algoritmo es dependiente del sistema de referencia empleado sobre las imágenes y por eso. Por lo tanto. 3. �𝚤 respectivamente. Normalización de xi y x’i: Transformar los puntos xi y x’i a través de dos transformaciones de similitud T y T’. se genera esta ecuación matricial. se obtiene un vector b con dimensión 2n y una matriz A que tiene 2n filas y ocho columnas. 2.27) Para cada correspondencia entre puntos. �𝚤 para obtener la matriz H. se obtiene: (ℎ31 ⋅ 𝑥𝑖 + ℎ32 ⋅ 𝑦𝑖 ) ⋅ 𝑥 ′ 𝑖 = ℎ11 ⋅ 𝑥𝑖 + ℎ12 ⋅ 𝑦𝑖 + ℎ13 ′ (ℎ31 ⋅ 𝑥𝑖 + ℎ32 ⋅ 𝑦𝑖 ) ⋅ 𝑦 𝑖 = ℎ21 ⋅ 𝑥𝑖 + ℎ22 ⋅ 𝑦𝑖 + ℎ23 (2. El vector singular correspondiente al valor singular menor es la solución para h. basado en la descomposición de valores singulares (SVD). Los pasos del algoritmo DLT para n≥4 correspondencias.
𝑑𝑎𝑙𝑔 (𝑥 ′ . Se necesita determinar la homografía 𝐻 �𝚤 que minimicen la siguiente función: parejas de puntos 𝑥�𝚤 y 𝑥′ �𝚤 �2 + 𝑑(𝑥𝑖 . 𝐻𝑥𝑖 )2 (2. denominado residual. 𝐻𝑥𝑖 )2 (2.Algoritmo GRASP para registrado y fusión de imágenes digitales 3. Minimiza la distancia euclídea entre las coordenadas medidas y estimadas para el punto x’i.5. o Error de transferencia: El error solamente existe en la segunda imagen.28) 𝑖 • Distancia geométrica: Minimizan la diferencia entre las coordenadas medidas y estimadas sobre la imagen. o Error de retroproyección: Realiza una corrección de las coordenadas de los � y las puntos para cada correspondencia. Minimiza estos errores considerando la transformación hacia delante H y hacia atrás H-1 y sumándolos. Cada correspondencia genera un vector de error algebraico parcial y su unión proporciona el vector resultante. � 𝑑(𝑥𝑖 . 𝑥′ (2. donde existen errores de medida en ambas imágenes.31) 𝑖 Ingeniería en Informática 31 . Denormalización: Deshacer las transformaciones de normalización de forma � T. 𝑥�𝚤 )2 � 𝑑�𝑥′𝑖 . el sistema de ecuaciones es sobredeterminado y si esos puntos presentan ruido en sus coordenadas. Estas funciones de costo para determinar h son: • Distancia algebraica: Minimiza el error de 𝐴 ⋅ ℎ.29) 𝑖 o Error de transferencia simétrico: Es el caso más realista. 𝐻𝑥)2 = ��ℇ𝑖 2 � = (𝐴 ⋅ ℎ)2 (2. 𝐻 −1 𝑥′𝑖 )2 + 𝑑(𝑥′𝑖 . no es posible ofrecer una solución exacta y se intenta obtener una solución aproximada que minimice una función de costo.30) 𝑖 El primer término de esta suma es el error en la primera imagen y el segundo es el error en la segunda imagen. � 𝑑(𝑥′𝑖 .2 Funciones de costo: En el caso de disponer de más de cuatro correspondencias entre puntos. H = T ′−1 H 2.
Soporta hasta casi un 50% de outliers y a diferencia de RANSAC. (𝐻𝑥)2 ] 𝜕𝑥 (2. se aproxima de forma lineal en un entorno del punto y calcula el jacobiano de ella: 𝐽= 2. no necesita determinar ningún umbral ni parámetro. 𝜀 = 𝑥′𝑇 𝐻𝑥.Algoritmo GRASP para registrado y fusión de imágenes digitales • Error de Sampson: El resultado se aproxima al error geométrico pero reduciendo su complejidad. LMS): Estima los parámetros obteniendo el valor mínimo para la mediana de los cuadrados de los residuos calculados para el conjunto entero de puntos (Peter J. 𝐻 𝑇 𝑥′𝑖 )2 } (2. Ingeniería en Informática 32 . por lo que se utilizan métodos de estimación robustos para identificarlos y que no se tengan en cuenta.3 Estimación robusta: 𝜕𝜀 = [(𝐻 𝑇 𝑥′)1 . calcular su modelo y estimar cuántos puntos del conjunto completo están dentro de una distancia mínima con respecto al modelo. acercándola a la del error algebraico. umbral de distancia a considerar y número de iteraciones del algoritmo a realizar. 𝐻𝑥𝑖 )2 + 𝑑(𝑥𝑖 . 1981). Este método necesita que se fijen tres parámetros: porcentaje de puntos que deben ser inliers.33) La eficiencia de este método es pobre en presencia de ruido Gaussiano pero puede solventarse mediante un procedimiento de mínimos cuadrados ponderados. que son aquellos puntos que se han estimado que están en correspondencia pero realmente no lo están. Podemos distinguir los siguientes:  RANdom SAmple Consensus (RANSAC): Es un algoritmo general basado en la selección de un reducido conjunto de puntos (el menor permitido). Funciona correctamente con una gran proporción de outliers entre los datos de entrada. (𝐻𝑥)1 .5. Estos puntos tienen una gran influencia negativa en el cálculo de la matriz H. 𝑀𝑖𝑛 𝑚𝑒𝑑𝑖𝑎𝑛𝑎𝑖 {𝑟𝑖 2 = 𝑑(𝑥′𝑖 .32) En el proceso de emparejamiento pueden producirse errores sistemáticos que provoquen parejas de puntos aberrantes (outliers).  Mínima mediana de cuadrados (Least Median of Squares. Rousseeuw). Parte de la hipótesis que la función de costo. Los métodos de estimación robusta clasifican los conjuntos de puntos entre outliers e inliers. Este proceso se repite hasta obtener un gran conjunto de puntos que cumplan con el modelo. (Fischler y Bolles. (𝐻 𝑇 𝑥′)2 .
Fischler y Robert C. seleccionar un nuevo subconjunto y repetir los pasos anteriores. Si es el conjunto consenso de la muestra e indica los inliers de S. como un método robusto para estimar los parámetros de un determinado modelo a partir de un conjunto de datos contaminados por una gran cantidad de valores atípicos. Bolles en 1981. Aunque existen muchas variaciones.Prueba: En este paso.Algoritmo GRASP para registrado y fusión de imágenes digitales 2. 4. Si el tamaño de Si es menor que un umbral T. Determinar el conjunto de datos Si que están dentro de una distancia umbral t del modelo. . Este método requiere que se especifiquen tres parámetros: Ingeniería en Informática 33 . Seleccionar aleatoriamente una muestra de s datos de S y se calcula el modelo para este subconjunto. 2. RANSAC es una técnica de remuestreo que genera soluciones candidatas basándose en un número mínimo de observaciones. 3. se selecciona el mayor conjunto consenso Si y se recalcula el modelo utilizando todos los puntos de ese subconjunto o se termina en fracaso. 5. el algoritmo se compone esencialmente de dos pasos que se repiten de forma iterativa: . A diferencia de las técnicas convencionales de muestreo que utilizan la mayor cantidad posible de datos para obtener una solución inicial y luego proceden a podar los valores atípicos. El conjunto de estos elementos se denomina conjunto consenso (CS). que después amplía con el resto de datos coherentes.Formular hipótesis: Un grupo mínimo de muestras (MSS) se seleccionan al azar de un conjunto de datos de entrada y se calculan los parámetros del modelo usando sólo estos elementos. recalcular el modelo utilizando todos los datos en Si y terminar. RANSAC comprueba que los elementos del conjunto total de datos son consistentes con el modelo obtenido con los parámetros estimados en el primer paso. A continuación se describe el algoritmo RANSAC para un conjunto de datos S con puntos atípicos: 1. RANSAC termina cuando la probabilidad de encontrar un mejor CS cae por debajo de un determinado umbral. Un dato se considera atípico si no pertenece al modelo obtenido con datos correctos.6 RANDOM SAMPLE CONSENSUS (RANSAC): El algoritmo RANSAC (RANdom SAmple Consensus) fue propuesto por Martin A. Si el tamaño de Si es mayor que un umbral T. Después de N intentos.
si es demasiado grande puede incrementar considerablemente el tiempo de ejecución del algoritmo. N log(1 − 𝑝) /log (1 − (1 − 𝑒)𝑠 ). según la expresión: El valor de e no es un valor conocido a priori y por tanto. // p=0. es necesario usar un algoritmo iterativo para recalcular los valores de e y N al mismo tiempo que se seleccionan nuevas muestras: Procedimiento Cálculo de N() N ∞.24: Pseudocódigo para calcular N iterativamente.7 COMPOSICIÓN DE IMÁGENES: La composición de imágenes es el proceso siguiente al registrado de imágenes y consiste en decidir cómo se mostrará el mosaico final. • Umbral T: Número de puntos compatibles con el modelo para poder afirmar que se ha encontrado el correcto. Es importante que el valor de la distancia umbral sea el correcto. e 1-(num_Inliers/datos_Totales). num_Iteraciones 0. y mientras los valores atípicos pueden afectar negativamente al resultado. 2. Y por otro lado. Este proceso incluye 2 etapas: • Selección de la superficie y de la vista: Se encarga de representar la imagen final.99 num_Iteraciones++. con una alta probabilidad p (normalmente.99). Por un lado. Mientras num_Iteraciones < N Hacer Seleccionar muestra y contar número de inliers (num_Inliers). debe ser lo suficientemente grande para asegurar. FinMientras FinProcedimiento Figura 2. p=0. ya que se encarga de clasificar los datos en inliers y outliers. El umbral T suele obtenerse en función de un supuesto porcentaje de puntos que puedan ser outliers. • Número de intentos N: Número de subconjuntos a tratar. que al menos una muestra está libre de outliers. que denotaremos por e y del número total de datos: 𝑇 = (1 − 𝑒)𝑛 (2.35) El parámetro de número de intentos es el más complejo. los compatibles lo favorecen. N puede asignarse iterativamente atendiendo al porcentaje de inliers.Algoritmo GRASP para registrado y fusión de imágenes digitales • Distancia umbral t: Tolerancia de error utilizada para determinar si un punto es compatible o no con el modelo. Es necesario para seleccionar una imagen como referencia y aplicar a las demás Ingeniería en Informática 34 .34) 𝑁 = log(1 − 𝑝) /log (1 − (1 − 𝑒)𝑠 ) (2.
• Selección de los píxeles de cada imagen que contribuyen a la composición final y forma óptima de mezclarlos: Después de mapear los píxeles de cada imagen sobre la superficie de la composición final. La selección de la imagen que ocupará la posición central de la composición puede determinarse por las coordenadas geométricas de las imágenes. Los problemas de desenfoque u objetos fantasmas pueden seguir siendo un problema. mediante alguna heurística o ser la primera imagen. no se puede obtener una representación plana sin excesivo estiramiento de los píxeles cerca de los límites de la imagen y por tanto. La composición resultante puede ser una superficie plana si la proyección es una perspectiva (las líneas rectas permanecen rectas después de la transformación). se requiere una proyección cilíndrica (Szeliski 1994. que asigna a cada píxel el centro de la imagen Ingeniería en Informática 35 . no existe distorsión radial y por tanto. si la superficie es cilíndrica o esférica se debe calcular de acuerdo a las ecuaciones de proyección. Este problema se facilita en gran medida si se ha realizado un perfecto registrado y poseen exposiciones idénticas. Si abarca un gran campo de visión. desenfoque y objetos fantasmas (ghosting).Algoritmo GRASP para registrado y fusión de imágenes digitales imágenes las transformaciones necesarias para que compartan con ella el mismo sistema de referencia. asumiendo que contiene el objeto de más interés.  Selección óptima de uniones: Una mejora a la técnica anterior es utilizar una variante del diagrama de Vornoi. Chen 1995) o esférica (Szeliski y Shum 1997). Las transformaciones realizadas en el proceso de registrado de cada imagen dependerán de la superficie que se haya adoptado. la transformación es una simple homografía. Sin embargo. Se debe decidir los píxeles que se usarán y que peso tendrán en la composición final para que se consiga minimizar los problemas anteriores. es frecuente que las imágenes reales produzcan problemas de viñetado. es importante decidir la manera de mezclarlos para crear una panorámica atractiva. Existen varios enfoques:  Realizar la media de los valores de los píxeles: Con esta técnica no se obtienen muy buenos resultados. Si la superficie es plana.  Filtro de mediana (Irani and Anandan 1998): Puede aplicarse si el único problema es el movimiento rápido de objetos.  Media ponderada: Los píxeles del centro de la imagen reciben un mayor peso que los cercanos a los bordes para calcular la media entre ellos. En cambio. Puede realizarse obteniendo un mapa de distancias.
y de forma automática. En la siguiente imagen se observan los resultados obtenidos al aplicar estos enfoques: Figura 2.  Para generalizar este proceso. indicando el usuario los objetos que desea que aparezcan y los que no.26: Sistema creado por Uyttendaele: (a) imágenes superpuestas (b) Regiones de diferencia (c) Gráfico de coincidencias de RODs.25: Composición final obtenida al aplicar: (a) media (b) mediana (c) media ponderada (d) Vornoi. Uyttendaele en 2001 observó que en imágenes bien registradas. para decidir qué objetos mantener y cuáles borrar. Figura 2. que calculaba la asignación de etiquetas que optimizaran la suma de dos funciones objetivos: o La primera función determina qué píxeles son idóneos para obtener una buena composición. el movimiento de objetos producía los artefactos más visibles (fantasmas translúcidos) e inventó un sistema. Una solución más adecuada será ejecutar un algoritmo que evite cortar objetos en movimiento provocando que la transición resulte poco natural (Davis 1998). Sin embargo. no tiene en cuenta la estructura subyacente de las uniones de las imágenes. basado en regiones de diferencia (RODs) y la superposición producida en la composición final. Pueden ser obtenidos de forma manual. Ingeniería en Informática 36 . mediante un criterio de máxima probabilidad.Algoritmo GRASP para registrado y fusión de imágenes digitales más cercana del conjunto. que selecciona aquellos píxeles que ocurren repetidamente para eliminarlos o de mínima probabilidad. que mantiene los objetos que ocurren con poca frecuencia.  Una aproximación diferente fue propuesta por Agarwala en 2004.
que indica mediante trazos sobre las imágenes origen las personas que desea agregar. Una técnica heurística es un método o procedimiento inteligente de desarrollar una tarea mediante el conocimiento experto que se tiene de ella. y se necesitan algoritmos aproximados o heurísticos que proporcionen buenas soluciones (aunque no sean las óptimas) en un tiempo razonable. se usa el término heurístico para referirse a un procedimiento que trata de aportar soluciones a un problema con un buen rendimiento. de cálculo de gradientes o de presencia de bordes. Este fotomontaje se obtiene con la colaboración del usuario. o La segunda función penaliza la diferencia entre imágenes adyacentes por medio de una función de costo.27 se muestra la composición final de una familia donde todos los integrantes están sonriendo. y precisan de un tiempo exponencial en el peor de los casos.Algoritmo GRASP para registrado y fusión de imágenes digitales La Figura 2. en cuanto a la calidad de las soluciones y a los recursos empleados. La optimización de este cálculo es un problema NPduro y es necesario emplear técnicas metaheurísticas. Ingeniería en Informática 37 . conocidos como NP-duros. el de mínimo coste o la asignación óptima.27: Composición final a partir de un conjunto de 4 imágenes (Agarwala.8 TÉCNICAS METAHEURÍSTICAS: Existe una serie de problemas reales. 2004). backtracking o branch and bound) son ineficientes o imposibles de aplicar. que requieren de un proceso de optimización o búsqueda y cuya solución es difícil de encontrar en un tiempo admisible para aplicaciones prácticas. Estos problemas. tales como obtener el camino más corto. Los algoritmos exactos (programación dinámica. como templado simulado (Geman y Geman 1984) o graph cuts (Boykov 2001). En definitiva. aparecen en multitud de tareas. La suma de estas dos funciones es a menudo llamada energía del Campo Aleatorio de Markov. el calificativo heurístico se aplica a todos aquellos aspectos que tienen que ver con el empleo de conocimiento en la realización dinámica de tareas. En Inteligencia Artificial (IA). debido a la gran complejidad computacional. 2. Figura 2.
C. Algoritmos incluidos en este tipo de técnicas son:  Computación evolutiva: Término que agrupa a la Programación Evolutiva (Lawrence J. las Estrategias Evolutivas (Ingo Rechenberg y Hans-Paul Schwefel. P. 96). • Diversificación o exploración: Cantidad de esfuerzo empleado en la búsqueda de diferentes regiones del espacio.  Búsqueda Dispersa o Scatter Search (Glover. Kirkpatrick. 76).  Búsqueda Tabú (Glover. y M. aunque sin garantizar su factibilidad. Mladenovic y P. Widmer. Holland.Algoritmo GRASP para registrado y fusión de imágenes digitales Las técnicas metaheurísticas son una familia de algoritmos aproximados de propósito general. Fogel. 01) o de Vencindario Variable. en tiempos de convergencia razonables. del primer mejor (A. 77).  Templado simulado (S. D. iterada (Lourenço. En el diseño de dichas estrategias debe establecerse un equilibrio entre dos características incompatibles: • Intensificación o explotación: Cantidad de esfuerzo empleado en la búsqueda en la región actual.  Optimización basada en Colonias de Hormigas (M. 70s) y a los Algoritmos Genéticos (John H.Identificar rápidamente regiones del espacio de búsqueda con soluciones de buena calidad. 96). Widmer. 86). El término metaheurística apareció por primera vez en un artículo de Fred Glover sobre búsqueda tabú en 1986.No malgastar demasiado tiempo en regiones del espacio no prometedoras o que ya han sido exploradas previamente. Estos métodos de resolución gestionan la interacción entre procedimientos de mejora local y estrategias de más alto nivel para crear procesos capaces de escapar de óptimos locales y realizar una búsqueda robusta del dominio de la solución. Proporcionan soluciones aceptables al problema (próximas al óptimo). Hansen. Ingeniería en Informática 38 . 97). Gelatt Jr.  Algoritmos Meméticos (Richard Dawkins. Vecchi. . Son procedimientos iterativos que dirigen una heurística subordinada de búsqueda con el fin de aumentar sus capacidades exploratorias.  Búsqueda Local: Del mejor (A. Las metaheurísticas exploran espacios de búsqueda mediante diversas estrategias. (N. 83). 75). Este equilibrio es necesario por dos razones: . 60s). Hertz y M. Dorigo. Hertz y M. 96).
8. • Múltiple: Debe suministrar diferentes soluciones alternativas de alta calidad entre las que el usuario pueda elegir.8. 95). • Robusta: El comportamiento de la metaheurística debe ser poco sensible a pequeñas alteraciones del modelo.Algoritmo GRASP para registrado y fusión de imágenes digitales  Métodos Multi-Arranque (Rinnooy Kan y Timmer. • Las técnicas que conforman los algoritmos metaheurísticos van desde la búsqueda local simple hasta procedimientos complejos de aprendizaje. • Precisa: Los pasos y fases deben ser concretos. • Incorporan mecanismos para evitar quedar atrapados en áreas concretas del espacio de búsqueda. Resende. C.1 Características: Las técnicas metaheurísticas se caracterizan por las siguientes propiedades: • Las metaheurísticas son estrategias que “guían” el proceso de búsqueda. • General: Debe ser válida en una amplia variedad de problemas. • Interactiva: La metaheurística debe permitir que el usuario pueda mejorar el rendimiento del procedimiento. • Autónoma: Debe permitir un funcionamiento autónomo.  Algoritmos basados en Estimación de Distribución (H. como tiempo de ejecución y espacio de memoria. • El objetivo es explorar eficientemente el espacio de búsqueda para encontrar soluciones próximas al óptimo. de fácil comprensión. • Los algoritmos metaheurísticos son aproximados y no deterministas. • Eficaz: La probabilidad de alcanzar soluciones óptimas debe ser alta. • Eficiente: La metaheurística debe realizar un buen aprovechamiento de recursos computacionales. • Adaptable: Debe ser capaz de adaptarse a diferentes contextos de aplicación o modificaciones importantes del modelo. 96). • Efectiva: El algoritmo debe proporcionar soluciones de muy alta calidad (óptimas o muy cercanas a las óptimas). 2.  Procedimientos de Búsqueda Adaptativa Aleatoriamente Voraces o GRASP (Thomas A. Feo y Mauricio G. 2. libre de parámetros o que se puedan establecer automáticamente. Mühlenbein. 87). • Coherente: Los elementos se deducen de sus principios.2 Propiedades: Es deseable que la metaheurística posea una serie de propiedades: • Simple: La metaheurística debe ser sencilla y clara. Ingeniería en Informática 39 .
3 Clasificación: Existen diversas formas de clasificar las técnicas metaheurísticas dependiendo de las características que seleccionemos para diferenciarlos entre sí. Según C.8. incorporando información recogida durante el proceso de búsqueda. algunas metaheurísticas. Blum y A.  Función objetivo dinámica y estática: La clasificación se puede realizar de acuerdo a la manera de utilizar la función objetivo. El propósito de estos últimos es el de escapar de mínimos locales modificando la función objetivo. sin embargo.  Una sola o varias estructuras de vecindario: La mayoría de los algoritmos metaheurísticos trabajan con una sola estructura de vecindario. Las primeras se caracterizan por llevar a cabo procesos de búsqueda que describen la evolución de un conjunto de soluciones dentro del espacio de búsqueda mientras que las segundas. que les proporciona la posibilidad de diversificar la búsqueda. describiendo una trayectoria concreta dentro del espacio. Algunos algoritmos la mantienen inalterada en la representación del problema y durante la búsqueda y. parten de una solución inicial e iterativamente tratan de reemplazarla por otra de su vecindario con mejor calidad. usan un conjunto de estructuras de vecindario. otros modifican el formato de la búsqueda. como la búsqueda de vecindario variable. Hay algoritmos inspirados en procesos de la naturaleza (como los algoritmos genéticos o los algoritmos de colonias de hormigas) y otros no inspirados en la naturaleza (como la búsqueda Tabú o la búsqueda local iterada). ya que la información que precisan para determinar la Ingeniería en Informática 40 . Roli (2003) estos criterios son:  Inspirados y no inspirados en la naturaleza: Clasifica las metaheurísticas por el origen del algoritmo en cuestión. No obstante. basadas en trayectorias. Es la forma más intuitiva de clasificación pero no la mejor por diversos motivos: la proliferación de métodos híbridos difíciles de encuadrar en alguna de estas categorías y la dificultad de conocer el origen del algoritmo. Los algoritmos sin memoria llevan a cabo un proceso de Markov.Algoritmo GRASP para registrado y fusión de imágenes digitales 2.  Métodos con y sin memoria: Un aspecto muy importante de las metaheurísticas es el uso que hacen de la historia de la búsqueda (si emplean memoria o no).  Basados en población y búsqueda en un único punto: Otro criterio para la clasificación de las metaheurísticas es la forma en que se realiza la búsqueda: centrada en el estudio de una población o en un individuo en particular. que no cambia durante el desarrollo del algoritmo.
se distingue entre memoria a corto o a largo plazo. α) x* ∞. soluciones visitadas o decisiones tomadas recientemente. reconocido como uno de los elementos cruciales que determina la potencia de una metaheurística. En la fase de construcción se aplica un método heurístico para obtener una solución inicial factible buena. La primera. suele guardar información sobre acciones realizadas. Max_Iteraciones Hacer x Fase de construcción (α). la memoria a largo plazo almacena un conjunto de parámetros que sintetizan la búsqueda realizada desde el comienzo de la ejecución del algoritmo.9 GREEDY RANDOMIZED ADAPTIVE SEARCH PROCEDURE (GRASP): El algoritmo GRASP es una de las técnicas más exitosas aparecidas en los últimos años del siglo pasado.…. se guarda en cada iteración. El uso de memoria es. son procesadas para obtener otras aún mejores. // Actualizar solución FinSi FinPara Retornar x*. se mejora ésta mediante un algoritmo de búsqueda local. y sus siglas en inglés son el acrónimo de procedimiento de búsqueda voraz adaptativo aleatorizado.28: Pseudocódigo del algoritmo GRASP. Resende en 1995. diseñado con el propósito de resolver problemas complejos de optimización combinatoria. Este método multi-arranque. En su versión básica. sin ser necesariamente un óptimo local y en la siguiente fase. intenta construir soluciones de alta calidad que. // Solución final FinProcedimiento Figura 2. cada iteración consiste en dos fases: una fase de construcción y otra de mejora. terminando el algoritmo cuando se alcanza un criterio de terminación. La mejor solución encontrada entre todas las examinadas. Hay diferentes formas de usar la memoria.Algoritmo GRASP para registrado y fusión de imágenes digitales siguiente acción se limita al estado actual del proceso de búsqueda. Para i = 1. // Realiza una búsqueda local Si Función Objetivo(x) < Función Objetivo(x*) Entonces x* x. posteriormente. Feo y Mauricio G. Habitualmente.28 se muestra el pseudocódigo del algoritmo GRASP: Procedimiento GRASP (Max_Iteraciones. En la Figura 2. En cambio. Ingeniería en Informática 41 . que examina las vecindades de la solución hasta llegar al óptimo local. C. Fue propuesto por Thomas A. hoy en día. 2. x Fase de mejora (x).
Esta fase es voraz porque la selección del elemento a incorporar a la solución se realiza calculando el efecto de las distintas alternativas sobre la función objetivo a optimizar. se han propuesto diversas soluciones que mejoren la fase de construcción: .Reencadenamiento de trayectorias (Path-relinking): Esquema de intensificación. adaptativa y aleatoria. Esta función mide la contribución local de cada candidato a la solución parcial. RCL). Un elemento que pueda seleccionarse como parte de una solución parcial se llama elemento candidato y para determinar cuál de ellos es el que se debe incluir.GRASP reactivo (Reactive GRASP): Los valores de la lista de candidatos no son fijos y en cada iteración. dependiendo de las decisiones tomadas previamente. . con lo que las iteraciones son independientes y no utilizan las observaciones previas. presenta una importante desventaja al no poseer estructuras de memoria.Vecindades variables: Se basa en la proximidad de las buenas soluciones. la función de evaluación puede proporcionar un índice de bondad diferente en cada iteración.Algoritmo GRASP para registrado y fusión de imágenes digitales Las características más relevantes de GRASP son su sencillez y facilidad de implementación y su funcionamiento robusto en un gran número de problemas de diferentes campos. crea una lista restringida de candidatos (Restricted Candidate List. Sin embargo. Por último.9. GRASP es considerado un método heurístico aleatorizado porque no elige el mejor candidato propuesto por la función de evaluación. se utiliza una función de evaluación miope (función que solamente tiene en cuenta lo que ocurre en la iteración actual y no en las sucesivas). Ingeniería en Informática 42 . Descarta la información acerca de cualquier solución encontrada que no mejore la actual. Para solucionar este defecto. . sino que procurando que exista diversidad y no se repitan soluciones en iteraciones diferentes. se seleccionan de un conjunto discreto de posibles elementos. 2. Es adaptativo debido a que para un mismo elemento.Funciones de sesgo: Utiliza una distribución de probabilidad para sesgar la selección sobre candidatos particulares. que contiene un conjunto de elementos candidatos con los mejores valores de la función miope y selecciona uno al azar.1 Fase de construcción: La fase de construcción es la culpable de que la metaheurística sea voraz. donde las soluciones generadas en cada iteración se reencadenan con otras soluciones de un conjunto élite. Esta selección es guiada por la solución encontrada en las iteraciones anteriores. .
// Inicio solución inicial Calcular costo miope para cada elemento. x* ø. x* e. Este proceso termina cuando no se encuentra una solución mejor en su entorno de vecindad. El pseudocódigo de la fase de mejora puede verse en la Figura 2.9. Sirve para buscar soluciones localmente óptimas en regiones prometedoras del espacio de soluciones. // Se borra el elemento Calcular costo miope para cada elemento. Igual sucede en el segundo caso.2 Fase de mejora: Normalmente. Mientras E ≠ ø Hacer RCL Crear RCL(E). // Se actualizan los // valores de la función FinMientras Retornar x*. En cambio si α=n. explora el vecindario de una solución de partida en busca de una mejor para reemplazarla. el algoritmo es completamente aleatorio.Algoritmo GRASP para registrado y fusión de imágenes digitales El tamaño de la lista de candidatos (α) es un elemento crítico. // Devolvemos solución inicial FinProcedimiento Figura 2. En el primer caso. si α=1 siempre se añadiría el mejor elemento y la construcción sería equivalente a una heurística voraz determinista. cuando el valor del rango es el mayor y el menor de la función de evaluación. // El elemento se añade a la solución E Eliminar (e).30: Ingeniería en Informática 43 . En la siguiente figura puede verse el pseudocódigo de esta fase: Procedimiento Fase de Construcción (α) E Leer Datos(). e Seleccionar elemento aleatorio(RCL). El algoritmo de búsqueda local. las soluciones obtenidas en la fase de construcción no suelen ser óptimos locales y es necesario aplicar un método de búsqueda local para mejorar la solución. 2.29: Pseudocódigo de la fase de construcción de GRASP En este punto ya se dispone de una solución inicial. La lista puede contener un número fijo de elementos (restricción por cardinalidad) o aquellos elementos cuyos valores de la función miope estén dentro de un rango dado. pero no se puede considerar un óptimo válido como resultado final. respectivamente. de manera iterativa.
// Se reemplaza la solución actual FinSi FinMientras Retornar x*. la técnica de búsqueda de vecinos. la solución será el primer vecino cuyo valor de la función objetivo sea inferior.Algoritmo GRASP para registrado y fusión de imágenes digitales Procedimiento Fase de Mejora (x*) Mientras x* no es localmente óptima Hacer x Solución del vecindario(x*). la estructura de vecindad es simple y la técnica de búsqueda puede implementarse utilizando una estrategia de mayor-mejora o primera-mejora. Si Función Objetivo(x) < Función Objetivo(x*) Entonces x* x. Ingeniería en Informática 44 . Generalmente. FinProcedimiento Figura 2. se analizan todos los vecinos y la solución actual se reemplaza por el mejor de ellos y en el segundo. la rapidez en la función de evaluación y la propia solución inicial. la fase de construcción juega un papel determinante. En el primer caso. En cuanto a la solución inicial. La efectividad del procedimiento de búsqueda local depende de varios factores.30: Pseudocódigo de la fase de mejora de GRASP. como la estructura de vecindad.
Primeramente deberemos extraer la región de solapamiento de cada una de las imágenes y posteriormente. que delimitan áreas donde aparece un cambio brusco de iluminación y los puntos SIFT. con un modelo basado en una línea recta determinar la zona de unión entre las imágenes. El objetivo principal de este proyecto será mejorar la imagen resultante del registrado de diferentes imágenes digitales por medio de la utilización de un algoritmo de búsqueda GRASP.Algoritmo GRASP para registrado y fusión de imágenes digitales 3. La combinación de múltiples imágenes para obtener una panorámica o una imagen de alta resolución es una materia en continuo estudio y desarrollo durante los últimos años en la disciplina de la visión por computador. la imagen idónea debido a diversas circunstancias como elementos indeseados en movimiento. objetos a altas temperaturas que saturan la lente o fotografías gran angular. • Emparejamiento de características: Aplicando un algoritmo RANSAC seleccionaremos aquellas correspondencias con mayor probabilidad de ser verdaderas. Ingeniería en Informática 45 . el emborronamiento y los objetos móviles indeseados. Las dos últimas propiedades son perfectas para conseguir que se note menos la transición entre las imágenes. Conseguiremos mejorar la imagen resultante perfeccionando la superposición de las imágenes. los contornos. como son la mezcla de las imágenes. La realización de estas etapas conlleva la existencia de problemas que deben ser resueltos. aquellas características invariantes en las imágenes. OBJETIVOS DEL PROYECTO A menudo existen situaciones donde es imposible obtener. la compensación de exposiciones. fuertes contrastes de luces y sombras. Este proceso requiere que se realicen varias etapas: • Detección de puntos clave característicos: Mediante el uso de SIFT será posible extraer características invariantes a escalado. obtendremos la homografía a realizar sobre cada pareja de imágenes. rotación y parcialmente a iluminación de las imágenes. fallos en el registrado o desplazamiento de elementos. la distorsión de lentes. • Transformación y obtención de la imagen final: Con el conjunto de correspondencias anteriores. en una única captura. En la elección de la zona de unión tendremos en cuenta dónde se produce la mayor diferencia en el solapamiento de ellas. que denotará posibles ruidos.
gracias a los puntos de los contornos que devuelve el algoritmo CANNY y a los descriptores SIFT. la cuál será encaminada por las líneas obtenidas por la transformada de Hough. Para finalizar.Algoritmo GRASP para registrado y fusión de imágenes digitales Tendremos que especificar una función objetivo que indique la bondad del corte. nos encargaremos de otorgar pesos a cada una de estas métricas para decidir su grado de influencia y de fijar la condición de terminación del algoritmo. La complejidad de evaluar todos los posibles cortes que pueden realizarse hace necesario el empleo de una técnica metaheurística. Ingeniería en Informática 46 . habrá que determinar cuál de esas dos partes pertenecientes a cada imagen contribuyen a obtener la imagen final. Una vez se encuentre el mejor corte posible. Además. habrá que diseñar un filtro de suavizado que atenúe el impacto de la fusión de las imágenes. Estará definida en tres partes: Una métrica para evaluar la diferencia entre las imágenes y otras dos para estimar la proximidad de ese corte a un borde y a las características invariantes. Desarrollaremos un método que calcule cuál de ellas produce una menor sensación visual negativa. Todas estas tareas se podrán realizar gracias al uso de una librería visual y a la familiarización con sus funciones y tipos de datos.
2 C++: C++ es un lenguaje de programación diseñado a mediados de los años 1980 por Bjarne Stroustrup en los laboratorios Bell de AT&T. aunque actualmente se han desarrollado las extensiones necesarias para muchos otros. así como servicios web en cualquier entorno que soporte la plataforma . el C++ es un lenguaje híbrido. Se ha elegido Visual Studio 2010 para desarrollar este proyecto porque garantiza obtener fácilmente soluciones de calidad. Visual J#.NET. Su éxito entre los programadores profesionales le ha llevado a ocupar el primer puesto como herramienta de desarrollo de aplicaciones. Asegura código de calidad durante todo el ciclo de vida de la aplicación.NET y Visual Basic .1. En 1998. HIPÓTESIS DE TRABAJO En este capítulo se expone el programa informático y el lenguaje de programación utilizado y las librerías y herramientas que han servido de apoyo y soporte para realizar el proyecto.1 Microsoft Visual Studio: Microsoft Visual Studio es un potente Entorno de Desarrollo Integrado (IDE) para sistemas operativos Windows. que se sumaron a los otros dos paradigmas que ya estaban admitidos (programación estructurada y la programación orientada a objetos). 4. las organizaciones ANSI e ISO aprobaron el estándar ANSI C++. El C++ mantiene las ventajas del C en cuanto a riqueza de Ingeniería en Informática 47 . En la actualidad.1 ENTORNO Y LENGUAJE DE PROGRAMACIÓN: A continuación se detalla el entorno y lenguaje de programación empleado para llevar a cabo la implementación: 4. potente y general. Por esto.Algoritmo GRASP para registrado y fusión de imágenes digitales 4. ASP. La intención de su creación fue la de extender el exitoso lenguaje de programación C con mecanismos que permitieran la manipulación de objetos. se pueden crear aplicaciones que se intercomuniquen entre estaciones de trabajo. sitios y aplicaciones web.NET.1. páginas web y dispositivos móviles. 4. Soporta varios lenguajes de programación como Visual C++. Incluye herramientas de depuración. desde el diseño a la implementación. suele decirse que el C++ es un lenguaje de programación multiparadigma. diagnóstico y pruebas. Posteriormente se añadieron facilidades de programación genérica. Visual C#. De esta manera. C++ es un lenguaje versátil. desde el punto de vista de los lenguajes orientados a objetos. Visual Studio permite crear aplicaciones. En ese sentido.
al estar bajo licencia privada de Intel. Uno de sus objetivos es proporcionar una infraestructura de visión artificial sencilla para la construcción de aplicaciones sofisticadas de forma rápida. Incluye diversos clasificadores estadísticos y herramientas de agrupamiento. por lo que está permitido su uso tanto con fines de investigación como comerciales. concisión y eficiencia. ha eliminado algunas de las dificultades y limitaciones del C original. Una particularidad del C++ es la posibilidad de redefinir los operadores. Linux y Mac OS X.Algoritmo GRASP para registrado y fusión de imágenes digitales operadores y expresiones. Además. y de poder crear nuevos tipos que se comporten como tipos fundamentales. existiendo versiones compatibles con sistemas operativos Windows.1 Open Source Computer Vision (OpenCV): OpenCV (Open source Computer Vision library) es una librería de código abierto para visión artificial desarrollada por Intel y publicada bajo licencia BSD en el año 2002. También hay interfaces en desarrollo para Python. Asimismo. Ingeniería en Informática 48 . Matlab y otros lenguajes.2 LIBRERÍAS Y HERRAMIENTAS: En la resolución de este proyecto intervienen una serie de librerías y herramientas que describiremos a continuación: 4. En futuras versiones. con la diferencia de que IPP está altamente optimizada y que su uso no es libre. • HighGUI: Contiene rutinas de entrada/salida y funciones para almacenar y cargar imágenes y vídeos. destinada principalmente a aplicaciones en tiempo real. • CVAux: Contiene funciones obsoletas y algoritmos experimentales. • CXCore: Comprende la estructura y algoritmos básicos. Está estructurada en cinco componentes principales: • CV: Se encarga del procesamiento básico de imágenes y algoritmos de visión artificial de alto nivel. Ruby. flexibilidad. es compatible con la librería también de Intel IPP (Integrated Performance Primitives) que implementa funcionalidades a bajo nivel de procesamiento de imágenes digitales extendiendo a IPL. • MLL (Machine Learning Library): Biblioteca de aprendizaje automático de propósito general. 4. OpenCV fue diseñada para obtener una alta eficiencia computacional. Está optimizada para su uso en arquitecturas Intel con soporte para instrucciones MMX. algunas de ellos podrían migrar hacia CV.2. La librería está escrita en C y C++ y es multiplataforma.
Intel. el cual ganó el premio DARPA Grand Challenge de carrera de robots en el desierto. Cambridge e INRIA. uno de los métodos de extracción de características invariantes más conocido y utilizado. con la aparición de los procesadores multinúcleo. 4. como IBM. mar y aire. el rastreo de movimiento. Siemens. el análisis de objetos. al reconocimiento de objetos. y Google y centros de investigación.5 millones de descargas de esta librería y posee una amplia comunidad de más de 40000 usuarios. aplicaciones militares y el manejo de vehículos no tripulados por tierra. SONY. escrita en C++. fácil de utilizar y portable a otras plataformas. Utilizaremos OpenCV por ser una librería abierta. creado en Stamford. OpenCV proporciona más de 500 funciones que abarcan una gran variedad de áreas de la visión artificial como la interacción persona-ordenador. a pesar de su popularidad. OpenCV ha sido utilizada en muchas aplicaciones. rápida. entre las que se incluyen la unión de imágenes por satélite. el alineamiento de imágenes. la robótica y la segmentación y reconocimiento. los sistemas de detección de intrusos y seguridad. Desafortunadamente. actualmente. la reducción de ruido en imágenes médicas.2. muy potente. En la actualidad. Microsoft. OpenCV es un área de desarrollo muy activo en distintas instituciones. la identificación de objetos. incluyendo grandes compañías.1: Estructura básica de OpenCV. Fue una parte clave del sistema de visión del robot “Stanley”.Algoritmo GRASP para registrado y fusión de imágenes digitales Figura 4. localización y mapeo de robots o rastreo de objetos. como Stamford. Se han realizado más de 3. el reconocimiento de gestos. CMU.2 Implementación de SIFT: La detección y descripción de características locales en imágenes tienen gran importancia en casi todas las áreas de la visión por computador desde visión 3D. MIT. David Lowe publicó únicamente una implementación en formato binario Ingeniería en Informática 49 . El algoritmo SIFT es. el reconocimiento facial.
2).Algoritmo GRASP para registrado y fusión de imágenes digitales ejecutable dejando la necesidad de contar con una librería de rutinas de SIFT de propósito general. la liberó y se convirtió en la primera versión del algoritmo SIFT públicamente disponible. (Figura 4. El algoritmo RANSAC es capaz de realizar este proceso ante la posible presencia de outliers. (Figura 4. Figura 4. • RANSAC para calcular la transformación: Las correspondencias encontradas entre las imágenes pueden ser usadas para calcular analíticamente la transformación deseada. La versión de Hess es una librería de código abierto escrita en C. Su API utiliza los tipos de datos de OpenCV para representar imágenes y matrices.3: RANSAC para calcular la transformación. Esta librería contiene cuatro componentes principales: • Detección de puntos clave SIFT: El principal componente de la librería. basada fielmente en el artículo de Lowe de 2004. utilizando la librería OpenCV.2: Detección de puntos clave SIFT. fácilmente enlazable a los programas de los desarrolladores. fundamentalmente homografías. con versiones disponibles para Linux y Windows. Por esta razón. Rob Hess implementó una versión. Figura 4. facilitando la integración de sus funciones. • Estructura Kd-tree de puntos clave: Método para emparejar eficientemente los puntos clave de varias imágenes utilizando búsqueda del vecino más cercano. Conjunto de funciones para detectar puntos claves SIFT.3). Ingeniería en Informática 50 . En 2006.
En este proyecto se utilizará la implementación de Hess para extraer los puntos invariantes de las imágenes y realizar un emparejamiento eficaz.Algoritmo GRASP para registrado y fusión de imágenes digitales • Gestión de características invariantes: Conjunto de estructuras y funciones que permiten trabajar con características invariantes de las imágenes. los puntos clave detectados y la precisión de los emparejamientos y transformaciones entre las dos librerías y obtuvo siempre resultados similares. Rob Hess comparó los tiempos de procesamiento. Ingeniería en Informática 51 .
Algoritmo GRASP para registrado y fusión de imágenes digitales Ingeniería en Informática 52 .
Estas clases son las siguientes: • GRASP: Se encarga de implementar todo lo relativo al algoritmo GRASP. GRASP es una técnica de búsqueda metaheurística idónea para obtener la fusión de las imágenes deseada. Entre ellas podemos destacar las funciones básicas de carga y almacenamiento. En la siguiente figura podemos observar el diagrama de clases correspondiente: Ingeniería en Informática 53 . Calcular la diferencia entre esas regiones. Seleccionar la parte de la región de solape más apropiada para mostrar en cada zona dependiendo del corte obtenido. Incluye funciones de matching. La función _sift_features() es la más importante ya que obtiene los puntos invariantes de la imágenes.Algoritmo GRASP para registrado y fusión de imágenes digitales 5. 3. 2. 6. 5. guardar sus puntos SIFT y los de contornos y ejecutar el algoritmo GRASP. Además el main crea instancias de objetos y realiza llamadas a funciones de clases pertenecientes a la implementación de SIFT en código abierto. 5. 8. elección de imagen en cada zona del corte y suavizado de la imagen resultante. A continuación resumimos las acciones que debemos realizar para conseguirlo: 1. que describimos en el capítulo anterior. Aplicar un filtro de suavizado a la zona de unión de las imágenes. METODOLOGÍA Y RESULTADOS La finalidad de este proyecto es encontrar la mejor mezcla posible para un conjunto de imágenes. 4. Extraer los puntos SIFT de las imágenes y seleccionar la imagen base. Realizar el registrado de imágenes entre pares de imágenes.1 DISEÑO: El proyecto está estructurado en dos clases. transformaciones y detección de características. 7. operaciones de procesamiento espacial. Obtener las regiones de solapamiento de ambas imágenes. Tanto GRASP como main utilizan las funciones y estructuras proporcionadas por la librería OpenCV para manejar y tratar las imágenes. • Main: Realiza la gestión de las imágenes y calcula la homografía entre las imágenes. Crear un directorio de salida y almacenar los resultados obtenidos. donde se separa las funciones de procesamiento de las imágenes de la ejecución del algoritmo GRASP. Obtener el conjunto de imágenes de un determinado directorio y almacenarlas adecuadamente para su posterior procesamiento.
Tendremos que seleccionar de manera precisa las correspondencias con más probabilidades de ser reales para obtener la mejor homografía posible. extraeremos los puntos SIFT de cada una y elegiremos aquélla que más cantidad posea para ser la imagen base del mosaico debido a que será la que más posibilidades tenga de realizar buenos matching con las restantes.2 IMPLEMENTACIÓN: La implementación de este proyecto se encargará de obtener un conjunto de imágenes de un directorio determinado. Una vez almacenadas todas las imágenes. los puntos SIFT y de contorno y poder ejecutar el algoritmo GRASP. Por último.Algoritmo GRASP para registrado y fusión de imágenes digitales Figura 5. sólo nos faltará decidir qué parte de la región de solape de cada imagen se ha de mostrar en las zonas divididas por el corte encontrado y aplicar un filtro de suavizado en los lugares de unión de las imágenes.1: Diagrama de clases. Los emparejamientos siempre se realizarán desde la imagen que corresponda tratar a la imagen resultante. 5. debemos obtener las regiones de solapamiento de cada imagen y realizar las operaciones necesarias sobre ellas para hallar la imagen diferencia. La ruta se podrá indicar de forma absoluta o relativa. Ingeniería en Informática 54 . salvo la primera vez que será la imagen base. Después de lograr que las imágenes estén en un mismo sistema de referencia. a partir de la ubicación donde se encuentre el directorio proyecto/imágenes.
El cálculo de la homografía prioriza la precisión al número de los emparejamientos y por tanto.2 es un ejemplo de este modelo. Consideraremos que existe un emparejamiento entre características de dos imágenes cuando la distancia de los descriptores de los vecinos de los puntos SIFT sea menor que un umbral fijado.Algoritmo GRASP para registrado y fusión de imágenes digitales Este proceso se repite tantas veces como número de imágenes se suministren y al terminar dispondremos de un directorio de salida donde se almacenarán los puntos SIFT de las imágenes. donde establecemos la correspondencia entre los puntos clave de las imágenes. es conveniente utilizar un algoritmo RANSAC para seleccionar aquellas correspondencias que tengan más posibilidades de ser verdaderas. En la Figura 5. los matching realizados. o Modelo de cruce de rectas en un punto: La imagen captada es un plano más reducido (zoom) o más general de la imagen referencia. 5. Como se explicó anteriormente. Ingeniería en Informática 55 .3 puede observarse un caso donde debe aplicarse el modelo de cruce de rectas en un punto. La Figura 5. En los próximos apartados se desarrollarán en profundidad los pasos más relevantes.3 MATCHING Y CÁLCULO DE LA HOMOGRAFÍA: Un paso importante en el registrado de imágenes es el emparejamiento de características. El siguiente paso es calcular la transformación de registrado para obtener las nuevas coordenadas de la imagen a solapar que alinee ambas imágenes en un mismo espacio de referencia. RANSAC es una técnica de remuestreo que genera soluciones candidatas con un número mínimo de datos y después las amplía con el resto que sean coherentes. RANSAC está compuesto por dos etapas que se realizarán repetidamente: • Formular hipótesis: Se seleccionan un número mínimo de emparejamientos (inferior al 35%) y se calcula la pendiente media y el valor de la altura cuando se cruzan las rectas para estimar dos modelos diferentes representativos de la mayoría de casos que se producen de registrado de imágenes: o Modelo de rectas paralelas: Imagen que capta la parte izquierda o derecha de la imagen referencia. las soluciones de la ejecución del GRASP y las imágenes intermedias.
Figura 5.2: Modelo de rectas paralelas para seleccionar emparejamientos.
Figura 5.3: Modelo de cruce de rectas en un punto para seleccionar emparejamientos.
• Prueba: Comprobamos para cada emparejamiento del conjunto total si pertenece a
uno de los dos modelos anteriores y se obtendrá uno de ellos si el porcentaje de
emparejamientos es superior a un umbral fijado previamente y que puede ser distinto
para cada modelo. De no ser así, se debe volver a formular la hipótesis.
Una vez obtenido el modelo, se recalcula el parámetro de cada emparejamiento y
si supera el umbral, pertenece al modelo y se selecciona como emparejamiento final.
En caso contrario, se descarta.
En las figuras 5.2 y 5.3, se puede apreciar los emparejamientos seleccionados en
color verde y blanco respectivamente y en rojo, los descartados.
En caso de que un punto tenga un emparejamiento con otro punto que ya tuviera
uno anterior, se eliminará aquél cuya pendiente o altura cuando se cruzan las rectas
esté más próxima al umbral.
Después de seleccionar los emparejamientos con más opciones de ser reales, tenemos
que calcular con ellos la homografía (H). Utilizaremos la función cvFindHomography() de
OpenCV, que requiere un conjunto de emparejamientos entre puntos y devuelve la matriz
de homografía, estimada mediante el algoritmo DLT normalizado. La sintaxis de esta
función es la siguiente:
void cvFindHomography(const CvMat* srcPoints, const CvMat* dstPoints, CvMat*
H, int method=0, double ransacReprojThreshold=0, CvMat* status=Null);
- srcPoints: Coordenadas de los puntos en la imagen original.
- dstPoints: Coordenadas de los puntos en la imagen destino.
- H: La matriz de homografía 3x3 que devuelve la función.
- method: Método utilizado para calcular la matriz de homografía. Puede ser uno de
o 0 – Método ordinario usando todos los puntos.
o CV_RANSAC – Método robusto basado en RANSAC.
o CV_LMEDS – Método robusto basado en Least-Median.
- ransacReprojThreshold: El máximo error de reproyección permitido para tratar un
par de puntos como un inlier. Utilizado sólo con el método RANSAC.
- status: Máscara opcional de salida fijada por un método robusto VC_RANSAC o
CV_LMEDS.
La función devuelve la transformación de perspectiva H entre los planos de origen y
de destino que minimiza el error de reproyección. Si method=0, la función utiliza todos los
pares de puntos para calcular la homografía inicial estimada con un simple esquema de
mínimos cuadrados. Ante la presencia de outliers, es aconsejable usar uno de los dos
Independientemente del método, robusto o no, la matriz de homografía se refina
(utilizando sólo los inliers en el caso de métodos robustos) con el método LevenbergMarquardt para reducir aún más el error de re-proyección.
El método RANSAC funciona con cualquier porcentaje de outliers pero necesita fijar
el umbral para distinguir entre inliers y outliers. En cambio, LMEDS no necesita fijarlo
pero trabaja correctamente sólo cuando la presencia de inliers es superior al 50%.
La matriz de homografía se determina a escala, por lo que está normalizada de modo
que h33 =1.
En nuestro caso, los parámetros utilizados en esta función serán CV_RANSAC como
método de cálculo robusto y 10 como error de reproyección máximo.
Al finalizar este paso las dos imágenes se encuentran en un mismo espacio de
referencia y podemos obtener las regiones de solapamiento entre ellas.
5.4 ALGORITMO GRASP:
GRASP es una técnica de búsqueda metaheurística idónea para explorar todas las
posibles zonas de unión entre las imágenes.
Primeramente habrá que obtener las zonas de superposición de las imágenes, como se
Figura 5.4: Ejemplo de zonas de superposición en 2 imágenes.
Para posteriormente ejecutar el algoritmo sobre:
• La diferencia de las regiones de solapamiento de las imágenes: Se calculará la
imagen diferencia entre ellas y mediante una umbralización con un valor
predeterminado, nos ofrecerá aquellas áreas donde se produzca ruido, errores en el
proceso de registrado o elementos móviles que ocasionan artefactos o
emborronamientos no deseables.
La Figura 5.5 muestra la imagen diferencia de las dos regiones de solapamiento
después de someterla a un proceso de umbralización:
• Puntos SIFT: De ambas regiones de solapamiento. Figura 5.Algoritmo GRASP para registrado y fusión de imágenes digitales Figura 5. logramos el conjunto de puntos pertenecientes a los contorno de las dos regiones superpuestas. Ingeniería en Informática 59 . • Puntos de contorno: Después de aplicar el algoritmo CANNY. Figura 5.5: Imagen diferencia de las regiones de solapamiento anteriores. son buenos indicadores para delimitar una posible zona de unión de las imágenes.6: Puntos SIFT de cada una de las regiones.7: Puntos de contorno de cada una de las regiones. se obtienen todos los puntos característicos menos los que no han servido para calcular la homografía. Los dos últimos puntos.
// Actualizar solución FinSi FinPara Retornar a_global. Nos conviene que esa recta pase por la mayor cantidad de puntos SIFT y de contorno y a su vez. 5.4. sólo será necesario fijar el valor de la pendiente (a) y del término independiente (b). en las que son muy distintas. En la fase de construcción se asignarán los valores de los parámetros de la recta. // Solución final FinProcedimiento Figura 5. Q_local Fase de construcción (líneas de Hough). Si Q_local > Q_global Entonces a_global a_local. GRASP es un algoritmo multi-arranque en el que cada iteración está compuesta por dos fases: construcción y mejora. El pseudocódigo del algoritmo GRASP será el que se muestra a continuación: Procedimiento GRASP (Img_Diferencia. a_local.8: Pseudocódigo de nuestro algoritmo GRASP. Q_local Fase de mejora (a_local. para posteriormente seleccionar cuáles de ellas forman parte de la imagen resultante. se reemplazará ésta y se volverá a repetir el proceso. Al utilizar la ecuación explícita de la recta 𝑦 = 𝑎 ∙ 𝑥 + 𝑏. Si ningún vecino mejora el corte actual.b_local. Para i = 1.1 Función de evaluación: La función de evaluación está definida en tres partes. se definen las siguientes métricas: Ingeniería en Informática 60 . Puntos de contorno de las 2 regiones) Q_global 0. divida las imágenes en dos zonas bien diferenciadas: una. En caso de encontrarse una recta que mejore la solución de la fase anterior.Algoritmo GRASP para registrado y fusión de imágenes digitales GRASP realizará cortes. b_local. Al finalizar el algoritmo. // Actualizar solución b_global b_local. en la que las imágenes son muy parecidas y otra. Durante la fase de mejora se realizará una búsqueda local del vecindario. una por cada propiedad a considerar.…. Max_Iteraciones Hacer a_local. Después de cada iteración se actualiza la solución si se observa que es mejor que la conseguida hasta ese momento. Como se describió en el capítulo 2. b_local. Por tanto. Q_local). consistentes en una línea recta y se encargará de evaluar la bondad de cada corte. b_global. tendremos una recta y las imágenes divididas en 2 partes. se ha alcanzado un óptimo local y termina. Puntos SIFT de las 2 regiones.
Para una recta definida por su ecuación reducida 𝑦 = 𝑎 ∙ 𝑥 + 𝑏 y un punto P de la forma (xP. Sea P un punto. es decir.yP). como se indica en la siguiente expresión: ��������� 𝑑(𝑃 𝚤 .2) Como queremos obtener la distancia media. debemos sumar todas estas distancias y dividirlas por el número de puntos SIFT. En Geometría.1) Gráficamente queda representada por la línea de color azul de la siguiente figura: Figura 5. la distancia más corta entre ese punto y un punto de la recta. 𝑟) = �𝑃𝑀 (5. 𝑟) 𝑁ú𝑚𝑒𝑟𝑜 𝑝𝑢𝑛𝑡𝑜𝑠 𝑆𝐼𝐹𝑇 (5. 𝑟) = |𝑎 ∙ 𝑥𝑃 − 𝑦𝑃 + 𝑏| √𝑎2 + 1 (5.9: Distancia de un punto P a la recta r.4 × 𝑙𝑜𝑛𝑔𝑖𝑡𝑢𝑑 𝑑𝑖𝑎𝑔𝑜𝑛𝑎𝑙 𝑖𝑚𝑎𝑔𝑒𝑛 (5.3) Esta distancia media es dependiente del tamaño de la imagen y por tanto. 𝑏) = 100 − min(100.Métrica para obtener la calidad del corte con respecto a los puntos SIFT: La calidad del corte vendrá determinada por la distancia media de los puntos SIFT a la recta.4) 61 . la distancia entre P y r está descrita por la siguiente fórmula: ������⃗� = 𝑚𝑖𝑛𝑀∈𝑟 (|𝑃 − 𝑀|) 𝑑(𝑃. 𝑟) 0.100 × Ingeniería en Informática ��������� 𝑑(𝑃𝚤 . se refinará en función de un porcentaje de la longitud de la diagonal de la imagen para alcanzar el resultado final: 𝑄_𝑆𝐼𝐹𝑇(𝑎. la distancia euclídea de un punto a una recta es la longitud del segmento perpendicular trazado desde el punto a la recta.Algoritmo GRASP para registrado y fusión de imágenes digitales . r una recta y M un punto de esa recta. la ecuación resultante será: 𝑑(𝑃. 𝑟) = ∑𝑁 𝑖=1 𝑑(𝑃𝑖 .
Intentaremos separar las zonas coincidentes de las regiones de solape de las que no son iguales. El peso de la métrica de los puntos de contorno será el menor ya que si aparecen bordes repartidos por toda la imagen.6) Donde.Métrica para obtener la calidad del corte con respecto a los puntos de contorno y a la diferencia de las regiones de solape: Al definir esta métrica pretendemos que el corte consiga dividir la imagen en 2 partes lo más grande y diferenciadas posibles.35. utilizaremos la misma métrica para estimar la bondad del corte con respecto a los puntos de contorno y a la diferencia entre las regiones superpuestas: 𝑄_𝐶𝐴𝑁𝑁𝑌(𝑎.7) Una vez definidas las métricas y después de realizar múltiples pruebas sobre distintos conjuntos de imágenes. % 𝑝𝑢𝑛𝑡𝑜 𝑑𝑒 𝑐𝑜𝑛𝑡𝑜𝑟𝑛𝑜 𝑧𝑜𝑛𝑎 𝐵) (5. 0. % 𝑝í𝑥𝑒𝑙𝑒𝑠 𝑑𝑖𝑠𝑡𝑖𝑛𝑡𝑜𝑠 𝑧𝑜𝑛𝑎 𝐵) (5.5 respectivamente.5) 𝑄_𝐷𝑖𝑓(𝑎. En el caso de los puntos de contorno se persigue el borde que concentra a todos ellos en una parte de la imagen. % 𝑝𝑢𝑛𝑡𝑜𝑠 𝑑𝑒 𝑐𝑜𝑛𝑡𝑜𝑟𝑛𝑜 𝑜 𝑝í𝑥𝑒𝑙𝑒𝑠 𝑑𝑖𝑠𝑡𝑖𝑛𝑡𝑜𝑠 𝑑𝑒 𝑢𝑛𝑎 𝑧𝑜𝑛𝑎 𝑁ú𝑚𝑒𝑟𝑜 𝑑𝑒 𝑝𝑢𝑛𝑡𝑜𝑠 𝑑𝑒 𝑐𝑜𝑛𝑡𝑜𝑟𝑛𝑜 𝑜 𝑝í𝑥𝑒𝑙𝑒𝑠 𝑑𝑖𝑠𝑡𝑖𝑛𝑡𝑜𝑠 𝑑𝑒 𝑙𝑎 𝑧𝑜𝑛𝑎 = 𝑁ú𝑚𝑒𝑟𝑜 𝑡𝑜𝑡𝑎𝑙 𝑑𝑒 𝑝í𝑥𝑒𝑙𝑒𝑠 𝑑𝑒 𝑒𝑠𝑎 𝑧𝑜𝑛𝑎 (5. Ocurre algo parecido con la imagen diferencia de las regiones de solape. 𝑏) = |% 𝑝í𝑥𝑒𝑙𝑒𝑠 𝑑𝑖𝑠𝑡𝑖𝑛𝑡𝑜𝑠 𝑧𝑜𝑛𝑎 𝐴 − % 𝑝í𝑥𝑒𝑙𝑒𝑠 𝑑𝑖𝑠𝑡𝑖𝑛𝑡𝑜𝑠 𝑧𝑜𝑛𝑎 𝐵| × 100 𝑚á𝑥( % 𝑝í𝑥𝑒𝑙𝑒𝑠 𝑑𝑖𝑠𝑡𝑖𝑛𝑡𝑜𝑠 𝑧𝑜𝑛𝑎 𝐴. procurando siempre que el corte maximice las zonas comunes a ambas regiones y minimice las distintas. La diferencia entre las imágenes debe ser la de mayor contribución porque se encarga de reflejar el ruido y los elementos móviles.Algoritmo GRASP para registrado y fusión de imágenes digitales . Ingeniería en Informática 62 . ya que es frecuente fotografías donde aparece el cielo o el mar o algún otro elemento donde no existen contornos y es útil encontrar esa línea que los separa para realizar un buen corte. Por tanto. 𝑏) = |% 𝑝𝑢𝑛𝑡𝑜𝑠 𝑑𝑒 𝑐𝑜𝑛𝑡𝑜𝑟𝑛𝑜 𝑧𝑜𝑛𝑎 𝐴 − % 𝑝𝑢𝑛𝑡𝑜𝑠 𝑑𝑒 𝑐𝑜𝑛𝑡𝑜𝑟𝑛𝑜 𝑧𝑜𝑛𝑎 𝐵| × 100 𝑚á𝑥( % 𝑝𝑢𝑛𝑡𝑜 𝑑𝑒 𝑐𝑜𝑛𝑡𝑜𝑟𝑛𝑜 𝑧𝑜𝑛𝑎 𝐴. será responsabilidad de los puntos SIFT ofrecer un corte conveniente. que es lo que realmente buscamos eliminar. les asignaremos de forma empírica los pesos de 0. para ponderar su influencia en el valor final de la función de evaluación.15 y 0.
2×altura de la región de solape]. La fase de construcción en los primeros dos tercios de iteraciones será diferente del último tercio. El algoritmo GRASP se reiniciará un número fijo de iteraciones. a_local Obtener valor de la pendiente (recta). Q_local Calcular calidad del corte(Q_SIFT. Q_local. 2×altura de la región de solape]. recta Obtener elemento aleatorio (RCL). calcularemos la calidad de ese corte según la función de evaluación descrita en el apartado 5. Una vez que tengamos los valores de a y b.b). El valor de la pendiente estará comprendido en el rango de [-5. FinSi Q_SIFT Calcular métrica Q_SIFT(a.b).Algoritmo GRASP para registrado y fusión de imágenes digitales 5. b_local Obtener valor del término independiente (recta).Q_Dif). Ingeniería en Informática 63 . En los primeros dos tercios se forma una lista restringida de candidatos con las líneas obtenidas al aplicar la transformada de Hough y a los parámetros de la recta se les asigna los valores de la pendiente y del término independiente de una recta elegida aleatoriamente de entre ellas.4.1.b). Q_Dif Calcular métrica Q_Dif(a. Retornar a_local.5] y el término independiente será un valor dentro del intervalo [-altura de la región de solape.Q_CANNY. A continuación se muestra el pseudocódigo de esta fase: 2 Si i < 3 ×Max_Iteraciones Entonces RCL Crear RCL (líneas de Hough). Con estas dos formas de realizar la fase de construcción. la cual representará el corte a realizar.5]. Sino a_local b_local Obtener valor aleatorio entre [-5.4. ampliamos el espacio de búsqueda de la solución permitiendo que no se restrinja sólo a las zonas cercanas a un borde. Q_CANNY Calcular métrica Q_CANNY(a.2 Fase de construcción: En esta fase se establecen los valores de la pendiente y del término independiente de la recta. En el último tercio los valores de los parámetros de la recta serán completamente aleatorios. b_local.10: Pseudocódigo de la fase de construcción de nuestro GRASP. Obtener valor aleatorio entre [-altura de la región de solape. líneas de Hough Eliminar (recta). Figura 5.
11: Pseudocódigo de la fase de mejora de nuestro GRASP. // Se reemplaza la solución actual b_local b.b). Para evitar que el coste computacional de una de estas iteraciones sea demasiado elevado se ha limitado a cien las ocasiones que puede mejorar una recta y sustituirse por uno de sus vecinos.Q_Dif). b Todas las combinaciones de a_local y b_local variando un 5% y +/-0. Q_local. la pendiente cambiar de signo si se aproxima a 0. ya que las veces que se reinicia el algoritmo y las iteraciones del bucle de la fase de mejora están limitadas a 36 y 100 y por tanto.5. Exploraremos los vecinos cercanos a la solución para comprobar si esas rectas proporcionan un mejor corte. Q_local Calcular calidad del corte(Q_SIFT. En cada iteración calcularemos la función objetivo para todas las combinaciones anteriores y se actualizará la solución cuando encontremos una recta que proporcione un mejor corte.5 sus valores respectivos. Figura 5. se tratan como constantes que multiplican al orden obtenido en estas fases: Ingeniería en Informática 64 . El pseudocódigo de la fase de mejora es el siguiente: Mientras Q_local mejore Hacer a.b). 5. Q_Dif Calcular métrica Q_Dif(a.4 Cálculo de la complejidad del algoritmo GRASP: La complejidad del algoritmo GRASP vendrá determinada por el coste computacional de las fases de construcción y de mejora.b). realizando una búsqueda local en diferentes espacios de la imagen. Los vecinos considerados son todas aquellas combinaciones que varían la pendiente un 5% y el término independiente +/.0. pudiendo además.4. Si Q_local mejora Entonces a_local a. Q_CANNY Calcular métrica Q_CANNY(a.4. Al ser GRASP una técnica multi-arranque esta fase se llevará a cabo un número determinado de veces. b_local. Q_SIFT Calcular métrica Q_SIFT(a. // Se reemplaza la solución actual FinSi FinMientras Retornar a_local.3 Fase de mejora: En la fase de mejora se realiza una búsqueda local a partir de la solución obtenida en la fase de construcción con la intención de mejorarla y alcanzar un óptimo local.Q_CANNY. Este proceso termina cuando se alcanza un óptimo local y ninguno de los vecinos mejora la recta obtenida hasta ese momento.Algoritmo GRASP para registrado y fusión de imágenes digitales 5.
Ingeniería en Informática 65 . el orden de complejidad de la métrica que trabaja con los puntos de contorno y la imagen diferencia es 𝑛2 . (Figura 5.8) Las fases de construcción y de mejora consisten básicamente en calcular la función objetivo con la única diferencia que en la fase de mejora.12: Opción 1 de elección de corte.Mostrar en la zona A la parte de la región de solape perteneciente a la imagen 1 y en la zona B mostrar la parte de la imagen 2. por lo que se tratará también como una constante. siendo n el número de descriptores que posee cada imagen. El número de veces que se realiza puede ser 8 ó 17. se obtiene una recta que divide en dos las regiones de solape de ambas imágenes y debemos determinar la imagen correspondiente a cada zona. 5. En todos los casos tendremos dos posibilidades: .9) El orden de complejidad de la métrica que utiliza los puntos SIFT es 2 ∙ 𝑛.12). A su vez. La función objetivo. es 𝑛2 . está definida por tres métricas y su orden de complejidad será la suma de los costes de cada una: 𝑇(𝑓𝑢𝑛𝑐𝑖ó𝑛 𝑜𝑏𝑗𝑒𝑡𝑖𝑣𝑜) = 𝑇(𝑄_𝑆𝐼𝐹𝑇()) + 𝑇(𝑄_𝐶𝐴𝑁𝑁𝑌()) + 𝑇(𝑄_𝐷𝑖𝑓()) (5. pero al tratarse de operaciones elementales no suponen un coste computacional adicional y podemos afirmar que el orden de complejidad de la función objetivo y por consiguiente del algoritmo GRASP. como explicamos anteriormente. este proceso se repite para todos los vecinos.Algoritmo GRASP para registrado y fusión de imágenes digitales 𝑇(𝐺𝑅𝐴𝑆𝑃) = 36 ∙ (𝑓𝑎𝑠𝑒 𝑑𝑒 𝑐𝑜𝑛𝑠𝑡𝑟𝑢𝑐𝑐𝑖ó𝑛 + 100 ∙ 𝑓𝑎𝑠𝑒 𝑑𝑒 𝑚𝑒𝑗𝑜𝑟𝑎) (5. donde n son las dimensiones de las regiones de solapamiento de las imágenes. El valor final de la función objetivo se calcula mediante la multiplicación de unos pesos sobre estas métricas.5 MÉTODO DE ELECCIÓN DE IMAGEN EN CADA ZONA DEL CORTE: Después de ejecutar el algoritmo GRASP. Figura 5.
Algoritmo GRASP para registrado y fusión de imágenes digitales . Es por esto por lo que definimos un método que calculará cuál de las dos opciones produce un menor impacto visual negativo. Figura 5. Una vez concluya este proceso. esos píxeles no se computan al igual que sucede con los del corte. ya que sabemos que aquí las imágenes siempre van a ser distintas.14: Método de elección del corte. se elegirá la opción cuyo resultado sea mayor.13: Opción 2 de elección de corte. (Figura 5.13). la zona A será la parte de la región de solape perteneciente a la imagen 2 y la zona B será la parte perteneciente a la imagen 1. 5. Hay veces que elegir cuál es la imagen más conveniente en cada zona es evidente pero otras veces no está tan claro determinar qué imagen en cada zona permitirá obtener un mejor resultado final.O al revés. Si no existe ninguna imagen contigua a la región de solape. restará aquéllos en los que no coincidan. En la siguiente figura se observa la forma de proceder en cada una de las dos posibilidades: Figura 5.6 FILTRO DE SUAVIZADO: Los filtros son operaciones que se aplican sobre los píxeles de una imagen digital para obtener una imagen más adecuada para un propósito específico. Ingeniería en Informática 66 . Este método considerará las dos posibilidades que se pueden producir en la región de solapamiento entre las imágenes y sumará todos los píxeles en los que coincidan las imágenes y a su vez.
Ruta_imágenes: Es la ruta absoluta o relativa (a partir de: la ubicación donde se encuentre el directorio proyecto/imágenes). incrementándose 0.9.1 cada vez.15: Resultado de aplicar el filtro de suavizado.exe ruta_imágenes ordenación verbose . Ingeniería en Informática 67 . Una particularidad es que en la zona donde se produce el corte obtenido por el algoritmo GRASP. si queremos que la unión de las imágenes siga un orden según el número de puntos SIFT que contengan las imágenes o –no_ord. realizaremos dos pasadas de este filtro. deberemos diseñar un filtro espacial paso bajo que consiga hacer más borrosa esa unión. que calcularemos mediante la siguiente fórmula: 𝑝𝑖 = 𝑤 ∙ 𝑝𝑖 + (1 − 𝑤) ∙ 𝑝�𝚤 (5. atenuando los bordes y dejando inalterados el contraste y la intensidad media. si las imágenes se van obteniendo conforme se suministraron.7 RESULTADOS: Se debe escribir el siguiente comando para ejecutar el programa: sift. Basándonos en un filtro lineal unidimensional 1-D.Algoritmo GRASP para registrado y fusión de imágenes digitales Nuestra intención será suavizar o disminuir la transición entre las imágenes. 5.Ordenación: Puede ser –ord. Por tanto. . Un ejemplo del resultado obtenido al aplicar el filtro de suavizado es el siguiente: Figura 5. Los valores de los pesos para los diez píxeles que existen en cada sentido oscilan entre 0 y 0. alterando los valores de los píxeles adyacentes a la zona de la región de solape superpuesta. aplicándolo en las dos direcciones (horizontal y vertical). definimos un entorno de vecindad de veinte píxeles respecto a las zonas de unión de las dos imágenes y el valor de estos píxeles será un promedio de los mismos. w es un peso que aumentará linealmente conforme se aleje a la zona de unión y 𝑝�𝚤 es la media de los valores de los veinte píxeles evaluados (𝑝�𝚤 = ∑20 𝑖=1 𝑝𝑖 20 ).10) Donde 𝑝𝑖 es el valor del píxel.
Partimos de la captura de las siguientes 5 imágenes y ejecutamos sift. o 5 – Muestra el resultado del algoritmo GRASP y la composición de imágenes final. o 4 – Muestra las iteraciones del algoritmo GRASP y la composición de imágenes final. o 6 – Se visualiza todo. Los ejemplos se han realizado sin ordenación de las imágenes.Algoritmo GRASP para registrado y fusión de imágenes digitales .exe Edificio – no_ord 6: Ingeniería en Informática 68 .Verbose: Valor que indica los resultados que se quieren visualizar: o 0 – Sólo muestra la composición de imágenes final. A continuación mostraremos los resultados obtenidos en dos casos de prueba. o 3 – Se visualiza las composiciones intermedias y la final. Ejemplo 1: Creación de una panorámica para conseguir que la imagen tenga una mayor resolución. o 2 – Muestra los emparejamientos entre las imágenes y la composición de imágenes final. o 1 – Muestra los puntos SIFT de las imágenes y la composición de imágenes final.
Después de extraer los puntos SIFT de todas las imágenes (podemos ver un ejemplo en la Figura 5. Ingeniería en Informática 69 .16: Captura de imágenes para la creación de una panorámica. debe ser considerada la imagen base es ‘edificio2’.Algoritmo GRASP para registrado y fusión de imágenes digitales Figura 5.17) resulta que la que más posee y por tanto.
18: Matching entre las imágenes 'edificio1' y 'edificio2'. Posteriormente se obtendrá las regiones de solapamiento y los puntos SIFT y de contorno de esas regiones para ejecutar el algoritmo GRASP. El siguiente paso será realizar el matching.17: Puntos SIFT de la imagen 'edificio1'.Algoritmo GRASP para registrado y fusión de imágenes digitales Figura 5. Figura 5. empezando por las imágenes ‘edificio1’ y ‘edificio2’. El resultado final obtenido se observa en la siguiente figura: Ingeniería en Informática 70 .
los puntos SIFT y de contorno de la imagen ‘edificio1’. Las ejecuciones de GRASP y las composiciones obtenidas para las imágenes restantes se muestran a continuación: Ingeniería en Informática 71 . El corte obtenido después de realizar todas las iteraciones es el indicado por la línea roja. por los colores rojo y azul respectivamente y los puntos SIFT y de contorno de la imagen base o ‘edificio2’.20: Composición con 2 imágenes. realizar la fusión de ellas y aplicar el filtro de suavizado y tendremos el siguiente resultado: Figura 5. Este proceso se repite para las demás imágenes.Algoritmo GRASP para registrado y fusión de imágenes digitales Figura 5. Se puede apreciar la diferencia entre imágenes por el color blanco.19: Ejecución de GRASP para 'edificio1' y 'edificio2'. por los colores amarillo y verde. Posteriormente habrá que elegir la imagen perteneciente a cada zona.
Algoritmo GRASP para registrado y fusión de imágenes digitales Figura 5. Figura 5.23: Ejecución de GRASP para 'edificio4' y la composición anterior. Figura 5. Ingeniería en Informática 72 .22: Composición con 3 imágenes.21: Ejecución de GRASP para 'edificio3' y la composición anterior.
Figura 5.26: Composición final. Figura 5.25: Ejecución de GRASP para 'edificio5' y la composición anterior. Ingeniería en Informática 73 .Algoritmo GRASP para registrado y fusión de imágenes digitales Figura 5.24: Composición con 4 imágenes.
Pretendemos eliminar aquellos objetos móviles (como los aparecidos en la imagen ‘esii2’) que no queremos que aparezcan en nuestra composición final. Ingeniería en Informática 74 . En este caso tenemos las siguientes imágenes y se ejecuta el comando sif.Algoritmo GRASP para registrado y fusión de imágenes digitales Ejemplo 2: Creación de una composición de imágenes para eliminar ruido o elementos indeseados.28: Ejecución de GRASP para 'esii1' y 'esii2'.27: Captura de imágenes para realizar la composición.exe Esii – no_ord 5: Figura 5. La imagen base será ‘esii1’ y los resultados obtenidos son los siguientes: Figura 5.
Algoritmo GRASP para registrado y fusión de imágenes digitales Figura 5. Figura 5. Se observa como al realizar la composición conseguimos eliminar un coche que aparecía cortado por la mitad.29: Composición con 2 imágenes.30: Ejecución de GRASP para 'esii3' y la composición anterior.31: Composición con 3 imágenes. Ingeniería en Informática 75 . Figura 5.
32: Ejecución de GRASP para 'esii4' y la composición anterior. Ingeniería en Informática 76 . eliminamos las personas que aparecían en la parte derecha de la imagen y obtenemos una composición final libre de elementos indeseados.33: Composición final. Con esta última imagen. Figura 5.Algoritmo GRASP para registrado y fusión de imágenes digitales Figura 5.
CONCLUSIONES Y PROPUESTAS La creación de fotografías panorámicas a partir de múltiples instantáneas de modo que compartan zonas comunes entre ellas es una técnica muy utilizada en la actualidad y a la que se le exige cada vez más mejores resultados. no existe una técnica que realice la fusión de las imágenes desde un punto de vista de la información que contienen las imágenes. Sin embargo. El algoritmo se divide en dos etapas: construcción y mejora. durante esta fase se compara la calidad del corte con la de sus vecinos y si se encuentra una mayor. se reemplaza por esa. el proceso termina. Este proceso se repite un número fijo de veces devolviendo el mejor corte posible. La calidad del corte está fijada por una función objetivo definida en tres partes que contribuyen con diferentes pesos en el resultado final. En la fase de mejora se realiza una exploración en las proximidades de los lugares anteriores para encontrar zonas prometedoras por donde unir las imágenes. obtienen buenos resultados aunque haya veces que sea necesaria la intervención del usuario. Primeramente ha de realizarse el registrado de imágenes entre un par de imágenes. Ingeniería en Informática 77 . Después se emplea un método para obtener la fusión de imágenes que ocasione una percepción visual más positiva y finalmente. ejecutar GRASP sobre la imagen diferencia y los puntos SIFT y de contorno de éstas. De no encontrarse ninguna mayor. hallar las regiones de solapamiento y posteriormente. ganancia. resolviendo de manera conjunta todos los tipos de problemas. En la fase de construcción se determina el lugar por dónde comenzar la búsqueda. tratando los píxeles de la imagen para lograr el fin deseado en cada caso y por lo general. la unión y la mezcla de imágenes que provocan problemas de alineamiento.Algoritmo GRASP para registrado y fusión de imágenes digitales 6. variaciones de exposición y aparición de artefactos necesitando desarrollar diversos algoritmos para solventarlos. Resumidamente. se aplica un filtro de suavizado para reducir las distorsiones. Estos emplazamientos serán un conjunto de líneas que identifican las formas existentes en la imagen (líneas de Hough) y además otras aleatorias. En este proceso intervienen varias etapas como el registrado. Mediante la utilización de una técnica de búsqueda metaheurística se pretende encontrar la zona de unión entre las imágenes que consiga hacer más leve la transición entre ellas. La característica común de todos estos procedimientos es que están basados en el dominio espacial. Este proyecto intenta proporcionar una solución aproximada de acuerdo a este último planteamiento.
pudiendo ofrecer desde soluciones casi óptimas a otras que no son las más deseables. Estas limitaciones pueden subsanarse utilizando el método de comparación de imágenes totalmente invariante Ingeniería en Informática 78 . Como conclusión. englobar en un mismo proyecto la resolución de todas las técnicas existentes específicas para cada tipo de problema es una tarea muy ambiciosa y por tanto. no podemos afirmar que los resultados obtenidos sean tan precisos como los alcanzados con los otros algoritmos pero sí se pueden considerar buenas aproximaciones.  También hay situaciones donde las diferencias entre las regiones de solapamiento están concentradas en unos pocos lugares y al aspirar a incluirlas en un único corte. existen casos extremos donde el corte obtenido causa que el método diseñado para elegir la parte de cada región de solape que se mostrará en cada zona no retorne el resultado más indicado.1 POSIBLES MEJORAS Y AMPLIACIONES: Las posibles mejoras o ampliaciones se deben centrar en las deficiencias redactadas anteriormente.  En imágenes con escaso número de puntos SIFT o pocas correspondencias entre ellas es más complicado realizar un matching correcto y puede producirse problemas de registrado.Algoritmo GRASP para registrado y fusión de imágenes digitales En definitiva. éste resulta no ser el más idóneo. la transformada SIFT es totalmente invariante al escalado y la rotación pero parcialmente a los cambios de iluminación y orientación. Por tanto.  El corte obtenido mediante un modelo de rectas hace difícil encontrar la zona de unión más apropiada entre las imágenes ya que es poco frecuente que una línea represente la mejor zona de fusión de las imágenes. orientación o si contienen ruido provocan que la extracción de características invariantes sea errónea debido a las limitaciones de la transformada SIFT. ocasionalmente se producen una serie de deficiencias que no permiten alcanzar la solución esperada:  Las imágenes con cambios de iluminación. 6. intentando que la mejora de una de ellas o.  Al evaluarse el corte a través de métricas con respecto a la imagen diferencia y a los puntos de contorno de las regiones de solape puede darse el caso de estar muy dispersos por toda la imagen y el corte tenderá a situarse en los límites de ella.  Por último. Sin embargo. se proponen mejoras en cada una de las etapas realizadas: • Extracción de características invariantes: Como ya se ha mencionado previamente. si es posible. cabe resaltar que los resultados obtenidos son dependientes del conjunto de imágenes proporcionado. de todas afecten positivamente al resultado final.
Este método permite identificar fielmente aquellas características que han experimentado grandes transformaciones por medio de un nuevo parámetro: la inclinación de la transición. utilizándose en aplicaciones de Ingeniería en Informática 79 . 2. En el primer caso ese aumento de la velocidad proviene de aprovechar las capacidades de procesamiento de la tarjeta gráfica. respectivamente para este parámetro mientras que ASIFT puede manejar inclinaciones superiores a 36. Además.Algoritmo GRASP para registrado y fusión de imágenes digitales respecto a los cuatro parámetros. como son los casos de SiftGPU desarrollada por Changchang Wu y de SURF (Speed Up Robust Features) ideada por Herbert Bay. denominado Affine-SIFT (ASIFT) propuesto por Jean-Michel Morel y Guoshen Yu. En la siguiente figura se observa en la parte superior los 35 emparejamientos obtenidos con ASIFT y en la parte inferior los 10 conseguidos con SIFT: Figura 6. actualmente existen otras implementaciones de SIFT que son capaces de acelerar la extracción de puntos clave.1: Comparación de resultados obtenidos por ASIFT y SIFT. Harris-Affine and Hessian-Affine y MSER apenas consiguen valores de 2.5 y 10. Tinne Tuytelaars y Luc VanGool. Métodos como SIFT.
Se puede solucionar de diversas maneras.  Reencadenamiento de trayectorias (Path-relinking): Las soluciones generadas en cada iteración se reencadenan con otras soluciones de un conjunto élite. Otra posible modificación sería realizar varios cortes sobre una misma región de solapamiento con el fin de encontrar el mayor número de zonas diferentes pero éstas del menor tamaño posible. • Registrado de imágenes: Es posible mejorar el registrado de imágenes seleccionando de forma más efectiva los emparejamientos que se utilizarán para calcular la homografía. Ingeniería en Informática 80 . pueden ser sustituidos por otros con los que se obtengan mejores soluciones. o Cambiar el modelo de obtención del corte: En vez de un modelo basado en una línea recta. umbral de inliers y número de intentos del algoritmo RANSAC. sería interesante estudiar un modelo diferente basado en una línea recta definida por tramos. • Método de mezcla: Plantear otro método alternativo para elegir qué parte de cada región de solape debe mostrarse en las zonas producidas por el corte encontrado. o Considerar diferentes atributos para el algoritmo GRASP: Es evidente que la imagen diferencia es un atributo esencial para calcular la zona de unión entre las imágenes pero los puntos SIFT y de contorno. Esto lo conseguiremos fijando más acertadamente los valores de los parámetros distancia umbral. o Definir una función objetivo distinta: Las métricas utilizadas en este proyecto pueden ser reemplazadas por otras que estén mejor definidas para el propósito que se pretende lograr. entre las que destacamos:  GRASP reactivo (Reactive GRASP): Los valores de la lista de candidatos se obtienen de forma dinámica de acuerdo a la solución encontrada en las iteraciones anteriores. • Algoritmo GRASP: En la ejecución del algoritmo GRASP es posible realizar las siguientes mejoras: o Naturaleza del propio algoritmo: GRASP es una técnica de búsqueda metaheurística que no posee estructuras de memoria por lo que cada iteración no tiene en cuenta las observaciones previas. Además es posible que la variación en la asignación de los pesos produzca mejores resultados. más fácil de ajustar a los contornos que aparecen en las imágenes. de la simplificación de los métodos involucrados en el cálculo de los descriptores.Algoritmo GRASP para registrado y fusión de imágenes digitales tiempo real y en el segundo. tanto para la pendiente media como para la altura del punto donde se cruzan las rectas.  Vecindades variables: Basado en la proximidad de las buenas soluciones. aunque son muy útiles.
Una posible ampliación podría ser aplicar un análisis multirresolución o alguna técnica de filtrado posterior. como por ejemplo un filtro multi-banda. a la imagen final para que se reduzca el impacto visual negativo del corte obtenido. Ingeniería en Informática 81 . ya sea en la definición del entorno de vecindad o en la fórmula del cálculo es probable que provoque mejores resultados estéticos.Algoritmo GRASP para registrado y fusión de imágenes digitales • Filtro de suavizado: El diseño de un filtro diferente.
Algoritmo GRASP para registrado y fusión de imágenes digitales Ingeniería en Informática 82 .
de Alicante. y Palafox Maestre L. Bradski. H. (1995). SiftGPU: A GPU Implementation of Scale Invariant Feature Transform (SIFT). Alfonso. M. A.. (2005). O. y Resende M. Salesin. Canadá. Ess A. Inteligencia Artificial: Modelos. Homography Estimation. 110. Tuytelaars. y Santamaría. Vancouver. Cohen. M. Damas. Técnicas y Áreas de Aplicación. Metaheuristics in Combinatorial Optimization: Overview and Conceptual Comparison. A. y Roli. Learning OpenCV. D.. Overview of the RANSAC Algorithm. Agrawala.. Esqueda Elizondo. (2010). Computer Vision with the OpenCV Library. K. J. M. (2008). A Computacional Approach to Edge Detection. (2006). G. F. Feo T. G. T. L. y Van Gool. Thomson Editores U. A Probabilistic heuristic for a computationally Difficult Set.. F. A. Universidad Autónoma de Baja California. (2003). BIBLIOGRAFÍA Agarwala. (). R.Algoritmo GRASP para registrado y fusión de imágenes digitales 7. A. Elsevier Science Publishers B. Málaga. C. Madrid. España. A. y Resende M. y Kaehler. M.. Escolano. Boston. (1986). (2001) Visión por computador. Congreso Español sobre Metaheurísticas. University of North Carolina at Chapel Hill. Covering Problem. ACM Computing Surveys.. SURF: Speeded Up Robust Features. J. Arturo. IEEE Transaction on Pattern Analysis and Machine Intelligence. E. IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 98). Mª I. Ingeniería en Informática 83 . y Lozano. España. C. Greedy Randomized Adaptive Search Procedures. A. Computer Vision and Image Understanding (CVIU). 25. Algoritmos Evolutivos y Bioinspirados (MAEB09). Blum. Dubrofsky. (2009).. Pearson Educacion S.. O' Reilly Media. De la Escalera Hueso.. Revisión del estado del arte en métodos de registrado de imágenes basados en metaheurísticas. Cazorla. Cordón. y Szeliski. J. (1989). ACM Transactions on Graphics. (1998).. Fundamentos de procesamiento de imágenes. S. Mosaics of Scenes with Moving Objects. Fundamentos y métodos. Davis. G. G. J. A. O.. T. (2009). Kluwer Academic Publishers. W. (2003).V. Changchang. Derpanis. E. Canny J. Bay. C.. A. (2008). Colomina. Feo. Photographing Long Scenes with Multi-Viewpoint Panoramas. México.
R. (2006). Rousseeuw. (2010). D. CMLA y CMAP. Oregon State University.. (2003). Wilmington. Facultad de Informática Universidad de Las Palmas de Gran Canaria. Grecia. y Woods. Addison-Wesley Iberoamericana. Castejón Limas M.Algoritmo GRASP para registrado y fusión de imágenes digitales Fischler. E. H. (1995). Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography. Kluwer Academic Publishers. Object recognition from local scale-invariant features. Glover. V. Distinctive Image Features from Scale-Invariant Keypoints. y Mora. Gonzalez Marcos A. Universidad de Valencia. J. Francia. Alba Elías F. EEUU.. Boston. Petrusa Grau. y Vergara González E. Least Median of Squares Regression. B. Imágenes médicas: Adquisición. Técnicas de análisis de imagen: Aplicaciones en Biología (2ª Edición). Communications of the ACM. A. OpenCV. Symposium for Computational Photography and Video. P.. (1999). F. procesamiento e interpretación. ASIFT: A New Framework for Fully Affine Invariant Image Comparison. Ordieres Meré J. Chen. Técnicas Clásicas de Segmentación de Imagen. 79.. Lowe. http://opencv. Delaware. USA. Martín Fernández M. International Conference on Computer Vision.. (2006). G. F. C. Journal of the American Statistical Association. M. y Kochenberger. School of EECS. G. Corfu. G. Tratamiento digital de imágenes. (1981). G. Handbook of Metaheuristics. Santamaría López. D. (2005). Vignette and Exposure Calibration and Compensation. Martínez de Pisón F. Hess.com/ Passariello. D. Morel J. R. R. Ingeniería en Informática 84 . y Bolles. y Yu G. Ediciones de la Universidad Simón Bolivar. An Open-Source SIFT Library. J. F. MA. 24. (1984). Universidad de La Rioja.. C. Sánchez Pérez J. Goldman. M. J. Lowe. R. A. Servicio de Publicaciones. (1996). Pernía Espinoza A. análisis. (2010). J. González. Técnicas y algoritmos básicos de visión artificial. (2004). J. Scatter Search para el Registrado de Imágenes 3D: Aplicación en Antropología Forense. Equinoccio. Visión tridimensional. (2009).willowgarage. (). International Journal of Computer Vision. (2002).
. Szeliski. (2003). Image Alignment and Stitching: A Tutorial. y Flusser. Stroustrup. Visión por computador.. Elsevier B. Sánchez Calle.L. L. EEUU. Eden. 2. Foundations and Trends in Computer Graphics and Vision. Dykinson S. Massachusetts. Ingeniería en Informática 85 . V. J. (2003). B. Moreno Díaz A. y Szeliski. R. Construction of Panoramic Image Mosaics with Global and Local Alignment. y Esteban Sánchez-Marín J. AddisonWesley. A. Zitová. y Szeliski. M. Y. Image registration methods: a survey. Vélez Serrano J. (2006). IJCV. F. R. In Computer Vision and Pattern Recognition (CVPR 01). Eliminating Ghosting and Exposure Artifacts in Image Mosaics. R. A. (2001). (1998). Bjarne (1997). H.. B. Uyttendaele. The C++ programming language (3ª Edición).Algoritmo GRASP para registrado y fusión de imágenes digitales Shum.
Algoritmo GRASP para registrado y fusión de imágenes digitales Ingeniería en Informática 86 .
También prestaremos atención a que se realice correctamente la selección de los emparejamientos. las imágenes de partida y las composiciones finales resultantes de cada caso de prueba.Algoritmo GRASP para registrado y fusión de imágenes digitales ANEXO En este anexo se reflejan los resultados obtenidos al ejecutar el programa sobre diversas colecciones de imágenes. la diferencia entre ellas y la detección de bordes y puntos SIFT que contiene cada una de ellas. valoraremos el funcionamiento del algoritmo GRASP. Por último. Evaluaremos la extracción de puntos SIFT que se obtiene con la implementación de Rob Hess y comprobaremos que esos descriptores se corresponden con características invariantes a escalado y rotación. examinaremos que el método de selección de imagen en cada zona del corte sea el idóneo. Asimismo. Para finalizar sólo nos queda apreciar si el filtro de suavizado que hemos aplicado realmente consigue disminuir el efecto visual negativo que produce la transición entre las imágenes. Estos conjuntos poseen diferentes características y contiene distinto número de imágenes capturadas. estudiando que las métricas cumplen con su objetivo de otorgar una mayor calidad a un mejor corte y comprobando que el corte resultante es el más conveniente. obviando los pasos intermedios. que están disponibles en el CD que se adjunta con esta memoria: Ingeniería en Informática 87 . únicamente. Además. observaremos que se calcula correctamente las regiones de solapamiento. determinando el modelo más adecuado y eligiendo las correspondencias verdaderas y desechando los outliers. ordenadas de forma arbitraria en cada caso. Esto propiciará un mejor matching y que las transformaciones efectuadas entre cada par de imágenes para adecuarlas a un mismo sistema de referencia ofrezcan un resultado más realista. A continuación se mostrará. analizando los diferentes cortes que proporciona en cada iteración. Las imágenes han sido tomadas desde múltiples puntos de vista y en condiciones propicias para que sus propiedades difieran entre ellas.
2: Composición final del Consistorio.1: Captura de imágenes del Consistorio. Figura 0.Algoritmo GRASP para registrado y fusión de imágenes digitales • Consistorio: Figura 0. Ingeniería en Informática 88 .
Ingeniería en Informática 89 .3: Captura de imágenes del CorteIngles. Figura 0.Algoritmo GRASP para registrado y fusión de imágenes digitales • Corte Inglés: Figura 0.4: Composición final del CorteIngles.
Algoritmo GRASP para registrado y fusión de imágenes digitales • Facultad Relaciones Laborales y Recursos Humanos: Figura 0. Figura 0.6: Composición final de Derecho. Ingeniería en Informática 90 .5: Captura de imágenes de Derecho.
Ingeniería en Informática 91 .7: Captura de imágenes del Gimnasio.Algoritmo GRASP para registrado y fusión de imágenes digitales • Gimnasio de la Facultad de Educación: Figura 0.
• Paraninfo: Figura 0.8: Composición final del Gimnasio.Algoritmo GRASP para registrado y fusión de imágenes digitales Figura 0.9: Captura de imágenes del Paraninfo. Ingeniería en Informática 92 .
Algoritmo GRASP para registrado y fusión de imágenes digitales Figura 0.10: Composición final del Paraninfo. Ingeniería en Informática 93 .
Documents Similar To 03 - Algoritmo GRASP Para Registrado y Fusión de Imágenes Digitales
2103-6593-1-PB.pdf
Aplicación de Logica Difusa en El Control de Contraste de Imágenes

References: resolución 
 resolución 
 resolución 
 resolución 
 resolución 
 resolución