Görüntü birleştirme
İşlem aşamaları

İşlem üç aşamadan oluşmaktadır. Bu aşamalar: görüntü çakıştırma, kalibrasyon ve birleştirmedir.
Birleştirilecek iki görüntünün bir birleştirme oluşturacak şekilde benzer olmamasının yanı sıra görüntülerin arasındaki ışık farkları da sorun oluşturabilir. Benzer ve aynı kalibrasyon gerçekleştirilerek çekilen resimler içerisindeki arka plandaki hareketler, görüntülerin birleştirilmesi esnasında en çok meydana gelen sorun oluşturan diğer bir unsurdur.
Genel olarak ise başa çıkılması gereken büyük sorunlar arasında paralaks etkisi, mercek deformasyonu, sahne hareketleri ve pozlama farklılıkları yer alır. Panoramik birleştirme için işlenecek dizi görüntülerde mercek bozulmasını aşmak için makul bir miktarda (en azından %15 ile %30) örtüşme bulunması yeterli olmakta ve resimlerdeki planların saptanabilir özelliklere sahip olması gerekmektedir. Birleştirilecek görüntülerdeki çerçeveler arası birleşim hatalarının en aza indirgenmesi için tutarlı bir pozlama yapılması gerekmektedir.
Fakat ideal olmayan gerçek hayatta yoğunluk tüm sahnelerde değişir ve bununla birlikte tüm kareler boyunca kontrast ve yoğunluk farklı düzeylerde oluşur. Sahnelerdeki tüm bu karışmalar gölge hareketlere neden olur ve objektif bozulmalar oluşturur. Ayrıca panorama resmin genişliğinin yüksekliğine oranı, görsel olarak hoş bir içerik ortaya çıkarılabilmesi için göz önüne alınması gereken nedenlerden birisidir.
Öncelikle algoritmalar, görüntüdeki piksel koordinatlarının bir başka koordinat ile uygun şekilde matematiksel model belirlenmesi için gereklidirler. Bu görüntü uyumunu gerçekleştirir.
Ardından görüntülerdeki çeşitli çiftler (veya koleksiyonlar) ile ilgili doğru hizalamaları tahmin etmesi gerekir. Algoritmalar doğrudan piksel piksel karşılaştırma yaparak, birleştirme yapabildiği gibi Gradyan inişleri de (veya diğer optimizasyon tekniklerini) bu parametrelerin doğru tahmin edilebilmesi için kullanabilir.
Ayırt edici özellikler her görüntüde bulunabilir ve bunlar daha sonra verimli bir hızda görüntü çiftleri arasındaki benzerliklerin kurulması için eşleştirilir. Panorama için birleştirilecek birden fazla görüntünün bulunması her zaman dünya genelinde tutarlı dizilerin hesaplanması için ve bu görüntülerin hangilerinin birbiri ile kesiştiğini bulabilmek için teknik olarak geliştirilmiştir.
Görüntü birleştirmenin yansıtmalı bir şekilde dönüştürülebilmesi ve yerleştirilecek tüm görüntülerin hizalanabilmesi için oluşturulacak kompozisyon yüzeyine karar vermelisiniz. Sorunsuz bir şekilde birbiriyle örtüşen görüntülerin karşılaştırılabilmesine olanak sağlayacak algoritmaları oluşturmanız da gerekecektir. Hatta bunları paralaks etkisi, mercek deformasyonu, sahne hareketleri ve pozlama farklıları içinde ayrı ayrı düşünmelisiniz.
Otomatik olarak görüntüler arasındaki benzerliklerin bulunması için keypoint önemli bir özelliktir. Güçlü benzeşmeler üzerine kompost edilmiş bir görüntünün dönüşümünün yapılabilmesi amacıyla hizalamalar hesaplanmaktadır. Sert köşeler, normal köşeler, lekeler, gauss farkları da tekrarlanan olsa bile farklı ve görüntü birleştirme için kullanılabilecek iyi özelliklerdir.
İlgili noktaların tespit edilebilmesi için ilk operatörlerden birisi, 1977 yılında kümelenmiş bir ortamda robotun otomatik dolaşımı için yaptığı araştırma esnasında Hans P. Moravec tarafından geliştirilmiştir. Moravec ayrıca bir görüntüdeki "ilgi noktalarını" tanımlamıştır ve bu ilgi alanı noktalarından görüntü üzerinde eşleşen alanların bulunabileceği sonucuna varmıştır. Moravec'in operatörü belirli noktaları tanımladığından köşe dedektörü olarak kabul edilir. Çünkü her yöne doğru büyük yoğunluktaki farklılıkları nokta olarak algılar. Bu genellikle köşelerde görülen bir durumdur. Bununla birlikte aslında ilginç bir durumdur. Moravec özellikle köşelerde yer alan bu ilgili noktaları bulmak ile ilgilenmemiş, sadece farklı bölgelerdeki birbirini takip eden resim çerçevelerini kaydedebilmek için uğraşmıştır. Harris ve Stephens, Moravec'in köşe dedektörü üzerine geliştirdiği operatörü, direkt olarak doğrultusuna göre köşelerdeki puan farkını dikkate alarak geliştirdiler. Bu görüntüler sıraya dayalı olarak robotun ortam yorumlarını oluşturma işlemi esnasında gerekli bir adımdı. Moravec gibi görüntü çerçevelerinde, birbirine geçen noktalarda karşılıklı gelen noktaları eşleştirmek için bir yönteme ihtiyaç duyuyorlardı ama hem çerçeveler arasındaki köşelerin hem de kenarların takip edilmesiyle de ilgileniyorlardı.
SIFT ve SURF, görüntülerdeki en son önemli noktaları ve ilgili noktaları tespit edebilen algoritmalardır. Fakat dikkat edilmesi gereken nokta bu dedektörlerin patentli olması ve ticari kullanım için sınırlandırılmış olmasıdır. Herhangi bir özellik tespit edildiğinde ise SIFT gibi bir tanımlayıcı yöntemi görüntü birleştirilmesinde son aşama olarak uygulanabilir.
Görüntü çakıştırma örneği ve panorama oluşturmada birleştirilen çizgiler.