Görüntü üzerinde sayısal damgalama ve gömülü sistem uygulaması
Digital watermarking on images and its embedded system implementation
Yazar: OĞUZ AYDIN
Danışman: DOÇ. DR. MÜRVET KIRCI
İstanbul Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı / Elektronik Mühendisliği Bilim Dalı
Derece: Yüksek Lisans, 2018
Konu: Elektrik ve Elektronik Mühendisliği = Electrical and Electronics Engineering
Dizin: Sayısal filigran = Digital watermark

Özet:
Bilgisayar ve internet çağını yaşadığımız günümüzde ses, görüntü gibi sayısal medyaların kullanımı hızlı bir şekilde yükselişe geçmiştir. İnternet ortamında, özellikle sosyal ağ platformlarında sayısal medyaların telif hakkı sahiplerinin izni olmaksızın değiştirilerek veya doğrudan kullanılması bir sorun teşkil etmektedir. Bu çalışma da sayısal medyaların üreticisinin izni olmaksızın kullanılması, telif haklarının ihlal edilmesi, kopyalanmanın engellenmesi ve içeriğin korunması gibi problemlerin çözümü için önerilen sayısal damgalama ve yöntemleri üzerinde durulmuştur.
Sayısal damgalama, ses, görüntü video gibi sayısal medyalar üzerinde aidiyeti belli etmek amacıyla kullanılan bir yöntemdir. Çalışmada ilk olarak sayısal damgalamaya olan ihtiyaç, tarihte ortaya çıkışı ve kullanım alanlarıyla ilgili bilgilere yer verilmiştir. Sayısal damgalamalar, özel filigranların sayısal medya üzerine gömülmesini ve gerektiğinde çıkarılıp orijinallik karşılaştırması yapılabilmesini sağlayan yöntemlerdir. Bu yöntemlerin daha iyi anlaşılabilmesi için çalışmada, sayısal damgalamaların hangi konuları hedeflediği ve çeşitli parametrelere göre nasıl sınıflandırıldığı incelenmiştir. Sayısal damgalama insan perspektifine göre görünür ve görünür olmayan şeklinde sınıflandırılabilmektedir, bu çalışmada özellikle görünür olmayan ve görüntü üzerine uygulanılabilinen yöntemler üzerinde durulmuştur. Bu yüzden ilgilenilen sayısal damgalama yöntemleri kümesi, steganografi yani bilgi gizleme biliminin bir alt kümesidir.
Ses, görüntü, video ve metin üzerinde yapılabilen sayısal damgalama yöntemleri mevcut olmasına rağmen çalışmaların büyük çoğunluğu görüntü üzerinde yapılmaktadır. Bu çalışmada da görüntü üzerine uygulanabilinen sayısal damgalama yöntemleri üzerinde durulmuştur, fakat görüntü üzerine uygulanabilen sayısal damgalama yöntemleri MJPEG, H.264 gibi video standartlarına uygulanabilmektedir. H.264 üzerinde sayısal filigran I-çerçeve üzerine gömülebilir.
Görüntü üzerinde sayısal damgalama yöntemleri geliştirilebilmesi için uzamsal düzlemde çalışmalar yapılmıştır ancak çeşitli özelliklerinden dolayı frekans bölgesi dönüşüm kullanan sayısal damgalama yöntemlerinin popülaritesi daha fazladır. Bu yüzden çalışmada, görüntü üzerinde uygulanabilecek frekans bölgesi dönüşümleri hakkında bilgiler verilmiştir ve bu dönüşümlerin iyi ve eksik yönleri tartışılmıştır. Özellikle JPEG görüntü sıkıştırma algoritmasında kullanılan frekans dönüşümleri; ayrık kosinüs dönüşümü (DCT) ve ayrık dalgacık dönüşümü (DWT) sayısal damgalama yöntemlerinde kullanılan en popüler dönüşümlerdir.
Çalışmada görüntü üzerinde yapılabilen sayısal damgalama yöntemleri hakkında bilgi edinilmiştir. Bunun için uzamsal düzlem ve frekans bölgelerinde sayısal damgalama yapan 8 ayrı teknik incelenmiştir. Bu bölüm içerisinde sayısal damgalama yöntemlerin sayısal filigranı konak görüntüye gömme teknikleri ve damgalanmış görüntüden çıkarma işlemlerine yer verilmiştir. Yapılan araştırmalar da göz önünde bulundurularak yöntemlerin avantajlı ve dezavantajlı yönlerinden bahsedilmiştir. İncelenen yöntemlerden LSB üzerinde yapılan, ayrık dalgacık dönüşümü temelli, ayrık dalgacık dönüşümü ve tekil değer ayrışımı temelli, ayrık kosinüs dönüşümü alçak frekans bölgesi içerisinde yapılan ve ayrık kosinüs dönüşümü orta frekans bölgesinde yapılan 5 sayısal damgalama yöntemi uygulamaya dökülmüştür.
Sayısal damgalama ile ilgili üzerinde durulan diğer bir konuda, sayısal damgalama uygulanmış görüntü üzerine yapılabilecek saldırılara karşı başarı ölçümüdür. Bu amaç ile kullanılabilecek filtreler, geometrik ve sıkıştırma yöntemleri hakkında bilgiler verilmiştir. Uygulaması yapılan sayısal damgalama yöntemlerinde elde edilen damgalanmış görüntüler tuz ve karabiber gürültüsü, bulanıklaştırma, kontrast değişimi, yeniden boyutlandırma, parlaklık değişimi, medyan filtre, görüntünün döndürülmesi ve Gaussian gürültü ile saldırılara uğratılarak dayanıklılıkları test edilmiştir. Bu testlerde, saldırıya uğramış görüntüleri ve damgalanmış görüntüleri orijinal konak görüntüsü ile karşılaştırmak için tepe sinyal-gürültü oranı (PSNR) değerleri hesaplanmıştır. Benzer şekilde her yöntem için damgalanmış görüntüden çıkarılan sayısal filigran ile orijinal sayısal filigranın benzerliğini test etmek için normalleştirilmiş korelasyon katsayısıları(NC) bulunmuştur. Bu ölçümlerden hareket ile hangi sayısal damgalama yönteminin, hangi saldırı yöntemine karşı dayanıklı veya dayanıksız olduğuna dair fikir edinilmiştir.
Bu çalışmada, görüntü üzerinde yapılabilen sayısal damgalama yöntemleri araştırılarak gömülü sistemlerde de uygulanabilecek düşük işlem gücüne, karmaşık olmayan, dirençli ve kapasite bakımından sistemi rahatsız etmeyecek sayısal damgalama yöntemlerinin üretilmesi amaçlanmıştır. Test ve ölçümlerden elde edilen tepe sinyal-gürültü oranı ve normalleştirilmiş katsayılar da baz alınarak uygulanan yöntemler arasında en iyi sonuç veren yöntem olarak sayısal damgalama yöntemi ayrık dalgacık dönüşümü ve tekil değerler ayrışımı ile sayısal damgalama bulunmuştur. Ancak, gömülü sistemlere uygulanabilirliği, sayısal filigranı damgalanmış görüntü içerisinden çıkarırken orijinal görüntüye ihtiyaç duymaması, sayısal filigran olarak görüntü yerine bit dizisi de kullanabilmesinden dolayı gömülü sistemde gerçeklemek için damgalama yöntemi olarak ayrık kosinüs dönüşümü ile orta frekans bölgesinde yapılan sayısal damgalama yöntemi seçilmiştir.
Tasarlanan gömülü sistemde üreticinin aidiyetini şüphesiz sağlayacak sayısal filigran oluşturmayı, görüntü yakalamayı ve sayısal damgalamayı tek bir yapıda birleştirecek şekilde tasarlanmıştır. Bu hedef doğrultusunda damgalamada kullanılacak sayısal filigran biyometrik damga olarak parmak izi seçilmiştir. Sayısal damgalama için seçilen yöntem çıkarma işlemi sırasında orijinal görüntüye ihtiyaç duyulmadığı ve sayısal filigran olarak biyometrik veri kullanıldığı için gömülü sistemde uygulanan sayısal damgalama yöntemi biyometrik kör sayısal damgalama yöntemi olarak isimlendirilebilir. Gömülü sistemde biyometrik sayısal filigranı oluşturmak için GT-511C3 parmak izi tanıma modülü kullanılmıştır. Oluşturulan gömülü sistemin merkezinde Texas Instruments AM3352 işlemcisinin bulunduğu Beaglebone geliştirme platformu bulunmaktadır. Bu cihaz USB, Ethernet ve SD kart ara yüzlerinden dolayı tercih edilmiştir. Sistemde biyometrik verinin sensor modülünden alınması USB üzerinden gerçekleştirilmektedir. Meydana getirilen yapıda bir diğer önemli eleman ise görüntü yakalamayı sağlayan IP kameradır. Damgalanmak istenen görüntüler merkezi birim Beaglebone tarafından ethernet üzerinden Haikon/Hikvision DS-2CD2110F-IS IP kameradan alınmaktadır. Beaglebone üzerinde bulunan SD kart ile damgalanmış görüntüler ve IP kameradan yakalanan görüntülerin kayıt edilmesi amaçlanmıştır. Ayrıca tasarlanan gömülü sistem ile IP kameradan görüntü almadan SD kart üzerine daha önceden kayıt edilmiş görüntülerde biyometrik filigran ile damgalanabilmektedir. Parmak izi tanıma sensoru ve IP kamera içeren gömülü sistem üzerinde biyometrik kör sayısal damgalama yöntemi başarıyla gerçekleştirilmiştir. Aynı sistem Beaglebone yerine Intel Core i7-3630QM işlemcisine sahip bir bilgisayar ile de gerçeklenmiştir ve iki sistemin performansları karşılaştırılmıştır. Çalışmanın son bölümünde oluşturulan gömülü sisteme üzerinde yapılabilecek yazılımsal ve donanımsal geliştirmelerden de bahsedilmiştir.

Abstract:
Nowadays, when we live in the age of computer and internet, the use and sharing of digital media such as audio, image and video are rapidly increasing. Unauthorized modification or direct use of digital media on the Internet, especially on social networking platforms, creates a major problem. In this study, digital watermarking and its methods are suggested for solving problems such as the use of digital media without the creator's permission, violation of copyrights, prevention of copying and preservation of contents.
Digital watermarking is a method that can be used on audio, images, texts and videos to provide copyright information about content creator. To establish a common ground for this method, firstly, the information about a brief history, necessity and usage areas of digital watermarking is given place in this study.
Digital watermarking techniques are methods that allows custom watermarks to be embedded on digital media and to be extracted when it is necessary to compare originality of digital media. In order provide better understanding about these watermarking methods, which subjects are targeted by digital watermarking techniques and how they are classified according to various parameters are explained. Digital watermarking can be classified as visible and invisible according to human perspectives, the methods which are invisible to human eye and can be applied to the images are emphasized. Therefore, the set of digital watermarking methods which are interested in this research are a subset of the science of hiding information which is called steganography.
Although there are digital watermarking methods that can be applied on audio, video, image and text, most of the works related with watermarking are implemented on images. In this work, digital watermarking methods which can be applied on image are emphasized, but most of the watermarking methods used on images also can be applied to video standards such as MJPEG, H.264. For MJPEG streams or videos, watermark can be embedded on every frame or some of the frame selected by content owner, but digital watermark should embed in I-frames for H.264 based videos or streams.
In the literature, there are watermarked methods that developed in spatial domain can be applied on images, but because of various features, digital watermarking methods that use frequency domain in watermarking process are more popular then spatial domain ones. Therefore, in this study, information about the frequency domain transformations that can be applied on the image has been given and the advantages and the disadvantages of these transformations are discussed.
Frequency domain transformations used in JPEG image compression algorithm and H.264 video compression algorithm like discrete cosine transform (DCT) and discrete wavelet transform (DWT) are the most preferred transformations used in digital watermarking methods. Also, other transformations that can be used for digital watermarking like fast Fourier transform, counterlet transform are included in this project.
In this study, information about the digital watermarking methods that can be made on the image has been obtained. For this purpose, 8 separate techniques for digital watermarking in spatial and frequency domain have been studied. In this section, processes that embedding digital watermark to host image and extracting watermark from watermarked image of digital watermarking methods are included, and based on literature search about watermarking, advantages and disadvantages of digital watermarking methods are mentioned. From the analyzed methods, 5 digital watermarking methods; discrete wavelet transform-based watermarking, least significant bit-based watermarking, discrete wavelet transform and singular value decomposition-based watermarking, watermarking technique that uses discrete cosine transform in low frequency region and watermarking technique that uses discrete cosine transform in medium frequency region are implemented for images to determine suitable method for embedded systems.
Another subject of digital watermarking process is immunity of watermarking method against various attacks to destroy watermark embedded in images. For this purpose, information about filters, geometric modifications and compression algorithms that can be used as an attack technique are given in section 2. Images that are watermarked with implemented digital watermarking methods are tested for immunity with following attacks; salt and pepper noise, blurring, contrast change, resizing, brightness change, median filter, image rotation and Gaussian noise. In these tests, peak signal-noise ratio is calculated on attacked images and watermarked images compared with original images so that similarity between these images can be measured. On the other hand, like peak signal-noise ratio, normalized correlation coefficients are calculated to compare original watermark and extracted watermark from watermarked or attacked image. From these measurements, it has been gained the idea of which digital watermarking method is resistant or vulnerable to which attack.
In this study, it is aimed to find digital watermarking technique which can be implemented in embedded systems by investigating the digital watermarking methods that can be applied on the image, which are uncomplicated, resistant to various attacks and will not disturb the system in terms of capacity. Among implemented digital watermarking methods, discrete wavelet transform and singular value decomposition based watermarking technique is found as a best method according to the peak signal-to-noise ratio and the normalized coefficients obtained from the tests and measurements. However, since original host image is not required while extracting the digital watermark from the watermarked image and any images or bit series can be used as a watermark, discrete cosine transform based medium frequency region watermarking technique is chosen to be implemented on embedded system as a digital watermarking method.
In the designed embedded system, digital watermark that guarantees the belonging of the content creator, image capturing, and digital watermarking are combined in a single structure. For this purpose, fingerprint which biometric data is selected as a digital watermark to be used in watermarking system. Since the selected method for digital watermarking does not require the original image during the extraction process and biometric data is used as the digital watermark, the digital watermarking method implemented in the embedded system can be named as the biometric blind digital watermarking method. Because biometric watermark is used as a watermark, this can cause security vulnerabilities. Thus, to avoid security obligation and protect content creator's biometric data, Fisher-Yates shuffling algorithm is applied to biometric data with key before watermarking process begins.
The GT-511C3 fingerprint recognition module is used to create a biometric digital watermark on the embedded system. On the other hand, Beaglebone development platform with Texas Instruments AM3352 processor stand at the center of the created embedded system. This device is preferred because of its USB, ethernet and SD card interfaces capabilities. Biometric data is moved to Beaglebone over USB interface from fingerprint recognition module. Data exchange between GT-511C3 fingerprint recognition and Beaglebone embedded system module is established over USB with C/C++ programming. To capture, enroll, verify fingerprints and to get 498 Byte fingerprint template, GT-511C3 uses vendor specific protocol which contains command and data packet structures. The protocol that is explained on GT-511C3's datasheet is implemented on Beaglebone side to use these features on sensor module. With this implementation, fingerprint templates which are taken from fingerprint sensor module can be stored on Beaglebone for biometric digital watermarking process.
Another important element in the structure is IP or USB camera as an image capturing device. Both USB and IP cameras can be used in the designed embedded system. However, since USB port of Beaglebone is reserved for finger print recognition module, Haikon/Hikvision DS-2CD2110F-IS IP camera which communicates over ethernet with Beaglebone is preferred as an image capturing device. Images that will be watermarked are captured from MJPEG stream of IP camera using OpenCV and FFMPEG libraries.
In the embedded system, main digital watermarking process which combines fingerprint template from GT-511C3 fingerprint sensor module and captured image from DS-2CD2110F-IS IP camera is implemented on Beaglebone system module using standard C/C++ and OpenCV libraries. SD Card that is located on Beaglebone are planned to store received images from IP camera and images that are watermarked with biometric data. Also, with using biometric watermark which is taken from GT-511C3 fingerprint recognition module, the designed embedded system can perform digital watermarking on previously recorded images on SD card without taking any images from IP camera.
The biometric blind digital watermarking method has been successfully performed on the embedded system that has the fingerprint recognition sensor and the IP camera. Similar biometric watermarking system was implemented on a computer with Intel Core i7-3630QM processor and 8 GB memory instead of Beaglebone, and the performance of the two systems was compared. In the last section of the study, software and hardware enhancements that can be made on designed biometric digital watermarking embedded system like encryption algorithms that can be implemented by using crypto accelerator on AM3352, recovery algorithms, integrity control methods are discussed.