Etkin kimlik koruma ve hızlı yakınsama özellikli çekişmeli ağ ters çevirme çerçevesi ile belirli yaşta yüz sentezi
Face synthesis at a certain age with an adversarial network inversion framework featuring active identity protection and rapid convergence
Yazar: AYŞE KALE
Danışman: DR. ÖĞR. ÜYESİ OĞUZ ALTUN
Yıldız Teknik Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Doktora, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control

Özet:
Bu tez, kimlik ve kişilik özelliklerini koruyarak yüz görüntülerinin hızlı bir şekilde tersine çevrilmesini sağlayan yeni bir Hibrit Üretici Çekişmeli Ağ (HÜÇA) çerçevesi sunmaktadır. Yüz görüntülerinin doğru bir şekilde tersine çevrilmesi, bilgisayarlı görü alanında yüksek hassasiyet gerektirmekte ve gelecekteki yüz manipülasyonlarının (yaş ilerletme, yaş geriletme, aksesuar ve saç stilizasyonu) başarısı için kritik bir öneme sahiptir. Ancak, mevcut yöntemler genellikle gerçek görüntünün kişilik özelliklerini koruyamamaktadır; bu da manipülasyonların doğruluğunu olumsuz yönde etkilemektedir.

Bu bağlamda, bu tez çalışmasının bir katkısı, üretici modülünü başlatmak için ayrıntılı görüntü işleme süreçlerinde mekansal ilişkileri etkili bir şekilde modelleyen bir transformer tabanlı strateji kullanmasıdır. Bu yaklaşım, görüntü tersine çevirme görevlerini geliştirmek için transformer yapılarını kullanması açısından yenilikçidir. Ayrıca, kimlik ve kişilik özelliklerini koruma konusundaki doğruluğu artırmak amacıyla, yakınsama hızını ve güvenilirliği artıran yeni bir kayıp fonksiyonu tanıtılmıştır.

Deneysel sonuçlar, çalışmanın %93'lük bir yeniden yapılandırma doğruluğuna ulaştığını ve tersine çevirme süresini %86 oranında iyileştirdiğini göstermektedir. Ayrıca yaş sentezleme sonuçlarında kişisel özelliklerin diğer yöntemlere göre daha fazla korunduğu görülmüştür. Bu ilerleme, yüz manipülasyon teknolojileri üzerinde önemli bir etkiye sahip olabilir ve güvenli dijital kimlik doğrulama sistemleri ile kişisel veri koruma uygulamalarında teknolojik bir atılımın temelini oluşturabilir.

Sonuç olarak, çalışma gelecekteki çalışmalarda gizlilik ve güvenlik üzerinde önemli bir etkiye sahip olabilir. Güvenli dijital kimlik doğrulama sistemlerinin geliştirilmesine katkıda bulunarak kişisel verilerin korunmasını artırabilir. Bu nedenle, çalışma yüz görüntü manipülasyonu alanının ilerlemesi ve kişisel verilerin gizliliği ile güvenliğinin sağlanması açısından büyük önem taşımaktadır.

Abstract:
This thesis presents a novel Hybrid Generative Adversarial Network (HGAN) framework that enables the rapid inversion of facial images while preserving identity and personality traits. Accurately inverting facial images requires high precision in the field of computer vision and is critical for the success of future facial manipulations, including age progression, age regression, accessory changes, and hairstyle stylization. However, existing methods often fail to retain the personality characteristics of the original images, negatively impacting the accuracy of these manipulations.

In this context, a significant contribution of this research lies in the application of a transformer-based strategy that effectively models spatial relationships to initiate the generator for detailed image processing. This innovative approach utilizes transformer architectures to enhance the performance of image inversion tasks. Additionally, a new loss function has been introduced to improve accuracy in preserving identity and personality traits, thereby increasing convergence speed and reliability.

Experimental results demonstrate that the proposed method achieves a reconstruction accuracy of 93% and improves the inversion time by 86%. Furthermore, the results of age synthesis indicate that personal characteristics are preserved significantly better compared to other methods. This advancement may have a substantial impact on facial manipulation technologies and lays the groundwork for technological breakthroughs in secure digital identity verification systems and personal data protection applications.

In conclusion, this research may significantly influence future studies concerning privacy and security. By contributing to the development of secure digital identity verification systems, it can enhance the protection of personal data. Therefore, this work holds great importance in advancing the field of facial image manipulation while ensuring the privacy and security of personal data.