Yapay zeka algoritmaları ile sanatsal yaratım ve yeniden üretim potansiyellerinin 'FISPIS' tekniği üzerinden değerlendirilmesi
Evaluating the creative and reproductive potentials of artificial intelligence algorithms through the 'FISPIS' technique
Yazar: GÜZİN GİZEM RENKLİDAĞ
Danışman: DOÇ. DR. BÜLENT ONUR TURAN
Mimar Sinan Güzel Sanatlar Üniversitesi / Fen Bilimleri Enstitüsü / Enformatik Ana Bilim Dalı / Bilgisayar Ortamında Sanat ve Tasarım Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Bilim ve Teknoloji = Science and Technology ; Güzel Sanatlar = Fine Arts

Özet:
Günümüzde kullanılan yapay zeka algoritmaları, sanatta yaratıcı süreçlerin yeniden şekillendirilmesinde önemli bir rol oynamaktadır. Yapay sinir ağları, makinelerin farklı türlerde sanat yapıtlarını öğrenip sanatsal üretimler yapmalarına olanak sağlamaktadır. Yapay zeka araçlarının sanat ve tasarıma entegrasyonu, geleneksel yaratıcı süreci dönüştürmekte ve yapay zeka tarafından üretilen sanatsal üretimin kabulü ve değerlendirilmesi konusunda tartışmalara yol açmaktadır. Özellikle, insan-yapay zeka işbirlikleri sanatsal yaratımda yeni imkanlar sunmakta ve yapay zeka ile insan arasında anlamlı bir işbirliği için fırsatlar yaratmaktadır.
Yapay zeka algoritmalarının sanat üretiminde yaygın kullanımı, özellikle figüratif ve geometrik soyut sanat alanında daha yaygınken, dokulu, karmaşık ve kompleks soyut sanat eserlerini öğrenme ve yeniden üretiminde daha az rastlandığı gözlemlenmektedir. Bu algoritmaların yoğun doku, birbirine geçmiş renkler ve soyut görüntülerle ilgili özellikleri öğrenme kapasitelerinin sınırlı olduğu gözlemlenmektedir. Bu sınırlamalar, yaygın kullanılan modellerin figüratif ve geometrik soyut sanat eserlerini öğrenme ve yeniden üretme konusunda istenilen sonuçları verirken, kompleks dokulu soyut resimleri öğrenme ve yeniden üretme konusunda istenilen sonuçların alınamamasına yol açmaktadır. Bu durum, algoritmaların ardışık piksellerin düzensizliği ve figüratif ile geometrik soyut eserlerde olduğu gibi ön-arka ilişkisini kurmada yetersiz kalmalarından kaynaklanmaktadır. Dokulu ve kompleks soyut sanat eserlerinde belirgin desenlerin ve yapıların olmaması, rastgele ve karmaşık yapılar içermesi, algoritmaların öğrenme süreci zorlaşmaktadır.
Bu tez kapsamında, özgün bir resim tekniği olan 'FISPIS'ın yapay zeka algoritmaları tarafından ne kadar başarılı bir şekilde öğrenilebileceği ve yeniden üretilebileceği araştırılmıştır. Yazar tarafından 2012 senesinde keşfedilen ve yıllar içinde geliştirilen 'FISPIS' tekniği, sulandırılmış akrilik boyaların sprey şişeleri aracılığıyla püskürtülerek, katmanlar halinde uygulandığı bir resim tekniğidir. Genellikle soyut resimlerin üretilmesinde kullanılır. Bu teknik, dünya yüzeyinde görmeye alıştığımız örüntüler, dokular ve renk geçişlerine benzer görüntüler oluşturulmasında etkilidir. Bu teknik ile üretilmiş resimler hem renk geçişleri hem de dokusal derinlikler açısından zengin ve karmaşık bir yapıya sahiptir. Çalışmada, bu teknik, çeşitli yapay zeka modelleri kullanılarak analiz edilmiş ve modelleme başarısı değerlendirilmiştir.
İlk aşamada, Çekişmeli Üretken Ağlar (GAN), ArtGAN, BigGAN, ve Değişken Otomatik Kodlayıcılar (VAE) gibi yaygın kullanılan yapay zeka modelleri incelenmiş, ancak bu modellerin 'FISPIS' tekniğinin karmaşık görsel ve dokusal özelliklerini tam anlamıyla yansıtmadığı gözlemlenmiştir. Bu durum, modellerin yoğun doku, birbirine geçmiş renkler ve soyut görüntülerle ilgili özellikleri öğrenme kapasitesinin sınırlı olduğunu göstermiştir. Ayrıca, kullanılan veri setinin sınırlılığı ve işlem gücü kısıtlamaları, modellerin performansını etkileyen önemli faktörler olmuştur.
Daha sonraki aşamalarda, kenar tespiti algoritması olan Canny ile birleştirilen Pix2Pix modeli üzerine yoğunlaşılmıştır. Pix2Pix'in kenar tespiti algoritmasıyla kullanılması fikri, difüzyon modellerden ilham alınarak geliştirilmiştir. Bu algoritma, nokta bulutları halinde siyah-beyaz görseller üretmemizi sağlamaktadır. 'FISPIS' resimlerindeki temel yapısal detayları belirginleştirerek modelin bu özellikleri daha iyi öğrenmesini sağlamıştır. Eğitim süreci boyunca, modelin performansı her 10 devirde bir PSNR (Zirve Sinyal-Gürültü Oranı), SSIM (Yapısal Benzerlik İndeksi), MS-SSIM (Çok Ölçekli Yapısal Benzerlik İndeksi) ve MSE (Ortalama Kare Hatası) gibi metriklerle değerlendirilmiştir. Bu metrikler, modelin doğruluğunu ve görsel kaliteyi objektif bir şekilde ölçmek için kullanılmıştır.
Sonuçlar, kenar tespiti ile birlikte kullanılmış Pix2Pix modelinin, 'FISPIS' tekniğinin belirgin görsel ve dokusal özelliklerini büyük ölçüde yakaladığını göstermektedir. Bu model, yalnızca görselleri taklit etmekle kalmayıp, aynı zamanda özgün sanatsal tekniklerden ilham alarak yeni eserler üretebilme kapasitesine sahip olduğunu göstermektedir. Bu durum, modelin soyut sanat tekniklerini öğrenme ve yeniden üretme potansiyelini vurgulayarak, sanatsal tekniklerin yapay zeka tarafından öğrenilmesi ve yeniden üretilmesi konusunda kısıtlı imkanlarda da kullanılabilecek bir yöntem sunar. Bu çalışma, yalnızca yapay zeka ve sanatın kesişim noktasında gelecekte yapılacak araştırmalar için pratik bir temel oluşturmakla kalmayıp, aynı zamanda soyut çalışan sanatçılar için de yenilikçi, kullanışlı ve ulaşılabilir bir yöntem olarak sunulmaktadır.

Abstract:
Artificial intelligence algorithms currently play a significant role in reshaping creative processes in art. Neural networks enable machines to learn different types of artworks and produce artistic creations. The integration of AI tools into art and design is transforming traditional creative processes and leading to discussions regarding the acceptance and evaluation of AI-generated artistic output. Particularly, human-AI collaborations are offering new opportunities for artistic creation and fostering meaningful partnerships between AI and humans.
The widespread use of AI algorithms in art production is more prevalent in the fields of figurative and geometric abstract art, while their application in learning and reproducing textured, complex, and intricate abstract art is less common. These algorithms are observed to have limited capacity to learn features related to dense textures, interwoven colors, and abstract visuals. These limitations result in widely used models delivering desired outcomes in learning and reproducing figurative and geometric abstract artworks, but not achieving the same results with complex textured abstract paintings. This is due to the algorithms' inadequacy in handling the irregularity of consecutive pixels and establishing foreground-background relationships as effectively as in figurative and geometric abstract works. The absence of distinct patterns and structures, along with the random and complex nature of textured and complex abstract artworks, complicates the learning process for the algorithms.
This thesis investigates how well AI algorithms can learn and reproduce an original painting technique called 'FISPIS'. Discovered by the author in 2012 and developed over the years, the 'FISPIS' technique involves applying diluted acrylic paints in layers using spray bottles. It is commonly used to create abstract paintings and effectively produces images that resemble the patterns, textures, and color transitions seen on the Earth's surface. Paintings created with this technique are rich and complex in terms of both color transitions and textural depth. The study analyzes this technique using various AI models and evaluates their modeling success.
Initially, widely used AI models such as Generative Adversarial Networks (GAN), ArtGAN, BigGAN, and Variational Autoencoders (VAE) were examined, but these models were observed to inadequately capture the complex visual and textural features of the 'FISPIS' technique. This indicates the limited capacity of these models to learn features related to dense textures, interwoven colors, and abstract visuals. Additionally, limitations in the dataset and computational power were significant factors affecting the performance of these models.
In subsequent stages, the focus was placed on the Pix2Pix model combined with the Canny edge detection algorithm. The idea of using Pix2Pix with an edge detection algorithm was inspired by diffusion models. This algorithm produces black-and-white images in point cloud form, enhancing the fundamental structural details in 'FISPIS' paintings, thus allowing the model to learn these features better. Throughout the training process, the model's performance was evaluated every 10 epochs using metrics such as PSNR (Peak Signal-to-Noise Ratio), SSIM (Structural Similarity Index), MS-SSIM (Multi-Scale Structural Similarity Index), and MSE (Mean Squared Error). These metrics were used to objectively measure the accuracy and visual quality of the model.
The results demonstrate that the Pix2Pix model, used in conjunction with edge detection, significantly captures the distinct visual and textural features of the 'FISPIS' technique. This model not only mimics the visuals but also has the capacity to generate new artworks inspired by the original artistic techniques. This highlights the potential of the model to learn and reproduce abstract art techniques, offering a viable method for learning and reproducing artistic techniques using AI, even under limited conditions. This study not only provides a practical foundation for future research at the intersection of AI and art but also offers an innovative, useful, and accessible method for artists working in abstract art.