Tarihi pigmentlerin yapay zeka ile tespiti
Detection of historical pigments with artificial intelligence
Yazar: BENGİN BİLİCİ GENÇ
Danışman: PROF. DR. BEKİR ESKİCİ ; DOÇ. DR. GAZİ ERKAN BOSTANCI
Ankara Hacı Bayram Veli Üniversitesi / Lisansüstü Eğitim Enstitüsü / Kültür Varlıklarını Koruma Ana Bilim Dalı
Derece: Doktora, 2024
Konu: Arkeoloji = Archeology ; Arkeometri = Archaeometry ; Sanat Tarihi = Art History

Özet:
Kültür varlıkları; tarih öncesi veya tarihi dönemlerde sosyal hayata konu olmuş, bilimsel ve kültürel açıdan eşsiz değere sahip olan yer üstü, yer altı veya su altındaki tüm taşınır ve taşınmaz varlıklardır. Günümüzde bu varlıkların dönem teknolojilerini anlamak için yapılan analizlerin çoğunun numune almayı gerektirmesi ve numune almadan analiz yapılmasına olanak sağlayan tahribatsız yöntemlerinde yüksek maliyetli olması, sanat tarihçileri, arkeologlar, konservatör-restoratörler ve arkeometristler için başlı başına sorun haline gelmektedir. Hem eserin korunmasından hem de eserle ilgili bilgi üretmesinden sorumlu olan bu mesleklerin kullandığı her iki yöntemin avantaj ve dezavantajları değerlendirildiğinde maliyetteki olumsuzluk dikkat çekicidir. Kültür varlıklarının kapsamlı bir şekilde çalışamaması, haklarında yeterli bilgi edinilememesine neden olduğundan, son dönemde kültürel miras hakkı ve insan hakları hukukunda ele alınmaktadır. Ulusal ve uluslararası alanda yaşanan sorunlara çözüm bulmak amacıyla hazırlanan bu doktora tezinde, kültürel mirasta tahribatsız, maliyeti minimuma indiren ve herkes tarafından kolay kullanılabilir bir analiz yönteminin geliştirilmesi amaçlanmıştır. Bu amacı gerçekleştirmek için arkeolojik ve sanat eserlerinde kullanılan boyaların fotoğraflarını yapay zekaya eğiterek, kültür varlıklarındaki boyaları fotoğraflarından tanıması istenmiştir. Bu sayede eserden örnek almadan fotoğrafını çekerek, yapay zekâ da hangi boyaya ait olduğu öğrenilebilecektir. Bu amaç doğrultusunda fresko, secco, tempera, tempera grassa, yağlıboya ve sulu boya tekniklerinde kullanılan bağlayıcılarla, ultramarin, Mısır mavisi, yeşil toprak, sarı ve kırmızı okre pigmenti ile tarihi boyalar hazırlanmıştır. Farklı boyama teknikleri ile üretilen boyalar doğal ve yapay ışıkta, farklı ışık şiddetlerinde fotoğraflanıp 256*256 piksele dönüştürülerek CNN, SVM, ResNet50, DenseNet ve VGG19 modelleri ile sınıflandırılmıştır. Eğitilen VGG19 modeline, enstrümantal yöntemlerle analiz edilen arkeolojik ve sanatsal eserlerde kullanılan boyaları gerçek kimlikleriyle sınıflandırıp sınıflandıramayacağı sorulmuştur. Test sonucunda model, kodu ve Mc Nemar's testi sonucuna benzer şekilde sanat eserlerindeki boyaları fotoğraflardan %99 başarı oranıyla tahribatsız bir şekilde sınıflandırmayı başarmıştır. Kültür varlıklarını koruma ve onarım biliminde bu tez, Türkiye'de malzeme analizi ve yapay zekayı entegre eden ilk çalışma, uluslararası alanda ise RGB görüntüler ile metodolojik açıdan ilk defa pigment tanımlamasını ele aldığından özgün değer taşımaktadır. Tez, özgünlüğü nedeniyle TÜBİTAK 3005 Sosyal ve Beşerî Alanlarda Yenilikçi Çözümler alanında 123K163 nolu proje olarak desteklenmiştir.

Abstract:
Cultural assets; All movable and immovable assets above ground, underground or under water that have been the subject of social life in prehistoric or historical periods and have unique scientific and cultural value. Today, the fact that most of the analyzes carried out to understand the period technologies of these assets require taking samples and the high cost of non-destructive methods that allow analysis without taking samples has become a problem for art historians, archaeologists, archaeometrists and conservator-restorers. When the advantages and disadvantages of both methods used by these professions, which are responsible for both preserving the work and producing information about the work, are evaluated, the negative cost is striking. Failure to examine cultural assets comprehensively results in inability to obtain sufficient information about them. This situation has recently been addressed in cultural heritage rights and human rights law. In this doctoral thesis, which was prepared to find solutions to problems experienced nationally and internationally, it is aimed to develop a non-destructive, cost-minimizing and easy-to-use analysis method for cultural heritage. To achieve this goal, artificial intelligence will be trained with photographs of paints used in archaeological artifacts and works of art and will be asked to recognize the paints in cultural objects from their photographs. In this way, it will be possible to learn which paint was used from the photo using artificial intelligence, without taking a sample of the work. For this purpose, historical paints were prepared with binders used in fresco, secco, tempera, tempera grassa, oil painting and watercolor techniques, and ultramarine, Egyptian blue, green earth, yellow and red ochre pigments. Dyes produced with different dyeing techniques were photographed in natural and artificial light, at different light intensities, converted into 256*256 pixels and classified with CNN, SVM, ResNet50, DenseNet and VGG19 models. The trained VGG19 model was asked whether it could classify the paints used in archaeological and artistic works analyzed with instrumental methods, with their real identities. As a result of the test, the model was able to non-destructively classify the paints in the works of art from the photographs with a 99% success rate, similar to the code and Mc Nemar's test results. This thesis is the first study in Turkey to integrate material analysis and artificial intelligence in the science of conservation and restoration of cultural assets. It is unique in the international arena as it provides pigment identification with RGB images (photographs) for the first time. Due to its originality, the thesis was supported as project number 123K163 in the field of TÜBİTAK 3005 Innovative Solutions in Social and Human Fields.