Gödel makinelerinde öğrenme sorunu
Learning problem in Gödel machines
Yazar: ABDULLAH HANZALE KORKMAZ
Danışman: PROF. DR. ÖZGÜÇ GÜVEN
İstanbul Üniversitesi / Sosyal Bilimler Enstitüsü / Sistematik Felsefe ve Mantık Ana Bilim Dalı
Derece: Yüksek Lisans, 2024
Konu: Felsefe = Philosophy
Dizin: Gödel, Kurt = Gödel, Kurt ; Makine öğrenmesi = Machine learning ; Matematik felsefesi = Philosophy of mathematics ; Matematiksel karmaşıklık = Mathematical complexity ; Matematiksel mantık = Mathematical logic ; Yapay zeka = Artificial intelligence ; Öğrenmeyi öğrenme = Learning to learn

Özet:
Hilbert programı çerçevesinde tanık olduğumuz bilgi anlayışı, düşünceyi semboller arası ilişkiler olarak anlamlandırmıştır. Georg Cantor ve Gottlob Frege ile başlayıp Kurt Gödel'e kadar uzanan matematik bilgisinin biçimsel dillerde temsil edilmesi arayışı dil, mantık ve matematik alanında geniş bir araştırma alanı oluşturmuştur. Bu arayış, tamamlanamazlık teoremlerinin ispatıyla sınırları belirlenmiş bir alan haline gelmiştir. Tamamlanamazlık teoremlerinin biçimsel dilleri kuşatıcı iddialarına rağmen Gödel'in ispat metodunda ortaya koyduğu özyinelemeli fonksiyonlar bilgisayar biliminin gelişiminde önemli bir rol oynamıştır.  Bilgisayar biliminin temel olarak aksiyomatik sistemlerden meydana gelmesi itibariyle bu bilimde matematiksel mantığın sınırları kabul görmüştür. Öte yandan Alan Turing'in düşünceye dair bir iddianın mekanikleştirilmesi fikri, yapay zeka kavramında hayat bulmuştur. Yapay zekayı bir makinenin hesaplama kapasitesi üzerinden değerlendiren Turing, tamamlanamazlık teoremlerinin bir sonucunun bilgisayarda da geçerli olduğunu karar verilemezlik teoremi ile göstermiştir. Yapay zeka kavramının doğuşundan itibaren, Hilbert programının sınırlılıklarının hesaplanabilir sistemlerde geçerliliği yaygın kabul görmüştür. Gödel'in tamamlanamazlık teoremleri, bir kesim tarafından mekanizm karşısında nihai bir cevap olarak görülmüştür. Ancak matematikte ve bilgisayar biliminde süregelen gelişmeler bu kısıtlılığı aksiyomatik dizgelerle yapılabileceklere ait bir sınırdan ibaret görmüştür. Tamamlanamazlık teoremleri sonrasındaki çalışmalarda doğruluk ve ispat arasındaki ayrım doğrultusunda matematiği betimleyici yaklaşımlar yaygınlık kazanmıştır. Yapay zeka çalışmalarında da Gödel'in eleştirisi takip edilerek olasılık tabanlı yeni bir literatürü makinelerin biçimsel dili üzerinde inşa edilmiştir. Matematiksel mantık çalışmalarını izleyen ilk yapay zeka uygulamaları, sembolik yapay zeka uygulamaları olarak adlandırılmıştır. Ancak, sembolik sistemlerin sınırlılıkları bir hedef değişikliğine sebep olmuştur. Yapay zekanın metodu, bilginin kendisini sembolize etmekten makinenin bilgiyi temsil edecek araca dönüşmesini sağlamaya veya pratikte, kural temelli yapılardan veri temsiline evrilmiştir. Makinelerin dilinde problem ve çözüm verileri üzerinden kurgulanan yeni yapı günümüz makine öğrenmesi algoritmalarının temellerinden biridir. Yapay zekadaki bu değişim matematiksel mantıkta yaşanan paradigma değişimini de desteklemiş, bilgiyi ontolojik tartışmaların dışında yalnız sentaktik temsille inceleme imkanı sağlamıştır. Matematiksel mantıkta süregelen matematik nesnelerine dair pek çok tartışma yapay zeka çalışmalarındaki yeni yaklaşım içerisinde bir temsil problemi olarak kalmaktadır. Bu temsilde problemler istenilen girdi ve çıktıyı birbirine bağlayan algoritmalar üzerinden tanımlanarak kesin doğruluk yerine doğruya yakınsayan modeller üzerinde, veriyi çözen, tekil, görev odaklı öğrenme algoritmaları olarak yaygınlık kazanmıştır. Görev odaklı algoritmalar yapay zeka düşüncesinin doğuşundaki bilinç hayalinden uzaklaşmış olsa da makinelerin öğrenmesi, genellenebilir öğrenme algoritması inşa edilmesine dair bir araştırma alanı doğurmuştur. Bu alandaki çalışmalar, üst öğrenme adı altında makinenin problem çözme metotlarını kendi kendine keşfetmesine odaklanmıştır. Alan içerisinde makinelerin problemlere erişebilmesini sağlayan biçimsel dildeki ifade kabiliyetleri, tutarlılık ve kapsam gibi mantıksal özellikleri dışında hesaplanabilirlik ve verimlilik gibi daha pratik yönleriyle ele alınmıştır. Makine öğrenmesi epistemolojisi altında yeni bir akademik alan edinmeye başlayan bu yapay zeka yaklaşımının temellerinden birisi algoritmik karmaşıklık teorisi olmuştur. Gödel makinesi de üst öğrenmeyi karmaşıklık kavramı etrafında, hesaplanabilir biçimde inşa etmeyi hedefleyen genellenebilir bir öğrenme algoritmasıdır. Gödel makinesinin özgünlüğü ise öğrenme işlevini mekanize edilmiş bir mantıksal çıkarım sisteminin kontrolünde gerçekleştirmesidir. Gödel makinesinin yazarı Jürgen Schmidhuber, kural temelli yapay zeka algoritmalarından başlayarak derin öğrenme algoritmalarına kadar kendi kendine politikalar üretebilen, öğrenme metotlarını keşfeden sistemleri aramıştır. Bu arayış süresince, kendine gönderimle sonsuz kurallar üretmenin önüne geçmek istemiş ve kural üretmenin gerekçesini makine içerisinde inşa etmeye odaklanmıştır. Öğrenmeyi öğrenme olarak betimlenen bu sistem, algoritmik karmaşıklık zemininde istediği araçlara kavuşmuştur. Rudolf Carnap'ın dili sentaksa indirgeme çabasının semantiğe ilişkin bir sentaksı aradığı eleştirisi Ray Solomonoff'u yalnızca sentaksta sınırlı bir biçimsel dizge arayışına itmiştir. Solomonoff'un ortaya koyduğu kullanılan biçimsel dilden bağımsız ifade edilebilen sentaktik özellikler ve üzerine inşa edilen tümevarım ilkesi Schmidhuber'in ihtiyaç duyduğu gerekçelendirmeyi sağlamıştır. Schmidhuber, problem çözmeyi uzay ve zaman kısıtlılığı içerisinde, makinenin evrensel Turing makinesinde erişebileceği çözümler üzerinden tanımlamıştır. Gödel makinesinin basit teoremlerden daha karmaşıklara ilerleyen inşacı yaklaşımı insanın matematik yapma sürecine benzer şekilde kurgulanmıştır. Makinenin gerekçelendirme sistemi ise, kullandığı özel dil aracılığı ile birinci dereceden bir mantık sistemine aktarılmıştır. Böylece Gödel makinesi, mantık sisteminde ispatlanabilir tüm problemlere çözüm üretebilen evrensel problem çözüm algoritması iddiasıyla sunulmuştur. Gödel makinesi, matematikte Gödel'in tamamlanamazlık teoremlerinin sınırları içerisinde, aritmetikte genellenebilir ve mekanize edilebilir bir alan bulunduğunu teorik olarak ortaya çıkartmaktadır. Sonuç olarak, yapay zeka çalışmalarındaki paradigma değişimi, makinelerin insan düşüncesine daha çok benzeyen süreç odaklı bir yapıya evrilmesine imkan tanımıştır. Çalışma içerisinde önce matematik felsefesi ile yapay zekanın temas noktalarına değinilmiş ardından örnek bir öğrenme algoritması gösterilerek kavramsal zemin sağlanmıştır. Schmidhuber'in öğrenme eleştirisi doğrultusunda kullandığı teoriler paradigma değişimini vurgulamak üzere tanıtılmış ve algoritmik karmaşıklık teorisinin kurucu metinlerine değinilmiştir. Gödel makinesinin matematiksel ve bilgisayar bilimindeki kökenleri ve yapay zekanın gelişim süreci Schmidhuber'in metinleri üzerinden tanıtılarak Gödel makinesinin önce bileşenleri ardından kendisi sunulmuştur. Matematik felsefesinin ve Schmidhuber'in eleştirileri doğrultusunda Gödel makinesinde öğrenme sorunu ortaya konularak tez sonlandırılmıştır. 

Anahtar Kelimeler: Gödel makinesi, Algoritmik karmaşıklık, Hesaplanabilirlik, Kurt Gödel, Mantıksal programlama, Matematik felsefesi, Matematiksel mantık, Makine öğrenmesi, Yapay zeka.

Abstract:
The paradigm that constructs knowledge as symbol relations and their manipulation gave rise to the Hilbert program in the 19th century. This line of thought, starting from Gottlob Frege and Georg Cantor reaching up to Kurt Gödel for representing mathematical knowledge in a formal language, created a vast research area expanding over studies of language, logic, and mathematics. The search for formal arithmetic has collapsed and framed with Gödel's incompleteness theorems. Despite the claims that incompleteness holds for every formal (large enough) language; Gödel's method for proving incompleteness, namely recursive functions, played an important role in the development of computer science. Although computer science is composed of axiomatic systems, the limits of mathematical logic are repeatedly re-discovered under different domains. At the time, Gödel's incompleteness theorems were commonly accepted as the final answer to mechanism and artificial intelligence. Ongoing developments in mathematics and computer science have shown that this limitation is only a limit to what can be done with axiomatic strings. In the studies following the incompleteness theorems, descriptive approaches to mathematics in line with the distinction between truth and proof became widespread. The new paradigm mostly built itself on calculative probabilistic approaches and formal language of the machines. The new framework has placed the first part of the change on the representation of language outside the ontological requirements. Unlike mathematical logic, an object representation in an algorithm would not need the object description, yet the symbol group pointing to it would suffice. In artificial intelligence studies, this framework continued to develop, Gödel's criticism was followed over Rudolf Carnap's inductive systems, and later over learning theories, and a new probability-based literature was built on the formal language of machines. 
The first artificial intelligence applications following mathematical logic studies were called symbolic artificial intelligence applications. However, the limitations of symbolic systems led to a change of goal. The method of artificial intelligence has evolved from symbolizing knowledge itself to enabling the machine to become the tool to represent information, or in practice, from rule-based structures to data representation. The new structure built on problem and solution data in the language of machines is one of the foundations of today's machine learning algorithms. Data-driven artificial intelligence work have prioritized convergence of models over truth of the proof and given birth to machine learning algorithms. As most of the todays artificial intelligence work is produced under machine learning methods, the research for general artificial weakened yet continues to develop. Although task-oriented algorithms have moved away from the dream of consciousness at the birth of the idea of artificial intelligence, machine learning has spawned a field of research on building generalizable learning algorithms. The work in this field has focused on the machine's self-discovery of problem-solving methods under the name of meta-learning. Within the field, the formal language expressive capabilities that enable machines to access problems have been addressed in terms of logical properties such as consistency and scope, as well as more practical aspects such as computability and efficiency. One of the foundations of this artificial intelligence approach, which started to gain a new academic field under the epistemology of machine learning, was the algorithmic complexity theory.
As a famous artificial intelligence developer, Jürgen Schmidhuber's research have followed the general artificial intelligence among the various stages of machine learning methods and its history. Starting from the rule-based initial artificial intelligence applications until the deep learning methods, Schmidhuber's work revolves around artificial intelligence that produces its own rules. During this period, he put forth self-reflective structures as an answer to infinite rules. Proceeded with searching for the reason to produce a rule within the machine itself. As described by himself this phenomenon called meta-learning. A system that learns how to learn reaches its reason based on algorithmic complexity through Schmidhuber's work. As a critic of Rudolf Carnap's attempt to reducing the language into the syntax; Ray Solomonoff's theory of induction provides the required tool. As Ray Solomonoff put it, the features of syntactic structures that can be expressed independently of the formal language used and the principle of induction built on them provided the justification Schmidhuber needed. Schmidhuber investigated the formal language within the machine have represented the problems and the solutions with this tool. Treating artificial intelligence as a search problem, the Universal Search algorithm allowed the machine to discover solutions in a probabilistic framework. Schmidhuber defined problem-solving in terms of the solutions that the machine can reach in the universal Turing machine within the constraints of space and time. The machine's reasoning system has transferred to a first-order logic system through the special language it uses. Thus, the Gödel machine is presented as a universal problem-solving algorithm that can produce solutions to all problems that are provable in the logic system. Gödel machine theoretically reveals that there is a generalizable and mechanizable domain in arithmetic within the limits of Gödel's incompleteness theorems in mathematics.
In this context, the Gödel machine is presented as a universal problem-solving algorithm for all mathematically provable problems. Within our logical perspective, Gödel machine is a portrait of the aftermath of incompleteness about its effects on artificial intelligence. This machine expands the mathematical knowledge and artificial intelligence under the sky covered by incompleteness. As a result, the shift of paradigm in mathematics and artificial intelligence after the incompleteness ended up with machines reflecting upon human processes not directly results. The Gödel machine's constructionist approach, which progresses from simple theorems to more complex ones, is constructed similarly to the human process of doing mathematics. 
Within this work, at first, we give the outline of mathematical philosophy and its relations to artificial intelligence establishing a terminological basis. Then we represent a stochastic gradient descent algorithm to match the terminology with technical application without giving details of our code implementation as this work is held under the faculty of philosophy. Then both a short history of learning algorithms and Schmidhuber's work on them has been followed among his several articles picked from his rich corpus to lead toward the Gödel machine. Schmidhuber's criticism of learning algorithms are used to introduce theoretical frameworks including algorithmic complexity, probability, Bayesian methods, and Solomonoff induction as well as his algorithms like adaptive search and OOPS. Upon the completion of the introduction of its parts mechanism and structure Gödel machine is introduced whole, as a machine pointing out its problematic way of learning. Finally, tying two ends together, Gödel machine's capabilities and the area opened by it are discussed in a logical framework. The work concluded with both confirmation and objection of Schmidhuber's thesis. Gödel machine being a sufficient universal problem solver concerning constructive mathematics. Yet Gödel machine's learning problem is the requirement for a semantic involvement of a model disguised in its utility function still leaving an area for human labor in automated meta-learning.

Keywords: Gödel machine, Algorithmic complexity, Computability, Kurt Gödel, Logical programming, Philosophy of mathematics, Mathematical logic, Machine learning, Artificial intelligence.