Üretken yapay zeka destekli programlama eğitiminde sorgu mühendisliğinin çeşitli değişkenler açısından değerlendirilmesi
Evaluation of prompt engineering in generative artificial intelligence-assisted programming education with regards to various variables
Yazar: HANDAN ATUN
Danışman: PROF. DR. YASEMİN GÜLBAHAR GÜVEN
Ankara Üniversitesi / Eğitim Bilimleri Enstitüsü / Bilgisayar ve Öğretim Teknolojileri Ana Bilim Dalı / Bilgisayar ve Öğretim Teknolojileri Eğitimi Bilim Dalı
Derece: Doktora, 2024
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Eğitim ve Öğretim = Education and Training

Özet:
Bu çalışma, üretken yapay zeka destekli programlama eğitiminde bilişsel yüklerin, etkileşimsel uzaklık algısının ve öz düzenleyici öğrenmelerinin öğrencilerin sorgu (prompt) mühendisliği becerileri üzerindeki etkisini incelemektedir. Çalışma iç içe (gömülü) karma araştırma yöntemiyle Ankara ilinde bir devlet üniversitesi bünyesindeki Mühendislik ve Doğa Bilimleri Fakültesi ile Teknik Bilimler Meslek Yüksekokulunda yürütülmüştür. Araştırmanın nicel bölümüne 185 programlama öğrencisi katılırken, 185 öğrencinin 41'i araştırmanın nitel bölümüne de katılmıştır. Nicel analizde, bağımsız örneklemler için t-testi, tek yönlü ANOVA, korelasyonlar, doğrusal regresyonlar ve yol analizi dahil olmak üzere çeşitli istatistiksel teknikler kullanılmıştır. Nitel veriler içerik analizi yöntemiyle çözümlenmiştir.
Araştırmada, bilişsel yük, öz-düzenleyici öğrenme (ÖDÖ), etkileşimsel uzaklık algısı ve öğrencilerin başarı puanları arasındaki etkileşimleri ortaya çıkaran yol analizine dayalı üç model oluşturulmuştur. Bulgular, yüksek içsel bilişsel yükün (İBY) hem ÖDÖ hem de etkinlik puanları üzerinde olumsuz bir etkiye sahip olduğunu, yüksek ÖDÖ becerilerinin ise başarı üzerinde olumlu bir etkisi olduğunu göstermiştir. Üretken yapay zeka ile etkili diyalog, öğrenmeye ve anlamaya yönelik bilişsel çaba olan etkili bilişsel yükü (EBY) artırırken, iyi yapılandırılmamış ders öğelerinin dışsal bilişsel yükü (DBY) artırdığı görülmüştür; bu da etkili sorguların yazılmasında diyaloğun ve esnek öğretim tasarımının önemini ortaya koymaktadır.
Ayrıca ÖDÖ ile öğrencilerin yapay zekaya sordukları soruların verimliliği arasında bir ilişki bulunmuştur. ÖDÖ'sü yüksek öğrenciler ÖDÖ'sü düşük öğrencilere göre daha az sayıda sorguyla doğru sonuca ulaşmışlardır. Bu da yüksek ÖDÖ'ye sahip öğrencilerin daha etkili sorgu yazdığını ve üretken yapay zekanın daha az soruyla doğru yanıtı verebildiğini göstermektedir. Aynı zamanda öğrencilerin sorgu puanlarından alınan sonuçlara göre yüksek düzeyde dışsal bilişsel yük, öğrencilerin soru sorma becerilerini olumsuz etkileyerek, başarılarının düşmesine neden olmuştur.
Sonuç olarak, ChatGPT gibi üretken yapay zeka araçlarının öğrenciler tarafından kullanılması eğitim anlayışımızı tamamıyla değiştirebilecektir. Eğitim artık sadece öğrencilerin bilgi edinmesini sağlamakla sınırlı kalmayıp, yapay zekanın gücünü kullanma ve ürettiği içerikleri eleştirel bir bakış açısıyla değerlendirme becerisini de kazandırmayı amaçlamalıdır. Bu sayede öğrenciler, geleceğin karmaşık dünyasında başarıya ulaşmak için gerekli olan bilgi ve becerilere sahip olacaklardır.

Abstract:
This study examines the influence of cognitive loads, perception of transactional distance, and self-regulated learning abilities on students' effectiveness in prompt engineering within generative AI-supported programming education. The study was conducted in the Faculty of Engineering and Natural Sciences and the Vocational School of Technical Sciences within a state university in Ankara province with a nested mixed research method. While 185 programming students participated in the quantitative part of the study, 41 of the 185 students also participated in the qualitative part of the study. In the quantitative analysis, various statistical techniques were employed, including independent samples t-tests, one-way ANOVAs, correlations, linear regressions, and path analysis. Qualitative data were analyzed with content analysis method.
The research involved the construction of three models based on path analysis, which revealed interactions between cognitive load, self-regulated learning (SRL) skills, transactional distance, and students' achievement scores. The findings indicated that higher intrinsic cognitive load (ICL) had a negative impact on both SRL and activity scores, while strong SRL skills had a positive influence on achievement. While effective dialogue with generative AI can increase Germane Cognitive Load (GCL), the cognitive effort towards learning and understanding, rigid structured course elements were demonstrated to increase extraneous cognitive load (ECL), which demonstrates the importance of dialogue and flexible instructional design in writing effective prompts.
Moreover, a correlation was identified between self-regulated learning and the efficiency of the questions students posed to the AI. Students who exhibited a high level of self-regulation learning achieved the correct result with a reduced number of queries than those with a low SRL. This indicates that students with a high SRL employ more effective prompting strategies which enable the AI to provide an accurate response to fewer question. Conversely, the prompt scores of students revealed that high levels of external cognitive load negatively impacted the students' question-asking abilities, resulting in a decline in their overall success.
In conclusion, the use of generative AI tools such as ChatGPT by students has the potential to revolutionize our understanding of education. Rather than merely providing students with knowledge, education should also aim to equip them with the ability to utilize the power of artificial intelligence and critically evaluate the content it produces. This will ensure that students possess the knowledge and skills necessary to succeed in the complex world of the future.