Ebeveynlerin dijital ebeveynlik yeterliliklerine yönelik mobil bir öneri sistemi geliştirilmesi ve değerlendirilmesi
Development and evaluation of a mobile recommendation system for parents' digital parenting competences
Yazar: YILDIZ ÖZAYDIN AYDOĞDU
Danışman: PROF. DR. SİBEL SOMYÜREK
Gazi Üniversitesi / Eğitim Bilimleri Enstitüsü / Bilgisayar ve Öğretim Teknolojileri Eğitimi Ana Bilim Dalı / Bilgisayar ve Öğretim Teknolojileri Eğitimi Bilim Dalı
Derece: Doktora, 2023
Konu: Eğitim ve Öğretim = Education and Training
Dizin: Dijital ebeveynlik = Digital parenting

Özet:
Bu çalışmanın amacı, ebeveynlerin dijital ebeveynlik yeterliklerine yönelik mobil bir öneri sisteminin geliştirilmesi ve değerlendirilmesidir. Bu amaç doğrultusunda Tip-1 gelişimsel araştırma modeli kullanılarak 4 aşamadan oluşan çalışma gerçekleştirilmiştir. 1. aşamada mobil öneri sisteminin tasarımı yapılmıştır. Bu kapsamda, mobil öneri sisteminin kuramsal altyapısı, evrensel tasarım ilkelerinin sistemde nasıl kullanılacağı, çoklu ortam tasarım ilkelerinin sistemde nasıl kullanılacağı ve sistemde yer alacak bileşenler ve fonksiyonların neler olacağı belirlenmiştir. Dört farklı uzman görüş formu aracılığı ile 20 uzmandan elde edilen görüşlere göre sistem tasarımına son hali verilmiştir. Çalışmanın 2. Aşamasında, mobil sistem geliştirilmiş, pilot uygulama gerçekleştirilmiş ve makine öğrenmesi için gerekli olan ön uygulama yapılmıştır. Mobil sistem geliştirildikten sonra dijital hikayeler, açıklayıcı videolar, ses kayıtları, e-kitaplar ve bilgi grafiklerinden oluşan 141 içerik sisteme entegre edilmiştir. Ardından sistemin çalışma durumunun test edilmesi amacı ile pilot çalışma gerçekleştirilmiş ve elde edilen sonuçlara göre sistemde gerekli güncellemeler yapılmıştır. Son kontrollerinin yapıldığı mobil sistem makine öğrenmesi için gerekli olan verilerin toplanması için ebeveynlerin kullanımına sunulmuştur. Bu kullanım esnasında, ebeveynlerin gezinme verileri ile kişisel bilgiler anketi, teknolojiye erişim ve kullanma durumu anketi, dijital ebeveynlik öz yeterliği ölçeği ve çocukların internet kullanımında ebeveyn arabuluculuğu ölçeği aracılığı ile veriler toplanmıştır. 132 kişiden elde edilen bu veriler makine öğrenmesinde girdi değişken olarak kullanılmıştır. Kişilerin gezinme verilerinden elde edilen öge sayfası açma, video oynatma, yorum yapma, içerik paylaşma, içerik puanlama ve oynatma listesine ekleme durumları verileri ise çıktı değişken olarak kullanılmıştır.  Çalışmanın 3. aşamasında öneri motorunun oluşturulmuş ve sisteme entegre edilmiştir. Bu aşamada ilk olarak girdi ve çıktı değişkenler bazında elde edilen veriler kullanılarak farklı sınıflandırma ve kestirim tekniklerine göre modeller oluşturulmuştur. Hibrit filtreleme yöntemi kullanılan bu sistemde modellerin oluşturulmasında; k-en yakın komşu, karar ağaçları, destek vektör makineleri, naif bayes sınıflandırıcılar ve lojistik regresyon analizi algoritmaları kullanılmıştır. Bu algoritmalar aracılığıyla her bir çıktı değişken için 141 olmak üzere toplam 846 model oluşturulmuş ve bu modeller sisteme entegre edilmiştir. Kişi için en uygun olan ilk 10 önerinin mobil öneri sisteminde (MÖS) "Sizin için öneriler" kısmında görüntülenebileceği şekilde kodlamalar yapılmıştır. Buna ek olarak, soğuk başlangıcın önlenmesi amacı ile kullanıcıya "Popüler içerikler" kısmı altında, en yüksek etkileşim oranına sahip ilk 10 içeriğin öneri olarak sunulmasına yönelik kodlamalar da yapılmıştır. Çalışmanın 4. aşamasında MÖS'ün performansı, kullanılabilirliği, katılım, işlevsellik, estetik ve bilgi boyutları ile sistem ve önerilere yönelik ebeveyn görüşleri değerlendirilmiştir. Bu kapsamda, öncelikle MÖS'e yönelik doğruluk ve çapraz geçerlik hesaplamaları ile sistemin ne kadar doğru çalıştığına yönelik hesaplamalar yapılmıştır. Ardından öneri sisteminin performansının belirlenmesinde performans metrikleri olarak; duyarlılık, kesinlik ve F1 puanı kullanılmıştır. MÖS'de en yüksek doğruluk oranına sahip algoritmanın çıktı değişkenlerinin tamamında K-en yakın komşu algoritması olduğu belirlenmiştir. Sistemin duyarlılığına yönelik hesaplamalar sonucunda yorum yapma ve paylaşım yapma durumlarında en yüksek duyarlılığa sahip algoritma naif bayes sınıflandırıcılar olurken, öge açma durumları, video oynatma durumları, içerik puanlama durumları ve oynatma listesine ekleme durumları çıktı değişkenleri için en yüksek duyarlılığa sahip algoritma karar ağaçlarıdır. Çıktı değişkenlerinin tamamında en yüksek kesinliğe sahip algoritmanın naif bayes sınıflandırıcılar olduğu görülmüştür. Öğe açma durumları, video oynatma durumları ve oynatma listesine ekleme durumları çıktı değişkenlerinde en yüksek puana sahip algoritma karar ağaçları olmuştur. Yorum yapma durumları, paylaşım yapma durumları ve içerik puanlama durumlarına göre ise naif bayes sınıflandırıcılar en yüksek F1 puanına sahip algoritmadır. Sistem performansının belirlenmesinin ardından sistemin kullanılabilirliğine yönelik çalışmalar yapılmıştır. MÖS'ün etkililik ve verimliliğinin belirlenmesine yönelik 19 görevden oluşan bir görev listesi oluşturulmuştur. Sistemde katılımcıların yapmaları istenilen tüm görevleri eksiksiz yerine getirdikleri, görevleri ortalama 3,28 saniye ile 49,28 saniye arasında kısa bir oldukça kısa bir sürede gerçekleştirdikleri ve sistemin geneline, popüler içeriklere ve senin için öneriler kısmına yönelik memnuniyet düzeylerinin oldukça yüksek olduğu tespit edilmiştir. Sistemin kullanılabilirliğinin belirlenmesinin ardından sistemin katılım, işlevsellik, estetik ve bilgi boyutları ile sisteme yönelik ebeveyn görüşleri değerlendirilmiştir.

Abstract:
This study aims to develop and evaluate a mobile recommendation system for parents' digital parenting competencies. For this purpose, a study consisting of 4 stages was carried out using the Type-1 developmental research model. In the first stage, the mobile recommendation system was designed. In this context, the theoretical infrastructure of the mobile recommendation system, how universal design principles will be used in the system, how multimedia design principles will be used in the system, and what components and functions to be included in the system will be determined. The system design was finalized according to the opinions obtained from 20 experts through four expert opinion forms. In the 2nd phase of the study, the mobile system was developed, a pilot application was carried out, and the preliminary application required for machine learning was carried out. After the mobile system was developed, 141 pieces of content consisting of digital stories, explanatory videos, podcasts, e-books, and infographics were integrated into the system. Then, a pilot study was carried out to test the operating status of the system, and the necessary updates were made to the system according to the results obtained. The mobile system, where final checks have been made, is made available to parents to collect the data required for machine learning. During this use, data were collected through parents' navigation data and personal information survey, technology access and usage status survey, digital parenting self-efficacy scale, and parental mediation scale in children's internet use. The data obtained from 132 people were used as input variables in machine learning. The data obtained from people's navigation data, such as opening an item page, playing a video, commenting, sharing content, scoring content, and adding it to the playlist, were used as output variables. In the third phase of the study, the recommendation engine was developed and integrated into the system. At this stage, first, models were created according to different classification and estimation techniques using the data obtained based on input and output variables. In this system, where the hybrid filtering method is used to create models, k-nearest neighbor, decision trees, support vector machines, naive Bayes classifiers, and logistic regression analysis algorithms were used. Through these algorithms, a total of 846 models, 141 for each output variable, were created, and these models were integrated into the system. Coding has been done so that the top 10 recommendations most suitable for the person can be displayed in the "Recommendations for you" section in the mobile recommendation system (MRS). In addition, to prevent cold starts, coding has been made to present the top 10 contents with the highest interaction rate as suggestions to the user under the "Popular contents" section. In the 4th stage of the study, the performance, usability, participation, functionality, aesthetics, and information dimensions of the MRS, as well as parental opinions on the system and recommendations, were evaluated. In this context, accuracy and cross-validation calculations for MRS and calculations were made to determine how accurately the system works. Then, as performance metrics in determining the performance of the recommendation system, sensitivity, precision, and F1 score were used. It was determined that the algorithm with the highest accuracy rate in MRS was the K-nearest neighbor algorithm in all output variables. As a result of the calculations regarding the sensitivity of the system, the algorithm with the highest sensitivity in commenting and sharing situations is naive Bayes classifiers, while the algorithm decision trees with the highest sensitivity for the output variables of item opening situations, video playing situations, content rating situations and adding to the playlist situations are. It has been observed that the algorithm with the highest precision in all output variables is the naive Bayes classifier. Item opening states, video playing states, and adding to playlist states were the algorithm decision trees with the highest scores in the output variables. According to commenting situations, sharing situations, and content scoring situations, naive Bayes classifiers are the algorithm with the highest F1 score. After determining the system's performance, studies were carried out on the usability of the system. A task list consisting of 19 tasks was created to determine the effectiveness and efficiency of MRS. It was determined that the participants completed all the tasks they were asked to do in the system, they completed the tasks in a very short time, on average between 3.28 seconds and 49.28 seconds, and their satisfaction level with the overall system, popular content and the suggestions for you section was quite high. After determining the system's usability, the system's participation, functionality, aesthetics, information dimensions, and parental opinions about the system were evaluated.