TV ve Set Üstü Cihaz Arayüzlerinin Kullanılabilirliğinin Değerlendirmesinde Makine Öğrenmesinin Kullanımı
The Use of Machine Learning in Evaluating the Usability of TV and Set-Top Boxes Interfaces
Yazar: Kaya, Aycan; Altın Gümüşsoy, Çiğdem
Dergi: Avrupa Bilim ve Teknoloji Dergisi No. 26, 2021
Anahtar kelimeler: Engineering ; Mühendislik ; TV,Set-top box,Usability,Machine learning,Text mining. ; TV,Set üstü cihaz,Kullanılabilirlik Problemleri,Önceliklendirme,Makine öğrenmesi,Metin madenciliği.

Teknoloji alanındaki hızlı gelişmelerle birlikte günümüzde geleneksel TV’ler birçok yeni özellik kazanarak akıllı TV’lere dönüşmüştür. Bu dönüşümle birlikte TV arayüzlerinin karmaşıklığı da giderek artmış ve kullanılabilirlik problemlerine sebep olmaya başlamıştır. Kullanılabilirlik problemlerinin ürün tasarımının erken aşamalarında belirlenmesi firmaların maliyetlerini düşürmekte ve müşterilere daha kullanılabilir sistemler sunulabilmektedir. Ancak kullanılabilirlik değerlendirmesinin çeşitli aşamaları uzman görüşlerine dayanmakta ve uzun süreler almaktadır. Makine öğrenmesi ve yapay zekâ teknolojileri pek çok alanda olduğu gibi kullanılabilirlik değerlendirmesinde de bazı süreçlerin otomasyonu ile süreçlerin hızlandırılması konusunda kullanılabilir. Bu çalışmanın amacı kullanılabilirlik problemlerinin öncelik düzeyleri açısından belirli örüntülere sahip olup olmadığını ilişkilendirme kuralları tekniği ile araştırmak ve çeşitli makine öğrenmesi algoritmaları (naive bayes, lojistik regresyon, hızlı geniş marjin, derin öğrenme, rastgele orman, gradyan arttırma ağaçları, destek vektör makineleri teknikleri) yardımıyla kullanılabilirlik problemlerini önceliklerine göre sınıflandırmaktır. Bu amaçla Türkiye’nin önde gelen dijital platformlarından birisi olan Digitürk’ten TV ve set üstü cihaz arayüzünün yazılımcılar tarafından değerlendirmesi sonucunda elde edilen 3695 problem temin edilmiştir. Elde edilen veri incelenerek toplamda kullanılabilirlikle ilgili 2752 problem belirlenmiştir. Analizler öncesinde metinlerden oluşan veri seti, sözcüklerine ayırma (tokenization), filtreleme, kök bulma (stemming) gibi ön işlemlerden geçirilerek analizler için hazır hale getirilmiştir. Çalışma kapsamında öncelik düzeyleri açısından kullanılabilirlik problemlerinin sahip olduğu örüntüler tespit edilmiştir. Ayrıca kullanılabilirlik problemleri farklı eğitim/test verisi oranları (50/50, 55/45, 60/40, 65/35, 70/30, 75/25, 80/20, 85/15, 90/10, 95/5) kullanılarak önceliklerine göre sınıflandırılmıştır. Sınıflandırma algoritmalarının performansları doğruluk oranı ve F1-skor metrikleri kullanılarak karşılaştırılmıştır. Çalışma sonucunda öncelik düzeylerine göre sınıflandırmada en yüksek doğruluk oranını (%76,21) destek vektör makineleri algoritması verirken en yüksek F1-skor değerini ise (%79,51) ile derin öğrenme algoritması vermiştir.

With the rapid developments in technology, today traditional TVs have gained many new features and turned into smart TVs. With this transformation, the complexity of TV interfaces gradually has increased and started to cause usability problems. Identifying usability problems in the early stages of the product design reduces the costs of companies and provides more usable systems to customers. However, the various stages of usability evaluation are based on expert opinion and take a long time. Machine learning and artificial intelligence technologies can be used in usability evaluation as in many areas to automate and speed up the processes. This study aims to investigate whether usability problems have certain patterns in terms of importance levels using the association rules technique and to classify usability problems with the help of various machine learning algorithms (naive bayes, logistic regression, fast large margin, deep learning, random forest, gradient boosted trees, support vector machines) according to their importance levels. For this purpose, 3695 problems of a TV and set-top box interface determined by the software developers were obtained from Digiturk, which is one of Turkey's leading digital platforms. By examining the problems obtained, in total 2752 usability problems were determined. Before the analyze, the data set consisting of texts was made ready for analysis by pre-processing such as tokenization, filtering, stemming. As a result of the study, the patterns of usability problems according to their importance levels were obtained by using the association rules technique. Furthermore, usability problems were classified according to their priorities using different training/test data splitting ratios (50/50, 55/45, 60/40, 65/35, 70/30, 75/25, 80/20, 85/15, 90/10, 95/5). The performances of the classification algorithms were compared according to accuracy rate and F1-score metrics. As a result of the study, support vector machines had the highest accuracy level (76.21%) and deep learning algorithms had the highest F1-score (%79,51) in the classification of usability problems according to priority levels.