Kullanılabilirlik Sezgiselleri ile Problemlerinin İlişkilendirilmesi: Makine Öğrenmesi Kullanımı
Association between Usability Heuristics and Problems: Use of Machine Learning
Yazar: Pekpazar, Aycan; Altın Gümüşsoy, Çiğdem
Dergi: Avrupa Bilim ve Teknoloji Dergisi No. 26, 2021
Anahtar kelimeler: Engineering ; Mühendislik ; TV,Set üstü cihaz,Kullanılabilirlik sezgiselleri,Makine öğrenmesi,Veri madenciliği. ; TV,Set-top box,Usability heuristics,Machine learning,Data mining.

Kullanılabilirlik, müşteri memnuniyeti ve marka sadakati üzerinde önemli etkisi olan ve kullanıcı arayüzlerinin ne kadar kullanıcı dostu olduğunu gösteren önemli bir faktördür. Bu sebeple arayüzlerin ve sistemlerin tasarım, geliştirme ve denetimleri aşamasında kullanılabilirlik problemlerinin tespit edilebilmesi için pek çok yöntem geliştirilmiştir. Kullanılabilirlik değerlendirme yöntemlerinden bir tanesi de sezgisel değerlendirme yöntemidir.  Uzmanlar tarafından gerçekleştirilen sezgisel değerlendirme, genel kullanılabilirlik prensipleri olarak tanımlanan sezgisellere dayalı bir yöntemdir. Sezgisel değerlendirme süreçlerinde kullanılacak sistemlere özgü sezgisellerin geliştirilmesi ise uzman görüşlerine dayalı uzun ve zorlu bir süreçtir. Makine öğrenmesi ve yapay zekâ teknolojileri pek çok alanda olduğu gibi kullanılabilirlik alanında da yeni sezgisellerin geliştirilmesi ile ilgili süreçlerin otomasyonu konusunda kullanılabilir. Bu çalışmanın amacı kullanılabilirlik problemlerine dayalı olarak yeni sezgisel geliştirme süreçlerini etkinleştirmek için veri madenciliği ve makine öğrenmesi tekniklerinin kullanılmasıdır. Bu amaçla Türkiye’nin önde gelen dijital platformlarından birisi olan Digitürk’ten TV ve set üstü cihaz arayüzünün yazılımcılar tarafından değerlendirmesi sonucunda elde edilen 3695 kayıt temin edilmiştir ve kayıtlar incelenerek toplamda 2752 kullanılabilirlik problemi belirlenmiştir. Elde edilen kullanılabilirlik problemleri literatürde yaygın bir şekilde kullanılan Nielsen’in on sezgiseli ile eşleştirilmiştir. Çalışma kapsamında öncelikle kullanılabilirlik problemlerinin kullanılabilirlik sezgiselleri açısından belirli örüntülere sahip olup olmadığı ilişkilendirme kuralları tekniği ile araştırılmıştır. Ayrıca kullanılabilirlik problemlerinin sezgisellerle eşleştirilmeleri çeşitli makine öğrenmesi algoritmaları (naive bayes, lojistik regresyon, hızlı geniş marjin, derin öğrenme, rastgele orman, gradyan arttırma ağaçları, destek vektör makineleri teknikleri) yardımıyla tahmin edilmiştir. Sınıflandırıcıların validasyonu için tekrarlı holdout tekniği kullanılmıştır. Veri seti farklı eğitim/test oranlarına (50:50, 55:45, 60:40, 65:35, 70:30, 75:25, 80:20, 85:15, 90:10, 95:5) bölünmüş ve modellerin performansları doğruluk oranı ve F1-skor metrikleri kullanılarak karşılaştırılmıştır. Çalışma sonucunda sınıflandırma algoritmalarının doğruluk oranları %90’ın üzerinde, F1-skor değerleri de genel olarak %75 değerinin üzerinde gerçekleşmiştir. Sınıflandırma algoritmaları arasında gradyan artırma ağaçlarının diğer algoritmalara göre daha iyi performans sergilediği gözlemlenmiştir.

Usability is an important factor showing that how user-friendly user interfaces are and it has a significant impact on customer satisfaction and brand loyalty. For this reason, many methods have been developed to identify usability problems during the design, development, and evaluation of user interfaces and systems. One of these usability evaluation methods is the heuristic evaluation method. Heuristic evaluation performed by experts is a method based on heuristics defined as general usability principles. The development of system-specific heuristics to be used in heuristic evaluation processes is a long and challenging process based on expert opinions. Machine learning and artificial intelligence technologies can be used in usability evaluation to automate the processes related to the development of new heuristics as used in many areas. This study aims to use data mining and machine learning techniques to make new heuristic development processes based on usability problems efficiently. Therefore, 3695 problems of a TV and set-top box interface determined by the software developers were obtained from Digiturk, which is one of Turkey's leading digital platforms. By examining the problems obtained, in total 2752 usability problems were determined. The usability problems were mapped with Nielsen's ten heuristics, which are widely used in the literature. Firstly, whether the usability problems have certain patterns in terms of usability heuristics was investigated with the association rules technique. Furthermore, the mappings of usability problems with heuristics were predicted using various machine learning algorithms (naive bayes, logistic regression, fast large margin, deep learning, random forest, gradient boosted trees, support vector machines techniques). The repeated holdout technique was used for the validation of classifiers. The data set was split into different training / test ratios (50:50, 55:45, 60:40, 65:35, 70:30, 75:25, 80:20, 85:15, 90:10, 95:5) and the performance of the models were compared using accuracy rate and F1-score metrics. As a result of the study, the accuracy rates of the classification algorithms were above 90%, and the F1-score values were generally above 75%. Among the classification algorithms, gradient boosted trees generally perform better than the other algorithms.