Metrik tabanlı kullanıcı arayüzü karmaşıklık değerlendirme modeli
Metric based user interface complexity evaluation model
Yazar: EREN AKÇA
Danışman: DOÇ. DR. ÖMER ÖZGÜR TANRIÖVER
Ankara Üniversitesi / Fen Bilimleri Enstitüsü / Bilgisayar Mühendisliği Ana Bilim Dalı / Bilgisayar Mühendisliği Bilim Dalı
Derece: Doktora, 2023
Konu: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control
Dizin: Grafiksel kullanıcı arayüzü = Graphical user interface

Özet:
Kullanıcı arayüzü, insan-makine etkileşiminin en önemli unsuru olarak kabul edilmektedir. Web sitelerinden mobil uygulamalara, platform üstü sistemlerden giyilebilir teknolojilere kadar kullanıcı arayüzleri oldukça geniş kullanım alanına sahiptir. Bu teknolojilerin başarısı kullanıcı arayüzlerinin sade, anlaşılabilir ve kullanıcı dostu olmaları ile paralellik göstermektedir. Bu maksatla tez çalışması 3 aşamada ele alınmış olup, her aşamada sırasıyla kullanıcı arayüzlerinin algısal görsel karmaşıklığının anlaşılabilmesine, ölçülebilmesine ve optimize edilebilmesine yönelik teorik ve uygulamalı çalışmalar yürütülmüştür. Tez çalışmasının ilk aşamasında, kullanıcı arayüzü görsel karmaşıklık analiz yöntemleri detaylıca incelenmiş, her bir yöntem için kapsamlı değerlendirmeler yapılmış ve bu yöntemler türlerine göre kategorize edilmiştir. Ayrıca, görsel karmaşıklık analiz yöntemlerinin sınıflandırıldığı bir taksonomi bu çalışma kapsamında ilk defa oluşturularak literatüre kazandırılmıştır. İkinci aşamada, mobil kullanıcı arayüzlerinin görsel karmaşıklık değerlendirmesine yönelik derin öğrenme modellerinin uygulanabilirliği ve etkinliği araştırılmıştır. Bu amaçla VGG16, DenseNet121, MobileNetv2, GoogleNet ve ResNet152 ağları olmak üzere 5 popüler derin ağ modeli 3635 farklı mobil kullanıcı arayüzü görseli ile eğitilmiştir. Daha sonra önerilen yaklaşımın başarısının ölçülebilmesi için 98 katılımcı ile anket çalışması gerçekleştirilmiş ve toplamda 7309 mobil arayüz karşılaştırması yapılmıştır. Buna göre, derin ağ modellerine ait sonuçlar ile katılımcı değerlendirmeleri arasındaki uyum oranı en yüksek %78 ve ortalama %74 olarak ölçülmüştür. Elde edilen sonuçlar derin ağ modelleri kullanılarak mobil kullanıcı arayüzlerinin görsel karmaşıklığının yüksek doğruluk oranıyla tahmin edilebileceğini göstermiştir. Tez çalışmasının son aşamasında ise literatüre önceden kazandırılmış görsel karmaşıklık analiz metrikleri ve bu metriklere ek olarak bu çalışmada ortaya atılan ölçüm kullanılarak bir kullanıcı arayüzü optimizasyon yaklaşımı önerilmiştir. Böylece, olasılıksal ve popülasyon tabanlı bir metasezgisel olan diferansiyel evrim algoritması kullanılarak kullanıcı arayüzü yerleşim optimizasyonu problemine daha önce uygulanmamış, güvenilir bir çözüm yöntemi olarak literatüre kazandırılmıştır. Önerilen yaklaşımın uygulanabilirliğinin ölçülebilmesi maksadıyla iki farklı deneysel çalışma gerçekleştirilmiştir. Deneysel çalışmaların sonuçlarına göre, probleme girdi olarak verilen arayüz bileşenleri kümesine karşılık optimum yerleşime sahip kullanıcı arayüzü alternatiflerinin elde edilebildiği ve Pareto optimum görsel karmaşıklık metrik değerlerine ulaşılabildiği gösterilmiştir.

Abstract:
The user interface is considered to be the most important element of human-machine interaction. User interfaces have a wide range of uses from websites and mobile applications to platform systems and wearable technologies. The success of these technologies is in line with their simple, understandable and user-friendly user interfaces. For this purpose, the thesis study was handled in three stages, and at each stage, theoretical and practical studies were carried out to understand, measure and optimize the perceptual visual complexity of user interfaces, respectively. In the first stage of the thesis, the visual complexity analysis methods were examined, comprehensive evaluations were made for each method and these methods were categorized according to their types. In addition, a taxonomy, in which visual complexity analysis methods are classified, was created for the first time within the scope of this study and brought to the literature. In the second stage, the feasibility and effectiveness of deep learning models for visual complexity evaluation of mobile user interfaces were investigated. For this purpose, five popular deep network models, namely VGG16, DenseNet121, MobileNetv2, GoogleNet and ResNet152 networks, were trained with 3635 different mobile user interface images. Then, in order to measure the success of the proposed approach, a survey study was conducted with 98 participants and a total of 7309 mobile user interface comparisons were made. Accordingly, the highest to average agreements between the results of deep network models and participant evaluations were 78% and 74%. The results showed that the visual complexity of mobile user interfaces can be predicted with high accuracy using deep network models. In the last stage of the thesis, a user interface optimization approach is proposed by using visual complexity analysis metrics previously brought to the literature and a new measurement introduced in this study in addition to the existing metrics. At the same time, the optimization approach based on differential evolution algorithm, which is a probabilistic and population-based metaheuristic, has been introduced to the literature as a trustworthy approach that has not been applied before as the solution to the user interface layout optimization problem. In order to analyze the applicability of the proposed approach, two different experimental studies were carried out. According to the results of the experimental studies, it has been shown that user interface alternatives with optimum layout can be obtained against the set of user interface components given as input to the problem and Pareto optimum visual complexity metric values can be reached.