Websitelerinin kullanılabilirlik değerlendirmesi
Usability evaluation of websites
Yazar: NEVCİHAN TORAMAN
Danışman: DOÇ. DR. ÇİĞDEM ALTIN GÜMÜŞSOY
İstanbul Teknik Üniversitesi / Lisansüstü Eğitim Enstitüsü / Endüstri Mühendisliği Ana Bilim Dalı / Endüstri Mühendisliği Bilim Dalı
Derece: Doktora, 2024
Konu: Endüstri ve Endüstri Mühendisliği = Industrial and Industrial Engineering
Dizin: İnsan-bilgisayar etkileşimi = Human-computer interaction

Özet:
Kullanıcı deneyimi tasarımının önemli bir parçası olan kullanılabilirlik, bir ürünün veya sistemin önceden tanımlanmış hedeflere ulaşmak için belirli kullanıcılar tarafından ne ölçüde etkili, verimli ve tatmin edici bir şekilde kullanılabileceğini yansıtmaktadır. Hayatımızın önemli bir kısmını kapsayan dijital ortamda hizmet sağlayıcıları ile kullanıcıları bir araya getiren temel arayüzler olarak işlev gören websitelerindeki kullanılabilirlik kavramı, kullanıcı deneyimi tasarımı alanında temel bir unsur olarak öne çıkmaktadır. Bu tez çalışması, websitesi kullanılabilirliğinin karmaşık yönlerini yorumlayabilmek, bu kavramı tanımlamak ve daha ölçülebilir hale getirmek amacını taşımaktadır. Bu kapsamda ilk olarak websitesi kullanılabilirliğine yönelik kavramlar tanımlanmış ve bu kavramları kullanıcı perspektifinden değerlendirebilmek için websitelerine yönelik anket ölçüm aracı geliştirilerek geçerliliği test edilmiştir.  
Tez çalışmasında temel olarak üç aşamalı bir metodoloji kullanılmıştır. İlk aşamada, içerik analizi yapılmış olup websitesi kullanılabilirliğinin temel göstergelerini oluşturacak kavramları ortaya çıkarmak için ayrıntılı açıklamalar ve ilgili açık kodlar tanımlanmıştır. Websitesi kullanılabilirliğinin içerik analizi için BS EN ISO-9241-151 kullanılabilirlik kılavuzu temel alınmıştır. İçerik çerçevesinin oluşturulmasından sonra yerleşik standartlardan ve metodolojilerden faydalanılarak eksenel kodlama ile websitesi kullanılabilirliği kapsamlı ve sistematik bir şekilde incelenmiştir. BS EN ISO-9241-151 kılavuz standartlarının ve kodlama prosedürlerinin kullanılması, çalışmanın websitesi kullanılabilirliğini anlamaya ve değerlendirmeye yönelik kavramsal çerçevenin güvenilirliğine katkıda bulunmaktadır. Kavramsallaştırma çalışmasıyla "marka kimliği", "içerik tasarımı", "kişiselleştirme ve özelleştirme", "gizlilik ve iş politikaları", "sayfa tasarımı", "metin tasarımı", "bağlantı tasarımı", "etkileşim nesneleri", "grafik, resim ve çoklu medya", "navigasyon", "arama", "yardım", "duyarlılık", "hata önleme", "kullanıcı işbirliği" ve "kültürel çeşitlilik ve çok dilli kullanım tasarımı" olmak üzere toplamda 16 kavram ortaya çıkarılmıştır. İkinci aşama, tanımlanan açık kodlara ve mevcut literatüre dayalı bir anket ölçeği geliştirilmesini içermektedir. Belirlenen kullanılabilirlik kavramları kullanılarak, websitesi kullanılabilirliğini değerlendirmek için ilk aşamada ortaya çıkarılan eksenel kodlar ve açıklamalar kapsamında bir anket ölçeği oluşturulmuş ve toplam 134 öğeden oluşan bir son kullanıcı değerlendirme anketi çıkarılmıştır. Geliştirilen anket; uzman görünüş geçerliliği kontrolü (n=10), pilot test (n=30) ve içerik geçerliliği (n=40) yoluyla doğrulamadan geçirilmiştir. Görünüş geçerliliği, anketin görsel görünümünün uygun olmasını sağlamış, pilot test ise geliştilen ölçeğin uygulamalı testleri için kullanıcıları içeren bir ön test olarak gerçekleştirilmiştir. İçerik geçerliliği ile öğelerin uygunluğu ve temsil gücü değerlendirilmiştir. Bu kapsamlı doğrulama süreci, websitesi kullanılabilirliğinin belirlenen kavramlarını ölçmede anket aracının güvenilirliğini ve etkinliğini sağlamaktadır. Üçüncü aşamada, açıklayıcı ve doğrulayıcı analizler yoluyla geliştirilen anket aracının doğrulanmasına odaklanılmaktadır. Açıklayıcı ve doğrulayıcı analizler aracılığıyla anket öğeleri ve ilgili kavramları değerlendirilmiş ve gerekli iyileştirmeler yapılmıştır. Bu analizler için gerekli veriler, iki farklı aşamada e-ticaret sitesi kullanıcılarından bağımsız olarak toplanmıştır. Geliştirilen anket çalışmalarında Trendyol, Hepsiburada ve N11 olmak üzere Türkiye'de yaygın olarak kullanılan e-ticaret platformlarında alışveriş deneyimi olan katılımcılar yer almıştır. İlk örneklem üzerinde faktör yapısını ölçmek için Açıklayıcı Faktör Analizi (EFA), ikinci örneklem üzerinde ise geliştirilen anket ölçeğinin ölçüm özelliklerini doğrulamak için Doğrulayıcı Faktör Analizi (CFA) uygulanmıştır. E-ticaret websitesi kullanıcılarından toplanan 785 anket sonucu ile gerçekleştiren açıklayıcı analiz ile websitesi kullanılabilirliğinin faktör yapısı incelenmiştir. Elde edilen sonuçlar neticesinde geliştirilen anket ölçeğinde yer alan öğelerin ve karşılık gelen açık kodlarıyla birlikte belirlenen 16 kavramda gruplandığı ortaya konulmuştur. 1086 e-ticaret websitesi kullanıcısından oluşan yeni bir örneklem ile de doğrulayıcı faktör analizi yapılarak ölçüm modeli ile elde edilen kullanılabilirlik kavramları doğrulanmıştır. Doğrulayıcı analizleri tamamlamak için aynı örneklem üzerinde uyum göstergeleri analiz edilerek genel model performansının değerlendirilmesi ve ölçüm modelinin uygunluğunun araştırılması sağlanmıştır. Websitesi kullanılabilirliğinin üç temel faktörü; "kullanıma devam etme niyeti", "memnuniyet" ve "marka sadakatı" üzerindeki etkisi analiz edilerek nomolojik doğrulama yapılmıştır. Bu kapsamlı yaklaşım, anket ölçeği ölçümlerini iyileştirmek ve e-ticaret platformları bağlamında websitesi kullanılabilirliğinin altında yatan kavramları anlamak için yapılan analizlerin sağlamlığını ve güvenilirliğini sağlamaktadır.  
Sonuç olarak, 16 kavram altında 64 kullanılabilirlik kılavuzu açık kodu tanımlanmış ve bu açık kodlarla ilişkili olarak tanımlanan kullanıcı görüşlerini içeren 71 adet kullanılabilirlik öğesi ölçümlenmiştir. Bu araştırmada tanımlanan kavramsal unsurların anlaşılması ve uygulanması, geliştiricilerin websitelerinde kullanıcı deneyimini iyileştirmesinde yol gösterici olma niteliğindedir. Websitesi kullanılabilirliğinin dijital çağdaki önemli rolü vurgulanmakta ve hem araştırmacılar hem de geliştiriciler için önemli kılavuz ve öngörüler sunmaktadır. Araştırmacılar, geliştirilen kavramsal modeli kullanarak websitesi kullanılabilirliğini kapsamlı inceleyebilirken, geliştiriciler de websitesi tasarımını değerlendirmek ve iyileştirmek için bu ölçüm aracından yararlanabileceklerdir. "Kullanıma devam etme niyeti", "memnuniyet" ve "marka sadakatı" üzerinde etkili olduğu ortaya konulan websitesi kullanılabilirliği kavramlarına bağlı kalınarak, yalnızca kullanıcı memnuniyetini iyileştirmekle kalmayıp aynı zamanda sürekli kullanım niyetini teşvik eden ve marka sadakatini besleyen websiteleri oluşturulması imkanı sunulmaktadır. Bir kontrol listesi görevi gören açık kodlar ve bir rehber işlevi gören ana hatlarıyla belirlenmiş kavramlar, web geliştirme alanındaki profesyonellere hitap ederek mevcut websitelerindeki kullanılabilirlik problemlerini daha hızlı anlamaları ve düzeltebilmeleri için bir yol gösterici niteliğindedir. Özünde bu araştırma, geliştiricilere ve işletmelere, websitesi kullanılabilirliğini artırmak ve kullanıcı tabanlı bağlantılar kurarak sistemlerini geliştirmek için uygulanabilir stratejiler sağlamaktadır.

Abstract:
Usability, an important part of user experience design, reflects the extent to which a product or system can be used effectively, efficiently, and satisfactorily by specific users to achieve predefined goals. The concept of usability is defined within the field of human-computer interaction (HCI) and the guidelines of the International Standardization Organization (ISO). It is essential to create user-friendly features at every point involving human and system interactions. At that point, user-centric design principles shape online experiences and contribute to the overall success of digital platforms. In the digital stream, while websites function as fundamental interfaces for seamlessly connecting services between providers and users, it is important to make robust useable web design. Despite the increasing prevalence of mobile technology, websites continue to serve as a substantive product for user interaction and engagement, acting as the digital face of organizations and a key touchpoint in the user's digital journey. To ensure websites are used efficiently, exploring the intricacies of website usability is becoming imperative to ensure optimal user experiences and overall effectiveness. Websites that are difficult to navigate, slow to load, or not intuitively designed can lead to user frustration, wasted time, and a general sense of dissatisfaction. Especially for businesses with well-established brands, these usability issues can turn into significant revenue losses. Users who encounter poor website experiences are likely to seek alternatives, impacting customer loyalty and brand reputation. Therefore, understanding the factors of website usability is important for customers to continue their intention to use websites, their satisfaction, and loyalty. In this study, website usability was conceptualized based on the BS EN ISO-9241-151 guidelines, and additionally, literature has been included. Subsequently, a comprehensive and context-specific survey measurement scale was developed and validated. 

Throughout the thesis, a three-stage methodology is applied: (1) Firstly, conceptualization using open and axial code content analysis is conducted. A thorough understanding and conceptualization of the usability is achieved using open and axial code content analysis methods. This step focuses on identifying and making sense of fundamental concepts related to usability. the conceptualization of website usability grounded in the principles of the BS EN ISO-9241 guidelines by ISO, additively other guidelines such as Microsoft Usability Guidelines (MUG) and Research-Based Web Design and Usability Guidelines by the U.S. Department of Health and Human Services. Open and axial coding procedures were applied to extract patterns in website usability. In the open coding procedure, the guidelines were examined with line-by-line analysis to reveal open codes and with axial coding, the concepts were explored with a comprehensive and systematic approach. Five experts with experience in Human-Computer Interaction (HCI) carefully reviewed the ultimate compilation of open codes. Following this, the experts categorized open codes that demonstrated conceptual similarities or relationships into distinct subcategories. A total of 16 constructs were revealed with the content analysis. These constructs were defined as "Brand Identity", "Content Design", "Personalization and Customization", "Privacy and Business Policies", "Page Design", "Text Design", "Link Design", "Interaction Objects", "Graphics, Images, and Multimedia", "Navigation", "Search", "Help", "Responsiveness", "Error Prevention", "Collaboration", and "Cultural Diversity and Multilingual Use Design" along with detailed explanations and corresponding open codes. (2) Secondly, a usability survey scale was developed based on conceptualization to involve users in assessing the usability of a website. The usability survey scale was developed based on the identified open codes and existing literature. This survey scale aims to assess user-based website usability with 134 items derived from the open codes and the literature. At this stage, all the constructs and related items were controlled in terms of their context, comprehensibility, and applicability. Validation procedures, including face validity checks (n=10), a pilot test (n=30), and content validity assessments (n=40), were concurrently conducted to ensure the reliability of the usability survey scale. (3) Finally, the developed usability survey scale was validated through explanatory and confirmatory analyses. Independent data from users of e-commerce websites were collected in two different stages. Exploratory factor analysis (EFA) is applied on the first sample to measure the factor structure, while confirmatory factor analysis (CFA) is conducted on the second sample to validate the measurement properties of the usability survey scale. In this study, EFA provided an essential foundation for identifying the underlying dimensions of the measurement scale items. This process was instrumental in distilling the data collected from 785 e-commerce website users into a more manageable and interpretable set of factors. By applying EFA, the research could effectively uncover the latent constructs that are related to user responses, paving the way for a clearer understanding of the constructs that influence website usability. The results showed that a total of 16 constructs were revealed by the concepts defined with website usability. Following the EFA, the study progressed to the CFA which confirmed the theoretical model by evaluating how well the observed data fit the expected structure. CFA was conducted with an independent sample of 1086 participants, distinct from those involved in the EFA. This approach ensured that the constructs derived from the EFA were not only generalizable across a broader user base but also statistically significant. CFA allowed for a rigorous re-evaluation of the questionnaire items and closely examined their fit with the theoretical constructs and the overarching structural equation model. This step was critical in confirming the robustness of the constructs and ensuring that they accurately reflected the latent variables they were intended to measure. All the constructs in the model achieved a best fit with the data and the measurement model was validated with the confirmatory factor analyses. The nomological validation of the structural model revealed that website usability factors have a significant effect on continued intention to use, brand loyalty, and satisfaction. In the end, the developed survey scale for measuring website usability with 16 constructs was validated.

In conclusion, this thesis offers an extensive and recovered examination of website usability, providing valuable insights and practical guidelines for practitioners and researchers in the field. By emphasizing a human-centered design approach and engaging with actual website users, the research sets overall standards together for creating interactive, efficient, and satisfying online experiences. It underscores the importance for organizations across various industries to prioritize usability in their web development strategies, effectively meeting the evolving needs of customers and maintaining a competitive edge in the digital marketplace. Researchers can delve deeper into website usability using the designed conceptual model, while developers can leverage the usability survey scale to improve the design, development, and evaluation of websites, ultimately elevating the overall user experience in the digital landscape. By adhering to enhanced website usability concepts, developers can create websites that not only optimize user satisfaction but also encourage continued usage intention and preserve brand loyalty. The open codes generated in the study serve as a checklist for professionals working in web development, and the outlined structures act as a guide for understanding usability issues in existing websites, offering a roadmap for improvement. In essence, this research equips developers and businesses with actionable strategies to enhance website usability and cultivate meaningful relationships with their user base. 

As a further study, the concepts developed in the current study may be revised according to the new developments and changes in website usability and user needs.  This allows website usability concepts current. Furthermore,  the developed survey scale was validated with the data collected from e-commerce users in Turkey. To understand cultural differences, the same website usability scale may be applied to the users of e-commerce or other types of websites in other countries.