Elektronik belge yönetim sistemlerinin kullanılabilirlik ve insan – bilgisayar etkileşimi açısından değerlendirilmesi: Hacettepe Üniversitesi örneği
Evaluation of electronic records management systems in terms of usability and human - computer interaction: The example of Hacettepe University
Yazar: SEVGİ KOYUNCU TUNÇ
Danışman: PROF. DR. ÖZGÜR KÜLCÜ
Hacettepe Üniversitesi / Sosyal Bilimler Enstitüsü / Bilgi ve Belge Yönetimi Ana Bilim Dalı
Derece: Doktora, 2019
Konu: Bilgi ve Belge Yönetimi = Information and Records Management ; Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol = Computer Engineering and Computer Science and Control ; Bilim ve Teknoloji = Science and Technology
Dizin: Bilgisayar destekli bilgi sistemleri = Computer assisted information systems ; Elektronik belge yönetimi = Electronic records management ; Hacettepe Üniversitesi = Hacettepe University ; Kullanılabilirlik = Availability ; İnsan = Human ; İnsan bilgisayar etkileşimi dersi = Human-computer interaction course ; İnsan-makine = Man-machine ; İnsan-makine ilişkisi = Human-machine relationship

Özet:
Bugünün dijital dönüşüm çağında kuruluşların ihtiyaç duyduğu verimlilik ve rekabet gücüne erişmeleri, kurumsal bilginin organizasyonunu sağlayan elektronik belge yönetim sistemleri olmadan mümkün değildir. Modern iş dünyasının can damarı olan elektronik belge yönetimi, standartlara uygun belge oluşturma, düzenleme, dosyalama, iş akışına uygun olarak imzaya ve dağıtıma çıkarma, yetkilendirme mekanizması ile belge gizliliğini koruma, zaman ve konumdan bağımsız olarak belgelere erişim sağlama, iş kurallarına göre arşivleme ve yaşam süresi dolan belgeleri imha etme süreçleriyle, kurumlardaki bilgi ve belge yönetimine sürat, güvenlik, maliyet, verimlilik bakımından önemli katkılar sağlar. Dünya genelinde onlarca elektronik belge yönetim sistemi, birçok yeni işlev ve özellik ile piyasaya sürülürken EBYS'lerde kullanılabilirlik özelliği, diğer tüm işlev ve özelliklerin verimli ve etkili kullanılabilmesini doğrudan etkilemektedir. Zira kullanıcı sistemi kullanarak mevcut işlerini daha az çaba ile gerçekleştiremediğinde sistemler atıl kalmakta ve iş verimliliği düşmektedir. 

Elektronik Belge Yönetim Sistemleri, yazılım geliştirme sürecinde, sertifikasyon sürecinde, yazılım satın alma kararı verilmeden önce ve yazılım kullanılmaya başlandıktan sonra belirli aralıklarla kullanılabilirlik bakımından test edilerek, kullanıcı profili, teknoloji ve iş kurallarına uygun olmayan özellikleri tespit edilmelidir. Oysa günümüzde halen EBYS seçim ve sertifikalandırma süreçlerinde kullanılabilirlik faktörü yetersiz temsil edilmekte, kullanıcı odaklı yazılım geliştirme ve kullanılabilirlik testleri yazılım geliştirme yaşam döngüsünde ihmal edilmektedir. Bu ihmalin sebebi, işlevsel kriterler kolayca formüle edilebilir iken, kullanılabilirlik hakkında gerekli yetkinliğe ve yeterli farkındalığa sahip olunmamasıdır. Bu tez çalışmasında 4 ayrı kullanılabilirlik değerlendirme yönteminin (Sezgisel Değerlendirme, Sunucu Log Analizi, Sunucu Logları ile Rota Analizi ve Kullanıcı Testi) EBYS üzerinde uygulanma teknikleri, yöntemlerin güçlü ve zayıf yönleri, yöntemleri daha verimli kılmak için öneriler, hangi test yöntemleri ile ne tür bilgilere ulaşılabileceği, bu bilgiler ile EBYS'lerin hangi açılardan iyileştirilebileceği,  EBYS kullanılabilirliğini etkileyen faktörler ve farklı roller açısından kullanılabilirlik testlerinin getirdiği faydalar, Hacettepe Üniversitesi EBYS örneği üzerinden ortaya çıkarılmıştır. 

Sezgisel Değerlendirme yönteminde literatür taraması ile bir kullanılabilirlik kriter listesi geliştirilmiş, EBYS açısından önem arz eden 30 ekran bu kriterler ışığında 2 iterasyonda test edilmiştir. Sunucu Log Analizi yöntemi ile EBYS sunucusunda depolanan 29 günlük, 16 milyon erişim log kaydı ve 8064 hata log kaydı üzerinde gerçekleştirilen log analizleri sonucunda, istatistiksel kullanım bilgileri elde edilmiştir. Sunucu Logları ile Rota Analizi yönteminde, verinin temizlenmesi, sayfa adreslerinin kodlanması, kullanıcı oturumlarının tespiti, tüm oturumlardaki rotaların (URL dizilimlerinin) belirlenmesi ve tüm alt rotaların ortaya çıkarılması adımları izlenerek rotaların tüm oturumlarda görülme sıklığı belirlenmiştir. Kullanıcı Testi çalışması kapsamında, Sunucu Log Analizlerinin ve Sezgisel Değerlendirme çalışmasının işaret ettiği problemli işlem ve sayfalar için 5 deneyimli, 5 deneyimsiz 10 denek ile kullanıcı testleri gerçekleştirilmiştir. Test sırasında uygulanan görevler aracılığı ile kullanıcıların ara yüz kullanım performanslarını gösteren etkinlik ve verimlilik ölçümüne ilişkin çeşitli nicel bilgiler, video kaydı ve sesli düşünme tekniği ile nitel veriler elde edilmiştir.
Araştırma sonucunda tüm bulgular bir araya getirildiğinde, belge yaratma ekranlarının sadelikten uzak olması ve yönlendirici olmaması, belge arama işleminin etkili olmaması, işlemleri gerçekleştirmek için gerekli bilgilere erişimin zor olması, dolaşım yeteneklerinin yetersizliği nedeniyle sistemde kaybolma hissi yaşanması, yönlendirici ve öğretici olmayan hata mesajları ve standart dışı işlem yapmaya müsaade eden yazılım tasarımı, EBYS kullanılabilirliğini en çok etkileyen, kullanıcıları en çok zorlayan faktörler olarak ortaya çıkarılmıştır. Ayrıca EBYS kullanılabilirlik değerlendirmesi için bir model geliştirilmiş, bu model ile, EBYS kullanılabilirlik değerlendirmesi, EBYS hakkında karar destek bilgilerinin elde edilmesi ve EBYS kullanıcı eğilimlerinin izlenmesi olmak üzere 3 farklı kategoride test yöntemlerinden nasıl faydalanılabileceği açıklanmıştır.

Abstract:
In today's era of digital transformation, organizations are not able to achieve the efficiency and competitiveness they need without electronic records management systems. Electronic records management, which is the lifeblood of modern business world, contributes to the management of information and records in institutions through the processes of creating records according to standards, signing and distributing records in accordance with the workflow, protecting the confidentiality of the records with the authorization mechanism, providing access independent from time and location, maintaining the corporate memory, providing an organized work environment with paperless office, eliminating postal costs by digitally transmitting records, archiving according to business rules, and destroying expired records. While dozens of electronic records management systems (ERMS) around the world are introduced to the market with many new functions and features, usability feature of ERMS directly affects the efficient and effective use of all other functions and features. Because when the users cannot perform their current work with less effort by using the system, the systems remain idle and work efficiency decreases.

Electronic Records Management Systems should be tested periodically to uncover improvement points on adaptation to changing user profile, business rules and technology in software development process, in the certification process, before the software purchase decision is made and after the use of the software. However, the usability factor is under-represented in the selection and certification processes of ERMS and user-oriented software development and usability tests are still ignored. The reason for this negligence is that while the functional criteria can be easily formulated, ERMS stakeholders do not have the necessary competence and enough awareness about usability tests. In this thesis, 4 different usability assessment methods (Heuristic Evaluation, Server Log Analysis, Path Analysis Through Server Logs and User Test) were applied on Hacettepe University ERMS and application techniques, strengths and weaknesses of methods, recommendations for making methods more efficient, kinds of information that can be reached with each test method, the extent to which these information can be improved, the factors affecting the usability of the ERMS and the benefits of usability tests for different roles were revealed.

In the Heuristic Evaluation method, a list of usability criteria was developed via literature review and 30 pages which are important for ERMS were tested in 2 iterations in the light of these criteria. Statistical log information was obtained because of log analysis on 16 days log records and 8064 error log record which were stored on the ERMS server with server log analysis method. In Path Analysis Through Server Logs method, the path/route frequencies were determined in all sessions by following the steps of clearing the data, coding the page addresses, identifying the user sessions, determining the routes (URL sequences) in all sessions and revealing all sub-routes. Within the scope of the User Test method, user tests were carried out with 5 experienced, 5 inexperienced 10 subjects for problematic processes and pages that were pointed out by Server Log Analysis and Heuristic Evaluation methods. Through the tasks performed during the test, various quantitative information has been obtained regarding efficiency and efficiency measurement showing the user interface performance and qualitative data obtained by video recording and think-aloud technique.

At the end of the research, when all the findings are brought together, the fact that record creation screens are far from simplicity and lack of router, record search is not effective, access to information needed to perform operations difficult to access, feeling lost due to lack of navigation capabilities, non-router and non-instructional error messages and software design that allows non-standard record processing has been the most challenging factors that affect users most. In addition, a model has been developed for the usability assessment of the ERMS, and it has been explained how, in the model, the test methods can be used to benefit in three different categories, namely, ERMS usability assessment, the acquisition of decision support information on the ERMS, and the monitoring of the user trends in the ERMS.