Designing a Usability Assessment Process for Adaptive Intelligent Tutoring Systems: A Case Study

Abstract

This study aims at examining the usability evaluation process of ArtiBos, an adaptive intelligenttutoring system specifically designed for teaching of problem solving, and proposing usabilityevaluation recommendations accordingly. The study group consists of 90 students selected from 3different secondary education institutions and 30 experts from the fields of Computer Education andInstructional Technology and Mathematics Teaching. The usability of ArtiBos is evaluated accordingto the criteria of effectiveness, efficiency, and satisfaction included in the definition of usability by theInternational Standards Organization (ISO). In this study, quantitative and qualitative data were usedfor triangulation. Study data included users’ screenshots during performance of the instructed tasks inArtiBos, sound recordings taken from the think aloud technique, interviews with students, andopinions of experts. The study elaborates the procedure of usability tests of ArtiBos and makessuggestions for usability evaluation processes of similar systems. The results are expected to guideresearchers planning to carry out similar systems’ usability studies.Bu çalışmanın amacı, problem çözme öğretimi için tasarlanmış bir uyarlanabilir zeki öğretim sistemi olan ArtiBos’un kullanılabilirlik değerlendirmesi sürecini incelemek ve benzer sistemlerin kullanılabilirlik değerlendirmesi süreçlerine yönelik öneriler sunmaktır. Çalışmaya, 3 farklı ortaöğretim kurumundan seçilen 90 öğrenci ile Bilgisayar ve Öğretim Teknolojileri EğitimiMatematik Eğitimi alanlarından 30 uzman katılmıştır. ArtiBos’un kullanılabilirliği, Uluslararası Standartlar Enstitüsü (International Standards Organization – ISO) tarafından yapılan kullanılabilirlik tanımında yer alan etkililik, verimlilik ve memnuniyet kriterlerine göre değerlendirilmiştir. Çalışmada veri çeşitlemesi sağlanarak nicel ve nitel veriler birlikte kullanılmıştır. Kullanıcıların ArtiBos’da istenen görevleri gerçekleştirme süreçlerindeki ekran görüntüleri, sesli düşünme tekniği (think aloud) sırasında alınan ses kayıtları, öğrencilerle yapılan görüşmeler ve uzmanların görüşleriyle veriler elde edilmiştir. Çalışmada, ArtiBos’un kullanılabilirlik testleri süreci detaylı bir şekilde açıklanmış ve kullanılabilirlik değerlendirme süreçlerine yönelik öneriler sunulmuştur. Elde edilen sonuçların benzer sistemlerin kullanılabilirlik çalışmasını yapmayı planlayan araştırmacılar için yol gösterici olması hedeflenmektedir.