MULTIFACTOR ASSESSMENT OF THEMATIC TASKS AS A FACTOR AFFECTING STUDENTS' READINESS WHEN STUDYING PATHOLOGY
Authors: Мусабекова С.А. 
Published: February 2022

Оценка эффективности обучения медицинских учебных программ включает оценку обучающихся с целью поощрения подходов к более глубокому обучению. Общая патология - это программа годичного изучения основ патологии, охватывающая универсальные концепции болезней. Педагогический мониторинг успеваемости и уровня усвояемости учебного материала обучающимися при изучении концептуальных основ патологии способствует не только их академическому, но и личностному развитию, что является неотъемлемой составляющей в практике приобретения общекультурных и профессиональных компетенций будущего врача. Цель. Сравнить типы оценочных вопросов, качество тестовых заданий и определить, какие характеристики могут предсказывать уровень подготовки, усвояемости и успеваемости обучающихся при изучении дисциплины. Методы. Исследование проводилось среди обучающихся второго курса первого года обучения патологии в 2018-2019, 2019-2020, 2020-2021 учебных годах в медицинском университете Караганды. Было проанализировано 160 тестовых заданий различной категории по нескольким переменным с использованием статистических методов анализа. Результаты. Исследование включало шесть рубежных тестирований и итоговый экзамен (всего 160 вопросов), изученных за 3 года (368 студентов), всего 58880 попыток. В целом 50696 попыток (86,1%) были правильными. В многомерном анализе, тип вопроса оказался наиболее значимым прогностическим фактором успеваемости студентов, степени сложности и степени дискриминативности. Задания с ответами множественного выбора значимо связаны с более низкими средними баллами (р=0,004) и более высокой степенью сложности (р=0,02), но также, как это ни парадоксально, более слабой дискриминацией (р=0,002). Присутствие специфического изображения (макро- или микроскопии) в задании значительно связано с лучшей дискриминацией (р=0,04). Задания, требующие интерпретации данных (по сравнению с простым ответом) значительно связаны с более низкими средними баллами (р=0,003) и более высокой степенью сложности (р=0,046). Выводы. Оценивающие задания в медицинском образовании должны содержать комбинации вопросов с различными характеристиками, чтобы стимулировать лучшее понимание материала и успеваемость обучающихся, но при этом обеспечивать оптимальную степень сложности и уровень дискриминативности. Перспективы. По результатам проведенных исследований сделаны выводы о значимости комбинации вопросов с различными характеристиками как эффективной технологии оценивания учебной деятельности обучающихся.Тестовые задания, имеющие среднюю оптимальную сложность и высокую дискриминативность, соответствующего когнитивного уровня должны быть включены в будущем для улучшения качества теста.
Evaluation of the effectiveness of teaching medical training programs includes an assessment of students to promote approaches to deeper learning. General pathology is a one-year study program of the pathology, covering universal diseases concepts. Pedagogical monitoring of the progress and level of learning material learning when studying the conceptual foundations of pathology contributes not only to their academic, but also a personal development, which is an integral part in the practice of acquiring the general cultural and professional competences of the future physician. Aim. Compare the types of evaluation issues, the quality of test tasks and determine which characteristics may predict the level of preparation, digestibility and academic performance of students in the study of discipline. Methods. The study was conducted among the second year students, studying pathology the first year in 2018-2019, 2019-2020, 2020-2021 academic years at the Karaganda Medical University. 160 test tasks of various categories in several variables using statistical analysis methods were analyzed. Results. The study included six frontier testing and the final exam (in total 160 questions) studied for 3 years (368 students), in total 58880 attempts. In general, 50696 attempts (86.1%) were correct. In multidimensional analysis, the question type turned out to be the most significant prognostic factor in student performance, the degree of complexity and degree of discrimination. Tasks with multiple selection responses are significantly linked with lower average points (p = 0.004) and a higher degree of complexity (p = 0.02), but also, how neither paradoxically, weaker discrimination (p = 0.002). The presence of a specific image (macro or microscopy) in a task is significantly linked with the best discrimination (p = 0.04). Tasks requiring interpretation of data (compared to a simple response) are significantly linked with lower average points (p = 0.003) and a higher degree of complexity (p = 0.046). Conclusions. Evaluation tasks in medical education should contain a combination of questions with various characteristics to stimulate the best understanding of the material and the performance of students, but at the same time ensure the optimal degree of complexity and discrimination level. Perspectives. According to the results of the studies, the conclusions were made about the significance of a combination of questions with various characteristics as an effective technology for assessing educational activity. Test tasks that have an average optimal complexity and high discriminatory, the corresponding cognitive level should be included in the future to improve the quality of the test.