Decision support based on error report clustering in complex open ended assignments quality control
Authors: Латыпова В.А. 
Published: July 2024

Среди процессов различных организаций есть процессы, связанные с выполнением задач, качество выполнения которых контролируется вручную. Это происходит из-за отсутствия результата-эталонадля таких задач, и есть только система требований, которым должна удовлетворять решенная задача. Задачи такого рода в области дистанционного обучения называют сложными открытыми задачами. Однако кроме данной области такие задачи присутствуют и в других областях, например, в издательском процессе, в процессе производства оборудования и устройств и др. Этап контроля качества выполнения сложныхоткрытых задач осуществляется неэффективно из-за больших временных затрат контролера, который не только осуществляет проверку работ на соответствие заданным требованиям, но и подготавливает отклик для исполнителя. Для ряда задач начинают использовать интеллектуальную поддержку контроля. Интеллектуальная поддержка основана на автоматической классификации решений с использованием машинного обучения. Однако автоматическая классификация может приводить к некорректному оцениванию качества выполнения задач, а также в результате работы классификатора не генерируется отклик, являющийся достаточным для переработки решения до требуемого уровня. В статье предложен метод поддержки принятия решений на базе кластеризации сообщений об ошибках, позволяющий создавать «полноценный» отклик по выполненным сложным открытым задачам. Разработано специальное программное обеспечение, которое совместно с существующей системой кластеризации Carrot2, реализует предложенный метод. Осуществлено внедрение программного обеспечения при организации дистанционных предзащит выпускных квалификационных работ, в результате которого сокращено время на подготовку контролером отклика по выполненной задаче.

There are processes among the processes of different organizations related to carrying out tasks, implementation of which is controlled manually. This is because of a lack of result-template for the tasks. There is only the system of requirements, which implemented task must satisfy. These tasks are known as complex open ended assignments in online learning. However, the tasks exist in other fields, for example, in the publication process, in the equipment and device production process, etc. Complex open ended assignment quality control stage is ineffective due to time-consuming work of an inspector, who checks the conformity of the tasks against the requirements and prepares feedback for a performer. Intellectual support is beginning to be used for a series of tasks. Intellectual support is based upon automatic task implementation classification with the use of machine learning. However, automatic classification can bring to incorrect task implementation quality assessment. Also classifier does not generate a detailed feedback, which fit for a revision of implemented task. A decision support method based on error report clustering, which allows to create a detailed feedback on implemented complex open ended assignments, is suggested in the paper. Special software, which in conjunction with existing clustering system Carrot2 executes suggested method, is developed. The software is introduced in online pre-defense of graduation qualification thesis process. This led to time reduction in feedback preparing by an inspector.