Автоматизация оценки эффективности взаимодействия конечного пользователя с обучающей информационной системой

качестве основных критериев успешности управления использовались:

• скорость внесения изменений в учебный процесс;

• результаты аттестации в компании бизнес-заказчика (трудоустройство выпускников);

• степень удовлетворенности бизнес-заказчика и всех участников образовательного процесса.

Литература

1. Левшина В.В., Зиненко В.К. Бука Э.С., Харин В.Ф. Формирование системы менеджмента качества вуза //Качество. Инновации. Образование. - 2009. - № 2. - С. 9-13.

2. Шалаев А.П. Вступительный доклад //Матер. конф. ТЮФ Интернационал Рус, 2007.

3. Бонюшко Н.А., Туманов К.М.Стратегия формирования системы менеджмента качества вуза // Стандарты и качество. - 2008. - № 9 //http://www.stq.ru/stq/adetail.php?ID=11171.

4. Бабешко В.Н., Нежурина М.И. Методика формирования профиля выпускника образовательной программы под заказ бизнеса //Инновации в условиях развития информационно-коммуникационных технологий: Матер. научн.-практич. конф. /Под. ред. В.Г. Домрачева, С.У. Увайсова. - М.: МИЭМ, 2008. - С. 365-358.

5. Решетова Е.Н., Нежурина М.И. Профиль кандидата в магистратуру ИБС. - М.: Академия ИБС, 2007. - 17 с.

6. Бабешко В.Н., Нежурина М.И., Жеребина О.Г. и др. Профессиональные стандарты в области информационных технологий. - М.: АП КИТ, 2008.

7. Нежурина М. И. Инновационные методы оценки качества образования в вузе при подготовке специалистов для компании // Инновации в условиях развития информационно-коммуникационных технологий: Матер. научн.-практич. конф. /Под. ред. В.Г. Домрачева, С.У. Увайсова - М.:МИЭМ, 2008. - С. 42-45.

УДК 004.5 ББК в.6.3.5

АВТОМАТИЗАЦИЯ ОЦЕНКИ ЭФФЕКТИВНОСТИ ВЗАИМОДЕЙСТВИЯ КОНЕЧНОГО ПОЛЬЗОВАТЕЛЯ С ОБУЧАЮЩЕЙ ИНФОРМАЦИОННОЙ СИСТЕМОЙ

Е.Е. Ковшов, д.т.н., проф., зав. каф.

Управления и информатики в технических системах Тел.: (499) 972-9531; E-mail: kovshov@btc-it.ru П.Н. Мартынов, инженер Тел.: (916) 934-1118; E-mail: oxymo@mail.ru ГОУ ВПО Московский государственный технологический университет «СТАНКИН»

http://www.stankin.ru Нгуен Нгок Хуэ, к.т.н., доц.

Тел.: 84-31-735350; E-mail: huenn@vinamarine.gov.vn Фам Чунг Киен, асп.

Тел.: 84-31-735350; E-mail: baolong135@gmail.com Национальный транспортный морской Университет Вьетнама http://www.vimaru.vn и www.vimaru.edu.vn

In this article the authors formulate the original method of approach to assessing the effectiveness and convenience of a computer system for the user. The techniques developed within the software allow you to formalize the process of collecting data and transmit routine component of the research process of the efficiency and ergonomics of the interface application to the service of the computer that generates a mathematical model for analysis by specialists.

В статье сформулирована методика оригинального подхода для автоматизированной оценки эффективности взаимодействия и удобства компьютерной системы для конечного пользователя. Разработанное в рамках методики программное обеспечение позволяет формализовать процесс сбора исходных данных и передать рутинные составляющие процесса исследования эффективности и эргономич-ности интерфейса приложения на отработку компьютеру, генерирующему математическую модель для последующего анализа специалистами.

Ключевые слова: человеко-компьютерное взаимодействие, компьютерные информационные системы, юзабилити-тестирование, эргономика интерфейса пользователя.

Keywords: human-computer interaction, computer information systems, usability testing, ergonomics of the user interface

Введение

Вопрос о взаимодействии человека и компьютера стал актуальным с начала 80-х годов, когда компьютерные системы, с которыми приходилось иметь дело пользователю, становились значительно сложнее, массивнее и при этом получали большее распространение в жизни и работе людей. Поэтому появилась необходимость в возникновении новой научно-прикладной дисциплины, позволяющей связать технологические и психолого-физиологические особенности работы пользователя с электронно-вычислительными машинами [1]. Так возникло человеко-компьютерное взаимодействие - полидисциплинарное научное направление, предметом которого является то, как люди используют компьютеры и как следует разрабатывать компьютерные системы для того, чтобы обеспечить более эффективное и комфортное их использование конечными пользователями.

В последнее время сформировалась тенденция повышения интереса сообщества разработчиков информационных технологий к удобству использования программного обеспечения (ПО) и качеству взаимодействий пользователя с ним, как к способу увеличения, в первую очередь, продаваемости и конкурентоспособности программных продуктов на рынке. Поэтому возникло такое направление, как юзабилити (от англ. usability - удобство использования, применимость), которое в настоящее время развивается и становится все более популярным. В более узком плане это понятие можно интерпретировать как свойство программного продукта, характеризующее удобство, продуктивность и эффективность его использования конечным пользователем для достижения определенных целей. При этом юзабилити как прикладная дисциплина основана на научном фундаменте человеко-компьютерного взаимодействия и занимается проектированием интерфейсов для программного обеспечения, ориентированных на пользователя и его возможности.

Ориентация создаваемых интерфейсов на пользователей особенно актуальна при разработке обучающих комплексов программ и интерактивных учебников. Так как для этого класса компьютерных систем характерна передача пользователю больших объемов новой для него информации, развития у него новых навыков и т. п., то внимание обучаемого должно быть сконцентрировано на предмете обучения, а не рассеиваться на восприятии структуры элементов управления программой. А значит при разработке такого рода программных продуктов особенно важно проводить исследования с точки зрения комфорта и продуктивности работы пользователей.

1. Существующие методики оценки интерфейса пользователя

На сегодняшний день существуют несколько методик, позволяющих производить оценку интерфейса программного обеспечения и Интернет-ресурсов, и одна из основных - это юзаби-лити-тестирование [2]. При этом глубина и разносторонность оцениваемых данных во многом зависят от бюджета исследований и пожеланий заказчика, что обусловлено отсутствием нор-

мированных и непротиворечивых метрик. Поэтому вопрос о создании оптимальной и максимально эффективной методики тестирования и оценки юзабилити остается открытым.

Тем не менее, различными исследовательскими лабораториями и ассоциациями юзабили-стов используются в целом сходные аналитические и экспериментальные парадигмы с определенными вариациями и условными допущениями. Предпочтительность каждого из подходов определяется отношением полезного эффекта к затратам на проведение тестирования, но такая оценка варьируется для различных случаев, поэтому сложно выявить однозначно признанный метод. Таким образом, отсутствие жестких стандартов в отрасли и ее направленность преимущественно на веб оставляет место для инноваций, особенно в направлении системных программных продуктов.

На рис. 1 изображена схема популярного подхода к проведению исследования юзабилити программного продукта. В данном подходе испытуемые пользователи под присмотром специалистов выполняют определенные задания с исследуемой компьютерной системой. Все действия, а также мимика респондента фиксируются на видео. Затем специалистами производится анализ видеоинформации, и на этой основе выносится решение об уровне юзабилити продукта.

^ юзабилити- Так же возможен более дорого-

стоящий метод тестирования с применением технологии Eye Tracking. При данном виде исследований фиксируется зрительная активность пользователя, а не взаимодействия со стандартными аппаратными элементами управления компьютерной системы (такими, как мышь и клавиатура) [3]. Анализ интерфейса программных продуктов, Интернет-проектов производится на основе зон внимания или зрительных маршрутов испытуемых пользователей.

Описанные выше методики исследования юзабилити позволяют достаточно полно оценить продукт с точки зрения пользователя и выявить ошибки интерфейса. Однако их основными недостатками являются высокая стоимость, трудоемкость при необходимости проведения всестороннего исследования и высокие требования к квалификации и профессионализму юзаби-лити-специалистов, так как на этапах анализа возможна субъективная интерпретация экспериментальных данных. Как результат, такие исследования могут себе позволить лишь очень крупные компании-разработчики, которые, зачастую, и так являются лидерами в своей отрасли, задают стандарты на пользовательские интерфейсы и по этой причине, зачастую, не имеют стимула к проведению таких исследований.

2. Разработка оригинальной методики исследования ПО

Основной целью научно-исследовательской работы было создание новой методики исследования и оценки юзабилити программных продуктов, позволяющей оптимизировать с технологической и экономической точек зрения процесс тестирования, без ущерба для объективности получаемой информации, а также уменьшить субъективную составляющую обработки данных. В процессе исследований и анализа существующих методик были определены следующие критерии оптимизации разрабатываемого подхода [4]:

• Осуществление сбора информации о взаимодействиях пользователя и программы «на дому», исключение необходимости использования передвижных или стационарных исследовательских рабочих мест, а также другого дополнительного дорогостоящего оборудования;

• Автоматизация процессов сбора, систематизации и обработки данных тестирования программного продукта пользователем;

• Генерация наглядной математической модели взаимодействий пользователя с программным продуктом на основе числовых и статистических характеристик;

• Замена анализа видеоданных анализом математической модели с числовыми параметрами;

• Необходимость присутствия юзабилити-специалистов лишь на этапах анализа модели и принятия решений.

специалисты

Сбор данных, проведение исследований

V

Обработка и систематизация информации

Анализ данных,

создание рекомендаций

\H5SL I Ii

Рис. 1. Пошаговая схема исследования юзабилити

респонденты

графические и в идео материалы

В процессе поиска решений автоматизации юзабилити-тестирования был разработан программный пакет Event Log Tracking System (ELTS), позволяющий собирать и обрабатывать информацию о действиях пользователя в заданном приложении.

3. Архитектура разработанного программного решения

Разработанный подход представляет собой многоагентную систему (МАС), состоящую из нескольких самостоятельных агентов [5], соответствующих этапам юзабилити-тестирования. Архитектура созданной МАС (рис. 2) позволяет использовать в исследованиях различные наборы агентов (даже на различных платформах) и впоследствии полностью или частично изменять и интеллектуализировать их без переработки системы в целом.

Г

Агент обработки данных

V_У

Рис. 2. Схема разработанной системы

Агент сбора данных фиксирует каждое взаимодействие пользователя с программой, сохраняя его тип (различные реакции мыши или клавиатуры) и активный элемент программы, а также временные и координатные данные, характеризующие взаимодействие. Собранные данные представляются в виде структурированного LOG-файла (что обеспечивает возможность последующей тривиальной компьютерной обработки текстовой информации, в отличие от видеоданных) и транслируются с компьютера пользователя на сервер разработчика. Агент-обработчик производит систематизацию информации и интеллектуальную очистку от артефактов, зафиксированные в текстовом файле события переводятся в базу данных для удобства последующего взаимодействия с информацией. В базе хранятся элементы управления, с которыми взаимодействовал пользователь, временные и координатные характеристики взаимодействий, а также их последовательность. После представления информации в таком виде становятся возможными построение математической модели активности пользователя в исследуемой программе в виде взвешенного графа и проведение оценки удобства и эффективности исследуемого приложения с точки зрения различных групп пользователей.

4. Представление данных исследований в системе

Одной из нетривиальных задач при проектировании модулей системы оказалась задача коммуникации и представления данных агентов, собирающих информацию на стороне пользователей, и агентов, обрабатывающих и хранящих данные на стороне исследователя. Необходимо было минимизировать количество операций с данными в собирающем агенте, чтобы при этом по итогам работы пользователя с исследуемой программой создавался полный структурированный и платформонезави-симый файл отчета минимально возможного размера, который затем с наименьшими затратами было бы возможно передать и трансформировать для хранения в базе данных в виде графа.

Для реализации первой ступени представления информации, передаваемой от агента-сборщика агенту-обработчику, был выбран текстовый формат сериализации данных YAML, ориентированный на удобство ввода-вывода типичных для многих языков программирования структур данных. Формализуя данные таким образом, можно записать информацию о единичном взаимодействии пользователя и программного продукта следующим образом:

- {i_X: 125, i_Y: 340, i_Time: 16:32:25:846, i_Action: click, i_Object: btn_OK}.

В данной записи в достаточном объеме и при этом в максимально компактном виде (без потери читаемости и переносимости) отражена информация об объекте, типе, временном и ко-

ординатных параметрах взаимодействия. Для примера приведем также запись аналогичных данных в популярном формате XML:

<interactions>

<interaction>

<iX>125</iX> <iY>340</iY>

<iTime>16:32:25:84 6</iTime> <iAction>click</iAction> <iObject>btn_OK</iObject> </interaction>

</interactions>

Кроме выигрыша в размерах передаваемого файла, на сегодняшний день поддержка YAML осуществляется многими языками программирования (Java, .Net (C#), C++, Ruby и др.), что позволяет использовать его, в том числе, как мультиплатформенное решение. А цельная и не избыточная модель данных позволяет легко осуществлять формирование и отправку отчетов обрабатывающему агенту.

6. Хранение и моделирование графа активности пользователя

Следующим важным моментом стал механизм хранения полученной информации в базе данных в таком виде, чтобы при минимальных затратах ресурсов на выборку информации и ее программную обработку можно было смоделировать и обработать взвешенный ориентированный граф взаимодействий пользователей с исследуемым программным обеспечением [6]. После получения LOG-файла агент-обработчик «просматривает» все записи и формирует многомерный массив вершин, характеризующих объекты взаимодействий с названиями и видом активности, и массив дуг, характеризующих перемещение пользователя между объектами взаимодействий с сохранением последовательности. Затем полученные массивы обрабатываются до тех пор, пока в них не останутся лишь уникальные элементы, из которых и будет сформирован ориентированный граф взаимодействий пользователя G={V, X}. Где {V} - множество вершин графа; {X} -множество его дуг (длина дуги соответствует реальному расстоянию между заданными двумя элементами управления в системе координат программы). При этом каждой 7-й вершине ставится в соответствие K7 - количество зафиксированных взаимодействий пользователя с 7-м элементом управления (K0 = Yfc7 - общее число действий пользователя в программе), а каждой 7-й дуге ставятся в соответствие Pi - число перемещений пользователя по заданной дуге и Tt = (ZTjJ/P, - среднее время, затрачиваемое пользователем на перемещение. На этой основе происходит заполнение таблиц реляционной базы данных (схема таблиц на рис. 3).

В таблице вершин хранятся идентификатор, имя вершины, число посещений пользователем, типы взаимодействий и координаты данного элемента в программе, в таблице дуг - идентификатор дуги, стартовая и конечная вершины, среднее время перехода, число переходов по дуге и поле связи с другими дугами, если стартовая и конечная вершины не являются соседними. Такая организация хранения данных позволяет легко произвести выборку и моделирование необходимого графа взаимодействия как программными средствами, так и с помощью рекурсивных запросов или хранимых процедур на стороне системы управления базами данных. Кроме того, таблица дуг может быть расширена с помощью дополнительных записей, описывающих связи несоседних вершин. Хранение простого пути организовано по схеме связного списка путей, являющихся подмножеством искомого пути, где каждый следующий подпуть меньше предыдущего на одну дугу. То есть, путь, состоящий из n+1 вершин (V1ß V2, ..., Vn, Vn+1), хра-

Рис. 3. Схема таблиц реляционной базы данных

нится в виде n записей в таблице дуг. Где первая запись представлена в виде искомого пути между вершинами V1 и Vn+1 с суммированием временных и количественных характеристик перемещений для всех дуг, входящих в этот путь, и содержит ссылку на следующую запись о пути между вершинами V2 и Vn+1, которая, в свою очередь, содержит ссылку на следующий простой путь между вершинами V3 и Vn+1, и так далее до замыкающей записи, которая будет хранить подпуть, состоящий всего из одной дуги, и содержать нулевое поле связи. Такая возможность расширения хранимой информации позволяет упростить работу и повысить скорость алгоритмов на графах (преимущественно, поиск путей с оптимальными и неоптимальными характеристиками), используемых для анализа модели.

Для созданного подхода возможно также построение среднестатистической модели взаимодействий. Здесь элементами выборки являются графы взаимодействий нескольких пользователей с исследуемой программой, а множества вершин и дуг графов выборки являются подмножествами вершин и дуг общего графа. На основе характеристик графов выборки в виде математических ожиданий определяются параметры среднестатистического графа. А затем на основе критерия, величина которого определяется специалистом-исследователем, производится исключение из усредненной модели элементов, имеющих значительно меньшие веса. В таком виде модель активности пользователя в исследуемой программе позволяет выявить следующее:

?Какие элементы управления являются более предпочтительными и понятными пользователю, а какие менее;

^Наиболее эффективные, с точки зрения пользователя, методы взаимодействия с программой (пути с большим весом);

•«Длинные пути», то есть последовательности элементов управления, эффективность работы пользователя с которыми замедляется за счет их неудобного расположения;

•«Явные пути», то есть последовательности элементов, которые пользователь быстро находит и использует (характеризуются наименьшими временными параметрами с учетом длины ребра);

^Оценить общую картину взаимодействий пользователя с программой.

Заключение

На данном этапе развития созданный подход позволяет снизить участие человека в процессе исследования, заменить дорогостоящее оборудование и стационарные или мобильные исследовательские лаборатории на программное обеспечение. Разработанный для реализации данной методики пакет программ осуществляет сбор, преобразование и хранение информации о взаимодействиях пользователя с исследуемым приложением, а также представляет активность пользователя визуально в виде математической модели. Производятся операции с числовыми характеристиками, описывающими работу пользователя с программой, а не с субъективно воспринимаемыми видеоданными. В ходе проделанной работы разработана и реализована система представления, обработки и хранения информации, не только соответствующая поставленным требованиям по объему, скорости и масштабируемости, но и обладающая возможностью расширения для последующих задач и модификаций. Адекватность выбранных методов работы с данными разрабатываемой МАС обусловлена гибкостью и широкой поддержкой используемых решений.

Подводя итог, можно говорить о том, что, во-первых, автоматизация и упрощение процессов сбора и обработки экспериментальной информации делает возможным массовое использование разработанной методики. Во-вторых, работа с математической моделью взаимодействий позволяет производить более объективную оценку, оперируя числовыми, а не абстрактными характеристиками взаимодействий пользователя и компьютерной системы.

Литература

1. Раскин Д. Интерфейс: новые направления в проектировании компьютерных систем. - М. : Символ-Плюс, 2005. - 272 с.

2. Основы юзабилити [Электронный ресурс] : Сб. статей. - Электронные данные. - [М.]. : HumanoIT Group, cop. 2006-2008. - Режим доступа: http://humanoit.ru/resources/usability_abc.htm.

3. Юзабилити: правила, психология, термины [Электронный ресурс]. - Электронные данные. -[М.]. : Design For Masters, cop. 2007-2008. - Режим доступа: http://designformasters.info/posts/usability-rules-psychology-terms/.

4. Мартынов П.Н. Оценка удобства работы в системе «человек-ЭВМ» на основе статистических моделей // Прикладная информатика и математическое моделирование: Межвуз. сб. научн. тр. - М.: МГУП, 2009. - С. 164-168.

5. Рыбина Г.В., Паронджанов С.С. Модели, методы и программные средства поддержки взаимодействия интеллектуальных агентов // Информационные технологии и вычислительные системы / Институт системного анализа РАН. - 2008. - № 3. - С. 22-29.

6. Маликов А.В. Ориентированные графы в реляционных базах данных // Сб. докл. Томского гос. ун-та систем управления и радиоэлектроники. - Ставрополь: ТУСУР, 2008. - Т. 2. - С. 100-104.

УДК 004.5

ТЕХНОЛОГИЧЕСКОЕ И ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ РЕАЛИЗАЦИИ СИМ-КОНЦЕПЦИИ В СФЕРЕ ВЫСШЕГО ОБРАЗОВАНИЯ

Е.А. Неретина, д.э.н., проф., зав. каф. Маркетинга Тел.: (8342) 29-08-82; E-mail: ch.marketing@econom.mrsu.ru ГОУ ВПО Мордовский государственный университет им. Н.П.Огарева

http://www.mrsu.ru Т.Г. Соловьев, доц. каф. Прикладной информатики Тел.: (83130) 3-90-12; E-mail: timofey@bk.ru ФГОУВПО Саровский государственный физико-технический институт

http://www.sarfti. ru

The results of the research of using modern information technologies and the use of software automation in management of relations with consumers of educational services of higher education institutions are presented in the article

Обеспечение конкурентоспособности компаний зависит от их способности привлекать и удерживать прибыльных клиентов. Для эффективного решения этих стратегических задач необходима поддержка процессов управления взаимоотношениями с клиентами в рамках специализированных информационных систем. В статье представлены результаты исследования применения современных информационных технологий и использования программных средств автоматизации в управлении взаимоотношениями с потребителями образовательных услуг высших учебных заведений.

Ключевые слова: CRM, концепция, управление взаимоотношениями с потребителями, образовательные услуги, образование, программные средства, технологии.

Keywords: CRM, software, technology, concept, custom relationship management, éducation services, éducation

Введение

Глубокие изменения, произошедшие в России в 90-х годах, затронули практически все сферы экономической и социальной жизни общества, в том числе и сферу образования. За достаточно короткое время сложился и продолжает активно развиваться рынок образовательных услуг.

Усиление конкуренции на рынке образовательных услуг диктует необходимость изменений в организации деятельности вузов в целях их быстрого и гибкого реагирования на вызовы рынка. Рыночные отношения, изменение мотивации студентов, информатизация образования требуют изменений не только в сознании и поведении сотрудников и руководства учебных заведений, но и в их взаимоотношениях с участниками рынков образовательных услуг труда. В этих условиях актуальным является переход высших учебных заведений от продуктово-ориентированной концепции управления к кли-енто-ориентированной, что предусматривает перенос усилий с продвижения образовательных