Калибровка заданий теста с использованием бутстреп-метода

с использованием изменяемых весовых коэффициентов Wиk.

Аналогично проверяется второе условие - все оценки за практические навыки и оценки за теоретическую подготовку должны быть не ниже «хорошо» - по значению функции отрицания дизъюнкции У = XI V ... V ХС, реализуемой с использованием изменяемого весового коэффициента W не или О.

Наконец, по вычисленным значениям функций в случае выполнения второго условия формируется итоговая оценка: при выполнении первого условия - «отлично» (5), а при его невыполнении - «хорошо» (4).

При этом осуществляется переход от двоичных переменных к балльным значениям итоговой оценки в соответствии с соотношением У=\У1У1+\У2У2, где У1 и У2 количество двоичных переменных на входах сумматоров Е4 и Е5 со значениями, равными 1.

Выбираются следующие значения изменяемых весовых коэффициентов:

5/2, если У1 = 2;

О, если У2 2.

XVI =

\¥2 =

2, если У2 = 2; О, если У2 ^ 2.

Фрагмент методики, реализующий выставление итоговой оценки «удовлетворительно» или «неудовлетворительно», может быть построен аналогично.

Для наиболее широкой реализации коэффициентных методик с изменяемыми весовыми коэффициентами целесообразно создание программной

оболочки, предназначенной для разработки и реализации методик пользователями, не специализирующимися в области вычислительной техники и программирования.

Созданный с участием авторов вариант программной оболочки получил официальную государственную регистрацию (№ 2008610291 от 14 января 2008 г.) и экспериментально проверен на примере разработки используемой в учебно-воспитательном процессе Ростовского военного института Ракетных войск методики рейтинговой оценки кафедр по итогам обучения за семестр и за учебный год.

В заключение отметим, что компьютерные коэффициентные методики широко используются в практике оценки объектов, относящихся к разнообразным областям деятельности, так как, обладая простотой используемого математического аппарата, обеспечивают рациональное сочетание оперативности получения результата с возможностью количественного его обоснования.

Недостатком существующих коэффициентных методик является невозможность реализации логических функций в процессе получения результата. Логические функции в компьютерных коэффициентных методиках реализуются на основе перехода от традиционно используемых постоянных весовых коэффициентов к изменяемым.

Литература

1. Долгов А.И., Долгов А.И., Журавлев Ю.П. Методика решения некоторых задач оценки объектов с помощью ЦВМ // Автоматика и вычислительная техника. 1965. N° 9.

2. Долгов А.И., Мартыненко А.Ф., Преснухин В.В. Коэффициентная методика с изменяемыми весовыми коэффициентами // Искусственный интеллект. Донецк. МОН и ИПИИ «Наука [ осв1та». 2008. Т. 4.

УДК 378.146:519.87

КАЛИБРОВКА ЗАДАНИЙ ТЕСТА С ИСПОЛЬЗОВАНИЕМ БУТСТРЕП-МЕТОДА

И.Н. Елисеев, к.т.н.

В статье обосновывается возможность использования бутстреп-метода для калибровки заданий теста. На основе машинного эксперимента показано, что с помощью этого метода можно значительно снизить величину интервальных оценок трудности заданий.

Ключевые слова: тест, задание теста, калибровка, бутстреп-метод.

Важным этапом создания надежных педагогических и диагностических тестов для управления качеством образовательной деятельности в учреждениях профессионального образования является калибровка (определение трудности) их заданий (индикаторов). Калибровка проводится с помо-

щью современных методов и программ расчета латентных переменных на основе обработки результатов тестирования. Как правило, объем используемой выборки студентов невелик (от 20 до 50 человек), из-за чего погрешность калибровки получается недопустимо большой. Причем вы-

борка эта является единственной, и увеличение ее объема за счет накопления данных в течение определенного времени зачастую неприемлемо.

Современные подходы к решению проблем подобного рода базируются на использовании параметрических методов и связаны с генерированием выборки необходимого объема на основе закона распределения, полученного по результатам тестирования. Однако при малых объемах выборки трудно верно выбрать саму параметрическую модель и с приемлемой точностью рассчитать ее параметры. Из-за этого погрешность оценки выборочного среднего и дисперсии получается большой и снизить ее не представляется возможным.

Указанного недостатка лишены методы увеличения объема выборки, в которых используется непосредственное размножение экспериментальных результатов тестирования, такие как бутст-реп-метод, метод складного ножа [1] и их модификации. За счет размножения исходной выборки с их помощью создается выборка существенно большего объема.

Целью данной работы является исследование возможности использования бутстреп-метода для снижения погрешности калибровки трудности заданий теста и уменьшения величины ее интервальных оценок.

Для исследования была выбрана матрица результатов тестирования студентов (выборка) размером 50x42. Формирование бутстреп-выборок производилось следующим образом. Исходная матрица тиражировалась большое число раз (К), причем каждая последующая матрица располагалась строго под предшествующей. При таком размножении положение столбцов всех матриц сохранялось неизменным. В результате тиражирования получалась выборка большего объема, число столбцов которой оставалось равным 42, а количество строк возрастало в N раз. Затем из нее случайным образом отбирались с возвращением п матриц размером 50x42, каждая из которых обрабатывалась, как и исходная матрица, с помощью программного комплекса МЬР-1 [2]. Число п менялось. На первом этапе количество тиражирований N выбиралось равным 100, и строки полученной матрицы размером 5000x42 не перемешивались. Из нее последовательно извлекались с возвращением группы матриц с п=10, 25, 50, 75, 100, 200, 300,..., 2000. В результате обработки матриц находились бутстреп-выборки Р^** (¡=1, 2, 3, ..., п). Каждое из рассчитанных бутстреп-значений Р^** усреднялось по п выборкам, и определялись

—(Б**

оценки среднего значения Р] * и стандартного

(Б**

отклонения * .

Зависимость величины р(Б* от количества п извлекаемых матриц в группе для самого легкого

задания № 31 показана на рисунке 1 а), и для самого трудного задания № 20 - на рисунке 1 б).

о)

Рис. 1. Зависимость р(Б* от п для заданий: а) легкого и б) трудного

Прямыми линиями на рисунке показаны значения оценок р20* и р31*, рассчитанные для исходной матрицы. Из графиков видно, что при п<200 значения р(Б* статистически неустойчивы. Как показал анализ, для |р^| >0,1 логита амплитуда колебаний р(Б* может достигать 20-25 % от среднего значения. Статистическая устойчивость оценок р(Б* заметно улучшается, когда число извлекаемых матриц п в группе превышает 500. Макси-

—(Б**

мальное отклонение Р] * от усредненного значения, вычисленного по группам матриц с 500<п<2000, составляет не более 7-10 % практически для всех заданий теста с I р/| >0,1. Вывод об улучшении статистической устойчивости подтверждается результатами анализа зависимости

(Б**

оценки среднеквадратичного отклонения о]' от п (рис. 2). При п>500 амплитуда колебаний значе-

Рис. 2. Зависимость о

(Б)*

нии с( ) для рассматриваемых задании существенно снижается. С учетом данного вывода в ка-

Б(Б)* _(Б)*

честве предельных оценок величин р> ) и с.

—(Б)*

были приняты их усредненные значения р^./ и -(Б)*

, рассчитанные по 16 группам матриц с п=500, 600, ..., 2000.

Для практического использования полученных результатов важно знать, какое минимальное количество групп матриц 8 и число бутстреп-матриц в группе п необходимо выбрать, чтобы ус-

77(1,1» —(Б)"

редненные по ним значения р^,., и мало

"(Б)8 ..

отличались от предельных р^/ и . С этой

целью исследовалась зависимость относительной

Й(Б)* -(Б)" „

погрешности оценок р^,., и а^н от значении « и

п. Для проведения исследований были выбраны самое легкое и самое трудное задания теста, а также задания одинаковой трудности 1, 13 и 38 (Р/=0,467 логита).

Относительные погрешности и у^. рассчитывались по одной группе матриц с п=600 (8=1) и при усреднении по группам матриц с различными значениями п и 8 (см. табл.).

Зависимость уй» и у^» от числа 8 групп бутстреп-матриц

л Отн. 8=1 8= -2 8=4 8=6 8=9 8=11

погр. У (%) п=600 п=500, 600 п=600, 700 п=500, 600, ..., 800 п=500, 600, ..., 1000 п=800, 900, ..., 1600 п=1000, 1100, ..., 2000

1 Ущ* 2 1,30 2,80 0,74 0,74 0,28 0,50

УЯ1* 4,40 3,20 1,32 0,90 0,48 0,56 0,38

20 Ур20* 1,50 1 1,25 0,48 0,23 0,28 0,14

Уо20* 1,24 0,46 1,32 0,90 0,56 0,22 0,20

31 Урэ1* 0,22 0,17 0,35 0,09 0,07 0,03 0,10

Уя31* 0,70 2 2 0,04 0,50 0,74 0,10

13 Ур13* 3,80 0,27 1 0,36 0,77 0,18 0,35

Уо13* 0,40 3 3,90 0,02 0,30 0,04 0,04

38 Ур38* 1,70 2,30 0,60 1,50 0,99 0,46 0,40

Уо38* 3 0,13 1,78 0,82 0,80 0,35 0,35

Из таблицы видно, что погрешность расчета менее 1 % и для р^ , и для с(8г1 обеспечивается

при усреднении не менее чем по шести группам бутстреп-матриц с п=500, 600, ..., 1000. Использование только четырех групп бутстреп-матриц приводит к увеличению относительной погрешности

оценки Р^Т! до 1,5 %. Снижение погрешности до

0,5 % достигается при усреднении не менее чем по 11 группам бутстреп-матриц.

На втором этапе исследовалось влияние на ре-

-(Б)* -(Б)*

зультаты оценок р^ и с.«г1 числа т перемешиваний строк размноженной матрицы. Исследования проводились для одной группы матриц с п=800, количество которых выбиралось равным 10, для 16 групп матриц с п=500, 600, ..., 2000 и для 6 групп матриц с п=500, 600, ..., 1000. Количество перемешиваний изменялось с интервалом Ат1=5 105 в диапазоне от 0 до 107 и с интервалом Ат2=5 106 в диапазоне от 5 106 до 108. Для одной группы матриц рассчитывались средние значения

Р^ по десяти извлеченным матрицам и находились их относительные отклонения от величины р£/.

Анализ результатов показал, что зависимость Ур/(т) носит случайный характер. Разброс значе-

—(Б)*

ний относительно р^,/ для большинства заданий

ний с.10 также свидетельствует о том, что стати-

„ -*

стическая устойчивость оценок с.10 ухудшается

при перемешивании (уп1 возрастает на 1,5-2 %). Расчет предельных оценок (т), ^^(т),

выполненный по 16 группам матриц для различного числа перемешиваний т, показал, что отличие значений р.^ (т) от р^ (0) не превышает

0,7 % для указанных в таблице заданий, если т принимает значения 5 106, 107, 2 107. При т=106 и т=1,5107 может достигать 1-1,5 %. Значения практически не отличаются от указанных и для других заданий теста, но когда I р/| близко к 0,1 логита, они могут возрастать до 4 %. При 8=6 различия р£> (т) и р?^ (0) несколько выше и могут достигать 6 %. Изменения предельных оценок

для этих же значений 8 могут увеличиваться

до 3,5 %, что превышает колебания значений

=(Б)*

рассчитанных для т=0.

Таким образом, перемешивание строк размноженной матрицы приводит не к повышению

устойчивости оценок р.,

(Б)* .«г

'* -(Б)*

и о- ' , как ожидалось,

а, скорее, к ее снижению.

На третьем этапе оценивались и сравнивались

интервалы изменения значений р^ и Р.Б) . Для

случая непараметрической статистики [3] трудность ¡-го задания, рассчитанная по исходной

матрице размером кх/, будет находиться в интер* *

вале р;-(-^).и(р)<р] <р;+(-^).и(р).

Здесь к - число строк в исходной матрице; и(р) - число, зависящее от величины доверительной вероятности р. С учетом данного выражения отношение к ширины интервалов изменения исходного значения Pj и полученного бутстреп-

значения Р; ' составит >.«—-1-—= . Например,

1 О; -л/к

для задания № 10 (о/=0,498, öf =0,296, к=50,

n=500) величина к составила 5,32.

Таким образом, использование бутстреп-мето-да позволяет существенно уменьшить величину интервальных оценок трудности заданий теста и за счет этого повысить точность их калибровки.

Литература

1. Efron B. Bootstrap methods: Another look at the jackknife Ann. Statist, 1979. V. 7. № 1, pp. 1-25.

2. Елисеев И.Н., Елисеев И.И., Фисунов А.В. Программный комплекс RILP-1 // Программные продукты и системы. 2009. №> 2. С. 178-181.

3. Орлов А.И. Эконометрика: учеб. пособие для вузов. М.: Изд-во «Экзамен», 2002. С. 83.

УДК 004.422

ОСОБЕННОСТИ РЕАЛИЗАЦИИ АРХИТЕКТУРНОГО ШАБЛОНА THIN WEB CLIENT НА ПЛАТФОРМЕ JAVA EE 6

В.И. Аржаев, к.т.н.; A.C. Полыгаев

На конкретном примере рассматривается технология создания полнофункционального интерфейса web-прило-жения на основе шаблона Thin web client с помощью фреймворка Java Server Faces. Для построения пользовательского интерфейса применяются JSF-компоненты Woodstock, расширенные с помощью библиотеки DynamicFaces.

Ключевые слова: архитектурные шаблоны web-приложения, платформа создания корпоративных автоматизированных систем, среда разработки, технология асинхронного обновления страниц.

Архитектурный шаблон Thin web client (тонкий web-клиент) обычно используется в тех web-приложениях, в которых гарантируется наличие минимальной конфигурации клиента. При этом вся бизнес-логика выполняется на сервере в процессе обработки запроса на получение страницы, сгенерированного браузером клиента.

Термин расширенное клиентское приложение относится к настольным приложениям с расширенными возможностями, в то время как термин приложение для тонкого клиента относится к приложениям, базирующимся на архитектурных шаблонах web -приложений. Обычно расширенные клиенты сложны в развертывании и управлении, с другой стороны, тонкие клиенты не имеют таких широких возможностей пользовательского интерфейса и не так быстро реагируют, как толстые/расширенные клиенты.

ботчикам создать web -приложения для конечного пользователя на основе шаблона тонкий клиент с гораздо более богатыми пользовательскими интерфейсами и повышенной быстротой реакции.

Для разработки web-приложений используются два подхода: на основе компилируемых модулей и интерпретируемых сценариев.

Наиболее популярным решением является Java Server Pages (JSP). Страницы JSP, хотя и содержат сценарии, при первом обращении к ним подлежат компиляции и загружаются как сервлеты. Пока серверная страница не изменяется, web-сервер продолжает использовать уже скомпилированный сервлет. Это дает некоторый выигрыш в производительности при использовании JSP по сравнению с другими типами сценариев. При разработке приложения на основе архитектуры тонкого клиента предлагается активно использовать достаточно новую компонентную, событийно-ориентированную технологию создания web -приложений Java Server Faces (JSF). Фактически подобно Swing и AWT приложение JSF - это каркас разработки приложений, предоставляющий набор стандартных графических компонентов для создания пользовательского интерфейса на стороне сервера.