Валидизация шкал MFTS и AQSA у больных с переломами костей стопы в составе множественной и сочетанной травмы

валидизация шкал mfts и aqsaу больных с переломами костей стопы в составе множественной и сочетанной травмы

М. А. КоролёвД. О. Ярмак, Е. А. Мирошникова, Г. В. Коробушкин

Кафедра травматологии, ортопедии и военно-полевой хирургии, педиатрический факультет, Российский национальный исследовательский медицинский университет имени Н. И. Пирогова, Москва

Для оценки эффективности лечения в травматологии применяют различные шкалы и оценочные опросники. В работе представлены данные проверки валидности двух шкал, разработанных авторами: Moscow Foot Trauma Scale, MFTS (московская шкала оценки функции стопы после травмы) и Abbreviated Questionnaire of Subjective Assessment, AQSA (сокращенный опросник субъективной оценки). В исследовании участвовали 79 пациентов (59 мужчин, 20 женщин; средний возраст — 42 года) с переломами костей стопы в составе сочетанной и множественной травмы. Для шкал рассчитывали коэффициенты надежности, стабильности, константности, внутренней согласованности (альфа Кронбаха), раздельной корреляции (лямбда Гутмана) и внутригрупповой корреляции. В качестве шкал-эталонов использовали SF-36 (Short Form 36) и AOFAS (American Orthopaedic Foot and Ankle Society Score). Исследование выявило высокую воспроизводимость новых шкал: коэффициент стабильности был равен 0,85-0,96 для MFTS и до 0,93 для AQSA. Была отмечена их надежность и внутренняя согласованность.

Ключевые слова: MFTS, AQSA, SF-36, AOFAS, шкала оценки, валидность, конвергентная валидность, коэффициент внутренней согласованности, коэффициент раздельной корреляции, коэффициент внутригрупповой корреляции, переломы костей стопы, множественная травма

[23 Для корреспонденции: Максим Александрович Королёв

117049, г. Москва, Ленинский пр-т, д. 10, корп. 7; doctorkoroleff@mail.ru

Статья получена: 30.03.2016 Статья принята в печать: 07.04.2016

mfts and aqsa scales validation in patients with multiple and concomitant foot fractures

Korolev MA s , Yarmak DO, Miroschnikova CA, Korobushkin GV

Department of Traumatology, Orthopedics and Field Surgery, Faculty of Pediatrics Pirogov Russian National Research Medical University, Moscow, Russia

To assess the effectiveness of treatment in traumatology, different scales and assessment questionnaires are used. This work presents the results of the validity test of the two scales designed by the authors, namely, Moscow Foot Trauma Scale (MFTS) and Abbreviated Questionnaire of Subjective Assessment (AQSA). The study enrolled 79 patients (59 male and 20 female individuals with a mean age of 42) with multiple or concomitant foot fractures. For the scales, coefficients of reliability, stability, constancy, internal consistency (Cronbach's alpha), split-half correlation (Guttman's lambda) and intraclass correlation were calculated. SF-36 (Short Form 36) and AOFAS (American Orthopaedic Foot and Ankle Society Score) were used as reference scales. The study revealed a high reproducibility of the new scales: stability coefficient was 0.85-0.96 for MFTS and up to 0.93 for AQSA. Their reliability and internal consistency were established.

Keywords: MFTS, AQSA, SF-36, AOFAS, rating scale, validity, convergent validity, internal consistency coefficient, split-half correlation coefficient, intraclass correlation coefficient, foot fractures, multiple injury

|><1 Correspondence should be addressed: Maksim Korolev

Leninskiy prospect, d. 10, korp. 7, Moscow, Russia, 117049; doctorkoroleff@mail.ru

Recieved: 30.03.2016 Accepted: 07.04.2016

Современные требования к оказанию медицинской помощи пациентам с тяжелыми травмами заставляют врача думать не просто о ранней диагностике, активном лечении и последующей реабилитации пациента, но и об экономической эффективности всех действий, о сокращении сроков лечения и реабилитации и снижении инвалидиза-ции. Диагностика и лечение сочетанных и множественных травм, помимо объективных сложностей — кратковременности пребывания пациента в отделении, отсутствия анамнестических данных и общего тяжелого состояния, —

характеризуются значительными финансовыми и материальными затратами клиник и фондов медицинского страхования. Это определяет важность объективной оценки эффективности лечения, для чего используют, как правило, шкалы оценки.

Существует большое количество шкал и оценочных опросников. Выделяют неспецифичные (общеоценочные: VAS, NRS, SF-36 и др.) и специфичные шкалы (для определенной патологии: AOFAS, FFI, DASH и др.), которые можно охарактеризовать по валидности (обоснованности),

article i traumatology

комплаентности (дружелюбности), надежности, воспроизводимости результатов в последующих исследованиях, чувствительности к объективным изменениям в показателях. По этим параметрам выбирают оценочный инструмент для определенной группы пациентов [1-3].

Однако существующие шкалы несовершенны, и требуется создание новых опросников для оценки исхода лечения и его правильной интерпретации, а также их валиди-зация [4-7]. Нами на кафедре травматологии, ортопедии и военно-полевой хирургии Российского национального исследовательского медицинского университета имени

H. И. Пирогова были разработаны две новые шкалы. Moscow Foot Trauma Scale, MFTS (московская шкала

оценки функции стопы после травмы) — специфичная шкала для оценки результатов лечения после повреждения костей стопы. Состоит из субъективной и объективной части, каждая из которых включает 3 вопроса с вариантами ответов (рис. 1). В конце шкалы даны ключи, указывающие количество баллов за каждый ответ. Возможная

Заполняется врачом

Объективная часть_

1) Функция

I.1) Активные движения

A) Полная — 100 %

Б) Умеренно ограничена — более 50 %

B) Выраженно ограничена — менее 50 % 1.2) Пассивные движения

A) Полная — 100 %

Б) Умеренно ограничена — более 50 %

B) Выраженно ограничена — менее 50 %

2) Использование дополнительных средств опоры и ортопедических изделий

A) Нет

Б ) Иногда

B) Постоянно

3) Опороспособность конечности

A) Полная

Б) Умеренная

B) Низкая

Заполняется пациентом

Субъективная часть_

4) Боль

A) Отсутствует

Б) Умеренно выраженная

B) Сильная

Г) Очень сильная Д)Невыносимая

5) Социализация

A) Прежняя работа без ограничений Б) Прежняя работа с ограничениями

B) Перевелся на более простую работу Г) Не работаю по причине травмы стопы Д) Не работаю по другим причинам

6) Удовлетворенность результатом

A) Отлично Б) Хорошо

B) Удовлетворительно Г) Плохо

Д) Очень плохо

Ключи (в баллах)_

1.1) А 20, Б 10, В 0

1.2) А 3, Б 2, В 0

2) А 2, Б 1, В 0

3) А 4, Б 1, В 0

4) А 15, Б 10, В 5, Г 1, Д 0

5) А 40, Б 30, В 20, Г 10, Д 0

6) А 6, Б 3, В 2, Г 1, Д 0

Интерпретация результатов

90-61 б — отлично; 60-41 б — хорошо; 40-21 б — удовлетворительно; 20-11 б — плохо; 10-0 б — очень плохо.

Рис. 1. Анкета для оценки эффективности лечения переломов костей стопы по шкале MFTS

сумма баллов — от 0 до 90. Возможные результаты оценки эффективности лечения: 90-61 б — отлично; 60-41 б — хорошо; 40-21 б — удовлетворительно; 20-11 б — плохо; 10-0 б — очень плохо.

Abbreviated Questionnaire of Subjective Assessment, AQSA (сокращенный опросник субъективной оценки) — неспецифичная шкала, по которой можно оценить наличие у пациента ограничения активности, потребность в ортопедической обуви повышенной сложности, использование средств дополнительной опоры, необходимость купирования болевого синдрома анальгетиками, изменение характера выполняемой работы. Включает 6 вопросов (рис. 2). В конце шкалы даны ключи, указывающие количество баллов за каждый ответ. Возможная сумма баллов — от 0 до 30. Чем выше значение, тем хуже результат: 0-10 б — хорошо; 11-20 б — удовлетворительно, выше 20 б — плохо.

Перед использованием вновь разработанной шкалы необходимо подтвердить ее теоретическую и прагматическую валидность в условиях применения. Подтверждение теоретической валидности позволяет определить, действительно ли данная шкала оценивает нужный нам показатель, а прагматической — насколько хорошо шкала выполняет свою функцию на практике, при работе с пациентами. Валидность толкуют по-разному — в зависимости от задачи. Обычно под ней подразумевают степень уверенности в том, что тест, измерение или эксперимент действительно выполняет ту функцию, для которой они предназначены [8].

Проверка валидности нового инструмента оценки является довольно сложной задачей. В травматологии для верификации теоретической валидности чаще всего используют шкалы SF-36 (Short Form 36) и AOFAS (American Orthopaedic Foot and Ankle Society Score), которые подтвердили свою устойчивость в популяционных исследованиях на больших и относительно однородных выборках [9-13].

Вопрос

1) Работаете ли вы сейчас?

А) Да Б) Нет

2) Какой характер работы

A) Прежняя

Б) Облегченная

B) Инвалидность

3) Принимаете обезболивающие?

А) Да Б) Нет

4) Имеет место ограничение активности?

А) Да Б) Нет

5) Используете дополнительные средства опоры?

А) Да Б) Нет

6) Какую обувь вы носите?

A) Обычную

Б) Ортопедическую

B) Стельки

Ключи

1) А 0, Б 5

2) А 0, Б 3, В 5

3) А 5, Б 0

4) А 5, Б 0

5) А 5, Б 0

6) А 0, Б 5, В 3

Интерпретация результатов

0-10 б — хорошо; 11-20 б — удовлетворительно, выше 20 б — плохо.

Рис. 2. Анкета для оценки эффективности лечения переломов костей стопы по шкале AQSA

В ходе анализа должна отмечаться связь признаков, оцениваемых проверяемой шкалой, с родственными признаками шкалы-эталона и отсутствие ее с признаками, имеющими другие теоретические основания. Тогда это будет означать, что сфера применения шкалы была выбрана правильно.

Прагматическую валидность оценивают по внешнему признаку, который должен быть релевантным (т. е. по смыслу соответствовать изучаемому признаку), свободным от помех (обычно это обеспечивается формированием достаточно однородной выборки) и надежным [14].

До проверки валидности требуется установить уровень надежности системы. Надежность — это относительное постоянство, устойчивость, согласованность результатов теста при первичном и повторном применении на одной группе пациентов. К. М. Гуревич рекомендует толковать надежность как: 1) надежность самого измерительного инструмента; 2) стабильность изучаемого признака; 3) константность, т. е. относительную независимость результатов от личности экспериментатора, — и предлагает рассчитывать три соответствующих коэффициента: надежности, стабильности и константности [15].

Коэффициент надежности рассчитывают методом расщепления (split-half reliability), при котором тест разделяют на равные части и вычисляют корреляционную связь между их значениями. При значении коэффициента корреляции выше 0,75 методика признается надежной.

Коэффициент стабильности изучаемого признака определяют приемом тест-ретест. Его смысл заключается в повторном тестировании группы испытуемых с применением исследуемой методики. Значение коэффициента корреляции между первичным и повторным исследованием характеризует стабильность признака.

Константность проверяют проведением тестирования одной группы испытуемых по одной методике, но разными исследователями. При соблюдении одинаковых условий значение коэффициента корреляции должно быть выше 0,80.

Помимо расчета указанных коэффициентов, можно оценить надежность системы методом эквивалентных бланков, который требует создания похожих форм одного теста и его тестирование на большой группе пациентов с вычислением корреляционной связи. Нами он не использовался в связи с большой трудоемкостью и относительно малой выборкой.

Совместно с вычислением вышеперечисленных показателей следует определять коэффициент внутренней согласованности (альфа Кронбаха, аК), коэффициент раздельного коррелирования (лямбда Гутмана, AG) и коэффициент Кадера-Ричардсона, (KR20) [16-18].

Целью исследования являлась проверка валидности шкал MFTS и AQSA для пациентов с переломами костей стопы в составе сочетанной и множественной травмы.

ПАЦИЕНТЫ И МЕТОДЫ

В исследование включили 79 пациентов (59 мужчин, 20 женщин; средний возраст — 42 года) травматологического отделения Городской клинической больницы № 1 им. Н. И. Пирогова, прошедших в 2007-2016 гг. лечение по поводу переломов костей стопы в составе сочетанной и множественной травмы. Оперативное лечение провели у 32 пациентов, консервативное — у 47. Исследование было одобрено Этическим комитетом РНИМУ им. Н. И. Пи-

рогова (протокол № 139 от 10.11.2014). Все пациенты дали информированное согласие на участие в исследовании.

По локализации переломы на правой стопе встречались чаще (n = 39), чем на левой (n = 27), и были билатеральными у 13 больных. При первичных осмотрах было выявлено 69 переломов, что составило 54,3 % от их общего числа. При последующих осмотрах травматологами и другими специалистами были диагностированы еще 24 перелома (26,0 %). Еще 28 переломов были позднодиа-гностированными, и из них 12 нуждались в оперативном лечении. Чем тяжелее было состояние пациента, тем выше был процент позднодиагностированных переломов. При тяжести состояния, оцененной по шкале ISS (Injury Severity Score) менее чем в 16 б, недиагностированными были 11 переломов, а более чем в 16 б —17. До травмы 55 человек были полностью трудоспособными, после лечения трудоспособность сохранили 37 пациентов.

После много- либо одноэтапного лечения пациентов выписывали из стационара и наблюдали в травмпункте по месту жительства. При необходимости больных направляли в консультативный кабинет при крупных больницах.

Пациентов разделили на две группы: группу пациентов с ретроспективным наблюдением (n = 36) и группу пациентов с проспективным наблюдением (n =43). Результаты лечения оценивали через 1, 3, 6 и 12 мес после травмы или повторного лечения, используя разработанные шкалы MFTS и AQSA и шкалы SF-36 и AOFAS. Для всех шкал рассчитали коэффициенты надежности, стабильности, константности, aK, AG и коэффициент внутригрупповой корреляции. Коэффициент Кадера-Ричардсона не вычисляли в связи с недихотомическим характером всех шкал. При использовании приема тест-ретест повторное тестирование проводили через 11 ± 3,2 дня.

Полученные числовые значения результатов лечения пациентов с переломами костей стопы показывали важность внимательного отношения к проблемам диагностики и лечения костей стопы, а также своевременного и внимательного ознакомления пациента с тактикой дальнейшего лечения.

Для статистического анализа данных использовали программу Statistica 10.0 (StatSoft, США). При относительно небольшой выборке приняли уровень значимости p < 0,05. Для анализа данных использовали методы непараметрической статистики в связи с наличием в большинстве случаев распределения данных, отличного от нормального.

РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ

В табл. 1 в качестве примера использования шкал представлены результаты оценки эффективности лечения пациентов через 12 мес с использованием эталонных и изучаемых шкал. Суммы баллов по шкалам MFTS и AQSA наравне с оценкой по шкалам SF-36 и AOFAS подтвердили закономерность: чем позднее были диагностированы переломы, тем ниже была эффективность лечения.

Коэффициент Кронбаха, свидетельствующий о внутренней согласованности шкалы, был наибольшим у шкалы MFTS, а коэффициент Гутмана — у общефизической составляющей шкалы SF-36 (PCS) (табл. 2). Высоким было и значение AG у MFTS.

Для шкалы MFTS в разные периоды тестирования значения коэффициента константности находились в диапазоне от 0,81 до 0,93, для AQSA — от 0,57 до 0,69.

article i traumatology

Таблица 1. Результаты оценки эффективности лечения (через 12 мес) с использованием шкал SF-36, AOFAS, MFTS и AQSA

Таблица 2.

и AQSA

Клинико-метрические свойства шкал SF-36, AOFAS, MFTS

Шкала Переломы костей стопы

ранодиагнос-тированные позднодиагнос-тированные недиагности-рованные

SF-36 (PCS/MCS) 51/47 38/46 34/28

AOFAS 54 43 31

MFTS 45 22 15

AQSA 7 18 16

Шкала SF 36 AOFAS MFTS AQSA

PCS MCS

Количество вопросов 21 15 9 6 6

Коэффициент Кронбаха (а^ 0,982 0,957 0,989 0,993 0,99

Коэффициент Гутмана (Ю) 0,986 0,951 0,983 0,985 0,981

Коэффициент внутригрупповой корреляции 0,896 0,769 0,93 0,961 0,936

Примечание: PCS — Physical Component Summary (общефизический компонент шкалы SF-36), MCS — Mental Component Summary (общепсихологический компонент шкалы SF-36). Результаты представлены в виде среднего арифметического.

Примечание: PCS — Physical Component Summary (общефизический компонент шкалы SF-36), MCS — Mental Component Summary (общепсихологический компонент шкалы SF-36).

Таблица 3. Значения конвергентной валидности для шкал SF-36, AOFAS, MFTS и AQSA

Шкала SF-36 PCS SF-36 MCS AOFAS

Р П Р П Р П

MFTS Р 0,183 - -0,206 - 0,22 -

П - 0,215 - -0,719 - 0,104

AQSA Р 0,227 - 0,170 - -0,301 -

П - 0,378 - 0,351 - -0,292

Примечание: PCS — Physical Component Summary (общефизический компонент шкалы SF-36), MCS — Mental Component Summary (общепсихологический компонент шкалы SF-36); Р — группа пациентов с ретроспективным наблюдением, П — группа пациентов с проспективным наблюдением; p <0,05.

Коэффициент внутригрупповой корреляции, определенный с помощью приема тест-ретест, был равен для МРТЗ 0,85-0,96, а для ДОЗА — 0,76-0,93 (для обеих шкал р < 0,05). Такой результат указывает на высокую зависимость показателей внутри шкал МРТЗ и ДОЗА.

В табл. 3 представлены значения конвергентной корреляции между эталонными и изучаемыми шкалами для обеих групп пациентов. Как видно, они имели низкий уровень значимости. Была выявлена связь шкалы МРТЗ с ДОРДЗ и общефизическим компонентом ЗР-36, что логично, учитывая однонаправленную специализацию этих опросников. Однако все значения имели низкий уровень значимости, поэтому наличие реальной связи между шкалами можно только предполагать.

ДОЗД ввиду своей низкой специфичности коррелировала одновременно с физическим и психологическим компонентами ЗР-36, а корреляционная связь между ней и шкалой ДОРДЗ имела отрицательное значение.

ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ

Высокий коэффициент Кронбаха у МРТЗ указывает на оптимальное построение вопросов в шкале. С помощью программы З1а^юа 10.0 оценили необходимость исключить похожие вопросы, и для МРТЗ было рекомендовано убрать 2 вопроса (чтобы снизить значение аК), в то время как для ДОРДЗ и ДОЗД было рекомендовано добавить от 1 до 3 вопросов для повышения внутренней согласованности оценочного инструмента.

Коэффициент Гутмана подтвердил эффективность оценки с применением общефизической составляю-

щей шкалы ЗР-36 (0,986). Высокие значения показателя тест-ретест — 0,85-0,96 для МРТЗ и до 0,93 у ДОЗД — отразили хорошую воспроизводимость этих шкал.

Полученные данные свидетельствуют о достаточно высоком уровне индивидуальной валидности шкал МРТЗ и ДОЗД. Но значения конвергентной валидности при сравнении с эталонными шкалами были невысокими. Нельзя сказать точно, какой будет корреляция между показателями в условиях другого эксперимента, но важно, что связь все же есть. Возможно, в дальнейших исследованиях с участием разных групп пациентов нам удастся подтвердить ее наличие.

ВЫВОДЫ

Результаты статистического анализа данных подтвердили высокую обоснованность, комплаентность для врача, чувствительность и надежность шкалы МРТЗ. К ее недостаткам относятся средняя воспроизводимость и низкая комплаентность для пациента. Шкала ДОЗД показала высокую надежность, воспроизводимость, комплаент-ность для врача и пациента, но низкую обоснованность и чувствительность. Значения конвергентной валидности указанных шкал с ЗР-36 и ДОРДЗ продемонстрировала наличие связи между шкалами, но — относительно слабой связи.

Шкалы МРТЗ и ДОЗД можно применять для оценки эффективности лечения пациентов с переломами костей стопы в структуре сочетанной и множественной травмы, но при этом должны учитываться указанные для них особенности.

Литература

1. Вискарра М. Э., Зимина Э. В., Гурина С. А., Ярыгин Н. В. Ва-лидизация шкал и вопросников для оценки функционального состояния и качества жизни пациентов с переломовывиха-ми голеностопного сустава. Российские медицинские вести. 2011; 16 (2): 61-71.

2. Новик А. А., Ионова Т. И. Руководство по исследованию качества жизни в медицине. М.: Изд-во «ОЛМА Медиа Групп»; 2007. 313 с.

3. Knop C, Oeser M, Bastian L. Development and validation of the visual analogue scale (VAS) spine score. Unfallchirurg. 2001; 104 (6): 488-97. German.

4. Евсина О. В. Качество жизни в медицине — важный показатель здоровья пациента (обзор литературы). Личность в меняющемся мире: здоровье, адаптация, развитие. 2013; (1): 119-33.

5. Вискарра М. Э., Ярыгин Н. В., Зимина Э. В. Анализ факторов, влияющих на качество жизни и функциональное состояние пациентов с переломовывихами голеностопного сустава. Проблемы стандартизации в здравоохранении. 2011; (3-4): 9-15.

6. Вискарра М. Э. Изучение качества жизни и функционального состояния пациентов с переломовывихами голеностопного сустава с помощью шкал и опросников [диссертация]. М.: Московский государственный медико-стоматологический университет имени М. А. Евдокимова; 2011.

7. Гланц С. Медико-биологическая статистика. М.: Изд-во «Практика»; 1998. 459 c.

8. Головин С. Ю. Словарь практического психолога. Минск: Изд-во «Харвест»; 1998. 800 с.

9. Амирджанова В. Н., Горячев Д. В., Коршунов Н. И.,

Ребров А. П., Сороцкая В. Н. Популяционные показатели качества жизни по опроснику SF-36 (результаты многоцентрового исследования качества жизни «МИРАЖ»). Научно-практическая ревматология. 2008; (1): 36-48.

10. Jenkinson C, Coulter A, Wright L. Short form 36 (SF-36) health survey questionnaire: normative data for adults of working age. BMJ. 1993; 306 (6890): 1437-40.

11. Kitaoka HB, Alexander U, Adelaar RS, et al. Clinical rating systems for the ankle hindfoot, midfoot, hallux and lesser toes. Foot Ankle Int.1994. 15: 349-53.

12. SooHoo NF, Shuler M, Fleming LL; American Orthopaedic Foot and Ankle Society. Evaluation of the validity of the AOFAS Clinical Rating Systems by correlation to the SF-36. Foot Ankle Int. 2003 Jan; 24 (1): 50-5.

13. Ware JE, Sherbourne CD. The MOS 36-item short-form health survey (SF-36). I. Conceptual framework and item selection. Med Care. 1992 Jun; 30 (6): 473-83.

14. Schuh A, Hausel M. Difficlties in evaluating follow-up outcome in calcaneus fracture managed with plate osteosinthesis. Is there a reliable score? Unfallchirurg. 2000; 103 (4): 295-300. German.

15. Гуревич К. М., Борисова Е. М. Психологическая диагностика. М: Изд-во «УРАО»; 1997. 304 с.

16. Cronbach LJ. Coefficient alpha and the internal structure of tests. Psychometrika. 1951; 16: 297-334.

17. Kline P. A handbook of test construction (psychology revivals): introduction to psychometric design. Abingdon, UK: Routledge; 2015. 274 p.

18. Schmitt N. Uses and abuses of coefficient alpha. Psychological Assessment. 1996; 8 (4): 350-3.

References

1. Viskarra ME, Zimina EV, Gurina SA, Yarygin NV. Validizatsiya shkal i voprosnikov dlya otsenki funktsional'nogo sostoyaniya i kachestva zhizni patsientov s perelomovyvikhami golenostopnogo sustava. Rossiyskie meditsinskie vesti. 2011; 16 (2): 61-71. Russian.

2. Novik AA, lonova TI. Rukovodstvo po issledovaniyu kachestva zhizni v meditsine. Moscow: lzd-vo "OLMA Media Grupp"; 2007. 313 p. Russian.

3. Knop C, Oeser M, Bastian L. Development and validation of the visual analogue scale (VAS) spine score. Unfallchirurg. 2001; 104 (6): 488-97. German.

4. Evsina OV. The quality of life in medicine — an important andicator pf patient health status (review). Lichnost' v menjajushhemsja mire: zdorov'e, adaptacija, razvitie. 2013; (1): 119-33. Russian.

5. Viskarra ME, Yarygin NV, Zimina EV. Analiz faktorov, vliyayushchikh na kachestvo zhizni i funktsional'noe sostoyanie patsientov s perelomovyvikhami golenostopnogo sustava. Problemy standartizatsii v zdravookhranenii. 2011; (3-4): 9-15. Russian.

6. Viskarra ME. Izuchenie kachestva zhizni i funktsional'nogo sostoyaniya patsientov s perelomovyvikhami golenostopnogo sustava s pomoshch'yu shkal i oprosnikov [dissertation]. Moscow: M. I. Evdokimov Moscow State University of Medicine and Dentistry; 2011. Russian.

7. Glantz S. Mediko-biologicheskaya statistika. Moscow: lzd-vo "Praktika"; 1998. 459 c.

8. Golovin SYu. Slovar' prakticheskogo psihologa. Minsk: lzd-vo "Kharvest"; 1998. 800 p.

9. Amirdzhanova VN, Goryachev DV, Korshunov Nl, Rebrov AP,

Sorotskaya VN. SF-36 questionnaire population quality of life indices. Nauchno-prakticheskaya revmatologiya. 2008; (1): 36-48.

10. Jenkinson C, Coulter A, Wright L. Short form 36 (SF-36) health survey questionnaire: normative data for adults of working age. BMJ. 1993; 306 (6890): 1437-40.

11. Kitaoka HB, Alexander U, Adelaar RS, et al. Clinical rating systems for the ankle hindfoot, midfoot, hallux and lesser toes. Foot Ankle lnt.1994. 15: 349-53.

12. SooHoo NF, Shuler M, Fleming LL; American Orthopaedic Foot and Ankle Society. Evaluation of the validity of the AOFAS Clinical Rating Systems by correlation to the SF-36. Foot Ankle lnt. 2003 Jan; 24 (1): 50-5.

13. Ware JE, Sherbourne CD. The MOS 36-item short-form health survey (SF-36). l. Conceptual framework and item selection. Med Care. 1992 Jun; 30 (6): 473-83.

14. Schuh A, Hausel M. Difficlties in evaluating follow-up outcome in calcaneus fracture managed with plate osteosinthesis. ls there a reliable score? Unfallchirurg. 2000; 103 (4): 295-300. German.

15. Gurevich KM, Borisova EM. Psihologicheskaja diagnostika. Moscow: lzd-vo "URAO"; 1997. 304 p. Russian.

16. Cronbach LJ. Coefficient alpha and the internal structure of tests. Psychometrika. 1951; 16: 297-334.

17. Kline P. A handbook of test construction (psychology revivals): introduction to psychometric design. Abingdon, UK: Routledge; 2015. 274 p.

18. Schmitt N. Uses and abuses of coefficient alpha. Psychological Assessment. 1996; 8 (4): 350-3.