Качество информационных систем

2014. Vol.(86). № 11-1. Р. 1937-1943

13. Пригожин И., Стенгерс И. Порядок из хаоса: Новый диалог человека с природой / Пер. с англ. / Общ. ред. В.И. Аршинова, Ю.Л. Климонтовича и Ю.В. Сачкова. - М.: Прогресс, 1986. 432 с.

14. May R., Science, 1974, vol 186, p. 645-647; см. также Мау R. Simple Mathematical Models with very Complicated Dynamics. Nature, 1976. Vol. 261. Р. 459-467.

15. Арнольд В.И. «Жесткие» и «мягкие» математические модели. - М.: МНИМО. 2004. 32 с. ISBN 5-94057-134-4

16. Основные положения стратегии устойчивого развития России / Под ред. А.М. Шеле-хова. - М.: 2002. 161 с.

Analysis of sustainable development of territories

Tsvetkov V.Ya., Professor, Doctor of Technical Sciences Moscow Technological University

Oznamets Vladimir Vladimirovich, PhD, Professor, Head of the chair Moscow State University of Geodesy and Cartography

The article describes models ^ for analyzing the development of territories. The basis of the analysis is a resource approach. Sustainable development of the territories is associated with various types of resources that this territory has. The dynamics of resource consumption is an important factor of sus-tainability. The article offers a structural model for the development of the territory. Interdisciplinary transfer of knowledge is used to study the sustainability of the development of territories. The Lotka-Volterra model of the struggle for existence is used for analysis. Modification of this model, taking into account the perturbation of the environment and competition, was used in the analysis. Three scenarios for the development of the territory are described on the basis of the Lotka-Volterra model. As the second model, a logistic model of output, taking into account the consumption of resources, is taken. The article describes scenarios for changing the regional system based on this model.

Keywords: regional development, resource analysis, Lotka-Volterra model, territory, sustainability of development.

УДК 681.518. 655.3.062

КАЧЕСТВО ИНФОРМАЦИОННЫХ СИСТЕМ

Алексей Николаевич Щенников, директор Института информационных технологий и автоматизированного проектирования

E-mail: anschennikov@mirea.ru Московский технологический университет (МИРЭА) https://www.mirea.ru/

Цель работы - исследование качества информационных систем и выявить его особенности. Статья раскрывает понятие комплексного качества. Статья раскрывает комплексное качество в информационных системах. Статья описывает модели качества информационных систем и программного обеспечения. Дается эволюционный анализ развития моделей. информационных потребностей. Статья вводит новые понятия: прямое качество, косвенное качество, сравнительное качество. Показан механизм получения сравнительного качества. Обосновано применение теории предпочтений для оценки качества.

Ключевые слова: информационные системы, программное обеспечение, качество, прямое качество, косвенное качество, сравнительное качество, модели качества.

1. Введение

Качество информационных систем выступает в двух аспектах: как некая система и объект управления. Поэтому при анализе качества необходимо разграничивать менеджмент качества [1, 2] и систему менеджмента качества [3]. Управление качеством

направлено на: продукцию, обслуживание и на средства достижения качества. Управление качеством использует контроль качества, контроль процессов, а также средства повышения качества. Современное управление качеством представляет собой комплекс технологий и методов, тесно связанных с технологиями и системами управления и международными стандартами [4]. Современное управление качеством широко применяет информационные технологии и информационные модели. Международный стандарт управления качеством (ISO 9001: 2015) содержит ряд принципов [5] управления качеством: ориентация на клиента (QMP 1 - Customer focus), лидерство (QMP 2 - Leadership), привлечение людей (QMP 3 - Engagement of people), процессный подход (QMP 4 - Process approach), непрерывное улучшение качества (QMP 5 - Improvement), управление на основе фактических данных (QMP 6 - Evidence-based decision making), управление отношениями (QMP 7 - Relationship management). Особенностью качества информационных систем (ИС) [6] является то, что это комплексное понятие, которое зависит от ряда компонент качества. Первый, наиболее важный компонент ИС - это качество проектирования [7, 8]. Второй важный компонент качества ИС это качество информационных технологий, которые применяет данная ИС [9, 10]. Одна и та же ИС, но с разными информационными технологиями может обеспечивать разное качество. Качество ИС зависит от применяемого программного обеспечения и методов моделирования в ИС [11]. Еще одна особенность, связанная с качеством информационных систем, состоит в том, что качество их работы зависит от качества данных [12, 13] и качества используемых электронных ресурсов [14]. Поскольку качество ИС является комплексным понятием, то для его оценки можно использовать эффективность функционирования ИС как сравнение между целевыми и фактически показателями [15]. Эти компоненты качества определяют «прямое качество» информационных систем. Существует понятие «косвенное качество». Косвенным качеством называют качество, обусловленное применением данного объекта. Одной из задач ИС является получение новых знаний [16, 17]. Косвенное качество ИС определяется качеством знаний, которые получают с ее помощью.

Комплексная оценка качества в информационных системах. Компонентный подход, позволяющий использовать разное программное обеспечение в ИС, позволяет снизить стоимость и время разработки продукции с помощью ИС. В то же время возрастает риск, связанный с использованием в системе программных компонент, разработанных различными производителями, которые могут не стыковаться друг с другом.

Работы, посвященные архитектурно-центрическому подходу проектирования систем [7, 8], указывают, что характеристики качества выполняют ключевую роль в построении архитектуры, которая, в свою очередь, управляет процессом функционирования ИС. В частности в [18] отмечается: «Функциональность должна быть отражена в архитектуре обязательно, но варианты её реализации должны быть сбалансированы с достижением требуемых характеристик качества, а проблемы такого баланса лежат в области качества. Качественные требования обычно важнее функциональных, поскольку больше влияют на архитектуру программных систем. Успех или неудача жизненно важной системы определяется тщательностью проработки требований к ее качеству».

В настоящий момент используются несколько определений понятия качества, которые в целом совместимы друг с другом. В работе [19] Phil Crosby дал определение понятию качества как «соответствие пользовательским требованиям». В [20] качество опреде-

ляется как «достижение отличного уровня пригодности к использованию». Компания IBM ввела в оборот термин «качество, управляемое рыночными потребностями» («market-driven quality»). Национальный Институт стандартов и технологий США (National Institute of Standards and Technology, NIST) использует похожий термин - «качество, задаваемое потребителем» («customer-driven quality») [21], рассматривая удовлетворение потребителя в качестве главного соображения в отношении качества. В стандарте ISO 9001 качество определяется как «Степень соответствия совокупности присущих характеристик требованиям». Обобщая эти определения, можно обобщить, что качество информационной системы - это ее способность системы удовлетворению установленных или предполагаемых потребностей при использовании в заданных условиях.

Модели качества. Определение качества и требования к качеству - разные категории. Понятие «качество» в смысле сформулированного выше определения может быть описано большим количеством разнородных характеристик. Это особенно ярко подтверждается наличием компонент качества в информационных системах Требования к качеству могут быть выражены структурированной системой характеристик или атрибутов. Такая система характеристик называется моделью качества. При этом следует отметить, коль скоро речь идет о системе, то необходимо применять системный подход для анализа качества и требований к нему [22, 23].

Существуют некоторые работы, относящиеся к оценке эффективности ИС и ГИС [24]. Однако в них говорится о сравнительных критериях оценки качества ИС. Но на самом деле термин «качество» используется не в его вышеприведенном значении.

Наиболее распространенными моделями качества для программных систем и систем, интенсивно использующих программное обеспечение, в настоящее время являются модели МакКола [25], Боэма, FURPS, Гилба, IEEE 1061 [26], ГОСТ 28195-89, ISO/IEC 9126, модель Дроми и модель GQM. Рассмотрим краткое описание некоторых моделей качества.

Модель МакКола. МакКолом была предложена в 1977 [26] модель, которая стала первой известной моделью качества программных систем. В модели характеристики качества разделены на три группы:

- Факторы (factors), которые описывают программную систему с позиций пользователя и которые задаются требованиями;

- Критерии (criteria), которые описывают программную систему с позиций разработчика и которые задаются как цели;

- Метрики (metrics), которые используются для количественного описания качества, то есть его измерения.

Одиннадцать факторы качества в этой модели группируются в три группы, используя в качестве критерия группировки способы работы пользователей с программной системой. Критерии качества - это числовые уровни факторов, поставленные в качестве целей при разработке. Объективно оценить или измерить факторы качества непосредственно довольно трудно. Поэтому, МакКол ввел метрики качества, которые с его точки зрения легче измерять и оценивать. Оценки метрик в его шкале принимают значения от 0 до 10. Вот эти метрики качества:

- Удобство проверки на соответствие стандартам (auditability) ;

- Точность управления и вычислений (accuracy);

- Степень стандартности интерфейсов (communication commonality);

- Функциональная полнота (completeness);

- Однородность используемых правил проектирования и документации (consistency);

- Степень стандартности форматов данных (data commonality);

- Устойчивость к ошибкам (error tolerance);

- Эффективность работы (execution efficiency);

- Расширяемость (expandability);

- Широта области потенциального использования (generality);

- Независимость от аппаратной платформы (hardware independence);

- Полнота протоколирования ошибок и других событий (instrumentation);

- Модульность (modularity);

- Удобство работы (operability);

- Защищенность (security);

- Самодокументированность (selfdocumentation);

- Простота работы (simplicity);

- Независимость от программной платформы (software system independence);

- Возможность соотнесения проекта с требованиями (traceability);

- Удобство обучения (training).

Каждая метрика влияет на оценку нескольких факторов качества. Числовое выражение фактора представляет собой линейную комбинацию значений, влияющих на него метрик. Коэффициенты этого выражения определяются по-разному для разных организаций, команд разработки, видов программных систем, а также используемых процессов. Однако главное. Такое подход является качественным и требует применения аппарата сравнения, например, на основе теории предпочтений [27, 28]

Модель Боема. В 1978 Боем [29] предложил свою модель, по существу представляющую собой расширение модели МакКола. В ней атрибуты качества подразделяются по способу использования программной системы (primary use). Определено 19 промежуточных атрибутов (intermidiate construct), в которые входят все 11 факторов качества, входящие в модель МакКола. Эти промежуточные атрибуты представляют собой группы примитивных атрибутов (primitive construct). Примитивные атрибуты оцениваются с помощью определенных для них метрик. По сравнению с моделью МакКола в модели Боема дополнительно измеряются:

- способность к восстановлению функций (resilience),

- адекватность (validity),

- ясность (clarity),

- функциональность (functionality),

- удобство внесения изменений (modifiability),

- понятность (understandability),

- универсальность (generality),

- документированное^ (documentation),

- экономическая эффективность (economy).

Модель качества FURPS. Модель качества FURPS [30] представляет собой интерпретацию, основанную на моделях МакКола и Боема. Эта модель по структуре похожа на модели МакКола и Боема, за небольшим отличием - в ней не уделяется достаточное внимание переносимости ПО. Модель содержит пять высокоуровневых атрибутов (функциональность, используемость, надежность, производительность и сопровож-даемость), которые детализируются 27 атрибутами низкого уровня. Модель применялась в компании компания «Хьюлетт Паккард».

Модель Т. Гилба. Модель Т. Гилба [31] соответствует общей концепции предыдущих моделей, но имеет несколько отличий. Модель качества встраивается в проектную спецификацию, а каждый атрибут должен быть измеримым и детализироваться в процессе жизненного цикла программной системы. Помимо атрибутов качества, в модель входят атрибуты ресурсов. Модель основана на четырех качественных (применимость, полезность, приспособляемость, удобство использования) и четырех ресурсных (время, бюджет, исполнители, средства разработки) атрибутах, которые можно расширять. Гилб разработал семь принципов использования модели, главным из которых является принцип измеримости: все атрибуты могут и должны быть на практике измеримыми. В рамках современной информационной теории это понятие означает информационную определенность [32, 33]. По мнению Гилба, всегда можно найти подходящее измерение для атрибута, если измерить его нельзя, то это не атрибут, а параметр, нуждающийся в

дальнейшей декомпозиции.

Модель качества по ГОСТ 28195-89. ГОСТ 28195-89 [34] включает в себя общие положения по оценке качества программных средств, описывает процессы планирования уровня качества, а также процессы контроля значений показателей качества в процессе разработки и испытаний. Показатели качества разбиты на 6 групп и 19 комплексных показателей. Группы определяют пользовательские свойства программных средств, комплексные показатели - программные свойства, от значений которых зависит значение пользовательских свойств. В зависимости от типа программного средства (по ОКП - общероссийскому классификатору продукции) выбирается номенклатура показателей качества, которая должна быть зафиксирована в техническом задании на разработку программного средства.

Модель качества ISO 9126. Модель изложена в стандартах ISO 9126 (например, [35]) Эта модель не является прямым расширением ранее предложенных моделей. В этой модели оценка качества программных систем основана на трехуровневом рассмотрении. Уровень цели (goals) - то, что пользователь желает видеть в программном обеспечении. Уровень атрибутов (attributes) - свойства ПО, отражающие приближение к целям. Уровень метрик (metrics) - количественные характеристики степени наличия атрибутов. В модели выделено 6 целей: функциональность (functionality), надежность (reliability), практичность или удобство использования (usability), эффективность (efficiency), сопро-вождаемость (maintainability), переносимость или мобильность (portability). Цели подразделяются на 21 атрибут качества.

В 2001 году этот стандарт был пересмотрен и расширен. В него было введено 6 дополнительных атрибутов качества. Ниже приведен полный список атрибутов качества программных систем по стандарту ISO 9126.

- функциональность (functionality),

- пригодность (suitability),

- соответствие требованиям надежности (reliability compliance),

- устойчивость к отказам (fault tolerance),

- способность к взаимодействию

- надежность (reliability),

- зрелость (maturity),

- соответствие требованиям (compliance),

- точность (accuracy),

- понятность (understandability),

- привлекательность с точки зрения пользователей (attractiveness),

- соответствие требованиям удобства пользования (usability compliance),

- эффективность (efficiency),

- соответствие требованиям эффективности (efficiency compliance),

- использование ресурсов (resource utilisation),

- риск возникновения неожиданных эффектов при внесении изменений (stability),

- анализируемость (analyzability),

- удобство внесения изменений (changeability),

- удобство проверки (testability),

- защищенность (security),

- способность к восстановлению работоспособности после отказов (recoverability),

- удобство обучения (learnability),

- работоспособность (operability),

- соответствие требованиям переносимости (portability compliance).

- сопровождаемость (maintainability),

- соответствие требованиям сопровождаемости (maintainability compliance),

- удобство замены данным программным обеспечением другого (replaceability),

- временные характеристики (time behaviour),

- способность к совместной работе с другим программным обеспечением (coexistence),

- переносимость (portability),

- адаптируемость (adaptability),

- удобство установки (installability).

Принятые в 2001 году части 2 и 3 стандарта ISO 9126 определяют набор метрик качества. В качестве примера таких метрик отметим следующие:

- Полнота реализации функций. Используется для измерения пригодности;

- Корректность реализации функций. Используется для измерения пригодности;

- Отношение числа обнаруженных дефектов к прогнозируемому. Используется для определения зрелости;

- Отношение числа проведенных тестов к общему их числу. Используется для определения зрелости;

- Отношение числа доступных проектных документов к указанному в их списке. Используется для измерения анализируемости.

Модель качества IEEE 1061. Модель была создана в 1998 г. Институтом инженеров по электротехнике и электронике (Institute of Electrical and Electronics Engineers, IEEE) [26, 35]. Модель имеет открытую иерархическую структуру, имеющую в качестве верхнего уровня факторы качества, которые разделяются на подфакторы качества и метрики. Каждый уровень включает подуровни. В отличие от модели стандарта ISO/IEC 9126, который жестко фиксирует набор характеристик и подхарактеристик, данный стандарт не ограничивает множества факторов и подфакторов и допускает добавлять новые и удалять существующие факторы и подфакторы. Интересной особенностью является возможность непосредственного оценивания с помощью метрик самых верхних уровней иерархии факторов и подфакторов.

Модель Дроми. Модель была предложенная в работе [36]. В этой модели впервые указывается на необходимость рассмотрения характеристик процесса разработки программной системы для оценки качества полученного продукта. По существу, эта модель включает онтологические аспекты программирования и проектирования [37] Согласно этой модели, высокоуровневые показатели качества, такие как надежность, переносимость, не могут быть непосредственно обеспечены программной системой.

Вместо этого необходимо определить набор свойств программной системы, достижение которых приводит к выполнению определенного уровня значений такого рода показателей. Модель Дроми иерархична по своей природе, но заметно отличается от других иерархических моделей качества. В этом подходе модель качества строится снизу вверх. Во-первых, определяется множество компонентов, которые составляют программную систему. Некоторые из них могут быть монолитными, некоторые - состоять из других компонент.

Во-вторых, определяются те свойства каждого компонента, которые влияют на качество этого компонента. Наконец, в силу того, что обычно качество программной системы описывается в терминах высокоуровневых характеристик, вводится множество непересекающихся, обладающих полнотой и согласованностью высокоуровневых атрибутов.

Модель качества дополняется связью между свойствами программной системы и высокоуровневыми атрибутами качества. Каждая такая связь должна быть проверена опытным путем для каждого свойства ПС. Связь между свойствами всей программной системы и атрибутами компонентов программной системы определяет качество программной системы в целом. Поскольку эта модель ориентирована на поддержку разработки программных систем, она представляет собой набор из трех модели качества: модель качества требований, модель качества проекта и модель качества реализации. Каждая модель отнесена к соответствующему этапу жизненного цикла и содержит собственный набор атрибутов.

Модель GQM . Модель GQM (goal - question - metric) была описана в работе [38]. Она была разработана с целью идентификации дефектов в программных системах в

Годдардовском центре космических полетов NASA. В отличие от описанных ранее моделей, эта модель предполагает использование для более узких и однородных классов систем. Модель этого типа вполне можно разрабатывать даже для одного проекта. Задача этой модели качества - служить основой для выработки решений об управлении процессами разработки системы на основе измерений. Модель имеет иерархическую трехуровневую структуру:

- концептуальный уровень - цели,

- операционный уровень - вопросы, которые используются для описания способа достижения целей, а также характеризуют объекты измерений в соответствии с выбранным фактором качества и описывают их качество с некоторой точки зрения,

- количественный уровень - метрики, которые представляют собой процедуры, формулы или алгоритмы, которые могут быть использованы для ответа на вопросы количественным образом.

Энтропийный подход. Еще одним методом оценки качества является эмпирический подход, основанный на воспринимаемости результатов работы информационной системы. Он учитывает то обстоятельство, что в работе существуют помехи и шумы, которые снижают качество результата. Этот энтропийный подход включает понятие энтропии результата работы системы. Он служит оценкой качества работы системы и его программного обеспечения [39].

Сравнительное качество. Как показывает анализ всех рассмотренных моделей, невозможно дать точные количественные характеристики качества в моделях. Но главное при каждой оценке возникают комбинации качественных характеристики, которые исключают четкое количественное сравнение. Поэтому данная ситуация приводит к необходимости проведения сравнительного анализа [24, 27, 28], используя качественный и количественный подход. Наиболее применяемым для сравнительной оценки является метод попарных сравнений. Следует отметить, что в литературе термин «метод попарных сравнений» используется в двух смыслах: в узком и широком. В узком смысле метод попарных сравнений это метод получения количественных данных путем качественного сравнения [28, 40]. Иногда его упрощают, сводя к оппозиционным переменным [41]. Но иногда этот термин употребляется в широком смысле - для обозначения множества методов, которые включают в себя не только метод сбора данных, но и способы построения оценочной шкалы, причем для построения оценочной шкалы чаще всего используется вариант, предложенный Терстоуном. Этот вариант, представлял собой сравнительно узкий подход к построению оценочной шкалы. В настоящее время идеи Терстоуна были в значительной мере расширенны и привели к созданию целого направления прикладной статистики. В настоящей работе термин «метод попарных сравнений» используется в узком смысле, а метод построения оценочной шкалы - это BTL-модели парных сравнений (Bradley-Terry-Luce models) (на основании работ [42]).

Суть метода попарных сравнений состоит в сравнении пар экземпляров. Например, необходимо построить ранговую шкалу объектов с точки зрения некоторой группы экспертов. Обозначим эти объекты через ai, a.2, ... an, где n - количество этих объектов. Каждому эксперту предлагают пары, составленные из объектов. Эксперт указывает в каждой предложенной паре более предпочтительный [30] (с его точки зрения) объект. Результаты сравнения записывают в виде матрицы парных сравнений. В обычных случаях оценки сравнения 0 и 1. Число строк и столбцов такой матрицы равно числу n рассматриваемых объектов, а ее элементы получаются применением следующего правила: на пересечении j-й строки и i-го столбца такой матрицы записываем 1, если j-и объект, опрашиваемый считает важнее, чем i-й, и записываем 0, если i-й объект, опрашиваемый считает важнее, чем j-й. Выходом метода является совокупность матриц, по каждой из характеристики качества сравниваемого объекта.

Результат метода попарных сравнений является входом для метода построения ранговой шкалы, основанной на BTL-модели парных сравнений. Результатом последней, в свою очередь, является совокупность ранговых чисел Vi,V2, ..., Vn, приписанных

шкалируемым n объектам. Эти числа называются шкальными оценками и рассматриваются как выражение мнения экспертов об интегральной важности этих объектов. На основании этих полученных шкальных оценок производится ранжирование объектов по полезности. Суть метода построения оценочной шкалы состоит в следующем.

Пусть ai, a2, ... an шкалируемые объекты, Vi,V2, ..., Vn - их шкальные оценки, а рр - это доля респондентов в опросе, считающих, что j-и объект важнее, чем i-й. Первая эмпирическая модель строится на основе статистики

Рл = Pj /

Вторая теоретическая модель строится на предположении существования связи между статистикой и реальным ранжированием. Она отражает связь между j Vi и Vj на основе [42] выражения (2).

Pi = Vj /

Смысл этого уравнения состоит в том, что доля экспертов, предпочитающих объект aj объекту ai, пропорциональна отношению шкальной оценки объекта ар к сумме шкальных оценок объектов ар и ai.

Количество таких соотношений совпадает с количеством всевозможных пар, которые можно составить для всех объектов. Эти соотношения можно далее рассматривать как систему уравнений, в которой рр i являются известными величинами, а неизвестными - Vj и Vi. Чтобы система имела решение, метод [42] вводит дополнительное предположения о характере исходных данных, которое определяет применимость этого метода. Это предположение имеет следующий вид:

По сути, оно представляет собой некоторый вариант предположения об осознании респондентами транзитивности отношения важности на нашем множестве объектов.

Заключение

Современное качество продукции включает [43] четыре компонента: соответствие техническим условиям; конкурентоспособность продукции; системное качество конструкции; соответствие требованиям потребителя.

В переводе на информационный язык это означает требование информационного соответствия. Такой подход определяет качество продукции как комплексное понятие, характеризующее эффективность всех сторон деятельности. Сводить понятие качества к одной из перечисленных его составляющих недопустимо. Качество информационных систем является еще более сложным и сводить его к качеству продукции недопустимо. Одной из важнейших составляющих качества ИС является информационное обеспечение. Кроме того, особенность качества информационных систем, состоит в большом количестве экспертного оценивания характеристик качества. Сами характеристики качества достаточно произвольны и все это требует согласования оценок. По нашему мнению, объективная оценка качества информационных систем возможная только на основе сравнительного анализа. Это требует введения понятия «сравнительное качество» ИС. Кроме того, при оценке качества ИС необходимо использовать понятия «прямое качество» информационных систем и «косвенное качество» информационных систем.

Литература

1. Nederpelt, Peter van (2012). Object-oriented Quality and Risk Management (OQRM). A practical and generic method to manage quality and risk. MicroData. ISBN 978-1-291-037-35-7.

2. Цветков В.Я. Эволюция управления качеством // Образовательные ресурсы и технологии. 2017. № 1 (18). С. 64-71.

3. Hoyle David (2005). ISO 9000 Quality Systems Handbook, Fifth Edition. ButterworthHeinemann. p.686. ISBN 978-0-7506-6785-2.

4. Цветков В.Я. Особенности развития информационных стандартов в области новых

информационных технологий // Информационные технологии. 1998. № 8. С. 2-7.

5. Quality management principles. http://www.iso.org/ iso/pub100080.pdf Data view 12.12.

2016.

6. Цветков В.Я. Качество, стандартизация и сертификация информационных систем: Монография. - М.: МАКС Пресс, 2017. 60 с. ISBN 978-5-317-05472-4

7. Мордвинов В.А. Онтология моделирования и проектирования семантических информационных систем и порталов: справочное пособие. - М.: МГДДЮН, 2005. 240 с.

8. Ильин И.В., МордвиновВ.А., Петров К.А., Трифонов Н.И., Финагин Л.А. Онтология моделирования и проектирования семантических информационных систем и порталов. - М.: МГТУ МИРЭА, 2008. 283 с.

9. Дешко И.П., Ковалев С.Н., Кряженков К.Г., Мордвинов В.А., Трифонов Н.И., Тулинов С.В., Цыпкин В.Н. Информационные и коммуникационные технологии: Учебное пособие - М.: МИРЭА, 2005. 147 с.

10. Мордвинов В.А., Цветков В.Я. Методологические основы информационных технологий. - М.: МГТУ МИРЭА, 2012. 136 с.

11. Иванников А.Д., Кулагин В.П., Миронов А.А., Мордвинов В.А., Сигов А.С., Тихонов А. Н., Цветков В. Я. Синергетическая теория информационных процессов и систем: Раздел IV. Математическое моделирование в теории информационных процессов и систем. Учебное пособие / под редакцией А.Б.Фоминой. - М.: МГДД(Ю)Т, МИРЭА, Информика, 2009. 86 с.

12. Цветков В.Я. Качество экономической информации // Успехи современного естествознания. 2008. № 7. с. 84-85.

13. Дышленко С.Г. Анализ и разработка характеристик качества геоданных // Перспективы науки и образования. 2016. № 2. с. 23-27.

14. Мордвинов В.А., Цветков В.Я. Электронные информационные образовательные ресурсы // Славянский форум. 2016. № 2 (12). С. 156-163.

15. Tsvetkov V.Ya. Conceptual Model of the Innovative Projects Efficiency Estimation // European Journal of Economic Studies. 2012. Vol. (1). №1. Р. 45-50.

17. Иванников А.Д., Тихонов А.Н., Мордвинов В.А. Получение знаний методами информатики и геоинформатики // Вестник Московского государственного областного университета. 2012. № 3. С. 140-142.

18. Иванников А.Д., Кулагин В.П., Мордвинов В.А, Найханова Л.В., Овезов Б.Б., Тихонов А. Н. Цветков В.Я. Получение знаний для формирования информационных образовательных ресурсов. - М.: Информика, 2008. 440 с.

18. Соснин П.И. Архитектурное моделирование автоматизированных систем: учебное пособие. - Ульяновск: УлГТУ, 2008. 147 с.

19. Crosby, Ph. Quality Is Free. - New York: McGraw-Hill, 1979. 309 p.

20 Humphrey W.S. A Discipline for Software Engineering. - Reading MA: Addison Wesley, 1995.816 p.

21. http://www.quality.nist.gov Дата обращения: 22.12.2017

22. Оболяева Н.М. Системный подход к анализу качества образования // Управление образованием: теория и практика. 2012. № 3. С. 101-105.

23. Цветков В.Я. Решение проблем с использованием системного анализа // Перспективы науки и образования. 2015. № 1. с. 50-55.

24. Цветков В.Я., Азаренкова Н.В. Оценка геоинформационных систем на основе теории предпочтений // Науки о Земле. 2014. № 1-2, с. 92-98.

25. McCall J, Richards P, Walters G. Factors in software quality. V. I, II, III // Report NTIS AD-A049-014, 015, 055. - Rome (New York): US Rome Air Development Center, 1977.

26. IEEE standard for a software quality metrics methodology: IEEE/ANSI Std 1061-1992. 88 p.

27. Tsvetkov V.Ya. Not Transitive Method Preferences // Journal of International Network Center for Fundamental and Applied Research. 2015. Vol. 3. Is. 1. Р. 34-42. DOI: 10.13187/jincfar.2015.3.34

28. Цветков В.Я. Основы теории предпочтений. - М.: Макс Пресс, 2004. 48 с.

29. БоэмБ. и др. Характеристики качества программного обеспечения. - М.: Мир, 1981. 208 с.

30. Grady R., CaswellD. Software Metrics: Establishing a Company. - NJ:Prentice Hall, 1987. 280 p.

31. Gilb T. Principles of Software Engineering Management. - Reading MA: Addison Wesley, 1988.464 p.

32. Цветков В.Я. Информационная неопределенность и определенность в науках об ин-

формации // Информационные технологии. 2015. № 1. С. 3-7.

33. Цветков В.Я. Информационно измерительные системы и технологии в геоинформатике. - М.: МАКС Пресс, 2016. 94 с.

34. ГОСТ 28195-89. Оценка качества программных средств. Общие положения. - Введ. 01.07.1990. - М.: Издательство стандартов, 1989. 39 с.

35. ISO/IEC 9126-1. 2001. Software engineering. Software product quality. Part 1: Quality model. - Geneva, Switzerland: International Organization for Standardization.

36. Dromey R.G. Cornering the Chimera // IEEE Software. 1996. Vol. 13. N. 1. Р. 33-43.

37. Мордвинов В.А. Онтология информационных систем. Аспирантские чтения. - М.: МИРЭА, 2004/2005. 174 с.

38. Basili V., Caldiera G., Rombach H.D. The Goal Question Metric Approach. - URL: http://www.cs.umd.edu/~mvz/handouts/gqm.pdf (дата обращения: 22.12.2011).

39. Болбаков Р.Г., Цветков В.Я. Оценка качества образовательных порталов // Открытое образование. 2017. № 3. С. 22-28. D0I:10.21686/1818-4243-2017-3-22-28

40. Dittrich R., Francis B., Hatzinger R., Katzenbeisser W. Modelling dependency in multivariate paired comparisons: A log-linear approach // Mathematical Social Sciences. 2006. N. 52. Р. 197-209.

41. Цветков В.Я. Использование оппозиционных переменных для анализа качества образовательных услуг // Современные наукоёмкие технологии. 2008. № 1. С. 62-64.

42. Bradley, Ralph Allan; Terry, Milton E. (1952). "Rank Analysis of Incomplete Block Designs: I. The Method of Paired Comparisons". Biometrika. 39 (3/4): 324

43. Croft N.H. ISO 9001: 2015 and beyond-Preparing for the next 25 years of quality management standards // International Organization for Standardization, http://bitly. com/next25years. 2012.

Quality of information systems

Shchennikov Alexey Nikolaevich, Director of the Institute of Information Technologies and Computer-Aided Design.

Moscow Technological University

The aim of the work is to study the quality of information systems and to reveal its features. The article reveals the concept of integrated quality. The article discloses a complex quality in information systems. The article describes the models of the quality of information systems and software. Evolutionary analysis of the development of models is described. information needs. The article introduces new conceptsó direct quality, indirect quality, comparative quality. The mechanism of obtaining a comparative quality is shown. Paper justifies the application of the theory ofpreferences ^ for assessing quality. Keywords: information systems, software, quality, direct quality, indirect quality, comparative quality, quality models.

УДК 303.732

МЕТОД ИНФОРМАЦИОННОЙ ИНТЕРПРЕТАЦИИ

Евгений Евгеньевич Чехарин, зам. начальника центра информатизации МИРЭА, ст. преподаватель каф. инструментального и прикладного программного обеспечения

Института информационных технологий Московский технологический университет (МИРЭА) https://www.mirea.ru/

Статья предлагает метод информационной интерпретации научного контента. Предложена общая модель информационной интерпретации. В качестве основы анализа контента предложены информационные единицы трех уровней. Научный контент рассматривается как разновидность знаковой системы. Статья раскрывает содержание основных видов анализа при информационной интерпретации. Эти виды анализа следующие: грамматический, морфологический, дескриптивный, лексический, синтаксический, семантический. Статья раскрывает различные информационные отношения, которые существуют при анализе контента. Статья доказывает, что информационная интерпретация представляет собой построение различных графов.