К вопросу о философских предпосылках, состоянии и перспективах исследований по проблеме искусственного интеллекта

UDC 130.122:8

WORD AS A SELF-DISCLOSURE AND REFERENCE EXPERIENCE IN OBJECT COMPREHENSION

M.A. Kornienko

Tomsk Polytechnic University E-mail: mkornienko1@yandex.ru

The author analyses the process of self-disclosure of experience in object comprehension through a word. The paper considers the connection of a word as sign-logos with object comprehension experience. The determination of experience is given in comprehension of various objects. The sense of comprehension is determined. The result of the study is the analysis of word relation with the experience in comprehension as well as the impact of primary sense experience on a word form. The author has analyzed the experience value in relation of subject ego and genesis. The paper considers the interaction of ontological context and egological horizon and the phenomenon of extralinguistic component in subject comprehension experience. The role of understanding in regard to subject ego and comprehended object was determined. The author analyzed the influence of a word on ontological context. A word is determined as a coordinate system of the object comprehended with referent relations relative to subject ego. A word is represented as a difference which has been presented to nothing through thinking.

Key words:

Word, logos, sign, experience of comprehension, object, sense.

REFERENCES

1. Novaya filosofskaya entsiklopediya [New Encyclopedia of Philosophy]. Moscow, Mysl, 2010. Vol. III, 692 p.

2. Novaya filosofskaya entsiklopediya [New encyclopedia of philosophy]. Moscow, Mysl, 2010. Vol. II, 634 p.

3. Spirova E.M. Simvol kak ponyatie filosofskoy antropologii [Symbol as a Concept of Philosophical Anthropology]. Voprosy filosofii, 2012, no. 3, pp. 91-100.

УДК 681.3.07

К ВОПРОСУ О ФИЛОСОФСКИХ ПРЕДПОСЫЛКАХ, СОСТОЯНИИ И ПЕРСПЕКТИВАХ ИССЛЕДОВАНИЙ ПО ПРОБЛЕМЕ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА

Ан.А. Корниенко, А.А. Корниенко, A^. Корниенко

Томский политехнический университет E-mail: anna_kornienko@mail.ru

Прослеживается история идеи искусственного интеллекта и существующие способы ее реализации. В качестве перспективного направления развития искусственного интеллекта отмечаются исследования на основе автоэпистемической логики. Искусственный интеллект рассматривается как система, имитирующая решение человеком сложных задач в процессе его жизнедеятельности. Представлена интеллектуальная традиция исследования искусственного интеллекта, берущая начало в «Физике» Аристотеля, «Диалогах» Платона; раскрыты предпосылки и основания теории искусственного интеллекта. В числе главных вопросов анализа сферы искусственного интеллекта и сферы его приложений рассмотрены структура символов и операций, посредством которых осуществляется интеллектуальное решение задачи, поиск стратегических ориентиров для тех решений, которые обусловлены определенными структурами символов и операций. Экспертные системы интерпретированы как разновидность интеллектуальных систем; обозначены различные способы представления знаний (логическая модель, фреймовые и продукционные системы, семантические сети), реализуемые в границах когнитивного направления исследования искусственного интеллекта. Утверждается, что представление знаний является методологией моделирования и формализации концептуальных знаний в сфере инженерии знаний.

Ключевые слова:

Искусственный интеллект, знание, метазнание, представление знаний, обработка знаний.

В 1969 г. в Вашингтоне была проведена первая международная объединенная конференция по проблемам компьютерных наук («computer science»), после которой обрел права и статус гражданства термин, в русскоязычной версии обозначенный как «искусственный интеллект». Спустя 10 лет в «Словаре по кибернетике» отмечалось,

что искусственный интеллект - это «искусственная система, имитирующая решение человеком сложных задач в процессе его жизнедеятельности», т. е. подчеркивался «вторичный» смысл принципов функционирования устройств, в которых реализованы принципы работы «разумных машин».

Богатейшая интеллектуальная традиция исследования искусственного интеллекта берет начало в «Физике» Аристотеля, увидевшего различие материи и формы. По сути своей это различие является философским базисом идей символьного исчисления или абстракции данных. Близка к идеям искусственного интеллекта «Логика» Аристотеля, в которой интерпретирован тезис о том, что изучение мысли есть основа знания.

В сравнении с Платоном, Аристотель говорит о существовании нескольких видов душ, описывая некоторые в традиции функционализма. Аристотель первым обратился к законам «правильного» мышления, т. е. к процессам формирования неопровержимых доказательств, разработав неформализованную систему силлогизмов и используя силлогизмы в оформлении процедуры доказательства.

В проблемном поле философского знания были сформулированы идеи о том, что мозг напоминает машину, мозг использует закодированные знания; сама же мысль используется при выборе эффективных действий. Огромную роль в развитии сферы искусственного интеллекта сыграла математика. Математики создали средства, позволяющие манипулировать логически достоверными высказываниями (кроме того, и недостоверными вероятностными высказываниями). Математиками была заложена основа и теории алгоритмов.

Природа разума своеобразно интерпретирована и в «Диалогах» Платона. Так, в «Федоне» Платон отвергает идею разума-настройщика частей тела (подобный тезис в современной философии разума встречаем в функционализме). Разум воплощается в бессмертной душе, - она нематериальна, отделена от тела; ее основа - иная субстанция.

Что касается практических выходов, упомянем Раймонда Луллия, в XIII в. выдвинувшего идею о том, что полезные рассуждения проводимы посредством механических артефактов. Затем Леонардо да Винчи в 1500 г. проектирует механический калькулятор, а спустя столетие с небольшим мир узнал о первой вычислительной машине Вильгельма Шиккарда, арифметической машине Блеза Паскаля и механическом устройстве Готфрида Вильгельма Лейбница, позволившем оперировать не числами, но понятиями. Разум начал интерпретироваться как физическая система.

Предпосылкой исследований по формальной аксиоматизации логических рассуждений (Г. Фреге, Б. Рассел, К. Гёдель, А. Тьюринг, А. Тарский) являются также идеи «мастера тех, кто знает» -Аристотеля. С именем Н. Коперника связана модель, интерпретирующая движение небесных тел, - завершилось «господство очевидности», сам же взгляд на мир предстал как функционально разнящийся с видимым. «Этот разрыв между человеческим разумом и окружающей его реальностью, -полагает Дж.Ф. Люгер, - принципиален для современной теории интеллекта и его организации» [1. С. 31]. Эту брешь научных наблюдений и «очевидных» знаний о мире сделал более очевидной Га-

лилей, превративший математику в инструмент познания мира.

Современные концепции мышления и разума во многом опираются на «Рассуждение о методе» Рене Декарта, где предпринята попытка отыскать основу реальности, используя методы когнитивной интроспекции. Именно идея дуализма разума и физического мира лежит в основе наследия Р. Декарта, в том числе и включая открытие аналитической геометрии [2].

В завершение рассуждения о предпосылках и основаниях теории искусственного интеллекта отметим то обстоятельство, что исследования Р. Декарта явились связующим звеном в формирующейся в течение многих веков интеллектуальной традиции исследования искусственного интеллекта, т. к. именно в работах Р. Декарта сформирован тезис: взаимодействие res cogitans и res extensa -разума и физического мира - является необходимым условием бытия; следовательно, нужно отыскать способ их воссоединения.

С появлением теории искусственного интеллекта была осознана важность специфичного для конкретной предметной сферы («domain specific») знания, так называемого экспертного знания. Дж.Ф. Люгер в монографии «Искусственный интеллект. Стратегии и методы решения сложных проблем» интерпретирует экспертное знание как сочетание теоретического понимания проблемы и набора эвристических правил для ее решения - правил, эффективность которых очевидна в конкретной предметной области [1. С. 45]. При этом знание, которым располагает эксперт, кодифицируется и приобретает форму, применяемую компьютером в решении подобных проблем. Методики многих современных экспертных систем, применяемых сегодня в сфере дизайна, научных исследований, образования, бизнеса, медицины были разработаны в рамках проектов DENDRAL, MYCIN, PROSPECTOR, INTERNIST, XCON и доказали свою жизнеспособность, обозначив создание экспертных систем в качестве доминирующей сферы практического применения искусственного интеллекта. Вместе с тем аналитики обращают внимание на недопустимость чрезмерного оптимизма в оценке потенциала технологий экспертных систем, что связано с ограниченностью знаний, которыми располагает экспертная система, с трудностями в передаче «глубинных» знаний той или иной предметной области, с недостатком гибкости, наконец, с неспособностью представлять осмысленные объяснения, с трудностями тестирования экспертных систем, с ограничениями обучения на опыте [3].

Дж.Ф. Люгер в монографии «Искусственный интеллект. Стратегии и методы решения сложных проблем» говорит о такой особенности интеллектуальной системы, как не просто знание предмета, но и знание о том, что она знает предмет. При этом знание описывается в конкретных и обобщенных терминах; интеллектуальная система, описывая знания, учится, взаимодействуя с миром. Анали-

тики эту «осведомленность о своих знаниях» причисляют к метазнанию, справедливо относя метазнание к более высокому уровню знания (впервые проблема специфики и формализации метазнаний была исследована Б. Расселом в теории логических типов).

Начиная с 1980 г. сфера искусственного интеллекта превращена в индустрию; в компании DEC (Digital Equipment Corporation) была применена коммерческая экспертная система R1. Уже в 80-е гг. крупные корпорации США имели в своем составе группы, ориентированные на применение и исследование искусственного интеллекта. В 1981 г. Япония обратилась к проекту создания компьютера пятого поколения. Проект был рассчитан на 10-летие - речь идет о разработках с использованием языка Prolog. В это же время в США возникает научно-исследовательский консорциум, ориентированный на идею обеспечения конкурентоспособности промышленности США. Идеи искусственного интеллекта были превращены в элемент данной стратегии, направленной на применение для проектирования микросхем и на исследования в сфере человеко-машинного интерфейса. И хотя амбициозные задачи не были в полной мере решены, именно в 80-е гг. ушедшего столетия сфера искусственного интеллекта была превращена в индустрию.

Сегодня тех, кто занят разработкой искусственного интеллекта, интересуют две наиболее фундаментальные проблемы - представление знаний (knowledge representation) и поиск (search). В случае представления знаний речь идет о получении знаний, новых по своей сути, посредством обращения к возможностям формального языка, используемого в процессе компьютерных манипуляций. В случае поиска речь идет о таком методе решения проблемы, в котором просматривается пространство состояний задачи («problem states» - понятие, отражающее стадии решения задачи, согласно Дж.Ф. Люгеру [1. С. 42]). В числе главных вопросов анализа сферы искусственного интеллекта и сферы его приложений - структура символов и операций, посредством которых осуществляется интеллектуальное решение задачи; поиск стратегических ориентиров для тех решений, которые обусловлены определенными структурами символов и операций. Именно вопросы представления знания и поиска составляют базисный блок исследований в проблемном поле искусственного интеллекта.

Обработка массивов знаний представляет собой сегодня доминирующую парадигму интеллектуальных технологий. Интеллектуальными же системами принято называть те системы, доминирующим основанием которых является база знаний или модель предметной области, описанная на языке сверхвысокого уровня, приближенном к естественному [1. С. 37]. Сталкиваясь с проблемами высокого уровня сложности (интерпретация естественного языка, поддержка принятия слож-

ных решений, интерпретация визуального сообщения), человек прибегает к помощи интеллектуальных систем. Последние нужны и в ситуации использования слабоформализованных знаний специалистов, практический опыт которых достаточно велик, а порой и бесценен. Видом интеллектуальных систем являются экспертные системы. Экспертные системы эффективны в сферах, где накоплен огромный опыт высококвалифицированных специалистов множества предметных областей: в этих сферах принятие сложного решения зависит от экспертизы; сами же сферы приобрели статус «экспертных сфер».

Интеллектуальные системы, разновидностью которых и выступают экспертные системы, основанные на знании, условно делятся на экспертные системы, решающие различные классы задач. Среди класса задач анализа (в них множество решений можно перечислить и включить в систему) -интерпретация данных, диагностика, поддержка принятия решений. Среди класса задач синтеза (в них множество решений невозможно перечислить, множество решений исходит из решений подпро-блем) - проектирование, планирование, управление. В диапазоне задач, решаемых посредством экспертных систем, следует назвать и задачи комбинированного класса, такие как задачи обучения, прогнозирования и мониторинга, на базе которого только и возможна полнота прогноза, в котором используется параметрическая динамическая модель [3].

Хотелось бы подчеркнуть, что процесс разработки экспертных систем сопряжен с двоякого рода сложностями - это сложности извлечения и сложности структурирования знаний, извлечения и формализации знаний, что изучается в проблемном поле инженерии знаний (knowledge engineering) как направление искусственного интеллекта. Целью этого направления является разработка моделей, методов и систем получения, структурирования и формализации знаний специалистов для проектирования баз знаний. Мы принимаем точки зрения тех аналитиков, которые считают, что инженерия знаний дважды гносеологична (такова позиция А.П. Частикова, Т.А. Гавриловой, Д.Л. Белова) благодаря тройной интерпретации: во-первых, сначала действительность отражается в сознании эксперта; во-вторых, опыт эксперта интерпретируется инженером по знаниям; и, в-третьих, можно говорить о такой интерпретации, как интерпретация в поле знаний самой экспертной системы (поле знаний - это условное неформальное описание понятий предметной области, выявленных из системы знаний эксперта [4]).

Становление знания в статусе доминирующего ресурса общества, новые формы знаний, процесс становления которых происходит в обществе знания, - все это с необходимостью естественного процесса требует новых форм представления знаний, а также создания разнообразных моделей представления знаний. Во многом это обусловлено тем,

что в 70-е гг. ХХ в. из предметной сферы искусственного интеллекта выделилось направление, связанное с созданием экспертных систем. Последнее вызвано необходимостью создания экспертных систем, которые можно было бы применить при решении задач экспертной оценки. Важность и сложность проблемы во многом определена структурой знания, которая, в свою очередь, определяется сферой применения этого знания. Эта структура состоит из фактов обозначенной предметной сферы, из связи этих фактов, правил действий; кроме того, в этой структуре должны быть учтены и те знания, на которых строится и способ включения знания в саму экспертную систему.

Сегодня специалисты говорят о различных способах представления знаний. К числу последних относятся логическая модель, фреймовые и продукционные системы, а также семантические сети. Это наиболее типичные модели представления знаний, реализуемые в пределах когнитивного направления исследования искусственного интеллекта. В пределах логического направления осуществляется анализ теоретических методов представления знаний. Например, была создана модель представления знаний, основанная на логике предикатов первого порядка. Что касается других методов представления знаний, они базируются на математической формализации. Обозначенные способы представления знаний соотносятся с определенной структурой знаний. Примечательно, что сегодня уже существуют и модели представления знаний, в которых вышеуказанные способы представлены интегративно.

Системы представления знаний имеют особенность: именно эти системы моделируют деятельность человека, которая осуществляется в неформальном виде. Сами модели представления знаний ориентированы на ту информацию, которая идет от экспертов; эта информация подчас носит противоречивый характер, но в итоге специфика ее применения требует, чтобы подобного рода информация была представлена в однозначном, формализованном виде. Последнего можно добиться посредством обращения к идеям многозначной логики, идеям теории нечетких множеств; наконец, благодаря использованию аналитических математических моделей.

Сегодня можно утверждать, что представление знаний по своему статусу является методологией моделирования и формализации концептуальных знаний в сфере инженерии знаний. Многие аналитики, - такова, к примеру, позиция японских исследователей Уэно Харуки и Изидзуки Мицуру, -историю исследований в сфере искусственного интеллекта (исключая ранние этапы) рассматривают как историю исследований и интерпретации методов представления знаний. Использование знаний представлено при этом как технология вывода, как получение (вывод) решения в соответствии с формой представления знаний. База знаний как неотъемлемая часть базирующихся на знании систем

включает не только описание знаний, но и механизмы вывода, в котором эти знания применены [5].

Одной из типичных моделей представления знаний (в рамках когнитивного направления исследования искусственного интеллекта) является модель, основанная на использовании фреймов (от англ. frame - «каркас», «рамка»). Фрейм - это абстрактный образ для представления стереотипа объекта, понятия или ситуации; обобщенная и упрощенная модель или структура. В чем состоит специфика представления знаний фреймами? О теории фреймов и ее гносеологическом потенциале исследующие искусственный интеллект заговорили в 1975 г.: именно в 1975 г. М. Минский изложил теорию фреймов - дал понятие базовой структуры представления знаний фреймами и управления выводом, рассмотрел специфику универсального фреймового языка. Фреймы были интерпретированы как сравнительно большие единицы представления знаний, была раскрыта их иерархическая структура, учитывающая степень абстракции; были проанализированы и возможности представления комбинации декларативных и процедурных знаний. Сам же М. Минский в работе «Фреймы для представления знаний» суть теории фреймов интерпретировал следующим образом: попадая в новую ситуацию, радикально меняя свое отношение к текущим обстоятельствам, человек вызывает из памяти структуру-фрейм. Фрейм являет собой единицу представления знания, заполненную в прошлом. Однако ее детали можно изменить, ориентируясь на происходящую ситуацию. Фрейм представляет собой сеть, состоящую из нескольких вершин и отношений: фиксированная информация об истинном состоянии объекта, а также терминальные слоты (терминалы), которые следует заполнить конкретными знаниями и данными [6].

Как отмечал сам Марвин Минский, теория фреймов должна быть отнесена к теории постановки задач. В ее основу положено восприятие фактов посредством сопоставления получаемой информации с конкретными элементами и значениями, а также с рамками, определенными для каждого концептуального объекта в нашей памяти. Представляющая эти рамки структура и есть фрейм. И так как между концептуальными объектами есть аналогии, то возникает иерархическая структура, обладающая классификационными и обобщающими свойствами. Она являет собой иерархическую структуру отношений формы «абстракт-ное-конкретное». Сложные объекты - комбинация нескольких фреймов, это фреймовая сеть. Сам же фрейм - это один из способов организации знаний при создании экспертных систем [6].

Сегодня можно утверждать, что важнейшими проблемами, связанными с эпистемологическими принципами организации интеллекта в качестве физической системы, остаются такие проблемы, как проблема представления, проблема природы интерпретации (значение символа можно понять только в контексте интерпретации), проблема нео-

пределенности представлений, наконец, проблемы, связанные с ограничениями метода, проблемы символьного обоснования в нейронных сетях. Перечисленные и им подобные проблемы требуют пристального внимания для дальнейшего развития искусственного интеллекта; они важны и все еще открыты. Изобретение цифрового компьютера ознаменовало рождение науки когнитологии (cognitive science), иначе называемой теорией интеллектуальных систем (science of intelligent systems). Предпосылки для ее возникновения создали Аристотель, Р. Декарт, Дж. Буль, создатели нейросетевых моделей А. Тьюринг, У. МакКал-лок, У. Питтс, а кроме того, Дж. Фон Нейман, предложивший концепцию искусственной жизни. Их исследования создали науку тогда, когда появилась экспериментальная база - компьютеры. И основной вопрос сегодня - может ли теория интеллектуальных систем помочь в создании искусственного разума?

В заключение приведем слова А. Ньюэлла и Х.А. Саймона из лекции, прочитанной в 1976 г. по случаю вручения премии Тьюринга: исследователи определяют теорию вычислительных систем как эмпирическую дисциплину и утверждают, что ее можно было бы назвать «экспериментальной наукой, но, подобно астрономии, экономике и геологии, некоторые из ее оригинальных форм испытаний и наблюдений невозможно втиснуть в узкий стереотип экспериментального метода. Тем не менее, это эксперименты. Конструирование каждого нового компьютера - это эксперимент. Сам факт создания машины ставит вопрос перед природой; и мы получаем ответ на него, наблюдая за машиной в действии, анализируя ее всеми доступными способами. Каждая новая программа - это эксперимент. Она ставит вопрос природе, и ее поведение дает нам ключи к разгадке. Ни машины, ни программы не являются «черными ящиками», это творения на-

СПИСОК ЛИТЕРАТУРЫ

1. Люгер. Дж.Ф. Искусственный интеллект. Стратегии и методы решения сложных проблем. - М.; СПб.; Киев: Изд. дом «Вильямс», 2005. - 863 с.

2. Декарт Р. Рассуждение о методе. - М.: Изд-во Академии наук СССР, 1953. - 656 с.

3. Стюарт Р., Питер Н. Искусственный интеллект. Современный подход. - М.; СПб.; Киев: Изд. дом «Вильямс», 2006. - 1408 с.

4. Частиков А.П., Гаврилова Т.А., Белов Д.Л. Разработка экспертных систем. - СПб.: Изд-во «БХВ-Петербург», 2003. -608 с.

ших рук, спроектированные как аппаратно, так и программно; мы можем снять крышку и заглянуть внутрь. Мы можем соотнести их структуру с поведением и извлечь множество уроков из одного-единственного эксперимента» [1. С. 779].

Дж.Ф. Люгер полагает, что если пробовать довести исследования искусственного интеллекта до уровня науки, превратив их в составную часть теории интеллектуальных систем (science of intelligent systems), то процесс конструирования, использования и анализа артефактов потребует использования эмпирических и аналитических методов. И здесь к любой программе искусственного интеллекта предстоит отнестись как к эксперименту. «Отклик природы, - пишет Дж.Ф. Люгер, - на заложенные конструкторские и программные принципы формирует наше понимание формализма, закономерностей и самой сути мышления» [1. С. 780]. Ответ на последний вопрос находится в проблемном горизонте философии, как находятся в нем и другие, сопряженные с идеей искусственного интеллекта философские вопросы: Что такое интеллект? Возможно ли его формализовать и как вписать его в контекст теории интеллектуальных систем? Какова роль искусственного интеллекта в изучении природы и феномена разумного? В чем заключены этические последствия разработки интеллектуальных машин? Какова, наконец, когнитивная архитектура мозга человека?

Одним из перспективных направлений поисков ответов на поставленные вопросы являются исследования, основанные на использовании автоэписте-мической логики (autoepistemic logic [1. С. 330]). Такие системы обладают способностью автоматически формировать понятия для экспертных систем [7], что открывает возможность этим системам осуществлять такую важнейшую познавательную операцию, как обобщение - центральную операцию всего процесса познания.

5. Уэно Х., Кояма Т., Окамото Т., Мацуби Б., Исидзука М. Представление и использование знаний / пер. с япон.; под ред. Х.Уэно, М.Исидзука. - М.: Изд-во «Мир», 1989. - 220 с.

6. Минский М. Фреймы для представления знаний / пер. с англ.

О.Н. Гринбаума; под ред. Ф.М. Кулакова. - М.: Энергия, 1979.- 151 c.

7. Ларионов Д.С. Использование модальной логики для проектирования оболочек экспертных систем // Известия Томского политехнического университета. - 2005. - Т. 308. - № 4. -С. 173-177.

Поступила 01.09.2013 г.

UDC 681.3.07

ON PHILOSOPHICAL PREMISES, STATE AND PERSPECTIVES OF ARTIFICIAL INTELLIGENCE PROBLEM RESEARCH

Anna A. Kornienko, Alla A. Kornienko, Anatoly V. Kornienko

Tomsk polytechnic university E-mail: anna_kornienko@mail.ru

The history of idea of artificial intelligence and the ways of its implementation are observed in the paper. The authors select researches based on autoepistemic logic as a perspective line of development of artificial intelligence. Artificial intelligence (AI) is considered as a system that imitates the process of decision making by a man, when a man solves complex tasks. The paper introduces the intellectual tradition of artificial intelligence: this tradition goes back to the Aristotle's «Physics» and Plato's «Dialogs». The premises and grounds for the artificial intelligence theory are disclosed as well. The structure of symbols and operations are considered as basic questions of analysis of artificial intelligence and AI applications. Expert systems are interpreted as a variety of intelligence system. Different methods of knowledge representation (logical model, frame systems and production systems, semantic networks) are designated in the article. These methods are realized within the scope of a cognitive trend of AI investigation. The authors assert that knowledge representation is a methodology of modeling and formalization of conceptual knowledge in the sphere of knowledge engineering.

Key words:

Artificial intelligence, knowledge, meta-knowledge, knowledge representation, knowledge processing.

REFERENCES

1. Lyuger. D.F. Iskusstvenny Intellekt. Strategii i metody resheniya slozhnykhproblem [Artificial Intelligence: Structures and Strategies for Complex Problem Solving]. Moscow; St. Petersburg; Kiev, Williams Publ. House, 2005. 863 p.

2. Dekart R. Rassuzhdenie o metode [Discourse about the Method]. Moscow, Publishing House of the Academy of Sciences of the USSR, 1953. 656 p.

3. Styuart R., Piter N. Iskusstvenny intellekt. Sovremennypodkhod [Artificial Intelligence: Modern Approach]. Moscow; St. Petersburg; Kiev, Williams Publ. House, 2006. 1408 p.

4. Chastikov A.P., Gavrilova T.A., Belov D.L. Razrabotka ekspert-nykh sistem [Development of Expert Systems]. St. Petersburg, BHV-Petersburg Publ. House, 2003. 608 p.

5. Ueno Kh., Koyama T., Okamoto T., Macubi B., Isidzuka M. Pred-stavlenie i ispolzovanie znaniy [Knowledge Representation and Using]. Moscow, World Publ. House, 1989. 220 p.

6. Minskiy M. Freymy dlyapredstavleniya znaniy [A Framework for Representing Knowledge]. Moscow, Energy, 1979. 151 p.

7. Larionov D.S. Ispolzovanie modalnoy logiki dlya proektirovaniya obolochek ekspertnykh system [Modal Logic Implementation Aimed at Projection of Expert Systems Shells]. Bulletin of the Tomsk Polytechnic University, 2005, vol. 308, no. 4, pp. 173-177.