Извлечение экспертных знаний: трудности и пути их разрешения

К. Р Червинская

ИЗВЛЕЧЕНИЕ ЭКСПЕРТНЫХ ЗНАНИЙ: ТРУДНОСТИ И ПУТИ ИХ РАЗРЕШЕНИЯ

Проблема извлечения экспертных знаний зародилась в русле искусственного интеллекта как технического направления по созданию интеллектуальных (компьютерных) систем. Трудности проведения экспертизы для извлечения экспертных знаний привели к появлению специальной дисциплины — инженерии знаний, — психологическая составляющая которой призвана дать ответы на вопросы о том, что такое экспертные знаний и как их можно «извлечь» или эксплицировать в процессе взаимодействия когитолога (специалиста по извлечению знаний) и эксперта с целью построения модели предметной области [11, 54, 62, 63].

В последние годы решение проблемы проведения экспертизы для извлечения экспертных знаний оказалось востребованным не только в области инженерии знаний, но и в других исследовательских контекстах. Можно выделить, по крайней мере, три таких контекста: оптимизация взаимодействия человека и компьютера (область когнитивной эргономики), создание систем управления знаниями в менеджменте (область организационной психологии) и область психологического консультирования.

Проектирование интеллектуальных (экспертных) систем — область исследований, где остро встала проблема извлечения экспертных знаний, — можно считать частным случаем более общих проблем — автоматизации человеческой деятельности, а также взаимодействия человека и компьютера, рассматриваемых в русле современной когнитивной эргономики и инженерной психологии. Методологическим приемом в области когнитивной эргономики является когнитивный анализ деятельности, под которым понимается необходимость описания и анализа действий (когнитивных операций) специалиста (пользователя) в процессе решения им своих задач с помощью компьютера [8, 18, 25, 26, 33, 42]. В рамках антропоцентрической парадигмы исследователи различают деятельность по проектированию когнитивных систем и деятельность по их использованию [6, 56]. В обоих случаях встают вопросы извлечения знаний, в первом случае (проектирование) — извлечение знаний экспертов, а во втором (использование) — извлечение знаний пользователей [62].

Концепция управления знаниями (knowledge management), возникшая в середине 1990-х гг. в менеджменте, подразумевает применение методов и технологий для создания инфраструктуры накопления и использования знаний, представляющей ценность для достижения целей рабочих групп и организаций [27-29, 57, 58]. Само появление этой дисциплины во многом связано с осознанием роли носителей интеллектуального багажа (людей) в обеспечении эффективности работы организации — в противовес увлечению обезличенными проектами тотального реинжиниринга бизнес-процессов. Психологическим ядром управленческой технологии является феномен «распределения знаний» (Knowledge Sharing) в организации, под которым понимается процесс передачи и получения знаний между людьми (трансферт, взаимообмен), способствующий появлению нового понимания относительно решаемых в организации задач [2, 36, 44]. Такой процесс, в основе которого

© К. Р. Червинская, 2009

в том числе может лежать и трансферт знаний опытных специалистов новичкам, имеет тесную связь с извлечением экспертных знаний. Исследователи отмечают, что оптимизация процессов распределения знаний является актуальной не только в контексте менеджмента знаний, но и для решения других организационных задач, например, при разработке стратегического управления (принятия решений), внедрения инновационных процессов, организационного обучения и пр. Таким образом, извлечение знаний имеет непосредственное отношение не только к проектированию систем управления знаниями, но и к некоторым другим организационным процессам (решение проблем, принятие решений и пр.).

В области психологического консультирования в исследовании англичан N. Milton, D. Clarke, N. Shadbolt [24] проведен эксперимент, показывающий высокую эффективность применения техник извлечения знаний для со здания онтологий психологических знаний людей в целях их психологического консультирования. Областью экспертизы являются «персональные знания» людей как психологические знания, которые помогают людям иметь дело с каждодневными проблемами и принимать жизненные решения. Такие знания включают знания о своем поведении, эмоциях, желаниях и жизненной истории. По мнению авторов исследования, каждая персона в мире может рассматриваться как эксперт своей собственной жизни, «...предметными экспертами оказались обычные люди, каждый из которых обладает экспертностью для того, чтобы иметь дело с жизненными ситуациями внутри сложного социального окружения» [24]. По мнению авторов, простой акт извлечения персональных знаний индивидуумов и обеспечение человека результирующей структурной репрезентацией (т. е. эксплицированной собственной концептуальной моделью) является благотворным, например, для реализации новых идей, просмотра вещей из новой перспективы, создания новых связей и пр. Кроме того, использование онтологий персональных знаний, в настоящее время отсутствующих в психологической литературе, может быть полезным для развития новых психологических теорий.

Нами разработана психологическая концепция извлечения экспертных знаний, основные положения которой являются актуальными в приведенных выше исследовательских контекстах. Для этих целей мы осуществили анализ работ, касающихся рассмотрения феномена экспертной деятельности, экспериментальных исследований индивидуального опыта эксперта (в рамках модели «новичок-опытный»), исследований, демонстрирующих различные неосознаваемые влияния прошлого опыта на познавательную деятельность человека, исследований феномена «подразумеваемых» знаний в контексте практического интеллекта и пр., что позволило сформулировать систему феноменов когнитивной деятельности экспертов, существенным образом затрудняющих процесс эксплицирования экспертных знаний. С другой стороны, анализ этих феноменов указывает на пути разрешения проблемы, что позволяет наметить основные координаты рассмотрения концепции извлечения экспертных знаний. Настоящая статья посвящена анализу литературных данных, посвященных изучению индивидуального опыта эксперта, на предмет выявления трудностей эксплицирования экспертных знаний и путей их разрешения.

В англоязычной литературе под понятием expertise (дословный перевод с англ.: «эксперт-ность», «специальные знания», «знание дела», «знания и опыт») понимается набор характеристик, лежащих в основе высокого уровня работы людей-специалистов. К ним относятся обширные знания в некоторой области, эвристические правила, упрощающие и улучшающие подходы к решению задач, метазнания и метасознание, а также «компилированные» формы поведения (навыки), обеспечивающие большую экономию при высококвалифицированной работе.

Анализ экспериментальных работ, выполненных в рамках модели «новичок-опытный», показал, что индивидуальный опыт эксперта в свою очередь, являясь сложной системой, представлен единством или интеграцией знаний и умений как способов и правил

решения проблем и задач [3, 12, 32, 34, 37, 41, 50]. Исследователи выдвигают ряд гипотез относительно когнитивного функционирования индивидуального опыта эксперта [10, 13, 14, 46, 52, 62], относительно операционализации понятия «экспертность» как «опытность» [60, 64], а также указывают на подверженность экспертов когнитивным искажениям [30, 31, 52]. Ниже представлены формулировки характеристик «опытности», выделенные нами по данным экспериментальных исследований в рамках модели «новичок-опытный».

1. Особая форма организации экспертных знаний, как декларативных, так и процедурных [4].

2. Иерархичность и высокая гибкость понятийных тезаурусов [34].

3. Высокий уровень интеграции декларативных и процедурных знаний [50].

4. Эффект «свернутости» экспертных рассуждений [12].

5. Стратегия перехода от описания задачи к ее решению без многочисленных вариантов и без каких-либо промежуточных рассуждений [32].

6. Способность распознавать образы в виде паттернов [7].

7. Умение увидеть принцип решения задачи [12].

8. Качественная репрезентация проблемы в виде паттернов [12].

9. Рассмотрение проблемы с точки зрения глубоких семантических связей [12].

10. Феномен процедурализации, под которым понимается процесс перехода от явного использования декларативного знания к прямому применению процедурного знания [50].

11. Существование «оперативных единиц опознания» и «невербализованного операционального смысла» [59].

12. Классический феномен внезапного появления «идей», или вербализованных замыслов решения, нахождение принципа, «усмотрение решения» [59].

13. Трудности процесса вербализации, вытекающие из сопоставления глазодвигательной активности испытуемых с их вербальным отчетом [59].

14. Наличие «подразумеваемого» знания (tacit knowledge), которое представляет собой сложные интуитивные представления, далеко не всегда четко вербализованные [12].

15. Наличие процессов активного поиска, изменения и более успешной интерпретации материала [14, 52].

16. Более абстрактная форма хранения экспертных знаний (в виде шаблонов) по сравнению с тем, что предполагает актуальная ситуация (теория шаблонов) [13].

17. Первоначальное накопление опыта сводится к освоению шаблонов, сближающих категориальные системы, а дальнейшее — к определенной дивергенции (к формированию индивидуального опыта) [64].

18. Когнитивная сложность является хорошим операциональным индикатором «экс-пертности» как «опытности» [64].

19. Существование долговременной рабочей памяти, допускающей прямые связи между перцептивными процессами и структурами долговременной памяти [10].

20. Ограничения кратковременной памяти, практически, не влияют на процессы переработки информации экспертом [52].

21. Хранение экспертных знаний в форме умеренно абстрактных концептуальных репрезентаций [46, 52].

22. Высокий уровень интеграции теоретического и практического знания, который позволяет легко переходить от обобщенного рассмотрения проблемы к реализации действий

[46, 52].

23. Высокие показатели умозаключающей способности и многовариантность, независимо от величины коэффициента интеллекта (IQ) [60].

24. Высокий уровень развития понятийных и числовых способностей, сформирован-ность мобильного поленезависимого, рефлективного, гибкого стилей переработки информации [60].

25. Эффекты чрезмерной уверенности, привязки, проекции, эвристики доступности [30, 52].

Классификация характеристик «опытности» осуществлялась нами путем разложения их на группы по степени понимания близости формулировок. Тем самым, было определено, о чем говорят исследователи в процессе обсуждения своих экспериментальных данных, полученных в результате использования модели «новичок-опытный». Результат такой процедуры представлен в табл. 1. Часть групп названа феноменами, поскольку входящие в состав характеристики представлены как явления, наблюдаемые в процессе эксперимента, а часть — гипотезами — предположениями относительно когнитивного функционирования психики человека.

Некоторые характеристики «опытности» могут быть отнесены к разным группам. Так, например, «свернутость экспертных рассуждений» можно отнести к феномену проце-дурализации, поскольку в формулировке присутствует очевидная динамика (мыслительный процесс), а можно — к феномену «подразумеваемых» знаний, поскольку такая формулировка отражает некие знания, которые невозможно «развернуть», т. е. представить в виде последовательности шагов. Для установления этой взаимосвязи далее более подробно рассматривается феномен «подразумеваемых» знаний.

Природу «подразумеваемых» знаний проясняет анализ работ, демонстрирующих различные неосознаваемые влияния прошлого опыта на познавательную деятельность человека. Многочисленные экспериментальные исследования показывают, что существуют неосознаваемые (имплицитные, автоматические) и сознательные (эксплицитные, регулируемые инструкцией) процессы обработки информации [15, 22, 23, 35, 45, 47, 49]. Любые психические процессы, осознанно не контролируемые, т. е. выполняющиеся непроизвольно, помимо нашей воли и даже вопреки ей, считаются подверженными влиянию когнитивного бессознательного [17]. P. Lewicki, T. Hill, M. Czyzewska [20] отмечают феномен существования уровней обработки неосознаваемой информации и выделяют особый когнитивный механизм, способный неосознанно генерировать новые структуры знания, не зависящие от объективной природы окружения личности, что, в терминологии Брунера [51], соответствует феномену «выхода человека за пределы непосредственной информации».

Анализ исследований показывает, что в основе экспертного умения лежит многолетняя практика решения проблем и принятия решений, которая трансформирует декларативную память в процедурную [16], обеспечивая то, что Дж. Андерсон назвал процедурализацией. В процессе научения (многолетней практики) у эксперта формируется навык — свернутое (автоматизированное, интериоризированное) действие, не требующее осознанного контроля [48]. Формирование навыка связано со способностью субъекта к построению систем кодирования (категоризации) и формированию интенсиональных знаний в виде некоторых предметных закономерностей (процедурных правил) [51]. В контексте рассмотрения проблемы интуиции выделяют феномен «редуцированности» как процесс поиска решения, направленный на формирование целостного интегративного образа или ключевого понятия, и феномен «свернутости» процесса поиска решения, означающий, что осознается и остается в памяти не весь ход поиска, а лишь окончательный вывод [55].

В экспериментах P. Lewicki, T. Hill, I. Sasaki [21] испытуемые формировали правило отнесения к категории, не осознавая этого, а каждое последующее столкновение с неоднозначными данными воспринимали как пример, лишь подтверждающий сформированное

Классификация характеристик «опытности»: феномены и гипотезы, описывающие индивидуальный опыт эксперта

Названия групп

Названия подгрупп

Краткое описание и номера характеристик

1. Особая форма организации экспертных знаний

Особая форма организации как декларативных, так и процедурных экспертных знаний: высокий уровень их интеграции. Номера: 1, 2, 3, 4, 5, 6, 8, 9, 10, 22

1.1. Феномен экспертной категоризации

Категоризация — процесс приписывания различающимся объектам отношения эквивалентности, группировку предметов, событий и людей в классы и реагирование на них в зависимости от принадлежности к таким образом сформированным классам [51]. Номера: 2, 6, 7, 8, 9

1.2.Феномен экспертной процедурализации

Процедурализация — процесс перехода от явного использования декларативного знания к прямому применению процедурного знания [50]. Номера: 4, 5, 10, 22

2. Феномен существования «подразумеваемых» знаний

«Подразумеваемые» знания (tacit knowledge) — сложные, далеко не всегда четко вербализованные, интуитивные экспертные представления [12]. Номера: 11, 14

2.1. Феномен свернутости экспертных рассуждений

Непосредственный переход от описания задачи к ее решению без перебора многочисленных вариантов и без каких-либо промежуточных рассуждений. Номера: 4, 5, 6, 12

2.2. Феномен инсайта, внезапного появления идей

Появление усмотрения или внезапного озарения, схватывания элементов ситуации в тех связях и отношениях, которые обеспечивают решение задачи. Номера: 7, 12

2.3. Феномен затрудненной вербализации

Трудности получения вербальных отчетов в процессе решении задач. Номер: 13

3. Феномен подверженности экспертов когнитивным искажениям

Эффекты чрезмерной уверенности, привязки, эвристики доступности. Номер: 25

4. Гипотезы относительно когнитивного функционирования

Существование теории шаблонов, долговременной рабочей памяти, допускающей прямые связи между перцептивными процессами и структурами долговременной памяти, умеренно абстрактных концептуальных репрезентаций, свойственных экспертам и пр. Номера: 15,16, 17,19, 20,21,22

5. Гипотезы относительно операционализации понятия «экспертность»

Высокий уровень развития понятийных и числовых способностей, сформированность мобильного поленезависимого, рефлективного, гибкого стилей переработки информации, когнитивная сложность. Номера: 18, 23,24

правило. Отсюда следует, что экспертная категоризация, как конструирование категорий экспертом, осуществляется согласно имплицитно усвоенному основанию категоризации. В других экспериментах было показано, что испытуемые способны имплицитно научаться, т. е. неосознанно устанавливать сложные взаимосвязи между предъявляемыми стимулами [20],

эффективно осваивать процедуры для выполнения задачи без какой-либо способности объяснить, что они делают [1]. Отсюда следует имплицитный характер экспертного умения как способности решать проблемы и принимать решения на основе имплицитных знаний, приобретенных опытным путем, без возможности объяснения, как и на основе каких правил, решается задача. Фактически, это означает неспособность (экспертное анти-умение) эксплицировать (т. е. осознать и проговорить) имплицитно приобретенные процедурные правила. Таким образом, экспертная процедурализация, как переход от явного использования категорий к прямому применению процедур, находится вне зоны осознания эксперта, и характеризуется трудностью вербализации.

Феномен «подразумеваемых» знаний обсуждается в контексте исследований практического интеллекта [38, 39, 40, 43]. Критерием практического интеллекта (опыта) является приобретение и использование неявных знаний как «ориентированных на действия, приобретаемых без прямой помощи от других, которые позволяют индивидуумам достигать личностно значимых целей» [39]. В русле этих работ на основе обширных эмпирических исследований с применением факторного анализа разработана модель «подразумеваемых» знаний [19], включающая три размерности: когнитивную (особую форму организации знаний, например, скрипты и пр.), размерность специальных умений (умений экспертов решать задачи) и социальную размерность (трудность вербализации неявных знаний, важность социального взаимодействия людей в процессе проявления и извлечения «подразумеваемых» знаний).

Опираясь на эту трехкомпонентную модель, можно установить следующие соотношения между особой формой организации экспертных знаний и феноменом «подразумеваемых» знаний, хорошо согласующиеся с приведенными выше выводами, сделанными на основе работ по исследованию неосознаваемых влияний прошлого опыта на познавательную деятельность человека.

1. Феномен экспертной категоризации основан на «подразумеваемых» знаниях. Это означает, что эксперт, осуществляя классификацию понятий, объектов, ситуаций и пр. предметной области, может не осознавать сам критерий классификации.

2. Феномен экспертной процедурализации также основан на «подразумеваемых» знаниях. Это означает, что процесс перехода от явного использования декларативного знания к прямому применению процедурного знания также находится вне зоны осознания эксперта.

3. Феномен затрудненной вербализации «подразумеваемых» знаний. Это означает, что затруднения при вербализации «подразумеваемых» знаний проявляются в результате социального взаимодействия.

Установление взаимосвязи между особой формой организации экспертных знаний и феноменом «подразумеваемых» знаний позволило представить модель «экспертности». Таким образом, «экспертность» как «опытность» характеризуется:

• особой формой организации экспертных знаний: экспертной категоризацией и экспертной процедурализацией;

• феноменом «подразумеваемых» знаний, который означает затрудненную вербализацию экспертных знаний, экспертную категоризацию, осуществляемую согласно имплицитно усвоенному основанию, и экспертную процедурализацию — имплицитным переходом от явного использования категорий к прямому применению процедур;

• феноменом подверженности экспертов когнитивным искажениям: эффектами чрезмерной уверенности, привязки, проекции и эвристикой доступности.

Структура феноменов, оказывающих существенное влияние на эксплицирования экспертных знаний, представлена на рис.1.

Феноменология эксплицирования эеспертных знаний

Особая форма организации экспертных знаний

Феномен подразумеваемых знаний

Феномен подверженности экспертов когнитивным искажениям

Феномен экспертной категоризации

Феномен затрудненной вербализации знаний

Феномен экспертной процедурализации

Проявления разных профессиональных дискурсов

Эффект чрезмерной уверенности

Эффект привязки

Эфеект проекции

Эвристика доступности

VII

VIII

IV

Рис. 1. Структура феноменов, влияющих на эксплицирование экспертных знаний

II

Феномен затрудненной вербализации «подразумеваемых» знаний проясняет анализ психологических и психолингвистических работ. Исследователи отмечают существенное различие между коммуникативным языком и языком мыслительного процесса. По Выготскому [53], внутренняя речь характеризуется спрессованностью содержания, предикативностью и сокращенностью фонетических элементов. По Хомскому [61], любое правильное предложение языка может быть получено из «ядерных» структур посредством конечного множества трансформационных правил, т. е. правил преобразования «ядерных» структур в произносимые и понимаемые предложения. М. Ерр1ег [9] приводит классификацию коммуникативных барьеров, возникающих при взаимодействии менеджеров и экспертов (специалистов), которая была осуществлена на основе обширного литературного обзора и результатов работы шести фокус-групп, число участников которых в общей сложности достигает 1000 чел. из разных стран. Среди них отмечены такие барьеры как «упакован-ность» специальных знаний в терминологический «жаргон», «терминологическая иллюзия» (смешение понятий различных предметных областей), существовании А8К-феномена (необходимость предварительной осведомленности когитолога в предметной области, а эксперта — в области когитологии), барьеры когнитивной защиты, когнитивной инерции, когнитивной нагрузки, выученной беспомощности, тенденции к преждевременной оценке сообщений пр. Обобщение представленных в работе коммуникативных барьеров позволило выделить два феномена, лежащих в основе трудности вербализации и, шире, коммуникации «подразумеваемых» знаний: взаимодействие специалистов (когитолога и эксперта), продуцирующих разный профессиональный дискурс, и проявление личностных особенностей когитолога и эксперта.

Трудности эксплицирования экспертных знаний и пути их преодоления представлены в табл. 2.

Таблица 2

Трудности эксплицирования экспертных знаний и пути их преодоления

Название феномена Трудности эксплицирования экспертных знаний Пути преодоления трудностей

1 2 3

I. Экспертная категоризация

Необходимость выявления имплицитно усвоенного основания экспертной категоризации. Процессуальный аспект извлечения знаний: выделение стадии выявления имплицитно усвоенного основания категоризации или основного «экспертного гештальта». Использование прайминг-эффекта, феномена модальной специфичности имплицитной памяти и пр.

II. Экспертная процедурализация

«Свернутость» экспертных рассуждений: необходимость «развернуть» экспертные рассуждения, т. е. представить их в виде последовательных шагов, в виде декомпозиционного пространства или в виде иерархии процедурных правил. Процессуальный аспект извлечения знаний: выделение стадии структурирования или концептуального анализа знаний. Операционально-инструментальный аспект извлечения экспертных знаний: проведение про-цедурализации путем использования инструментов структурирования.

Ш. Взаимодействие специалистов (когитолога и эксперта), актуализирующих разный профессиональный дискурс

Упакованность специальных знаний в терминологический жаргон, «терминологическая иллюзия», А8К-феномен затрудняют коммуникацию знаний и требуют адекватных средств для взаимопонимания когитолога и эксперта. Процессуальный аспект извлечения знаний: выделение подготовительного этапа в процессе извлечения экспертных знаний. Операционально-инструментальный аспект извлечения экспертных знаний: разработка единого мета-языка взаимодействия когитолога и эксперта для описания предметной области в виде когнитивных артефактов и инструментов структурирования.

IV. Проявление личностных особенностей как когитолога, так и эксперта

Когнитивная инерция, когнитивная нагрузка, выученная беспомощность, тенденция к преждевременной оценке сообщения и пр. диктуют необходимость выбора адекватной коммуникативной модели взаимодействия когитолога и эксперта. Коммуникативный аспект извлечения экспертных знаний: разработка набора коммуникативных моделей, адекватных деятельности когитолога и эксперта; важная роль субъект-субъектных взаимодействий когитолога и эксперта.

V. Эффект чрезмерной уверенности

Снижение степени достоверности разработанной модели экспертных представлений. Необходимость валидизации построенной модели экспертных представлений.

1 2 3

VI. Эффект привязки

Трудности приписывания цифр понятиям, явлениям, фактам и пр., расположенным на одной шкале. Искажение экспертных представлений в процессе использования процедуры субъективного шкалирования. Коммуникативный аспект извлечения экспертных знаний: разработка набора коммуникативных моделей с указанием предпочтительного выбора процедуры ранжирования вместо процедуры субъективного шкалирования. Необходимость валидизации построенной модели экспертных представлений.

VII. Эффект проекции

Искажение экспертных представлений вследствие опоры когитолога на свои, а не экспертные представления. Умение когитолога занять позицию наблюдателя, осознание дистанции между своими представлениями и представлениями другого человека в сочетании с высокой степенью рефлексии относительно экспертных высказываний, а не своих мыслей.

VIII. Эвристика доступности

Невозможность получения отдельных экспертных мнений, убеждений, верований и пр., необходимость моделирования экспертных представлений. Операционально-инструментальный аспект извлечения экспертных знаний: необходимость получения отдельных форм знаний, а не мнений, убеждений и пр.

Пути разрешения трудностей эксплицирования экспертных знаний позволяют задать определение процесса «извлечения экспертных знаний» и сформулировать аспекты описания разрабатываемой концепции. Под извлечением экспертных знаний будем понимать процесс выявления и структурирования знаний эксперта по решению проблем предметной области, осуществляемый в результате взаимодействия когитолога и эксперта с целью построения модели экспертных представлений и рассуждений. В соответствии с путями разрешения трудностей эксплицирования экспертных знаний можно выделить коммуникативный, операционально-инструментальный и процессуальный аспекты извлечения знаний, составляющие ядро концепции извлечения экспертных знаний.

Литература

1. Berry D. C., BroadbentD. E. On the relationship between task performance and associated verbalizable knowledge // Quarterly Journal of Experimental Psychology. 1984. Vol. 36A. Р. 209-231.

2. Cabrera A., Cabrera E. F. Knowledge-Sharing Dilemmas // Organization Studies. 2002. Vol. 23 (5). P. 687710.

3. Chase W G., Simon H. A. Perception in chess // Cognitive Psychology. 1973. № 4. P. 55-81.

4. Chi M. T., Feltovich P. J., Glaser R. Categorisation and representation of physics problem by experts and novices // Cognitive Science. 1981. Vol. 5. P. 121-152.

5. Chi M. T., Koeske R. D. Network representation of a child’s dinosaur knowledge // Developmental Psychology. 1983. Vol. 19(1). P. 23-39.

6. DarsesF. O. Providing practitioners with techniques for cognitive work analysis // Theoretical Issues in Ergonomics Science. 2001. Vol. 2, № 3, 268-277.

7. de Groot A. D. Perception and memory versus thought. In B. Kleinmuntz (cd.), Problem-solving. New York, 1966.

8. Engestrom Y., Miettinen R. Introduction to Perspectives on Activity Theory / Y. Engestrom, R. Miettinen, R. L. Punamaki (eds.). Cambridge, 1999.

9. Eppler M. Knowledge Communication Problems between Experts and Decision Makers: an Overview and Classification // The Electronic Journal of Knowledge Management. 2007. Vol. 5. Issue 3. P. 291-300. URL: www. ejkm.com.

10. Ericsson K. A., Kintsch W Long-term working memory // Psychological Review. 1995. P. 102, 211-245.

11. Feigenbaum E. Knowledge engineering: the applied side of artificial intelligence. Stanford, 1980.

12. Glaser R. Education and thinking: The role of knowledge // Amer. Psychologist. 1984. Vol. 39 (2). P. 93-104.

13. Gobet F., Simon H. A. Templates in chess memory: A mechanism for recalling several boards // Cognitive Psychology. 1996. Vol. 31. P. 1-40.

14. HoldingD. Echoic storage // In: N. S. Sutherland (Ed.). Tutorial essays in psychology. New Jersey, 1979. Vol. 2.

15. Jacoby L. L. Remembering the data: Analyzing interactive processes in reading // Journal of Verbal Learning and Verbal Behavior. 1983. № 22. P. 485-508.

16. KandelE. R. Biology and the Future of Psychoanalysis: A New Intellectual Framework for Psychiatry Revisited // American Journal of Psychiatry. 1999. Vol. 156. P. 505-524 .

17. Kihlstrom J. E. The psychological unconscious // Handbook of personality: Theory and research / ed. By L. Pervin. New York. 1990. P. 445-464.

18. Kuutti K. Activity Theory as a Potential Framework for Human-Computer Interaction Research // Context and Consciousness: Activity Theory and Human-Computer Interaction / B. Nardi (ed.). Cambridge, 1996.

19. LeonardN.,Insch G. S. Tacit Knowledge in Academia: A Proposed Model and Measurement Scale // The Journal of Psychology 2005. Vol. 139(6). P. 495-512.

20. Lewicki P., Hill T., Czyzewska M. Nonconscious acquisition of information // American Psychologist. 1992. Vol. 47, 796-801.

21. Lewicki P., Hill T., Sasaki, I. Self-perpetuating development of encoding biases // Journal of Experimental Psychology: General. 1989. Vol. 118, 323-337.

22. Marce A. J. Conscious and unconscious perception: Experiments on visual masking and word recognition. Cognitive Psychology. 1983. №15. P. 187-237 .

23. Merikle P. M., Reingold E. M. Recognition and lexical decision without detection: Unconscious perception? // Journal of Experimental Psychology: Human perception and Performance. 1990. № 16. P. 574-583.

24. Milton N., ClarkeD., ShadboltN. Knowledge engineering and psychology: Towards a closer relationship // International Journal of Human-Computer Studies. 2006. Vol. 64, Issue 12, P. 121-1229.

25. Naikar N., Hopcroft R., Moylan F. Work Domain Analysis: Theoretical Concepts and Methodology. DSTO. 2005. 102 p.

26. NardiB. Activity Theory and Human-Computer Interaction // Context and Consciousness: Activity Theory and Human-Computer Interaction / B. Nardi (ed.). Cambridge, 1996.

27. Nonaka I. A dynamic theory of organizational knowledge creation // Organizational Science. 1994. N 5. P. 14-37.

28. Nonaka I., Konno N. The concept of “Ba": Building a foundation for knowledge creation. California Management Review.1998. Vol. 40. P. 40-54.

29. Nonaka I., Takeuchi H. The knowledge creating company. New York, 1995.

30. Northcroft G. B., Neale M. Experts, amateurs and realestate: An anchoring-and-adjustment perspective on property pricing decisions. Organizational Behavior and Human Decision Process. 1987. Vol. 39. P. 84-97.

31. Oskamp S. The relationship of clinical experience and training methods to several criteria of clinical prediction: Psychological Monographs. 1962. Vol. 76.

32. Patel V L., RamoniM. F. Cognitive Models of Directional Inference in Expert Medical Reasoning // In: Feltovich P., Ford K., Hoffman R. (Eds.) Expertise in Context: Human and Machine . 1997.

33. Rasmmussen J., Pejtersen A. M., Goodstein L. P. Cognitive Systems Engineering. New York, 1994.

34. Richman H., Staszewski J., Simon H. Simulation of expert memory using EPAM IV // Psychological Review. 1995. Vol. 102, № 2. P. 305-330.

35. Schacter D. L. Implicit memory: History and current status // Journal of Experimental Psychology: Learning, Memory and Cognition. 1987. № 13. P. 501-518.

36. Siemsen E., Roth A. V., Balasubramanian S. How motivation, opportunity, and ability drive knowledge sharing: the constraining-factor model // Journal of Operations Management. 2007. Vol. 36 (3). P. 426-445.

37. Simon H. A., Gilmarti R. A simulation of memory for chess positions // Cognitive Psychology. 1973. № 5, P. 29-46.

38. SternbergR. J., Horvath J. A. Tacit knowledge in professional practice. Researcher and practitioner perspectives. Mahwah. New Jersey, 1999.

39. Sternberg R. J., Wagner R. K., Williams W M., Horvath]. A. Testing common sense // American Psychologist. 1995. № 50. P. 912-927 .

40. Sternberg R. J., Forsythe G. B., Hedlund J., Horvath J. A., Wagner R. K., Williams W. M., Snook S., Gri-gorenko E. L. Practical intelligence in everyday life. New York, 2000.

41. Sweller J., Mawer R. K., Ward M. R. Development of expertise in mathematical problem solving // Journal of Experimental Psychology: General. 1983. 112, 463-474.

42. Vicente K. J. Cognitive work analysis: Toward safe, productive, and healthy computer-based work. Mahwah; New Jersey, 1999.

43. Wagner R. K., Sternberg R. J. Tacit knowledge and intelligence in the everyday world // in R. J. Sternberg & R. K. Wagner (eds.) Practical intelligence. Nature and origins of competence in everyday world. New York, 1986. Р. 51-83.

44. Yang Chyan, Chen Liang-Chu. Can organizational knowledge capabilities affect knowledge sharing behavior? // Journal of Information Science. 2007. Vol. 33 (1). Р. 95-109.

45. Zajonc R. B. Feeling and thinking: Preferences need no inferences // American Psychologist. 1980. № 35. Р. 151-175.

46. Zeitz C. M. Some concrete advantages of abstraction // in: P. J. Feltovich, K. M. Ford, R. R. Hoffmann ^ds.). Expertise in context. Cambridge, 1997.

47. Агафонов А. Ю. Забывание как неосознаваемое решение сознания о невоспроизведении // Аллахвер-дов В. М. и др. Экспериментальная психология познания: когнитивная логика сознательного и бессознательного. СПб., 2006.

48. Александров И. О., Максимова Н. Е. Научение // Современная психология / под ред. В. Н. Дружинина. М., 1999.

49. Аллахвердов В. М. и др. Экспериментальная психология познания: когнитивная логика сознательного и бессознательного. СПб., 2006.

50. Андерсон Дж. Р. Когнитивная психология. 5-е изд. СПб., 2002.

51. Брунер Дж. Психология познания: За пределами непосредственной информации. М, 1977.

52. Величковский Б. М. Когнитивная наука: Основы психологии познания. В 2 т. М., 2006.

53. Выготский А. С. Избранные психологические исследования. М., 1956.

54. Гаврилова Т. А., Червинская К. Р. Извлечение и структурирование знаний для экспертных систем. М., 1992.

55. НауменкоЕ. А. Интуитивность как свойство личности: автореф. дисс. ... д-ра психол. наук. СПб., 2001.

56. Рабардель П. Люди и технологии (когнитивный подход к анализу современных инструментов). М., 1999.

57. Румизен М. К. Управление знаниями. М., 2004.

58. Свейби К.-Э. О теории фирмы, основанной на знаниях // «Интеллектуальный капитал». 2001. Т. 2,

№ 4.

59. Тихомиров О. К. Психология мышления: учеб. пособие. М., 1984.

60. Холодная М. А. Психология интеллекта: парадоксы исследования. Томск; М., 1997.

61. Хомский Н. Синтаксические структуры // Новое в лингвистике. М., 1962. Вып. II.

62. Червинская К. Р. Концепция «извлечения экспертных знаний» в инженерно-психологическом контексте // Вестн. СПбГУ. 2008. Сер. 12. Вып. 3. С. 394-402.

63. Червинская К. Р., Щелкова О. Ю. Медицинская психодиагностика и инженерия знаний // под ред. Л. И. Вассермана. СПб., 2002.

64. Шмелев А. Г. Психодиагностика личностных черт. СПб., 2002.