Технологии искусственного интеллекта и экспертные системы

 
Технологии искусственного интеллекта. Одной из основных задач ГИС, которую ставят перед собой исследователи, является получение новых знаний, представлений о природе пространственных данных. В то же время пользователи иногда недооценивают возможности ГИС в области поддержки принятия решений, которые эти системы могут обеспечивать, уделяя основное внимание главным образом представлению, в частности визуализации данных. Ценность географической информации в системах поддержки принятия решений становится особенно значимой, когда в ГИС включаются программные средства, базирующиеся на технологиях и методах искусственного интеллекта (ИИ) — «раздела информатики, изучающего методы, способы и приемы моделирования и воспроизведения с помощью ЭВМ разумной деятельности человека, связанной с решением задач» [Математический.., 1988].
Идея создания искусственного подобия человеческого разума для решения сложных задач и моделирования мыслительной способности витала в воздухе с древнейших времен. Впервые ее выразил Р.Луллий (ок. 1235 — ок. 1315), который еще в XIV в. пытался создать машину для решения различных задач на основе всеобщей классификации понятий.
В XVII в. Г.Лейбниц (1646—1716) и Р.Декарт (1596—1650) независимо друг от друга развили эту идею, предложив универсальные языки классификации всех наук. Эти идеи легли в основу теоретических разработок в области создания ИИ.
Развитие ИИ как научного направления стало возможным только после создания ЭВМ. Это произошло в 40-х годах XX в. В это же время Н.Винер (1894—1964) создал основополагающие работы по новой науке — кибернетике.
Термин «искусственный интеллект» был предложен в 1956 г. на семинаре с аналогичным названием в Стенфордском университете (США). Семинар был посвящен разработке логических, а не вычислительных задач.
В книге [S.J. Russell, P.Norvig, 1995] история ИИ разделена на периоды: 1943—1956 гг. — период созревания ИИ; 1952—1963 гг. — этап раннего энтузиазма и великих ожиданий; 1966—1974 гг. — период первых разочарований, основной причиной которых явился типичный «комбинаторный взрыв» в задачах ИИ. Провал «кавалерийских атак» в форме программ типа GPS (общий решатель задач — General Problem Solver) заставил исследователей строить системы более специализированные и основанные на достаточном объеме экспертных знаний, т.е. для того, чтобы создаваемая система ИИ смогла решать трудные задачи, разработчик примерно должен знать, на какой базе знаний это реализуемо. Соответственно, период с 1969 г. явился временем нового энтузиазма, а именно периодом создания экспертных систем (ЭС).
Экспертные системы были первыми коммерчески значимыми продуктами в области ИИ. Важность таких средств ИИ, как экспертные системы и нейронные сети, речь о которых пойдет далее, состоит в том, что они существенно расширяют круг практически важных задач, которые можно решать на компьютерах, и их решение приносит значительный экономический эффект.
Результатом успешного развития методов и технологий ИИ стало создание многочисленных приложений, ориентированных на конечных пользователей, включая специалистов в области ГИС. Интеграция систем ИИ с ГИС особенно эффективна в задачах оценки, контроля и принятия решения. В этом контексте развитие нейронных сетей, эволюционных вычислений (автономное и адаптивное поведение компьютерных приложений и робототехнических устройств), нечеткой логики, самоорганизующихся СУБД, обработки изображений, экспертных систем и ряда других технологий ИИ связано сегодня с расширением функциональных возможностей в части поддержки принятия решений (см. 4.3). Есть все основания полагать, что в следующее поколение программного обеспечения ГИС будут встроены элементы ИИ.
В настоящее время функциональные возможности пространственного анализа в ГИС еще относительно слабы. В математике средства многомерного пространственного анализа постоянно развиваются и хорошо обеспечены методами исследования геометрии, топологии и других свойств абстрактных объектов, их множеств и структур. Поэтому их широкое внедрение в геоинформационные технологии становится все более актуально и осуществляется по следующим направлениям: расширение функциональной полноты традиционных методов, технологии и программных средств пространственного анализа в ГИС за счет использования возможностей развитых математических методов анализа многомерных данных; развитие новых методов, основанных на интеллектуальных вычислительных технологиях, как базы для создания следующего поколения удобных и более сильных инструментальных программных средств анализа геоданных в условиях все возрастающих объемов первичной информации; создание новых моделей данных, информационных технологий и программных средств, специально предназначенных для многомерного анализа данных, моделирования и прогноза территориально распределенных процессов и обеспечивающих интеграцию с традиционными ГИС.
Первое направление характерно для ГИС практически с момента их появления, второе и третье связаны с фундаментальными исследованиями на стыке математики, информатики и нейрофизиологии. За последние 10 лет исследователи разработали целый класс статистических и адаптивных методов анализа многомерных данных, получивших название нейросетевых методов (см. 4.2). Нейросетевые методы применяются не только для анализа данных, но и, что существенно, для построения моделей процессов, разворачивающихся в многомерных пространствах. Уже сегодня предлагаются интересные классы нелинейных моделей, построенных на основе статистического анализа первичных данных. При этом средства информационных технологий используются для организации доступа и предобработки первичных данных, хранящихся в ГИС и БД. Статистические и адаптивные методы анализа геоданных позволяют улучшить качество исходной информации и построить нейросетевую модель, адекватную как по назначению и качеству исходных данных, так и по суждениям экспертов и задачам исследователей.
Экспертные системы. В последние годы в геоинформатику стали широко внедряться экспертные системы. Экспертную систему можно определить как «систему искусственного интеллекта, использующую знания из сравнительно узкой предметной области для решения возникающих в ней задач, причем так, как это делал бы эксперт-человек, т. е. в процессе диалога с заинтересованным лицом, поставляющим необходимые сведения по конкретному вопросу» [Экспертные.., 1987. — С. 5].
Экспертные системы используются для решения так называемых неформализованных задач, общим для которых является следующее: задачи не могут быть выражены в числовой форме; цели нельзя выразить в терминах точно определенной целевой функции; не существует алгоритмического решения задач; если алгоритмическое решение есть, то его нельзя использовать из-за ограниченности ресурсов (времени, памяти).
Кроме того, неформализованные задачи обладают ошибочностью, неполнотой, неоднозначностью и противоречивостью как исходных данных, так и знаний о решаемой задаче.




Рис. 43. Базовая структура экспертной системы
Упрощенная базовая структура ЭС представлена на рис. 43.
Основу ЭС составляет база знаний (БЗ) о предметной области, которая накапливается в процессе построения и эксплуатации ЭС. Накопление и организация знаний — важнейшее свойство всех экспертных систем.
Знания в работах по ИИ принято разделять на предметные, или общедоступные, и индивидуальные, или эмпирические [Построение.., 1987; Дж.Элти, М. Кумбс, 1987]. К общедоступным знаниям относятся наборы сведений, например в учебниках и другой литературе, а вот индивидуальные знания зачастую носят эмпирический характер, основанный на правилах и подходах, которые эксперт иногда даже не может четко или однозначно сформулировать — их называют эвристиками.
Если при традиционном процедурном программировании вычислительной системе необходимо указать, что и как она должна сделать, то специфика ЭС состоит в том, что используются механизмы автоматического рассуждения (вывода) и «слабые методы», такие как поиск и эвристика.
В ЭС, способных самообучаться на основе накопленного опыта, анализа, контроля и принятия решений, в процессе исследования явлений реального мира появляются как бы знания второго уровня, или метазнания.
Существует несколько способов описания знаний.
В так называемых фреймовых моделях фиксируется жесткая структура информационных единиц, которая называется протофреймом. В общем виде она выглядит следующим образом:
(Имя фрейма:
Имя слота 1 (значение слота 1), Имя слота 2 (значение слота 2),
Имя слота К (значение слота К)).
Значением слота может быть практически что угодно (числа или математические соотношения, тексты на естественном языке или программы, правила вывода или ссылки на другие слоты данного фрейма или других фреймов). В качестве значения слота может выступать набор слотов более низкого уровня, что позволяет во фреймовых представлениях реализовать «принцип матрешки».
При конкретизации фрейма ему и слотам присваиваются конкретные имена и происходит заполнение слотов. Таким образом, из протофреймов получаются фреймы-экземпляры. Переход от исходного протофрейма к фрейму-экземпляру может быть многошаговым, за счет постепенного уточнения значений слотов.
Поясним суть фреймового представления знаний на примере оценки состояния природной среды с точки зрения ее антропогенной трансформации и прежде всего загрязнения [В.С.Тику- нов, 1989]. Образуем протофрейм:
(Состояние природной среды:
выбросы вредных веществ в атмосферу (значение слота 1), загрязнение подземных и поверхностных вод (значение слота 2), состояние геологической среды (значение слота 3), состояние почвенного покрова (значение слота 4), состояние растительного и животного мира (значение слота 5)               •)
Каждый слот кроме имени может иметь одно или несколько значений (качественных или количественных), например, «выбросы вредных веществ предприятием в атмосферу» -gt;• «изобутилен», «200», «600», «400», «600»; «этиленгликоль», «40», «70», «60», «80» и т.д. При характеристике выбросов изобутилена, этиленгликоля и других загрязняющих веществ первое числовое значение может определять фоновые, второе — максимальные, третье — реальные концентрации, а четвертое — предельно допустимую концентрацию. В качестве слота могут использоваться сложные структуры, включающие иерархию слотов более низкого порядка.
Так, в слот «выбросы вредных веществ в атмосферу» можно включить слот «состояние атмосферы», который, в свою очередь, будет характеризоваться слотами: «скорость ветра», «распределение температур», «стратификация атмосферы» и т.д. Изменяя содержание слотов, преобразуется вся семантическая структура в зависимости от конкретных целей, например связанных с выработкой рекомендаций по охране природной среды.
В продукционных моделях, наиболее распространенных в настоящее время, знания представляются правилами вида
(/); Р ;А-gt; В; Q,              (4.1)
где / — имя продукции, с помощью которого данная продукция выделяется из всего множества продукций; А -*¦ В — ядро; Р — условие применимости ядра продукции; Q — критерий, описывающий постусловия продукции.
В качестве имени может выступать некоторая лексема, отражающая суть данной продукции (например, «размещение завода в пункте (/)»), или порядковый номер продукций в их множестве, хранящемся в памяти системы.
Основным элементом продукции является ее ядро: А -> В. Интерпретация ядра продукции может быть различной и зависит от того, что стоит слева и справа от знака секвенции              Обычное прочтение
ядра продукции выглядит так: ЕСЛИ А, ТО В, более сложные конструкции дара допускают в правой части альтернативный выбор, например, ЕСЛИ А, ТО Ви ИНАЧЕ В*. Секвенция может истолковываться в обычном логическом смысле как знак логического следования В из истинного А (если А не является истинным выражением, то о В ничего сказать нельзя). Возможны и другие интерпретации ядра продукции, например А описывает некоторое условие, необходимое для того, чтобы можно было совершить действие В.
Элемент Р — условие применимости ядра продукции, обычно представляет собой логическое выражение (как правило, предикат). Когда Р принимает значение «истина», ядро продукции активизируется. Если В «ложно», то ядро продукции не может быть использовано.
Критерий Q описывает постусловия продукции. Они актуализируются только в том случае, если ядро продукции реализовалось. Постусловия продукции описывают действия и процедуры, которые необходимо выполнить после реализации В. Выполнение Q может происходить сразу после реализации ядра продукции.
При использовании продукционных моделей у систем, основанных на знаниях, имеется возможность: применения простого и точного механизма использования знаний; представления знаний с высокой однородностью, описываемых по единому синтаксису.

Эти две отличительные черты и определили широкое распространение методов представления знаний правилами.
Программные средства, оперирующие со знаниями, представленными правилами, получили название продукционных систем (или систем продукции) и впервые были предложены А. Постом в 1941 г.
В качестве примера применения «продукции» рассмотрим задачу, сформулированную по аналогии с примером из книги [И.А.Портянский, 1989]. Допустим, требуется найти место для размещения завода (А) по производству алюмйния (объем производства — 100 тыс. т в год). Для этого желательно выполнение следующих условий:
Pi — залежи бокситов удалены не более чем на 500 км;
Р2 — добыча бокситов не менее 400 тыс. т в год;
Р2 — производство из бокситов не менее 200 тыс. т глинозема;
Р4 — наличие значительных энергоресурсов;
Р$ — район размещения завода — Северный Кавказ;
Р6 — город, где будет находиться завод, должен обеспечить полное укомплектование персоналом (700 чел.).
«Продукция», описывающая ситуацию для пункта (/), такова:
(/); Pamp;P6(Ngt; 700), А -gt; В, Q,
где Р определяет выполнение первых пяти условий размещения предприятия (А), т.е.
Р= Р{amp; Р2amp; Р3amp;Р4amp; Р5;
Р6 определит, достаточно ли свободных трудовых ресурсов (более 700 чел.), В фиксирует пригодность пункта (/) для размещения завода, a Q определяет условия в связи с тем, что в пункте / будет завод.
Применение «продукции» упрощает диалог и объяснения пользователю, почему принято то или иное решение. Соответствующие примеры показаны в книге [И.А.Портянский, 1989]. Для подчеркивания сильных сторон фреймов и «продукций» возможен их синтез [Г. С. Поспелов, Д. А. Поспелов, 1985], например «продукции» в качестве слотов во фреймах.
Важной особенностью экспертных систем является возможность работать с «нечеткими» данными [L.AZadeh, 1965; Нечеткие.., 1986;
С.              Rolland-May, 1987; В.С.Тикунов, 1989], но и, что самое главное, с «нечеткими» знаниями. Для этого применяются понятия нечеткой логики — надмножества булевой логики, которая была расширена в целях обработки концепции частичной правды — значения истинности между «полностью истинным» и «полностью ложным». Нечеткая логика была введена доктором Л. А. Заде в 60-х годах XX в. как способ моделирования неопределенностей естественного языка.
Основная идея Л. А. Заде состояла в том, что человеческий способ рассуждений, опирающийся на естественный язык, не может быть описан в рамках традиционных математических формализмов. Этим формализмам присуща строгая однозначность интерпретации, а все, что связано с использованием естественного языка, имеет многозначную интерпретацию. С самого начала основная прагматическая цель Л. А. Заде — создание аппарата, способного моделировать человеческие рассуждения и объяснять человеческие приемы принятия решений в ходе решения различных задач, привлекла в эту область многочисленную армию прикладников. Идеи Л. А. Заде и его последователей находят применение при создании систем, понимающих тексты на естественном языке, при создании планирующих систем, опирающихся на неполную информацию, при обработке зрительных сигналов, при управлении техническими, социальными и экономическими системами. Используя комбинации элементов знаний, можно прийти к вполне определенным заключениям, т.е. даже на основе ненадежных данных есть возможность получать правдоподобные выводы. «Нечеткость» определений, которыми оперирует географ, ведет к «нечеткости» знаний. Например, обратившись к понятию «широкая река», мы отчетливо представляем, что для разных людей этот размер может варьировать в значительных пределах. Для характеристики фактов используется нечеткая логика, разработаны коэффициенты уверенности для измерения степени доверия к любому заключению [Экспертные.., 1987].
Другим важным элементом экспертной системы является механизм логических выводов (машина вывода). «Машина логического вывода является универсальной думающей машиной, а база знаний — это то, над чем ей предстоит думать» [Экспертные.., 1987. —
С.              65]. Иными словами, в ответ на запрос система способна строить логические выводы и на их основе приходить к заключениям. Здесь проверяется выполнимость условий конкретной ситуации по отношению к имеющимся правилам и подбирается путь их удовлетворения. Причем в отличие от традиционных алгоритмов, осуществляющих механический перебор всех правил, в экспертной системе пространство поиска сужается за счет того, что, как и человек, ЭВМ должна ожидать, что же ей встретится. Например, анализируя видовой состав смешанных и широколиственных лесов средней полосы европейской части России, географ ожидает встретить ель, березу, дуб, липу, клен, но не пальмы или мангры, перебор которых для анализа противоречит здравому смыслу.
Процедуру получения выводов путем анализа фреймов или «продукций» называют прямой стратегией. В том случае, если человек выдвигает гипотезы (делает он это, как правило, с охотой), а ЭВМ их проверяет (что проще для машины), то мы переходим к обратной стратегии. Используются и смешанные стратегии, когда машина выдает ряд вариантов решения, а экспертная система именно так и поступает, выбрав из них какое-нибудь одно, которое анализируется с помощью обратной стратегии. Естественно, что этот путь будет неоднозначным, причем могут добавляться новые значения и т. д.
Модуль приобретения знаний проверяет непротиворечивость вновь поступающих сведений имевшимся правилам. Достигается это путем проверки семантической непротиворечивости, а также автоматическим тестированием. Проверка семантической непротиворечивости определяет согласование вносимых изменений правилам базы знаний, а автоматическое тестирование проверяет нововведения на большом количестве задач, чтобы оценить, сколь положительно они влияют на работу экспертной системы (Построение.., 1987]. В случае конфликтных ситуаций требуется пересмотр правил. Здесь применяются различные степени доверия для потенциальных решений, чтобы они не противоречили здравой логике, хотя сделать это не всегда просто.
Здесь может оказаться целесообразным характеристика не отдельных явлений, а их классов, когда конкретная ситуация сравнивается с типичными примерами. Допустим, географ, классифицируя типы берегов (риасовый, шхерный, фьордовый), как бы сравнивает их с идеальными моделями: фьорды — узкие, глубоко вдающиеся в сушу клинья и т.д. Но экспертная система не ограничивается алгоритмической классификацией и учитывает семантику. Классифицируя географические объекты «Москва», «Орел», «Брянск», человек легко сгруппирует их в города, но «Москву» в сочетании с «Волгой» и «Леной» отнесет к рекам, а вот «Орел» в сочетании со словами «Коршун» и «Ястреб», так же, как и «Лена», «Ирина», «Валентина» приводят к совершенно иным смысловым значениям, то же должна уметь эвристическая программа.
Более того, иногда требуется и не совсем «логичное» заключение. Например, анализируя уровни социально-экономического развития стран по ряду формальных критериев, в том числе таким, как национальный доход на душу населения, число автомобилей на 1 тыс. жителей и другим показателям, Кувейт должен быть отнесен к числу ведущих стран, но эксперт-географ, сильно занизив его оценку, не выглядит странным. Так же должна поступать и экспертная система, выводя одни правила из других, и приходить к заключениям, получить которые из формальной логики невозможно.
Существует еще один характерный момент для экспертной системы. Так как правила, создаваемые одним географом, чаще всего сильно отличаются от того, как это делает другой специалист, экспертная система как бы становится «вторым я» того или иного ученого, копируя его стиль работы.
Модуль советов и объяснений (система объяснений) используется для разъяснения пользователю того, как экспертная система пришла к тому или иному конкретному выводу. Причем в процессе работы пользователь может задавать дополнительные вопросы о получении промежуточных результатов, уточнять цели, инспектировать правила с точки зрения их согласования между собой и соответствия поставленным целям и др. «Метод рассуждения, который не может быть объяснен человеку, является неудовлетворительным, даже если с ним система работает лучше, чем специалист» (Экспертные.., 1987. — С. 19].
Как правило, модуль советов и объяснений делает трассировку хода проведения рассуждений в обратном порядке от того места, к которому относится вопрос, или от конечного результата. Каждый шаг рассуждения подкрепляется выводами из правил базы знаний. Экспертная система объясняет также, почему она не пошла другим путем, какие правила базы знаний этот путь заблокировал. Объяснения экспертной системы помогают пользователю совершенствовать базу знаний, показывая слабые места, ведущие к неправильным выводам. Пример работы экспертной системы и блока объяснения логики решений приведен в книге [И.А.Портянский, 1989).
Экспертные системы могут сильно отличаться своей конфигурацией в зависимости от целей их создания, имеющихся технических средств, объема данных и знаний [Искусственный.., 1990; Г. В. Рыбина, 1991; Введение.., 1995; Статистические.., 1996; Экспертные.., 1996; П.Джексон, 2001]. Причем важной является возможность комбинирования экспертных систем с математическими моделями, служащими для алгоритмических вычислений. Такие системы принято называть интегрированными.
В обобщающих работах по экспертным системам выделяют несколько их типов [Построение.., 1987; Экспертные.., 1987): интерпретирующие, позволяющие на основе полученных фактов делать описания и выводы; прогнозирующие — выводящие следствия из совокупности состояний исследуемых явлений, например, прогноз погоды, урожайность сельскохозяйственных культур и др.; диагностические, прежде всего в медицине; проектирования — в строительстве; планирования; мониторинги, ремонта; обучения и др.
Важны классификационные аспекты географии, и здесь роль экспертных систем в решении неподдающихся математической формализации и сложных для логического анализа задач может быть велика, например, в случае типизации географических ситуаций, при применении метода ситуационного управления, предложенного Д. А. Поспеловым, в частности в географии при разработках геоситуационного направления [А. М.Трофимов, М.В.Па- насюк, 1982].
Типология геоситуаций необходима для выработки правил, фактов и связей в соответствующих базах знаний, формируемых на основе знаний экспертов. Сценарии, построенные на базе типов геоситуаций, позволяют в каждом конкретном случае обращаться не к перебору нескольких вариантов, а, идентифицировав тип, анализировать структуру соответствующих пространственных образований по отношению к характеристикам их типа. В дальнейшем экспертные системы смогут определять структуру геоситуаций и рекомендовать мероприятия для их целенаправленных трансформаций или консервации, например при выработке рекомендаций по охране окружающей среды и т.д.
Одно из интересных приложений экспертных систем может состоять в их применении не только для обучения отдельным дисциплинам с использованием опыта наиболее известных преподавателей (безгранично расширив их аудиторию), но и служить в качестве «интеллектуального интерфейса» для'связи, например, с вычислительными пакетами программ, с которыми пользователь мало знаком, т.е. быть своеобразным гидом.
С распространением экспертных систем в географии и экологии специалисты получат возможность использовать технику для уточнения, распространения, пропаганды, а главное, получения новых индивидуальных знаний, сопоставлять между собой конечные и промежуточные выводы при несовпадающих мнениях. Кстати, экологи и географы, обходившиеся в своей работе без математических методов и расчетов на компьютере, смогут использовать вычислительные машины без применения алгоритмических подходов. Роль специальных знаний еще более возрастет, а их передача от «учителя к ученику» облегчится, улучшится сохранность накопленных знаний и возможность их дальнейшего пополнения и совершенствования. Для специалистов особенно важно, что наиболее ценной и дорогостоящей частью в экспертных системах оказываются их профессиональные знания. В целом экспертные системы могут рассматриваться как одно из самых мощных средств исследований на ближайшую перспективу.
Контрольные вопросы В чем специфика систем искусственного интеллекта? Какова типовая структура экспертной системы? Что такое «фреймы»? Что такое «продукции»? В чем смысл методов нечеткой логики? Что такое «база знаний»? Объясните механизм логических выводов ЭС. Как работает модуль приобретения знаний? Для чего необходима система объяснений? Как классифицируют ЭС в географии и экологии? 
<< | >>
Источник: Е. Г. Капралов,  А. В. Кошкарев, В. С. Тикунов. Геоинформатика: Учеб, для студ. вузов. 2005

Еще по теме Технологии искусственного интеллекта и экспертные системы:

  1. МНОГОАГЕНТНЫЕ СИСТЕМЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА: СИНЕРГЕТИЧЕСКАЯ МОДЕЛЬ РАЦИОНАЛЬНОСТИ Капитонова Т.А.
  2. Глава 4 ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ, ЕГО РИСКИ И НЕПРЕДСКАЗУЕМОСТЬ
  3. Угрозы, порождаемые искусственным интеллектом
  4. Возражение базовое: искусственный интеллект невозможен.
  5. Система диагностики заболеваний группы «Острый живот», построенная на основе метода экспертной классификации
  6. Технология работы логистических систем
  7. ГЛАВА 15. ЛОГИСТИЧЕСКИЕ МУЛЬТИМОДАЛЬНЫЕ ТРАНСПОРТНЫЕ ТЕХНОЛОГИИ В СИСТЕМЕ ТРАНСПОРТА УКРАИНЫ
  8. Влияние прогресса информационных и телекоммуникационных технологий на образовательные системы
  9. ТЕХНОЛОГИЯ ВЕДЕНИЯ РАБОТ НА ПРИМЕРЕ ОПАЛУБОЧНЫХ СИСТЕМ PERI
  10. ТЕМА 25. ТЕХНОЛОГИЯ СТАНОВЛЕНИЯ И РАЗВИТИЯ ВЗАИМОПОМОЩИ В СИСТЕМЕ СОЦИАЛЬНОЙ ПОДДЕРЖКИ НАСЕЛЕНИЯ
  11. ПРИЛОЖЕНИЕ Б Расчет фактического экономического эффекта от внедрения технологии бурения с гибким регулированием давления в системе «скважина - пласт»
  12. Под ред. С.А.Смирнова. Педагогика: педагогические теории, системы, технологии: Учеб. для студ. высш. и сред. пед. учеб. заведений, 2000
  13. Трудности получения экспертных знаний
  14. Подсознательный характер экспертных знаний
  15. ИСКУССТВЕННЫЙ КЛИМАТ
  16. Роль экспертно-криминалистических подразделений