<<
>>

5.4. Этап четвертый. Выявление проблемного месива

Стейкхолдеры имеют интересы, которые нам предстоит учесть. Но для этого их необходимо знать. Пока же мы имеем лишь список обладателей интересов. Первая порция информации, которую не­обходимо получить о стейкхолдере, — это его собственная оценка ситуации, проблемной для нашего клиента.

Она может быть разной: у кого-то из стейкхолдеров могут быть свои проблемы (оценка от­рицательна), кто-то вполне удовлетворен (оценка положительная), другие могут нейтрально относиться к реальности. Так прояснится «выражение лица» каждого стейкхолдера (рис. 5.7). По сути, мы дол­жны выполнить работу, которую делали на первом этапе с клиен­том, но теперь с каждым стейкхолдером в отдельности.

Рис. 5.7

Полученный перечень субъективных оценок существующей ре­альности (которая для клиента является проблемной) Р. Акофф пред­ложил называть проблемным месивом (тевь). Хотя этот термин име­ет легкий жаргонный оттенок (из-за чего некоторые авторы предпочитают называть его более сухо — «проблематикой»), он удач­но подчеркивает очень существенный, принципиально важный мо­мент: входящие в него суждения не являются независимыми, они пе­реплетены, взаимосвязаны (как суждения об одном и том же). Это означает, что они образуют целостную систему, со всеми вытекаю­щими отсюда последствиями.

В данном случае главным следствием является такое свойство, как неделимость на части (десятое свойство системы). Отсюда оче­видной становится не то чтобы недопустимость (к сожалению, не всегда удается удержать кого-то от совершения глупости), но не­желательность, неправильность решения какой-то одной, пусть и очень важной проблемы в отрыве от других компонент проблем­ного месива.

Таким образом, проблема клиента выступает в месиве как его ядро, зародыш, вокруг которого сгруппированы мнения остальных стейкхолдеров.

Теперь ясно, что нашей задачей является не решение проблемы клиента как таковой, а работа с проблемным месивом в це­лом. Этому и служат проектирование и реализация улучшающего вмешательства, решающего проблему клиента с учетом интересов всех стейкхолдеров.

Технологии выявления проблемного месива. Дж. Уорфилд раз­работал конкретную технологию разработки проблемного месива, успешно применяемую им на практике.

Первый этап его методики, «Метод групповой формулировки» (NTG — Nominal Group Technique), выявляет проблемное месиво путем постановки перед группой стейкхолдеров вопроса: «Какие проблемы вы видите в данной проблемной ситуации?» Каждый из них создает письменную формулировку осознаваемых им проблем, и их распечатки вывешиваются на стену на общее обозрение. Ми­нут через 15—30 генерация идей затухает. Затем проводится обсуж­дение каждой из них с целью уточнить, что именно имеет в виду автор. Такое обсуждение может занять два-три часа, так как число проблем обычно оказывается от 40 до 160, а обсуждение идет в дис­куссионной манере.

Однако практика решения проблем реальной жизни крупных организаций показывает, что выявление их проблемного месива ча­сто не может быть сведено лишь к разовому, однократному интер­вьюированию стейкхолдеров. Каждый участник проблемной ситу­ации смотрит на нее со своей локальной позиции и видит лишь одну из ее сторон и лишь те детали этой стороны, которые содержатся в его модели реальности. Этого бывает недостаточно для адекват­ного описания ситуации. В таких случаях выявление проблемного месива становится тщательным исследованием ситуации, построе­нием подробной, богатой картины, содержащей возможно более пол­ную информацию о действительных проблемах, связанных с дан­ной ситуацией.

Ограниченность описания субъектом реальности вызвана тем, что он воспринимает реальность только через свои модели. Поэтому увеличения притока нужной информации можно добиться, предла­гая субъекту смотреть на ситуацию не с одной (привычной для него) точки зрения, а используя и другие модели.

В технологии системного анализа используются разные спосо­бы реализации этого замысла. Например, применялось разделение стейкхолдеров на две группы — сторонников решения проблемы «сверху вниз» и «снизу вверх», т.е. тех, кто предпочитает планиро­вать от глобальной цели, декомпозируя ее до целей нижайшего уров­ня, и тех, кто старается цели нижайшего уровня последовательно аг­регировать до синтеза глобальной цели. Этим группам и предлагается сформулировать предполагаемые проблемы каждого стейкхолдера, а затем в диалектической дискуссии выработать итоговую формули­ровку проблемного месива.

Другой вариант предложения набора различных представлений об организации (метафор) состоит в следующем[2]: на организацию можно смотреть как на «машину», «организм», «мозг», «культуру», «политическую систему», «инструмент подавления», и т.д. Каждая из этих точек зрения высвечивает некоторые особенности, не видные с других позиций, а некоторые аспекты являются общими. Это и по­зволяет увидеть ограниченность модели, которой мы придерживались вначале, и развернуть более подробно проблемное месиво. В публи­кациях сообщается о практической полезности и других метафор, например, «организация как непрерывно изменяющаяся система», «как сумасшедший дом», «как карнавал».

Метафора «машина» обращает внимание на назначение (цель) системы, на состав частей, их функции и связи между ними, обычно выражаемые иерархическими структурами. Метафора «организм» опи­сывает систему, исходной целью которой является выживание в усло­виях турбулентной окружающей среды. Метафора «мозг» выделяет значимость информационных процессов, принятия решений, управ­ления, обучения, коррекции целей. Метафора «культура» фиксирует­ся на учете индивидуальных особенностей работников, их ценностей, личных устремлений; на корпоративной культуре, сплачивающей кол­лектив. Политическая метафора сосредоточивает внимание на взаи­моотношениях между людьми в организации, отношениях власти и от­ветственности, соперничества и сотрудничества, разрешении конфлик­тов и т.

д. Метафоры «инструмент подавления» и «сумасшедший дом» концентрируются на негативных аспектах жизни в организации: огра­ничение свободы в мыслях и в раскрытии способностей, эксплуата­ция, преобладание наказаний над поощрениями, дискриминация по каким-то признакам. Каждая метафора сопровождается моделью сис­темы, и выявление проблем осуществляется путем описания рассмат­риваемой системы в терминах данной модели.

Еще один вариант раскрытия разнообразия подходов к проблем­ной ситуации в менеджменте — указать на наличие разных парадигм. Словом «парадигма» обозначено видение мира, совокупность идей, предположений, убеждений, которыми человек руководствуется в своих действиях.

Следует подчеркнуть разницу между метафорами и парадигма­ми. Метафора — это частичное, одностороннее представление об объекте или явлении. Различные метафоры не противоречат, а до­полняют друг друга. Приверженцы же различных парадигм считают, что они предлагают наилучший способ описания наблюдаемой «ре­альности». Поэтому парадигмы несовместимы, и порождаемые ими описания — тоже. Поэтому рекомендации, даваемые менеджеру экс­пертами, придерживающимися разных парадигм, противоречивы, что вынудит его искать нечто «среднее».

Выделяют четыре парадигмы: функциональную (the functionalist paradigm), объяснительную (the interpretive paradigm), освободитель­ную (the emancipatory paradigm), постмодернистскую (the postmodern paradigm).

«функциональная» парадигма исходит из того, что с помощью научных методов можно понять, как система действует, выяснив природу частей системы, взаимодействия между ними и между сис­темой и окружающей ее средой. Полученные знания помогут ме­неджеру улучшить управление организацией. С этой парадигмой обычно связываются метафоры «машина», «организм», «мозг», «из­меняющаяся система».

«Объяснительная» парадигма считает, что организации — это социальные системы, создаваемые для достижения субъективных целей, вытекающих из интерпретации обстоятельств, в которых ока­зался субъект.

Организация создается людьми, и люди в ней действу­ют, — в соответствии со своими интерпретациями реальности. Эта парадигма направлена на достижение понимания смыслов, которые вносят организации в совместную деятельность, определения совпа­дающих областей этих смыслов, и тем самым — на создание общей целенаправленной работы. Тем самым менеджеры ориентируются на достижение необходимого уровня общей корпоративной культуры в организации, принятия решений с участием работников, повыше­ние их приверженности организации. С этой парадигмой обычно свя­заны культуральная и политическая метафоры.

«Освободительная» парадигма нацелена на «освобождение» личностей и групп в организациях и обществе. Она настороженно относится к власти и старается предавать гласности ее методы и кон­кретные факты подавления и принуждения, которые она считает про­тивозаконными. Она критикует status quo и призывает к радикаль­ным реформам и даже революционному изменению существующего порядка. Она против любых форм дискриминации (по расе, полу, ста­тусу, возрасту и т.д.). С этой парадигмой часто связаны метафоры «инструмент подавления» и «сумасшедший дом».

«Постмодернистская» парадигма находится в оппозиции раци­онализму всех трех модернистских парадигм. Она считает, что соци­альные системы настолько сложны, что попытки других парадигм дать им рациональное объяснение бесполезны. В частности, они не могут объяснить аспекты удовольствия, развлечения, эмоциональности в действиях людей в организации. Она настаивает на открытом раз­решении конфликтов, свободе выражения противоположных мнений, поощряя вариативность и разнообразие. Этой парадигме соответству­ет метафора «карнавал».

До сих пор мы говорили о «проблемном месиве» как своего рода «фотографии» текущего состояния отношений стейкхолдеров к су­ществующей ситуации. Однако все происходящее со временем пре­терпевает изменения, и очень многое зависит от того, что будет про­исходить в дальнейшем. Поэтому для действительно «системного» решения проблемы необходимо опираться не только на информацию о текущем состоянии («фотографию») — статическую модель сис­темы, но и на ее динамическую модель («кинофильм»).

Таким образом, формулирование проблемного месива требует выявить совокупность взаимосвязанных угроз и возможностей для организации или учреждения, проблему которых мы взялись решать. Вот эта-то совокупность и является полной картиной («rich picture») проблемной ситуации, проблемным месивом («mess»). Она опреде­ляет, как организация довела бы себя до краха, если она будет про­должать действовать так же, как до сих пор, т.е., если она не сможет адаптироваться к изменениям во внутренней и внешней среде, даже если бы она могла точно предсказать ход этих изменений. Тем са­мым выявляется то, чего организация или учреждение должны из­бегать любой ценой.

Такой подход к формулированию проблемного месива практи­чески одинаков как для организации, которая уже оказалась в кризи­се, так и для той, которая лишь встревожена негативными тенденци­ями и желает предотвратить назревающий кризис.

Иногда формулирование проблемного месива можно свести к выявлению проблем стейкхолдеров, что можно выполнить по типу мозгового штурма на сессии стейкхолдеров или их представителей. Но при достаточно большой сложности ситуации может потребовать­ся более детальное ее рассмотрение. Например, Р. Акофф рекоменду­ет делать это в несколько этапов.

1. Выполнение анализа системы. Это — подробное описание того, как организация или учреждение работает в настоящее время. Удоб­но это представить серией блок-схем, показывающих, как в органи­зации входной материал приобретается и преобразуется, как в ней проходят потоки денег и информации. Эти блок-схемы можно гото­вить по отдельности, но обычно полезно скомбинировать их в еди­ную схему или изобразить на прозрачных слайдах, при наложении которых друг на друга легко просматриваются их взаимосвязи.

2. Выполнение анализа препятствий. Определите те характери­стики и свойства организации, которые мешают ее прогрессу или препятствуют изменениям (например, конфликты или традиции).

3. Определение сценариев (опорных проектов) возможного бу­дущего. Сформулируйте, к чему приведет ход событий, каково буду­щее организации, если будут отсутствовать изменения в ее существу­ющих планах, программах, политике и практике. Это должно обнажить возможность саморазрушения организации, показать, как препятствия, описанные на этапе 2, помешают произвести необходи­мые перемены.

Структурирование проблемного месива. Индивидуальные представления стейкхолдеров о проблемной ситуации, зафиксирован­ные в протоколах собеседований с ними, являются исходными дан­ными, содержащими сведения о рассматриваемой системе пока еще в неявной форме.

Извлечение сведений выражается в построении все более содер­жательных моделей (данные, информация, знания, понимание, муд­рость — см. главу 3).

Первый шаг состоит в сортировке, группировке, классификации данных. Такая первичная обработка дает описание, названное Р. Акоффом информацией. Применительно к этапу формирования проблемного месива эта операция приводит к образованию групп про­блем при статическом описании проблемного месива и к появлению сценариев (опорных проекций) при динамическом.

Есть технологии, не требующие дальнейшей структуризации проблемного месива (например, идеализированное проектирование). Однако может встретиться ситуация, когда потребуется перейти к учету взаимосвязей между компонентами проблемного месива, т.е. к построению моделей следующего уровня, типа «знание».

Типичным примером этого служит ситуация, когда заведомо ясно, что наличных ресурсов явно недостаточно для решения всех проблем, образующих месиво.

Встают вопросы, каким проблемам отдать предпочтение и как правильно учесть все остальные. Ответ состоит в том, чтобы для раз­ных распределений ресурсов по проблемам месива спроектировать улучшающие вмешательства, а из всех таких вариантов выбрать тот, который дает наибольшее улучшение при заданных ограничениях (т.е. оптимальный). Обычно в числе ограничений, кроме объема ресур­сов, значится обязательное улучшение ситуации для клиента, но и при этом может оказаться, что основные ресурсы не обязательно должны направляться на его личную проблему.

Задача распределения ресурсов и определения очередности ре­шения проблем существенно облегчается, если удастся как-то упо­рядочить проблемное месиво. Это возможно не всегда. Примером, когда это возможно, является планирование целевого проекта, в ко­тором каждый участник должен определить для себя проблемы и вы­полнить свою роль. В этом случае рекомендуется после выявления проблемного месива заняться построением иерархического дерева проблем, выявляя тем самым причинно-следственные отношения между ними.

Один вариант техники построения дерева проблем можно опи­сать следующим образом. Стейкхолдеры (участники проекта), озна­комившись с проблемным месивом, выписывают, каждый по своему усмотрению, ключевую, фокальную проблему во всем месиве. Каж­дый руководствуется собственными интересами и своими проблема­ми. Далее проводится коллективное обсуждение ранжирования про­блем, пока участники не придут к согласию, какая же проблема является отправной. Затем берется следующая проблема и сравнива­ется с первой. Тогда:

— если вторая проблема является причиной, условием для пер­вой, она помещается уровнем ниже;

— если она является следствием первой, она помещается выше;

— если она не является ни следствием, ни причиной, то ставится на тот же уровень.

По этой схеме рассматриваются остальные проблемы. По ходу работы может оказаться целесообразным изменить фокальную про­блему, но это не лишает смысла и значимости проведенный анализ.

Например, если фокальной проблемой взята «Недостаточная чис­ленность квалифицированных профессионалов такой-то специально­сти», то ее причина может быть сформулирована как «Недостаточные масштабы и качество высшего образования по данной специальнос­ти», а следствием — «Недоукомплектованность и неэффективность государственных и негосударственных предприятий соответствующе­го профиля».

При наличии дерева проблем вопрос об очередности проблем решается очевидным образом: вышестоящие проблемы не могут быть решены, пока не решены нижестоящие.

Однако случаи, когда проблемы удается выстроить в идеаль­ную древовидную иерархическую структуру, являются редкостью. Из-за всеобщей взаимосвязи в природе (следствие второго свой­ства системы) даже только существенные связи между компонен­тами проблемного месива чаще образуют сетеобразную структуру, в которой взаимные влияния образуют и замкнутые петли обрат­ной связи. Именно это приводит к пониманию, что для сложных проблем не существует простых решений, что любая проблема не имеет единственной причины, хотя среди них есть «более важные» и «менее важные».

В целом же и при недревовидности месива очередность и ин­тенсивность решения проблем должны определяться именно струк­турой месива, стремлением продвинуть к улучшению все месиво в це­лом, а не тем, кто из стейкхолдеров настойчивее добивается решения его проблемы.

Дж. Уорфилд предлагает другой подход к структурированию проблемного месива — строить не древовидную, а сетевую структу­ру[3]. Он называет это «построение объяснительной модели» (ISM — Interpretive Structural Modeling).

Для каждой пары проблем задается вопрос: «Усугубляет ли проблема х проблему у? Ответ является основой для включения ребра между х и у в граф и нанесения направленности на ребро. При этом может потребоваться уточнение формулировок хну. Решение о наличии связи между хну нее направленности прини­мается голосованием по большинству («не знаю» приравнивается к «нет»), В итоге образуется направленный граф, описывающий структуру месива.

Из-за большого числа рассматриваемых пар эта работа может выполняться с помощью компьютерной поддержки (соответствую­щие программы можно бесплатно скачать с http://www.gmu/edu/ бераПлпе^8/Ыа818).

Полученный граф можно далее преобразовывать в меньшее чис­ло более простых укрупненных структур второго и третьего порядка, группируя проблемы по каким-то признакам. Например, автор реко­мендует группировать проблемы по важности. Каждому стейкхолде­ру предлагается выбрать из графа пять важнейших проблем и далее работать с полученными пятерками, например, анализируя их пере- крываемость.

Конечной целью структурирования является преобразование графа так, чтобы стрелки были направлены слева направо, что вы­деляет проблемы, которые следует решать в первую очередь, и те, которые можно решать позже. Конечно, остаются сложности в слу­чае появления циклов в графе, которые подлежат отдельному рас­смотрению.

Структурирование проблемного месива является подготовитель­ным шагом к последовательному решению совокупности проблем. Однако метод последовательных, непрерывных, мелких улучшений, «непрерывного совершенствования» многими критикуется как полу­мера, слабо согласованная с изменчивостью среды, не полностью учи­тывающая эмерджентность системы.

Когда устраняют нежелательное, обычно получают еще более нежелательное. Избавляясь от телевизионной программы путем пе­реключения на другой канал, мы попадаем на программу, которая нравится нам еще меньше. Применение дуста против вредных насе­комых наносило вред окружающей среде. Законодательное запреще­ние алкоголя породило организованную преступность. Заключенные в тюрьму часто лишь повышают свою преступную квалификацию. Поэтому избавление от нежелательного часто является лишь уходом от ответственности.

В качестве альтернативы инкременталистскому подходу особо­го упоминания заслуживает методика «идеализированного проекти­рования» Р. Акоффа[4]. Эта методика вообще не требует упорядочения проблемного месива: выявление проблем и их последствий нужно лишь для осознания необходимости перемен. А последующее проек­тирование перемен исходит из предположения будто существующая (и не удовлетворяющая нас) система «исчезла прошедшей ночью», и работа направлена не на исправление нежелательных особеннос­тей организации, а на проектирование желательных.

Участие стейкхолдеров в анализе. Самым лучшим источником достоверной, точной и полной информации о стейкхолдере являет­ся, конечно, он сам. Чтобы узнать, каковы его проблемы, необходимо с ним связаться и побеседовать. Так мы столкнулись с необходимос­тью вовлечения в процесс анализа самих стейкхолдеров. (Впослед­ствии выяснится, что это необходимо и для всего дальнейшего про­цесса, а не только на данном этапе.)

Никто не может лучше них самих выразить их мнение. Но полу­чение информации из первых рук наталкивается на проблему доступ­ности стейкхолдера. «Безмолвные» стейкхолдеры по природе своей неконтактны; некоторые участники ситуации не имеют возможнос­ти или желания сотрудничать с аналитиком; часть стейкхолдеров может быть не лицом, а группой, да еще многочисленной, а некото­рые лично недоступны по географическим или политическим при­чинам. Но информация о них все равно нужна!

Проблема недоступности решается следующим образом. Все стейкхолдеры делятся на два типа: обязательные и желательные уча­стники анализа.

Сначала следует определить проблемосодержащие и проблемо­разрешающие системы среди организаций-стейкхолдеров. С одной проблемосодержащей системой вопрос ясен: это ее представитель обратился к аналитику и будет клиентом. Но может быть, в эту про­блему включен еще кто-то? Далее, нужно выделить проблеморазре- шающую(-ие) систему(-ы), т.е. тех, за чей счет, с чьей помощью будет реализовываться вмешательство. Часто одна и та же организация яв­ляется и проблемосодержащей, и проблеморазрешающей (например, мощная фирма), но иногда они разнятся (скажем, школа и гороно, муниципальные и федеральные власти).

Принципиально важно то, чтобы первые лица проблемосодер- жащей(-их) и проблеморазрешающей(-их) систем являлись обяза­тельными участниками системного анализа. Без их участия вся ра­бота не имеет практического смысла, становится бесперспективной: ведь в их руках ресурсы и полномочия, необходимые для решения проблемы. Именно поэтому гарантия их участия включена обязатель­ным условием в контракт и при непринятии этого условия аналитик не берется за работу.

Остальные стейкхолдеры являются желательными участни­ками. То есть лучше всего, если их удастся включить в коллектив­ный процесс системного анализа. Но если с кем-то это почему-либо не удастся, то существует возможность получить нужную инфор­мацию о нем и без его личного участия. Эта возможность основана на следствии из второго свойства системы — всеобщей взаимосвя­зи в природе. Между аналитиком и недоступным стейкхолдером существует цепочка субъектов. Будучи связанными, они содержат информацию друг о друге, тем большую, чем они ближе друг к дру­гу. Поэтому мы можем попытаться в стремлении добыть информа­цию о недоступном стейкхолдере войти в контакт с ближайшим к нему доступным членом цепочки и «выпытывать» нужные нам сведения из последнего. Это, конечно, менее надежный, чем сам стейкхолдер, источник информации о нем, но у нас нет лучшей воз­можности. Самое последнее дело — аналитику самому выражать мнение стейкхолдера: ведь он в этой цепи наиболее отдаленное звено. Это допустимо только при условии, если все остальные в це­пи недоступны.

Задача найти достаточно осведомленного представителя не­доступного стейкхолдера не так сложна, как кажется. Наверное, каждому приходилось, разговорившись с незнакомым человеком, обнаружить, что вы имеете общих знакомых. Было даже проведе­но научное исследование этого вопроса учеными Калифорнийс­кого университета. Целевой персоной была определена студентка этого университета. Затем из списка избирателей самого отдален­ного от Калифорнии штата Пенсильвания случайным образом было отобрано сто человек, давших согласие участвовать в экспе­рименте. Каждому из них было вручено письмо на имя девушки, но отослать его прямо ей можно было лишь при условии, что тот ее знает лично. Если нет — письмо следовало отправить кому-либо из своих личных знакомых на том же условии. Почта США предо­ставляет услугу переписки через посредников, так что письма в конце концов достигли адресата. По числу штемпелей определя­лась длина конкретной цепочки. Оказалось, для того, чтобы два незнакомых человека из двухсот миллионов связались по цепи зна­ющих друг друга людей, нужно совсем немного звеньев. Самая короткая цепочка была 2 (фермер — его друг детства конгрессмен в Вашингтоне — знакомый конгрессмену профессор того универ­ситета), самая длинная — 11, а средняя длина — 4,5. Не следует удивляться: при среднем числе знакомых, равном 100, сеть цепей в 4 человека накроет сто миллионов индивидов.

Итак, в случае недоступности стейкхолдера надо найти как мож­но более лучшего его представителя и вовлечь его в коллектив, рабо­тающий над решением проблемы. В частности, представителями «без­молвных» стейкхолдеров могут быть эксперты, ученые, руководители соответствующих административных органов, общественных органи­заций — соответствующих профилей.

Осталось сказать, что если стейкхолдером является группа лю­дей (студенчество города, пенсионеры, предприниматели и т.д.), то либо пытаются привлечь компетентного представителя группы (из числа ее лидеров), либо прибегают к методам прикладной социоло­гии и статистики (для выяснения общественного мнения).

Итак, будем считать, что подобранная, проинструктированная и вдохновленная системным аналитиком группа стейкхолдеров (или их компетентных представителей) сформулировала проблемное ме­сиво и по возможности структурировала его.

Контрольные вопросы

1. Что называется «проблемным месивом»?

2. Что является динамическим вариантом проблемного месива?

3. Почему не следует решать проблему клиента в отрыве от проблем­ного месива?

4. Что значит «работать с проблемным месивом как с целым»?

5. Как решаются трудности, возникающие при недоступности части стейкхолдеров?

<< | >>
Источник: Ф.П. Тарасенко. ПРИКЛАДНОЙ СИСТЕМНЫЙ АНАЛИЗ. 2010

Еще по теме 5.4. Этап четвертый. Выявление проблемного месива:

  1. СЕМЬЯ Г. СТУПОР В УЧЕБЕ
  2. ЭТАП ЦЕЛОСТНОГО ТЕМАТИКО-ПРОБЛЕМНОГО И ЛИЧНОСТНОГО СРАВНЕНИЙ ВОСТОЧНОЙ И ЗАПАДНОЙ ФИЛОСОФИИ
  3. Глава 3 ПСИХОЛОГИЧЕСКАЯ МОДЕЛЬ РАЗВИВАЮЩЕГО ВЗАИМОДЕЙСТВИЯ
  4. § 3. Концепции локальных цивилизаций
  5. 5. Психолого-педагогическое обследование
  6. «Гэллапиада»
  7. ЧТО ТАКОЕ СОЦИОЛОГИЯ?
  8. СТРУКТУРА МЕТРОПОЛИИ В США
  9. 11.2. РАЗРАБОТКА ПРОГРАММЫ СОЦИОЛОГИЧЕСКОГО ИССЛЕДОВАНИЯ
  10. ЗАДАЧИ ФИЛОСОФСКОГО ОБОСНОВАНИЯ И РАЗРАБОТКИ МАТЕМАТИЧЕСКИХ ПРЕДСТАВЛЕНИЙ ВРЕМЕНИ Баранов А.В., Спасков А.Н.