§1.1.2.3 Теории косвенной оценки

Теории косвенной оценки описывают правила, схемы или эвристики, которые могут использоваться человеком, чтобы оценить свою эффективность. Например, Т. Нельсон и Л. Наренс (Nelson, Narens, 1990) предложили гипотезу «никакой магии» (No-Magic Hypothesis) для объяснения чувства знания, т.е.

Хорошим примером схем, которые используются для мета-оценки, являются представления о собственной эффективности. В исследовании Эрлингера и Даннин (Ehrlinger, Dunning, 2003) студентам предлагалось заполнить опросник, в котором нужно было дать оценку своей эффективности по ряду шкал, включая абстрактное мышление и навыки программирования. Затем им предлагался тест, который для одних испытуемых описывался как тест на абстрактное мышление, а для других - как тест на способность к программированию. После прохождения теста их также просили оценить свою эффективность в данном тесте. Испытуемые в целом оценивали себя лучше в области абстрактного мышления и давали более высокие оценки своих результатов, если считали, что тест направлен на абстрактное мышление, хотя объективных различий в эффективности обнаружено не было. В другом эксперименте в той же работе авторы манипулировали самооценками испытуемых и показали, что это приводит к снижению оценок эффективности в конкретном тесте.

Схожим образом эксперты с низкой и средней эффективностью склонны переоценивать свою успешность. Например, предсказания профессиональных биржевых трейдеров не отличаются по своей точности от предсказаний обычных людей. При этом первые в значительно большей степени склонны переоценивать успешность своих прогнозов, чем вторые (Tomgren, Montgomery, 2004). Аналогичное исследование прогнозов в условиях финансового кризиса показало, что хотя эксперты лишь слегка лучше в прогнозах на рынке акций и рынке валют, их уверенность в своих прогнозах значительно превосходит уверенность обывателей (Zaleskiewicz, 2011). Нужно отметить, что эффективность клинических прогнозов в психологии и психиатрии также далека от совершенства и практически всегда оказывается не лучше простейших статистических моделей (^gisdottir и др., 2006; Dawes, Faust, Meehl, 1989; Grove и др., 2000; Hilton, 2006). Однако представители данных профессий часто склонны считать себя способными делать точные предсказания и редко соглашаются с выводами исследований (Dawes, 1994). Таким образом, мета-оценки эффективности могут быть значительно завышенными по сравнению с объективными оценками эффективности даже в тех случаях, когда речь идет о профессионально значимых областях деятельности.

В то же время Даннинг и др. (Dunning и др., 2012) показали, что те, кто объективно высокоэффективен в своей области склонны недооценивать свою эффективность в сравнении с другими, а те, кто низкоэффективен — переоценивать. Авторы объясняют эффект недоуверенности высокоэффективных испытуемых тем, что они страдают от «проклятья знаний» (Camerer, Loewenstein, Weber, 2013), т.е.

Разумеется, помимо представления о собственной эффективности, существует большое количество других схем, позволяющих давать мета-оценки вне зависимости от возможности прямой оценки эффективности решения. Например, Гигеренцер и коллеги (Gigerenzer; Gigerenzer, Goldstein, 1996; Gigerenzer, Hoffrage, Goldstein, 2008; Gigerenzer, Hoffrage, Kleinbolting, 1991) указывают, что оценки уверенности могут строиться на основе «вероятностных ментальных моделей». Они предполагают, что мы вполне можем оценить правильность ответа, опираясь на ряд имплицитных логических связей между ответом и нашими знаниями о мире. Например, человек может быть уверен, что футбольная команда Томска играет хуже команды Сан-Паулу, хотя он никогда не слышал ни о той, ни о другой. Его уверенность будет основана на том, что он знает, например, что Сан-Паулу - в Бразилии, а бразильцы, в целом, хорошо играют в футбол. Подобного рода косвенные оценки характерны не только для уверенности. Исследования Кориата, уже упоминавшиеся ранее, показали, что оценки чувства знания, т.е. оценки того, что я знаю нечто, когда я не могу это нечто вспомнить, в задачах воспроизведения определяются не наличием особого доступа к памяти, а количеством все же воспроизводимой информации (Koriat, 1993). При этом не важно, правильная или неправильная информация воспроизводится. При вопросе, знает ли испытуемый, как звали полководца, который вместе с Кутузовым и Багратионом был одним из командующих российской армии в войне 1812 года, он может вспомнить памятник на Казанской площади, фрагменты из романа «Война и мир», то, что эта война подробно изучалась на уроках истории, и т.д., и т.п.

Описанные эффекты и стоящие за ними модели говорят о том, что нам не нужно иметь специальный доступ к той информации, на основе которой принимается решение, чтобы оценить его эффективность, как это предполагается в теориях дополнительной оценки, описанных в предыдущей части статьи. Нам, в принципе, вообще не нужен доступ к этой информации, как это предполагается теориями частичного доступа. Эта идея хорошо иллюстрируется работой Мэтви и коллег (Matvey, Dunlosky, Guttentag, 2001). Авторы продемонстрировали, что оценки степени заученности материала при задаче генерации слова не различаются для тех, кто непосредственно генерирует слова, и тех, кто только наблюдает за этим процессом. Другими словами, внешний наблюдатель на основе данных об испытуемом делает те же выводы, что и сам испытуемый. У внешнего наблюдателя, по определению, нет доступа к информации, на основе которой принималось решение, а значит, для мета-оценок эта информация не нужна.

Основная трудность для моделей косвен ной оценки заключается в объяснении того, почему мета-оценка в случае эффективного решения когнитивных задач все же обычно выше, чем в случае неэффективного. Другими словами, если у нас нет особого доступа к процессу или данным, как мы можем отличить ситуации правильного и неправильного ответа или правильного или неправильного предсказания в оценка чувства знания?

Кориат высказывает следующую точку зрения: «Мета-знания точны потому, что точны знания» (Koriat, 2011, с.

Другим возможным вариантом ответа является предположение о частичном совпадении между эвристиками, используемыми для принятия решения и для его оценки. Так, для оценки решения помимо эвристик, использованных для принятия решения, могут использоваться данные о времени, которое потребовалось, чтобы это решение принять. Но тогда возникают новые вопросы. Во-первых, зачем нужен такой сложный механизм? Почему бы не использовать для оценки те же данные, что использовались для принятия решения, или, наоборот, почему бы не использовать для принятия решения те же данные, что используются для его оценки? Кроме того, рассмотрим оценки, опирающиеся на общих представлениях о собственных знаниях.

Можно предположить, что использование эвристик, не имеющих отношения к ответу, связано с тем, что целью мета-оценок в конечном итоге является не ответ на вопрос экспериментатора, а контроль над выполняемыми процессами и их коррекция. С этой точки зрения присутствие различий между теми механизмами, которые принимают решение, и теми, которые его оценивают, обеспечивает независимость проверки.

Возможно также, что одним из механизмов оценки эффективности решения является повторное решение задачи. Учитывая то, что в любой системе всегда присутствует некоторый уровень случайности, повторное решение позволяет избежать части ошибок. В качестве контраргумента для такого подхода иногда приводится пример с обучением математики в школе. Предполагается, что решив пример заново тем же способом, ученик рискует повторить свою ошибку, и поэтому мудрый учитель предложит для проверки использовать другой способ решения или идти в обратном порядке. Разумеется, в подобном аргументе есть разумное зерно. Однако, как свидетельствует повседневный опыт, иногда решение примера заново все же позволяет заметить ошибки. Точно также повторное решение когнитивной задачи как один из способов мета-оценки решения позволяет увеличить ее точность. Более того, это согласуется и с интуицией. В самом деле, ситуации, когда после принятия решения мы осознаем его неточность, не так уж и редки (Одайник, 2013). Если бы каждый раз, чтобы обнаружить ошибку в написанном слове, авторам пришлось писать его как-то по- другому, они бы вряд ли выбрались за пределы первой страницы. Экспериментальные данные также свидетельствуют, что после принятия решения человек может его поменять — если дать ему такую возможность (Rabbitt, 2002; Rabbitt, Rodgers, 1977).

Наконец, может быть, мы в принципе не можем получить доступ непосредственно к процессу решения? Об этом часто свидетельствуют интроспективные отчеты — решение может неожиданно появляться как будто бы ниоткуда, сопровождаясь переживанием инсайта. Тогда становится понятным использование эвристик, и во многих случаях можно даже предположить, почему мы можем отличить успешные решения задач от неуспешных. Так, использование общей оценки своей эффективности в прошлом является достаточно очевидным, хотя и не очень надежным ключом к оценке своей будущей эффективности. Но человек может оценивать правильность своих ответов и в перцептивных задачах. Какие здесь могут быть эвристики? Чаще всего упоминается эвристика “беглости переработки информации” (Alter, Oppenheimer, 2009; Oppenheimer, 2008). Согласно определению беглость переработки информации субъективно переживается как некая легкость или плавность процесса, и на основе этого субъективного переживания делается вывод относительно других мета-оценок, например, чувства знания или уверенности в ответе. Но нужно заметить, что беглость переработки информации при такой трактовке сама является мета­оценкой и к ней применимы все те же вопросы.