Читать онлайн Шум. Несовершенство человеческих суждений бесплатно

Посвящается Саманте – КРС

Daniel Kahneman, Olivier Sibony and Cass R. Sunstein

NOISE:

A Flaw in Human Judgment

Перевод с английского

А. Котовой (I–II части),

С. Селифоновой (III–IV части),

В. Тулаева (V–VI части, приложения)

Печатается с разрешения авторов и литературного агентства Brockman, Inc.

Исключительные права на публикацию книги на русском языке принадлежат издательству AST Publishers.

© Daniel Kahneman Amended and Restated Family Trust, Olivier Sibony, and Cass R. Sunstein, 2021

Школа перевода В. Баканова, 2021

© Издание на русском языке AST Publishers, 2021

Введение

Два вида ошибок

Представьте, что в стрелковый тир пришли четыре компании друзей. В компаниях по пять человек; они получают по винтовке на команду, и каждый участник производит один выстрел. Результаты показаны на рисунке 1.

В идеале все выстрелы попали бы точно в «десятку».

Рис. 1. Четыре команды

У команды А почти так и вышло: все попадания сгруппировались возле цели.

Результаты команды B можно назвать смещенными, поскольку все промахи легли по одну сторону от «яблочка». Систематичность промахов, наглядно представленная на рисунке, позволяет предположить, что очередной выстрел пришелся бы недалеко от первых пяти, а также что у винтовки, возможно, попросту сбит прицел.

Результаты команды C мы назовем шумными: попадания разбросаны по всей мишени. Поскольку они все-таки сосредоточены преимущественно вокруг центра, очевидного смещения не наблюдается. Если участник команды выстрелит снова, мы едва ли сможем предугадать, куда он попадет. Более того, нам не удастся выдвинуть никакой содержательной гипотезы, чтобы объяснить подобный результат. Эта команда стреляет плохо. Почему в их результатах столько шума – неизвестно.

У команды D результаты смещенные и шумные одновременно: систематические промахи, как у команды B, и широкий разброс, как у команды C.

Впрочем, эта книга не про стрельбу по мишеням – она про человеческие ошибки. Смещение и шум, или, другими словами, систематические отклонения и случайный разброс, – это составляющие ошибок. Пример с мишенями наглядно показывает¹, в чем между ними отличие.

Стрельба по мишени – образное представление сбоев в процессе вынесения людьми суждений, особенно когда принимаются всевозможные решения в интересах организаций. Тогда-то и происходят те самые ошибки с рисунка 1. Одни суждения содержат смещения и систематически не попадают в цель. Другие можно назвать шумными: вместо согласованных действий мы видим попадания, разбросанные по всей мишени. К несчастью, для многих организаций характерны оба типа ошибок.

На рисунке 2 показано важное отличие между смещением и шумом. Представьте, что вы заглядываете на оборотную сторону мишеней, по которым стреляли наши команды, где «яблочко» не обозначено.

С этой стороны вы не определите, кто оказался ближе к «десятке»: команда А или команда B. Зато сразу же понятно, что шумный результат именно у команд С и D, ведь разброс попаданий здесь так же очевиден, как и на рисунке 1. Шум можно обнаружить и измерить, даже ничего не зная ни о цели, ни о смещении, – это одно из его основных свойств.

Рис. 2. Оборотная сторона мишеней

Вышеупомянутое свойство шума весьма существенно для целей этой книги. Ко многим заключениям мы пришли, изучая суждения, о справедливости которых мы не имеем ни малейшего понятия. Если диагнозы разных врачей пациенту не совпадают, мы вполне можем исследовать расхождения в медицинских заключениях, не владея информацией о том, чем на самом деле болен этот человек. Разницу в оценках рыночной стоимости фильма кинопродюсерами можно изучить, не будучи в курсе, какую кассу в итоге сделал фильм или был ли он вообще снят. Нет нужды знать, кто прав, чтобы определить, насколько при этом разнятся оценки. Чтобы измерить уровень шума, нужно всего лишь заглянуть на оборотную сторону мишени.

Понять природу ошибочных суждений невозможно без понимания сущности смещения и шума. Как мы убедимся далее, порой основную проблему представляет собой именно шум. Однако в организациях по всему миру, а также при проведении общественных дискуссий ему редко уделяется должное внимание. Главную роль всегда отводят смещению, а шуму достается удел жалкого статиста. О смещении написаны тысячи научных работ и десятки бестселлеров, а шум при этом едва упоминается. С помощью этой книги мы попытаемся установить равновесие.

Зачастую, когда решения принимаются на практике, уровень шума просто зашкаливает. Вот несколько примеров пугающих масштабов шума в ситуациях, где суждения должны быть безошибочными:

• Шум в медицине. Врачи могут сильно расходиться во мнениях по поводу диагноза одному и тому же пациенту. Такие ситуации нередки с диагностированием рака кожи, груди, болезней сердца, туберкулеза, пневмонии, депрессии и целого ряда других заболеваний. Особенно высок уровень шума в психиатрии, где без субъективных суждений просто не обойтись. Вместе с тем на удивление заметный уровень шума наблюдается даже в таких областях медицины, как, например, чтение рентгеновских снимков.

• Шум при вынесении решений об опеке². Специалисты органов по защите малолетних должны оценить, угрожает ли ребенку жестокое обращение, и если да, передать его приемным родителям. В системе опеки уровень шума весьма значителен: некоторые специалисты гораздо охотнее, чем коллеги, направляют детей в приемные семьи. Годы спустя несчастные дети, чью судьбу решили более жесткие сотрудники, поместив их под опеку, совершают больше правонарушений, чаще рожают в подростковом возрасте и имеют в дальнейшем более низкие доходы.

• Шум в прогнозировании. Мнения профессиональных прогнозистов не совпадают касательно ожидаемых объемов продаж нового продукта, предполагаемого роста безработицы, вероятности банкротства проблемных компаний – в общем, чего угодно. Прогнозисты противоречат не только друг другу, но даже сами себе. К примеру, когда одних и тех же разработчиков программного обеспечения³ дважды в разные дни попросили оценить сроки выполнения одного и того же задания, их оценки в среднем отличались на 71 %.

• Шум в решениях о предоставлении убежища⁴. Подача прошения об убежище в США чем-то сродни лотерее. При изучении дел, случайным образом распределенных между разными судьями, обнаружилось, что один судья предоставлял убежище 5 % просителей, тогда как другой – 88 %. Исследование носит красноречивое название: «Рулетка для беженцев». (О рулетке мы с вами еще поговорим, и не раз.)

• Шум в кадровых вопросах. Специалисты, проводящие собеседования, совершенно по-разному оценивают одних и тех же соискателей. Оценки производительности труда персонала тоже сильно различаются и в большей степени зависят от личности оценивающего, чем от продуктивности сотрудника.

• Шум в решениях об освобождении под залог. Выпустят ли обвиняемого под залог или оставят ожидать суда в тюрьме, отчасти зависит от судей, слушающих дело: некоторые из них проявляют заметно бо́льшую снисходительность. Судьи также весьма по-разному оценивают вероятность побега или повторного правонарушения подсудимых.

• Шум в криминалистике. Мы привыкли безоговорочно доверять идентификации по отпечаткам пальцев. Но специалисты в этой области иногда расходятся во мнениях о том, совпадают ли отпечатки с места преступления с отпечатками подозреваемого. Эксперты могут не только не соглашаться друг с другом, но даже делать непоследовательные выводы по поводу одних и тех же отпечатков. Документально подтверждены подобные расхождения и в других областях судебной медицины, в частности даже при анализе ДНК.

• Шум при выдаче патентов⁵. Авторы ведущего исследования о патентных заявках подчеркивают роль шума: «Результат подачи заявки на патент в значительной степени зависит от того, кому поручено ее рассмотрение». С точки зрения беспристрастности такая вариативность, конечно же, вызывает озабоченность.

Все эти ситуации – лишь верхушка огромного айсберга. Когда имеешь дело с человеческими суждениями, вероятность обнаружить шум весьма велика. Повысить качество суждений можно, только устранив как шум, так и смещение.

Эта книга состоит из шести частей. В части I мы исследуем разницу между шумом и смещением и демонстрируем присутствие шума в деятельности как государственных, так и частных организаций, причем порой его уровень может быть ошеломляюще высоким. Чтобы оценить проблему, мы начинаем с рассмотрения суждений в двух сферах. Первая – вынесение уголовных приговоров (государственный сектор), вторая – страхование (частный сектор). На первый взгляд области совсем разные, но, когда дело касается шума, у них оказывается много общего. Чтобы это подтвердить, мы предлагаем процедуру ревизии шумовых помех, которая позволяет измерить уровень разногласий среди профессионалов по определенным вопросам внутри одной организации.

В части II мы изучаем природу человеческих суждений и выясняем, как можно измерить их точность или ошибочность. Суждениям свойственны как смещение, так и шум – и мы демонстрируем, что влияние обоих типов ошибок может быть на удивление равноценным. Ситуативный шум – это разброс в суждениях одного человека или группы по одному и тому же вопросу в разное время. На удивление часто такой шум возникает в групповых обсуждениях под воздействием, казалось бы, незначительных факторов, например очередности выступлений.

Часть III – это более пристальный взгляд на уже хорошо изученный вид суждений: прогнозные оценки. Мы исследуем важнейшее преимущество правил, формул и алгоритмов перед человеком в деле составления прогнозов. Вопреки расхожему мнению, превосходство правил заключается не в том, что они лучше помогают вникнуть в суть вопроса, а в том, что они не производят шума. Мы обсуждаем абсолютный предел, который, как и шум, ограничивает качество прогнозных суждений: объективную неосведомленность о будущем. Напоследок мы отвечаем на вопрос, которым вы к тому моменту уже наверняка зададитесь: если шум настолько вездесущ, почему мы не замечали его раньше?

В части IV мы обращаемся к человеческой психологии и объясняем главные причины шума. К ним относятся межличностные различия, возникающие вследствие разнообразных факторов: качеств характера, когнитивного стиля, особенностей взвешивания «за» и «против» во время принятия решений, разницы в восприятии одинаковых шкал. Мы отвечаем на вопрос, почему люди не замечают шум и зачастую совсем не удивляются, когда происходят события или принимаются решения, предвидеть которые они никак не могли.

В части V исследуется практический вопрос: как улучшить суждения и предотвратить ошибки? (Читатели, которых интересует главным образом применение методов снижения шума на практике, могут пропустить обсуждение проблем прогнозирования и психологии суждений в частях III и IV и сразу перейти к этой.) Мы изучаем попытки справиться с шумом в медицине, бизнесе, образовании, управлении и других сферах и предлагаем несколько методов снижения уровня шума под общим названием гигиена принятия решений. Пять тематических исследований, проведенных в областях деятельности с высоким уровнем шума, продемонстрируют активные усилия, приложенные по его снижению – с различной степенью успеха, – что весьма поучительно. Сюда включены исследования недостоверных медицинских диагнозов, оценок показателей производительности, ошибок в криминалистике, в кадровых вопросах и в прогнозировании в целом. В завершение мы предлагаем систему, которую назвали протоколом промежуточных оценок. Это универсальный подход к оценке имеющихся вариантов, включающий в себя самые важные методы в процедуре гигиены принятия решений. Он ставит своей целью снижение уровня шума и повышение надежности суждений.

Каков оптимальный уровень шума? Об этом мы поговорим в части VI. Как ни парадоксально, полное отсутствие шума – это не лучший вариант. В одних областях просто невозможно избавиться от шума полностью, в других это слишком дорого. Есть сферы, в которых попытки снизить уровень шума поставят под угрозу другие важные ценности. К примеру, можно подорвать моральный дух и заставить людей чувствовать себя винтиками в большой машине. Когда частью решения проблемы становятся алгоритмы, возникают всевозможные возражения, и в этой главе мы попытаемся рассмотреть некоторые из них. И все же наблюдаемый сейчас уровень шума во многих областях деятельности просто недопустим. Мы призываем государственные и частные структуры провести ревизию шума и принять беспрецедентные усилия по его снижению. Если это удастся, можно будет частично устранить повсеместную несправедливость и сократить многие издержки.

Рассчитывая на осуществление такого сценария, мы заканчиваем каждую главу краткими предложениями в виде цитат. Можете использовать их без изменений или адаптировать для соответствующей области применения – будь то здравоохранение, безопасность, образование, финансы, сфера занятости, индустрия развлечений или любая другая. Коллективные усилия, направленные на изучение и решение проблемы шума, все еще продолжаются. У всех нас есть возможность внести в эту работу свой вклад, и эта книга написана в надежде, что мы ею воспользуемся.

Часть I

Как обнаружить шум

Совершенно недопустимо, чтобы правонарушители, осужденные за одинаковые преступления, получали несопоставимые приговоры, к примеру, один – пять лет тюрьмы, а другой – условный срок. Однако подобное происходит сплошь и рядом. Конечно, для системы уголовного правосудия характерно также и смещение, вызванное предвзятостью. Но в главе 1 речь пойдет о шуме и, в частности, о том, что произошло, когда известный судья привлек к этой проблеме внимание, назвал ситуацию возмутительной и положил начало кампании, в каком-то смысле изменившей мир (но не совсем). Наша история разыгралась в США, но, без сомнения, подобное может и будет случаться во многих других странах. В некоторых из них проблема шума, вероятно, еще серьезнее, чем в Соединенных Штатах. Мы использовали пример с вынесением приговоров отчасти для того, чтобы продемонстрировать, как шум способен стать причиной вопиющей несправедливости.

Сфера вынесения уголовных наказаний исполнена особого драматизма, однако и в частном секторе ставки могут быть весьма высоки. В качестве иллюстрации в главе 2 мы рассмотрим пример с большой страховой компанией. В таких организациях страховщики устанавливают для потенциальных клиентов размер взноса, а оценщики убытков подсчитывают причитающиеся страховые выплаты. Казалось бы, это простая механическая работа и разные специалисты приходят примерно к одним и тем же цифрам. Чтобы это проверить, мы провели тщательно подготовленный эксперимент – ревизию шума. Результаты удивили нас самих, но, что еще важнее, поразили и привели в ужас руководство компании. Высокий уровень шума в работе специалистов, как выяснилось, стоит компании огромных денег. Мы используем этот пример, чтобы показать, как шум способен приводить к крупным экономическим убыткам.

В вышеупомянутых примерах множество людей выносит множество суждений. Но многие важные суждения уникальны. Как не упустить редкую возможность для бизнеса, стоит ли запускать новый продукт, как справиться с пандемией, брать ли на работу нестандартного кандидата – могут ли быть шумными решения в подобных, особенных, ситуациях? Напрашивается предположение, что нет. Ведь шум – это нежелательный разброс, а разве в принятии уникальных решений может быть место разбросу? Мы попытаемся ответить на этот вопрос в главе 3. Решение, принимаемое даже в, казалось бы, уникальной ситуации, – лишь одно из ряда возможных. Здесь тоже есть место шуму.

Первые три главы можно подытожить фразой, которая красной нитью пройдет через всю книгу: там, где есть место суждению, найдется и шум – и его намного больше, чем вы думаете. Давайте же посмотрим, сколько именно.

Глава 1

Преступление и шумное наказание

Допустим, человека осудили за совершение преступления – кражу в магазине, хранение наркотиков, нанесение телесных повреждений или вооруженное ограбление. Каким будет приговор?

Ответ на этот вопрос не должен зависеть ни от настроения судьи, ни от погоды, ни от успехов местной спортивной команды накануне рассмотрения дела. Разве не чудовищно, когда три человека, осужденные за одинаковые преступления, получают совершенно разные наказания: первый отделывается условным сроком, второму дают два года тюрьмы, а третьего сажают на десять лет? И все же такая вопиющая несправедливость характерна для многих государств – и это не дела давно минувших дней, а сегодняшняя реальность.

Во всем мире судьи имеют возможность свободно решать, насколько суровым должен быть приговор. Эксперты многих стран приветствуют эту свободу действий как справедливую и гуманную. Считается, что при вынесении уголовных приговоров нужно учитывать множество факторов, среди которых не только само преступление, но и личность обвиняемого, а также сопутствующие обстоятельства. Индивидуальный подход долго был в порядке вещей: если связывать судей правилами, обращение с преступниками станет бесчеловечным, ведь подсудимые перестанут быть уникальными личностями, имеющими право на рассмотрение особых обстоятельств их ситуации. Многим казалось, что сама идея надлежащего судебного разбирательства требует неограниченной свободы усмотрения для судей.

В 1970-е годы всеобщий энтузиазм по поводу судебного усмотрения начал угасать по одной простой причине: стали очевидными пугающие проявления шума. В 1973 году внимание к проблеме привлек известный судья Марвин Франкел. Еще до того как стать судьей, Франкел защищал свободу слова, горячо выступал за права человека и помог основать международную правозащитную организацию Lawyers’ Committee for Human Rights, известную сейчас как Human Rights First.

Франкел умел быть беспощадным. Когда же дело касалось шума в системе уголовного правосудия, он приходил в полнейшее негодование. Вот как он объяснял свои мотивы⁶:

Максимальный тюремный срок за ограбление федерального банка равнялся 25 годам. На практике приговор мог быть любым, в диапазоне от 0 до 25 лет. Скоро я осознал, что это зависит не столько от обстоятельств дела конкретного обвиняемого, сколько от личности судьи, его взглядов, наклонностей и предубеждений. Приговор одному и тому же обвиняемому по одному и тому же делу мог кардинально отличаться в зависимости от того, какой судья рассматривал дело.

Для подтверждения своих доводов Франкел не предоставил никакой статистической информации, однако привел ряд весьма убедительных примеров того, как в схожих ситуациях с людьми обращались по-разному безо всяких на то оснований. Двоих мужчин без уголовного прошлого осудили за обналичивание поддельных чеков на 58,40 и 35,20 доллара соответственно. Первого приговорили к 15 годам, а второго – к 30 дням тюремного заключения. За тождественные деяния, повлекшие растрату имущества, один обвиняемый отделался 117 днями, тогда как другой получил 20 лет. Указывая на бесчисленные дела такого толка, Франкел сетовал на «практически неограниченные широкие полномочия»⁷ федеральных судей, приводящие к «ежедневному произволу жестокости»⁸, что считал недопустимым в «системе, где правят законы, а не люди»⁹.

Франкел призвал конгресс покончить с «дискриминацией» – так он называл подобный произвол жестокости. Под «дискриминацией» в основном имелся в виду шум – необъяснимые расхождения при вынесении приговоров. При этом Франкел также выразил обеспокоенность смещением в виде расового и социально-экономического неравенства. Он утверждал, что для победы над смещением и шумом все подсудимые по уголовным делам должны получать одинаковое обращение, если только различия не «обоснованы соответствующими критериями, которые можно сформулировать и применить с достаточной степенью объективности, для того чтобы результаты не превращались в идиосинкразические указы¹⁰ отдельных чиновников, судей и прочих». (Термин «идиосинкразические указы»[1] может быть не всем понятен: Франкел имел в виду произвольные постановления, продиктованные личными предпочтениями.) Более того, Франкел выступал за снижение уровня шума при помощи «подробного списка параметров или перечня факторов, по возможности включающего числовую или другую объективную градацию»¹¹.

Поскольку дело было в начале 1970-х, он не стал заходить настолько далеко, чтобы выступать за «вытеснение человека машиной», хотя был поразительно к этому близок. Франкел полагал, что «верховенство права требует свода универсально применимых безличных правил, обязательных как для судей, так и для всех остальных». Он открыто призывал использовать «компьютеры для упорядочивания мыслительного процесса¹² при назначении наказаний» и рекомендовал сформировать комиссию по приговорам¹³.

Книга Франкела стала одной из самых влиятельных в истории уголовного права не только в США, но и во всем мире, однако ее недостатком был несколько неформальный характер. Книга получилась разгромной, но субъективной. Чтобы подвергнуть идею шума испытанию, несколько исследователей сразу же бросились изучать уровень шума в сфере вынесения приговоров.

Одно из первых широкомасштабных исследований под руководством самого судьи Франкела провели в 1974 году. Пятидесяти судьям из разных округов предложили гипотетические дела, по которым требовалось назначить наказание. По всем делам были подготовлены идентичные характеристики подсудимых. Основным итогом стало «повсеместное отсутствие консенсуса»¹⁴ и «поразительный»¹⁵ разброс в выборе наказания. В зависимости от судьи наркодилер¹⁶ мог получить от года до десяти лет тюрьмы. Наказание за ограбление банка¹⁷ могло составить от пяти до восемнадцати лет лишения свободы. В деле о вымогательстве¹⁸ один судья назначил целых двадцать лет и 65 000 долларов штрафа, а другой – всего лишь три года безо всякого штрафа. Самое поразительное, что судьи так и не пришли к единому мнению по поводу необходимости лишения свободы в 16 делах из 20.

За этим изысканием последовала серия других – и все они выявили катастрофический уровень шума. В 1977 году Уильям Остен и Томас Уильямс опросили 47 судей¹⁹, предложив тем рассмотреть пять дел о мелких правонарушениях. Описания дел включали информацию, которую судьи обычно используют при вынесении настоящих приговоров: предъявленные обвинения, свидетельские показания, наличие судимости, социальное положение и личные характеристики подсудимых. Авторы пришли к выводу о «существенных расхождениях» в приговорах. К примеру, в деле о взломе приговоры варьировались от пяти лет заключения до каких-то тридцати дней (плюс штраф в 100 долларов). В деле о хранении марихуаны одни судьи предлагали тюремное заключение, другие выступали за условный срок.

В еще более крупном исследовании²⁰ 1981 года участвовали 208 федеральных судей, которым предлагалось рассмотреть одинаковый набор из 16 гипотетических дел. Выводы исследования потрясают:

Лишь в 3 из 16 дел судьи оказались единогласны в решении приговорить обвиняемых к тюремному заключению. Когда же большинство приходило к выводу о необходимости лишения свободы, в рекомендуемых сроках заключения наблюдался значительный разброс. В деле о мошенничестве средняя величина назначенного тюремного срока составила 8,5 года, при этом самым суровым приговором оказалось пожизненное заключение. В другом деле со средним сроком в 1,1 года самой суровой рекомендацией было лишение свободы на 15 лет.

Какими бы показательными ни были эти исследования, они представляют собой строго контролируемые эксперименты и почти наверняка не отражают истинных масштабов проблемы шума в уголовном правосудии. В реальном мире судьи располагают гораздо бо́льшими объемами информации, чем участники экспериментов, которых снабдили тщательно подготовленными краткими описаниями дел. Что-то из этого информационного потока может оказаться полезным, но многое свидетельствует о том, что несущественная информация – небольшие и, казалось бы, случайные факторы – способны значительно изменить результат рассмотрения дела. Например, как выяснилось, судьи с большей вероятностью предоставляют условно-досрочное освобождение с утра или после обеденного перерыва. Голодные судьи²¹ более суровы.

Исследование тысяч решений суда по делам несовершеннолетних²² выявило, что, когда в выходные местная футбольная команда проигрывает, в понедельник судьи выносят более строгие приговоры (а также, хотя и в меньшей степени, в течение всей недели). Это особенно сильно сказывается на чернокожих подсудимых. Другое исследование проанализировало 1,5 миллиона судебных решений за более чем тридцать лет и также обнаружило, что судьи менее снисходительны²³ на следующий день после проигрыша, чем после победы местной футбольной команды.

Анализ шести миллионов приговоров, вынесенных во Франции за двенадцать лет, показал, что к подсудимым относятся более мягко в дни рождения²⁴. (Имеются в виду дни рождения подсудимых. Мы подозреваем, что в свой день рождения судьи также проявляют больше снисхождения, но, насколько нам известно, эту гипотезу пока никто не проверял.) Даже такой на первый взгляд незначительный фактор, как погода²⁵, может повлиять на решение судьи. В результате обзора 207 000 решений иммиграционного суда, вынесенных за четыре года, была замечена существенная роль колебаний дневной температуры: в жаркие дни вероятность получить политическое убежище снижалась. Если на родине вас преследуют по политическим мотивам и вы ищете убежище, надейтесь, а лучше молитесь, чтобы ваше слушание состоялось в прохладный день.

Снижение уровня шума при назначении наказаний

В 1970-е годы доводы Франкела и поддерживающие их эмпирические выводы привлекли внимание Эдварда Мура Кеннеди, брата убитого президента и одного из наиболее влиятельных членов американского сената. Кеннеди был потрясен. Уже в 1975 году он внес законопроект о реформе назначения наказаний, но тогда это ни к чему не привело. Однако Кеннеди не сдавался: указывая на все имевшиеся свидетельства, он упорно, год за годом пытался провести законопроект. Наконец в 1984 году это удалось. Приняв во внимание доказательства необоснованных расхождений при вынесении приговоров, конгресс принял Закон о реформе системы назначения наказаний.

Новый закон должен был снизить уровень шума в системе, сократив «неограниченные дискреционные полномочия²⁶, которыми закон наделяет судей и органы по условно-досрочному освобождению, ответственных за вынесение и исполнение приговоров». В частности, члены конгресса ссылались на «неоправданно высокую» дифференциацию при определении меры наказания²⁷, цитируя результаты исследования о том, что в Нью-Йорке наказания за идентичные преступления могут варьироваться в диапазоне от трех до двадцати лет лишения свободы. Как когда-то настаивал судья Франкел, была создана Комиссия США по вопросам назначения наказаний, перед которой стояла четкая задача: разработать обязательные рекомендации о порядке вынесения приговоров с целью ограничить диапазон уголовных наказаний.

В следующем году, после анализа 10 000 дел, комиссия разработала эти рекомендации, взяв за основу средние сроки тюремного заключения за схожие преступления. Судья Верховного суда Стивен Брайер, принимавший активное участие в этом процессе, выступил в защиту традиционной практики²⁸, указывая на трудноразрешимые разногласия внутри самой комиссии: «Почему мы просто не сели и не попытались все упорядочить и изучить? Да потому что это невозможно. Невозможно, так как мы располагаем вескими, но разрозненными свидетельствами, которые доказывают противоположные вещи… Попробуйте-ка расставить друг за другом все преступления от незначительного до заслуживающего самого сурового наказания… Затем попросите друзей сделать то же самое и сравните результаты. Уверяю вас, они будут совсем не похожими».

Согласно рекомендациям, при назначении наказания судье следует учитывать два фактора: само преступление и уголовное прошлое подсудимого. В зависимости от серьезности преступлениям присваивается одна из 43 степеней тяжести. Под уголовным прошлым главным образом понимается количество и срок вынесенных ранее обвинительных приговоров. На основе сложения этих двух факторов рекомендации предлагают относительно узкий диапазон наказаний. Верхний предел этого диапазона может превышать нижний лишь на шесть месяцев или на 25 % – при этом выбирается наибольшее значение из двух. Отклониться от этого диапазона судьи могут при наличии отягчающих или смягчающих обстоятельств, обосновав свое решение²⁹ в апелляционном суде.

Несмотря на обязательность, рекомендации нельзя назвать абсолютно жесткими. Они не настолько радикальны, как того желал Франкел, и у судей остается значительное пространство для маневра. Тем не менее несколько исследований, проведенных с применением различных методов и охватывавших различные исторические периоды, пришли к одному и тому же заключению: рекомендации снижают уровень шума. Выражаясь формально, «они сокращают чистую изменчивость³⁰ в приговорах, случайно обусловленную личностью судьи, назначающего наказание».

Наиболее подробное исследование провела сама комиссия³¹. Изучив дела, связанные с ограблением банков, распространением кокаина и героина, а также с банковскими хищениями, комиссия сравнила приговоры, вынесенные по таким делам в 1985 году (до введения рекомендаций), с приговорами, вынесенными между 19 января 1989 года и 30 сентября 1990 года. Правонарушителей для исследования подбирали с учетом факторов, которые, согласно рекомендациям, имели отношение к вынесению приговора. После принятия Закона о реформе системы назначения наказаний расхождений в приговорах по каждому из рассмотренных типов преступлений оказалось гораздо меньше.

Согласно другому исследованию³², ожидаемая разница в сроках тюремного заключения, назначенных разными судьями, составляла 17 %, или 4,9 месяца, в 1986 и 1987 годах. Эта разница сократилась до 11 %, или 3,9 месяца, между 1988 и 1993 годами. Независимое исследование³³, затронувшее различные временные периоды, также выявило положительные сдвиги. Сравнение разницы в длине тюремных сроков, назначенных судьями со сходной рабочей нагрузкой, подтвердило сокращение расхождений между приговорами.

Несмотря на такие результаты, на рекомендации обрушился целый поток критики. Одни, включая значительное число судей, посчитали, что отдельные приговоры были слишком суровыми – камень в огород смещения, а не шума. Для наших целей более интересное возражение, поступившее от многочисленных судей, состояло в том, что рекомендации приводили к огромной несправедливости, так как не давали судьям должным образом учитывать все обстоятельства дела. Уровень шума снижался ценой превращения судейских решений в механические, что было неприемлемо. Профессор права Йельского университета Кейт Стит и федеральный судья Хосе Кабранес писали, что «нужна не слепая беспристрастность³⁴, а понимание и справедливость», которые возможны, «только когда при вынесении приговора учитываются все нюансы каждого конкретного случая».

Из-за подобных возражений рекомендации оказались под серьезной угрозой, отчасти вследствие законодательных проблем, отчасти политических. Тем не менее им удалось просуществовать до 2005 года, когда по чисто техническим причинам, никак не связанным с вышеописанной полемикой, их отменил Верховный суд³⁵, оставив за ними лишь консультативную функцию. Что примечательно, большинство федеральных судей были очень довольны таким решением. Консультативный статус рекомендаций оказался предпочтительнее для 75 % судей³⁶, тогда как только 3 % отдавали предпочтение прежнему, обязательному.

К чему же привела смена статуса рекомендаций с обязательного на консультативный? Ответ на этот вопрос изучила профессор права Гарвардского университета Кристал Янг. Она не стала прибегать к экспериментам и опросам, вместо этого проанализировав огромный массив данных о приговорах, вынесенных по делам более 400 000 правонарушителей. Ее главный вывод: после 2005 года расхождения в судейских решениях многократно увеличились по нескольким показателям. Когда рекомендации носили обязательный характер, правонарушители, которые попадали в руки достаточно жестких судей, получали на 2,8 месяца больше, чем если бы решения выносили их среднестатистические коллеги. Когда рекомендации приобрели статус консультативных, эти расхождения удвоились. Слова Кристал Янг вторят выдвинутым за сорок лет до этого аргументам судьи Франкела: «Эти выводы внушают³⁷ большие опасения за справедливое отношение, поскольку личность судьи, рассматривающего дело, играет значительную роль в вынесении разных приговоров схожим правонарушителям, осужденным за схожие преступления».

После того как рекомендации стали консультативными, судьи все чаще выносят приговоры на основе своих личных ценностей. Обязательные рекомендации снижают не только шум, но и смещение, вызванное предвзятостью. После того как Верховный суд сделал рекомендации необязательными, значительно увеличились расхождения в приговорах афроамериканцам и белым правонарушителям, осужденным за схожие преступления. В то же время судьи-женщины стали чаще, чем судьи-мужчины, действовать на свое усмотрение и проявлять больше снисхождения. То же самое можно сказать и о судьях, назначенных президентами-демократами.

Спустя три года после смерти Франкела в 2002 году отмена обязательности рекомендаций о порядке вынесения приговоров вернула ситуацию, которой он опасался больше всего: к закону без порядка.

_____

История борьбы судьи Франкела за введение рекомендаций по вынесению приговоров дает представление о важнейших моментах, которые мы рассмотрим в этой книге. Во-первых, выносить суждения нелегко, потому что реальный мир сложен и непредсказуем. Это очевидно как в работе судебных органов, так и в большинстве других ситуаций, когда выносятся профессиональные оценки. В широком понимании это суждения врачей, медсестер, юристов, инженеров, преподавателей, архитекторов, голливудских продюсеров, специалистов, ответственных за набор персонала, книгоиздателей, руководителей компаний и менеджеров спортивных команд. Где бы ни выносились суждения, разногласия неизбежны.

Во-вторых, масштабы этих разногласий гораздо шире, чем мы ожидаем. Мало кто возражает против принципа судебного усмотрения, но при этом почти все порицают возникающие в ходе его применения огромные расхождения. Системный шум, или нежелательный разброс в выносимых судебных решениях, которые в идеале должны быть идентичными, способен приводить к вопиющей несправедливости, высоким экономическим издержкам и всевозможным ошибкам.

В-третьих, уровень шума можно снизить. Соблюдение правил и рекомендаций – подход, за который ратовал судья Франкел и который воплотила в жизнь Комиссия США по вопросам назначения наказаний, – это один из методов, успешно сокращающих шум. Другие приемы лучше приспособлены для иных видов суждений. При этом некоторые методы снижения уровня шума могут одновременно уменьшать и смещение.

В-четвертых, усилия, направленные на сокращение шума, часто встречают сопротивление и наталкиваются на серьезные препятствия. Из таких ситуаций также необходимо находить выход, иначе борьба рискует закончиться ничем.

К разговору о шуме при вынесении приговоров

«Эксперименты показывают большие расхождения в том, как судьи выносят решения по идентичным делам. Такая вариативность просто не может быть справедливой. Приговор не должен зависеть от личности судьи, который рассматривает дело».

«Уголовные приговоры не должны зависеть от настроения судьи или погоды в день слушаний».

«Рекомендации по вынесению приговоров – один из способов решения проблемы. Однако многим он не нравится из-за ограничения принципа судебного усмотрения, что зачастую необходимо для вынесения адекватного и справедливого приговора. В конце концов, каждое дело уникально, разве не так?»

Глава 2

Шумная система

Первая встреча с шумом, вызвавшая у нас интерес к этой теме, не была исполнена такого драматизма, как столкновение с системой уголовного права. Собственно говоря, это произошло случайно, когда одна страховая компания воспользовалась услугами консалтинговой фирмы, с которой двое из нас сотрудничали.

Безусловно, тема страхования способна увлечь далеко не каждого. Но результаты наших изысканий демонстрируют, насколько серьезна проблема шума в коммерческих организациях, где шумные решения могут привести к большим убыткам. Наш опыт исследований в страховой компании объясняет, почему проблема остается незамеченной и как ее можно решить.

Руководство этой страховой компании пыталось просчитать, какую пользу можно извлечь, если сделать суждения сотрудников, ответственных за важные финансовые решения от имени фирмы, более последовательными и менее шумными. По общему мнению, последовательность в суждениях была действительно необходима. Все также согласились с тем, что подобные суждения невозможно сделать абсолютно последовательными, так как они неформальны и отчасти субъективны, а значит, полностью избежать шума не получится.

Разногласия возникли при обсуждении масштабов проблемы. Руководству представлялось сомнительным, что шум может быть для компании существенной проблемой. Однако надо отдать им должное: они выразили готовность разрешить этот спор при помощи простого эксперимента, который мы назвали ревизией шумовых помех. Результат оказался для них весьма неожиданным. При этом он стал яркой иллюстрацией проблемы шума.

Лотерея, создающая шум

В крупных компаниях многие специалисты наделены правом выносить суждения, которые связывают эти компании обязательствами. Например, в страховых организациях работает множество андеррайтеров[2], назначающих размеры взносов за страхование финансовых рисков, например от потерь банка вследствие мошеннических операций. Там также задействовано много оценщиков страховых убытков, которые прогнозируют расходы в связи с будущими претензиями и ведут переговоры с заявителями в случае возникновения споров.

В каждом крупном филиале компании есть несколько квалифицированных андеррайтеров. Когда возникает необходимость в страховой котировке, или ставке премии, ее подготовка может быть поручена любому свободному специалисту. Фактически андеррайтер, который определит размер страховой котировки, назначается на основе лотереи.

Точный размер ставки премии имеет для организации большое значение. Компании выгодно, когда ставка высокая и клиент с ней соглашается, однако завышенная котировка увеличивает риск лишиться сделки. Если же ставка низкая, клиент принимает ее с большей готовностью, но тогда уже компания упускает выгоду. Для любого риска существует размер ставки, отражающий золотую середину, – не слишком высокий и не слишком низкий, – при этом высоки шансы, что в среднем оценки большой группы специалистов не будут сильно от нее отклоняться. Ставки выше или ниже этой величины окажутся убыточными – именно таким образом разброс шумных оценок способен отрицательно повлиять на финансовые показатели компании.

Деятельность оценщиков страховых убытков тоже сказывается на финансовых показателях. Предположим, что от имени рабочего (заявителя), навсегда утратившего работоспособность правой руки из-за несчастного случая на производстве, было подано требование о страховом возмещении. Для работы с заявкой назначается свободный на этот момент оценщик страховых убытков – точно так же, как и в случае с андеррайтером. Оценщик собирает необходимую информацию о деле и представляет оценку его окончательной стоимости для страховой организации. Затем тот же специалист ведет переговоры с агентом предъявителя претензии, стараясь сделать так, чтобы заявитель получил выплаты, обещанные страховым полисом, но без ущерба компании.

Важное значение имеет предварительная оценка, поскольку она устанавливает определенную планку для специалиста в будущих переговорах с заявителем. Кроме того, страховая компания по закону обязана зарезервировать прогнозируемую сумму каждого требования о возмещении (другими словами, иметь достаточно свободных денег на выплаты). С позиции компании, в этом случае тоже возникает некое значение, отражающее золотую середину. Гарантировать урегулирование претензии невозможно, поскольку юрист заявителя может обратиться в суд, если посчитает предложение страховой компании мизерным. С другой стороны, если зарезервировать слишком большую сумму, есть риск, что оценщик уступит и согласится на необоснованно завышенные требования. Суждение оценщика имеет серьезные последствия для компании и еще более серьезные – для заявителя.

Мы используем термин лотерея, чтобы подчеркнуть роль случайности в выборе андеррайтера или оценщика убытков. В обычных условиях на каждое дело назначается один специалист, и никто не задается вопросом, что бы произошло, если бы вместо него назначили кого-то другого.

Лотереи бывают полезны, и в них необязательно видеть что-то плохое. Полезные лотереи используют как для распределения «благ», например при розыгрыше допуска к определенным университетским курсам, так и для раздачи «повинностей», например во время призыва в армию. Такие лотереи успешно выполняют свою функцию. Но в процессе вынесения суждений лотереи ничего не распределяют и не раздают – они лишь порождают неопределенность. Представьте, что андеррайтеры в страховой компании не выносят шумных оценок и всегда назначают оптимальные ставки премий. Однако затем некий механизм случайным образом изменяет эти ставки, и клиентам предлагается конечный результат. Очевидно, что для подобной лотереи нет никаких оснований. Как нет никаких оснований для существования системы, в которой конечный результат зависит от личности специалиста, случайно назначенного для вынесения профессионального суждения.

Ревизия шумовых помех выявляет системный шум

Если судья, выносящий приговор, или единственный стрелок, представляющий свою команду, назначаются при помощи лотереи, это приводит к разбросу результатов, однако остается незамеченным. Ревизия шума, аналогичная той, что была проведена на материале приговоров, выносимых федеральными судьями, помогает решить эту проблему. В процессе ревизии одно и то же дело оценивается большим количеством специалистов, и разброс в их заключениях становится очевидным.

Это особенно хорошо работает в случае с андеррайтерами и страховыми оценщиками, чьи решения основываются на информации, представленной в письменном виде. Для проведения ревизии шума руководство компании подготовило детальные описания пяти типичных кейсов для каждой из групп специалистов (андеррайтеров и оценщиков). Каждый специалист должен был самостоятельно оценить два-три кейса; при этом испытуемые не знали, что целью исследования была оценка разброса в их суждениях.

Прежде чем продолжить чтение, попробуйте сами ответить на следующие вопросы. Насколько сильно будут отличаться оценки двух случайным образом назначенных квалифицированных андеррайтеров или оценщиков в преуспевающей страховой компании? В частности, какова будет разница между двумя оценками в процентах от их среднего показателя?

Мы задали этот вопрос большому количеству руководителей компании, а в последующие годы получили подобные оценки от широкого круга специалистов в различных областях. К нашему удивлению, один ответ встречался намного чаще остальных. Большинство топ-менеджеров в страховой компании предположили, что эта разница составит 10 или менее процентов. Затем мы опросили 828 генеральных директоров и руководителей из различных отраслей, предложив им оценить ожидаемые различия в экспертных суждениях, подобных вышеописанным. Медианной, и наиболее популярной, снова стала оценка в 10 %. (Второй по популярности была оценка в 15 %.) Разница в 10 % означала бы, к слову, что один из андеррайтеров назначил ставку премии в 9500 долларов, тогда как второй – в 10 500. Разница не выглядит такой уж ничтожной, но она вполне допустима для подобной организации.

Расхождения, выявленные нами во время ревизии шума, оказались куда более серьезными. По нашим оценкам, медианная разница у андеррайтеров составила 55 % – в пять раз выше, чем того ожидали большинство опрошенных, включая руководителей. Это означает, что, если один андеррайтер назначает премию в 9500 долларов, оценка второго будет вовсе не 10 500, а 16 700 долларов. Для оценщиков страховых убытков медианное соотношение составило 43 %. Подчеркнем, что эти результаты медианные: в половине пар кейсов разница между двумя оценками оказалась еще выше.

Получив отчет о результатах ревизии шумовых помех, руководители компании очень быстро сообразили, что такой существенный уровень шума – проблема весьма дорогостоящая. Один топ-менеджер подсчитал, что шум в андеррайтинге, включая как потери клиентов от завышенных ставок премий, так и убытки от заниженной цены контрактов, обходится компании в сотни миллионов долларов.

Никто не мог сказать наверняка, сколько при этом было ошибок и каким было смещение, поскольку значение золотой середины для каждого кейса не было известно. Но необязательно знать, где находится «яблочко» мишени, чтобы оценить широту разброса попаданий на ее оборотной стороне и понять, что вариативность представляет собой проблему. Данные показали, что сумма, которую клиент заплатит за страховку, довольно сильно зависит от результатов лотереи выбора специалиста, отвечающего за сделку. Мягко выражаясь, клиенты не слишком бы обрадовались новостям о том, что они невольно поучаствовали в такой лотерее. Как правило, имея дело с организациями, люди ожидают от системы последовательных суждений, но никак не системного шума.

Нежелательный разброс против желаемого разнообразия

Одна из определяющих черт системного шума – его нежелательность, и здесь нужно подчеркнуть, что разброс в суждениях нежелателен отнюдь не всегда.

Возьмем, к примеру, предпочтения или вкусы. Когда десяток кинокритиков посмотрят один и тот же фильм, десяток дегустаторов оценят одно и то же вино, а десяток читателей прочтут одну и ту же книгу, никто не ожидает, что их мнения окажутся одинаковыми. Разнообразие вкусов здесь приветствуется и вполне предсказуемо. Никому (ну или почти никому) не хочется жить в мире, где всем поголовно нравится и не нравится одно и то же. Однако в том случае, когда выражение личных предпочтений принимается за профессиональное суждение, разнообразием вкусов могут оправдывать ошибки. Если кинопродюсер решится на необычный проект (скажем, фильм о расцвете и упадке дисковых телефонных аппаратов) только потому, что ему пришелся по душе сценарий, такой выбор будет грубым просчетом, окажись он в этом мнении совершенно одинок.

Вариативность мнений также ожидаема и желательна в условиях конкуренции – когда поощряются наилучшие решения. Если несколько компаний (или отделов в организации), конкурируя, пытаются найти новые подходы к одной и той же проблеме заказчика, не нужно, чтобы они были одинаковыми. Так же и в науке: когда несколько групп ученых решают исследовательскую задачу, например разрабатывают вакцину, весьма желательно, чтобы проблема рассматривалась с различных углов зрения. Даже прогнозисты порой конкурируют между собой. Аналитик, точно предсказавший рецессию, когда ее никто не ждал, наверняка получит широкую известность, в отличие от прогнозиста, который всегда придерживается общепринятых мнений и потому остается в тени. В таких условиях вариативность идей и суждений снова приветствуется, поскольку здесь разброс – только первый этап процесса. На следующем этапе результаты, к которым приведут эти суждения, уже померяются силами друг с другом: победит сильнейший. Как и в мире природы, в рыночных условиях отбор требует изменчивости.

Личные предпочтения и условия конкуренции – занятные проблемы, связанные с вынесением суждений. Но нас интересуют суждения, в которых разброс нежелателен. Системный шум – проблема систем, а к ним относятся не рынки, а организации. Когда трейдеры по-разному оценивают стоимость акций, одни на этом заработают, а другие нет. Рынок строится на разности мнений. Однако если случайно выбранному трейдеру поручат подобную оценку от имени целой компании и мы обнаружим, что оценки его коллег из той же компании будут кардинально отличаться, тогда налицо проблема системного шума.

Мы получили изящную иллюстрацию вышесказанного, когда представили наши выводы руководителям фирмы по управлению активами, предложив им провести собственную ознакомительную ревизию шума. Они поручили 42 опытным инвесторам компании оценить справедливую стоимость акции (стоимость, при которой инвесторы были бы не заинтересованы в ее покупке или продаже). Инвесторы провели анализ на основе одностраничного описания компании, включающего упрощенные данные о прибыли и убытках, баланс, отчеты о движении денежных средств за последние три года, а также финансовый прогноз на последующие два. Проделав такие же измерения, как ранее в страховой компании, мы обнаружили, что медианный шум в фирме по управлению активами составил 41 %. Такая огромная разница суждений среди инвесторов одной компании, пользующихся одинаковыми методами оценки, – неутешительные новости.

Когда специалиста, выносящего суждение, произвольно отбирают из числа других таких же квалифицированных специалистов, как мы уже наблюдали в фирме по управлению активами, в системе уголовного правосудия и в страховой компании, шум становится проблемой. Системный шум – проклятие многих организаций. Фактически случайным образом будет назначен врач, который окажет вам помощь в больнице, судья, который будет слушать ваше дело, патентный эксперт, который рассмотрит вашу заявку, представитель отдела обслуживания клиентов, который ответит на вашу жалобу, и т. д. Нежелательный разброс в таких решениях может стать причиной серьезных проблем, в числе которых финансовые потери и повсеместная несправедливость.

Нежелательному разбросу часто не придают значения, полагая, что случайные ошибки взаимно уничтожаются. Разумеется, положительные и отрицательные ошибки в суждении по одному вопросу имеют тенденцию друг друга компенсировать, и мы подробно рассмотрим, как эту особенность можно использовать для снижения уровня шума. Однако в шумных системах не принимается множество решений по одному и тому же вопросу – в них принимаются шумные решения по разным вопросам. Если цена одного страхового полиса оказывается завышена, а другого – занижена, усредненное значение может казаться справедливым, но при этом страховая компания допускает две дорогостоящие ошибки. Если двух преступников, которым полагается по пять лет тюрьмы, приговаривают к трем и семи годам соответственно, справедливость в целом не торжествует. В шумных системах ошибки не компенсируют друг друга – они накапливаются.

Иллюзия согласия

В последние десятилетия шуму в профессиональных суждениях было посвящено большое количество публикаций. Будучи знакомыми с их содержанием, мы не слишком удивились результатам ревизии шума в страховой компании. Настоящим же сюрпризом для нас стала реакция руководства компании на эти данные: они не ожидали, что шума будет так много. Никто не усомнился в результатах, никто не посчитал такой уровень шума допустимым, однако проблема шума – и возникающие из-за нее огромные издержки – стала для компании новостью. Словно протечку в подвале дома, шум не пытались устранить – не потому что он всех устраивал, а потому что его попросту никто не замечал.

Как такое могло случиться? Как мнения специалистов, выполняющих одинаковые функции в компании, могли так сильно отличаться и как это могло остаться незамеченным? Почему руководители ничего не видели, ведь, как они признали, такая ситуация представляла серьезную угрозу деятельности компании и ее репутации? Стало понятно, что зачастую организации не способны распознать проблему системного шума, и такое невнимание не менее интересно, чем сам масштаб проблемы. Ревизия позволила предположить, что авторитетные специалисты и их компании-работодатели поддерживали лишь иллюзию согласия и при этом фактически изо дня в день расходились в профессиональных суждениях.

Чтобы понять, откуда возникает иллюзия согласия, представьте себя на месте андеррайтера в ничем не примечательный рабочий день. У вас больше пяти лет опыта, и вы знаете, что коллеги вас ценят, а вы уважаете и любите своих коллег. Вы не сомневаетесь в своей компетенции. Тщательно проанализировав потенциальные риски финансовой организации, вы приходите к заключению, что ставка страховой премии в 200 000 долларов будет оправданной. Задание довольно сложное, но не труднее того, с чем вам приходится иметь дело ежедневно.

Теперь вообразите, что ваши коллеги получили те же данные и оценили риск той же финансовой организации. Поверите ли вы, что по меньшей мере половина специалистов назначили ставку выше 225 000 или ниже 145 000 долларов? Мысль не из приятных. Мы подозреваем, что андеррайтеры, узнав о проведенной нами ревизии шума и согласившись с ее результатами, все же так и не смирились с мыслью, что выводы исследования относились лично к ним.

Большинство из нас почти всегда уверено, что мир именно такой, каким мы его себе представляем. Отсюда недалеко до следующего убеждения: «Другие видят мир таким, каким его вижу я». Подобные представления, называемые наивным реализмом³⁸³⁹, необходимы для понимания реальности, общей для всех людей, и редко ставятся под сомнение. В любой момент у нас есть единая интерпретация окружающего мира, и, как правило, мы практически не утруждаем себя мыслями о правдоподобных альтернативах. Нам достаточно одной, в нашем понимании верной интерпретации. Мы не идем по жизни, воображая иные способы восприятия действительности.

В случае профессиональных суждений вера в то, что другие видят мир теми же глазами, ежедневно подкрепляется различными способами. Так, коллеги используют общий жаргон и набор правил, которые помогают сформулировать соображения, важные для принятия решений. Нас обнадеживает, когда коллеги соглашаются, что суждения, нарушающие эти правила, абсурдны. Если время от времени у нас все же возникают разногласия с коллегами, мы интерпретируем это как ошибку с их стороны. Мы редко замечаем, что согласованные нами правила довольно расплывчаты: с их помощью можно отбросить какие-то варианты решений, но нельзя прийти к общему положительному ответу в каждом конкретном случае. Мы можем работать с коллегами в мире и согласии и при этом совершенно не замечать, что они видят мир совсем иначе.

Вот как специалист по андеррайтингу описывала нам историю своего профессионального роста в отделе: «Когда я только пришла, я советовалась со своим начальником по поводу 75 % кейсов. Спустя пару лет необходимость в этом отпала – теперь экспертом стала я сама. Со временем я принимала решения гораздо увереннее». Как это случается со многими из нас, ее уверенность росла по мере накопления опыта вынесения суждений.

Психология этого процесса хорошо изучена. Уверенность подпитывается субъективным опытом все возрастающей легкости и свободы принятия решений, отчасти из-за их сходства с решениями, уже принимавшимися в похожих обстоятельствах. По мере того как эта сотрудница страховой компании все чаще соглашалась с собственными суждениями из прошлого опыта, ее уверенность росла. Нет никаких свидетельств того, что после начального периода обучения она научилась советоваться с коллегами, уточняя степень своего с ними согласия, или хотя бы попыталась сделать так, чтобы методы ее работы не слишком отличались от методов других специалистов.

В этой страховой компании было достаточно одной ревизии шума, чтобы иллюзия согласия полностью растаяла. Почему руководство даже не догадывалось о проблеме? На этот вопрос существует несколько вероятных ответов, но во многих ситуациях важную роль играет не что иное, как неловкость, возникающая при разногласиях. Большинство организаций предпочитают единодушие и гармонию, а не раскол и конфликты. Часто компании специально разрабатывают процедуры, призванные свести к минимуму внешние проявления фактических разногласий и сгладить споры в случае их возникновения.

Профессор психологии Университета Миннесоты и ведущий исследователь по вопросам прогнозирования эффективности Нэйтан Кансел поделился с нами наглядным примером этой проблемы. Он помогал приемной комиссии университета оптимизировать процесс принятия решений. Обычно член приемной комиссии изучал заявление абитуриента, оценивал его и направлял следующему члену комиссии, который, в свою очередь, тоже давал ему оценку. По причинам, которые станут очевидными по мере чтения этой книги, Кансел предложил скрывать первую оценку, чтобы она не повлияла на последующую. Вот что ответил университет: «Раньше мы прибегали к подобной практике, но это привело к такому количеству разногласий, что мы вернулись к прежнему формату рассмотрения заявлений». Это учебное заведение – в числе множества организаций, где избегание конфликтов считают едва ли не таким же важным аспектом работы, как и принятие верных решений.

Давайте рассмотрим еще один механизм, популярный во многих компаниях, а именно «разбор полетов» после неудачных решений. Такие разборы могут быть полезным инструментом обучения, но если допущена настоящая ошибка и выбранное решение далеко отклонилось от общепринятых профессиональных норм, обсуждение будет слишком легким. Эксперты без труда придут к заключению, что решение пошло вразрез с традиционными мнениями, и даже могут назвать его редким исключением из правил. Распознать плохие суждения гораздо легче, чем хорошие. Подобное разоблачение вопиющих ошибок и маргинализация коллег, которые их совершают, никак не помогут профессионалам осознать, насколько сильно их мнения отличаются от мнений других специалистов при вынесении в целом приемлемых суждений. Как раз наоборот: легкость в достижении консенсуса по поводу плохих решений может даже укрепить иллюзию согласия; при этом настоящий урок – о повсеместности системного шума – усвоен не будет.

Хочется надеяться, что вы уже начинаете разделять наш взгляд на шум как на серьезную проблему. Его присутствие совсем не удивительно, ведь шум – следствие неформальной природы суждений. Однако, как мы увидим далее, когда организация начинает присматриваться к проблеме, обнаруживаемый уровень шума всегда становится потрясением. Вывод прост: там, где есть место суждению, найдется и шум – и его намного больше, чем вы думаете.

К разговору о системном шуме в страховой компании

«Мы зависим от качества профессиональных суждений – решений андеррайтеров, оценщиков страховых убытков и так далее. На рассмотрение каждого страхового случая назначается один специалист вследствие ошибочного допущения, что решение любого другого специалиста окажется схожим».

«Уровень системного шума в пять раз выше, чем мы предполагали и чем мы можем допустить. Мы никогда бы не пришли к такому выводу без ревизии шума, позволившей развеять иллюзию согласия».

«Системный шум – серьезная проблема, приносящая убытки в сотни миллионов долларов».

«Там, где есть место суждению, найдется и шум – и его намного больше, чем вы думаете».

Глава 3

Уникальные решения

До сих пор мы обсуждали исследования решений, принимаемых многократно. Какой приговор вынести за кражу? Какую страховую ставку назначить при определенных рисках? Хотя каждый случай по-своему уникален, подобные суждения – это типовые решения. Врачи ставят диагнозы пациентам, судьи заслушивают дела об условно-досрочном освобождении, члены приемной комиссии рассматривают заявления абитуриентов, бухгалтеры готовят налоговую отчетность – все это примеры типовых решений.

Шум при вынесении типовых решений можно обнаружить при помощи ревизии шумовых помех, о которой мы говорили в предыдущей главе. Когда взаимозаменяемые специалисты принимают решения по схожим делам, охарактеризовать и измерить нежелательный разброс нетрудно. Однако создается впечатление, что гораздо сложнее – и даже, пожалуй, невозможно – применить понятие шума к категории суждений, которые мы называем уникальными решениями.

Вспомним, например, кризис, с которым мир столкнулся в 2014 году. В Западной Африке тысячи людей стали жертвами вируса Эбола. Все в мире взаимосвязано, и прогнозы показывали, что инфекция способна быстро распространиться и особенно ощутимо ударить по Европе и Северной Америке. В США зазвучали настойчивые призывы прекратить авиасообщение с пострадавшими регионами и срочно закрыть границы. Шаги в этом направлении поддерживались авторитетными и хорошо информированными лицами, а политическое давление было огромным.

Президенту США Бараку Обаме пришлось принять одно из самых непростых решений за все время работы на этом посту – с подобным он не сталкивался ни до, ни после. Он не стал закрывать границы и отправил в Западную Африку 3000 медиков и военных. Обама возглавил многонациональную коалицию стран, которые не могли похвастаться успехами на поприще совместной работы, и направил их ресурсы и опыт на решение проблемы у ее истоков.

Уникальные или типовые

Решения, принимаемые лишь единожды, как в случае с реакцией президента Обамы на вспышку вируса Эбола, уникальны. Они не принимаются периодически одним и тем же специалистом или группой экспертов, для них не существует заранее подготовленных шаблонных ответов, и у них есть характерные, присущие только им особенности. Когда разразилась эпидемия, у Обамы и его администрации не было предыдущего опыта, на который они смогли бы опереться. Значимые политические решения, судьбоносный выбор военачальников – как правило, наглядные примеры уникальных решений.

Такими же характеристиками обладают и решения, принимаемые в личной жизни: выбор профессии, покупка дома, вступление в брак. Даже если это не первая ваша работа, дом или брак, и несмотря на то, что до вас с такими же решениями сталкивалось огромное количество людей, для вас они уникальны. В бизнесе директора компаний тоже нередко вынуждены принимать уникальные для себя решения: стоит ли вводить новшества, способные изменить правила игры, сокращать ли бизнес во время пандемии, открывать ли филиал за рубежом, уступить ли под натиском государственного регулирования?

Вероятно, уникальные и типовые решения не следует относить к отдельным категориям: они, скорее, располагаются в разных частях одного спектра. Андеррайтеры вполне могут столкнуться в работе с уникальными случаями. В то же время, если вы покупаете дом уже в четвертый раз, возможно, вы начнете воспринимать решения о подобных приобретениях как типовые. И все же яркие примеры дают основание полагать, что разница значительна. Объявление войны – отнюдь не то же самое, что объявление о проведении ежегодного пересмотра бюджета.

Шум в уникальных решениях

Долгое время уникальные решения рассматривались отдельно от типовых – тех, что принимаются взаимозаменяемыми специалистами в крупных организациях. Типовые решения – предмет изучения социологов, тогда как ответственные уникальные решения остаются в ведении историков и гуру менеджмента. Подходы, применяемые к исследованию обоих типов решений, довольно сильно отличаются. Типовые решения рассматриваются в статистическом ключе: социологи оценивают большое количество похожих решений, чтобы разглядеть сходные черты, обнаружить закономерности и измерить правильность и точность. В противоположность этому подход к уникальным решениям обычно носит причинно-следственный характер: они обсуждаются в ретроспективе, и основной объект внимания – это причины произошедшего. С помощью исторического анализа, например изучения успехов или ошибок в управлении, исследователи пытаются понять, как были приняты принципиально уникальные решения.

Сама природа уникальных решений поднимает важный вопрос при изучении шума. Мы назвали шумом нежелательный разброс в суждениях, выносимых по одному и тому же вопросу. К уникальным решениям такое определение неприменимо – ведь они не повторяются. В конце концов, история вершится лишь однажды. У вас не получится сравнить принятое Обамой решение направить медиков и военных в Западную Африку в 2014 году с решениями других американских президентов, принятых по поводу других проблем, возникших в другое время (хотя вы вправе выдвигать гипотезы). Можно сравнить ваше решение связать себя узами брака с подобными решениями других подобных вам людей, но такое сравнение не будет для вас так же значимо, как сравнение размера страховых ставок, назначенных двумя андеррайтерами по одному делу. Вы и ваш избранник неповторимы. Прямого способа обнаружить шум в уникальных решениях не существует.

И все же нельзя утверждать, что уникальные решения не подвержены влиянию тех же факторов, что создают шум во время принятия типовых решений. Вспомним стрелков в тире: возможно, участники команды С (с шумными результатами) по-разному настроили прицел на винтовках, а может, у них дрожали руки. Увидев, как стреляет первый участник, мы бы не составили представления о том, насколько шумными будут результаты всей команды, однако источники шума никуда бы не делись. Аналогичным образом, принимая уникальное решение, вы должны понимать, что, даже если другой человек, размышляя над таким же решением, будет обладать схожей компетенцией и разделять ваши цели и установки, он не придет к такому же заключению на основе тех же фактов. К тому же следует понимать, что в случае каких-то незначительных изменений в ситуации или обстановке во время принятия решения ваш вывод мог бы стать совсем иным.

Другими словами, мы не можем измерить уровень шума в уникальных решениях, но, мысля контрфактуально[3], мы наверняка знаем о его присутствии. Так же как дрогнувшая рука стреляющего в тире дает основания предположить, что тот единственный выстрел мог попасть в другую точку мишени, шум при принятии решений дает основание считать, что уникальное решение могло быть совсем другим.

Задумаемся о том, какие факторы влияют на принятие уникального решения. Насколько отличались бы рекомендации президенту Обаме, если бы во время эпидемии лихорадки Эбола за анализ угрозы и подготовку мер реагирования отвечали совсем другие эксперты – с иным жизненным опытом и предысторией? Как повернулось бы обсуждение, если бы те же самые факты были представлены несколько иначе? Каким бы стало финальное решение, если бы настроение главных действующих лиц было другим, а встреча происходила во время снежной бури? С этой точки зрения уникальные решения перестают казаться такими уж предопределенными. В зависимости от множества факторов, о существовании которых мы даже и не подозреваем, решения вполне могут получиться совсем другими.

Давайте снова поупражняемся в контрфактуальном мышлении. Вспомним, как разные страны отреагировали на пандемию COVID‑19. Хотя она началась для всех примерно в одно и то же время и развивалась похожим образом, ответные меры существенно отличались от региона к региону. Такая вариативность четко свидетельствует о шуме в решениях, принимаемых разными государствами. Но что если бы эпидемия затронула только одну страну? Тогда бы мы просто не смогли заметить никакого разброса. Однако от того, что разброс незаметен, принятое решение не становится менее шумным.

Как контролировать шум в уникальных решениях

Такая теоретическая дискуссия небесполезна. Если в уникальных решениях столько же шума, сколько в типовых, тогда стратегии сокращения уровня шума в последних должны помочь улучшить и качество первых.

Эта рекомендация еще более парадоксальна, чем кажется. Когда вам предстоит принять единственное в своем роде решение, вы инстинктивно так к нему и отнесетесь: как к единственному в своем роде. Некоторые даже утверждают, что к уникальным решениям, принимаемым в условиях неопределенности, вообще неприменимы законы вероятностного мышления и что к подобным решениям нужно подходить совершенно иначе.

Наши наблюдения подсказывают, что следует действовать ровно наоборот. Руководствуясь соображениями уменьшения шума, мы должны относиться к уникальным решениям как к типовым решениям, принимаемым лишь единожды. Выносите ли вы суждение один или сотню раз, ваша цель – снизить при этом как масштаб смещения, так и уровень шума. При этом приемы, которые помогут этого добиться, должны оказаться настолько же эффективными для уникальных решений, как и для типовых.

К разговору об уникальных решениях

«Ваши решения в этой необычной ситуации рискуют подвергнуться действию шумовых помех».

«Не забывайте: уникальное решение – это типовое решение, принимаемое лишь однажды».

«Жизненный опыт, сформировавший вас как личность, не имеет отношения к вынесению данного суждения».

Часть II

Ваш разум – измерительный прибор

Чтобы что-то измерить как в повседневной жизни, так и проводя научные исследования, мы пользуемся специальными приборами, присваивая объекту или явлению некое значение по определенной шкале. Длину ковра в сантиметрах мы измерим рулеткой. Температуру в градусах по шкале Фаренгейта или Цельсия – термометром.

Нечто похожее происходит, когда мы выносим суждения. Назначая срок лишения свободы, судьи выбирают на шкале некую отметку. Так же поступают андеррайтеры, присваивая риску, который нужно застраховать, определенный эквивалент в долларах, или врачи, ставя диагноз пациенту. (Шкала необязательно должна быть числовой. «Виновен вне всяких сомнений», «меланома в поздней стадии», «рекомендовано хирургическое вмешательство» – все это тоже суждения.)

Таким образом, суждения можно охарактеризовать как измерения, инструментом для которых выступает человеческий разум. В само понятие измерения заложена идея достижения точного результата с целью приблизиться к истине и минимизировать ошибки. Мы выносим суждения не для того, чтобы произвести впечатление, отстоять точку зрения или в чем-то убедить. Важно заметить, что мы заимствовали понятие «суждение» из специальной литературы по психологии, и оно гораздо ýже, чем то, что используется в быту. «Суждение» не синоним «размышления», а «вынести точное суждение» не значит «проявить здравомыслие».

Мы определяем суждение как заключение, которое можно сформулировать при помощи одного слова или фразы. Когда аналитик разведывательной службы готовит длинный отчет c заключением, что режим в стране нестабилен, суждением здесь будет только само заключение. Термин «суждение», подобно «измерению», относится и к процессу вынесения суждения, и к его результату. Время от времени мы будем использовать слово «судить» в качестве специального термина для описания людей, выносящих суждения, даже если они не имеют никакого отношения к системе правосудия.

Хотя нашей целью и является точность, добиться ее полностью невозможно, даже проводя научные измерения, не говоря уже о вынесении суждений. Всегда будет некая погрешность в виде смещения или шума.

Чтобы убедиться, что шум и смещение вносят в суждения погрешность, попробуйте сыграть в игру, которая займет у вас не более минуты. Если ваш смартфон оснащен секундомером, наверняка там есть функция, которая позволяет отмерять последовательные временные интервалы, не останавливая секундомер и даже не глядя на экран. Ваша цель – не подсматривая в телефон, отсчитать пять последовательных интервалов ровно по 10 секунд. Перед началом эксперимента вы можете потренироваться, понаблюдав за прохождением десятисекундного интервала. Время пошло!

А теперь взгляните на экран и проверьте, сколько секунд пришлось на каждый засеченный вами отрезок времени. (Работа самого телефона тоже не лишена шума, но его уровень крайне низок.) Вы убедитесь, что время, отведенное вами на каждый интервал, вовсе не равняется десяти секундам и что между полученными значениями есть существенная разница. Вы пытались точно засечь одинаковое количество секунд, но потерпели неудачу. Разброс, неподвластный вашему контролю, – это пример шума.

Такой вывод совсем не удивителен, ведь шум – универсальное явление в физиологии и психологии. Вариативность среди индивидуумов заложена природой, и какие-то различия есть даже у близнецов. Процессы внутри одного человека тоже вариативны. Бывает, сердце сбивается с четкого ритма. Нельзя воспроизвести какой-то жест с идеальной точностью. При проверке слуха у отоларинголога одни звуки будут для вас всегда слишком тихими, а другие – всегда слышимыми. А некоторые вы будете различать лишь от случая к случаю.

Взгляните еще раз на пять значений, зафиксированных вашим секундомером. Прослеживается ли какая-нибудь закономерность? К примеру, если все временные отрезки оказались короче десяти секунд, возможно, ваши внутренние часы спешат. В этом простом задании смещение – положительная или отрицательная разница между десятью секундами и средним арифметическим отмеренных вами интервалов. Разброс же в ваших результатах – это шум, аналогичный увиденному нами разбросу попаданий по мишени. В статистике основной единицей измерения разброса⁴⁰ является стандартное отклонение; его-то мы и будем использовать для оценки уровня шума в суждениях.

Мы можем уподобить большинство суждений, особенно прогнозных суждений, вашим манипуляциям с секундомером. Прогнозируя, мы стараемся приблизиться к истинному значению. Экономический прогнозист пытается как можно точнее предсказать рост ВВП в следующем году, врач преследует цель поставить верный диагноз. (Отметим, что «прогноз» в этой книге используется как специальный термин и не подразумевает предсказание будущего. В этом смысле «прогнозом» может считаться поставленный пациенту диагноз.)

Мы будем часто прибегать к аналогии между суждениями и измерениями, так как она помогает наглядно объяснить роль шума в возникновении погрешностей. Прогнозист сродни стрелку, который целится в «яблочко», или физику, который пытается измерить точный вес частицы. Шум в суждениях подразумевает погрешность. Проще говоря, если целью суждения является истина, два отличных друг от друга суждения просто не могут быть верны одновременно. Так же как у измерительных приборов, погрешность у некоторых людей при выполнении определенных задач будет выше – возможно, из-за нехватки навыков или опыта. Так же как измерительные приборы, люди никогда не выносят идеальных суждений. Наша задача – понять и измерить возникающую при этом погрешность.

Безусловно, вынесение большинства профессиональных суждений гораздо сложнее фиксирования временных интервалов секундомером. В главе 4 мы рассмотрим различные виды профессиональных суждений и проанализируем, каковы их цели. В главе 5 мы обсудим, как измерить погрешность и количественно оценить роль системного шума. Глава 6 посвящена более глубокому изучению системного шума и его различных составляющих. В главе 7 мы подробнее исследуем одну из таких составляющих, а именно ситуативный шум. Наконец, в главе 8 мы продемонстрируем, как группы способны усиливать шум в суждениях.

Главы этой части книги подводят нас к простому заключению: как и любой измерительный прибор, человеческий разум несовершенен и его выводы подвержены воздействию смещения и шума. Почему и в какой мере? Давайте разберемся.

Глава 4

Субъективные суждения

Эта книга посвящена профессиональным суждениям в широком смысле. Предполагается, что те, кто выносит такие суждения, компетентны и стремятся к точным результатам. Однако само понятие суждения поневоле подразумевает, что в его точности никогда нельзя быть уверенным до конца.

Задумайтесь о значении выражений «субъективная оценка» или «субъективное решение». Никто не назовет субъективными утверждения о том, что завтра снова взойдет солнце или что формула хлорида натрия – NaCl. Ожидается, что каждый разумный человек безусловно с этим согласится. В субъективные оценки заложена доля неопределенности, и мы допускаем, что здравомыслящие и компетентные люди могут иметь разные мнения.

Существует, однако, некий предел тому, насколько сильно мнения могут не совпадать. Действительно, слово «суждение» в основном используют, когда предполагается некое согласие. Субъективные суждения не то же самое, что личные мнения или вкусы, где непреодолимые разногласия вполне допустимы. Руководители страховой компании, которых поразили результаты ревизии шума, едва ли удивились бы тому, что оценщики убытков имеют полярно противоположные взгляды на достоинства «Битлз» и «Роллинг Стоунз» или, к примеру, тунца и горбуши.

Субъективные суждения, в том числе профессиональные, находятся где-то между фактами и вычислениями, с одной стороны, и личными мнениями или вкусами – с другой. Для них характерно ожидание ограниченных разногласий.

Ответ на вопрос о допустимом масштабе разногласий в суждениях сам по себе является субъективной оценкой, зависящей от сложности проблемы. Особенно нетрудно достичь согласия по поводу суждений, лишенных здравого смысла. Судьи, чьи приговоры по типичному делу о мошенничестве могут сильно различаться, сойдутся в том, что штраф в размере одного доллара или пожизненный срок здесь совершенно неуместны. Члены жюри на конкурсе вин⁴¹ могут спорить по поводу победителей, но единогласно забракуют неудачные вина.

Процесс вынесения суждения: пример

Прежде чем говорить о процессе вынесения суждений, мы предлагаем вам попробовать вынести свое собственное. Глава принесет больше пользы, если вы выполните нижеследующее упражнение до конца.

Представьте, что вы входите в комиссию, задача которой оценить кандидатов на должность генерального директора в довольно благополучной финансовой компании, столкнувшейся с ростом конкуренции. Вам нужно оценить вероятность успеха потенциального кандидата спустя два года после начала работы. Под успехом понимается способность кандидата удержаться на месте генерального директора по истечении двухлетнего срока. Оценку вероятности требуется выразить по шкале от 0 (невозможно) до 100 (определенно).

Майклу Гамбарди тридцать семь лет. Двенадцать лет назад он окончил Гарвардскую школу бизнеса и с тех пор успел поработать на разных должностях. В начале карьеры он стал основателем и инвестором двух стартапов, которые потерпели неудачу, не найдя необходимой финансовой поддержки. Затем Майкла наняла крупная страховая компания, где он быстро вырос до главного исполнительного директора в Европейском регионе. На этой должности он предложил и затем курировал изменения, позволившие оптимизировать урегулирование страховых исков. Коллеги и подчиненные находили Гамбарди эффективным, однако излишне властным и жестким: за время его пребывания в должности управленческий персонал менялся довольно часто. Сослуживцы также указывают на его честность и готовность взять на себя ответственность за неудачи. Последние два года Майкл является генеральным директором финансовой компании среднего размера, которая изначально находилась под угрозой банкротства. Ему удалось стабилизировать положение компании; коллеги считают его успешным, хотя подтверждают, что работать с ним нелегко. Гамбарди выразил заинтересованность в карьерном росте. По результатам собеседования, проведенного с ним несколько лет назад, специалисты по кадрам охарактеризовали его как в высшей степени находчивого и энергичного специалиста, отметив при этом, что он высокомерен и порой деспотичен.

Итак, Майкл претендует на должность генерального директора в относительно успешной региональной компании, столкнувшейся с растущей конкуренцией. Какова вероятность того, что, если Майкла пригласят на эту должность, он все еще будет генеральным директором два года спустя? Прежде чем продолжать читать, пожалуйста, оцените эту вероятность по шкале от 0 до 100. При необходимости перечитайте данную вам информацию.

Если вы отнеслись к этому упражнению серьезно, вероятно, оно показалось вам непростым. Информации довольно много, при этом она кажется довольно противоречивой. Вам пришлось потрудиться, чтобы составить для себя некий связный портрет специалиста, необходимый для вынесения суждения. При этом вы сосредоточили внимание на деталях, которые представлялись вам важными, и, скорее всего, не придали значения остальным. Если вас попросят объяснить свой выбор, вы назовете несколько характерных фактов, но их будет недостаточно для полноценного отчета о вашем решении.

Ваш мыслительный процесс при выполнении этого задания демонстрирует несколько особенностей умственных операций, называемых суждениями:

• Во всем наборе данных (которые могут быть лишь частью необходимой информации) вы посчитали некоторые детали более существенными, не осознавая своего выбора в полной мере. Вы заметили, что Гамбарди – это итальянская фамилия? Вы помните, где он учился? Задание намеренно перегружено информацией для того, чтобы вам непросто было вспомнить все детали. Вероятнее всего, ваше описание информации в задаче будет отличаться от того, что запомнили другие читатели. Избирательное внимание и избирательное припоминание – источники разброса в суждениях.

• Вы также неформально использовали выбранные вами детали в общем прогнозе успеха Гамбарди. «Неформально» – это ключевое слово. Для ответа вам не понадобилось составлять план. Практически незаметно для вас ваш разум составил цельный образ Майкла: его сильные и слабые стороны, трудности, с которыми он сталкивается в работе. Неформальность позволила справиться с задачей быстрее. В то же время она породила разброс. Формальный процесс, например суммирование цифровых показателей, гарантирует идентичные результаты, но при неформальных операциях определенная доля шума неизбежна.

• Наконец, вы преобразовали ваше общее впечатление в цифровой показатель на вероятностной шкале успеха. Сопоставление числа от 0 до 100 с неким впечатлением – это весьма примечательный процесс, к обсуждению которого мы еще вернемся в главе 14. И тут вы снова не можете сказать точно, почему ответили именно так. Скажем, почему вы выбрали 65, а не 61 или 69? Скорее всего, в какой-то момент вам в голову пришло некое число. Вы засомневались в его справедливости и в результате подумали о другом. Эта часть процесса тоже является источником разброса.

Поскольку каждый из этих трех шагов в сложном процессе вынесения суждения влечет за собой возникновение разброса, не следует удивляться, когда ответы на задачу про Майкла Гамбарди окажутся очень шумными. Если вы предложите это упражнение своим друзьям, скорее всего, вы обнаружите огромный разброс в оценках будущего успеха кандидата на должность. Когда мы дали это задание 115 студентам MBA, их оценки вероятности успеха Гамбарди варьировались от 10 до 95. Это очень шумный результат.

Между прочим, возможно, вы заметили, что задачка о Гамбарди и упражнение с секундомером служат примерами двух разных видов шума. Разброс во время нескольких попыток отмерить интервалы с секундомером – это шум в суждениях одного человека (вас). Разброс в задаче о Гамбарди – шум в суждениях разных людей. С точки зрения измерений первая проблема демонстрирует внутриэкспертную надежность, а вторая – межэкспертную.

Цель суждения: внутренний сигнал

Ответ, данный вами на задачу о Гамбарди, – прогнозное суждение в нашем определении этого термина. Однако оно существенно отличается от других суждений, которые мы также называем прогнозными. До какого значения завтра поднимется температура воздуха в Бангкоке? Кто победит сегодня вечером в футбольном матче? Кто станет следующим президентом? Если вы с приятелем расходитесь во мнениях на этот счет, когда-нибудь вы все равно узнаете, кто прав. Но если вы по-разному оцениваете шансы Гамбарди, точного ответа вы не узнаете даже со временем. Причина проста: никакого Гамбарди не существует.

Даже если бы в задаче говорилось о реальном человеке и мы знали ответ, невозможно подтвердить или опровергнуть одно-единственное вероятностное суждение (отличное от 0 или 100 %). Ответ не раскрывает, какой вероятность была изначально. Если событие, вероятность которого оценили в 90 %, не происходит, само суждение о вероятности необязательно считать неудачным. В конце концов, результаты, вероятность которых оценивается в 10 %, в итоге достигаются в 10 % случаев. Задача о Гамбарди – пример вынесения непроверяемого прогнозного суждения. Его нельзя проверить по двум причинам: кандидатура Гамбарди – вымышленная, а ответ на задачу – вероятностный.

Многие профессиональные суждения непроверяемы. За исключением ситуаций с вопиющими ошибками, андеррайтеры, например, так никогда и не узнают, была ли стоимость полиса завышена или, наоборот, занижена. Прогнозы бывают непроверяемыми из-за своей условности. Каким бы важным ни казалось пророчество «если мы ввяжемся в войну, нас просто раздавят», скорее всего, оно (надеемся) так и останется непроверенным. Прогнозы также могут охватывать слишком длительный период, и тогда профессионалов, которые их составили, уже нельзя будет призвать к ответу – к таким прогнозам можно, например, отнести предположения о средних температурах на планете к концу XXI века.

Повлияла ли непроверяемость ответа в задаче о Гамбарди на ваш подход к ее решению? Задались ли вы вопросом о том, существовал ли Гамбарди на самом деле? А о том, будет ли в конце главы информация о его дальнейшей судьбе? Может, вы подумали, что, даже если вы о ней узнаете, это все равно не поможет ответить на вопрос задачи? Вероятно, нет, потому что в процессе выполнения задания все эти соображения казались несущественными.

Проверяемость суждения никак не влияет на сам процесс его вынесения. Возможно, вы чуть серьезнее подойдете к обдумыванию задачи, решение которой вскоре будет дано, поскольку ваш мозг сосредотачивается больше, когда есть риск быть уличенным в неправоте. С другой стороны, вы не станете задумываться над задачей, которая абстрактна до нелепости. («Стал бы Гамбарди хорошим директором, если бы у него было три ноги и способность летать?») В общем же и целом, если гипотетическая задача правдоподобна, вы отнесетесь к ней точно так же, как и к реальной. Это немаловажно для исследований в психологии, где нередко используются вымышленные задания.

Поскольку у задачи нет решения, а вы, вероятно, даже не задумывались, будет ли оно вообще дано, вы не пытались минимизировать погрешность. Вы постарались вынести верное суждение и остановились на значении, которое не побоялись предложить в качестве ответа. Конечно, оно не вселяло в вас столько же уверенности, как утверждение о том, что дважды два четыре. Вы допускали некоторую неопределенность (и, как мы увидим, на самом деле ее больше, чем вы думали). Однако в какой-то момент вы осознали, что дальше двигаться некуда, и сделали свой выбор.

Как вы поняли, что приняли верное или хотя бы вполне допустимое решение? Мы полагаем, вы почувствовали внутренний сигнал о том, что суждение вынесено, никак не связанный c информацией извне. Найденный ответ вполне соответствовал условиям задачи. Ощущения соответствия не возникло бы, будь ваш ответ 0 или 100: такие выводы предполагают уверенность, несовместимую с настолько беспорядочными, неоднозначными и противоречивыми условиями задачи. Однако ваш ответ, каким бы он ни был, показался вам вполне правомерным. Когда вы выносили суждение, вашей целью было найти именно правомерное решение.

Основное свойство такого внутреннего сигнала – то, что ощущение правомерности является неотъемлемой частью процесса вынесения суждения, не зависящей от реального результата. Поэтому внутренний сигнал возникает при вынесении как непроверяемых, так и проверяемых суждений. Вот почему решение задачи о вымышленном человеке вроде Гамбарди ничем не отличается от решения задач с реальными данными.

Как оценивается суждение: результат и процесс

Проверяемость не влияет на процесс вынесения суждения, однако от нее зависит то, как это суждение будет оцениваться впоследствии.

Объективный наблюдатель просто оценит точность проверяемых суждений, сравнив выводы с реальным результатом. Если синоптик дал прогноз, что воздух сегодня прогреется до 70 градусов Фаренгейта, а реальная температура достигла лишь 65, значит, он ошибся на пять градусов. Очевидно, что такой подход не сработает, когда суждения проверить нельзя, как в задаче о Гамбарди, где искомого ответа просто нет. Как же тогда оценить их качество?

Существует еще один способ оценивать как проверяемые, так и непроверяемые суждения. Он заключается в оценивании процесса их вынесения. Называя одни суждения удачными, а другие неудачными, мы подразумеваем либо итоговый ответ (к примеру, число, данное вами при решении задачи о Гамбарди), либо процесс решения – то, как вы к этому ответу пришли.

Чтобы оценить процесс решения, можно понаблюдать, насколько успешно его можно применить к большому количеству задач. Представьте, что политический прогнозист оценил шансы множества кандидатов на победу в местных выборах. Вероятность победы ста из этих кандидатов он оценил в 70 %. Если семьдесят человек из них в итоге будут избраны, у нас появится повод считать, что этот прогнозист действительно неплохо разбирается в деле. Проверяемой является вся совокупность этих суждений, тогда как признать единственное вероятностное суждение верным или неверным просто невозможно. Подобным образом установить наличие предвзятости по отношению к определенной группе людей достовернее всего можно с помощью статистики по значительному количеству случаев.

Процесс вынесения суждения можно также оценить, ответив на вопрос о его соответствии принципам логики или теории вероятностей. Многие исследования когнитивных искажений посвящены именно этому.

Если сосредоточить внимание не на результате, а именно на процессе вынесения суждения, можно оценить непроверяемые выводы, такие как гипотетические задачи или долгосрочные прогнозы. Даже не сравнивая эти выводы с реальным результатом, мы все-таки способны определить, была ли в них допущена ошибка. Когда мы перейдем к вопросу улучшения качества суждений, а не просто их оценки, мы также уделим основное внимание именно процессу. Все процедуры, рекомендованные в этой книге для снижения уровня смещения и шума, нацелены на внедрение процессов вынесения суждений, минимизирующих ошибки в совокупности похожих ситуаций.

Мы противопоставили друг другу два способа оценки суждений: сравнение вывода с реальным результатом и оценку качества процесса, который позволил к этому выводу прийти. Заметьте, что, оценивая проверяемое суждение обоими способами, мы можем прийти к разным заключениям. Квалифицированный и осторожный прогнозист, вооруженный лучшими инструментами и методиками, время от времени ошибается, предсказывая уровень квартальной инфляции. С другой стороны, иногда даже шимпанзе, метающая дротики в дартс[4], может попасть в точку.

Чтобы разрешить это противоречие, специалисты, изучающие принятие решений, дают четкие рекомендации: сосредоточьте внимание не на результате, полученном в индивидуальном случае, а на процессе принятия решения. Однако мы понимаем, что на практике так обычно не происходит. Профессионалов, как правило, оценивают по тому, насколько близкими их оценки оказываются к проверяемым результатам. При этом и сами они уверены, что стремятся к наиболее точному совпадению.

Итак, обычно люди убеждены, что при вынесении проверяемых суждений стремятся к совпадению прогноза с реальным результатом. На деле же, вне зависимости от степени проверяемости прогноза, они ждут внутреннего сигнала о готовности суждения, а он, в свою очередь, возникает, когда между условиями задачи и сделанным выводом не остается противоречий. Однако гораздо правильнее стремиться к тому, чтобы в процессе вынесения суждений было найдено оптимальное решение для целой совокупности похожих случаев.

Оценочные суждения

До сих пор в этой главе мы подробно рассматривали прогнозные суждения, и большинство примеров, разбираемых в этой книге, относятся именно к этому типу. Однако глава 1, где речь шла о судье Франкеле и шуме в системе вынесения уголовных приговоров, исследует иной тип суждений. Вынесение приговора – это не прогноз, а оценочное суждение, призванное подобрать наказание, соответствующее тяжести преступления. Жюри винных конкурсов и ресторанные критики выносят оценочные суждения. Профессора, читающие сочинения студентов, судьи на соревнованиях по фигурному катанию и комитеты, распределяющие исследовательские гранты, также выносят оценочные суждения.

Несколько другой тип оценочных суждений выносится в ситуациях, где для принятия решения нужно рассмотреть и взвесить множество альтернатив: руководители выбирают самого подходящего кандидата на некую должность, управленцы ищут оптимальную стратегию, президенты решают, как реагировать на эпидемию в Африке. Несомненно, для решения всех этих задач нужно сначала вынести прогнозные суждения, которые послужат исходными данными. Насколько продуктивным окажется выбранный кандидат в первый год работы? Как фондовый рынок отреагирует на новый стратегический ход? Как быстро распространится эпидемия в отсутствие сдерживающих мер? Однако для окончательного решения потребуется взвесить преимущества и недостатки имеющихся вариантов, и вот здесь понадобятся оценочные суждения.