Офтоп
Дмитрий Яшин

Почему нельзя верить прогнозам экспертов

Что будет с курсом рубля? Когда восстановится российская экономика? Повторится ли рецессия 2008 года? Ответа на эти вопросы не знает никто, но это не мешает финансовым аналитикам и политологам строить свои прогнозы, которыми потом руководствуется масса людей. «Секрет» изучил книги и научные исследования, которые объясняют, почему экспертные прогнозы не стоит воспринимать серьёзно.

Обезьяны справляются не хуже экспертов

Профессор психологии Пенсильванского университета Филип Тетлок провёл самое масштабное на данный момент исследование о политических прогнозах. В 1984 году он попросил около 300 экспертов сделать прогноз о политическом развитии нескольких стран. Собрав 80 000 суждений, Тетлок на протяжении 20 лет наблюдал, какие из них окажутся верными. Результаты исследования он приводит в книге Expert Political Judgment.

Тетлок пришёл к выводу, что опрошенные эксперты сильно переоценивали свои прогностические способности. «Если бы обезьяны кидали бы дротики в мишени, символизирующие разные варианты развития событий, то их результат был бы такой же, как у экспертов», — объясняет он.

Согласно исследованию чаще ошибаются эксперты, которые руководствуются одной большой идеей или теорией. Лучшие результаты показали эксперты, использовавшие много источников информации и разные аналитические модели. Кроме того, для хорошего прогноза важно сохранять гибкость и не быть слишком самоуверенным: это помогает легче отказываться от неверных представлений о будущем.

Мы чрезмерно оптимистичны

Исследования психологов показали: многие думают, что желаемые для них события произойдут с большой вероятностью, чем они происходят в реальности. Это касается самых разных вопросов. Например, люди нереалистично оцениваютсвои возможности и предполагают, что закончат личные проекты быстрее, чем на самом деле могут. Также студенты ожидают более высоких оценок на экзаменах, чем в результате получают. Кроме того, выпускники программ MBA переоценивают свои карьерные перспективы.

Чрезмерный оптимизм касается и финансовых аналитиков. Профессор университета Акрона Томас Кальдерон исследовал прогнозы экономических экспертов и пришёл к выводу, что они могут предсказать периоды роста или падения корпоративных доходов, но постоянно переоценивают их объём.

Датский учёный Бент Фливбьорг с коллегами исследовал проекты крупного бизнеса и пришёл к выводу, что, даже когда люди стремятся детально продумать план действий со всеми возможными расходами, они всё равно склонны переоценивать свои возможности. Фливбьорг также заметил закономерность: часто ангажированные эксперты делают намеренно оптимистичные прогнозы и занижают, например, стоимость крупных строек. Затем, когда расходы оказываются в несколько раз больше задуманного, те же эксперты преувеличивают потенциальную пользу от нового проекта.

Самые смелые — самые неточные

Профессор Нью-Йоркского университета Кристина Фэнг проанализировала прогнозы, от которых зависит судьба миллионов и миллиардов долларов. С 2002 по 2005 год она вместе с коллегой Джеркером Денреллом собирала все предсказания экономистов Уолл-стрит.

«Люди, которые предвидели очень хорошие или очень плохие последствия того или иного события, в целом делают больше ошибок», — говорит Фэнг. Иными словами, чем более безумные предсказания делает эксперт, тем хуже качество его прогнозов в целом. Кроме того, профессор отмечает, что те, кому удалось предсказать значительные события в мире экономики, редко повторяли свой успех.

Прогноз без анализа

Блогер Нейт Сильвер прославился благодаря своим политическим прогнозам, которые он делал на основе информации, полученной в результате анкетирования населения. Во время президентских выборов в 2008 году блогер предсказалпобедителей в 49 из 50 штатов. В 2012 году, когда Барак Обама и Митт Ромни сражались за пост президента США, Сильверу удалось спрогнозировать победу кандидатов во всех 50 штатах. В том же году вышла его книга The Signal and the Noise: The Art and Science of Prediction.

Успех прогнозов Сильвера позволил ему запустить собственное издание FiveThirtyEight. В манифесте сайта (а также в своей книге) он критикует «экспертов» и колумнистов, которых так много в медиа, за бездумные прогнозы и неумелое использование статистики. Метод Сильвера — это журналистика данных, которая полагается на статистический анализ, визуализацию информации и программирование.

Чтобы объяснить различия между журналистикой данных и обычной журналистикой, главный редактор FiveThirtyEight делит процесс написания статей на этапы: сбор информации, её организация, объяснение и обобщение. Последний этап — самая слабая сторона традиционной журналистики, потому что авторы и редакторы не могут правильно экстраполировать выводы и обычно не прилагают много усилий, чтобы сделать это, а просто полагаются на своё мнение.

Мы жаждем даже несбывающихся прогнозов

Канадский журналист Дэн Гарднер в своей книге Future Babble опирается на работы Нейта Сильвера, Филипа Тетлока и других исследователей и доказывает невозможность точного прогнозирования. Кроме того, он подробно рассказывает об экспертах, которые неверными прогнозами дискредитировали себя: например, об известном биологе Поле Эрлихе, который в конце 60-х заявил, что, если население Индии увеличится на 200 млн человек, страна не сможет прокормить себя. Этот прогноз не сбылся.

Автор Future Babble не только обличает «экспертов», но и пытается понять, почему мы до сих пор им верим. По мнению Гарднера, прогнозы востребованы, потому что люди не любят неопределённость. Автор цитирует профессора Уортонской школы бизнеса Дж. Скотта Армстронга: «Невзирая на доводы о том, что провидцев не существует, наивные люди будут платить за то, чтобы они были». Таким образом, многим хотят получить ответы на свои вопросы, даже если они неправильные.

0
49 комментариев
Написать комментарий...
Драматический Никита

Прогнозам экспертов нужно верить. Например, если эксперт механик предсказывает скорую поломку машины, то скорее всего так и будет. Если эксперт инженер-проектировшик говорит, что стены у дома треснут в течении двух лет, то это действительно случится.

Но эксперт просто не может быть экономистом по причине того, что экономика не является наукой и не имеет предсказательной силы. Нужно просто уметь отличать экспертов от пиздоболов.

Ответить
Развернуть ветку
Космический спрей

Нам рассказывали на лекции по Теории Управления (область математики а не менеджмента) такую историю:
Приехал в Америку наш математик-физик (специалист по ТУ). Нашёл работу в одной строительной конторе. Они ему дали чертежи моста и попросили рассчитать его прочность. Он зачем-то попросил у них данных о том, какие в этом месте ветра. В итоге через месяц приходит и говорит что, мол такой мост строить нельзя, 100% рухнет. Они ему говорят - ok, мы знаем, он уже рухнул. Нам интересно почему.
Оказалось что они не учитывали ветровые нагрузки...
(дело было в XX веке)
Так что математиков и физиков слушать можно и нужно.

Ответить
Развернуть ветку
Драматический Никита

Скорее всего речь шла о Такомском мосте, который разрушился от ветра в 1940 году.

Ответить
Развернуть ветку
Семейный череп

Хоспади, какой же адовый бред

Ответить
Развернуть ветку
Командный ящик

Мне даже стало стало интересно, что вы знаете про экономику.

Ответить
Развернуть ветку
Драматический Никита

Мне даже стало интересно в чем я, по-твоему, не права.

Ответить
Развернуть ветку
Командный ящик

Мне сейчас стало еще интересней, что вы знаете про экономику.

Ответить
Развернуть ветку
Драматический Никита

Я признаю, что ничего не знаю про экономику, если ты аргументированно ответишь на вопрос о том, почему экономика является наукой.

Ответить
Развернуть ветку
Командный ящик

Ваши экономические знания зависят от моего ответа? Сомневаюсь.
Энивей, определение из вики:
"Нау́ка — область человеческой деятельности, направленная на выработку и систематизацию объективных знаний о действительности".
Собственно, именно этим экономика и занимается в отношении той части действительности, что каким-то образом связана со всякой разнообразной фигней типа производства, потребления, распределения, etc. Конечно, есть споры о неверифицируемости части экономических исследований, но это уже проблема качества исследований и их специфики.
Кстати, всегда думал, что если человек заявляет что-то, отличное от позиции научного сообщества, это он должен доказать, что он прав, а не наоборот. Но нет, оказывается.

Ответить
Развернуть ветку
Драматический Никита

С этой точки зрения - да, но но экономика не имеет четкого понятийного аппарата, в экономике невозможно открыть какие-либо законы отвечающие жестким критериям. Я не говорю, что не нужно изучать экономику, конечно же нужно изучать и систематизировать знания, по мне, так экономика - это скорее сфера культуры, она не более научна, чем история ,социология или литература. К тому же многие "законы" в экономике не отвечают критерию Поппера. По сути, экономика в первую очередь держится на взаимоотношениях между группами людей, а поскольку взаимоотношения вещь весьма непостоянная, то и вывести какие-либо четкие критерии, по которым в дальнейшем можно будет провести точные расчеты, не представляется возможным. Настоящая же наука, которой занимаются экономисты - это математика.

Ответить
Развернуть ветку
Командный ящик
экономика не имеет четкого понятийного аппарата

Пруф

в экономике невозможно открыть какие-либо законы отвечающие жестким критериям

Пруф

экономика - это скорее сфера культуры, она не более научна, чем история ,социология или литература

Охлол, история тоже не наука? Все понятно. Но даже без этого утверждение неверное.

К тому же многие "законы" в экономике не отвечают критерию Поппера

Ващет отвечают. Дайте пример хорошего экономического закона, ему не удовлетворяющего
Дальше не буду отвечать, но тоже все довольно мимо.
На самом деле 50% времени экономисты действительно тратят на математику, но не на математику как науку, а на математику как инструментарий. Сами же научные изыскания находятся совсем в другой плоскости.
Но вы так и не ответили на мой вопрос. Что вы знаете об экономике? Учили ли вы экономику хотя бы в школе?

Ответить
Развернуть ветку
Предметный холод

нобелевских лауреатов пожалуйста по истории сюда выдайте. даю наводку их количество примерно равно количеству таковых в областях астрологии, религоведения и прочей хуеты. впрочем экономистов хоть считать учат, так что безусловно пользя от изучения есть.

Ответить
Развернуть ветку
Разумный Кирилл
нобелевских лауреатов пожалуйста по истории сюда выдайте. даю наводку их количество примерно равно количеству таковых в областях астрологии, религоведения и прочей хуеты

типа математики
Хуевый у вас критерий

Ответить
Развернуть ветку
Семейный череп

А когда у нас степень научности начала определяться Нобелевской премией?

Ответить
Развернуть ветку
Предметный холод

Предложите свой критерий, я выбрал этот. Есть науки и наукообразныедисциплины, которые не оперируют точными знаниями подтверждающимися экспериментально

Ответить
Развернуть ветку
Киевский Влад

Этот критерий называется у нормальных людей критерием Поппера. Странно, что вы топите за естественные науки и не умеете при этом в логику.

Ответить
Развернуть ветку
Командный ящик

Но ведь история удовлетворяет критерию Поппера.

Ответить
Развернуть ветку
Киевский Влад

Как раз нет. Не только не соответствует, но и сам Поппер отрицал научность двух дисциплин кроме очевидных псевдонаучных. Он отрицал научность истории и социологии. При этом надо понимать, что отрицание научности в рамках теории Поппера не говорит о том, что это шарлатанство или бред. Только ненаучность.

Ответить
Развернуть ветку
Командный ящик

Мне кажется, это зависит от того, что считать историей. Например, гипотеза "Чиновник У написал документ Х в Z году" неопровержима, но, скажем, гипотеза "Существующий документ X был написан в Z году и пробыл большую часть времени в условиях содержания N" вполне себе опровержима. Т.е. часть истории опровержима точно, хотя не вся, соглашусь.

Насчёт социологии не соглашусь категорически, всё-таки люди берутся из некоторой генеральной совокупности, так что все гипотезы о поведении людей вполне себе опровержимы на достаточно большой выборке, закон больших чисел всё-таки Поппер не отменил.

Ну, это ещё не говоря о том, что сам критерий, имхо, не самый идеальный (насколько я помню, критерий по самому себе не является научным, хотя это не самое главное), хотя местами полезный.

Ответить
Развернуть ветку
Киевский Влад

1. История в целом не соответствует критерию фальсифицируемости, потому что нельзя проверить исторические гипотезы путём проведения корректного научного эксперимента. Даже выводы о том, кто подписал тот или иной документ основываются на косвенных признаках. Реконструкция исторических событий ещё менее научное занятие.

2. На счёт социологии спорить не буду, я не интересуюсь этим предметом. Могу лишь сказать, что методы сбора первичной информации для социологических исследований - это методы статистики, а не социологии.

Ответить
Развернуть ветку
Командный ящик

1. Насчёт гипотез о том, кто подписал документ, я согласен, я даже об этом написал :D

Насчет того, что история в целом нефальсифицируема - соглашусь, был неправ. Но и в ней есть фальсифицируемые куски.

2. Сбор информации - часть эксперимента, а не гипотезы, но такими легитимными экспериментами и опровергаются социологические гипотезы. Так что я не понимаю, чем плоха социология.

В экономике же вообще все гипотезы делаются в рамках какой-то аксиоматики, и выводы делаются примерно так же, как доказываются теоремы в математике. Я вот не очень понимаю, как проверить экспериментально гипотезу о том, что 2+2=4, неужто математика тоже не наука?

(Это скорее риторический вопрос, т.к. вы такого про экономику не говорили, но все же)

Ответить
Развернуть ветку
Киевский Влад

Это доказуемо, хоть и непросто для тех, кто в математике не разбирается. Вот раз: https://ru.wikipedia.org/wiki/%D0%9E%D1%81%D0%BD%D0%BE%D0%B2%D0%BD%D0%B0%D1%8F_%D1%82%D0%B5%D0%BE%D1%80%D0%B5%D0%BC%D0%B0_%D0%B0%D1%80%D0%B8%D1%84%D0%BC%D0%B5%D1%82%D0%B8%D0%BA%D0%B8

и вот два (упрощенное объяснение, подойдёт, чтобы разобраться) :

http://realcorwin.livejournal.com/120988.html

Ответить
Развернуть ветку
Командный ящик

Я говорил про экспериментальное подтверждение, я понимаю, что это доказывается в соответствующих наборах аксиом. Возможно, я просто не понимаю, что такое эксперимент.

Ответить
Развернуть ветку
Командный ящик

Вернее, опровержение.

Ответить
Развернуть ветку
Киевский Влад
Ответить
Развернуть ветку
Командный ящик

Уже прочитал :D

Ответить
Развернуть ветку
Служебный татарин

А почему реконструкция исторических событий - ненаучное занятие?

Ответить
Развернуть ветку
Киевский Влад

Потому что любая трактовка исторических событий по определению ненаучна, т.к. не может быть подтверждена или опровергнута в ходе правильно поставленного эксперимента. Любое описание будь то куликовской битвы или битвы с Наполеоном нефальсифицируемо.

Ответить
Развернуть ветку
Служебный татарин

Устоявшаяся трактовка исторических событий может быть пересмотрена в результате получения новых данных - раскопки, новый манускрипт, топонимическое исследование.

Вообще понятие "эксперимента" - это из естественно-научной сферы знания, применять его к гуманитарным наукам немного нелогично, по-моему. Менее научными они от этого не становится. Там выше уже давали определение науки из Википедии - область деятельности, направленная на выработку и систематизацию объективных знаний о действительности. Под это определение история попадает более, чем полностью. И объективное знание в ней достижимо - если существует достаточное количество информации, чтобы утверждать такое. Та же Куликовская битва - это объективный исторический факт, мы точно знаем, что она была. Точно так же мы объективно знаем, кто в той битве участвовал. А вот с более мелкими деталями - к примеру, как вел себя тот или иной отряд или полк на поле боя - уже сложнее, тут-то недостаток (или, наоборот, избыток, но это редко) источников дает о себе знать.

Ответить
Развернуть ветку
Киевский Влад

Ещё раз: все эти утверждения нельзя проверить в рамках корректно поставленного эксперимента. Источников, которые утверждают, что бог существует тоже очень много, однако вопрос о том "Есть ли бог" ненаучен, поскольку нефальсифицируем. Если я буду утверждать, что в Куликовской битве участвовал Тутанхамон, то ты не сможешь опровергнуть это, поскольку нет такого эксперимента, который бы доказал мою неправоту. Ссылки на литературу экспериментом не являются, поскольку сами тексты нуждаются в подтверждениях фактами.

Ответить
Развернуть ветку
Служебный татарин

Если ты подразумеваешь под Тутанхамоном фараона из Древнего Египта - смогу, потому что его мумия давным-давно была раскопана. Если ты подразумеваешь какого-то русского воина, носившего имя Тутанхамон - да, не смогу, но тут все упирается просто в недостаток источников, тогда не было поименных списков солдат (вот в 20-м веке в европейских армиях с этим все в порядке уже). Тем не менее, сам факт Куликовской битвы, как и ее итог и состав сил, ты опровергнуть не сможешь, потому что существует слишком большое количество независимых друг от друга источников, которые невозможно подделать (не рассматривая теории масонского заговора).
Текст не нуждается в подтверждении фактами, текст сам по себе уже исторический факт. Если в нем описываются события, которые более нигде не зафиксированы - с большой долей вероятности это неправда (и возникает вопрос, кому надо было писать такой текст и зачем - уже отдельное историческое исследование). Если же это лишь один из источников - то 99%, что эти события действительно произошли тогда-то и тогда-то.

Я точно так же еще раз говорю, что с понятием "эксперимент" нельзя подходить к гуманитарной науке, где такой эксперимент в принципе нельзя поставить. Это не делает ее ненаучной, это не лишает ее возможности собирать, систематизировать и находить объективное знание.

Ответить
Развернуть ветку
Киевский Влад

Ты очень аккуратно пропусил моё доказательство того, что источники не являются аргументом. Если следовать твоей логике, то Бог однозначно существовал и был способен творить чудеса, которые ему приписывают, поскольку мы имеем на руках сотни и тысячи литературных источников, которые так или иначе эти чудеса описывают. Однако, повторюсь, вопрос о существовании Бога ненаучен и нефальсифицируем несмотря на все эти источники.

Ответить
Развернуть ветку
Служебный татарин

Проблема в том, что вариантов этих богов в источниках - много, и они часто противоречат друг другу (потому что почти все религии претендуют на исключительность своего божества). Следовательно, мы не можем утверждать на основании этих источников, что Бог есть. Иначе возникает противоречие с другими. А по бритве Оккама наиболее простым объяснением будет то, что каждый народ (культура, деревня, что угодно) придумывает себе собственное божество. И дальше история религии занимается тем, что сравнивает, как развивались эти верования, выясняет, откуда они появлялись и т.п.
Плюс, данные о чудесах и т.п. невозможно подтвердить никакими материальными источниками, в отличие от тех же битв.

Ответить
Развернуть ветку
Семейный череп

Давай тогда обсудим научную дисциплину, за которую дают Нобелевскую премию мира.

Ответить
Развернуть ветку
Предметный холод

Давайте. Считаю это классным пиар ходом)

Ответить
Развернуть ветку
Космический спрей

Кто-то просто хочет организовать свой Венский кружок.
С Историей и Социологией.

Ответить
Развернуть ветку
Служебный татарин
не более научна, чем история

Дорогая Настя, пожалуйста, не несите чуши. История - это наука, у нее есть свой понятийный аппарат, у нее есть своя методология, есть свой научный аппарат по работе с историческими источниками. И много всякого другого. То, что она про людей и то, что историк не может написать полностью объективный научный труд (потому что невозможно выкинуть автора из текста), не делает историю в целом ненаучной.

Ответить
Развернуть ветку
Драматический Никита

Боже, сколько срачей из-за одного неосторожного высказывания. Я же не говорю, что история или экономика - это лженаука, я лишь хочу сказать, что история, экономика, социология и им подобные области знаний не имеют предсказательной силы. То есть можно конечно сделать экономическое сравнение одного продукта с другим и сделать вывод о том, что одно оборудование окупится за год и поломается через два, а другое окупится за пять лет, но проработает двадцать. Но нельзя предсказать сколько завтра будет стоит доллар и когда закончится кризис. Нельзя проанализировать конфликты прошлого и экстраполировать полученные знания на конфликты в настоящем. А все по одной простой причине - нельзя точно предсказать как поведет себя человек или группа людей.

Ответить
Развернуть ветку
Служебный татарин

Можно. Это просто будет не 100%-я точность, но можно просчитать несколько вариантов развития. В качестве идеального примера можно привести Екатерину Шульман, крутейшего политолога, которая регулярно ссылается на опыт 20-го века, на опыт гибридных режимов (который, по ее мнению, сейчас установился у нас). Единственное, что нужно для успешного моделирования - наличие знаний.

Ответить
Развернуть ветку
Драматический Никита

Ок, почитала я Екатерину Шульман. Удивительно, но ее мнение в точности совпадает с моим, а именно:

Но с точки зрения строгой науки прогнозирование – это в общем-то сомнительный жанр. В нем всегда есть и будет элемент шарлатанства.
Еще одна ошибка, которую совершают все прогнозисты, это впадение в исторический параллелизм.
Люди, которые обожествляют неподвижное историческое время и считают, что все будет повторяться, одновременно чрезвычайно зациклены на географии. Я бы обозначила эту ошибку как географический кретинизм.
Ответить
Развернуть ветку
Служебный татарин

Тем не менее, примерные варианты развития событий она часто прикидывает. Собственно, она говорит в первой цитате, что прогнозирование точным быть не может (об этом же я сказал в комменте).

Ответить
Развернуть ветку
Драматический Никита

Так и я говорю, что историческое и экономическое прогнозирование точным быть не может. А вот инженеры могут строить точные прогнозы.

Ответить
Развернуть ветку
Командный ящик

Вопрос в том, какой прогноз считать точным.

Ответить
Развернуть ветку
Колючий Гоша
Обезьяны справляются не хуже экспертов

Некоторые это уже поняли и потому уже экономят на приглашаемых экспертах

Ответить
Развернуть ветку
Предметный холод

кузя большой оптимист

Ответить
Развернуть ветку
Разумный Кирилл

Смотря чьи прогнозы, по поводу чего и на какой срок. Предсказать падение рубля в конце года много ума не надо, а вот что будет лет через пять..

Ответить
Развернуть ветку
Казенный Кирилл

Копипаста без изысков

Ответить
Развернуть ветку
Убежденный цветок

Комментарий недоступен

Ответить
Развернуть ветку
Комплексный Женя

Соотношение "мамкиных экспертов" к настоящим экспертам – неутешительное

Ответить
Развернуть ветку
Читать все 49 комментариев
null