Революция достоверности

Дмитрий Архангельский
Дмитрий Архангельский
Максим Ананьев
Максим Ананьев

11 октября 2021 года были объявлены лауреаты премии по экономике имени Альфреда Нобеля, учрежденной Государственным банком Швеции. Ими стали американские ученые — 65-летний профессор Калифорнийского университета в Беркли Дэвид Кард (David Card) (1/2 денежной составляющей премии) за «его эмпирический вклад в экономику труда», а также разделившие другую половину премии — 61-летний профессор MIT Джошуа Энгрист (Joshua Angrist) и 58-летний профессор Стэнфордского университета Хидо Имбенс (Guido Imbens) «за их методологический вклад в анализ причинных взаимоотношений».

Иван Сусин
Иван Сусин

Научный сотрудник австралийского Мельбурнского института прикладных экономических и социальных исследований (Melbourne Institute of Applied Economic and Social Research), автор подкаста «Большие вопросы» (socialsciencepodcast.com) Максим Ананьев, associate professor испанского Центра денежных и финансовых исследований в Мадриде (Center for Monetary and Financial Studies, CEMFI) Дмитрий Архангельский и стажер-исследователь Международной лаборатории экспериментальной и поведенческой экономики НИУ-ВШЭ Иван Сусин рассказали ТрВ-Наука о научном вкладе лауреатов и связанной с ними научной проблематике.

В основном безвредна…

В начале книги «В основном безвредная эконометрика» (отсылка к книге Дугласа Адамса «В основном безвредна») будущий лауреат Джошуа Энгрист и его соавтор Йорн-Штеффен Пишке (Jorn-Steffen Pischke) задаются вопросом: улучшает ли система здравоохранения здоровье людей? Хотя ответ кажется очевидным, неочевиден метод, подходящий для получения ответа из данных.

Простое сравнение среднего уровня здоровья тех, кто оказался в больнице, с теми, кто там не был, скорее всего, покажет, что после посещения врача здоровье в среднем становится хуже. Это неудивительно — человек, которому понадобилась медицинская помощь, изначально был менее здоровым, чем тот, кто в больнице не бывал. Этот феномен — «ошибка самоотбора» (selection bias) — встречается повсеместно в социальных науках.

Дают ли в элитной школе хорошее образование или там учат так же, а успехи определяются отбором более мотивированных школьников и их родителей? Вредит ли перспективам на рынке труда служба в «горячих точках» или последующие проблемы ветеранов объясняются большей склонностью к военной службе людей с исходно менее радужными перспективами на рынке труда? Ответы на эти вопросы важны для проведения грамотной экономической и социальной политики, и в то же время на них зачастую нельзя ответить экспериментально. В своих эмпирических и методологических работах лауреаты премии памяти Нобеля 2021 года Дэвид Кард, Джошуа Энгрист и Хидо Имбенс показывают, как обойти эту проблему, используя естественные и квазиэксперименты.

Джошуа Энгрист, Хидо Имбенс и Дэвид Кард. MIT/EPA-EFE/Shutterstock, Andrew Brodhead/Stanford News Service/EPA-EFE/Shutterstock, Noah Berger/AP/Shutterstock
Джошуа Энгрист, Хидо Имбенс и Дэвид Кард. MIT/EPA-EFE/Shutterstock, Andrew Brodhead/Stanford News Service/EPA-EFE/Shutterstock, Noah Berger/AP/Shutterstock

Естественные (натуральные) эксперименты — это похожие на контролируемые эксперименты случайные события, которые происходят сами собой, а не по воле исследователя и влияют на тот фактор, эффект которого мы хотим изучить. Например, зачастую, мы не можем случайно выбрать, кто будет служить в армии, а кто нет, — во многих странах это решение люди принимают сами.

Но иногда в этот процесс вмешиваются внешние факторы: во время войны во Вьетнаме призыв в армию США включал в себя лотерею. Поскольку общая мобилизация не требовалась, годных к службе американцев случайно рассортировали согласно дню рождения и призывали по мере необходимости. В результате родившихся 14 сентября призвали первыми, а родившихся 2 декабря не призвали вовсе. Это внешняя случайная вариация позволила Джошуа Энгристу [1] измерить эффект службы в армии на будущие доходы индивидов.

Явная лотерея — это все-таки редкость, чаще встречаются ситуации, когда разные группы отличаются воздействием на них внешнего фактора, который — по мнению исследователя — не приводит к ошибке самоотбора. Они интересуют не только экономистов: известным примером из истории медицины служит исследование вспышки холеры 1854 года доктором Джоном Сноу (John Snow).

Современники Джона Сноу считали, что причиной холеры является «болезнетворный воздух». Посчитав количество случаев холеры в каждом доме района Сохо в Лондоне и нанеся их на карту, доктор Сноу заметил, что ключевым внешним фактором является расстояние до водоразборной колонки. Люди, пившие воду из колонки, болели, а те, кто жил подальше, и люди, которые жили около нее, но пили только пиво — нет. Просто сравнить жителей, которые забирали воду из зараженной колонки, с теми, кто этого не делал, нельзя. Эти люди отличаются по многим характеристикам (например, доходу). В то же время мы можем соотнести, насколько больше болеют люди, живущие ближе к колонке, с тем, насколько чаще они забирают из нее воду.

Современный экономист назвал бы длину пути до колонки инструментальной переменной, или просто инструментом. Инструмент — это переменная, удовлетворяющая двум свойствам: она не влияет на интересующую нас переменную (заболеваемость холерой) напрямую, но играет важную роль при принятии индивидуальных решений (откуда забирать воду). Ключевую роль в развитии методологии использования инструментальных переменных как раз и сыграли лауреаты 2021 года Хидо Имбенс и Джошуа Энгрист.

Кроме инструментальных переменных другим важным методом квази-экспериментального анализа является метод «разностей в разностях» (difference-in-differences). Если мы хотим измерить эффект экономической политики — скажем, введения минимальной заработной платы в конкретном регионе, — то мы не можем просто сравнить экономические показатели до и после этого изменения. Вполне возможно, в тот же самый период произошли другие события, которые повлияли на рынок труда.

Чтобы справиться с этой проблемой, мы можем найти регион, в котором с минимальной заработной платой ничего не происходило. Сравнивая разницу между двумя периодами в этих регионах, мы можем разделить общие факторы, которые влияют на рынок труда повсеместно, и эффект экономической политики. В этом суть метода «разности в разностях», его популяризовал лауреат Дэвид Кард, о работах которого речь пойдет ниже.

Разности Дэвида Карда

Основные работы профессора Калифорнийского университета в Беркли Дэвида Карда посвящены экономике труда. Это область экономики, изучающая зарплаты, рынок труда и его регулирование государством. В своих исследованиях Кард и соавторы показывают, что базовые модели из учебников по экономике для начинающих — если их воспринимать чересчур серьезно и не проверять эмпирически — приводят к неверным выводам.

Например, едва ли не на первой университетской лекции по экономике излагается теория, что на совершенном рынке зарплата каждого работника равна его предельной производительности: больше фирма платить просто не может, потому что иначе станет убыточной, а на меньшее не согласится работник, перейдет в другую фирму. Следовательно, вредны любые попытки государства установить минимальную зарплату выше той, что платят фирмы по решению рынка.

Эту простую и логичную теорию часто используют противники повышения минимального размера оплаты труда (МРОТ) как «то, что говорит экономическая наука». Конечно, реальные рынки несовершенны, и работник не может просто так перейти в другую фирму, но тем не менее долгое время считалось, что минимальная зарплата может только повредить рынку труда.

Статья Дэвида Карда и Алана Крюгера (Alan B. Krueger) [2], посвященная ресторанам быстрого питания в американских штатах Нью-Джерси и Пенсильвании (и большое число статей-последователей), показывает эмпирически, насколько далеки рынки труда от стандартной модели. Она сравнивает занятость работников в ресторанах в двух граничащих штатах, используя метод «разницы в разностях», и не обнаруживает предсказанного теорией эффекта увеличения безработицы.

В чем же проблема с базовой теорией? Рынки труда бывают несовершенны, работникам особенно некуда больше идти, и фирмы этим пользуются. Последующие исследования рассматривали тот же вопрос в других контекстах: всегда ли нет эффекта на безработицу, какой возникает эффект на зарплаты низкооплачиваемых работников, куда переходят те, кого все-таки увольняют после такого изменения. Интересующимся читателям можно порекомендовать недавний отчет на эту тему, подготовленный для британского министерства финансов Ариндражитом Дубе (Arindrajit Dube), профессором Массачусетского университета в Амхерсте [3].

Еще одно популярное клише, поставленное под сомнение Кардом, — об отрицательном влиянии мигрантов на зарплаты. Источник этого клише — все та же классическая модель спроса и предложения на совершенном рынке. Любое увеличение населения в этой модели (из-за миграции или, например, из-за высокой рождаемости) приводит к увеличению числа потенциальных работников, а значит, к снижению равновесной зарплаты (при неизменном количестве рабочих мест).

Чтобы исследовать этот вопрос, Дэвид Кард снова использовал метод «разности в разностях»: 20 апреля 1980 года Фидель Кастро объявил, что все, кто хочет покинуть Кубу, могут это сделать. Мгновенно более ста тысяч кубинцев на частных лодках отправились во Флориду из самого близкого к США кубинского порта Мариэль. В результате количество работников в Майями единовременно выросло на 7%. Сравнив Майами с другими городами, Кард показал, что это не привело ни к каким заметным изменениям зарплат даже среди низкооплачиваемых специальностей, где, казалось бы, конкуренция с мигрантами могла бы быть наиболее высокой.

Эта статья тоже породила огромную литературу — вывод Карда подтверждается и с применением более современных методов. С тех пор экономисты проанализировали еще несколько подобных эпизодов, в частности, иммиграцию в Израиль из бывшего СССР. Нигде не были выявлены серьезные негативные последствия для местного населения. В чем тогда наивная модель, где увеличение населения снижает равновесную зарплату, неверна? Оказалось, что она не учитывает, что мигранты, во-первых, увеличивают совокупный спрос тех мест, где они работают и, во-вторых, увеличивают производственные возможности местной экономики. Кроме того, поскольку мигрируют, как правило, самые активные и изобретательные люди, местная экономика выигрывает от их деятельности. Например, одна из недавних статей на эту тему показывает, что иммигранты в большей степени создают новые рабочие места, чем занимают уже существующие.

Потенциальные исходы

Прикладные работы в экономике обычно ищут связь между решениями (индивидуальными, корпоративными, государственными) и экономическими результатами. Такие «причинно-следственные» вопросы требуют особого языка, который частично был заложен в статьях Хидо Имбенса и Джошуа Энгриста. В своих работах они опирались на придуманную в 1970-х годах Дональдом Рубиным (Donald B. Rubin) [4] модель «потенциальных исходов» 1.

В ней у каждого индивида есть набор потенциальных исходов, которые с ним могут произойти в зависимости от того, какое решение он примет. Например, если у человека болит голова, то он может либо принять таблетку от головной боли, либо этого не делать. Каждое из этих решений приведет к какому-то потенциальному результату. В данных мы наблюдаем только один из этих исходов, мы не знаем, что было бы, если бы тот же самый индивид принял бы другое решение. Эта фундаментальная проблема причинно-следственного анализа не имеет решения, мы никогда не сможем измерить эффект воздействия для конкретного индивида. В то же время при определенных предпосылках мы можем измерить некоторый средний эффект. Например, если решение было принято случайно (как в эксперименте), то мы можем сравнить средние результаты.

В своей работе 1994 года [5] Имбенс и Энгрист показывают, как применить эту методологию к инструментальными переменным, которые мы обсуждали в начале статьи. К началу 1990-х экономисты занимались вопросами инструментальных переменных уже 60 лет, и казалось, что ничего нового сказать про них было нельзя.

Более того, результаты этих исследований были не очень радужными: оказывалось, что в рамках реалистичных моделей инструментальные переменные не позволяют оценить средний эффект воздействия переменной интереса [6, 7]. Это легко видеть в примере про призыв в армию США во время войны во Вьетнаме. В популяции есть люди, которые категорически не хотят служить и уклоняются от призыва (как, например, боксер Мохаммед Али, отказавшийся идти в армию), поэтому лотерея никак не влияет на их решение. И, наоборот, есть люди, которые считают своим долгом пойти служить и сделают это в любом случае. Лотерея (инструмент) никак не влияет на решения этих людей и поэтому не позволяет нам оценить для них эффект службы. В начале 1990-х этот негативный результат (невозможность оценить эффект для всей популяции) ставил крест на оценивании эффектов воздействия с помощью инструментальных переменных.

Вместо того, чтобы придумывать нереалистичные предпосылки, при которых можно оценить эффект для всех, Хидо Имбенс и Джошуа Энгрист перевернули задачу и спросили, для кого мы можем оценить эффект при разумных предпосылках. Ответ оказался простым и интуитивным: средний эффект можно рассчитать для тех индивидов, которые изменили свое решение под воздействием инструмента — так называемый локальный средний эффект воздействия (Local Average Treatment Effect).

В вышеприведенном примере про службу в армию это люди, которые пошли служить именно потому, что «выиграли» в лотерею (иначе бы они не пошли). Эта группа индивидов зависит от той инструментальной переменной, которую мы используем, и она не всегда может быть большой по размеру, но для того, чтобы оценить эффект воздействия для нее, нам не нужно делать нереалистичные предпосылки. Сегодня этот подход используется в большинстве прикладных экономических работ.

Революция достоверности

Как это часто бывает в науке, новые идеи не сразу стали популярными. В начале 1990-х статьи Дэвида Карда (David Card) вызывали возмущение нобелевских лауреатов, а подход Имбенса и Энгриста к анализу причинно-следственных связей полностью отвергался другими выдающимися учеными. За следующие 25 лет эти идеи были не просто приняты, но стали настолько популярны, что сегодня сложно представить себе эмпирическую работу, не опирающуюся в той или иной степени на исследования Карда, Имбенса и Энгриста. С легкой руки последнего этот новый подход к прикладным исследованиям получил название «революции достоверности» (credibility revolution) [8].

Конечно, трое лауреатов — далеко не все люди, что стояли у истоков этой революции 2. В 2019 году не стало постоянного соавтора Дэвида Карда — американского экономиста Алана Крюгера, который разделил бы с ним сегодняшнюю награду.

Одним из первых стал всерьез заниматься прикладными исследованиями в области экономики труда научный руководитель Карда и Энгриста Орли Ашенфельтер (Orley C. Ashenfelter). Традиционные методы экономического анализа еще в 1980-е годы критиковал профессор экономики и статистики Калифорнийского университета в Лос-Анджелесе Эдвард Лимер (Edward E. Leamer) [9] — активный сторонник экспериментального подхода. Нельзя забывать и методологический вклад автора модели потенциальных исходов Дональда Рубина.

Сегодня каждый из лауреатов играет активную роль в академическом сообществе и за его пределами. Дэвид Кард возглавляет Американскую экономическую ассоциацию (American Economic Association). Ученики Джошуа Энгриста преподают в лучших университетах мира и даже получают премии раньше своего руководителя 3. В свою очередь Хидо Имбенс работает главным редактором одного из ключевых экономических журналов в мире — «Эконометрики» (Econometrica) — и консультирует крупнейшие мировые компании.

Методы лауреатов активно применяются академическими экономистами и представителями других социальных наук (прежде всего политологии и социологии), используются для разработки экономической политики и принятия решений частными компаниями. Революция продолжается…

Информацию о лауреатах и их научном вкладе см. на сайте Нобелевской премии:
nobelprize.org/prizes/economic-sciences/2021/summary/

1. jstor.org/stable/1803924

2. davidcard.berkeley.edu/papers/njmin-aer.pdf

3. gov.uk/government/publications/impacts-of-minimum-wages-review-of-the-international-evidence

4. psycnet.apa.org/record/1975-06502-001

5. jstor.org/stable/2951620

6. jstor.org/stable/2006591

7. sciencedirect.com/science/article/abs/pii/0304407686900382

8. aeaweb.org/articles?id=10.1257/jep.24.2.3

9. jstor.org/stable/1803924


1 Частный случай этой модели был предложен в магистерской работе польско-американского математика и статистика Ежи Неймана (Jerzy Spława-Neyman) в 1924 году.

2 Каждый год по сложившейся традиции премию может получить не более трех человек.

3 В 2019 году премию памяти Нобеля получила среди прочих профессор MIT Эстер Дюфло (Esther Duflo), руководителем которой был Энгрист. См. nobelprize.org/prizes/economic-sciences/2019/duflo/facts/

Подписаться
Уведомление о
guest

6 Комментария(-ев)
Встроенные отзывы
Посмотреть все комментарии
Алексей В. Лебедев
Алексей В. Лебедев
2 года (лет) назад

Хорошо бы еще в медицине такую революцию.

Лёня
Лёня
2 года (лет) назад

Для этого медицина должна преобразоваться из сферы услуг в здравоохранение.

Лёня
Лёня
2 года (лет) назад

Не знаю как с достоверностью, а вот с убедительностью скоро всё будет в порядке:
Создана программа анализа убедительности аргументов в научно-популярных статьях

res
res
2 года (лет) назад

Давать НП за условную вероятность это сильно ))

Maria Eliferova
Maria Eliferova
2 года (лет) назад

Ээээ, какие монахи в лондонском Сохо 1854 г.? Это примерно как комсомольская организация в квартале красных фонарей Западного Берлина в 1954 г.. В исходной истории вообще-то фигурируют не монахи, а работники пивоварни.

Иван Сусин
2 года (лет) назад
В ответ на:  Maria Eliferova
  1. Я перепроверил, это действительно ошибка, спасибо за поправку. Она перекочевала прямиком из русской Википедии, в этом вопросе я на неё понадеялся и не стал проверять глубже.
  2. Ничего прямо невозможного в этом нет, Roman Catholic Relief Act 1829 восстановил право английских католиков иметь монастыри.
Оценить: 
Звёзд: 1Звёзд: 2Звёзд: 3Звёзд: 4Звёзд: 5 (3 оценок, среднее: 4,67 из 5)
Загрузка...