В данной статье мы постараемся доступно и довольно подробно объяснить, что понимается под уменьшением страданий (или, что обычно тоже самое, минимизацией страданий) в современном (негативно-)утилитарном дискурсе.
Поскольку страдания — лишь одна из многих вещей, которые могут волновать людей, тогда как стоящие за их минимизацией соображения по большей части универсальны, данный текст может помочь разобраться в некоторых вопросах консеквенциализма в целом и утилитаризма в частности.
Мы рассмотрим такие темы как: отличия между оптимизацией в локальном и глобальном масштабах, отличия между субъективным и объективным качеством принимаемых решений, проблема выбора горизонта планирования, проблема невозможности достоверно предсказывать будущее, инструментальные ценности, приоритизация усилий, комбинации цели уменьшения страданий с другими целями, типичные ошибки и не только.
Содержание
1. Страдания и их количество
2. Что значит “уменьшение”
3. Локальный случай
3.1. Субъективно оптимальный выбор
3.2. Объективное качество выбора
3.3. Вариативность будущего
3.4. Время на принятие решения
4. Горизонт планирования
5. Глобальный случай
5.1. Постановка задачи
5.2. Решение задачи
5.2.1. Процедуры принятия решений
5.2.2. Инструментальные ценности
5.2.3. Приоритизация
6. Модификации
6.1. Дополнительные цели оптимизации
6.2. Ограничения на способы оптимизации
6.3. Ограничения морального круга
7. Некоторые ошибки
7.1. Отсутствие сравнений
7.2. Предубеждения о приоритетах
Источники
Что еще почитать
1. Страдания и их количество
В данном тексте мы не будем углубляться в вопрос о природе страданий и опустим подробные объяснения вопросов о сравнениях и численном оценивании страданий для индивидов и сообществ. Это темы для отдельных статей. Здесь мы лишь кратко приведем самое главное.
Страдания — это некоторая разновидность переживаний. Чаще всего имеются в виду все те переживания, которые обычно зовут “отрицательными”: их примерами являются боль, печаль, страх, раздражение, тревога и злость. Но иногда в качестве страданий рассматриваются не все отрицательные переживания, а лишь какая-то наиболее проблематичная их часть.
Одни страдания могут быть хуже, чем другие. Самый простой (хотя и не единственный) способ выразить, что одни из них хуже других — это ввести числовые оценки интенсивности страданий. Чем выше интенсивность страдания — тем оно хуже. Если целью является лишь уменьшение страданий, то переживания, не являющиеся страданиями, оцениваются нулевым значением.
Для принятия решений нам нужно не только оценивать отдельные переживания, но также и понимать, сколько страданий переживалось тем или иным лицом с течением времени, а также целым сообществом лиц. Составление такой общей оценки на основе оценок отдельных моментов называется агрегацией (или агрегированием), и наиболее известны три ее разновидности:
- Cумма оценок всех мгновений;
- Cредняя величина от оценок всех мгновений (т. е. сумма, поделенная на общее число мгновений);
- Оценка наихудшего из всех мгновений.
Как правило, с понятием “утилитаризма” связывают лишь первые два вида агрегации, но наши дальнейшие рассуждения применимы и для прочих видов.
Важно отметить, что в жизни мы не имеем прямого доступа к переживаниям других персон, не уверены насчет того, кто вообще сентиентен (т. е. может испытывать страдание или удовольствие), не имеем общего стандарта для оценки переживаний и, как правило, редко пользуемся числами.
Однако это не мешает нам выносить интуитивные предположения о том, где и когда страданий больше, а где меньше — на основании ограниченных данных и предположений вроде такого: похожие существа испытывают похожие переживания, если попадают в похожие обстоятельства и похожим образом реагируют на них.
2. Что значит “уменьшение”
Начнем с небольших простых примеров, когда люди могут считать, что чье-то страдание было уменьшено:
- Человек принял обезболивающее, чтобы уменьшить свою головную боль;
- Страдающий от депрессии сходил на сеанс психотерапии и на некоторое время почувствовал себя лучше, чем в предыдущие дни;
- Ветеринар вылечил тяжелобольную собаку и она снова радуется жизни.
Что объединяет все эти ситуации? Кто-то совершает поступок, в результате которого то или иное страдание той или иной персоны прекращается. Возможно, ему на смену приходит другое страдание, но пока что оно меньше того, что было. Поэтому можно сказать, что страдания в результате поступка уменьшились по сравнению с тем, что испытывалось до этого. Таким образом, “уменьшение” здесь подразумевает, что плохое настоящее меняется на менее плохое с течением времени.
Однако, на эти ситуации можно посмотреть и с другого угла, если представить, что мы сравниваем описанные сценарии с гипотетическими альтернативными сценариями, в которых вмешательства в происходящее не было. Что будет, если человек из первого примера не примет обезболивающее, страдающий от депрессии не пойдет на прием к психотерапевту, а ветеринар откажется лечить собаку? В этих случаях наступило бы будущее, которое выглядит более скверным, чем описанное ранее. Поэтому можно также сказать, что в результате вмешательства в изначальных примерах будущие страдания уменьшились по сравнению с тем, какими они были бы без вмешательства. Таким образом, “уменьшение” здесь подразумевает замену плохого возможного будущего менее плохим.
Вот с таким смыслом слова “уменьшение” мы и будем дальше работать. Можно показать, что он шире, чем предыдущий. Для этого представим следующую ситуацию: независимо от вмешательства врача страдания пациента завтра будут сильнее, чем сегодня, но вмешательство врача может снизить их в два раза. Получается, что завтрашний день для пациента хуже сегодняшнего, и этого врач изменить не может. Однако, его вмешательство все еще уменьшает страдания пациента в смысле замены скверного завтрашнего дня на менее скверный.
Итак, консеквенциалистская этика противодействия страданию (такая как негативный утилитаризм) призывает к уменьшению страданий в смысле замены всего совокупного будущего всех сентиентных существ на менее плохое. Другими словами, призывает к действиям, которые влияют на траекторию будущего так, что агрегированное страдание всех существ во всем этом будущем меньше по сравнению с альтернативными вариантами развития событий. Также это можно описать как минимизацию страданий в глобальном масштабе: добиваться того, чтобы агрегированное страдание всех существ во все времена и во всех местах, доступных для влияния было настолько мало, насколько этого возможно достигнуть.
Постепенно мы объясним, почему эта идея подчеркивает именно глобальность контекста, насколько правдоподобна предлагаемая ей деятельность и как именно она может выглядеть на практике.
3. Локальный случай
Перед тем, как мы сможем в полной мере оценить сложность идеи уменьшения страданий в глобальном смысле, нам нужно рассмотреть задачи локального (узкомасштабного) уменьшения страданий, поскольку они более просты в постановке и изучении. Мы рассмотрим субъективное и объективное качество выбора, оптимальное поведение в условиях риска, а также случаи, когда решение задачи может быть отложено.
В дальнейшем мы объясним, что не так с локальным масштабом всех этих задач и почему последовательный утилитаризм ставит более высокую планку требований.
3.1. Субъективно оптимальный выбор
Представим себе, что есть некоторый вид схожих друг с другом и ограниченных в пространстве и времени ситуаций (обстоятельств, положений дел), в которые могут попасть люди или иные агенты (действующие лица).
Например, у вас заболела голова, или вы врач и принимаете пациента, или вы ведете машину и проезжаете перекресток, или вы размышляете о том, кому из своих знакомых пожертвовать тысячу рублей, или вы — водитель вагонетки в знаменитой проблеме вагонетки.
Итак, пусть мы выбрали какой-то конкретный вид схожих ситуаций. Можно представить, что в ситуациях такого вида разные агенты в принципе могли бы повести себя по разному. Например, разные врачи могут немного по разному вести прием пациентов — проявляя разный уровень вежливости, применяя разные медикаменты и приборы, и т. п. Более того, законы физики не запрещают врачу, например, начать плясать и петь во время приема. С другой стороны, агенты могут быть ограничены чем-то еще, если уменьшение страданий — не их единственная цель. Например, врач, как правило, имеет цели не покалечить и не убить пациента в процессе приема.
Так или иначе, нам нужно представить, что в рассматриваемой ситуации попавший в нее агент — главный герой нашей истории — теоретически мог бы повести себя иначе, чем каким-то одним фиксированным способом. В частности, он может сознательно задумываться о выборе того, как ему поступить, рассматривая какие-то варианты A, B, C и т. д., и предсказывая последствия для всех этих вариантов, как если бы они произошли в реальности (см. понятия контрфактуалов и возможных миров для более полного и разностороннего погружения в идею “могло бы быть иначе”).
Возможно, что разные варианты поведения агента привели бы к разному количеству страданий у тех или иных участников ситуации. Например, от действий врача, очевидно, частично зависит то, какую боль будет испытывать на приеме пациент. От вашей реакции на головную боль зависит то, как долго она продлится. А от выбора, кому из ваших знакомых пожертвовать деньги, зависит то, что будут испытывать эти знакомые.
Итак, представляя разные варианты возможного развития событий и разные итоги этого развития — в виде количества страданий в течение какого-то времени у лиц, благополучие которых нас интересует — мы можем задаться вопросом о том, в каких случаях страданий меньше, а в каких — больше. Если агент, попавший в ситуацию, задается этим вопросом и пытается действовать так, чтобы страдание было как можно меньшим, можно сказать, что он пытается минимизировать страдание в рамках ситуации или, что тоже самое, уменьшить страдание (в рамках ситуации) по сравнению с альтернативами.
Это означает, что агент решает определенную задачу оптимизации, где целевая функция оценивает количество страданий, а целью является минимально возможное значение этой функции; возможно, с дополнительными ограничениями на множество допустимых решений. Важно отметить, что минимум не всегда нулевой — опции с нулевым значением может просто не быть среди возможных.
Но что, если я, рассматривая ситуацию, вижу одни варианты поведения агента и исходы, а другой человек — совсем другие? Что, если мы по разному предсказываем, что именно произойдет в результате того или иного выбора агента, имеем разное мнение о том, какие варианты выбора вообще нужно рассматривать, и, что хуже всего, по разному решили бы эту задачу, если бы находились на месте агента? Кто из нас прав? И в чем разница между “пытается уменьшить страдание” и “реально уменьшает страдание”?
3.2. Объективное качество выбора
Агент может решать задачу минимизации страданий в той или иной ситуации, но серьезно ошибаться, несмотря на субъективную оптимальность его решения. Как понять, насколько он ошибается, и какое решение было бы объективно более правильным вместо принятого им? Для этого нам нужно ввести меры качества решений, основанные на каких-то внешних по отношению к данной ситуации данных об устройстве действительности.
Поскольку ситуации того или иного рассматриваемого нами вида могут происходить с совершенно разными агентами (возможно, даже неоднократно), и поведение этих агентов может отличаться, в принципе возможно сравнить их и заметить, что в общем случае могут отличаться:
- Набор рассматриваемых вариантов возможного поведения (в самом простом случае агент может действовать “на автопилоте” и не задаваться вопросом об альтернативах);
- Фактическое поведение по ходу развития ситуации;
- Результаты (т. е. количество страданий);
- Качество предсказаний (т. е. разница между тем, чего агент ожидал, и что реально происходило по ходу развития ситуации).
Важно, что мы не должны ограничиваться рассмотрением лишь тех агентов, цели которых подразумевают минимизацию страданий и соблюдение одного и того же набора ограничений на возможные решения. В подобные ситуации могут попадать агенты и с другими целями, но мы все равно можем использовать их опыт для понимания того, как в реальности работают те или иные действия.
Итак, для оценки того, насколько хорошо тот или иной агент решает задачу, мы можем сравнивать его с другими агентами в похожих ситуациях (если их фактические поступки вписываются в ограничивающие данного агента рамки) и оценивать, насколько малого числа страданий по сравнению с другими ему удалось добиться. Например, для оценки работы врача, занимающегося обезболиванием, можно обратиться к опыту его коллег или к соответствующей литературе со статистикой.
Но что делать, если никаких данных о других агентах в схожих ситуациях нет? Например, если никто никогда еще не оказывался в подобной ситуации? Приведем пару соображений на этот счет.
Во-первых, если задачу можно разбить на подзадачи, качество решений которых (данным агентом) поддается оценке со стороны, то и качество решения большой задачи можно оценить через качество решения ее подзадач, т. к. оно от них прямо зависит.
Во-вторых, поскольку качество решения задачи в среднем зависит от качества предсказаний, а качество предсказаний зависит от того, насколько хорошей моделью реальности обладает агент, мы можем сфокусироваться на оценке качества модели реальности этого агента в целом или тех ее частей, которые кажутся наиболее релевантными для рассматриваемой задачи.
Например, если для решения задачи, по-видимому, требуется владение биоинформатикой, мы можем предположить, что агенты, которые (насколько нам известно) хорошо разбираются в биоинформатике, решают ее лучше тех, кто плохо в ней разбирается.
P. S. Для углубления в тему см. дискуссии об объективном консеквенциализме против субъективного и максимизирующем против удовлетворяющего.
3.3. Вариативность будущего
Мы не всегда можем с хорошей вероятностью предсказывать последствия нашего выбора. И даже когда у нас это получается, у нас нет детальных карт переживаний существ, благополучие которых нас интересует. В частности, мы можем вообще сомневаться в том, что они сентиентны, в то же время не имея полной уверенности и в обратном.
Однако, для принятия решений нам необязательно детально предсказывать будущее. Мы можем рассматривать два или больше варианта того, что произойдет в результате того или иного нашего выбора. Как же в таких случаях сравнивать разные варианты выбора, чтобы хорошо решать поставленную задачу?
Условия, при которых мы предполагаем более одного возможного исхода у одного и того же выбора, называются условиями риска, если мы, по крайней мере, имеем те или иные субъективные вероятности (степени уверенности) наступления каждого из исходов. И называются условиями неопределенности, если таких вероятностей у нас нет, или, что еще хуже — нет идей, что вообще может произойти.
Разработано множество теорий принятия решений, чтобы объяснить, как нам лучше поступать в различных ситуациях, чтобы добиваться той или иной цели.
Что делать, если мы находимся в условиях неопределенности? Для некоторых видов таких задач могут существовать специфические для них приемы, которые обычно хорошо работают. Но в общем случае лучше перейти к условиям риска, попытавшись определить наиболее правдоподобные варианты последствий для каждого из вариантов выбора и оценить вероятности наступления этих последствий.
В контексте условий риска рассмотрим один, наиболее известный принцип — максимизацию ожидаемой полезности/ценности, обоснованный в работе фон Неймана и Моргенштерна.
Пусть мы должны сделать выбор между вариантами A и B, где у варианта A возможны исходы, имеющие ценность (полезность) a1, a2, …, an с вероятностями p1, p2, …, pn соответственно, а у варианта B — исходы, имеющие ценность b1, b2, …, bm с вероятностями q1, q2, …, qm соответственно. Тогда мы составляем оценки ожидаемой ценности (полезности) f для вариантов A и B по формулам f(A) = p1a1 + p2a2 + … + pnan и f(B) = q1b1 + q2b2 + … + qmbm соответственно. Согласно принципу, лучшим из этих решений будет то, у которого максимальная ожидаемая ценность f. В случае большего числа вариантов выбора все аналогично — нужно будет оценить ожидаемую ценность f(X) для каждого варианта X и выбрать вариант с наибольшей из них.
Поскольку в качестве цели мы рассматриваем уменьшение страданий, ценность того или иного исхода будет равна количеству страданий, взятому с отрицательным знаком. Таким образом, максимизация ожидаемой ценности будет превращаться в минимизацию ожидаемых страданий.
По какой причине рекомендованы именно такие формулы?
Есть две основные группы причин. Во-первых, можно показать, что такой ход мышления будет наименее противоречив с точки зрения некоторых довольно убедительных предпосылок. Во-вторых, можно убедиться путем сбора статистики на практике или путем статистического моделирования, что при многократном принятии решений в ситуациях с соответствующими распределениями вероятностей и исходами, именно формула ожидаемой ценности будет оптимальна среди функций от вероятностей и ценностей исходов.
В жизни мы не всегда имеем возможность производить подобные расчеты в явном виде, но можем позаботиться о том, чтобы наши более грубые, интуитивные методы принятия решений приближались к этому идеалу. Например, при оценке некоторого плана действий, мы должны учитывать не только то, с какой вероятностью что-то может пойти не так, но и то, каковы будут последствия нашей неудачи (поскольку в формуле вероятность умножается на ценность исхода). Даже крайне маловероятные последствия возможной неудачи, если они достаточно масштабны, могут сделать план неоправданным.
Важно отметить, что принцип максимизации ожидаемой ценности не идеален. Порой вместо него или в дополнение к нему есть смысл обращаться к другим приемам из теории игр и иных теорий принятия решений. В частности, у описанного принципа возникают проблемы в случаях, когда другие агенты могут предсказывать ваш выбор еще до того, как вы его сделаете, и в ситуациях коллективного принятия решений, подобных голосованию на выборах. Помимо этого, вопросы о границах его применимости вызывает мысленный эксперимент “ограбление Паскаля”.
3.4. Время на принятие решения
До сих пор мы говорили о задачах оптимизации упрощенно, как если бы все сводилось лишь к тому, чтобы выбрать лучший из вариантов, набор и качество которых уже известен. Однако, часто реальная задача, которую мы решаем, выглядит несколько сложнее. Ведь как сам набор вариантов дальнейшего поведения, так и оценки того, насколько хороши те или иные варианты, могут меняться в процессе наших размышлений или просто пассивного ожидания.
Например, мы можем иметь задачу вида “до полуночи решить, как провести завтрашний день”. Изначально мы можем даже не иметь никаких вариантов кроме “подумать еще” и “ничего не делать / ждать”. А в процессе обдумывания перед нами может стоять выбор между “подумать над расширением числа вариантов”, “сделать / уточнить оценку последствий” (для того или иного варианта), “определить оптимальный при текущих оценках вариант” и “перейти к ожиданию”.
Мы не будем углубляться в подробности и лишь упомянем, что для оптимизации ресурсозатрат на принятие решений могут пригождаться такие понятия как ценность опций (ценность наличия выбора, пока он не стал бесповоротным) и ценность информации (то, насколько сильно новая информация может повлиять на оценки вариантов — и в результате на выбор). Подобные вопросы рассматриваются также в теме ограниченной рациональности.
4. Горизонт планирования
До сих пор, рассуждая об уменьшении страданий в тех или иных ситуациях, мы не поднимали вопроса о том, в каком именно масштабе нам лучше было бы производить агрегацию для оценки уровня страданий.
Какими вообще могут быть масштабы агрегации?
Мы можем оценивать последствия наших действий в краткосрочной или долгосрочной перспективе, от минут до вечности. Мы можем оценивать их только для тех, кто уже существует, или также для тех, кто еще не появился на свет. Мы можем оценивать их для одного человека или для нескольких, или для сообщества людей, или для всего человечества. Мы можем оценивать их для других животных или обитателей иных планет.
Так или иначе, речь идет о разных участках пространства-времени, в которых обитают или будут обитать те, чье благополучие нас интересует.
Что, если перед тем, как выбирать поступок, мы можем выбрать, на каком участке действительности вообще рассматривать последствия нашего поступка? Нужно ли задаваться таким вопросом, и если да, то почему?
Один из базовых принципов утилитарной этики, принцип непредвзятости (также известный как принцип равного рассмотрения интересов), в нашем случае подразумевает, что одинаковые страдания должны иметь для нас одинаковую важность в принятии решений, независимо от того, как далеко в пространстве и времени друг от друга они расположены.
Так что же может быть плохого в том, что мы уменьшаем страдания на каком-то одном выбранном нами участке пространственно-временной действительности? Проблема в том, что уменьшая их на одном участке, мы можем одновременно увеличивать их на каком-то другом. Более того, в некотором смысле мы всегда именно это и делаем.
Чтобы понять, почему это так, рассмотрим для начала случай, когда мы решаем, пустить ли единицу нашего ресурса на уменьшение страданий на одном участке действительности A, или же на другом участке B, отличном от него. Предположим, что наш выбор имеет разные последствия для этих участков. Тогда если мы вкладываем ресурс в A, мы при этом упускаем возможность вложить его в B. Это и означает, что выбрав вложиться в A, мы увеличили страдания в B по сравнению с той альтернативой, в которой мы вложили бы этот ресурс в B.
Так, если мы делаем пожертвование на борьбу с бедностью в городе X в перспективе ближайших N лет, мы упускаем возможность пожертвовать эти же деньги на уменьшение страданий подневольных животных в стране Y в перспективе ближайших M лет. И наоборот — жертвуя на помощь животным, мы упускаем возможность помочь людям.
Конечно, мы можем рассматривать два участка действительности вместе, как один участок, и задуматься над тем, как уменьшить агрегированные страдания на всем этом участке. Разумеется, это не значит, что мы перестанем увеличивать страдания на обоих этих участках по отдельности по сравнению со сценариями, где мы отдали какому-то одному из них все свои ресурсы. Однако, мы будем уменьшать их в целом на более крупном участке действительности и, по крайней мере, это будет выглядеть менее морально предвзятым решением.
Например, мы можем измерить эффект от каждого дополнительно вкладываемого доллара для двух разных организаций и распределить свои средства между ними так, чтобы суммарный эффект был наибольшим (в самом простом случае может оказаться, что лучше вложить все средства в одну из этих организаций, у которой выше эффективность).
Однако, в целом проблема локальной направленности наших действий никуда не делась. Да, в конкретной ситуации выбора мы решили объединить разные участки действительности в один, чтобы оценить агрегированный эффект от наших действий на этом большем участке. Но мы все еще игнорируем те участки действительности, которые просто не рассматривались в ситуации выбора изначально.
Выбирая лишь между помощью одному человеку или другому, мы игнорируем всех прочих людей, которым можно было бы помочь. Выбирая между помощью слепым и помощью людям на предсмертном одре, мы игнорируем людей с иными проблемами и в иных обстоятельствах. Выбирая между помощью подневольным животным или людям, мы игнорируем диких животных, а также тех существ искусственного происхождения, которые могут прийти на смену людям в будущем.
При этом мы не можем гарантированно избежать того или иного влияния на другие участки пространства-времени помимо тех, что у нас под носом. Все в мире взаимосвязано и последствия наших действий могут распространяться очень далеко в пространстве и времени.
Получается, что если мы будем необоснованно ограничивать свой горизонт планирования теми или иными локальными участками пространства-времени, мы рискуем нарушить принцип непредвзятости. Поэтому встает справедливый вопрос: можно ли каким-то образом принимать решения так, чтобы они были оптимальны не для каких-то локальных участков действительности, а для всего доступного для нашего влияния пространства-времени? Или, во всяком случае, можем ли мы хотя бы немного приблизить наши решения к этому идеалу?
5. Глобальный случай
Что будет, если наш горизонт планирования станет неограниченным? Или, если это невозможно, какой выбор горизонта планирования наиболее обоснован с точки зрения принципа равного рассмотрения интересов?
5.1. Постановка задачи
Предположим, что мы рассматриваем два варианта поведения, A и B, пошагово увеличивая горизонт планирования как в пространстве, так и во времени. Например, сначала мы спросим, что уменьшает страдания в масштабе одного дня и одного человеческого поселения, затем — в масштабе одного года и одной страны, и т. д., с каждым шагом захватывая все больше и больше от пространства-времени для своего планирования. Сойдется ли такой процесс размышлений к какой-либо одной из стратегий A или B?
Заметим, речи не идет о том, чтобы с каждым шагом увеличивались еще и наши знания о вселенной. Нет, сейчас мы хотим понять, можно ли при ограниченном объеме знаний и ограниченном объеме ресурсов в принципе корректно поставить вопрос о глобальном уменьшении страданий во вселенной.
При некоторых начальных предположениях — да. По крайней мере, если мы полагаем объем и временную протяженность потенциально обитаемой части вселенной ограниченными, то начиная с какого-то шага ответ перестанет меняться.
Однако, если мы предполагаем, что вселенная в том или ином отношении бесконечна (в пространственных измерениях или во времени), и общее число сентиентных существ в ней тоже может оказаться бесконечным, то у нас возникают серьезные затруднения при попытке оценить страдания. Так, если в качестве метода агрегации мы используем суммирование, то все оценки ожидаемых страданий будут стремиться к бесконечности, и мы не сможем ими пользоваться. В этом случае, как минимум, требуется доработка способов оценки страданий, и на этом пути нам придется пожертвовать какими-то из наших исходных моральных интуиций.
С другой стороны, мы можем предположить, что даже если вселенная бесконечна, сфера нашего потенциального влияния конечна. Так, согласно теории относительности нельзя двигаться быстрее скорости света, и это накладывает некоторые ограничения на то, какую часть вселенной мы способны затронуть. Кроме того, сфера нашего влияния на будущее может быть физически ограничена событиями вроде тепловой смерти вселенной или большого разрыва. В таких случаях можно было бы просто отбросить из наших расчетов все, на что невозможно повлиять.
Впрочем, здесь возможна неожиданная проблема. Представим себе, что где-то за пределами нашей зоны влияния есть агент, столь интеллектуально похожий на вас, что ваши с ним решения и сами методы принятия решений в некотором классе похожих ситуаций совпадают (при этом в целом у него вовсе не обязательно такая же цель оптимизации, как у вас). Следует ли считать, что в этих ситуациях последствия действий таких похожих на вас агентов (которых может быть и бесконечное число) — являются также и последствиями ваших собственных действий? Ведь что бы вы не выбрали, они выберут тоже самое. И если они тоже осознали это, можете ли вы все вместе сделать что-то, чтобы извлечь из этого факта пользу для всех ваших целей?
В конце концов, мы можем усомниться в том, что бесконечности вообще реальны. Но к сожалению, если мы допускаем хотя бы ненулевую вероятность того, что ошибаемся в этом, и что способны повлиять на бесконечные масштабы, перед нами снова будет вставать обозначенная проблема. В итоге получится, что мы находимся в положении, похожем на знаменитое пари Паскаля. Должны ли мы ставить всё на вариант, предполагающий бесконечность нашего влияния? Или мы можем разделить свои ресурсы в каких-то пропорциях (например, поровну) между этими вариантами?
В любом случае, как для уточнения формулировки самой задачи глобального уменьшения страданий с учетом наших наиболее важных интуиций, так и для ее решения, нам нужно систематически работать над улучшением своих методов познания и моделей реальности, чтобы повысить шансы на то, что мы движемся в верном направлении (при условии что такое направление вообще существует).
5.2. Решение задачи
Итак, предположим, что та или иная постановка задачи глобального уменьшения страданий — подразумевает ли она только конечную зону ответственности, или бесконечную, или какую-то их комбинацию — корректна. Есть ли какие-то догадки о том, как ее решать?
Мы не будем сильно углубляться в эту тему, однако обратим внимание на ряд важных моментов, чтобы интересующимся было с чего начать свой поиск.
5.2.1. Процедуры принятия решений
Начнем с одного естественного предположения: всегда, когда нам нужно сделать выбор, для оценки каждого сценария будущего нам нужно оценить количество ожидаемых страданий по всей зоне ответственности.
Такая формула может привести к избыточным вычислениям. Ведь для того, чтобы понять какой вариант лучше, нам достаточно оценить разницу в количествах страданий, а не всё количество страданий для всех рассматриваемых вариантов. В частности, если мы не имеем вообще никакой релевантной информации о тех или иных участках пространства-времени (например, об иных планетах или о будущих тысячелетиях), они не влияют на оценку разницы, поэтому можно исключать их из расчетов. Конечно, если у нас есть хоть какие-то догадки, склоняющие чашу весов в ту или иную сторону, нам следует их учитывать.
Предложим более скромную формулировку: всегда, когда нам нужно выбрать один из нескольких вариантов поступка, для упорядочивания вариантов от лучшего к худшему нужно оценивать отличие между ними в количестве ожидаемых страданий по всей зоне ответственности.
Такой подход все еще выглядит слишком требовательным, не соответствуя нашим реальным возможностям. Больше похоже, что оптимальный для нас подход подразумевает использование разных процедур принятия решений в разных классах ситуаций, и обозначенный выше принцип нужно применять лишь в части случаев. Например, вам вряд ли нужно ставить перед собой подобный вопрос, когда вы решаете какую обувь вам надеть, взять ли зонт на улицу и т. п. С другой стороны, он скорее всего уместен, когда вы решаете, в какую организацию пожертвовать свои деньги или как устроить свою дальнейшую карьеру.
Вопрос о том, когда какие процедуры нам лучше использовать, можно считать во многом открытым. Некоторые попытки решить этот вопрос предлагаются в теории многоуровневого консеквенциализма.
Однако, отсутствие у нас идеала принятия решений не значит, что мы вообще не можем ни о чем судить. Мы вполне можем судить о том, что какие-то методы работают лучше или хуже для каких-то классов задач, и можем переключаться между разными видами методов по ситуации. Тем не менее, покуда наши представления о рациональности неидеальны, стоит выделять те или иные ресурсы на то, чтобы перепроверять свои принципы и искать или разрабатывать более эффективные альтернативы.
Отдельно стоит отметить, что нам нужно учиться распознавать ситуации, в которых локальный эффект от наших действий пренебрежимо мал по сравнению с глобальным (например, с последствиями в далеком будущем), и может иметь даже противоположную направленность. В частности, если у нас есть соображения в пользу того, что у некоторого выбора будут какие-то систематические позитивные и негативные последствия (по сравнению с альтернативным вариантом) в отдаленных участках пространства-времени, но мы не можем понять, какие из них (позитивные или негативные) более значимы, следует уделить особое внимание дальнейшему исследованию этого вопроса.
5.2.2. Инструментальные ценности
Поскольку идея уменьшения страданий основана на отрицательности (негативности) определенного класса явлений (страданий), может сложиться впечатление, будто ее реализация сводится лишь к расчетам того, как чего-то избежать, и что ее удобно сводить к совокупности актов уменьшения страданий в локальных масштабах. Однако, это не так.
Оптимизация в сколько-нибудь крупном масштабе требует использования сложной системы инструментальных ценностей, подразумевающей как необходимость накопления чего-либо (а значит, решения задач максимизации, а не минимизации), так и необходимость соблюдения тех или иных ограничений на способы оптимизации.
Так, согласно тезису об инструментальной конвергенции (верному как для людей, так и для искусственных агентов) — для уменьшения страданий, как и для почти любых иных целей, важны:
- Самосохранение (очевидно, вы больше не можете уменьшать чужое страдание, если уже мертвы);
- Сохранение целостности цели (сопротивление изменению главной цели на что-то другое — например, избегание употребления веществ, несущих существенный риск усилить ваши эгоистические тенденции);
- Самосовершенствование (включая развитие своих приемов мышления, улучшение привычек и заботу о здоровье);
- Накопление рычагов влияния на мир (например, материальных ресурсов, информации, репутации и социального капитала).
Помимо этого, множеством авторов отмечается важность полноценной насыщенной и здоровой жизни, кооперативного настроя в отношении людей с другими ценностями (даже если им неинтересно уменьшение страданий), уважения чужих прав, миролюбия и ненасилия.
Более того, многие авторы отмечают, что такие на первый взгляд отличающиеся от консеквенциализма подходы как распространенные виды деонтологии и этики добродетелей — могут служить аппроксимациями консеквенциализма даже лучше, чем слишком наивно интерпретированный консеквенциализм.
Итак, мы упомянули ряд ценностей, которые требуют сохранения и накопления, а также ограничений, которые следует соблюдать при решении любых задач. Но этого недостаточно. Мы накапливаем ресурсы не потому что они ценны сами по себе, а для того, чтобы конвертировать их в уменьшение страданий. Как это делать?
5.2.3. Приоритизация
Как понять, сколько и на какие проекты стоит тратить ресурсов? В частности, в какой сфере выбрать образование и карьеру? В какие организации жертвовать свободные деньги? На какие темы писать статьи? Какие идеи обсудить с друзьями?
Подобные вопросы исследуют эффективные альтруисты. Мы кратко обрисуем один из предлагаемых ими подходов к расстановке приоритетов. Согласно этому подходу значимость того или иного проекта для уменьшения страданий оценивается на основе следующих трех параметров:
- Масштаб рассматриваемой проблемы (количество страданий, порождаемых проблемой);
- Недооцененность (насколько мало ресурсов сейчас пущено на решение проблемы);
- Легкость решения (насколько велика доля проблемы, решаемой путем вклада единицы ресурса).
Проект тем важнее, чем больше масштаб проблемы, чем сильнее ее недооцененность, и чем легче она решается. К сожалению, описанные величины будут поддаваться хорошей оценке лишь в некоторых случаях — например, при анализе эффективности благотворительных организаций. В случаях, которые фокусируются на попытках повлиять на далекое будущее или предполагают исследовательскую работу, оценки делать намного сложнее. Однако, даже наши интуитивные оценки этих величин могут помочь.
Несложно разглядеть сходство этого подхода с описанным нами ранее принципом максимизации ожидаемой полезности (минимизации ожидаемых страданий).
6. Модификации
В этом разделе мы кратко обрисуем, какими могут быть нормативные системы, признающие важность уменьшения страданий, но либо подразумевающие наличие каких-то иных целей, либо сужающие круг допустимых для уменьшения страданий поступков, либо вносящие тот или иной вид предвзятости в вопрос о том, чьи страдания нам вообще следует уменьшать.
6.1. Дополнительные цели оптимизации
Рассмотрим случай, когда помимо уменьшения страданий агент имеет другие цели, также сводимые к уменьшению или увеличению количества чего-либо во вселенной. Например, агент может ценить увеличение своего счастья, или количества удовольствий во вселенной, или продолжительности жизни людей, или уменьшения числа нарушений автономии одних агентов другими, или уменьшения числа смертей.
В общем случае выглядит маловероятным, чтобы решение задачи оптимизации одной ценности было полностью совместимо с решением задачи оптимизации какой-то другой. Подобно конфликту между оптимизацией одной и той же ценности для разных существ или в разных пространственно-временных масштабах, у нас также рано или поздно может вскрыться конфликт между оптимизацией разных ценностей на одних и тех же участках действительности, в том числе и в глобальном масштабе.
Поэтому рано или поздно (например, когда вы будете думать о том, в какую организацию пожертвовать свободные деньги, или на какие темы почитать статьи и пересказать своим друзьям) может встать вопрос о том, в какой степени для вас важны эти прочие вещи по сравнению со страданиями.
Один из способов совместить разные цели оптимизации — ввести что-то вроде курса обмена одних ценностей на другие. Т. е. нужно понять, сколько примерно страданий, по-вашему, эквивалентны тому или иному количеству другой отрицательной ценности (например, одной человеческой смерти) или сколько страданий можно окупить тем или иным количеством положительной ценности (например, удовольствиями). Если же страдания (или какая-то их разновидность) для вас всегда важнее (как в системах ценностей с лексическим порядком), то другие ценности просто не должны играть (неинструментальной) роли в принятии масштабных решений, пока во вселенной могут существовать страдания.
С другой стороны, частичная совместимость разных человеческих ценностей не только достижима, но и неизбежна. В частности, очевидно, что вы просто не сможете быть успешными в уменьшении чьих-либо страданий, если не будете прибегать к компромиссам с эгоистической стороной своего существа и как-то заботиться о себе лично — избегая сильных страданий и поощряя себя удовольствием за проделанную работу. Помимо этого от нас может потребоваться соблюдение тех или иных обязательств в отношении связанных с нами людей.
Кроме того, в сфере науки, философии и технологии есть множество направлений, в которых заинтересованы носители самых разных ценностей. Некоторые из этих направлений могут быть более значимыми для уменьшения страданий и каких-то дополнительных целей, чем другие. Возможным примером может служить работа по уменьшению рисков глобальных конфликтов, связанных с искусственным интеллектом.
6.2. Ограничения на способы оптимизации
Рассмотрим теперь случай, когда дополнительной целью агента является соблюдение ограничений деонтологического характера на то, что именно он может делать в процессе оптимизации.
Хотя и в этом случае ясно, что теоретически они могут конфликтовать с уменьшением страданий, у части распространенных деонтологий накал такого конфликта может оказаться намного меньшим, чем если бы вы, например, преследовали дополнительную цель максимизации удовольствий во вселенной.
Так, если вы придерживаетесь деонтологии, состоящей из запрета на поедание мяса животных, но знаете, как при этом избежать отрицательных последствий для вашего здоровья из-за отсутствия мяса в вашем рационе, это вряд ли будет угрожать вашей деятельности, направленной на уменьшение страданий. Более того, возможно, что избегая поедания мяса животных, вы способствуете уменьшению страданий даже больше, чем если бы вы были мясоедом. Проблема, однако, может возникнуть, если в результате неудачного стечения обстоятельств вы окажетесь в местах, где можно выжить и остаться здоровым только употребляя мясо.
С другой стороны, наличие у агента деонтологии может сопровождаться явным желанием увеличить число ее сторонников в мире. Таким образом, может сформироваться дополнительная цель оптимизации и тоже возможен конфликт.
6.3. Сужения морального круга
Моральный круг — это круг существ, благополучие которых нас в конечном счете интересует, когда мы принимаем моральные решения.
В контексте гедонистического утилитаризма принцип беспристрастности подразумевает, что моральный круг должен охватывать всех сентиентных существ и одинаковые страдания разных персон должны давать один и тот же вклад в общие оценки страданий. Существует множество взглядов, которые отвергают принцип беспристрастности, но пересекаются с гедонистическим утилитаризмом в других аспектах.
Так, довольно известная в философии морали точка зрения, относимая к person-affecting views, подразумевает, что мы должны заботиться лишь о тех, кто уже существует, исключая из морального круга тех, кто еще не появился на свет. Помимо этого встречаются позиции, ограничивающие моральный круг человеческим видом или даже одной нацией или племенем. Наконец, крайняя форма сужения морального круга — это моральный эгоизм, согласно которому нашей обязанностью является лишь забота о нашем собственном благополучии.
Помимо этого встречаются позиции, которые не сужают моральный круг явно, но все же отвергают принцип беспристрастности, присваивая разную значимость одинаковым по величине страданиям. Например, не отказываясь от оценки благополучия будущих, еще не появившихся на свет персон, некоторые теории предлагают дисконтировать это благополучие, т. е. считать его значимость тем меньшей, чем сильнее отдалены во времени эти персоны.
7. Типичные ошибки
Приведем ряд примеров ошибок, которые нередко совершают сторонники или критики уменьшения страданий в своих рассуждениях.
7.1. Отсутствие сравнений
Первый вид ошибок связан с тем, что какие-то сценарии возможного будущего оцениваются сами по себе, но не сравниваются с какими-либо альтернативами. Таким образом, невозможно вообще говорить об уменьшении страданий в утилитарном смысле, т. к. уменьшение подразумевает выбор варианта со страданиями меньшими чем при других вариантах.
Так, аргументация вида “люди очень сильно и в большом количестве страдают от болезни X, поэтому нам нужно заняться разработкой лекарства от X” не содержит никакой информации о действительности за пределами страдающих от определенной болезни людей, поэтому не может считаться самодостаточной. Нам нужна хоть какая-то информация об иных страданиях помимо вызываемых болезнью X, и хоть какие-то альтернативные варианты деятельности, с которыми можно было бы сравнивать разработку лекарства от X. Помимо этого, приведенное описание проблемы указывает лишь на ее масштаб, но ничего не говорит о сложности ее решения и о том, сколько людей уже занимаются этой проблемой.
Другой пример представляют ошибочные рассуждения вида “при идеальном миропорядке нет страданий -> чтобы уменьшить страдания, нужно стремиться приблизить идеальный миропорядок”. В роли “идеального миропорядка” обычно выступает либо опустошенный мир, где некому страдать, потому что все вымерли, либо гедонистическая утопия, где сентиентные существа защищены от страданий в результате использования генной инженерии или иных технологий.
Эти рассуждения отличаются от предыдущего примера тем, что создают ложное впечатление учета страданий всех существ сразу, потому что смещают фокус внимания на специфический участок пространственно-временной действительности — тот, в котором наступил “идеальный миропорядок”, в рамках которого действительно никто не страдает. Однако, все прочие страдания — до его наступления и после (если он может не быть вечным), а то и вне некоторой области пространства (если рассматривается судьба лишь одной планеты во вселенной) просто не рассматриваются. Не рассматривается и то, как на страдания во вселенной повлияли бы другие возможные виды деятельности. Таким образом, как и в предыдущем случае, отсутствует какое либо сравнение с альтернативами, поэтому исходя из самого рассуждения невозможно понять, действительно ли предложенный вариант уменьшает страдания.
Что же выяснится, если сравнивать такого рода проекты с другими? Есть аргументы в пользу некоторой ограниченной поддержки проекта гедонистической утопии. Но вот проекты вымирания, с другой стороны, крайне проблематичны, и в некоторых случаях способны саботировать весь реальный прогресс в уменьшении страданий.
7.2. Предубеждения о приоритетах
Порой встречающийся у критиков пример ошибки — это “если ты так хочешь уменьшить страдания, почему не начнешь с себя и не умрешь?” или более мягкий вариант “почему не посвятишь жизнь медитациям, чтобы достичь освобождения от страданий?”. В этих случаях происходит безосновательная фокусировка на страданиях одной-единственной персоны. Не учитывается, что систематические усилия по уменьшению страданий других существ, предпринимаемые в течение жизни, могут предотвратить намного больше страданий, чем будет испытано данной персоной за всю жизнь. Помимо этого, может не учитываться риск того, что попытки ускорить смерть могут привести к еще большим мучениям этой персоны, чем в случае с доживанием до естественной смерти; и аналогичный риск в случае медитативных практик.
Одна из возможных причин подобного вопроса состоит в привычке рассматривать проблемы через призму определенных представлений об ответственности, согласно которым каждый ответственен лишь за свои проблемы. Однако, утилитарный подход подразумевает, что мы несем ответственность за все страдания во вселенной, на которые способны повлиять, а не только за свои личные.
Менее очевидной, но схожей ошибкой является идея о том, что нам следует целиком сфокусироваться на уменьшении страданий своих близких, или в своем поселении, или в своей стране, или в рамках человеческого вида, а также ограничиться ближайшими поколениями. Как и в предыдущем случае, пространственно-временная близость страданий к агенту создает впечатление большей важности уменьшения этих страданий.
Одна из причин этого предубеждения состоит в том, что близкие к нам последствия проще оценивать. Однако, как мы уже отмечали ранее, отдаленные последствия у части наших действий могут быть намного более масштабными, чем близкие, и могут иметь противоположную направленность, поэтому следует выделять ресурсы на их изучение, а не полагаться лишь на ту часть последствий, которую легко оценить.
Другая возможная причина такого предубеждения состоит в путанице между глобальным уменьшением страданий и локальными моральными обязательствами вроде заботы о близких и отзывчивости к проблемам окружающих. Соблюдение таких обязательств нередко помогает нашему стабильному сосуществованию в обществе, но глобальное уменьшение страданий в общем случае требует и других видов деятельности.
Источники
- Стэнфордская энциклопедия философии, Консеквенциализм
- К. Кирдан, Что такое негативный утилитаризм (2020)
- Magnus Vinding, Suffering-Focused Ethics: Defense and Implications (2020)
- Stanford Encyclopedia of Philosophy, Pain
- Wikipedia, Aggregate function
- Электронная философская энциклопедия, Утилитаризм
- К. Кирдан, «Cентиентность — недостающее слово в нашем языке» (2022-2023)
- Википедия, Проблема вагонетки
- Wikipedia, Mathematical optimization
- Большая российская энциклопедия, Контрфактуальное мышление
- Агата Коровина, «Реальный мир — это тот, где ты жив, а возможный — где ты мертв». Как философы путешествуют по возможным мирам
- Douglas W. Portmore, Objective and Subjective Consequentialism
- Douglas W. Portmore, Maximizing and Satisficing Consequentialism
- Luke Muehlhauser, Decision Theory FAQ (2013)
- Caspar Oesterheld, A comprehensive list of decision theories
- Брайан Томасик, Зачем максимизировать ожидаемую полезность? (2007-2016)
- Holden Karnofsky, Expected value
- Wikipedia, Von Neumann–Morgenstern utility theorem
- Википедия, Функция (математика)
- Джон фон Нейман, Оскар Моргенштерн, Теория игр и экономическое поведение (1970)
- Стэнфордская энциклопедия философии, Теория игр
- Элиезер Юдковский, Парадокс Ньюкома: сожалея о своей рациональности (2015)
- John C. Harsanyi, Rule Utilitarianism and Decision Theory (1975)
- Wikipedia, Pascal’s mugging
- Centre for Effective Altruism, Option value
- David Manheim, When To Find More Information: A Short Explanation (2019)
- Stanford Encyclopedia of Philosophy, Bounded Rationality (2018)
- К. Кирдан, Плюс в одном месте — это минус в другом (2023)
- MacAskill W., Meissner D., Chappell R. Y., Elements and Types of Utilitarianism (2023)
- Nick Bostrom, Infinite Ethics (2003-2011)
- Amanda Askell, Pareto Principles in Infinite Ethics (2018)
- Brian Tomasik, Should We Believe in Infinity? (2014-2018)
- Centre for Effective Altruism, Cluelessness
- Википедия, Световой конус
- Википедия, Тепловая смерть Вселенной
- Википедия, Большой разрыв
- Caspar Oesterheld, Multiverse-wide Cooperation via Correlated Decision Making (2017)
- Википедия, Эпистемология
- Элиезер Юдковский, Рациональность: от ИИ до зомби (2015)
- Amanda Askell, Criteria of rightness vs. decision procedures (2017)
- Элиезер Юдковский, Что такое рациональность (2009)
- Centre for Effective Altruism, Longtermism
- Уличная эпистемология, Инструментальные и терминальные ценности. Как понять, что действительно важно для собеседника
- LessWrong, Instrumental convergence
- Stefan Schubert, Considering Considerateness: Why communities of do-gooders should be exceptionally considerate (2017)
- Магнус Виндинг, Этика противодействия страданию и важность счастья (2021)
- Magnus Vinding, Why altruists should be cooperative (2020)
- Teo Ajantaival, Peacefulness, nonviolence, and experientialist minimalism (2022)
- Скотт Александер, О пользе любезности, общин и цивилизации (2014)
- Brian Tomasik, Reasons to Be Nice to Other Value Systems (2015)
- Stanford Encyclopedia of Philosophy, Deontological Ethics
- Стэнфордская энциклопедия философии, Этика добродетели
- Jan Kulveit, Deontology and virtue ethics as “effective theories” of consequentialist ethics (2022)
- Лукас Глор, Критика наивного консеквенциализма (2015)
- Бенджамин Тодд, 80,000 часов: построй успешную карьеру и принеси пользу миру
- Centre for Effective Altruism, Введение в эффективный альтруизм
- Robert Wiblin, A framework for comparing global problems in terms of expected impact (2016-2019)
- Jesse Clifton, Cooperation, Conflict, and Transformative Artificial Intelligence: A Research Agenda (2020)
- Caspar Oesterheld, Lexicographic utility functions (2016)
- Brian Tomasik, Does Vegetarianism Make a Difference? (2006-2014)
- Сигаль Сэмюэл, Звери, роботы и люди: есть ли шансы на равноправие? (2019)
- Stanford Encyclopedia of Philosophy, Egoism
- Wikipedia, Person-affecting view
- Wikipedia, Social discount rate
- Дэвид Пирс, Гедонистический императив (1995)
- Magnus Vinding, Priorities for reducing suffering: Reasons not to prioritize the Abolitionist Project (2021)
- Брайан Томасик, Почему мы должны оставаться кооперативными (2011-2019)
- Магнус Виндинг, Вред смерти (2015)
Что еще почитать
- Benjamin Todd, Counterfactuals and how they change our view of what does good (2021)
- Centre for Effective Altruism, Model uncertainty
- Centre for Effective Altruism, Crucial consideration
- Lukas Gloor, Expected Utility (2015)
- Benjamin Todd, Expected value: how can we make a difference when we’re uncertain what’s true? (2021-2023)
- Centre for Effective Altruism, Expected value
- Holden Karnofsky, Why we can’t take expected value estimates literally (even when they’re unbiased) (2011-2016)
- Centre for Effective Altruism, ITN framework
- Benjamin Todd, What is social impact? A definition (2021-2023)
- Аманда Аскелл, Ценность информации и устойчивость убеждений (2017)
- Magnus Vinding, Research vs. non-research work to improve the world: In defense of more research and reflection (2022)
- Benjamin Todd, Cluelessness: can we know the effects of our actions? (2021)
- Hilary Greaves, Cluelessness (2016)
- Magnus Vinding, Radical uncertainty about outcomes need not imply (similarly) radical uncertainty about strategies (2022)
- Stefan Schubert & Lucius Caviola, Virtues for Real-World Utilitarians (2023)
- MacAskill W., Meissner D., Chappell R. Y., Utilitarianism and Practical Ethics (2023)
- Teo Ajantaival, Positive roles of life and experience in suffering-focused ethics (2021)
- Teo Ajantaival, Minimalist axiologies and positive lives (2021)
- Элиезер Юдковский, Ценности терминальные и инструментальные (2007)
- Toby Ord, Moral Trade (2016)
- Brian Tomasik, Gains from Trade through Compromise (2013-2018)
- Ману Эрран, Зачем фокусироваться на уменьшении интенсивного страдания? (2019)
- Ману Эрран, Что я могу сделать для предотвращения интенсивных страданий? (2020)
- Скотт Александер, Часто задаваемые вопросы о консеквенциализме
- К. Кирдан, “Цель оправдывает средства” — это и есть консеквенциализм? (2021)
- К. Кирдан, Что такое этика (2021)
- Centre for Effective Altruism, Naive vs. sophisticated consequentialism
- Nick Bostrom, Thomas Douglas, Anders Sandberg, The Unilateralist’s Curse and the Case for a Principle of Conformity (2016)
- Stanford Encyclopedia of Philosophy, Normative Theories of Rational Choice: Expected Utility (2014-2023)
- Стэнфордская энциклопедия философии, Теория игр
- Абрам Демски, Скотт Гаррабрант, Встроенная агентность (2018)
- Евгений Кононов, Аналитическая метафизика. Тематический обзор (2023)