Для предсказания будущего неважно, какова моральная истина

Многие лонгтермисты питают надежду, что наши потомки (или любая продвинутая цивилизация/сверхинтеллект) в конечном итоге будут действовать в соответствии с какой-то моральной истиной¹. Хотя я симпатизирую некоторым формам морального реализма, я считаю такой сценарий довольно маловероятным для любой цивилизации, и тем более — для самых продвинутых/экспансионистских. Этот пост кратко объясняет, почему.

Чтобы было понятно: мой аргумент ни в коем случае не значит, что мы не должны действовать в соответствии с тем, что считаем моральной истиной. Я просто утверждаю, что мы не можем полагаться на то, что наши потомки — или любая могущественная цивилизация — будут поступать «объективно правильно». И это важный момент для расстановки приоритетов с точки зрения лонгтермизма.

Эпистемический статус: Поскольку я считаю идеи этого поста менее важными, чем те, что будут обсуждаться в следующих постах этой серии, я написал его быстро и не просил никого провести тщательный анализ перед публикацией. Поэтому я думаю, что мог упустить какие-то важные соображения с большей вероятностью, чем обычно. Дайте знать, что вы думаете!

Обновление от 10 апреля: Когда я впервые опубликовал это, заголовок был «Неважно, какова моральная истина». Я понял, что он вводил в заблуждение. Казалось, что я выдвигаю сильное нормативное утверждение о том, что важно, в то время как моя реальная цель заключалась в предсказании того, что может произойти. Так что я поменял заголовок.

Мало кто в конечном итоге будет действовать в соответствии с какой-либо моральной истиной

Для того, чтобы агенты (субъекты) делали то, что объективно лучше всего, необходимо соблюдение всех следующих условий:

• Существует моральная истина.
• Возможно «найти» её и признать таковой.
• Они находят что-то, что признают моральной истиной.
• Они (безоговорочно) принимают её, даже если она кажется им крайне контринтуитивной.
• То, что они нашли, действительно является моральной истиной. Никакой нормативной ошибки.
• Им удаётся действовать в соответствии с этой истиной. Никаких практических ошибок.
• Они удерживают это навсегда. Никакого дрейфа ценностей.
  
  

Я считаю, что в общем случае вероятность одновременного выполнения всех этих семи условий крайне мала, в основном по следующим причинам:

• (К условию #1) Хотя я нахожу убедительным аргумент о том, что (некоторые из) наших субъективных переживаний являются воплощением объективно отрицательной ценности (см. Rawlette 2016; Vinding 2014), я очень скептично отношусь к утверждениям о моральных истинах, которые не полностью зависят от сентиентности.
• (К #2) Я не вижу причин, почему мы должны предполагать, что возможно «найти» (с достаточной степенью уверенности) моральную истину, особенно если она более сложна, чем что-то вроде «удовольствие — это хорошо, а страдание — плохо» или и вовсе отлична от этой.
• (К #3 и #4) Если они «найдут» моральную истину и им не понравится то, что она предписывает, они вполне могут не действовать в соответствии с ней?²
• (К #3, #4, #5 и #7) В рамках цивилизации следует ожидать, что отбор будет в конечном итоге благоволить агентам с ценностями, наиболее приспособленными к выживанию, размножению и экспансии (см., напр., Bostrom 2004; Hanson 1998), и у меня нет оснований предполагать, что моральная истина особенно хорошо приспособлена к этому всему.

Даже если такие агенты не редки, их влияние останется незначительным

Теперь предположим, что много умных агентов приходит к какой-то единой моральной истине и эффективно оптимизирует свои действия в соответствии с ней. Однако по причинам, аналогичным тем, что обсуждались в предыдущем пункте, можно ожидать, что цивилизации или группы/индивиды внутри цивилизаций, которые примут моральную истину, будут менее конкурентоспособными по сравнению с теми, кто придерживается ценностей, наиболее способствующих адаптации и приспособленных к гонке в колонизации космоса.

В моем следующем посте этот эффект отбора исследуется более детально, но вот пример для размышлений: предположим, что Дания хочет следовать моральной истине, которая заключается в максимизации суммы $X − Y$, где $X$ — это что-то желательное (положительно ценное), а $Y$ — что-то нежелательное (отрицательно ценное). В это время Франция просто хочет «занять как можно больше космического пространства». Пока датчане сталкиваются с выбором между (A) как можно более быстрым распространением и созданием военного оружия/обороны и (B) инвестированием в «безопасность колонизации»³, чтобы убедиться, что они действительно оптимизируют свои действия в соответствии с моральной истиной, французы не сталкиваются с этой дилеммой и могут полностью сосредоточиться на варианте (A), что даёт им эволюционное преимущество. Значительность этого эффекта отбора зависит от того, входит ли моральная истина в число таких возможных целей цивилизаций, которые наиболее «способствуют экспансии» этих цивилизаций, или в число близких к ним. И я сомневаюсь, что моральная истина такова.

Заключение

Действия в соответствии с некой моральной истиной требуют успешного выполнения последовательности многих неочевидных шагов, что маловероятно.

Кроме того, ценности не появляются из ниоткуда. Они являются продуктом эволюционных процессов. Следует ожидать, что наиболее приспособленные к выживанию ценности будут представлены в наибольшей степени, по крайней мере среди самых экспансионистских обществ. И похоже, что истинность моральной теории слабо связана с её конкурентоспособностью⁴, так что у нас нет предварительных оснований полагать, что (наиболее могущественные) цивилизации или агенты будут поступать объективно правильно.

Если я более-менее прав, это значит, что аргумент об «открываемой моральной реальности», который выдвигают в пользу того, что будущее будет хорошим (см. Anthis 2022), — довольно слаб. Также это может нести более непосредственные следствия для расстановки приоритетов в лонгтермизме, которые будут рассмотрены в следующих постах этой серии.

Благодарности

До сих пор моя работа над этой цепочкой финансировалась Existential Risk Alliance.

Все допущения/утверждения/упущения являются моими.

Сноски