Какие ценности будут править будущим? Обзор, выводы и направления для будущих исследований

Чтобы влиять на далёкое будущее, нам часто нужно понимать, как оно может выглядеть. То, каким оно может быть, отчасти зависит от того, что, по нашим ожиданиям, будут ценить заинтересованные стороны. Именно поэтому ключевой вопрос, который я ставлю в данной цепочке (и на который я начал попытки ответить), таков: каких ценностей, как нам следует ожидать, будут придерживаться могущественные цивилизации/агенты, и что из этого следует для расстановки приоритетов в лонгтермизме?

Ключевые выводы

• Расширение (на данный момент небольшого и неформального) исследовательского поля аксиологической футурологии помогло бы ответить на этот вопрос.
  • В своём первом посте я привожу аргументы в пользу работы в этой области и провожу обзор связанной с ней литературы.
• Вопреки предположениям многих лонгтермистов, то, какова моральная истина, скорее всего не влияет на ответ на этот вопрос (см. мой второй пост).
• Мы должны ожидать, что в долгосрочной перспективе будут отбираться ценности, которые «жадны» (т. е. способствуют экспансии), — по крайней мере в мирах, где выше ставки. Назовем это «тезисом об отборе жадных ценностей» (см. мой третий пост).
• Беспокойство о страданиях особенно слабо способствует «жадности», поэтому может сильно отсеиваться. Назовем это «проклятием колонистов, фокусирующихся на плюсах». Чем сильнее это проклятие, тем сильнее нам стоило бы приоритизировать снижение s-рисков (устойчивыми путями) над снижением других долгосрочных рисков (см. мой четвертый пост).

Некоторые ключевые вопросы, оставшиеся без ответа

• Какова вероятность ранней¹ фиксации ценностей (или, по терминологии Робина Хэнсона (2022), — того, что проектирование позволит избежать отбора на ранних стадиях и в течение длительного времени)?
• Как мы могли бы попытаться количественно оценить значимость проклятия колонистов, фокусирующихся на плюсах?
  • Как оно, вероятнее всего, будет работать? (См. этот комментарий для типологии его возможных форм.)
• Если проклятие колонистов, фокусирующихся на плюсах, имеет решающее значение, следует ли из этого что-то еще кроме того, что нынешним лонгтермистам стоит приоритизировать уменьшение s-рисков?
  • Что из этого следует для расстановки приоритетов в уменьшении s-рисков (кроме того, что мы должны приоритизировать снижение «поздних s-рисков»)?
• Что делает одни ценности более адаптивными, чем другие? Какие особенности, помимо фокуса на плюсах, могут быть у наиболее жадных ценностей?
  • Простота? Низкая подверженность неопределенности насчет того, как максимизировать эти ценности? Где они находятся на оси действия-воздержания?
• Должны ли мы ожидать, что биологические инопланетяне будут сентиентными, или нет?
• Насколько широк будет моральный круг у наших потомков и у жадных инопланетян? Есть ли вообще смысл использовать здесь концепцию морального круга? Будут ли они вообще заботиться о сентиентных существах и/или их переживаниях?
• Если не страдание, то что может цениться отрицательно жадной цивилизацией/AGI?
  
  

Не стесняйтесь связаться со мной (buhler.jim94@gmail.com), если вам интересно поработать над этой темой!

Сноски