Почему это стоит исследовать

Человечество может разработать искусственный общий интеллект (AGI)1, колонизировать космос и создать в будущем астрономические количества всяких вещей (Bostrom 2003; MacAskill 2022; Althaus & Gloor 2016). Но что это за вещи? Насколько они положительно/отрицательно ценны? И каковы они в сравнении с теми вещами, которые в итоге создали бы жадные инопланетяне, если бы колонизировали наш уголок вселенной?2 Что это значит для нашей работы, направленной на формирование долгосрочного будущего?

Хотя ответы зависят от множества факторов, одним из ключевых, скорее всего, будут ценности наших потомков.

Когда мы размышляем о том, стоит ли изучать эту тему, заманчивой может показаться такая позиция:

Маловероятно, что у наших потомков будут ценности, которые одновременно существенно отличаются от наших и предсказуемы. Либо у них будут ценности, схожие с нашими, либо ценности, которые мы не можем предсказать. Следовательно, попытки предсказать, каковы будут их ценности — это пустая трата времени и ресурсов.

Хотя я понимаю, почему это может казаться убедительным, я считаю, что это крайне ошибочно.

Во-первых, предсказание ценностей наших потомков — то, что Джон Данахер (2021) называет «аксиологической футурологией», — в мирах, где эти ценности существенно отличаются от наших, не выглядит совсем уж неразрешимой задачей. В этой области исследований уже достигнуты значительные успехи, и, похоже, есть много возможностей для дальнейшего прогресса (см. следующий раздел и Приложение).

Во-вторых, сценарий, при котором ценности наших потомков не будут существенно отличаться от наших, представляется мне довольно маловероятным3. Тут следует учитывать такие вещи, как иллюзия конца истории. Похоже, что по ходу истории ценности заметно развиваются, и нет причин предполагать, что мы настолько особенные, что должны считать себя исключением из этого правила.

Помимо того, что работа в направлении аксиологической футурологии возможна, я также считаю эту работу необычайно важной, учитывая, что она поможет ответить на упомянутые ранее ключевые вопросы. Поэтому значимость этой работы также выглядит неоправданно недооцененной в нынешнее время.

Как это исследовать

Вот примеры общих вопросов, которые могли бы стать частью исследовательской повестки по этой теме:

Джон Данахер (2021) приводит примеры методологий, которые могут быть использованы для ответа на эти вопросы.

Также в Приложении приведены примеры и другие релевантные работы, включая следующие посты этой серии.

Благодарности

Спасибо Андерсу Сандбергу за наводку на работу Джона Данахера (2021) и глубокое обсуждение этой темы. Спасибо Элиасу Шмиду за прочие рекомендации. Спасибо также М. Виктории Калабресе за ее предложения по стилистике. Моя работа над этой цепочкой до сих пор финансировалась Existential Risk Alliance.

Все допущения/утверждения/упущения являются моими.

Приложение: Релевантные работы

(Этот список не является исчерпывающим4. Сортировка более-менее в порядке убывания важности.)

Сноски

  1. Или что-нибудь примерно столь же трансформирующее. ↩

  2. См. Rational Animations, «Мы появились рано и из-за жадных инопланетян» и «Решение парадокса Ферми от создателя Великого фильтра. “Громкие” и “жадные” инопланетяне» — прим. пер. ↩

  3. Внезапная фиксация ценностей в результате разработки и внедрения AGI в ближайшие годы/десятилетия — вероятно, наиболее правдоподобная из альтернатив. (См. Finnveden et al. 2022.) ↩

  4. Больше из-за ограниченности моих знаний, чем из-за желания сделать этот список покороче, так что, пожалуйста, отправляйте мне другие ресурсы, которые могут оказаться подходящими! (Для связи с автором см. www.jimbuhler.site — прим. пер.) ↩