Аннотация: Тезис об отборе жадных ценностей утверждает, что некоторые ценности сильнее способствуют экспансии (и поэтому лучше адаптированы к гонке в колонизации космоса), чем прочие, так что при прочих равных мы должны ожидать, что такие ценности будут более распространены среди самых жадных цивилизаций и AGI. В этом посте я представляю и обосновываю тезис об отборе жадных ценностей и выдвигаю некоторые соображения о том, насколько сильным и решающим мы должны ожидать этот эффект отбора. Чем он сильнее, тем больше мы должны ожидать, что наши потомки — в мирах, где у человечества большое будущее — будут обладать ценностями, более склонными к жадности, чем наши. То же самое относится и к жадным инопланетянам при сравнении с нами, современными людьми. Хотя эти утверждения тривиально верны, они, по-видимому, поддерживают выводы, которым большинство лонгтермистов не уделяли внимания. Например, вывод о том, что «самые могущественные цивилизации не заботятся о том, какова моральная истина» (см. мой предыдущий пост) и «не (сильно) заботятся о страданиях» (см. следующий пост).

Тезис

Распространение на новые территории может мотивироваться самыми разными ценностями и, по-видимому, является конвергентной инструментальной целью. Чего бы ни хотел данный агент (субъект), у него скорее всего будет некоторый стимул к накоплению ресурсов и распространению на новые территории, чтобы лучше достигать своей цели (или целей).

Однако не все моральные предпочтения одинаково способствуют экспансии. Некоторые из них ценят колонизацию (внутренне или инструментально) больше, чем другие. Например, агенты, которые ценят распространение само по себе, скорее всего, будут больше и/или эффективнее колонизировать новые территории, чем те, кто считает, что неправильно становиться прямой причиной чего-то вроде «загрязнения космоса» в межзвёздном масштабе.

Таким образом, существует эффект отбора, при котором самыми могущественными1 цивилизациями/AGI становятся те, чьи ценности наиболее склонны к «жадности». Это и есть «тезис об отборе жадных ценностей», который формализует и обобщает идею, высказанную Робином Хэнсоном (1998).

Тут можно выделить два разных вида эффекта отбора:

Имеют ли эти два разных эффекта отбора равное значение? Мое нынешнее впечатление таково, что это главным образом зависит от вероятности ранней фиксации ценностей или, по терминологии Робина Хэнсона (2022), успешности проектирования, позволяющего избежать отбора на раннем этапе и в течение долгого времени, где «рано» значит «до того, как внутри цивилизации успеют отобраться жадные ценности»3. Если такая ранняя фиксация ценностей произойдет, останется только межцивилизационный эффект отбора. Однако если этого не произойдёт, то похоже, что важность внутрицивилизационного эффекта отбора будет гораздо выше, чем межцивилизационного. Это объясняется главным образом тем, что внутри цивилизации (не достигшей фиксации ценностей), скорее всего, будет намного больше места для эффектов отбора, чем между различными цивилизациями4.

Тезис об отборе жадных ценностей выглядит тривиально верным. Довольно очевидно, что не все ценности равны в том, в какой степени они ценят (внутренне или инструментально) колонизацию космоса, и что те, которые ценят экспансию в космос больше других, будут распространяться в большей степени. Тезис основан лишь на этих весьма простых и бесспорных предпосылках. Тем не менее, что может вызвать споры, так это вопрос о том, насколько силен эффект отбора и значительно/кардинально ли разные системы ценностей отличаются по своей склонности к жадности? Это поверхностно рассматривается в следующем разделе.

Насколько силен эффект отбора?

В предыдущем разделе уже затрагивалась относительная значимость внутрицивилизационного и межцивилизационного эффектов отбора. Здесь мы рассмотрим их значимость в абсолютной величине, т. е. то, в какой степени мы должны ожидать, что значительное количество ценностей будут на самом деле отсеиваться.

Я вижу две причины полагать, что внутрицивилизационный отбор, в особенности, будет более интенсивным, чем мы могли бы интуитивно предположить:

Одна из причин предполагать, что сила (как внутрицивилизационного, так и межцивилизационного) отбора в пользу жадных ценностей может быть не такой уж большой, заключается в возможности того, что продвинутые цивилизации могут в конечном итоге приходить к моральной истине. Однако в предыдущем посте этой серии утверждается, что это относительно маловероятно, отчасти потому, что нет причин предполагать, что ценности, согласующиеся с (потенциально открываемой?) моральной истиной, будут более конкурентоспособными, чем те, которые наиболее склонны к жадности.

Более веская причина полагать, что сила (как внутрицивилизационного, так и межцивилизационного) отбора в пользу жадных ценностей не так уж велика, заключается в том, что агенты с ценностями, которые на первый взгляд кажутся менее склонными к жадности, всё равно могут в первую очередь сосредоточиться на колонизации космоса, чтобы не отстать в гонке с другими агентами (инопланетянами или другими агентами из их собственной цивилизации), и фактически оптимизировать свои ценности позже. В этом случае эффект отбора будет незначительным. Назовём это аргументом о конвергентной превентивной колонизации. Ранее я писал:

Например, агенты, которые ценят распространение само по себе, скорее всего, будут больше и/или эффективнее колонизировать новые территории, чем те, кто считает, что неправильно становиться прямой причиной чего-то вроде «загрязнения космоса» в межзвёздном масштабе.

Хотя эти две конкретные системы ценностей выглядят значительно отличающимися в своей склонности к жадности, аргумент о конвергентной превентивной колонизации предполагает, что другие системы могут отличаться гораздо меньше. Например, Карл Шульман (2012) утверждает, что мы должны ожидать, что агенты, стремящиеся максимизировать количество «людей, ведущих насыщенную, счастливую жизнь, полную интереса и вознаграждений» («эвдемонисты»), будут почти столь же склонными к жадности, как и агенты, которые хотят исключительно распространяться («саранча»). И хотя я считаю его аргумент далеко не бесспорным, Шульман предлагает наводящую на размышления историю, напоминающую нам, насколько всё же конвергентной инструментальной целью колонизация космоса оказывается для разных систем ценностей.

Таким образом, значимость как внутрицивилизационного, так и межцивилизационного эффектов отбора может сильно зависеть от конкретных ценностей, о которых мы думаем, когда рассматриваем эти эффекты.

Заключение

Тезис об отборе жадных ценностей выглядит тривиально верным, но я весьма не уверен насчет того, насколько велика значимость эффекта отбора. Его актуальность может значительно варьироваться в зависимости от того, какие конкретные ценности мы рассматриваем и «заставляем соревноваться» друг с другом. В будущих постах я исследую значимость эффекта отбора для различных осей ценностных вариаций.

Я буду рад любым замечаниям о том, что я мог упустить. Тут нужно больше исследований.

Хотя неопределённость велика, чем значительнее эффект отбора, тем более важные выводы это влечёт для лонгтермизма. В будущих постах я дополнительно затрону эти выводы и то, что тезис об отборе жадных ценностей говорит нам о ценностях, наличие которых мы можем ожидать у наших потомков и жадных инопланетян.

Благодарности

Спасибо Робину Хэнсону за глубокое обсуждение этой темы. Спасибо Антонину Брои, Максиме Рише и Элиасу Шмиду за полезные комментарии к ранним черновикам текста. Большая часть моей работы над этой цепочкой до сих пор финансировалась Existential Risk Alliance.

Все допущения/утверждения/упущения являются моими.

Сноски

  1. Под «самыми могущественными» я имею в виду «тех, кто контролирует наибольшее количество ресурсов, а значит, и наиболее эффективно достигает своих целей». ↩

  2. Другие работы указывали на довольно похожие или аналогичные варианты возможной динамики. Ник Бостром (2004) рассматривает «сценарии, в которых свободное эволюционное развитие, продолжая производить сложные и интеллектуальные формы организации, приводит к постепенному исчезновению всех форм существования, которые нас заботят». Пол Кристиано (2019) описывает сценарий, в котором «ML-обучение […] порождает “жадные” паттерны, стремящиеся расширить своё влияние». Аллан Дафо (2019; 2020) ввёл термин «эрозия ценностей», чтобы описать динамику, где «так же как дилемма между безопасностью и производительностью при интенсивной конкуренции заставляет принимать решения в ущерб безопасности, так и дилемма между любой человеческой ценностью и конкурентоспособностью может стимулировать принятие решений в ущерб этой ценности». ↩

  3. Хотя, вероятно, они уже были частично отобраны через естественную и культурную эволюцию (см. комментарий Уилла Олдреда) задолго до того, как колонизация космоса стала возможной. ↩

  4. Спасибо Робину Хэнсону за то, что указал мне на этот последний пункт и помог осознать, что разграничение между внутрицивилизационным и межцивилизационным отбором было гораздо более важным, чем я раньше думал. ↩

  5. Дафо (2019, раздел «Frequently Asked Questions») делает аналогичное утверждение. ↩