Как мы можем уменьшить s-риски?

Представляется правдоподобным, что избежать будущего с астрономическим количеством страданий (s-рисков) — приоритет с точки зрения многих систем ценностей, и в особенности с точки зрения этических взглядов, сфокусированных на страданиях. Но учитывая довольно абстрактный и зачастую спекулятивный характер таких сценариев будущего, что мы на самом деле можем сделать уже сейчас, чтобы уменьшить s-риски?

В этом посте я дам обзор приоритетных направлений, выявленных на сегодняшний день исследованиями по приоритизации с точки зрения фокуса на страданиях. Разумеется, здесь присутствует большая неопределённость, и вполне возможно, что наиболее эффективные способы снижения s-рисков сильно отличаются от описанных далее мер.

Полноценная оценка каждого из основных приоритетных направлений выходит за рамки этого поста, но в целом я включил сюда те меры, которые выглядят достаточно многообещающими в плане важности, реализуемости и недооцененности. Я исключил те варианты, на которые слишком сложно повлиять или которые, скорее всего, приведут к обратному эффекту из-за сильной поляризации или негативной реакции (например, попытки полностью остановить технический прогресс). При снижении s-рисков мы должны стремиться находить точки соприкосновения с другими системами ценностей. Соответственно, многие из описанных ниже мер представляют собой значимую ценность с точки зрения множества разных взглядов.

Содержание

1. Улучшение ценностей
   1.1. Расширение морального круга
   1.2. Этика, сфокусированная на страданиях
   
2. Политика и управление
   2.1. Улучшение политической системы
   2.2. Снижение рисков, исходящих от зловредных акторов
   2.3. Поддержание верховенства закона
   
3. Исследования переговоров и эскалации конфликтов
   3.1. Безопасность ИИ для наихудших сценариев
   3.2. Суррогатные цели
   
4. Развитие потенциала

Улучшение ценностей

На будущее влияют многие факторы — например, технический прогресс, экономическая динамика, проблемы кооперации, политические и культурные тренды. Однако именно ценности будущих субъектов, принимающих решения, по всей видимости — наиболее фундаментальный фактор, определяющий ход событий. Это делает улучшение ценностей перспективным рычагом воздействия на будущее. (Будет ли такой рычаг наилучшим, зависит от осуществимости социальных изменений, вероятности фиксации ценностей вместо их дальнейшего дрейфа, и от того, насколько продвижение морали чувствительно ко времени¹. Подробнее см. в статье «Arguments for and against moral advocacy».)

Расширение морального круга

В частности, обеспечение достаточного морального рассмотрения всех сентиентных существ, т. е. расширение морального круга — вероятно, ключевой фактор, определяющий, насколько благополучным будет отдаленное будущее. Проявляя и распространяя озабоченность страданиями независимо от того, в какое время они происходят, какой вид существ их испытывает или на каком субстрате работает их сознание, мы снижаем риск появления огромного количества «лишённых голоса» страданий, вызванных моральным пренебрежением к тем или иным типам существ — вроде животных или искусственных умов. (См. также «How s-risks could come about».)

Тем не менее, стоит отметить, что расширение морального круга может иметь и обратный эффект. В связи с этим крайне важно продвигать его вдумчивым, устойчивым и осмотрительным образом. В особенности следует избегать чрезмерно спорных стратегий, способных вызвать серьёзную (и возможно, необратимую) негативную реакцию, поскольку тяжелый конфликт с участием разных альтруистических движений сам по себе может стать источником s-рисков, а также затруднить будущую работу по их снижению.

Деятельность по расширению морального круга может принимать множество форм — от продвижения реформ в области защиты животных до продвижения искусственного мяса. Подробное обсуждение вопроса выходит за рамки этого поста, но в общем стоит отметить, что при фокусе на снижении s-рисков приоритеты могут существенно отличаться от тех приоритетов, которые ориентированы на помощь животным здесь и сейчас — было бы поразительным совпадением, если бы работа с краткосрочным фокусом оказывалась одновременно оптимальной и для улучшения отдалённого будущего². (Подробнее см. в статье «Longtermism and animal advocacy».)

Этика, сфокусированная на страданиях

Помимо продвижения морального рассмотрения всех сентиентных существ (а также в качестве противовеса возможным отрицательным последствиям расширения морального круга), мы можем изучать и развивать этические взгляды, сфокусированные на страданиях, так как они склонны придавать наибольший приоритет снижению s-рисков. В своем эссе «Reasons to promote suffering-focused ethics», Брайан Томасик утверждает, что это может быть особенно надежной и эффективной стратегией, хотя он также рассматривает возможные недостатки (например, риск динамики с нулевой суммой).

Более общо, Магнус Виндинг подчеркивает, что моральное размышление и прояснение фундаментальных ценностей имеют критически важное значение для любой альтруистической деятельности.

Подробнее об открытых вопросах для исследования в области этики, сфокусированной на страданиях, можно узнать здесь.

Политика и управление

С учетом нашей огромной неопределенности и «близорукости» насчёт будущего, разумно было бы сосредоточиться на том, чтобы максимально хорошо подготовить общество к решению будущих проблем — включая предотвращение потенциальных s-рисков.

Один из ключевых аспектов здесь — функциональная политическая система. Так что скорее всего усилия по предотвращению вредных политических и социальных процессов, а также по укреплению демократического управления, вносят вклад в снижение s-рисков.

Улучшение политической системы

Как добиться «лучшей политики» — вопрос, безусловно, непростой. (См. этот обзор.) Тем не менее, с точки зрения снижения s-рисков особенно важными кажутся следующие аспекты:

• Чрезмерная политическая поляризация, особенно поляризация между партиями в США, затрудняет достижение консенсуса и справедливых компромиссов, а также подрывает доверие к государственным институтам. Трайбализм также усиливает конфликты и, следовательно, представляет собой фактор риска для s-рисков. Предлагаемые меры по снижению поляризации включают реформу избирательной системы, общественное вещание, делиберативные гражданские совещания и обязательное голосование.
• Более взвешенный и доброжелательный политический дискурс, напротив, может снизить вероятность тяжелых конфликтов, и тем самым — наихудших возможных сценариев их последствий. Поэтому улучшение норм и стандартов политических дебатов может быть перспективным способом снижения s-рисков.
• Один из правдоподобных сценариев s-риска заключается в том, что доминирующее положение занимают «неподходящие» личности или идеологии, что приводит к закреплению постоянной тоталитарной властной структуры. Исторически такие режимы были временными и локализованными, но в будущем может стать возможной устойчивая глобальная диктатура.

Снижение рисков, исходящих от зловредных акторов

В сочетании с особенно дурными личностными чертами политических лидеров, такие проблемы, как поляризация или тоталитаризм, становятся особенно опасными. Поэтому один из способов улучшения управления — это снижение влияния «зловредных» акторов, где «зловредность» может быть измерена через черты тёмной тетрады: психопатию, макиавеллизм, нарциссизм и садизм. В статье «Reducing long-term risks from malevolent actors» Дэвид Альтхаус и я утверждаем, что зловредные лидеры могут отрицательно влиять на долгосрочную траекторию человечества (и представлять как s-риск, так и x-риск), и рассматриваем возможные меры по уменьшению ожидаемого влияния таких индивидов на далёкое будущее.

Хотя такие меры в основном нацелены на людей (возможно, усовершенствованных), похожие соображения могут применяться и к другим будущим субъектам, таким как ИИ — если их поведение можно интерпретировать как обладающее схожими склонностями. В целом, у нас может быть гораздо больше возможностей для влияния на будущих субъектов, если станет возможным итеративный отбор эмбрионов или схожие с ним технологии, или если будут созданы совершенно новые классы умов (такие как эмы³ или ИИ). Поэтому важно работать над тем, как эти технологии могут быть использованы для избежания наихудших тенденций и предотвращения эскалации конфликтов.

(Это можно рассматривать в качестве частного случая морального усовершенствования. Однако, в отличие от других форм морального усовершенствования, ослабление зловредных черт направлено именно на снижение s-рисков, более надёжно и с большей вероятностью получит широкую поддержку.)

Поддержание верховенства закона

Современные общества справляются с намеренными рисками, в основном за счёт принятия и исполнения соответствующих законов — например, запрета на вымогательство. Похоже, это довольно эффективно, что указывает на важность обеспечения того, чтобы в будущем у зловредных акторов тоже были стимулы не причинять вреда⁴.

Важно отметить, что s-риски могут исходить от будущих конфликтов, проходящих в радикально новых условиях — например, с участием продвинутого искусственного интеллекта или во время колонизации космоса. И выглядит правдоподобным (хотя и не очевидным), что больше всего нам следует беспокоиться о крайних сценариях с исключительно большими масштабами страданий. В таких экстремальных сценариях многие из вещей, которые мы обычно считаем само собой разумеющимися — вроде верховенства закона — могут перестать работать.

Один из способов предотвращения таких наихудших сценариев — это юридические исследования, посвящённые тому, как сделать более надежными имеющиеся законы, препятствующую таким сценариям (например, законы о вымогательстве и угрозах). В частности, важно изучить, как повысить вероятность того, что эти законы продолжат применяться и исполняться в радикально иных условиях, а также как применять схожее регулирование на уровне государств, транснациональных компаний или даже совершенно новых видов акторов, которые могут появиться в будущем⁵.

Ещё одно возможное направление, на котором можно сфокусироваться — это управление космосом. В настоящее время у нас нет целостного глобального фреймворка для регулирования космоса — космос по сути остаётся зоной свободного доступа. Это создаёт риск серьёзных конфликтов, так что было бы ценно преодолеть нынешнюю неопределённость, разработав целостную систему (долгосрочного) управления космосом, которая обеспечит благоприятные исходы, когда (и если) станет возможной широкомасштабная колонизация космоса.

Наконец, мы могли бы попытаться распределить будущие технологические возможности так, чтобы стало затруднительно создавать астрономические масштабы страданий — чтобы (в идеале) ни один актор по отдельности не мог бы стать источником s-риска. Это снизило бы как побочные, так и намеренные s-риски. Однако трудно представить конкретные способы достижения такого более безопасного распределения будущих возможностей.

Исследования переговоров и эскалации конфликтов

Этот класс мер немного более спекулятивен и в основном направлен на уменьшение намеренных s-рисков. Один из наиболее правдоподобных механизмов наступления наихудших сценариев состоит в том, что одни субъекты угрожают причинить вред другим — либо в попытке шантажа, либо как часть эскалации конфликта.

В связи с этим мы должны рассмотреть в качестве ещё одного возможного приоритетного направления исследования того, как лучше предотвращать такую динамику с отрицательной суммой (и достигать более кооперативных исходов). Эти исследования могут быть сосредоточены как на теоретических основах теории игр и теории принятия решений, так и на поиске наилучших способов изменить обстоятельства, в которых будут находиться будущие субъекты, с целью избегания эскалации конфликтов. (Подробнее см. «Research priorities for preventing threats».)

Безопасность ИИ для наихудших сценариев

Трансформативный искусственный интеллект (ТИИ) может быть (а может и не быть) исключительно важным рычагом влияния на далёкое будущее. В той мере, в какой он действительно трансформативен⁶, ТИИ может также привести к астрономическим масштабам страданий, что указывает на возможность того, что исследования в области безопасности ИИ с фокусом на предотвращении s-рисков должны быть нашим приоритетом. (Такой подход называют безопасностью ИИ, сфокусированной на страданиях, или безопасностью ИИ для наихудших сценариев.)

Особенно перспективными для снижения s-рисков представляются технические и управленческие меры⁷, направленные на избежание эскалации конфликтов с участием трансформативных ИИ-систем и на создание кооперативного ИИ. В «Research Agenda on Cooperation, Conflict, and Transformative AI» Джесси Клифтон более подробно описывает возможные исследования в этом направлении. (См. также пример конкретной работы в этой области.)

Суррогатные цели

Особенно перспективной представляется идея повысить вероятность успешного внедрения суррогатных целей в будущих субъектов, особенно в продвинутые ИИ-системы. Это позволило бы отразить угрозы (и связанные с ними страдания). Идея состоит в том, чтобы добавить к текущим целям новую, суррогатную цель, которая изначально не важна для субъекта, — в надежде, что именно эта цель, а не исходные ценности, станет мишенью в случае угрозы.

Возможные направления исследований по этой теме можно найти здесь.

Развитие потенциала

Следует вновь подчеркнуть, что мы сталкиваемся с огромной неопределённостью в отношении будущего — как оно будет выглядеть, как мы можем на него сильнее всего повлиять и как лучше всего снизить s-риски. Перечисленные выше приоритетные области основаны на некоторых ныне наиболее обоснованных предположениях. Но есть также серьёзные основания считать одним из важнейших приоритетов развитие потенциала. То есть, возможно, самое важное, что мы сейчас можем — это сделать так, чтобы сострадательные субъекты в будущем были в лучшем положении для уменьшения страданий.

Это включает в себя построение сообщества, заинтересованного в проблеме уменьшения страданий и хорошо в ней разбирающегося. Учитывая нынешний недостаточный уровень моральной обеспокоенности страданиями (всех сентиентных существ), нам нужно обращаться к более широкой аудитории и доносить до людей наиболее убедительные причины относиться к этим вопросам серьёзно. Один из инструментов в этом — продвижение этики. Но ориентироваться исключительно на максимальность количества убеждённых нами людей будет ошибкой. Развитие потенциала подразумевает также обеспечение долгосрочной устойчивости движения, налаживание связей с заинтересованными сторонами, разработку и совершенствование идей, и формирование здоровых социальных норм. И, конечно, расширение наших знаний о том, как наилучшим образом уменьшать страдания («формирование мудрости») — ещё один критически важный аспект развития потенциала. (Подробности см. в нашем «Стратегическом плане» и «Открытых вопросах для исследований».)

---