Факторы риска для s-рисков

Предположим, вы хотите оценить, как на s-риски повлияет та или иная мера. Это затрудняется тем, что возможных s-рисков — множество, и у нас огромная неопределённость насчёт того, каким будет будущее. Подобно разным видам страданий из прошлого и современности, страдания в будущем, скорее всего, будут вызываться множеством факторов, а не какой-то одной причиной. Поэтому для снижения s-рисков нам нужно рассматривать такие параметры, которые сравнительно легко поддаются оценке, что упростит обсуждение конкретных мер.

В этом посте я представлю несколько факторов риска для s-рисков. Эти факторы риска не являются s-рисками сами по себе, но они значительно увеличивают вероятность или тяжесть крайне неблагоприятного исхода. Понятие «фактора риска» часто используется в медицине. Например, несбалансированное питание или отсутствие физических упражнений сами по себе не являются негативными последствиями для здоровья, но они являются факторами риска для множества медицинских проблем — от сердечно-сосудистых заболеваний до депрессии.

Такой подход позволяет давать обоснованные рекомендации для здорового образа жизни без необходимости анализа конкретных заболеваний. И выводы, к которым он приводит, остаются надёжными, даже несмотря на высокую неопределённость насчёт того, как будет меняться состояние здоровья любого отдельно взятого человека.

Аналогично, может быть, нам необязательно знать все влияния того или иного действия на конкретные s-риски. Если мы сможем выявить факторы риска, на которые можно положиться, то сможем разработать на их основе устойчивые и эффективные меры по снижению сразу широкого спектра s-рисков.

Продвинутые технологии и колонизация космоса

Самый простой фактор риска для s-рисков — это способность человеческой цивилизации вообще создавать огромные количества страданий. Многие s-риски становятся возможными только благодаря техническому прогрессу: мощные технологии открывают беспрецедентные возможности, но вместе с тем несут беспрецедентные риски. В частности, серьёзный s-риск может представлять появление продвинутого ИИ — из-за его невиданной мощи.

Подобно факторам риска в медицине, это не значит, что появление таких продвинутых технологий обязательно приведёт к материализации s-рисков¹. Суть просто в том, что продвинутые технологии могут дать людям колоссальную мощь и тем самым увеличить потенциальные масштабы наихудших сценариев.

Также нам нужно различать виды технического прогресса по их опасности. Важный аспект — то, как новые технологии могут повлиять на общий масштаб человеческой цивилизации и на количество (потенциально страдающих) сентиентных существ. В частности, некоторые технологии могут упростить создание огромных объемов страданий.

Конкретным примером такой технологии служит способность к созданию сентиентных искусственных существ. Как я уже обсуждал в других текстах, это может привести к эксплуатации большого количества сентиентных существ из-за нашего, скорее всего, недостаточного уровня морального внимания к искусственным умам.

Другой ключевой фактор — крупномасштабная колонизация космоса². Благодаря продвинутому ИИ или другим технологическим прорывам, может стать технически и экономически возможной экспансия по всей вселенной. Эта экспансия потенциально может многократно увеличить общее количество как человеческих, так и нечеловеческих существ настолько, что наша цивилизация будет иметь поистине астрономические масштабы. И без достаточного морального и политического прогресса это может многократно увеличить количество страданий, порождаемых нашей цивилизацией. (Если во вселенной есть или будут инопланетные цивилизации, то экспансия человечества в космос может потенциально и снизить s-риски.)

Таким образом, даже с лучшими намерениями колонизация космоса несёт значительные риски. Потенциальные масштабы будущей цивилизации поражают воображение. По оценкам астрономов в одной только нашей галактике (Млечном Пути) насчитывается от 100 до 400 миллиардов звёзд, а во вселенной в целом — от 100 до 200 миллиардов галактик. Будущая моральная катастрофа галактического или межгалактического масштаба может, таким образом, многократно превысить страдания, происходящие на нашей планете. В то же время, количество страданий будет ограничено, если мы никогда не начнём колонизировать космос³.

Некоторые авторы утверждают, что колонизация космоса в любом случае приведёт к катастрофическим последствиям. Однако неопределённость на этот счёт весьма велика, и необязательно быть таким пессимистом насчёт колонизации космоса, чтобы признать, что она является фактором риска для s-рисков.

Является ли крупномасштабная колонизация космоса реалистичной перспективой? Данные о её осуществимости скудны, но предварительные обзоры показывают, что препятствия — от микрогравитации до необходимости преодолевать астрономические расстояния — очень серьёзны, но, вероятно, не являются непреодолимыми. Также остаётся неясным, какой могла бы быть мотивация для колонизации других планет — учитывая, что, как правило, они крайне негостеприимны по сравнению с Землёй, и в настоящее время у нас ещё предостаточно доступных земельных ресурсов.

С другой стороны, велика наша неопределённость насчёт того, что может или не может произойти в будущем, особенно на больших временных отрезках. Так что мы не можем исключить возможность того, что человечество будет колонизировать космос. При этом масштабы галактической или межгалактической моральной катастрофы могут быть столь огромными, что, согласно фреймворку ожидаемой полезности⁴, мы должны серьёзно отнестись к этой возможности, даже если не считаем крупномасштабную колонизацию космоса самым вероятным сценарием.

Недостаток адекватной профилактики s-рисков

Человеческая цивилизация, вероятно, могла бы смягчить большинство видов страданий при наличии достаточной мотивации и политической воли для этого⁵. Поэтому реализация s-рисков гораздо более вероятна, если никто не будет работать над их предотвращением.

Даже ограниченная степень моральной озабоченности проблемой может существенно снизить s-риски. Например, если лишь небольшая группа людей заботится о предотвращении s-риска, они всё равно могут попытаться найти компромисс с другими для внедрения низкозатратных мер предотвращения наихудших сценариев. Такие низкозатратные компромиссы, вероятно, возможны в случае многих s-рисков. Таким образом, выглядит правдоподобным, что сильнее всего мы должны беспокоиться о тех вариантах будущего, в которых не предпринимаются усилия по предотвращению s-рисков, и что нужно заниматься этим очевидным узким местом.

Что может привести к отсутствию усилий по предотвращению s-рисков? Самая простая причина — банальное безразличие, особенно в отношении s-рисков, которые затрагивают тех, кто не имеет политического представительства или власти. В будущем лица, принимающие решения, могут осознавать наличие s-рисков и иметь возможность их предотвратить, но при этом не придавать достаточного значения страданиям, которые могут быть вызваны (или не предотвращены) их решениями. В частности, узость морального круга может привести к игнорированию тех s-рисков, которые затрагивают нечеловеческих животных или искусственную сентиентность.

Даже если озабоченность s-рисками присутствует, меры по их уменьшению могут оказаться ошибочными или неэффективными. Это может произойти по многим причинам. Например, идея предотвращения s-рисков или уменьшения страданий может приобрести ассоциации со спорными политическими идеями и движениями, что, в свою очередь, может вызвать негативную реакцию и воспрепятствовать прогрессу в направлении предотвращения s-рисков.

Также возможно, что заинтересованные стороны захотят избежать s-риска, но это может оказаться невозможным из-за неэффективных политических институтов или проблем с кооперацией. Или заинтересованным сторонам может не хватить дальновидности, чтобы предвидеть и устранить потенциальные s-риски на раннем этапе — а позже поменять курс истории может оказаться уже невозможным. (Конечно, это сильно зависит от того, о каком конкретно s-риске идёт речь.)

Конфликты и враждебность

Вероятность s-рисков выше, если высок уровень враждебности между будущими акторами и у них почти нет общих интересов. Конечно, то, что у людей разные точки зрения или мнения — само по себе не проблема. Однако такие расхождения могут стать фактором риска для s-рисков, если они сочетаются с непониманием других точек зрения или с нетерпимостью и враждебностью.

Конфликты могут быть проблематичными по нескольким причинам. Во-первых, могущественные фракции или индивиды могут грубо пренебрегать моральными интересами других. Это, вероятно, помешает усилиям по предотвращению s-рисков (и отсутствие таких усилий само по себе является фактором риска, как отмечено в предыдущем разделе). Будущее, в котором присутствуют крупномасштабные конфликтные взаимодействия или беспощадная конкуренция, скорее всего, оставит мало возможностей для взвешенного осмысления s-рисков и для взаимовыгодных компромиссов. В этом случае вероятность негативных исходов значительно возрастёт по сравнению с тем будущим, в котором успешная координация позволяет внедрять меры против потенциальных рисков.

Во-вторых, враждебные отношения всегда несут риск эскалации конфликтов и даже открытой войны между конкурирующими фракциями. Логично предположить, что это увеличивает риск наихудших сценариев. В частности, некоторые акторы могут стремиться намеренно нанести вред другим из ненависти, садизма или ради мести за (реально или предположительно) совершенные ими вредоносные поступки (как обсуждалось в другой статье). Конфликты и войны имеют обыкновение обострять наши худшие импульсы.

Связанный фактор риска для s-рисков — это недостаточная защищённость от вредоносных акторов. Человеческая цивилизация включает множество разных акторов, и в их числе какое-то количество зловредных [malevolent]. Обычно их сдерживают нормы и законы, запрещающие вредоносные действия, но в некоторых сценариях будущего это может стать затруднительным. Например, в контексте мощных автономных ИИ-агентов или колонизации космоса может оказаться более сложным или даже невозможным остановить негодяев, наносящих вред в крупных масштабах⁶.

Это также связано с будущей эволюцией баланса атаки и обороны. Военные приложения будущих достижений технологии могут изменить этот баланс так, что вероятность s-рисков возрастет. Одно из распространенных опасений состоит в том, что сильные наступательные возможности позволят безопасно наносить первый удар, что подорвёт глобальную стабильность. Однако в контексте s-рисков ещё более опасным будет смещение баланса в сторону сильной обороны, поскольку если у дурных акторов будут значительные преимущества в обороне, их вредоносную деятельность больше нельзя будет сдержать⁷.

Зловредные акторы

Жестокие диктаторы, такие как Гитлер и Сталин, были ответственны за многие из самых ужасных злодеяний в истории человечества. Но как можно операционализировать понятие «жестокого» или «зловредного» [malevolent] актора? Часто используется концепция «тёмной тетрады», которая включает следующие четыре черты личности⁸:

• Психопатия характеризуется стойким антисоциальным поведением, нарушением эмпатии, чёрствостью и импульсивностью.
• Нарциссизм включает в себя завышенное чувство собственной значимости и своих способностей, чрезмерную потребность в восхищении и одержимость достижением славы или власти.
• Макиавеллизм характеризуется манипулированием и обманом других людей в своих интересах, безразличием к общественным нормам и безжалостным стремлением к власти или богатству.
• Садизм — это склонность получать удовольствие от причинения другим страданий и боли.
  
  

Индивиды с такими зловредными чертами могут нести с собой серьёзные риски, если они поднимаются на позиции власти. И это происходит довольно часто — в конце концов, стратегическая безжалостность и жажда власти входят в отличительные черты зловредных личностей. Эти черты часто оказываются преимуществом в борьбе за власть, особенно в условиях жесткой конкуренции.

Власть зловредных личностей может привести ко множеству разных отрицательных последствий. Наиболее важные для s-рисков аспекты включают ослабление межличностного доверия и координации, увеличение риска эскалации конфликтов и войн, а также повышенную вероятность безрассудного поведения в ситуациях с высокими ставками. Подробнее о концепции зловредности, рисках, связанных со зловредными личностями во власти, и возможных мерах по снижению их влияния см. в работе «Reducing Long-Term Risks From Malevolent Actors».

Конкретный путь к s-риску — это образование глобального тоталитарного режима под руководством зловредного лидера, которое может привести к фиксации жестоких ценностей и властных структур на все времена. Исторические примеры тоталитарных режимов (например, нацистская Германия или сталинская Россия) были временными и локализованными. Но в будущем может стать возможной стабильная глобальная диктатура.

Риски, исходящии от зловредных акторов, усугубляются, если у них есть доступ к продвинутым технологиям, таким как мощный ИИ. В худшем случае это может позволить жестокому человеку у власти создавать страдания в беспрецедентных масштабах.

Как факторы риска связаны друг с другом

Было бы ошибкой рассматривать каждый фактор риска так, будто он не зависит от других. Напротив, между перечисленными факторами есть множество взаимосвязей и сложных взаимодействий. Так, поляризация и конфликты могут увеличить вероятность прихода к власти зловредного индивида. Диктатура под руководством такого лидера, в свою очередь, скорее всего затруднит усилия по предотвращению s-рисков. Продвинутые технологии могут многократно увеличить вред, причиняемый зловредными индивидами. И так далее.

С другой стороны, если в наличии лишь один фактор риска, то его эффект могут хотя бы в некоторой степени смягчить благоприятные обстоятельства. Например, возможности продвинутых технологий не так страшны, если есть адекватные меры по снижению s-рисков. Подобно этому, если отсутствуют продвинутые технологии и не происходит колонизация космоса, то страдания, причиняемые зловредным диктатором, будут хотя бы ограничены нашей планетой.

Поэтому выглядит правдоподобным, что большинство ожидаемых s-рисков имеют место в тех мирах, где сочетаются сразу несколько факторов риска. Риск от этого может даже увеличиваться сверхлинейно. Это значит, что если материализуются два фактора риска, то вероятность s-рисков может увеличиться более чем вдвое по сравнению с тем вариантом, в котором материализовался только один фактор риска⁹.

---