Типология s-рисков

В наихудшем случае будущее может принести астрономические количества страданий — в этом заключаются так называемые риски астрономических будущих страданий или «s-риски». Ранее я утверждал, что уменьшение s-рисков, скорее всего, должно быть моральным приоритетом для многих систем ценностей, особенно фокусирующихся на страданиях. Но как s-риски могут реализоваться?

Этот вопрос сложен по многим причинам. В целом трудно представить, на что будут похожи технологии отдаленного будущего. Например, средневековым ученым было бы трудно предсказать появление атомной бомбы. Учитывая столь значительную неопределенность, описанные далее примеры s-рисков нужно рассматривать скорее как обоснованные догадки, приведенные для иллюстрации, а не так, будто именно эти сценарии представляют собой наиболее вероятные из s-рисков. Возможно, все эти примеры вместе составляют лишь небольшую долю в общем множестве s-рисков, большая часть из которых пока неизвестна нам.

Развернутое обсуждение какого-либо конкретного сценария также сопряжено с риском предвзятости доступности. Предвзятость доступности — это склонность считать пример, который легко приходит на ум, более типичным, чем он есть на самом деле. Такая эвристика может быть проблематичной, если s-риски на деле распределены по широкому спектру возможных источников и сценариев — что кажется правдоподобным. Чтобы уменьшить влияние предвзятости доступности, я кратко опишу множество возможных сценариев, вместо того чтобы углубляться в какой-то один из них.

Но еще одна сложность — отсутствие четких механизмов обратной связи, особенно если рассматриваемые сценарии не имеют исторических аналогов. Поэтому применить обычный научный подход здесь не так уж просто.

Учитывая эти трудности, полезнее всего будет исследовать множество разных типов s-рисков. Я сгруппирую спектр возможных сценариев в три категории: «s-риски по случайности», «s-риски, исходящие от субъектов», и «s-риски, исходящие от природы».

S-риски по случайности

S-риски по случайности [incidental s-risks] появляются, когда эффективные способы достижения какой-то цели приводят к значительным страданиям, хотя никто не стремился причинить эти страдания сами по себе. Субъект или субъекты, вызывающие такой s-риск, либо безразличны к этим страданиям, либо в теории предпочли бы вариант без страданий, но на практике не готовы нести необходимые для этого издержки.

Далее мы можем разделить s-риски по случайности на подкатегории в зависимости от лежащей в основе мотивации. В одной группе сценариев экономические стимулы и рыночные силы приводят к значительному количеству страданий, потому что эти страдания — побочный продукт высокой экономической продуктивности. Пример тому — страдания животных на промышленном животноводстве. Просто так получилось, что наиболее экономически эффективный способ удовлетворить спрос на дешевые продукты животного происхождения предполагает ужасные условия для животных на фабричных фермах¹. Технологии будущего могут способствовать подобным динамикам, но в гораздо большем масштабе. Например, тот факт, что эволюция использует боль, подразумевает, что обучение может быть более эффективным, если помимо сигналов вознаграждения используются также сигналы наказания. Так что у нас есть основания считать, что достаточно продвинутые и сложные системы, в которых используется обучение с подкреплением, способны испытывать страдания.

Еще один возможный вариант связан с использованием страданий для получения информации. Эксперименты на сентиентных существах могут быть полезны для научных целей, но причинять при этом серьезный вред подопытным. И снова получается, что технологии будущего могут сделать такие практики возможными в гораздо более крупных масштабах. Как обсуждалось в предыдущей статье, в будущем может стать возможным запуск большого количества симуляций искусственных умов, способных к страданию. И если будут инструментальные причины для запуска множества таких симуляций, это может привести к страданиям в огромных масштабах. Например, продвинутая ИИ-система может запускать множество симуляций для улучшения своих знаний о человеческой психологии или в попытке предсказать действия других субъектов в той или иной ситуации.

Также можно представить, что в будущем сложные симуляции будут использоваться в развлекательных целях, что может привести к серьезным страданиям, если в этих симуляциях будут содержаться искусственные сентиентные существа. Многим людям нравятся жестокие виды развлечений, о чем свидетельствуют многочисленные исторические примеры — от гладиаторских боев до публичных казней. Примером также может служить содержание современных видеоигр или фильмов. От таких развлечений никто не страдает, пока в них все не по-настоящему, но если в них будут использоваться искусственные сентиентные существа, они могут нести с собой s-риск.

S-риски, исходящие от субъектов

Приведенные ранее примеры описывают ситуации, в которых оказывается, что эффективное решение какой-нибудь задачи ведет к значительным страданиям в качестве непреднамеренного побочного эффекта. Другой класс s-рисков, которые я называю s-рисками, исходящими от субъектов [agential s-risks], объединяет ситуции, в которых какие-либо субъекты намеренно стремятся причинить вред.

Простым примером служит садизм. Небольшое количество будущих субъектов, подобно некоторым из нынешних людей, могут получать удовольствие от причинения боли другим. Можно надеяться, что это явление останется довольно редким, и такие наклонности можно будет сдерживать с помощью социального давления или правовых мер. Однако представимо, что новые технологии могут умножить возможный ущерб, причиняемый садистскими поступками.

Также эти s-риски могут проявиться, когда у людей есть сильные чувства ненависти к другим. Один из факторов здесь — склонность людей к формированию племенной идентичности и делению мира на своих и чужих. В крайних случаях такой трайбализм (племенное мышление) может перерасти в желание причинить максимальный вред другой стороне. История знает множество примеров жестоких преступлений, совершенных против представителей «неправильной» религии, этнической группы или политической идеологии. В будущем подобные динамики могут разворачиваться в астрономических масштабах.

Еще одной проблемой является ретрибутивизм: стремление мстить другим за реальное или предполагаемое зло, которое они причинили. Конкретным примером служит чрезмерность уголовных наказаний: в пенитенциарных системах прошлого и современности применялись чрезвычайно жестокие виды наказаний.

Эти факторы могут иметь место, в том числе пересекаясь, в ходе эскалации конфликтов. Например, крупномасштабная война или терроризм с использованием продвинутых технологий могут представлять собой s-риск. Это связано как с возможными страданиями самих участников конфликта, так и с тем, что экстремальные конфликты, как правило, усиливают негативные тенденции, такие как садизм, трайбализм и ретрибутивизм. Война часто пробуждает худшие стороны человеческой натуры. Также можно представить, что в рамках обостряющегося конфликта или войны действующие стороны могут угрожать намеренно вызвать наступление наихудших исходов, чтобы вынудить другую сторону сдаться.

Ключевой фактор, усугубляющий s-риски, исходящие от субъектов — это наличие злокачественных личностных черт (например, нарциссизма, психопатии или садизма) у влиятельных людей. Примером может служить то, какой большой вред был причинен такими тоталитарными диктаторами, как Гитлер или Сталин, в XX веке. (Более подробное обсуждение понятия злокачественности [malevolence], его научных основ и возможных шагов по предотвращению прихода к власти злокачественных лидеров — см. в статье «Reducing risks from malevolent actors».)

S-риски, исходящие от природы

Категории s-рисков по случайности и s-рисков, исходящих от субъектов, не охватывают всех возможных сценариев. Страдание может возникать также «естественным» образом без участия могущественных субъектов. Например, таковы страдания животных, проживающих в дикой природе. Дикие животные редко оказываются в центре внимания людей, но на самом деле они составляют подавляющее большинство сентиентных существ на Земле. Многие люди склонны воспринимать природу как идиллию, но на самом деле животные в естественной среде сталкиваются с голодом, травмами, конфликтами, мучительными болезнями, хищничеством и другими серьёзными угрозами.

Я буду использовать термин «s-риски, исходящие от природы» [natural s-risks] для обозначения возможности того, что такие «естественные» страдания происходят (или будут происходить в будущем) в астрономическом масштабе². Например, естественным s-риском было бы, если бы оказалось, что страдания диких животных распространены на множестве планет или если бы они со временем распространились по всему космосу, а не оставались ограничены этой планетой. (Если бы страдания диких животных распространила по космосу человеческая цивилизация — например, в процессе терраформирования других планет — это считалось бы s-риском по случайности.)

До сих пор я обходил стороной вопрос о том, насколько вероятны или серьёзны s-риски разных типов. Отчасти это связано с тем, что распределение ожидаемых будущих страданий остаётся открытым вопросом, неопределенность в котором огромна. Тем не менее s-риски, исходящие от природы, в основном выглядят менее тревожными по сравнению с s-рисками других категорий. Доступные данные — например, об отсутствии каких-либо наблюдаемых внеземных форм жизни — не указывают на то, что страдания диких животных (или что-то сопоставимое) являются распространённым явлением во Вселенной. Также, насколько я могу судить, нет серьёзных оснований полагать, что в будущем появится новый источник естественных страданий (астрономических масштабов).

Другие классификации

Классификация, которую я представил выше, основана на механизмах, которые могут порождать будущие астрономические страдания. Конечно, это не единственный способ классифицировать s-риски.

Ещё один полезный подход — деление на известные и неизвестные s-риски. Известный s-риск — это сценарий, который мы уже можем представить сейчас. Однако наше воображение зачастую ограничено. Неизвестные s-риски могут иметь место в сценариях, о которых мы никогда не задумывались или которые не можем даже осознать (подобно тому, как выглядела бы атомная бомба с точки зрения средневековья). Возможно, что непредвиденные механизмы приведут к огромным масштабам страданий по случайности («неизвестные s-риски по случайности»), что у будущих субъектов появятся непредвиденные причины для намеренного причинения вреда («неизвестные s-риски, исходящие от субъектов»), или что новые открытия покажут, что, вопреки тому, что нам казалось, наша вселенная содержит астрономические масштабы естественных страданий («неизвестные s-риски, исходящие от природы»).

Мы также можем различать s-риски по типу сентиентных существ, которых они затрагивают. S-риски могут затрагивать людей, нечеловеческих животных или искусственные умы. Примеры, которые я обсуждал, в основном фокусировались на двух последних категориях. Это связано с тем, что s-риски, затрагивающие не-людей, скорее всего, более недооценены — хотя это не означает, что s-риски, главным образом затрагивающие людей, неважны.

Наконец, полезно различать s-риски, податливые для влияния и неподатливые. S-риск податлив к влиянию, если в принципе возможно сделать что-то для его предотвращения, даже если (по тем или иным причинам) это может быть сложным на практике. По очевидным причинам, мы должны сосредоточиться на податливых к влиянию s-рисках, и все обсуждаемые мной примеры относятся к ним. Неподатливое к влиянию астрономическое страдание, например, в недосягаемой части нашей Вселенной, вызывает сожаление, но не заслуживает нашего внимания или усилий³.

Дальнейшие исследования

Исходя из этой типологии, я рекомендую рассмотреть в будущих работах следующие вопросы:

• Какие типы s-рисков наиболее важны в плане ожидаемого количества страданий?
• Какие типы s-рисков особенно податливы для уменьшения или особенно недооценены?
• Каковы наиболее значимые факторы риска, увеличивающие вероятность реализации различных s-рисков или масштаб ущерба в случае их реализации?
• Какие меры по снижению s-рисков соответствующего типа наиболее эффективны? Есть ли подходы, снижающие s-риски сразу многих разных типов?

---

Сноски