S-риски: Введение

Аннотация

На протяжении всей истории человечества новые технологии открывали беспрецедентные возможности, в то же время создавая серьезные риски. В сочетании с недостаточной заботой о благополучии других технический прогресс иногда причиняет огромные страдания. Хотя есть основания полагать, что этот ущерб будет временным, так может оказаться не во всех случаях.

Будущие технологии, вероятно, наделят человечество беспрецедентной силой, потенциально позволяя нам формировать всю вселенную. Но если обретенная сила будет использована безответственно, это может привести к страданиям в астрономических масштабах. Такие риски астрономических страданий также называются рисками страданий или коротко s-рисками («s» от «suffering» — «страдание» на английском — прим. пер.).

Хотя на первый взгляд такие сценарии могут показаться надуманными, у нас есть основания полагать, что их вероятность не является незначительной. Поэтому тем, кто хочет как можно эффективнее помогать другим, следует рассматривать снижение s-рисков в качестве первоочередного приоритета, особенно если они считают их важными по моральным соображениям или обделенными вниманием на практике.

Есть три широких пути эффективного снижения s-рисков:

• Попытаться сформировать направление развития ключевых новых технологий путем внедрения мер предосторожности против s-рисков.
• Стремиться к широкому совершенствованию общественных ценностей и институтов, которое повысит вероятность того, что будущие поколения будут работать над предотвращением s-рисков (или, по меньшей мере, не будут их намеренно вызывать).
• Сосредоточиться на подходах более высокого уровня, таких, как повышение осведомленности и исследование того, как лучше всего снизить s-риски.

Введение

Большинство из тех, кто хочет сделать мир лучше, склонны фокусироваться на помощи ныне живущим людям. Люди с большей готовностью сочувствуют страданиям ныне живущих, чем страданиям тех, кто будет существовать через тысячу или миллион лет в будущем.

Однако мы не можем оправдать такое игнорирование еще не существующих персон. С беспристрастной точки зрения тот факт, что мы живем в определенное время, не придает этому времени особого этического значения. Уменьшение страданий, лежащих в будущем — не менее осмысленно, чем уменьшение нынешних страданий. На самом деле, многие люди даже утверждают, что мы должны сфокусироваться на формировании далекого будущего, потому что в нем, скорее всего, будут гораздо более крупные популяции¹.

Представьте себе, что будущие поколения людей оглядываются на наше время. Какие разработки они сочтут наиболее важными? Чему, по их мнению, нам стоило бы уделить больше внимания? Чтобы начать отвечать на эти вопросы, мы сначала рассмотрим прошлое.

Технологии в истории человечества

На протяжении всей истории появление новых технологий часто имело трансформирующий эффект. Сельское хозяйство стало одним из ключевых факторов подъема цивилизации, поскольку оно позволило увеличить плотность населения и проложить торговые пути между различными регионами. А не столь давняя промышленная революция перевернула традиционный образ жизни и определила ход 19-го и 20-го веков.

Мы ежедневно пожинаем плоды технического прогресса. Мы дольше живем, нам удалось искоренить болезни, и по меньшей мере в среднем мы более обеспечены, чем когда-либо прежде. Другая сторона истории, однако, заключается в том, что те же самые технологии способствовали росту промышленных войн, которые принесли с собой химическое оружие, ядерное оружие и тотальную войну².

Риски, связанные с новыми технологиями, выглядят еще хуже, если мы рассмотрим их, расширив наш моральный круг на всех сентиентных существ, включая нечеловеческих животных. Индустриализация привела к умножению числа животных, которых выращивают и убивают, — зачастую в скверных условиях фабричных ферм, — чтобы люди могли потреблять их мясо³.

Важно то, что промышленное животноводство — результат экономических стимулов и технической осуществимости, а не злобы или дурных намерений человека. Большинство людей не одобряют страданий животных как таковых — просто получение вкусной пищи оказывается связанным со страданиями животных⁴. Другими словами, технологического потенциала вкупе с безразличием уже достаточно, чтобы вызвать невообразимое количество страданий. Это должно сделать нас более внимательными к возможности того, что будущие технологии могут привести к такой же моральной катастрофе.

Новые технологии и астрономические ставки

Если не произойдет вымирания человечества или коллапса цивилизации, то технический прогресс, скорее всего, будет продолжаться. Это значит, что новые технологии дадут человечеству беспрецедентную власть. Подобно технологиям прошлого, они откроют грандиозные возможности, но также будут нести и серьезные риски. Если такие достижения позволят нам колонизировать другие планеты, ставки станут поистине астрономическими — в наблюдаемой вселенной больше звезд, чем песчинок на Земле. Поэтому еще более важно, что мы будем отвественно использовать эту новую власть.

Как мы видим, технологический потенциал в сочетании с моральным безразличием может привести к моральной катастрофе. Будущие разработки, сродни промышленному животноводству, могут привести к страданиям в астрономических масштабах, намного превосходящих все, что происходило до сих пор. Такие события называются s-рисками (сокращение от «рисков страданий» или от «рисков астрономических страданий»).

Как могут реализоваться s-риски

См. также: A typology of s-risks, Risk factors for s-risks

Всегда трудно представлять, как могут выглядеть будущие разработки. Рыцари Средневековья не могли представить себе атомную бомбу. Соответственно, приводимые ниже примеры — просто обоснованные спекуляции.

Многие s-риски включают возможность того, что продвинутые искусственные системы, если они достаточно сложны и запрограммированы определенным образом, могут развить сентиентность⁵. Если появятся такие искусственные существа, они тоже имеют моральное значение⁶, но вполне возможно, что люди не будут (в достаточной степени) заботиться об их благополучии.

Искусственные умы, скорее всего, будут весьма чужды нам, из-за чего будет сложно проявлять к ним эмпатию. Более того, человечество может не признать искусственную сентиентность, точно так же, как многие философы и ученые не признавали сентиентность животных тысячи лет. У нас пока нет надежного способа «обнаружить» сентиентность, особенно в системах, которые сильно отличаются от человеческого мозга⁷.

Учитывая, как много нечеловеческих животных было создано по причине экономической целесообразности, можно представить, что в будущем будет создано сравнительно большое количество искусственных умов. У них, вероятно, будут различные преимущества перед биологическими умами, что сделает их экономически полезными. Это сочетание большого числа сентиентных умов и предсказуемого отсутствия моральной заботы о них представляет собой серьезный s-риск. На самом деле, эти условия выглядят поразительно похожими на условия промышленного животноводства.

Также некоторые мыслители изучили более конкретные сценарии. Ник Бостром ввел термин «ментальное преступление» для обозначения сценария, в котором мыслительные процессы сверхинтеллектуального ИИ могут содержать сентиентные симуляции и наносить им вред. Другая возможность — страдание подпрограмм: вычисления могут включать инструментально полезные алгоритмы, достаточно похожие на те части нашего мозга, которые приводят к боли.

Все это примеры ненамеренных s-рисков, когда оказывается, что эффективное решение тех или иных задач влечет за собой множество страданий. Другой класс s-рисков — s-риски, исходящие от субъектов — имеет место, когда субъект активно хочет причинить вред, — либо из-за садизма, либо в процессе конфликта. Например, военные действия и терроризм с использованием продвинутых технологий легко могут быть вести к s-риску, а злонамеренный диктатор может причинять вред в крупных масштабах.

Важно помнить, что технология сама по себе нейтральна и что она может быть использована и для уменьшения страданий. Примером может служить искусственное мясо, которое может привести к устареванию традиционного животноводства. Более продвинутые технологии могут также облегчить вмешательства в дикую природу с целью уменьшения страданий животных или даже помочь отменить страдания насовсем⁸. Однако, учитывая, что на карту поставлено столь многое, есть смысл рассмотреть возможность плохих исходов, чтобы убедиться, что мы сможем избежать их.

Почему мы должны относиться к s-рискам серьезно?

S-риски не являются экстремально маловероятными

Может создаться впечатление, что s-риски — это просто необоснованные спекуляции. Если вероятность s-рисков незначительна, то многие люди сочли бы контринтуитивным, что, несмотря на это, мы должны сосредоточиться на их предотвращении лишь из-за того, что ставки — (предположительно) астрономические⁹. Однако это возражение ошибочно, поскольку у нас есть веские основания полагать, что вероятность s-рисков не так уж и незначительна.

Во-первых, s-риски дизъюнктивны. Они могут материализоваться любым количеством несвязанных путей. Вообще говоря, трудно предсказать будущее, и диапазон сценариев, которые мы можем себе представить, ограничен. Поэтому правдоподобно, что непредвиденные сценарии, — называемые черными лебедями, — составляют значительную долю s-рисков. Так что даже если какой-то конкретный антиутопический сценарий, который мы способны представить, крайне маловероятен, вероятность какого-нибудь (другого) s-риска все равно может не быть незначительной.

Во-вторых, хотя s-риски могут на первый взгляд казаться спекулятивными, все лежащие в основании этой идеи предпосылки правдоподобны:

• Если не произойдет глобальных дестабилизирующих событий, то у нас нет оснований ожидать, что технический прогресс вскоре остановится¹⁰. Поэтому когда-нибудь скорее всего станет возможной колонизация космоса, делая ставки поистине астрономическими¹¹.
• Продвинутые технологии облегчат создание беспрецедентных объемов страданий, намеренное или нет¹².
• По меньшей мере возможно, что власть имущие не будут (в достаточной степени) заботиться о страданиях менее могущественных существ. Нынешняя низкая человеческая доброжелательность может сильно поменяться в будущем, но не полностью исключить s-риски.
  
  

В-третьих, есть исторические прецеденты. Промышленное животноводство, например, структурно похоже на (ненамеренный) s-риск, хотя и меньших масштабов. В целом человечество имеет неоднозначный послужной список в отношении ответственного использования новых технологий, поэтому мы вряд ли можем быть уверены в том, что будущие технологические риски будут рассматриваться с должной осторожностью и глубиной.

Следует уточнить, что все эти аргументы согласуются с убежденностью в том, что технология может также принести нам пользу или что она может повысить качество жизни людей до беспрецедентных уровней. Работа над s-рисками не требует особенно пессимистичного взгляда на траекторию человеческого будущего. Чтобы быть обеспокоенным s-рисками, достаточно считать, что вероятность плохого исхода _не является незначительной, — что согласуется с убеждением в том, что свободное от страданий утопическое будущее также вполне возможно. Я фокусируюсь на s-рисках по нормативным причинам, — потому что я думаю, что уменьшение (тяжелых) страданий наиболее морально неотложно¹³.

S-риски перевешивают нынешние страдания в математическом ожидании

Хорошим показателем серьезности рисков является их математическое ожидание, т. е. произведение масштаба соответствующих событий и вероятности того, что они случатся. Масштабы s-рисков были бы намного больше¹⁴, чем у нынешних источников страданий, таких как промышленное животноводство или страдания диких животных. В сочетании с не-незначительной вероятностью возникновения это означает, что s-риски, похоже, перевешивают нынешние страдания в математическом ожидании.

S-риски недооценены

Пока что мало кто активно работает над снижением s-рисков. Это не удивительно, учитывая, что s-риски основаны на абстрактных соображениях о далеком будущем, которые не трогают наших эмоциональных струн¹⁵. Даже люди, которые заботятся о долгосрочных последствиях, часто фокусируются на стремлении к утопическим исходам. Хотя такие усилия, конечно, ценны, это означает, что на снижение s-рисков выделяется относительно мало ресурсов. С другой стороны, это означает, что мы пока можем ожидать, что найдем низковисящие плоды — то есть, предельная ценность работы над снижением s-рисков может быть особенно высокой.

Как мы можем избежать s-рисков?

Основная статья: How can we reduce s-risks?

Узкие направления деятельности

Один из способов предотвращения s-рисков — попытаться непосредственно сформировать ключевые новые технологии путем внедрения мер предосторожности. Примером потенциально трансформирующей технологии является продвинутый ИИ, который, по мнению экспертов, может быть разработан к концу этого столетия. Поскольку интеллект является ключом к формированию мира, появление ИИ-систем со сверхчеловеческими уровнями интеллекта высвободит новую силу — к лучшему или худшему.

Поэтому мы могли бы работать над механизмами безопасности для ИИ-систем, нацеленными на предотвращение s-рисков, а не на достижение наилучшего возможного исхода. Перспективная мера предосторожности — попытаться реализовать суррогатные цели в ИИ-системах. (Но неясно, как лучше всего предотвратить s-риски от ИИ, так что были бы полезны дальнейшие исследования.)

Для устранения s-рисков, исходящих от субъектов, мы могли бы исследовать способы предотвращения динамики с отрицательной суммой — такой как вымогательство или эскалация конфликтов. Такие исследования могли бы сосредоточиться на теоретических основаниях теории игр и теории принятия решений или на поиске наилучших путей изменения эмпирических обстоятельств для избегания динамики с отрицательной суммой.

Широкие направления деятельности

Другой вид работы сосредоточен на широком улучшении общественных ценностей, норм или институтов. Это увеличит вероятность того, что будущие поколения будут ответственно использовать свою власть, даже если мы не можем точно предсказать, как именно изменится мир. Например, продвижение антиспесишизма скорее всего приведет к уменьшению страданий животных в будущем.

Вот некоторые примеры многообещающих широких направлений возможной деятельности:

• Распространение альтруистического отношения к страданиям или попытки расширения человеческого морального круга на животных и цифровые умы. Подробнее об этом направлении см. в «Arguments for and against moral advocacy».
• Продвижение международного сотрудничества в целях предотвращения опасных тенденций, таких как гонки вооружений в области ИИ между конкурирующими странами.
• Развитие размышлений о морали и осторожного подхода к новым технологиям — как формы дифференцированного интеллектуального прогресса.
• Усилия по предотвращению вредной политической и социальной динамики, такой как чрезмерная поляризация, или иные способы улучшения нашей политической системы, которые помогут обществу лучше справляться с будущими рисками (всех видов).
• Предотвращение достижения властных позиций людьми с психопатическими, нарциссическими или садистскими чертами характера поможет уменьшить s-риски и другие долгосрочные отрицательные последствия. Подробнее об этом см. в «Reducing long-term risks from malevolent actors».

Исследования и построение движения

Какие из этих мер наиболее эффективны? Учитывая нашу неуверенность на этот счет, наиболее эффективным способом снижения s-рисков может быть само исследование того, как их лучше всего снизить. Более конкретно, мы должны попытаться выяснить, какие из s-рисков являются наиболее вероятными, наиболее податливыми для снижения или наиболее значительными по масштабам. Это позволило бы получить ценную информацию для более эффективного снижения s-рисков.

Еще одной простой, но потенциально очень эффективной мерой является повышение осведомленности об s-рисках. Если больше людей будут озабочены снижением s-рисков, то будет гораздо проще осуществлять меры предосторожности на практике.

Наконец, я хотел бы подчеркнуть, что при снижении s-рисков мы должны действовать с осторожностью и стремиться к сотрудничеству с другими системами ценностей. Например, попытки остановить технический прогресс приведут лишь к конфликтам с нулевыми суммами с теми, кто хочет пожинать плоды продвинутых технологий¹⁶. Вместо этого скорее всего продуктивнее работать в направлении будущего, которого хотели бы все.

Дальнейшее чтение

• Risks of Astronomical Future Suffering — Брайан Томасик более детально рассматривает возможные s-риски.
• Artificial Intelligence and Its Implications for Future Suffering — Брайан Томасик анализирует различные сценарии развития ИИ и объемы страданий в этих сценариях.
• Reducing Risks of Astronomical Suffering: A Neglected Priority — Дэвид Альтхаус и Лукас Глор обсуждают связь s-рисков и x-рисков и аргументируют, почему в будущем содержится больше страданий, чем обычно предполагается.
• S-risks: Why they are the worst existential risks, and how to prevent them — Макс Дэниел дает введение в тему на конференции EAG Boston 2017.

Благодарности

Я в долгу перед Максом Дэниелом, Руайри Донелли, Дэвидом Альтхаусом, Стефаном Торгесом и Эдрианом Рорхеймом за их ценные комментарии и предложения.

---