Аннотация

Некоторые мечтательные трансгуманисты считают, что если человечество сможет просто пережить грядущие столетия, не погибнув из-за искусственного интеллекта (ИИ) и других рисков вымирания, то наши потомки, вероятно, построят утопическую цивилизацию, которая будет воплощать человеческие ценности. В данной статье я представлю несколько возможных аргументов, омрачающих эту перспективу, хотя я могу что-то упускать. Я предполагаю, что даже при условии, что какие-то из человеческих ценностей сохранят контроль над далеким будущим, вероятность результата, который заслуживает называться «утопией», все равно низка (хотя, конечно, это в значительной степени зависит от того, насколько широко определять «утопию»). Представляя себе сценарии далекого будущего, мы должны фокусироваться на более реалистичных траекториях развития цивилизации, чем утопии.

Содержание

Конфликтующие понятия утопии

Один из сложных вопросов — чье видение утопии мы вообще обсуждаем. У разных людей разные ценности, и они хотели бы видеть разные варианты цивилизации в будущем. То, что считается утопией одними, было бы далеким от утопии для других.

Юдковский обсуждает возможность того, что идеализированные ценности разных людей могут расходиться. Он предлагает, что если

«люди сходятся в нежелании быть съеденными максимизаторами скрепок, но в конечном итоге имеют широкий спектр индивидуальных и коллективных возможностей того, какую начинку для пиццы они предпочитают», мы хотели бы, чтобы дружественный ИИ предотвращал поедание людей максимизаторами скрепок, но не возился с тем, с какими начинками пиццу люди будут есть в будущем.

Однако многие человеческие ценности — не просто «начинки для пиццы». Они находятся в активном конфликте друг с другом. Вот лишь несколько примеров:

Юдковский выступает против того, чтобы позволить лучшему быть врагом хорошего:

Возможно ли, что нет вообще никакого пути помочь большой группе людей? Это выглядит неправдоподобным. Вы можете хотя бы дать голодающим пиццу с начинкой, которая им сейчас нравится. Если ваша философия утверждает, что «О нет, даже это не помощь, потому что это не до конца когерентно», вы выбрали неверную интерпретацию понятия «помощи».

Справедливо. В конечном счете, считать ли «утопией» компромисс между конфликтующими человеческими ценностями, в котором почти ни одна из сторон не получит всего того, что хотела бы — это спор о самих терминах.

Исторические прецеденты

«Утопия» этимологически означает «место, которого нет». И это звучит уместно. За некоторыми узкомасштабными исключениями на Земле еще никогда не было построенных людьми утопий. (И если нас вдобавок заботит, не наносится ли вред животным, включая беспозвоночных, то утопий здесь и вовсе не было с тех пор, как развилась животная жизнь. Ведь даже мирная человеческая община убивала бы насекомых в хозяйстве или во время прогулок в лесу.)

Одна из причин, почему человеческие утопии были столь редки, состоит в том, что современный человеческий мозг подвержен гедонистической беговой дорожке и всегда будет страдать из-за тех или иных вещей. Но даже если разум постчеловека можно отредактировать так, чтобы он страдал гораздо меньше, чем нынешние люди, все еще могут остаться конфликты.

До введения демократии люди могли воображать, что демократия приведет к утопии. В конце концов, если народ может контролировать своих лидеров, то как они могут стать тиранами? Но на практике реальность находит много способов все испортить. Деньги и связи оказывают чрезмерное влияние на политику, а те, кто обладает властью, стремятся сохранить все как есть. В то же время многие избиратели неосведомлены, иррациональны или апатичны. Демократия, видимо, является формой правления лучшей, чем, как сказал Уинстон Черчилль, «все остальные, которые пробуются время от времени» (Langworth 2009), но она все еще приводит к обществу вроде США, где, например, сотни тысяч людей бездомны, в то время как миллиардеры убеждают правительство предоставить им значительное снижение налогов.

Возьмем другой пример: Интернет. Свободный обмен информацией должен привести общество к лучшему взаимопониманию и мудрости, так? В некоторой степени это правда. Но Интернет также привел к появлению 4chan и других проявлений темной стороны человечества, а еще к идеологическим эхо-камерам, легкому распространению вредоносных программ и т. д. Я сомневаюсь, что Дональд Трамп выиграл бы президентские выборы в США в 2016 году без участия социальных сетей (хотя об альтернативных сценариях сложно судить, учитывая, как сильно мир без интернета отличался бы от нашего).

Общая тенденция, что всё имеет свои проблемы, и реальность оказывается хуже, чем в идеалистичных ожиданиях, кажется мне самым сильным эвристическим аргументом сомневаться в утопических вариантах будущего. Экстраординарные утверждения требуют экстраординарных доказательств. А утверждение о том, что будущее принесет утопию, даже если мы никогда не видели утопии раньше, — экстраординарно.

Постдефицит?

Многие конфликты в нашем нынешнем мире вызваны нехваткой ресурсов. Но возможно, что в далеком будущем базовые потребности людей будет легко удовлетворить. Заработает ли наконец благодаря этому утопия, даже если раньше она не работала?

В постдефицитном будущем может быть меньше споров, чем в нынешнем, но многие разногласия касаются не только распределения ресурсов. Когда решены такие серьезные проблемы, как голод и безопасность, на первый план выходят новые проблемы. Представители среднего класса в развитых странах не испытывают значительной нехватки ресурсов, но все же находят причины для ссор. Люди издеваются друг над другом, оскорбляют, завидуют, обижаются и настаивают, что поведение других неправильно. Люди пользуются друг другом, и некоторые наслаждаются контролем над другими. Как иногда говорят, люди могут быть «мерзкими маленькими засранцами», и в человеческой природе есть некие темные импульсы. Почему это должно измениться с получением какой-то мощной технологии?

Кроме того, я не думаю, что дефицит когда-либо будет преодолен. У многих систем ценностей ненасытный аппетит к ресурсам. Например, гедонистические утилитаристы предпочли бы конвертировать как можно больше материи в счастливые вычисления (см. гедониум — прим. пер.). Пол Кристиано комментирует под статьей Юдковского идею, что «пирог будет расти настолько, что такого рода конфликты не являются проблемой. Я думаю, что это верно в той степени, в какой люди просто хотели бы жить счастливой, нормальной жизнью. Но у многих людей есть предпочтения насчет того, что происходит в мире, а не только в их собственной жизни.»

Даже эгоисты могут иметь ненасытные аппетиты, потому что они могут создавать сколь угодно большое количество копий самих себя, своих родственников или других вещей, которые им нравятся.

В целом мы должны ожидать, что те субъекты, которые больше всех жадны до ресурсов, будут искать еще больше ресурсов, умножая их до тех пор, пока ресурсы вновь не станут дефицитными. Основной способ предотвратить это — ввести ограничение со стороны центрального правительства. Но с таким ограничением часть людей уже перестали бы считать ситуацию утопией.

Деспотизм и смещение ценностей

Даже если люди поймут, как контролировать общий искусственный интеллект (ОИИ), это еще не значит, что ОИИ действительно будет контролироваться человеческими идеалами. Множество эгоистичных, авторитарных или идеологически радикальных акторов тоже очень заинтересованы в контроле над будущим, и есть некоторый шанс, что они станут доминирующей силой (силами).

Например, представьте, что военные США решили, что их стране нужно сохранить свой статус супердержавы. Они национализировали бы ОИИ и стремились бы поставить остальной мир под власть американского правительства. Хотя у правительства США есть какие-то гуманные импульсы, у него могут также быть и авторитарные импульсы. В построенном ими будущем может быть мало свободы и будет выделяться мало ресурсов тем, кого не контролируют американские военные. Остальной мир может ощущать давление, склоняясь в сторону ценностей и практик Америки. Это может препятствовать выражению других мировых культур, в результате чего будущее с их точки зрения не будет утопичным. Я не думаю, что этот конкретный сценарий неудачи очень вероятен, но траектории будущего вроде этой, или даже хуже, безусловно, выглядят возможными. Авторитарное правление было нормой во многих человеческих цивилизациях и остается распространенным даже сегодня.

Есть также значительный риск того, что ценности общества со временем будут смещаться. Возможно, чрезвычайно сильно. Некоторые из таких смещений могут быть одобрены нынешними людьми, поскольку наши потомки-постлюди могут быть мудрее и иметь доступ к лучшим моральным аргументам, чем мы. Но многие формы смещения ценностей, например из-за эволюционного давления или просто социальной энтропии, отодвинут будущую цивилизацию дальше от тех идеалов, которые современные люди могли бы поддержать, если бы поразмыслили. (Считать ли, что будущее, получившееся в результате такого смещения ценностей, контролируется людьми или нет — терминологический спор.)

Что насчет устойчивого компромисса?

Возможно, лучший шанс на то, что будущее, контролируемое людьми, будет достойно ярлыка «утопии» — это совместный компромисс всего человечества. Такое соглашение не было бы удовлетворительным для каждого. Например, либертарные ценности неизбежно будут вступать в конфликт с некоторыми из ценностей, направленных на предотвращение страданий, или с религиозными ценностями. Идеологическая раздробленность пронизывает всю историю человечества. Но, возможно, цивилизация могла бы достичь такого состояния, которое большинство из конкурирующих лагерей хотя бы не считали бы ужасным. (Некоторые из них все равно считали бы цивилизацию ужасной. Например, те, кто придает большое моральное значение подпрограммам страданий, которые неизбежно будут осуществляться в огромном количестве в технологически развитом будущем.)

Я думаю, это несбыточная мечта — что стабильный компромисс будет достигнут каким-то рациональным, продуманным процессом, при котором пожелания всех людей имели бы равный вес. Может быть, соглашение будет предполагать это на бумаге, но на практике, как и в демократии, те, кто богаче и влиятельнее, будут иметь раздутый контроль над конечным результатом. Те, кто будет иметь наибольшую власть в тот момент, когда появится ОИИ, будут продолжать удерживать наибольшую власть в мире и после этого, не считая случайных колебаний, когда их удачливость растет и падает.

Неясно, будет ли компромиссное соглашение устойчивым. Демократические решения в наше время постоянно меняются, поскольку состав и цели сотрудничающих сторон постоянно меняются. Достижение сохранности целей выглядит затруднительным (Tomasik “Will …”), но, возможно, в конечном итоге это произойдет, учитывая, что легче обеспечить согласование и сохранение цели для искусственно спроектированных программных систем, нежели для эволюционно развившихся эгоистичных биологических существ. Может быть через тысячи или миллионы лет мы увидим устойчивый синглтон, реализующий некое компромиссное соглашение между фракциями, находившимися у власти в момент его создания. Но я нахожу сомнительным, хотя и не невозможным, что содержание или распространенность идеологических ценностей, находящихся у власти в тот момент, будет похожим на то, что мы видим сегодня на Земле.