Перспектива создания искусственного интеллекта (ИИ) умнее человека часто представляется и обдумывается через простую аналогию: ИИ будет по отношению к нам таким же, каковы мы по отношению к шимпанзе. Иными словами, ИИ будет в качественном смысле более компетентным и мощным, а его действия будут так же непостижимы для людей, как современные человеческие занятия (например, наука и политика) непостижимы для шимпанзе.

Моя цель в этом эссе — показать, что эта аналогия во многом неверна. Разница в понимании и технологической компетенции между современными людьми и шимпанзе — в важном смысле схожа с отличием нуля от единицы, и такой шаг в развитии не может быть повторен.

Содержание

Чем люди отличаются от шимпанзе?

Распространённый ответ на этот вопрос состоит в том, что люди умнее. В частности, на уровне индивидуальных когнитивных способностей люди сильно превосходят шимпанзе благодаря примерно в три раза более крупному мозгу.

В этом утверждении, без сомнения, есть большая доля правды, так как люди действительно превосходят шимпанзе во множестве когнитивных задач. И всё же, в некоторых планах оно также ошибочно. Например, у шимпанзе лучше развита рабочая память по сравнению с людьми, и они, по-видимому, могут обыгрывать людей в некоторых видеоиграх — включая те, что связаны с навигацией в сложных лабиринтах.

Исследователи, изучающие уникальность человека, дают несколько иные, более конкретные ответы на этот вопрос. В частности, если сфокусироваться на индивидуальных ментальных различиях, исследователи обнаружили, что, грубо говоря, люди отличаются от шимпанзе по трём основным направлениям: 1) мы можем учиться языку, 2) мы сильно ориентированы на социальное обучение и 3) мы высоко кооперативны (внутри своих групп, по сравнению с шимпанзе).

Эти различия, в свою очередь, привели к двум следующим качественным различиям в способностях людей и шимпанзе в современном мире.

I. Символический язык

Первое качественное различие заключается в том, что люди обрели способность мыслить и общаться, используя для этого символический язык, позволяющий представлять сложные концепции. Мы можем узнавать что-либо о далеком прошлом жизни и о вероятном будущем Вселенной, включая фундаментальные оганичения передвижений в космосе и будущих вычислений, исходя из нашего текущего понимания физики. Любой образованный человек может многому научиться в этих вопросах, тогда как ни один шимпанзе этого не сможет.

Обратите внимание, что это отличие действительно подобно отличию нуля от единицы. С одной стороны — отсутствие символического языка, с другой — наличие развитого символического языка, позволяющего представлять и постоянно развивать знания (Deacon, 1997, глава 1). С одной стороны — отсутствие науки о физическом устройстве мира, с другой — обширная такая наука, позволяющая предсказывать будущие события и выводить строгие ограничения на то, что в будущем станет возможно.

Во многих отношениях этот шаг в развитии не может быть повторен. У нас уже есть физические модели, которые, например, с высокой степенью точности предсказывают будущее движение планет и солнечной системы. С учетом этого, лучшее, что можно сделать в этом отношении, — это (слегка) улучшить точность таких предсказаний. Такие дальнейшие улучшения будут несравнимы с переходом от нулевого концептуального понимания физики к нынешнему.

То же самое относится и к нашему научному пониманию в целом. У нас уже есть теории, которые достаточно хорошо объясняют большинство явлений вокруг нас. И хотя можно значительно улучшить точность и сложность многих из этих теорий, такие дальнейшие улучшения вряд ли будут столь же значительными, как качественный скачок от полного отсутствия концептуальных моделей до всей той совокупности моделей и теорий, которые у нас сейчас есть.

Например, переход от отсутствия понимания эволюции через естественный отбор к тому детальному пониманию биологии, которое мы имеем сейчас, вряд ли будет сопоставим в плане качественных и революционных скачков с дальнейшими улучшениями в биологии. Мы уже определили ключевые основы биологии, в особенности то, что касается истории жизни на Земле. И это можно сделать только единожды.

Мысль о том, что появление концептуального понимания является своего рода шагом от нуля до единицы, уже выдвигалась другими. Робин Хэнсон высказал по сути то же самое в ответ на идею о том, что будущие машины будут «так же непостижимы для нас, как мы для золотых рыбок»:

Это, на мой взгляд, игнорирует наше богатое и многомерное понимание интеллекта, проработанное в науках о разуме (информатике, ИИ, когнитивных науках, нейробиологии, поведении животных и т. д.).

<…> способность одного ума понимать общую природу другого ума, по-видимому, главным образом зависит от того, может ли он понимать что-либо абстрактное вообще, и от глубины и богатства его знаний об умах в целом. Золотые рыбки не понимают нас в основном потому, что они, похоже, неспособны к какому-либо абстрактному мышлению вообще. <…>

Мне кажется, человеческое мышление достаточно общо, а наши науки о разуме достаточно зрелы, чтобы мы могли многое понять о довольно разнообразном зоопарке возможных умов, многие из которых намного превосходят нас по многим параметрам.

Рамез Наам тоже выдвигал схожие аргументы в ответ на идею о том, что в будущем появятся такие технологии или интеллект, которые люди в принципе не будут способны понять. Он утверждает, что наше понимание будущего со временем расширяется, а не сужается, и что ИИ и другие будущие технологии не будут непостижимыми для нас:

Все эти [будущие технологии] всё ещё подчиняются законам физики. Мы можем описать и смоделировать их с помощью инструментария экономики, теории игр, эволюционной теории и теории информации. Возможно, когда-нибудь люди или их потомки преобразуют всю Солнечную систему в живую сущность, обрабатывающую информацию — «мозг-матрёшку». Возможно, мы даже сделаем то же самое со ста миллиардами других звёзд в нашей галактике. А может, даже распространимся на другие галактики.

Разве это не выходит за пределы нашего понимания? Не особо. Я могу использовать математику, чтобы описать вам пределы такой сущности, сколько вычислений она сможет произвести за время жизни звезды, которую она окружает. А обратившись к физике, я могу описать предел вычислений, выполняемых сетями из множества таких мозгов-матрёшек, указав на то, что в сообщении между звёздами есть гарантированная задержка, определяемая скоростью света. Затем я могу обратиться к теории игр и эволюционной теории, чтобы сказать вам, что, скорее всего, внутри такой вычислительной сущности будет наличествовать конкуренция между различными информационными подструктурами, поскольку её ресурсы (какими бы обширными они ни были) ограничены. И я могу описать вам некоторые из динамик этой конкуренции, а также указать на наличие эволюции, коэволюции, паразитов, симбионтов и других знакомых нам паттернов.

Шимпанзе вряд ли могут в той же степени понять политику и науку людей. Таким образом, на деле есть значительная разница между тем, какое понимание людей есть у шимпанзе, и пониманием, которое люди — благодаря нашим концептуальным инструментам — могут иметь о любом возможном будущем интеллекте (скажем, в физических и вычислительных аспектах).

Следует отметить, что вышеупомянутый качественный скачок произошел не сразу вскоре после того, как предки людей отделились от предков шимпанзе. Напротив, этот разрыв образовался гораздо позднее — он постепенно расширялся с момента появления первых людей, и его расширение ускорилость в последние века из-за развития всё более продвинутой науки и математики. Иными словами, этот качественный скачок был продуктом культурной эволюции не в меньшей степени, чем биологической. У ранних людей, вероятно, был примерно такой же потенциал для изучения современного языка, науки, математики и т. д. Однако такие концептуальные инструменты не могли быть усвоены в отсутствие окружения из культуры, способной обучать этим инновациям.

Рамез Наам высказал схожую мысль:

Если в истории человечества и был какой-то момент сингулярности, то он произошёл, когда люди развили сложное символическое мышление, которое сделало возможным язык, а затем математику и науку. До этого момента Homo sapiens были бы совершенно неспособны понять нашу сегодняшнюю жизнь. У нас гораздо больше возможностей понять, что может произойти в будущем через 10 миллионов лет, нежели было у них для понимания того, что произойдёт через несколько десятков тысяч лет.

II. Кумулятивные технологические инновации

Второе различие «как от нуля до единицы» между людьми и шимпанзе заключается в том, что люди создают вещи и со временем совершенствуют технологии. Конечно, многие другие животные тоже пользуются инструментами, такими как палки и камни, а некоторые даже изготавливают примитивные орудия. Но только люди совершенствуют технологические изобретения своих предков и строят новые на их основе.

Таким образом, люди уникальны в том, что они расширяют свои возможности, систематически используя окружающую среду и превращая её элементы во всё более продуктивные продолжения самих себя. Мы превратили дикие земли в сельскохозяйственные угодья, создали технологии для получения энергии и построили внешние хранилища памяти, такие как книги и жёсткие диски, — намного более надёжные, чем наши собственные.

Это ещё один качественный скачок, который нельзя повторить: шаг от полного отсутствия кумулятивных технологий до систематического использования и оптимизации окружающей нас среды в своих целях, от отсутствия внешней памяти до ныне огромного хранилища накопленных людьми знаний под рукой, и от полного отсутствия энергодобычи (помимо личного пищеварения) до совместной добычи и использования сотен квинтиллионов джоулей каждый год.

Конечно, возможно улучшить и расширить эти достижения. К примеру, мы можем добывать больше энергии и создавать ещё более крупные внешние хранилища данных. Однако эти усовершенствования — лишь количественные, и человечество на деле производит их каждый год. Это не скачки «от нуля до единицы» — такие могла бы сделать только новая форма жизни.

Подводя итог: мы уникальны тем, что стали первым видом, который систематически трансформировал окружающую среду и создал из неё постоянно совершенствующиеся инструменты. Это достижение нельзя повторить, можно лишь развивать дальше.

Как и качественный скачок в наших способностях к символическому мышлению, качественный скачок в нашей способности к созданию технологий и преобразованию окружающей среды произошел не в промежутке между шимпанзе и ранними людьми, а в промежутке между ранними людьми и современными, — в результате культурного процесса, который происходил на протяжении тысяч лет. На самом деле, эти два скачка тесно связаны: наша способность к символическому мышлению и общению позволила нам создавать кумулятивные технологические инновации. В свою очередь, наши технологии позволили нам совершенствовать знания и концептуальные инструменты (например, через книги, телескопы и ускорители частиц), а улучшенные знания помогли нам создавать ещё более совершенные технологии, с помощью которых мы можем ещё больше развить знания, и так далее.

Такова, в общих чертах, история взаимозависимого роста человеческих знаний и технологий, история рекурсивного самосовершенствования (Simler, 2019, «On scientific networks»). Это не история о человеческом мозге самом по себе. В конце концов, сам по себе человеческий мозг делает не так уж много. Это больше история о том, что происходило между мозгами и вокруг них: об обмене информацией в сетях из мозгов и о внешних творениях, которые они спроектировали. История, ставшая возможной благодаря действительной уникальности человеческого мозга в том, что на сегодняшний день этот мозг — самый культурный из всех, обладающий исключительными способностями к обучению у других и к сотрудничеству с ними.

Диапазон человеческих способностей удивительно широк

Ещё один распространенный способ проведения аналогии с шимпанзе заключается в представлении шкалы интеллекта, на которой располагаются разные виды, например, «крысы на уровне 30, шимпанзе на 60, деревенский дурачок на 90, средний человек на 98, а Эйнштейн на 100», и где будущий ИИ может занимать место, на много сотен единиц выше Эйнштейна. Согласно этой картине, люди не просто будут далеки от ИИ, как шимпанзе далеки от людей, но и еще намного дальше. В этом представлении аналогия с шимпанзе — это серьёзное преуменьшение разницы между людьми и будущим ИИ.

Эта шкала интеллекта может показаться интуитивно убедительной, но насколько она соответствует реальности? Один из способов прощупать этот вопрос — изучить диапазон человеческих способностей на примере шахмат (хотя это всего лишь один из примеров, которые могли бы этому помочь; разумеется, он никоим образом не даёт полной картины).

Стандартный способ ранжирования шахматных навыков — рейтинг Эло. Он хорошо предсказывает результаты шахматных партий между разными игроками, будь то люди, компьютеры или что-либо еще. У только начинающего рейтинг будет около 300, у новичка — около 800, а рейтинг в диапазоне 2000-2199 считается уровнем «эксперт». Наивысший из когда-либо достигнутых людьми рейтинг — 2882 у Магнуса Карлсена.

Насколько широк этот диапазон шахматных навыков в абсолютном плане? Как выясняется, чрезвычайно широк. Например, прошло более четырёх десятилетий с тех пор, как компьютеры впервые смогли обыграть человека-новичка (1950-е годы), до того момента, когда компьютер смог обыграть лучшего из игроков-людей (1997 год, если официально). Другими словами, путь от новичка до Каспарова потребовал более сорока лет прогресса как программного, так и аппаратного обеспечения, причём аппаратный прогресс заключался в увеличении вычислительной мощности в миллион раз. Это само по себе указывает на то, что диапазон человеческих способностей в шахматах довольно широк.

И этот диапазон оказывается ещё шире, когда мы рассматриваем верхние пределы для навыков шахматной игры. В конце концов, то, что компьютерам потребовались десятилетия для перехода от уровня человеческого новичка до уровня чемпиона мира, еще не значит, что лучший из людей лишь незначительно уступает лучшему из теоретически возможных компьютеров. Однако, к удивлению, расстояние между ними оказывается довольно небольшим. Оценки предполагают, что лучший из возможных шахматных компьютеров имел бы рейтинг около 3600 Эло.

Это значит, что относительное расстояние между лучшим из возможных компьютеров и лучшим из людей составляет всего лишь около 700 очков Эло (рейтинг Эло по сути измеряет относительное расстояние; 700 очков Эло соответствуют около 1,5% побед для проигрывающего игрока).

Таким образом, расстояние между лучшим человеком и шахматным «экспертом» примерно такое же, как расстояние между лучшим человеком и лучшим возможным шахматным разумом, в то время как расстояние между начинающим и лучшим шахматистами-людьми — значительно больше (2500 очков Эло). Это резко контрастирует с описанной выше шкалой интеллекта, которая предсказывала бы совершенно противоположное: что расстояние от новичка до лучшего из людей должно быть небольшим по сравнению с гораздо превосходящим его расстоянием от лучшего из людей до оптимального шахматного разума.

Конечно, шахматы — это ограниченная игра, и в ней никоим образом не отражены все задачи и способности, о которых может идти речь. И всё же, широта диапазона человеческих способностей в шахматах ставит под сомнение популярные утверждения о якобы узком диапазоне человеческих способностей.

Почему это важно

Ошибочность этой аналогии с шимпанзе стоит подчеркнуть по нескольким причинам. Для начала, она может заставить нас недооценивать то, сколь много мы уже знаем и способны понять. Считать, что будущие интеллектуальные системы будут столь же непостижимы для нас, сколь непостижимы человеческие дела для шимпанзе, — значит недооценивать то, насколько обширны и универсальны наши нынешние знания о мире — не только в плане физических и вычислительных принципов, но и в плане общих экономических и теоретико-игровых принципов. Например, мы многое знаем о росте экономики, и это знание может много сказать нам о том, каковы должны быть наши ожидания в отношении роста будущих интеллектуальных систем. В частности, это знание подсказывает, что сценарий внезапного локального взрывного роста ИИ («AI-FOOM») маловероятен.

Таким образом, эта аналогия может вводить нас в заблуждение, заставив думать, что нынешние теории и тренды не заслуживают большого доверия — ведь разница между людьми и шимпанзе так велика, а значит и человеческий мозг будет якобы ничтожен по сравнению с абсолютными пределами развития. Я думаю, что это как раз неверный способ мыслить о будущем. У нас есть веские причины строить свои ожидания на основе лучших из доступных нам теорий и на основе глубокого изучения прошлых трендов, включая реальную эволюцию человеческих способностей. А не на основе простых аналогий.

С этим связано то, что такая аналогия может привести к значительному завышению вероятности сценария локального взрывного развития ИИ. Если мы так ошибаемся насчет истории развития человеческих способностей, что думаем, будто наблюдаемая ныне разница между шимпанзе и людьми сводится главным образом к изменениям в мозгах индивидуумов, а не к гораздо более обширной истории биологического, культурного и технологического развития, то мы, скорее всего, будем иметь столь же ошибочные ожидания по поводу того, к чему могут привести сравнимые «инновации мозга» отдельных машин сами по себе.

Если эта аналогия заставляет нас переоценивать вероятность локального взрывного развития ИИ, она может подтолкнуть нас к чрезмерной фокусировке на каком-то одном, насыщенном будущем событии, которое мы будем считать первостепенно важным: событии, в котором какой-нибудь конкретный ИИ внезапно становится качественно более компетентным, чем люди. В результате аналогия может заставить нас пренебречь более широкими факторами, такими как культурное и институциональное развитие.

Для ясности: изложенные выше мысли никоим образом не являются аргументом в пользу успокоенности по поводу рисков, исходящих от ИИ. Важно, чтобы у нас было чёткое представление о таких рисках и чтобы мы распределяли свои ресурсы соответствующим образом. А для этого нам нужно полагаться на хорошие модели устройства окружающего мира. Если мы чрезмерно акцентируем внимание на одном наборе рисков, мы с неизбежностью недооценим другие.