Ниже — отрывок из моей книги «Reflections on Intelligence» (2016/2024).

Термин «искусственный общий интеллект» (ОИИ) обозначает машину, которая может выполнять любую когнитивную задачу как минимум так же хорошо, как и человек. Он часто считается Святым Граалем исследований в области искусственного интеллекта. Также считается, что именно он может привести к «взрыву интеллекта», так как машины смогут взять на себя проектирование более умных машин, и, следовательно, их дальнейшее развитие больше не будет ограничено человеческой медлительностью.

Радикальный переход?

Люк Мюльхаузер и Анна Саламон описывают переход к машинам, проектирующим другие машины, следующим образом:

Как только программисты создадут ИИ с более высоким, чем у человека, потенциалом для проектирования ИИ, инструментальная цель самоулучшения может привести к петле положительной обратной связи самоусиления. Теперь, когда машинный интеллект улучшает сам себя, он улучшает тот самый интеллект, который и занимается улучшением. (Muehlhauser & Salamon, 2012, стр. 13)

Хотя это может показаться радикальным переходом, программный инженер Рамез Наам утверждает, что он не столь радикален, как можно подумать, поскольку мы уже используем наши последние технологии для их же улучшения и создания следующего поколения технологий (Naam, 2010). Как было отмечено в предыдущей главе, новые инструменты создаются и совершенствуются с помощью огромного конгломерата инструментов, и разработанные новые инструменты обычно становятся дополнением к уже существующему набору. По словам Наама:

Одно из распространённых утверждений состоит в том, что изобретенение интеллекта, превосходящего человеческий, ознаменует Сингулярность. Эти сверхинтеллекты смогут продвигать науку и технологии быстрее, чем неаугментированные люди. Они смогут понять то, чего не могут понять обычные люди. И, возможно, самое важное — они смогут использовать свои превосходящие интеллектуальные способности для того, чтобы улучшать самих себя, создавая восходящую спираль самоулучшения со всё более и более быстрыми циклами.

На самом деле у нас уже есть интеллекты, превосходящие человеческие. Они повсюду вокруг нас. И правда, что они двигают границы науки и технологий вперёд такими способами, которые недоступны отдельным неаугментированным людям.

Эти сверхчеловеческие интеллекты — это распределённые интеллекты, образованные людьми, сотрудничающими друг с другом, часто через электронные средства, и почти всегда с поддержкой программного обеспечения и обширных онлайн-хранилищ знаний. (Naam, 2010)

Проектирование и создание новых машин — не результат одной только человеческой изобретательности, а продукт большой системы продвинутых инструментов, в которой человеческая изобретательность — просто один из элементов, хотя и играющий множество ролей. Более того, как намекает Наам, сверхчеловеческие интеллектуальные способности уже играют ключевую роль в этом процессе проектирования. Например, компьютерные программы создают иллюстрации и проводят расчёты, которые ни один человек не смог бы сделать, и они стали незаменимыми элементами процесса проектирования новых инструментов практически во всех технологических областях. Таким образом, сверхчеловеческие интеллектуальные способности уже являются значительной частью процесса создания самих этих способностей. Это привело к продолжительному росту, но едва ли к резкому «взрыву интеллекта».

Наам приводит конкретный пример существующего самосовершенствующегося «сверхинтеллекта» (т. е. сверхдостигателя целей), а именно Intel:

Intel использует огромные команды из людей и компьютеров для проектирования следующего поколения своих микропроцессоров. Более быстрые чипы означают, что используемые в проектировании компьютеры будут становиться мощнее. Более мощные компьютеры означают, что Intel сможет проводить более сложные симуляции, что его программное обеспечение для САПР (систем автоматизированного проектирования) может снять больше нагрузки с сотен людей, работающих над каждой моделью чипа, и так далее. Есть прямая петля обратной связи между результатами производства Intel и его собственными возможностями. …

Самоулучшающиеся сверхинтеллекты, конечно, кардинально изменили наши жизни. Но они, похоже, не запустили стремительного взлета к «сингулярности». Если смотреть на проценты, то рост выручки, числа сотрудников и серверов Google со временем замедлился. Это по-прежнему быстрорастущая компания, но темпы роста постепенно замедляются, а не ускоряются. То же самое касается Intel и большинства технологических компаний, достигших разумных размеров. Большие компании, как правило, медленнее растут.

Моя мысль состоит в том, что ни сверхинтеллект, ни способность к улучшению или аугментации самих себя не приводят всегда к неконтролируемому росту. Положительные обратные связи — это невероятно мощная сила, но в природе (и здесь я считаю корпоративные структуры и мировую рыночную экономику в общем частями «природы») есть также и отрицательные обратные связи, которые обычно сдерживают рост. (Naam, 2010)

Я привожу слова Наама подробно, потому что он хорошо излагает эту важную мысль, и потому что он эксперт с опытом в области использования технологий для создания более совершенных технологий. В дополнение к его мысли об Intel и других крупных технологических компаниях, которые эффективно улучшают сами себя, я добавлю, что, хотя такие мегакомпании являются коллективами высокой компетентности, они всё же составляют лишь небольшую часть большей коллективной системы, которой является мировая экономика, в которую они вносят лишь скромный вклад и от которой они полностью зависят.

Знакомая динамика

Всегда самые последние, наиболее продвинутые инструменты, в сочетании с уже существующим набором инструментов, способствовали созданию новых наиболее продвинутых инструментов. Поэтому ожидаемая революция «машин, создающих машины» не столь революционна, как может показаться на первый взгляд. Сильные версии аргумента «как только машины смогут программировать ИИ лучше, чем люди», похоже, предполагают, что главным препятствием на пути прогресса в создании более компетентных машин являются именно программные инженеры, что спорно. Но даже если бы это было правдой, и если бы у нас внезапно появилось в миллион раз больше агентов, работающих над созданием лучшего программного обеспечения, вскоре появились бы другие узкие места, такие как производство аппаратного обеспечения и энергия. По сути, это вернуло бы нас к задаче развития всей нашей экономики, в которой уже участвуют практически все люди и машины, знают они об этом или нет.

Таким образом, вопрос о том, может ли «интеллект» взорваться, по сути является вопросом о том, может ли взорваться экономика. На что мы можем ответить, что резкие скачки темпов роста мировой экономики действительно имели место в прошлом, и некоторые утверждают, что это скорее всего произойдет снова в будущем (Hanson 1998; 2016). Однако недавние тенденции в экономическом росте, а также в росте аппаратного обеспечения в частности, дают нам повод скептически относиться к перспективе подобного взрывного роста в будущем (см., напр., Vinding, 2021; 2022).

См. также «Chimps, Humans, and AI: A Deceptive Analogy».