Мне кажется, что есть значительная асимметрия в том внимании, которое уделяется аргументам в пользу правдоподобности сценариев жесткого взлета / FOOM искусственного интеллекта (т. е. когда ИИ становится весьма могущественным в течение минут, дней или месяцев, что приводит к сингулярности с потенциально катастрофическими последствиями — прим. пер.) по сравнению с вниманием, уделяемым контраргументам к этим сценариям. Это не так уж странно, учитывая наличие полноценных широко разрекламированных книг, подчеркивающих аргументы этой стороны, таких как «Искусственный интеллект» Ника Бострома и «Последнее изобретение человечества» Джеймса Баррата, в то время как, похоже, нет подобной книги, которая подчеркивала бы контраргументы. А люди, которые скептически относятся к сценариям жесткого взлета, и которые думают, что есть вещи поважнее — будут склонны, конечно, писать книги об этих других более важных по их мнению вещах. В итоге, аргументам на тему взлета ИИ они посвящают только эссе или несколько постов в блоге, а не полноценные книги. Цель данного списка источников состоит в том, чтобы попытаться немного исправить эту асимметрию, указав людям на некоторые из тех постов и эссе, как и других ресурсов, которые представляют причины скептически относиться к сценарию жесткого взлета.
Я думаю, что важно вынести эти аргументы на обсуждение, поскольку, как мне представляется, в противном случае мы рискуем получить слишком однобокий взгляд на эту проблему и, не в последнюю очередь, упустить из виду другие вещи, на которых, возможно, стоило бы сосредоточиться.
Я должен отметить, что не всегда согласен со всеми утверждениями и аргументами, которые приводятся в этих источниках. Например, Стивен Пинкер выдвинул несколько плохих аргументов, из-за которых скептицизм в отношении жесткого взлета выглядит невежеством. Тем не менее я все равно считаю, что в каждой из приведенных ниже позиций есть хоть какие-то положительные моменты. Я хотел бы также отметить, что не все из следующих авторов считают жесткий взлет крайне маловероятным — просто считают более вероятными другие сценарии.
Робин Хэнсон:
- Some Skepticism
- The Hanson-Yudkowsky AI-Foom Debate (в соавторстве с Элиезером Юдковским)
- Yudkowsky vs Hanson — Singularity Debate (видео)
- Setting The Stage
- AI Go Foom
- Emulations Go Foom
- Wrapping Up
- Two Visions Of Heritage
- Distrusting Drama
- What Core Argument?
- Is The City-ularity Near?
- The Betterness Explosion
- Meet the new conflict, same as the old conflict: Comment on David Chalmers “The Singularity: A Philosophical Analysis”
- Debating Yudkowsky
- When Is “Soon”?
- A History Of Foom
- Foom Debate, Again
- I Still Don’t Get Foom
- Irreducible Detail
- This Time Isn’t Different
- How Different AGI Software?
- Hanson on intelligence explosion, from Age of Em
- Brains Simpler Than Brain Cells?
- This AI Boom Will Also Bust
- Foom Justifies AI Risk Efforts Now
- How Deviant Recent AI Progress Lumpiness?
- Robin Hanson on AI Skepticism (видео)
- How Lumpy AI Services?
- Robin Hanson on AI Takeoff Scenarios – AI Go Foom? (видео)
- Decentralized Approaches to AI Presentations (видео; представлены также Эрик Дрекслер и Марк Миллер)
- Conversation with Robin Hanson
- Foom Update
- Why Not Wait On AI Risk?
- AGI Is Sacred
- Robin Hanson on Predicting the Future of Artificial Intelligence (видео)
- AI Risk, Again
- Waiting for the Betterness Explosion (видео)
- What Are Reasonable AI Fears?
- The Optimistic Hansonian Singularity (подкаст)
Рамез Наам:
- Top Five Reasons ‘The Singularity’ Is A Misnomer
- The Singularity is Further Than it Appears
Сингулярность дальше, чем кажется, пер. Posthuman Identity - Why AIs Won’t Ascend in the Blink of an Eye – Some Math
Бен Гарфинкель:
- How sure are we about this AI stuff? (видео)
- Ben Garfinkel on scrutinising classic AI risk arguments
- Does economic history point toward a singularity?
Тим Тайлер:
- The Intelligence Explosion Is Happening Now
- The Singularity Is Nonsense
- Against the Singularity
Против сингулярности, пер. Сергея Морякина
Стивен Пинкер:
- We’re told to fear robots. But why do we think they’ll turn on us?
- MIT AGI: AI in the Age of Reason (Steven Pinker) (видео)
- Steven Pinker and Stuart Russell on the Foundations, Benefits, and Possible Existential Threat of AI
Эрик Дрекслер:
- Reframing Superintelligence: Comprehensive AI Services as General Intelligence
- Reframing Superintelligence (видео)
Брайан Томасик:
- Artificial Intelligence and Its Implications for Future Suffering
- Artificial general intelligence as a continuation of existing software and societal trends
Джейкоб Бакмен:
- Recursively Self-Improving AI Is Already Here
- We Aren’t Close To Creating A Rapidly Self-Improving AI
Джефф Хокинс:
- The Future of Artificial Intelligence – Up Next (видео)
- The Terminator Is Not Coming. The Future Will Thank Us.
Бен Герцель:
- The Singularity Institute’s Scary Idea (and Why I Don’t Buy It)
- Superintelligence: fears, promises, and potentials
Дэвид Пирс:
- The Biointelligence Explosion (Extended Abstract)
- Humans and Intelligent Machines: Co-Evolution, Fusion or Replacement?
Дж Сторрс Холл:
Моника Андерсон:
Джеймс Фодор:
- Critique of Superintelligence (ссылка на первый пост из пяти взаимосвязанных)
- A Critique of AI Takeover Scenarios
Дэвид Торстад:
Теодор Модис:
Франсуа Холлет:
Родни Брукс:
Катя Грейс:
Филипп Агион, Бенджамин Ф. Джонс, & Чарльз И. Джонс:
Алессио Плебе & Пьетро Перконти:
Макс Мор:
Ричард Лузмор:
Эрнст Дэвис:
AI Impacts:
Себастьян Бенталл:
Пол Кристиано:
Скотт Ааронсон:
Николас Агар:
Мацей Цегловский:
- Superintelligence: The Idea That Eats Smart People
Сверхинтеллект: идея, не дающая покоя умным людям, пер. Вячеслава Голованова
Тимоти Б. Ли:
Нил Лоуренс:
Кевин Келли:
- The Myth of a Superhuman AI
Культ карго для ИИ: миф о сверхчеловеческом искусственном интеллекте, пер. Вячеслава Голованова
Пол Аллен:
Александер Круэл:
- AI Risk Critiques: Index (ссылается на множество статей)
Джон Брокман (редактор):
- Possible Minds: Twenty-Five Ways of Looking at AI
Искусственный интеллект — надежды и опасения, изд-во АСТ
Мартин Форд:
- Architects of Intelligence: The truth about AI from the people building it
Архитекторы интеллекта: вся правда об искусственном интеллекте от его создателей, изд-во Питер
Магнус Виндинг (я):
- Reflections on Intelligence
- Why Altruists Should Perhaps Not Prioritize Artificial Intelligence: A Lengthy Critique
- Chimps, Humans, and AI: A Deceptive Analogy
- Some reasons not to expect a growth explosion
- Two contrasting models of “intelligence” and future growth
- Reasons that reduce the probability of extinction from rogue AGI
Краткая аннотация и обзор «Reflections on Intelligence» Каем Соталой:
Разные авторы:
Не напрямую по теме, но все же релевантные, по моему мнению:
- Стивен Сломан, Филип Фернбах, The Knowledge Illusion: Why We Never Think Alone
Иллюзия знания. Почему мы никогда не думаем в одиночестве, изд-во КоЛибри - Джейкоб Броновски, The Ascent of Man
Восхождение человечества, изд-во Питер - Мэтт Ридли, The Evolution of Everything
Эволюция всего, изд-во Эксмо - Джозеф Хенрик, The Secret of Our Success
Секрет нашего успеха, изд-во Corpus - Томас Соуэлл, Intellectuals and Society