В этом посте содержится краткое изложение основных положений работы «Reframing Superintelligence: Comprehensive AI Services as General Intelligence» Эрика Дрекслера. (Я написал его в 2017 году, так что оно не обязательно отражает самую актуальную версию его работы.)
Мне кажется, работа Дрекслера очень интересна, потому что у него довольно необычный взгляд на ИИ. Я считаю, что в его идеях есть определённая ценность, и мне нравится, что он ставит под сомнение ключевые предположения в этой сфере. Но я не уверен, что согласен со всеми деталями, и думаю, что нам нужно быть гораздо менее уверенными насчет ИИ, чем в его текстах зачастую (неявно) предполагается.
Ключевые идеи таковы:
- Он считает, что искусственный общий интеллект (AGI) не обязательно должен быть агентоподобным. Вместо этого мы можем создать «комплексные ИИ-услуги» (CAIS), которые будут сверхинтеллектуальными, но не будут действовать как непрозрачный агент.
- Он считает, что обычная концепция интеллекта ошибочна, и что ИИ радикально отличается от человеческого интеллекта.
- Он считает, что люди могут сохранить контроль над стратегическими решениями высокого уровня.
Ниже я кратко опишу разделы, которые мне показались наиболее интересными.
Модель автоматизации НИОКР для рекурсивного улучшения:
- По мере развития ИИ мы можем ожидать, что ИИ-продукты будут автоматизировать выполняемые людьми задачи в процессе разработки ИИ, что позволит рекурсивно улучшать ИИ-технологии.
- Но это не подразумевает рекурсивного самоулучшения агента.
- Дрекслер считает, что можно получить комплексные, сверхинтеллектуальные ИИ-услуги без рисков, связанных с ИИ-агентами.
- Исходя из этого, вы можете применять сверхинтеллектуальные услуги для решения проблем безопасности (связанных с ИИ-агентами).
Технологии внедрения AGI могут напрямую предоставить альтернативы AGI:
- Вместо непрозрачных, самоулучшающихся AGI-агентов можно внедрять открытые, комплексные ИИ-услуги.
- Самоулучшающиеся ИИ-системы общего назначения могут вносить вклад в разработку ИИ до того, как ИИ станет в общем плане сверхчеловеческим (включая моделирование мира, разработку планов его захвата и т.д.).
- Технологии, которые могут быть использованы для внедрения непрозрачных самоулучшающихся ИИ, могут также использоваться для других целей, например, в открытых системах.
- Нет веских причин упаковывать и запечатывать процессы разработки ИИ в непрозрачный «ящик».
- Неожиданное и проблематичное поведение вполне возможно, но оно отличается от классических рисков AGI.
- Он считает, что эта проблема более податлива, чем классическая «проблема контроля».
- Он считает, что эта проблема более податлива, чем классическая «проблема контроля».
Системы с широкой компетенцией работают за счет координации более узких компетенций:
- И у людей, и у ИИ-систем более широкие способности строятся на основе более узких.
- Это игнорируется в абстракции ИИ как «чёрного ящика» (но в зависимости от задачи это может оказаться и полезным).
Конкурентное давление дает мало стимулов для передачи стратегических решений ИИ-системам:
- В целом скорость и качество принятия решений ИИ будут способствовать передаче ИИ контроля над решениями.
- Стратегические решения высокого уровня — это решения с высокими ставками, и они менее срочны, чем многие другие решения; их могут оценивать люди.
- Это значит, что люди могут пользоваться компетентностью ИИ, не уступая контроля, потому что ИИ-системы будут предлагать отличные варианты.
- Дрекслер утверждает, что это не повредит конкуренции.
- Высшие из руководителей-людей, скорее всего, выберут сохранение своей власти. Передача ИИ контроля над стратегическими решениями высокого уровня увеличила бы риски при уменьшении выгод.
- Я довольно скептично отношусь к этим утверждениям.
Модели рациональных агентов неявно придают интеллекту антропоморфный характер:
- Дрекслер утверждает, что обычная модель рационального агента психоморфна и антропоморфна.
- Рассматривать ИИ как разум интуитивно привлекательно, но это заблуждение.
- Даже модели рациональных агентов изначально являются идеализацией принятия решений людьми; они абстрагируют содержание человеческих умов, но сохраняют роль разума в управлении решениями.
- Даже интеллект высокого уровня не обязан быть психоморфным.
- Он утверждает, что даже в техническом анализе ИИ-систем часто содержатся биологические допущения.
- Разумо-подобные сверхинтеллекты могут быть аттрактором, но всё же важно моделировать всё пространство потенциальных ИИ-систем.
- Дрекслер утверждает, что появляющиеся технологии ИИ радикально отличны от интеллектуальных систем, появившихся в результате эволюции:
| Эволюционировавшие системы | Спроектированные системы | |
|---|---|---|
| Организация элементов | Отдельные организмы | Системы из компонентов |
| Источник новых способностей | Постепенная эволюция | Проектирование систем |
| Источник конкретных экземпляров | Локальное размножение | Загрузка из репозитория |
| Основание для выполнения обучения | Индивидуальный опыт | Агрегированные обучающие данные |
| Передача знаний | Обучение, имитация | Копирование кода, данных |
| Требуемые компетенции | Общие навыки жизни | Выполнение специфического поручения |
| Метрика успешности | Репродуктивная приспособленность | Соответствие цели |
| Самомодификация | Необходимо | Опционально |
| Непрерывность существования | Необходимо | Опционально |
| Агентность, ориентированная на мир | Необходимо | Опционально |
Стандартные определения «сверхинтеллекта» смешивают обучение с компетентностью:
- Интеллект — это способность к обучению, которую можно понимать как отдельную от компетентности.
- Эти два понятия следует различать как у людей, так и у ИИ-систем.
- Ребёнок считается разумным из-за способности к обучению, эксперт считается умным из-за компетентности.
- Обучение и компетентность разделимы как в принципе, так и на практике.
- Паттерны обучения и компетентности радикально различаются у людей и типичных ИИ-систем.
- Например, у людей обучение и компетентность объединены, но у ИИ-систем они разделимы.
- Ошибочно полагать, что ИИ-системы со сверхчеловеческими навыками обучения обязательно будут обладать сверхчеловеческими способностями.
Предоставление комплексных ИИ-услуг не требует AGI и не влечет его за собой:
- Дрекслер считает, что практические стимулы для разработки AGI неожиданно слабы, потому что вместо AGI можно получить комплексные ИИ-услуги (и это будет гораздо безопаснее).
- Это значит, что разработка AGI не неизбежна (но всё же по умолчанию произойдет, если её не предотвратят активными действиями).
Системы с обучением с подкреплением ≠ агенты, стремящиеся к вознаграждению:
- В сегодняшней практике системы с обучением с подкреплением (RL-системы) обычно отличаются от агентов, которые они порождают.
- RL-подкрепления поддерживают обучение, но не являются мотивацией / действием / источниками ценностей.
- RL-системы и агенты, выполняющие поручения, не являются едиными «RL-агентами»; вместо этого обученные агенты — это продукты RL-систем.
- Агрегация ослабляет связь между агентами, действиями и опытом.
- Как и в других постах, важно рассматривать это с точки зрения «подхода, ориентированного на разработку».
Обширные знания о мире совместимы с сильным (и безопасным) фокусом на поручениях:
- Системы машинного перевода показывают, что можно иметь систему с обширными знаниями о мире, но при этом ограниченную одной задачей.
- Нынешние нейросетевые системы машинного перевода развивают независимые от языка способы представления значений.
- Надёжный фокус на поручении может поддерживать безопасность.
Обеспечение отсутствия сговора между сверхинтеллектуальными оракулами:
- Он предлагает использовать сверхинтеллектуальные возможности решения задач для решения проблемы безопасности ИИ.
- Обычное возражение заключается в том, что такие подходы сами по себе небезопасны.
- В частности, есть опасность, что различные системы вступят в сговор против людей.
- Но Дрекслер считает, что есть стратегии для предотвращения сговора об обмане.
- Пол Кристиано тоже разделяет эту точку зрения.
Прочие мысли о безопасности ИИ:
- Надзор людьми совместим с рекурсивным улучшением технологий ИИ и не вытесняется конкурентным давлением.
- ИИ-технологии сами могут помочь в обеспечении надзора людьми.
- Можно было бы вылечить рак, не подвергаясь риску AGI.
- Высокая сила оптимизации может повысить безопасность ИИ, ограничив структуру и поведение системы.
- Идея запирания ИИ «в коробке» ошибочна, потому что возможности распределены.
- Безопасность ИИ следует рассматривать в контексте ожидаемых будущих знаний.
- Комплексные ИИ-услуги могут смягчить, но не решить проблему контроля над AGI.