Если мы когда-нибудь создадим сверхинтеллект, то не сможем вечно удерживать его — поэтому встает вопрос, при каких условиях мы готовы были бы выпустить такой ИИ на свободу. Чтобы он служил нашим целям, нужно сформировать у него правильную мотивацию.

В этой главе из книги «Искусственный интеллект» Ник Бостром описывает задачу загрузки ценностей и даёт обзор на разные возможные подходы к ней, такие как эволюционный отбор, обучение с подкреплением, модель ценностного приращения, строительные леса для мотивационной системы, обучение ценностям, эмуляторы и цифровые модуляции, институциональное конструирование.