Из-за быстрого прогресса искусственного интеллекта среди экспертов, законодателей и мировых лидеров растёт беспокойство по поводу потенциальных катастрофических рисков, связанных с продвинутыми ИИ-системами.

В статье Дэна Хендрикса, Мантаса Мазейки и Томаса Вудсайда из Center for AI Safety приведен обзор основных источников катастрофических рисков ИИ, которые распределены на четыре категории: 1) злонамеренное использование, когда отдельные люди или группы людей намеренно используют ИИ для причинения вреда; 2) ИИ-гонка, когда конкурентная среда приводит к развёртыванию небезопасных ИИ или сдаче ИИ контроля; 3) организационные риски, когда шансы катастрофических происшествий растут из-за человеческого фактора и сложности задействованных систем; и 4) риски мятежных ИИ — возникающие из неотъемлемой сложности задачи контроля агентов, более умных, чем люди.

Для каждой категории рисков описаны специфические угрозы, предоставлены иллюстрирующие истории, обрисованы идеальные сценарии и предложены практические меры противодействия этим опасностям.