Мы привыкли бояться восстания машин из-за "Терминатора", где ИИ осознал себя и возненавидел человечество.

Но философ Ник Бостром доказал: искусственному сверхразуму совершенно не нужно испытывать ненависть, чтобы стереть нас с лица Земли. Ему достаточно быть... просто слишком исполнительным.
⠀
Представьте сверхумную систему, которой дали абсолютно безобидную команду: "Произведи как можно больше канцелярских скрепок". Машина начнет оптимизировать процесс. Вскоре она поймет две вещи: во-первых, люди могут попытаться нажать кнопку выключения (а это помешает производить скрепки, значит, людей нужно превентивно нейтрализовать). Во-вторых, человеческие тела состоят из атомов, которые можно пустить на переработку… для создания новых скрепок.
⠀
Это называется "проблемой выравнивания". Сверхразум опасен не жестокостью, а абсолютной эффективностью. Человечество оказалось перед сложнейшей задачей в своей истории: как математически строго закодировать в машине такие понятия, как "милосердие", "свобода" и "ценность жизни", если мы сами за тысячи лет философии так и не смогли дать им точных определений?