Ідея знищення людства штучним інтелектом обговорюється вже давно. Вчені поділилися своєю думкою про те, чи зможе людство контролювати по-справжньому високорівневий комп’ютерний надрозум.
Загвоздка в тому, що для управління справжнім штучним інтелектом, що знаходиться далеко за межами людського розуміння, буде потрібно симуляція цього надрозуму, яку ми зможемо аналізувати (і контролювати). Але якщо ми не можемо це зрозуміти, створити таку симуляцію неможливо.
У цьому випадку люди не зможуть встановлювати для ШІ обмежувальні правила, такі як «не завдавати шкоди людям». Втім, поки що людство нездатне створити такий штучний інтелект, але залишається незрозумілим, коли цей поріг буде подоланий.
