… Проблема не в том, что наша техника внезапно рассвирепеет. Беспокоит на самом деле то, что мы создаём устройства, которые настолько нас превосходят, что малейшее расхождение между их целями и нашими может нас уничтожить.

Подумайте о том, как мы относимся к муравьям. Мы не ненавидим их. Мы не лезем из кожи вон, чтобы навредить им. На самом деле, иногда мы стараемся не навредить им. Мы перешагиваем их на тротуаре. Но если вдруг их присутствие серьёзно мешает нашим целям, например, если мы строим здание вроде этого, мы без колебаний их истребляем. Беспокоит то, что однажды мы создадим устройства, которые независимо от наличия у них сознания могут так же пренебречь нами.

…

Очень важно осознавать, что темп прогресса не важен, потому что любой прогресс может привести нас к конечному итогу. Нам не нужно, чтобы закон Мура работал. Нам не нужен экспоненциальный прогресс. Нам просто нужно не останавливаться.

…

Наконец, мы не на пике интеллекта и даже не близко к нему, вероятно. И это действительно важно понимать. Именно из-за этого наша система так уязвима, а наши интуитивные оценки риска так ненадёжны.

…

Однако кажется чрезвычайно вероятным, что интеллект варьируется в куда бóльших масштабах, чем мы себе сейчас представляем, и если мы создадим устройства, которые будут умнее нас, они, очень вероятно, будут осваивать эти масштабы невообразимыми для нас способами и превзойдут нас невообразимыми способами.

И важно признавать, что это верно в силу одной только скорости. Так? Представьте, что мы построили сверхразумный ИИ, который не умнее среднестатистической группы учёных из Стэнфорда или МТИ. Электронные схемы примерно в миллион раз быстрее биохимических, поэтому машина будет думать в миллион раз быстрее, чем создавший её разум. Вы запускаете её на неделю, и она выполняет 20 000-летнюю работу интеллекта человеческого уровня неделю за неделей. Как мы только можем понять, не говоря о том, чтобы сдержать, ум, работающий с подобной скоростью?