Сперва давайте примем без доказательства, что компьютерщики преуспеют в совершенствовании разумных машин, которые всё смогут делать лучше, чем люди. В этом случае, по-видимому, вся работа будет делаться многочисленными высокоорганизованными системами машин, и не нужны будут никакие людские усилия. Может произойти одно из двух. Либо машинам может быть разрешено делать всё, что они сочтут нужным, без человеческого за ними присмотра, либо человеческий контроль над машинами может быть сохранён.

Если машинам дана полная свобода в осуществлении их собственных решений, то невозможно сказать, к чему это приведёт, потому что невозможно угадать, как такие машины могут себя вести. Мы лишь укажем, что гибель рода человеческого была бы во власти машин. Будет ли человечество когда-нибудь столь безрассудно, что передаст всю власть машинам, или же никогда не будет, - спорный вопрос. Но мы намекаем не на то, что человечество добровольно передаст власть машинам, и не на то, что машины умышленно захватят власть, а на то, что человечество легко может позволить себе скатиться до положения такой зависимости от машин, что не будет уже никакого практического выбора, кроме как полного принятия всех машинных решений. В то время как общество и проблемы, с которыми оно сталкивается, будут становиться всё более и более сложными и всё более и более интеллектуальными будут становиться машины, люди будут позволять машинам принимать за них больше решений, просто потому, что решения, выработанные машинами, будут приводить к лучшим результатам, чем решения, принятые людьми. В конце концов может быть достигнута ступень, когда решения, необходимые для поддержания системы в рабочем состоянии, будут такими сложными, что люди будут неспособны к разумной выработке этих решений. На этой ступени фактически распоряжаться будут машины. Люди просто не смогут выключить машины, потому что они будут столь зависимы от них, что их выключение равнялось бы самоубийству.

С другой стороны, возможно, что человеческий контроль над машинами может быть сохранён. В этом случае средний человек может управлять некоторыми своими личными машинами, такими, как автомобиль или персональный компьютер, но контроль над крупными системами машин будет в руках крохотной элиты - совсем как сейчас, но с двумя отличиями. Благодаря усовершенствованной технике элита будет иметь больший контроль над массами, а поскольку человеческий труд будет больше не нужен, массы будут излишними, бесполезным бременем для системы. Если элита безжалостна, она может просто принять решение истребить людскую массу. Если же она гуманна, то она может использовать пропаганду или иные психологические или биологические способы для сокращения уровня рождаемости, до тех пор, пока людская масса не вымрет, освободив мир для элиты. Или, если элита состоит из мягкосердечных либералов, она может решить сыграть роль доброго пастыря для остального человечества. Они будут присматривать, чтобы физические потребности каждого были удовлетворены, чтобы все дети воспитывались в психологически здоровых условиях, чтобы каждый человек не бездельничал, а имел полезное занятие по душе и чтобы всякий, кто мог стать недовольным, подвергался "лечению" для того, чтобы исцелить его "трудный случай". Конечно, жизнь будет настолько бесцельной, что людей придётся биологически или психологически перестроить: либо устранить их потребность в процессе власти7, либо заставить их превратить своё побуждение к власти в некоторое безобидное хобби. Эти спроектированные люди могут быть счастливы в таком обществе, но они совершенно определённо не будут свободны. Они будут приведены к статусу домашних животных^[8].

"Растения" с "листьями", которые нисколько не эффективнее сегодняшних солнечных батарей, могут в процессе конкуренции вытеснить настоящие растения, битком набивая биосферу несъедобной листвой. Стойкие всеядные "бактерии" могут вытеснить в процессе конкуренции настоящие бактерии, они могут распространяться подобно развевающейся пыльце, размножаться быстро и превратить биосферу в прах за считанные дни. Опасные репликаторы могут оказаться слишком стойкими, мелкими и быстро распространяющимися для того, чтобы их можно было остановить, по крайней мере, если мы никак к этому не подготовились. Даже контроль над вирусами и плодовыми вредителями доставляет нам много хлопот.

Среди знатоков нанотехнологии эта угроза стала известна как "проблема серой слизи". Массы неуправляемых репликаторов не обязательно должны быть серыми или липкими, просто термин "серая слизь" подчёркивает, что репликаторы способны уничтожить жизнь так, что пейзаж, который получился бы в результате, был бы куда более скучным, чем поле, заросшее единственным видом ползучего сорняка. В эволюционном смысле репликаторы могут превосходить, но это не обязательно делает их полезными.

Угроза серой слизи делает совершенно ясным одно: мы не можем позволять себе определённого рода случайностей с размножающимися сборщиками.