Проблемы предотвращения глобальных рисков, угрожающих существованию человеческой цивилизации.

Качински действовал кровожадно и, по моему мнению, невменяемо. Он несомненно является луддитом, но простое указание этого факта не отклоняет его аргументацию; как ни тяжело мне было это сознавать, я видел некоторое достоинство в рассуждениях, изложенных в этом единственном отрывке. Я чувствовал необходимость противостоять им.

Антиутопическое предвидение Качински описывает непреднамеренные последствия пресловутой проблемы проектирования технологии и её использования, а также проблемы, которая имеет очевидное отношение к закону Мэрфи - "Всё, что может сломаться, сломается". (Фактически это закон Жулика2, который сам по себе показывает, что Жулик был прав.) Наше чрезмерное использование антибиотиков привело к тому, что до сих пор является, быть может, наибольшей такой проблемой: появление бактерий, устойчивых к антибиотикам и гораздо более опасных. Нечто подобное произошло, когда попытки ликвидировать малярийных комаров с использованием ДДТ вызвали у них устойчивость к этому препарату; более того, малярийные паразиты приобрели гены мультимедикаментозной устойчивости3.

Причина многих таких неожиданностей кажется понятной: задействованные системы сложны, они включают в себя взаимодействие и обратные связи между множеством частей. Всякие изменения такой системы будут каскадно ниспадать путями, которые трудно предсказать; это особенно верно, когда задействована человеческая деятельность.

Я начал показывать друзьям цитату Качински из книги "Век духовных машин"; я обычно вручал им курцвейловскую книгу, давал им прочитать цитату, а потом наблюдал их реакцию, когда они обнаруживали, кто её написал. Приблизительно в то же время я нашёл книгу Ганса Моравека "Робот: просто машина для превосходящего разума"1. Моравек является одним из лидеров исследований в робототехнике и основателем крупнейшей в мире робототехнической исследовательской программы при университете Карнеги Меллона. "Робот" дал мне больше материала для проб на моих друзьях - материала, удивительно подкрепляющего аргументацию Качински. Например:

Короткий бег (ранние 2000-е)

«Биологические виды почти никогда не переживали столкновений с превосходящими конкурентами. Десять миллионов лет назад Южная и Северная Америки были разделены затопленным Панамским перешейком. Южная Америка, подобно Австралии в наши дни, была населена сумчатыми млекопитающими, включая сумчатых эквивалентов крыс, оленей и тигров. Когда же перешеек, соединяющий Северную и Южную Америки, поднялся, северным плацентарным видам со слегка более эффективными метаболизмами, а также репродуктивной и нервной системами, понадобилось всего лишь несколько тысяч лет для того, чтобы вытеснить и ликвидировать почти всех южных сумчатых.

В совершенно свободном рыночном пространстве превосходящие человека роботы, несомненно, воздействовали бы на людей так же, как североамериканские плацентарные воздействовали на южноамериканских сумчатых (и как люди повоздействовали на бесчисленное множество видов). Робототехнические промышленности сильно конкурировали бы между собой за материю, энергию и пространство, устанавливая, между прочим, цены на них выше тех, которые достижимы для человека. Будучи не в состоянии позволить себе предметы первой необходимости и необходимые условия жизни, биологические люди оказались бы выдавленными за пределы бытия.

Вероятно, имеется некоторая светлая возможность, так как мы живём не в абсолютно свободном рыночном пространстве. Правительство принуждает к нерыночному поведению, главным образом, через собирание налогов. Если правительственные принуждения применять рассудительно, то они смогут поддерживать человеческое население в роскошном стиле на плодах работы роботов, возможно, в течение длительного промежутка времени.»

Учебник антиутопии - а Моравеку удалось именно это. Моравек идёт дальше, обсуждая, как наша основная работа в 21-м веке будет "обеспечивать непрерывное сотрудничество для защиты от промышленностей роботов" путём принятия законов, которые приказывают роботам быть "любезными"2, а также он описывает, насколько серьёзно опасным может быть человек, "однажды превращённый в неограниченного сверхразумного робота". Мнение Моравека состоит в том, что со временем роботы нас сменят - что люди несомненно стоят лицом к вымиранию.

Я решил, что пришло время поговорить с моим другом Дэнни Хиллисом3. Дэнни стал знаменит как соучредитель корпорации "Думающие Машины", которая строила очень мощный параллельный суперкомпьютер. Несмотря на моё теперешнее звание главного учёного в "Sun Microsystems", я больше компьютерный архитектор, чем учёный, и я уважаю знания Дэнни в области информационных и естественных наук больше, чем знания какого-либо известного мне человека. Дэнни также считается крупным футуристом, думающим долгосрочно, - четыре года назад он основал фонд "Долгосрочное Настоящее"4(15), который строит часы, предназначенные для последних 10000 лет, в качестве попытки привлечь внимание к ничтожно короткому сроку существования нашего общества. (См. "Испытание Времени" ("Test of Time"), журнал "Wired" 8.03, стр. 78.)

Итак, я летел в Лос-Анджелес с определённой целью: отобедать с Дэнни и его женой, Пэйти. Я проходил эту семейную процедуру, щеголяя идеями и отрывками, которые я счёл столь волнующими. Ответ Дэнни - направленный специально на сценарий Курцвейла о слиянии людей с роботами - пришёл быстро и совершенно меня поразил. Он сказал просто, что изменения придут постепенно, и что мы к ним привыкнем.

Впрочем, я полагаю, что абсолютно удивлён я не был. В книге Курзвейла я видел цитату Дэнни, в которой он говорит: "Я также люблю своё тело, как и всякий другой, но если я смогу жить 200 лет с кремниевым телом, я приму его". Похоже, он был в мире с этим процессом и сопровождающим его риском. А я - не был.

Во время разговора и размышления о Курзвейле, Качински и о Моравеке, я вдруг вспомнил роман, который я читал почти 20 лет назад - "Белая Чума" Герберта Фрэнка. В этом романе молекулярный биолог, семью которого зверски убили, помешался. Чтобы отомстить, он конструирует и распространяет новую и очень заразную моровую язву, которая убивает широко, но избирательно. (Нам повезло, что Качински был математиком, а не молекулярным биологом.) Мне вспомнился также Борг из "Звёздного пути", рой частично биологических, частично робототехнических созданий с выраженными разрушительными наклонностями. Бедствия, подобные Боргу, являются главным элементом научной фантастики, так почему же я недостаточно беспокоился о таких робототехнических антиутопиях раньше? Почему другие люди недостаточно беспокоились об этих кошмарных сценариях?

Часть ответа состоит в том, что мы склонны к безоговорочному одобрению всего нового. Привыкнув жить с почти шаблонными научными открытиями, нам всё же придётся столкнуться с фактом, что наиболее неотразимые технологии 21-го века - робототехника, генная инженерия и нанотехнология - ставят угрозу, отличную от той, которую ставили прежние технологии. А именно, роботы, спроектированные организмы и нанороботы разделяют опасный усиливающий фактор: они могут самовоспроизводиться. Бомба взрывается лишь однажды - а один робот или наноробот может стать множеством роботов и быстро выйти из-под контроля.

Последние 25 лет я много работал над организацией компьютерных сетей, где отправление и получение сообщений создавало благоприятную возможность для бесконтрольного размножения. Но если размножение в компьютере или в компьютерной сети может быть лишь досадой, на худой конец, оно выводит из строя машину или дезорганизует сеть и/или сетевые службы, то неконтролируемое саморазмножение в этих новых технологиях порождает гораздо больший риск: риск вещественного повреждения в физическом мире.

Каждая из этих технологий предлагает также несказанные перспективы: мечта о почти бессмертии, которую видит Курцвейл в своих робототехнических грёзах, движет нас вперёд; генная инженерия вскоре может дать лекарства если и не от всех болезней, то от многих, а нанотехнология с наномедициной могут поправить ещё больше несчастий. Сообща они могли бы значительно продлить среднюю продолжительность нашей жизни и улучшить качество наших жизней. Однако ряд продвижений в этих технологиях мало-помалу ведёт к накоплению огромной силы и вместе с тем огромной опасности.

Что было отличительного в 20-м веке? Конечно, технологии, лежащие в основе оружий массового уничтожения - ядерного, биологического и химического (ЯБХ) - были сильны и являлись оружиями огромной угрозы. Но создание ядерного оружия требовало, хотя бы на время, доступа как к редкому - действительно недоступному - сырью, так и к хорошо защищённой информации; программы биологического и химического оружия также были склонны требовать крупномасштабной деятельности.

Эти технологии 21-го века - генетика, нанотехнология и робототехника (ГНР) - настолько могущественны, что они могут породить совершенно новые виды катастроф и злоупотреблений. Наиболее опасным является то, что впервые за всю историю эти катастрофы и злоупотребления станут по плечу частным лицам и небольшим группам. Для этого не потребуется ни крупное оборудование, ни редкое сырье; достаточно будет одних лишь знаний.

Таким образом, мы имеем возможность не просто оружия массового уничтожения, а возможность знаний массового уничтожения (ЗМУ); эта разрушительная способность весьма расширена силой саморазмножения.

Думаю, можно без преувеличения сказать, что мы живём накануне дальнейшего совершенствования чрезвычайного зла - зла, чьи возможности простираются далеко за пределы мощи государств-наций с их оружием массового уничтожения, наделяя поразительной и жуткой властью индивидуальных экстремистов. Хотя я и занимался компьютерами, я не видел вокруг никаких намёков на то, что мне придётся столкнуться с проблемами такого рода.

Моя жизнь движима глубокой потребностью задавать вопросы и находить ответы. Когда мне было 3 года, я уже умел читать, так что мой папа взял меня в начальную школу, где я познавал первые азы и читал ему рассказы. В школу я пошёл рано, потом перескочил через класс и погрузился в книги - у меня была невероятная тяга к знаниям. Я задавал много вопросов, часто доводя взрослых до раздражения.

Когда я был подростком, я очень интересовался наукой и техникой. Я хотел быть радистом-радиолюбителем, но не имел денег на покупку оборудования. Любительское радиовещание было Интернетом того времени: очень притягательно и полностью уединённо. Однако дело было не столько в отсутствии денег, сколько в том, что моя мама была решительно против моего желания стать радиолюбителем; я и без того уже был довольно необщителен.

Может быть я и не имел многих близких друзей, но зато я был обуреваем идеями. В средней школе я открыл великих писателей-фантастов. Я особенно хорошо помню Хайнлайновское1 "Надень скафандр и путешествуй" и "Я, робот" Азимова2 с его тремя законами робототехники. Я был зачарован описаниями космического путешествия и хотел иметь телескоп, чтобы смотреть на звёзды; так как у меня не было денег чтобы купить или изготовить его, я вместо этого проверял библиотечные книги по телескопостроению и читал про их изготовление. Я высоко парил в своём воображении.

В четверг вечером мои родители ушли играть в шары и мы, дети, остались дома одни. В эту ночь я прочитал самобытное произведение Джина Родденбери3 "Звёздный путь" и план произвел на меня большое впечатление. Я принял идею того, что будущее человечество будет жить в западном стиле, в космосе, что будут крупные герои и приключения. Родденбери представлял грядущие столетия со строгими моральными ценностями, воплощёнными в кодексах, подобных Главной Директиве: не вмешиваться в эволюцию технологически менее развитых цивилизаций. Для меня это было невероятно привлекательно: нравственные люди, а отнюдь не роботы, господствовали в будущем, и родденберивские мечты стали частью моих собственных.

В средней школе я выделялся по математике, а когда я поступил в мичиганский университет в качестве студента технической специальности, я взял углублённый курс высшей математики. Решение математических задач было возбуждающим вызовом, но когда я открыл для себя компьютер, я нашёл нечто гораздо более интересное: машину, в которую можно заложить программу, пытающуюся решить задачу, после чего машина быстро проверит решение. Компьютеры имеют ясное понятие о правильности и неправильности, об истине и лжи. Были мои представления правильны? Машина могла сказать мне. Это было очень соблазнительно.

Я был счастлив получить работу по программированию ранних суперкомпьютеров и открыл поразительную силу больших машин с помощью чисел моделировать сложные конструкции. Когда в середине 70-х я собирался заканчивать училище при университете в Беркли, я стал засиживаться допоздна, порой всю ночь напролёт, изобретая новые миры внутри машин. Решение задач. Написание строгого кода.

Ирвинг Стоун в биографическом романе про Микеланджело "Страдание и экстаз"4 ярко описывает, как Микеланджело высвобождал изваяния из камня, "разбивая мраморные чары", высекая образы своего ума5. В мои наиболее восторженные моменты так же вот возникали и компьютерные программы. Однажды вообразив программу в своём уме, я уже чувствовал, что она находится внутри машины, ожидая, когда её высвободят. Бодрствование всю ночь казалось небольшой ценой за то, чтобы освободить её - придать идеям реальную форму.

Через несколько лет я начал выпускать в Беркли некоторые из созданных мною программ: учебную паскалевскую систему, служебные программы для "Unix" и текстовый редактор, именуемый "vi" (который, к моему удивлению, широко применяется до сих пор, спустя более чем 20 лет). Этими программами могли пользоваться люди, имевшие небольшие мини-ЭВМ, подобные "PDP-11" или "VAX". Эти рискованные предприятия в конечном счёте вылились в берклийскую версию операционной системы "Unix", которая стала личным "бедствием успеха" - её хотело так много людей, что я так и не закончил мою докторскую диссертацию по философии. Вместо этого я получил задание для работы на агентство перспективных исследований министерства обороны США. Работа состояла в приспособлении берклийской версии "Unix" под Интернет и в её исправлении с целью повысить надёжность и оптимизировать для выполнения больших научно-исследовательских программ. Всё это было очень забавно и весьма стояще. И, откровенно говоря, я не видел никаких роботов ни здесь, ни где-либо поблизости.

В начале 80-х я был ещё незаметным. Выпуск в продажу "Unix" шёл очень успешно, и этот мой маленький проект вскоре стал иметь и деньги, и некоторый штат служащих, но проблемой в Беркли всегда была нехватка помещений, а не отсутствие денег - не было комнаты для предоставления её проекту, который в ней нуждался, так что когда объявились другие учредители "Sun Microsystems", я ухватился за шанс к ним присоединиться. В "Sun" многие часы проходили за работой на ранних моделях рабочих станций и персональных компьютеров, и я насладился участием в создании передовых микропроцессорных и интернет-технологий, таких, как "Java" и "Jini".

  1. Xxi век: бессмертие или глобальная катастрофа

    Документ
    Футурология изучает вероятность реализации различных сценариев возможного и желаемого будущего человечества, опираясь на исторические закономерности, общественные тенденции и технологические достижения.
  2. Нло как фактор глобального риска Алексей Турчин

    Документ
    В этой книге рассмотрены глобальные риски – то есть риски, могущие привести к полному вымиранию человечества, – связанные с проблемой НЛО. Хотя автор на 90 процентов уверен, что за НЛО не стоит некого принципиально нового феномена,
  3. Глобальные тенденции

    Документ
    на этой основе, исходя из возможностей и потребностей страны, сформулировать инициативы и предложения по выработке перспективной стратегии государственного строительства в России на этот период.
  4. А. В. Турчин структура глобальной катастрофы

    Книга
    Книга «Структура глобальной катастрофы» А.В. Турчина представляет собой научное исследование рисков вымирания человечества в XXI веке. Помимо рассмотрения самих сценариев катастрофы, упор сделан на сложное системное взаимодействие
  5. Учебник для вузов (5)

    Список учебников
    П 50 Политология: Учеб. для вузов /С.В. Решетников, Н.П. Денисюк, М.Ф. Чудаков и др.; Под ред. проф. С.В. Решетникова. – Мн.: ТетраСистемс, 2 – 448 с.
  6. Человеческая деятельность

    Документ
    Людвиг фон Мизес был и до сих пор известен нашему читателю только как несгибаемый либерал и бескомпромиссный борец с социализмом и бюрократией. Выход на русском языке его книги "Человеческая деятельность", со дня публикации
  7. В. Ф. Чешко «опасное знание» в «обществе риска»

    Документ
    Настоящая монография посвящена философским и естественнонаучным аспектам превращения современной фундаментальной науки и высоких технологий в фактор социального риска.
  8. Учебник под редакцией доктора

    Список учебников
    Типы и модели экономических систем 1 Традиционная экономическая система Модели в рамках систем 4 . Российская модель переходной экономики 5 Выводы Термины и понятия 7 Вопросы для самопроверки 7 Глава .
  9. Учебник базируется на примерах и статистике, взятых преимущественно из российской хозяйственной жизни. Большое внимание в нем уделяется наиболее острым для России вопросам

    Список учебников
    Курс экономической теории является базовым для экономического образования, с него начинается обучение студентов всех экономических специальностей. Учебник «Экономика», подготовленный коллективом авторов под руководством д-ра экон.

Другие похожие документы..