Термины
В этой работе ряд терминов употребляется в следующих значениях (подробнее каждый термин будет разъяснён в тексте):
Doomsday argument – Доказательство Конца Света, или иногда рассуждение о конце света Картера-Лесли, сокращённо – DA.
NBIC-конвергенция – означает наблюдающуюся в современной науке тенденцию к слиянию и обмену информацией, методами и результатами между четырьмя ключевыми технологиями nano-bio-info-cogno.
Агент – вещество, вирус, бактерия, поток энергии или любой другой распространяющийся фактор воздействия, причиняющий смерть.
Глобальная катастрофа – событие, приводящее к необратимому вымиранию всех людей. События, которые затрагивают весь мир, но не приводят к тотальному вымиранию, называются в этом тексте «очень большими катастрофами».
«Дружественный» ИИ – универсальный сильный ИИ, система целей которого устроена так, что он не будет причинять вред людям и будет уменьшать риск глобальной катастрофы. Его противоположность – недружественный ИИ, система целей которого ведёт к гибели людей и даже вымиранию человечества.
Закон Мура – исходно относится к удвоению числа транзисторов на микропроцессорах каждые два года. Говоря о законе Мура, мы будем иметь в виду закон Мура в широком смысле слова, как процесс экспоненциального роста ряда ключевых технологий с периодом удвоения в несколько лет.
ИИ – Искусственный интеллект, понимаемый как Универсальный искусственный интеллект, способный к самосовершенствованию и любой интеллектуальной деятельности, доступной человеку.
Машина судного дня, оружие судного дня – любое устройство, вещество или способ, которые разработаны специально для окончательного и необратимого уничтожения человечества.
Ошибки – по-английски ‘cognitive biases’, что можно перевести как «предубеждения» или «отклонения в ходе рассуждений», или, если употребить точный психологический термин, «когнитивные искажения».
Постапокалиптический мир – то, чем может стать земля, в случае, если на ней произойдёт очень большая катастрофа, однако какое-то число людей выживет.
Сверхтехнологии – принципиально новые технологические способы влияния на внешний мир, способные его полностью трансформировать и/или создать глобальные риски, в первую очередь это нано-, био-, когно- и ИИ-технологии
Сингулярность – гипотетическая точка во времени в районе 2030 года, когда ряд прогностических кривых уходят в бесконечность. Связывается с крайне быстрым ростом технического прогресса, особенно компьютеров, нано- и биотехнологий, исследований мозга и систем ИИ и предполагает качественное изменение человечества. Термин введён в употребление Вернором Винджем в 1993 году.
Структура катастрофы – взаимосвязь научных заблуждений, конструкторских недоработок, операторских ошибок и цепной реакции факторов разрушения, ведущих к катастрофе.
Введение
Люди, львы, орлы и куропатки, рогатые олени, гуси, пауки, молчаливые рыбы, обитавшие в воде, морские звезды и те, которых нельзя было видеть глазом,— словом, все жизни, все жизни, все жизни, свершив печальный круг, угасли... Уже тысячи веков, как земля не носит на себе ни одного живого существа, и эта бедная луна напрасно зажигает свой фонарь. На лугу уже не просыпаются с криком журавли, и майских жуков не бывает слышно в липовых рощах. Холодно, холодно, холодно. Пусто, пусто, пусто. Страшно, страшно, страшно.
А.П.Чехов. «Чайка»
Несмотря на то, что книг с общим обзором проблемы глобальных рисков издано в мире немного, уже наметилась определённая традиция в обсуждении предмета. Она состоит в обсуждении методологии, классификации возможных рисков, оценки их вероятности, способов защиты и затем – обзора логических парадоксов, связанных с этой проблемой, а именно, «Доказательство Конца Света» (Doomsday argument). Наиболее существенных современных источников по проблеме четыре. Это книга канадского философа Дж. Лесли «Конец света. Наука и этика человеческого вымирания» [Leslie 1996], книга английского астронома сэра Мартина Риса «Наш последний час» [Rees 2003], книга американского учёного и юриста Р. Познера «Катастрофа. Риск и реакция» [Posner 2004] и сборник статей под редакцией Н. Бострома и М. Чирковича «Риски глобальной катастрофы» [Bostrom, Circovic 2008]. Ещё раз мы обратимся к имеющейся литературе в разделе «Краткая история исследования вопроса» в 1-ой главе, в том числе упомянем и работы советских и российских авторов, однако, перечисленные книги будут нашими основными точками опоры.
Предлагаемая читателю книга значительно отличается от книг предшествующих исследователей, в первую очередь, широтой обзора. Например, в статье Юдковски [Yudkowsky 2008a] обсуждается, хотя и очень подробно, только 10 возможных систематических ошибок, влияющих на оценку глобальных рисков, тогда как в нашей книге предпринимается попытка составить их полный список, включающий 150 пунктов. Также в разделе, посвященном классификации рисков, упоминаются многие риски, о которых нет речи ни в одной из трёх книг. Если посчитать все возможные риски, включая подкатегории и составные риски, то их число тоже легко может перевалить за сотню, что превышает цифру из 15 рисков, обсуждаемых Бостромом [Bostrom 2001]. Наконец, я предлагаю классификацию вариантов Доказательства Конца Света (Doomsday argument), что не освещается в известных мне зарубежных источниках.
Особенностью предлагаемой книги является подробный критический обзор различных средств защиты от глобальных рисков. При этом я стремился дать системный взгляд на проблему, который бы позволил оторваться от перечисления различных рисков и увидеть то общее, что есть в каждом из них, а также — как разные риски, соединяясь, могут образовывать структуру. Именно этим объясняется выбор названия книги.
Данная работа адресована любым будущим и ныне существующим организациям, которые будут предотвращать глобальные катастрофы или по роду своей деятельности сталкиваться с ними (включая правительства, исследовательские институты, спецслужбы, военных и неправительственные фонды), их руководителям и сотрудникам, а также футурологам, молодым учёным и всем, кому интересно будущее человечества. Цель работы – дать картину рисков глобальной окончательной катастрофы. Имеется в виду событие, которое, по словам Бострома, «истребит разумную жизнь на Земле или необратимо повредит её потенциал» [Bostrom 2001]. Полное вымирание всех людей является наиболее вероятной формой такого события, и далее по тексту под словами «глобальная катастрофа» будет иметься в виду именно это событие.
|
