Судите противников страшилок по совокупности их аргументов, а не по среднему качеству каждого из них.

С интеллектуальной точки зрения я всегда находил аргументы ИИ-пугала весьма убедительными. Однако инстинктивно я всегда считал, что они ошибаются. Может быть предвзятое рассуждение, потому что мысль о том, что мне придется перестать говорить о том, что меня интересует, и сконцентрироваться на этом узком техническом вопросе, мне крайне неприятна. Но в течение многих лет меня мучило подозрение, что с объективной точки зрения поклонники фильмов ужасов ошибаются, предсказывая будущее.

После долгих размышлений я, кажется, наконец понял, почему я не верю тем, кто считает, что ИИ потенциально может убить нас всех, потому что его функция полезности не соответствует человеческим ценностям. Мои рассуждения просты, но я никогда раньше не видел, чтобы кто-нибудь формулировал что-то подобное подобным образом. Чтобы фанаты ужасов ошибались, скептики не обязательно должны быть правы во всех своих аргументах. Им достаточно оказаться правыми только в одном из них, и тогда вся конструкция рухнет.

Допустим, есть 10 аргументов против страшилок, и каждый из них имеет лишь 20% шансов оказаться правдой. Это означает, что вероятность того, что любители страшилок ошибаются, равна 1 — (1-0,2)десять = 0,89. Каждый отдельный аргумент против ужасных историй может быть слабым, но общий аргумент против этих историй силен. Если поиграть с процентами и количеством аргументов, то вероятность того, что любители страшилок правы, изменится, как на графике ниже.

Вертикаль – вероятность того, что аргумент верен; по горизонтали – количество аргументов

Я не думаю, что мы сможем оценить правдоподобность некоторых аргументов, связанных с вопросом о элементы управления II, так как умные люди практически по всем этим пунктам категорически расходятся во мнениях. Вот восемь мнений, которые мне не кажутся сумасшедшими, с учетом шансов на их точность, которые я только что вырвал из головы:

  1. Интеллект имеет огромную убывающую отдачу, поэтому суперИИ, умнее нас, не будет иметь большого преимущества. (25%)

  2. Управление ИИ окажется относительно тривиальной проблемой. Например, просто попросите магистратуры руководствоваться здравым смыслом, и он не превратит нас в сэндвич с ветчиной, когда мы попросим его «сделать мне сэндвич с ветчиной». (тридцать%)

  3. Чтобы ИИ мог стремиться к власти, его необходимо соответствующим образом запрограммировать. Более розовый: «Не существует закона сложных систем, гласящего, что разумные агенты обязаны превращаться в безжалостных конкистадоров. Действительно, мы знаем представителей высокоразвитой формы интеллекта, которые развились без этого дефекта. (25%)

  4. ИИ будет просто удобен для пользователя. Возможно, существует закон, в котором существует тесная связь разума и нравственности. Вот почему люди более моральны, чем другие животные, а самые умные люди и общества более этичны, чем самые глупые. (десять%)

  5. Супер-ИИ сочтет полезным вести с нами переговоры и держать нас рядом, точно так же, как люди могли бы сформировать взаимовыгодные отношения с муравьями, если им удастся преодолеть коммуникационный барьер. Этот аргумент принес Катье Грейс. (десять%)

  6. СуперИИ смогут контролировать и балансировать себя, что может создать опасность для человечества, но также и возможности для его процветания. (десять%)

  7. Исследования в области искусственного интеллекта будут стагнировать на неопределенный срок, возможно, из-за отсутствия обучающих данных или по какой-то другой причине. (35%)

  8. Мы в корне ошибаемся относительно природы такой вещи, как «интеллект». Существуют определенные способности, и нас ввели в заблуждение метафоры, основанные на психометрической концепции. общий фактор интеллекта. См. также Хэнсон о слове «лучший». (35%)

ЧИТАТЬ   Путин назвал развитие Северного морского пути одним из своих приоритетов

Одна из проблем заключается в том, что вы можете разделить аргументы так, как захотите. Таким образом, утверждение «управление — относительно тривиальная проблема» можно разбить на различные способы, которые помогут нам решить проблему управления. Кроме того, не является ли № 3 подмножеством № 2? А №1 и №8 концептуально довольно близки. Но я думаю, что существует больше способов разделить аргументы и умножить их, чем объединить их. Если бы я на самом деле объяснил все способы решения проблемы выравнивания и приписал вероятность каждому из них, аргументы в пользу ужасных историй выглядели бы хуже.

Идеального метода проведения такого анализа не существует. Но, основываясь на произвольных вероятностях, которые я привел для восьми приведенных выше аргументов, мы можем сказать, что существует 88% вероятность того, что призраки ошибаются. Вероятность конца человечества в 12% по-прежнему кажется довольно высокой, но я уверен, что есть множество других аргументов, которые я сейчас не могу вспомнить, которые могли бы снизить эту цифру.

Также возможно, что хотя ИИ и положит конец человечеству, мы ничего не сможем с этим поделать. Я оцениваю эту вероятность в 40%. Более того, можно утверждать, что даже если теоретическое решение существует, наша политика не позволит нам его достичь. Опять же, предположим, что вероятность того, что это произойдет, составляет 40%. Это оставляет нам 12% вероятность того, что ИИ представляет собой экзистенциальный риск, и 0,12 * 0,6 * 0,6 = 4% вероятности того, что ИИ представляет собой экзистенциальный риск и мы можем что-то с ним сделать.

У меня всегда была похожая проблема с парадоксом Ферми, а также с предполагаемым решением этой проблемы: мы знаем, что НЛО действительно посещали Землю. Что касается последнего утверждения, чтобы поверить в то, что мы видели инопланетян или вступали в контакт с ними, мы должны, по крайней мере, верить в следующее:

  1. Сверхразумные инопланетяне существуют.

  2. Они хотели бы посетить нас.

  3. Их визит из-за пределов наблюдаемой Вселенной соответствовал бы законам физики.

  4. Им было бы выгодно посетить нас в соответствии со своими приоритетами и экономическими ограничениями.

  5. Несмотря на то, что они хотят и могут добраться до нас, они настолько некомпетентны, что их постоянно ловят, но не слишком очевидным образом.

ЧИТАТЬ   «Уходишь с надеждой, вдруг онколог ошибся»: пенсионерка из Кемерово победила рак и рассказала, как живет без груди

Номер 5 мне всегда казался самым смешным. Я могу представить инопланетян, которые могут путешествовать между звездами, но не тех, которые могут, но при этом оставляют доказательства в виде зернистых фотографий, и ничего, что могло бы предоставить более прямые доказательства, кроме свидетельств из первых рук. . По удивительному совпадению, наши первые контакты с внеземной жизнью предоставляют такой уровень доказательств, который мог бы попасть в National Enquirer, но не соответствует стандартам настоящей журналистики. Несколько лет назад средства массовой информации были охвачены увлечением НЛО, а сейчас о подобных сообщениях говорят гораздо меньше. были развенчаны Пентагоном.

Да, я знаю, что парадокс Ферми не предсказывает выдающееся положение какой-либо конкретной цивилизации, но он говорит, что, учитывая необъятность Вселенной, по крайней мере одна из них должна иметь волю и способность это сделать. Однако предположение о бесконечном количестве цивилизаций, на мой взгляд, не решает проблему того, что существующие инопланетяне должны находиться очень далеко от нас. Существует также бесчисленное множество возможностей возникновения проблем, которые не позволят им или их сообщениям дойти до нас.

Я думаю, что вероятность в 4%, что ИИ сможет нас уничтожить, и мы сможем что-то с этим сделать, достаточно высока, чтобы люди могли работать над этой проблемой, и я рад, что некоторые так делают. Но я не согласен с теми, кто считает, что экзистенциальный риск скорее вероятен, чем нет, или даже что он обязательно произойдет, если мы будем следовать некоторым принципам, таким как «интеллект помогает достигать целей» и «разумные существа стремятся контролировать ресурсы».

Нам также необходимо учитывать, что за запугивание людей приходится платить. Я верю, что если ИИ не уничтожит нас, это станет огромным благом для человечества, потому что трудно представить, что многие технологии, которые люди охотно использовали, уже давно не сделали мир лучше. бегать. Так что ужасные истории об ИИ — это не то, чем мы можем заниматься, не беспокоясь об обратной стороне медали. Если мафия достаточно напугает влиятельных политиков и лидеров бизнеса, есть большая вероятность, что она отложит наступление лучшего будущего на неопределенный срок. Важный прецедент такого поведения можно назвать ядерная энергия. Неспособность максимизировать возможности разведки сама по себе может представлять экзистенциальный риск для человечества, поскольку мы просто будем продолжать глупеть до тех пор, пока цивилизация не будет уничтожена сверхболезнью или ядерной войной. Пока те, кто боится ИИ, устраиваются на работу программистами и ищут узкие технические решения, а не добиваются государственного контроля над отраслью, я аплодирую их усилиям.

ЧИТАТЬ   ПАКЫ, новый бренд ноутбуков и кадровые проблемы, как прошла встреча разработчиков и производителей?

Ошибочно судить об аргументах против ужасных историй об ИИ по качеству среднего аргумента. На стороне, рассказывающей сложную историю, лежит бремя доказательства правдоподобия воображаемого сценария. Мы можем отвергнуть большинство произведений научной фантастики как неспособных дать хорошие предсказания о будущем, даже если мы не можем точно сказать, почему каждое произведение ошибается или в каком направлении пойдут будущие политические и технологические разработки. Подобный скептицизм оправдан для всех историй о существах с интеллектом, отличным от нашего, будь то машины или формы жизни с других планет.

Source

От admin