Текст книги "Тени разума. В поисках науки о сознании"

Автор книги: Роджер Пенроуз

сообщить о нарушении

Текущая страница: 45 (всего у книги 49 страниц)

8.3. Эстетика и т.д.

В вышеприведенных рассуждениях я говорил, по большей части, о способности к «пониманию», полагая ее существенным компонентом, напрочь отсутствующим в любой чисто вычислительной системе. Именно эта способность фигурировала в гёделевском рассуждении в §2.5– и именно ее отсутствие в бездумности вычислительного процесса продемонстрировало существенную ограниченность вычислений, побудив нас тем самым к поискам лучшего. И все же «понимание» – это лишь одна из способностей, за которые мы ценим сознательное восприятие. В более общем смысле мы, обладающие сознанием существа, получаем преимущество в любых обстоятельствах, где мы можем непосредственно «чувствовать» то, что нас окружает; и этомувычислительные системы не «научатся» никогда.

Меня спросят: каких же таких преимуществ оказывается лишенробот с компьютерным управлением в результате своей неспособности чувствовать? Что с того, что он не в состоянии оценить, скажем, ни красоту звездного неба, ни величественное великолепие Тадж-Махала тихим вечером, ни волшебных переплетений фуги Баха, ни даже суровой красоты теоремы Пифагора? Можно просто сказать, что робот много теряет, не будучи способным ощутить то, что ощущаем мы, сталкиваясь с такими проявлениями совершенства. Однако это далеко не весь ответ. Попробуем спросить иначе. Пусть робот действительно не способен ничего чувствовать, но нельзя ли запрограммировать компьютер таким хитроумным образом, чтобы он, тем не менее, смог создать великое произведение искусства?

Этот вопрос представляется мне чрезвычайно деликатным. Кратким ответом на него, думаю, будет «нет» – хотя бы по той причине, что компьютер не способен испытывать чувственные ощущения, необходимые для того, чтобы отличить хорошее от плохого или превосходное от посредственного. Но тут можно задать встречный вопрос: а почему для того, чтобы вырабатывать собственные «эстетические критерии» и формировать собственные суждения, компьютер непременнодолжен обладать способностью «чувствовать»? Почему такие суждения не могут просто «возникнуть» после достаточно длительного обучения (восходящего типа)? Я, впрочем, думаю, что, как и в случае со способностью к пониманию, гораздо более вероятно, что упомянутые критерии все же придется в компьютер предварительно ввести, причем для получения этих самых критериев потребуется детальный нисходящий анализ, выполненный людьми (вполне возможно, не без помощи компьютера), в полной мере обладающими эстетическим чувством. Разработкой подобного рода схем занимались многие исследователи проблемы ИИ. Например, Кристофер Лонгет-Хиггинс (университет Суссекса) разработал несколько различных компьютерных систем, сочиняющих музыку согласно заложенным в них критериям. Еще в восемнадцатом веке Моцарт с современниками показали, как можно сочинять музыку с помощью так называемой «музыкальной игры в кости» – сочетая известные эстетически приятные фрагменты со случайными элементами, можно получать вполне сносные композиции. Аналогичные устройства были созданы и в области графических искусств – например, программа «AARON», разработанная Гарольдом Коэном, способна выдавать на гора в больших количествах «оригинальные» графические работы, генерируя случайные элементы и комбинируя их с имеющимися в ее распоряжении фиксированными образами в соответствии с определенными правилами. (Множество примеров такого «компьютерного творчества» можно найти в книге Маргарет Боден «Творческий разум» [ 32]; см. также [ 261].)

Думаю, что выражу общее мнение, если скажу, что среди продуктов такого рода деятельности пока нет ничего такого, что могло бы выдержать сравнение с любым творением умеренно способного художника-человека. Наверное, здесь уместно сказать, что даже при весьма значительных объемах предварительно введенных данных создаваемые компьютером «шедевры» оказываются напрочь лишены «души»! Иначе говоря, картина ничего не выражает, потому что компьютер ничего не чувствует.

Разумеется, случайно сгенерированная компьютерная работа может, просто по чистой случайности, оказаться и подлинным шедевром огромной художественной ценности. (Равно как и набирая буквы случайным образом, можно когда-нибудь получить «Гамлета».) В самом деле, следует признать, что и Природа способна волею случая сотворить настоящие произведения искусства, например, скалы причудливых очертаний или звезды в небе. Однако без способности чувствоватьэту красоту невозможно отличить прекрасное от безобразного. Фундаментальная ограниченность полностью вычислительной системы проявится в полной мере еще в процессе отбора.

Опять же можно представить, что человек снабдит компьютер вычислительными критериями для такого различения, и это, возможно, какое-то время будет работать, коль скоро машине останется только генерировать очередные вариации на тему все того же эталона (возможно, так и создается большая часть рядовых «произведений» популярного искусства) – до тех пор, пока плоды такой деятельности не станут вызывать зевоту и нам не захочется чего-нибудь нового. На этом этапе машине потребуется какое-либо подлинноеэстетическое суждение извне, чтобы выяснить, какие «новые идеи» имеют художественную ценность, а какие – нет.

Итак, помимо способности к пониманию, существуют и другие качества, каким полностью вычислительная система никогда не «научится» – например, способность к  эстетическомувосприятию. Сюда же, как мне представляется, следует отнести и все прочие качества и способности, что требуют осознания, – например, способность к нравственномусуждению. Как мы убедились в первой части книги, суждение об  истинностиили ложностиутверждения невозможно свести к чистому вычислению. То же применимо (возможно, даже с большей очевидностью) и к суждениям о прекрасномили о добром. Все эти способности требуют осознания и, как следствие, недоступны роботам с полностью компьютерным управлением. Для имитации роботом наличия этих способностей необходимо постоянное дополнительное управляющее воздействие со стороны какой-либо внешней, чувствующей и осознающей себя сущности – предположительно, человека.

Безотносительно к невычислительной природе упомянутых качеств, можно поинтересоваться, являются ли «красота» и «доброта» идеями абсолютнымив платоновском смысле этого слова, где определение «абсолютный» применимо только к истине – в особенности, к математической истине. Сам Платон высказывался в поддержку такой точки зрения. Может быть, осознавая, мы каким-то образом связываемся с этими абсолютами, и именно в этом заключается уникальное предназначение сознания? Может быть, здесь и следует искать ключ к тому, чемнаше сознание является в действительности и для чегооно нам дано? Не играет ли сознание роль своего рода «моста» между физическим миром и миром платоновских абсолютов? Эти вопросы мы еще раз затронем в последнем параграфе книги.

Вопрос об абсолютной природе нравственности имеет самое прямое отношение к юридическим проблемам, описанным в §1.11. Некоторым образом связан с ним и вопрос о сущности «свободы воли», поставленный в конце §1.11: возможно ли, что есть нечто, что не определяется наследственностью, влиянием окружения и всевозможными случайными факторами, – некая отдельная «самость», играющая ведущую роль в управлении нашими действиями? Я думаю, что мы пока еще очень далеки от ответа на этот вопрос. С полной уверенностью я могу утверждать (и аргументированно доказывать) лишь одно: что бы ни управляло в конечном счете нашим поведением, это что-то в принципе находится за пределами возможностей тех устройств, которые мы сегодня называем «компьютеры».

8.4. Опасности компьютерных технологий

Любые широкоприменяемые технологии несут с собой как блага, так и опасности. Так, помимо тех очевидных преимуществ, которые дают нам компьютеры, с быстрым развитием этой технологии связано и множество потенциальных угроз обществу. Одной из главных проблем, по-видимому, является чрезвычайная сложность всех совокупностей взаимосвязей, с которыми мы сталкиваемся благодаря компьютерам, – она приводит к тому, что ни один отдельно взятый индивидуум сегодня просто не в состоянии охватить разумом ни происходящее в целом, ни его последствия. И дело не только в самих компьютерах и их технических возможностях, но еще и в почти мгновенной глобальной связи между объединенными в сеть компьютерами по всему миру. Часть возможных проблем находит отражение в нестабильном поведении фондового рынка, где сделки теперь совершаются практически мгновенно на основании общемировых компьютерных прогнозов. Здесь, пожалуй, проблема заключается не столько в недостатке понимания каждым отдельным человеком всей взаимосвязанной системы как единого целого, сколько в нестабильности (не говоря уже о несправедливости), изначально заложенной в систему, которая идеально приспособлена для того, чтобы отдельные ее пользователи мгновенно сколачивали себе состояния путем опережения соперников в скорости счета или быстроте получения информации. Впрочем, вполне вероятно и то, что причиной различного рода нестабильностей и потенциальных опасностей станет одна лишь сложность системы как целого.

Подозреваю, что найдутся люди, которым возможный в недалеком будущем выход уровня сложности системы взаимосвязей за пределы человеческого понимания не покажетсятакой уж серьезной проблемой. Такие люди, возможно, верят в то, что когда-нибудь компьютеры и самиприобретут необходимое понимание системы. Однако, как мы могли убедиться, понимание отнюдь не относится к тем качествам, на которые компьютеры когда-либо окажутся способны, так что помощи с той стороны ждать не приходится.

Из одного лишь факта чрезвычайно быстрого развития компьютерных технологий (приводящего к тому, что компьютерная система чуть ли не на следующий день после своего появления на рынке становится морально устаревшей) вытекают и многие другие дополнительные проблемы. Необходимость в непрерывной модернизации и использование систем, зачастую не прошедших под давлением конкуренции надлежащих испытаний. – это лишь малая их часть, и в будущем ситуация вряд ли изменится к лучшему.

Глубинные же проблемы, с которыми мы только начинаем сталкиваться в новом высокотехнологичном, компьютеризованном и стремительно меняющемся мире, слишком многочисленны, и было бы безрассудством с моей стороны пытаться охватить их здесь все. Среди прочего в голову приходят разглашение частной информации, промышленный шпионаж и компьютерные диверсии. Еще одна тревожная возможность – «подделка» внешнего вида человека с целью использования, скажем, в телевизионной передаче для выражения мнений, какие «оригинал» ни в коем случае выражать не собирался ^{100} . Возникают и всевозможные социальные проблемы, не являющиеся непосредственно компьютерными, но с компьютерами так или иначе связанные – например, благодаря способности компьютеров замечательно точно записывать и затем воспроизводить музыку и изображение, таланты небольшой избранной группы исполнителей можно без труда распространить по всему миру, что, вероятно, поставит в весьма невыгодное положение остальных, не столь именитых артистов. С аналогичной проблемой мы сталкиваемся и в случае с так называемыми «экспертными системами», позволяющими поместить мастерство и опыт нескольких избранных специалистов – скажем, от юриспруденции или медицины – в код компьютерной программы, что может привести к нанесению ущерба остальным практикующим врачам и юристам. Впрочем, думаю, что заменить специалиста-человека такие компьютерные экспертные системы вряд ли смогут (их удел – специалисту помогать), поскольку они не способны на понимание, которое может дать только личное общение.

Разумеется, есть у всех этих разработок и «светлая сторона» – если все сделано правильно. Плоды мастерства других (неважно, художников или ремесленников) сегодня более доступны, и их может оценить гораздо большее количество людей. Что касается проблемы сохранности частной информации, то уже сейчас существуют так называемые «шифры с открытым ключом» (см. [ 138]), которыми могут пользоваться как отдельные индивидуумы, так и небольшие компании (при этом не менее эффективно, нежели компании крупные), и которые, по-видимому, обеспечивают абсолютную защиту от «подслушивания». Использование таких шифров стало возможным лишь теперь, при наличии быстрых и мощных компьютеров – хотя эффективность этого способа шифрования до сих пор ограничена вычислительной сложностью факторизации больших чисел (возможно, здесь на смену обычным придут квантовые вычисления; некоторые идеи, указывающие на возможность создания в будущем квантовых компьютеров, изложены в §7.3, см. также [ 277, 278]). Как я упоминал в §8.1, возможно, что скоро для защиты от подслушивания мы будем использовать квантовую криптографию, эффективность которой также зависит от скорости выполнения значительных объемов вычислений. Очевидно, что нет однозначного способа оценить преимущества и опасности, порождаемые любой новой технологией, будь она непосредственно связана с компьютерами или нет.

В качестве заключительного комментария к таким компьютерно-социальным проблемам я хочу представить читателю небольшую вымышленную историю, которая в некотором роде выражает то беспокойство, которое я ощущаю в связи с возникновением целой новой области потенциальных проблем. Насколько мне известно, об этом новом классе «компьютерных» опасностей еще никто не говорил, однако мне они представляются весьма серьезными.

8.5. Неправильные выборы

Приближается день долгожданных выборов. На протяжении последних недель были проведены многочисленные опросы общественного мнения. Результаты почти единодушно предсказывают отставание правящей партии по голосам на три-четыре процента. Как и ожидалось, имеются некоторые колебания и отклонения от этой цифры в ту или иную сторону – ожидалось, поскольку цифры в опросах базируются на относительно малых выборках (где-то в пределах нескольких сотен избирателей за раз), тогда как по населению в целом (несколько десятков миллионов человек) наблюдаются существенные изменения от места к месту. В самом деле, предел погрешности каждого из опросов и сам может составить те самые три-четыре процента, так что ни на один из опросов в действительности полностью положиться нельзя. И все же в совокупности свидетельства производят куда более выгодное впечатление. Взятые вместе, результаты опросов демонстрируют гораздо меньшую погрешность, а согласие между ними нарушается как раз таким разбросом, какой предсказывает статистическая теория. Усредненным результатам теперь, наверное, вполне можно доверять, причем погрешность составляет менее двух процентов. Поговаривают, правда, что в канун дня выборов цифры в опросах заметно сместились в пользу правящей партии; а в сам день выборов кое-кого из ранее воздержавшихся (или даже из активных противников) вполне могут «уговорить» отдать-таки правящей партии свой голос. Однако даже если так, это смещение не принесет правящей партии большой пользы, разве что полученный в результате отрыв от ближайшего соперника составит не менее 8% голосов, поскольку только в этом случае правящая партия получит то минимальное большинство голосов, которое необходимо для того, чтобы предотвратить объединение своих противников в коалицию. Впрочем, опросы – это всего лишь предварительные прикидки, разве нет? Только подлинноеголосование выразит действительную волю народа, а какова эта воля, мы узнаем из подсчета голосов в день выборов.

День выборов настал… и прошел. Голоса подсчитали, и результат почти для всех оказался полной неожиданностью – особенно для организаций, проводивших опросы и вложивших в них так много сил и умения (не говоря уже о репутации). Правящая партия остается у власти, получив вполне удовлетворительное большинство голосов – те самые 8% преимущества над ближайшими соперниками. Огромное количество избирателей пребывает в полном недоумении – и даже в ужасе. Другие, хотя и удивлены не меньше, но весьма довольны. Однако результаты выборов не соответствуют истине. Они были фальсифицированы с помощью хитроумных средств, и никто ничего не заметил. Заранее наполненных урн для голосования там не было, бюллетени никто не терял, не подменивал и не дублировал. Люди, занятые в подсчете голосов, сделали свое дело добросовестно и по большей части без ошибок. И все же результаты выборов оказались чудовищно подтасованы. Как же так получилось, и кто это сделал?

Не исключено, что весь кабинет правящей партии в полном составе понятия не имеет о том, что произошло. Не факт, что кто-то из них является непосредственным виновником преступления, однако в выигрыше в результате оказываются они все. За кулисами скрываются другие, те, кто имеет основания опасаться за собственное существование, если правящей партии случится потерпеть поражение. Они входят в состав некоей организации, которая пользуется большим доверием у правящей партии (и не без причины!), чем у оппозиции, – партия не только строго и бережно хранит тайну темных делишек этой организации, но и способствует расширению ее деятельности. Хотя сама организация вполне законна, многое из того, чем она занимается, законным не назовешь, не чурается она и незаконных политических игр. Возможно, члены организации искренне (заблуждаться тоже можно искренне) опасаются, что противники правящей партии разрушат страну или даже «предадут» ее во имя чуждых идеалов иностранных держав. Есть в организации и свои эксперты – непревзойденные мастера – в области создания компьютерных вирусов!

Помните, что способен натворить компьютерный вирус? Ближе всего нам знакомы те, что в некий заранее назначенный день уничтожают всю информацию на дисках компьютера, этим вирусом зараженного. Бывает так, что пользователь сидит и с ужасом наблюдает, как буквы на дисплее его компьютера ссыпаются со своих мест в нижнюю часть экрана и исчезают. Бывает, на экране появляется какое-нибудь непристойное сообщение. В любом случае данные могут оказаться потерянными безвозвратно. Более того, если вставить в такой компьютер дискету и попробовать ее прочитать, то дискета тоже подхватит заразу и передаст ее при случае на другой компьютер. Замеченный вирус можно, в принципе, уничтожить с помощью антивирусной программы, но только в том случае, если природа вируса известна заранее. Если же вирус успел нанести удар, то поделать уже ничего нельзя.

Такие вирусы обычно создают хакеры-любители, зачастую этими хакерами становятся разочаровавшиеся в жизни программисты, желающие кому-нибудь насолить по тем или иным причинам, иногда вполне объяснимым, иногда нет. Однако члены упомянутой организации – отнюдь не любители; им немало платят, и в своей области они настоящие профессионалы. Возможно, многие из их действий продиктованы подлинной заботой об интересах родной страны, но бывает, несомненно, и так, что по указанию своих непосредственных начальников они делают вещи, менее простительные с точки зрения морали. Созданный программистами организации для известной цели вирус невозможно засечь стандартными антивирусными программами, и сработать он должен лишь однажды, в заранее назначенный день – вождь правящей партии, конечно же, знает, на какой день назначены выборы, знают об этом и те, кому вождь доверяет. После того, как задание будет выполнено, ~ а на этот раз задание предстоит куда более тонкое, чем просто стереть данные, – вирус самоуничтожится, не оставив после себя ни единого следа, если не считать, разумеется, самого преступления.

Для того, чтобы такой вирус надлежащим образом сработал на выборах, необходимо, чтобы какой-то этап в подсчете голосов происходил без участия людей (считающих либо вовсе без применения техники, либо с помощью карманного калькулятора). (Вирус может инфицировать только универсально программируемые компьютеры.) Допустим, содержимое отдельных урн считают люди и считают правильно; однако результаты этих подсчетов необходимо складывать. Насколько же эффективнее, точнее, да и современнее складывать эти числа – а их там, может быть, сотни – на компьютере, нежели вручную или с помощью калькулятора! Разумеется, никаких ошибок здесь просто быть не может. Чей бы компьютер ни использовался для подсчета общей суммы, результат будет одинаковым. Члены правящей партии получат в точности тот же результат, что и их главные противники, равно как и любая из третьих заинтересованных партий или вовсе нейтральный наблюдатель. Они даже могут использовать компьютеры разных моделей или марок, на результат это никоим образом не повлияет. Экспертам нашей зловещей организации об этих разных компьютерах известно все – и для каждого заготовлен свой вирус. По своей структуре вирусы для разных систем несколько отличаются друг от друга, однако последствия их «работы» будут одинаковыми, а согласие между результатами, полученными с помощью различных машин, убедит даже самых упрямых скептиков.

Несмотря на то, что все машины дадут одинаковые цифры, цифры эти все до единой будут неверными. Все цифры хитроумно фабрикуются в соответствии с некоей точной формулой, зависящей до некоторой степени от реального распределения голосов, – отсюда, согласие между результатами, полученными с помощью различных компьютеров, и смутное правдоподобие этих самых результатов, – с тем, чтобы дать правящей партии именно то преимущество, в котором она нуждается; и хотя доверчивость избирателей при этом подвергается некоторому испытанию, общий результат представляется вполне приемлемым. Все выглядиттак, будто значительное число избирателей в последнюю минуту решило проявить осторожность и проголосовать за правящую партию.

В гипотетической ситуации, описанной в этой истории, избиратели на самом деле вовсе не передумывали в последний момент, и результаты выборов оказались весьма далеки от истинного положения дел. Хотя на написание ее меня вдохновили наши последние (1992 год) выборы в британский парламент, я должен особо подчеркнуть, что официально принятая в Великобритании система подсчета голосов возможность такого рода мошенничества полностью исключает. На всех этапах подсчет выполняется вручную. Может, конечно, показаться, что этот метод неэффективен и давно устарел, однако отказываться от него еще, как мне представляется, рано – по крайней мере, до тех пор, пока не будет создана система, снабженная простыми и исключающими малейшее подозрение средствами защиты от подобного мошенничества.

С другой, более положительной, стороны, современные компьютеры предлагают замечательные возможности для введения систем голосования, в которых мнение избирателей будет представлено гораздо объективнее, чем сейчас. Здесь, разумеется, не место вдаваться в подробное обсуждение этих вопросов, однако суть такова, что новые системы позволяют избирателю не просто отдать свой голос за одного-единственного кандидата, но сообщить и множество иных сведений. Все эти сведения компьютерная система способна проанализировать мгновенно, и результат можно будет получить сразу же после окончания процедуры голосования. Однако, как показывает рассказанная выше история, применять такую систему следует крайне осторожно, даже если в ней предусмотрены всесторонние и общедоступные проверки, убедительно предотвращающие любое такое техническое мошенничество.

Осторожность следует проявлять не только на выборах; «вирусный» метод можно применить и в других ситуациях, например, подпортить банковские счета компании-соперника. Можно придумать множество различных способов вредоносного использования специально разработанных, незаметных и коварных компьютерных вирусов. Надеюсь, что моя история убедит читателей в том, что все действия компьютеров – даже самые очевидных действия даже самых надежных компьютеров – должны постоянно контролироваться человеком. И дело здесь не столько в том, что компьютеры ничего не понимают, сколько в том, что они крайне подвержены манипуляциям со стороны тех немногих людей, кто понимаетвсе тонкости специфики их программирования.