Текст книги "Репортаж с ничейной земли. Рассказы об информации"
Автор книги: Е. Седов
Жанр:
Научпоп
сообщить о нарушении
Текущая страница: 2 (всего у книги 15 страниц) [доступный отрывок для чтения: 6 страниц]
ГЛАВА 2. КАК ИЗМЕРИЛИ ИНФОРМАЦИЮ
То, что нам неизвестно
Туризм требует напряжения. Не всякий может пробираться по узким тропинкам, спускаться на дно оврагов, карабкаться по склонам хребтов. Красивый приморский город привлекает больше людей, чем крутые горные перевалы, но и он таит в себе немало «опасностей» для туристов. Вы можете целый день ходить здесь в легкой обуви и отутюженных брюках, но к вечеру все же почувствуете усталость ничуть не меньшую, чем от прогулки по диким местам. Правда, усталость эта будет иного рода: вас утомит обилие впечатлений. Но если вы знакомитесь с этим городом не из праздного любопытства, а с определенной целью, вам будет еще труднее. Зато истинное удовлетворение получает лишь тот, у кого есть конкретная цель.
Тому, кто впервые попал в Новый Город, некогда думать об отдыхе. Здесь что ни шаг, то новые впечатления. Сейчас мы подходим к самому центру – к площади Новых Идей.
Что за величественное сооружение установлено посреди этой площади? В честь каких побед воздвигнут этот необычный обелиск?
В причудливом беспорядке нагромоздили скульпторы у его подножия радиоприемники и антенны, книги и музыкальные инструменты, микроскоп и фотоаппарат, телевизионную камеру и простой телеграфный ключ. Стройная колонна возвышается в середине, а на самом верху на фоне ясного неба четко вырисовываются непонятные символы:
I =
n
∑
i=1
Pi log Pi
Что выражают эти значки? Может быть, спросить местных жителей? Вот как раз сюда идет какой-то прохожий...
– Простите, вы не скажете, что означает это сооружение?
– Это юбилейный подарок. Он преподнесен от имени жителей нашего города его основоположнику, ученому Клоду Шеннону.
– Простите, что мы отнимаем у вас время. Видите ли, мы впервые идем по улицам вашего города...
– Я так и подумал.
– ...и совершенно не знаем ни его истории, ни тех, кто его населяет. Объясните, пожалуйста, чем заслужил такое уважение этот ученый?
– Охотно! Имя Клода Шеннона стало таким популярным в последние годы. И не случайно: он научил людей измерять информацию. Вы видите формулу, изображенную там, на самом верху? Она носит его имя. По ней можно подсчитать, какое количество информации содержится на странице книги, в звуках человеческой речи или на телевизионном экране.
– Но мы только что научились измерять информацию без всяких формул.
– Каким же образом?
– Мы сравнивали текст, передаваемый по телеграфу, и текст на экране телевизора. Мы узнали, что в том же объеме телеграфного сигнала можно уместить в 60 раз больше слов. Чем больше слов, тем больше информации. Разве не так?
Почему наш собеседник улыбается столь снисходительно? Разве наши утверждения уж настолько наивны?
– Но ведь так поступают и работники связи, – пытаемся мы оправдаться. – Они тоже считают слова, чтобы определить стоимость телеграмм.
– Это верно. А не скажете ли вы, что должен сделать отправитель телеграммы, чтобы не расходовать лишних средств?
– Правильно составить текст.
– Что значит «правильно»?
– Это значит, что в тексте должно быть как можно меньше слов.
– Ну, а как же быть с информацией? Ведь вы же говорили, что информацию можно измерять словами. Значит, сократив количество слов, отправитель должен обязательно упустить что-то важное из той информации, которую предстоит передать? Так или не так?
– Нет, конечно. Просто он старается сказать обо всем очень коротко.
– Вот именно. Значит, об одном и том же можно сказать в одних случаях коротко, в других длинно. Следовательно, одну и ту же информацию можно передать разным количеством слов. А в одном и том же слове может содержаться больше или меньше информации, в зависимости от характера сообщений.
Представьте себе, что вы получаете такую телеграмму: «За июлем следует август». Много ли информации получите вы, прочитав эти слова?
Нет, немного. Например, слово «август» можно вовсе не передавать по телеграфу: для того чтобы понять эту фразу, достаточно и первых трех слов. А вслед за этим сообщением пришло, скажем, такое: «Ежегодное совещание работников транспорта будет проводиться в августе месяце». Чувствуете разницу? Здесь слово «август» содержит в себе гораздо больше информации. Пока вы не прочли на телеграфной ленте этого слова, вы оставались в полном неведении, в каком из 12 месяцев года будет совещание. А дополнив это сообщение еще всего одним словом – допустим, совещание состоится пятого августа, вы сможете отметить нужную дату среди 365 дней.
Как видите, даже при передаче текста дело обстоит совсем не так просто, как может показаться на первый взгляд. А с музыкой или телевизионным сигналом будет еще сложней. Ведь здесь нет ни слов, ни букв, ни импульсов азбуки Морзе, которые можно было бы сосчитать. Есть только непрерывно изменяющийся во времени сигнал. Но и он содержит в себе информацию, которую можно измерить.
Кажется, нам повезло. Наш новый знакомый, вероятно, крупный ученый, и он настолько увлекся затронутой темой, что уличная беседа превратилась в солидный доклад.
– Как же оценить количество информации, содержащейся в самых разнообразных сообщениях? Ведь информацию не измеришь линейкой и не взвесишь на весах! Какая же мера способна учесть не только количество переданных слов и сигналов, но и количество содержащихся в них «новостей»? Здееьто и возникает новое понятие о «количестве информации», выражаемом с помощью энтропии.
Ученый обошел вокруг обелиска и остановился возле двух ящиков, затерявшихся среди множества прочих предметов. Заглянув туда, мы обнаружили, что в каждом из них есть черные и белые шары.
– Это устройство предназначено для туристов, – поясняет ученый. – Тому, кто стремится понять смысл информации, надо прежде всего познакомиться с вероятностью. В этом нам помогут шары. В урне 6 черных шаров и 4 белых. Вынимайте их наугад и бросайте обратно. А ваш товарищ будет записывать, какой попадается шар. Вторая пара проделает то же самое с шарами другой урны. Записали? Продолжайте опыт. Чтобы определить вероятность извлечения черного и белого шаров, придется повторить эти манипуляции несколько десятков раз.
Набравшись терпения, мы полчаса таскали шары из ящиков и отмечали, какой попадается шар. Записи выглядели так:
I урна: Ч, Б, Ч, Ч, Б, Ч. Б, Б, Ч, Ч, Ч, Б, Б...
II урна: Ч, Ч, Б, Ч, Ч, Ч, Ч, Ч, Ч, Б, Ч, Ч, Ч, Ч, Ч...
– Очевидно, Б обозначает «белый»? – спрашивает ученый. – Мы обычно пишем не так. У нас одному случаю соответствует 1, а второму – 0.
– Как в двоичном коде?
– Вот именно. Итак, белый шар – 1, черный – 0. Как теперь будут выглядеть записи?
I урна: 0, 1, 0, 0, 1, 0, 1, 1, 0, 0, 0, 1, 1...
II урна: 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0...
– Теперь обратите внимание на одно весьма важное обстоятельство: во второй строчке цифра 0 встречается гораздо чаще, чем 1. Во втором опыте вам гораздо чаще попадались черные шары. Как вы думаете, это случайно?
– Разумеется. Ведь мы вынимали их наугад.
– Совершенно справедливо. Но во втором случае извлечение черного шара имело большую вероятность. Это легко подсчитать: здесь среди 10 шаров 9 имеют черную окраску, значит вероятность такого события составляет 9/10, или 90 процентов.
В первом ящике было 6 черных шаров. Вероятность их извлечения составляет 60 процентов. Поэтому еще до начала опыта можно было предвидеть, что из второй урны мы будем извлекать черный шар гораздо чаще, чем из первой.
Итак, мы извлекаем наугад шары сначала из первой урны, затем из второй и получаем сообщения об исходе опыта: в обоих случаях извлечен черный шар. Какое из этих двух сообщений содержит большее количество информации? Теория информации утверждает, что первое, потому что случай с четырьмя и шестью шарами имеет большую неопределенность – ведь во втором случае можно еще до получения сообщений почти безошибочно предсказать, что при повторении опыта будут чаще попадаться черные шары. Таким образом, количество информации зависит как от степени неопределенности какого-то явления, так и от меры нашего неведения о том, как и что будет происходить.
Теперь предположим, что мы продолжаем поочередно извлекать шары из второго ящика до тех пор, пока в руках у нас не окажется белый шар. Давайте отложим этот шар в сторону и продолжим наш опыт. Сколько информации будет давать нам теперь сообщение об извлечении шара? Нуль. Ведь, получив информацию о том, что из ящика извлечен единственный белый шар, мы можем уже совершенно определенно утверждать, что теперь любой извлеченный шар будет черным. Значит, мы пришли к случаю, соответствующему полному отсутствию неопределенности: вся неопределенность, заключающаяся в наличии одного белого шара, исчерпана в момент получения информации о том, что этот шар извлечен.
Что же получается? До тех пор, пока белый шар оставался в ящике, сообщение об извлечении каждого шара несло в себе определенное количество информации. Сообщение же об извлечении белого шара исчерпало всю неопределенность. Продолжая вытаскивать оставшиеся черные шары, мы будем получать сообщения об извлечении каждого шара, не получая уже никакой дополнительной информации.
Значит, с точки зрения наблюдателя, не все, содержащееся в сообщении, является информацией, а только то, что заранее ему неизвестно.
Узнаем ли мы что-либо новое из сообщения, что за июлем следует август? Об этом событии все известно заранее, в нем отсутствует неопределенность, и потому в этом случае количество информации, содержащейся в слове «август», равно нулю.
А какое количество информации получали мы, извлекая шары из урн? Чтобы выразить ее точными цифрами, надо оценить неопределенность каждого опыта. Для этого теория информации привлекает на помощь формулу энтропии, о которой я вам сейчас расскажу.
Смысл информации и информация без смысла
И впрямь удивительный это город! Даже в простых шарах заключен здесь особый, глубокий смысл. А тут еще какая-то энтропия... Впрочем, размышлять пока некогда – наш новый знакомый продолжает рассказ:
– В науке часто бывает так: стоит найти новый подход к привычным явлениям, и то, что казалось сложным и необъяснимым, не подчиняющимся никаким законам, вдруг становится простым и понятным. Порой даже кажется странным, почему люди не могли так долго уловить эту, ставшую теперь очевидной связь. Важно только четко сформулировать задачу, найти правильную точку зрения, и сразу разрозненные, бессвязные понятия и явления вдруг вливаются в единую, стройную систему, подобно тому как из разбросанных в коре земного шара вкраплений различных металлов возникают изящные стальные птицы, сверхдальние ракеты и сложные комплексы «умных» машин.
Так, рожденная великим Менделеевым периодическая система элементов не только внесла строгий порядок в исследования и оценки всех известных в то время веществ, но и предрекла открытие новых элементов и новых, неизведанных свойств. Закон всемирного тяготения сразу позволил уяснить механику всего мироздания и «увидеть» без телескопа движение неизвестных планет3. А закон сохранения энергии не только объяснил причину неудач многочисленных изобретателей «вечного двигателя», но и предрек неизбежною тщетность всех их попыток на все времена. И вот в наши дни появилась теория информации, и рожденные ею понятия заставили с новой точки зрения оценить окружающий мир.
Информация... Это все формы общения людей, начиная с обычной беседы и чтения книг и кончая всеми видами телеграфной и телефонной связи и передачи в эфир. Это все сведения о течении физических, химических, биологических процессов, полученные путем исследования, анализа и «регистрации всеми видами ныне существующих и будущих приборов. Это, наконец, неисчерпаемые процессы авторегулирования, происходящие и в созданных человеком машинах и в организмах, рожденных самой природой, процессы, в основе которых лежит получение информации и ее обработка. Мы посылаем в космос спутники и космонавтов. Мы создаем гигантские ускорители, в которых мельчайшие частицы материи могут «с разгона» проникать в недра других частиц. С помощью телескопов мы изучаем миры, недоступные глазу. Микроскопы, рентгеновские аппараты и химические реактивы помогают проникнуть внутрь живых организмов и изучить их структуру вплоть до мельчайшего «атома жизни» – микроскопической клетки. Разные области, разные методы, а цель одна – добыть информацию. И все эти разнородные и сложные процессы, созданные и возникающие в бесконечном многообразии явлений, пришедшие и приходящие из разных областей знаний, вдруг объединились, увязались и нашли новое толкование в едином понятии «информация». А все потому, что мы научились измерять количество информации с помощью простой формулы:
I = P1log P1 + P2log P2 + ... Pnlog Pn.
Здесь значки P1, P2 ... Pп означают вероятности рассматриваемых событий, а log P1 и т. д. – их логарифмы.
Так, например, в опыте с 6 черными и 4 белыми шарами P1 = 0,6 (60%), а P2 – 0,4 (40%). Значит, в этом случае количество информации будет равно:
I = 0,6·log 0,6 + 0,4·log 0,4.
Быть может, кто-нибудь из присутствующих давно не пользовался логарифмами? Не беда. Для этого существуют логарифмические таблицы. Зная число, по ним легко найти его логарифм. С помощью таблицы легко подсчитать, что:
I = 0,6·log 0,6 + 0,4·log 0,4 = 0,97.
(При расчете количества информации применяются двоичные логарифмы.)
А для случая с 1 белым и 9 черными шарами получим:
I = 0,1·log 0,1 + 0,9·log 0,9 = 0,47.
Таким образом, наши общие рассуждения о «неопределенности опыта» и о «мере неведенья» тех, кто проводит опыт, теперь выражаются точными числами. Но сами по себе числа мало о чем говорят.
Ведь нельзя сказать, что вес равен 10, – все дело в том, в каких выражается он единицах. Что это – 10 граммов или 10 тонн? Значит, для измерения информации тоже нужны какие-то единицы. Единицей времени служит время: час, минута, секунда. Единицей веса опять-таки служит вес. И все измерения производятся так же: давление сравнивается с давлением, температура – с температурой. Значит, и информацию нужно сравнивать с информацией.
За единицу количества информации принят самый простенький случай. Есть два возможных исхода – «или – или»; и каждый из них имеет одинаковую вероятность. Когда получено сообщение об исходе, одно «или» отпало и вы получили одну единицу количества информации – так называемый «бит». Например, в нашем ящике лежит 5 черных и 5 белых шаров. С равной вероятностью можно ожидать или черного, или белого шара. А по формуле Шеннона в этом случае получается:
I = 0,5·log20,5 + 0,5·log20,5 = – log22 = 1 бит.
Название «бит» происходит от сокращения английских слов, означающих в переводе «двоичная единица». Каждый знак двоичного кода тоже дает 1 бит информации, потому что с равной вероятностью может появиться 1 или 0.
Теперь мы имеем возможность оценить наши опыты в битах. Случай с четырьмя и шестью шарами имел большую неопределенность и давал информацию в количестве 0,97 бита. Опыт с девятью черными и одним белым шарами обладает меньшей неопределенностью – здесь каждое сообщение дает только 0,47 бита. А если в ящике находится 99 черных шаров и только один белый? Неопределенность почти исчезает: мы будем почти все время извлекать черный шар. И по формуле мы получим для данного случая информацию всего лишь 0,08 бита. Ну, а если нам вопреки ожиданиям попадется вдруг белый шар? Случай этот весьма непредвиденный, значит сообщение о таком результате должно дать большое количество информации. Так оно и окажется. Но при большом количестве опытов такое событие будет происходить очень редко, и в общей сумме полученной информации оно сыграет весьма малую роль. А формула Шеннона показывает, сколько информации дает в среднем каждое из сообщений. В большинстве случаев мы станем получать сообщения об извлечении черного шара. Очень редко будет попадаться и белый шар. А в среднем каждое сообщение оценивается в 0,08 бита.
А теперь взгляните на формулу, начертанную на самом верху колонны. Не кажется ли она вам знакомой? В самом деле, в ней есть те же символы Pi log Pi. Тот же значок вероятности. Тот же логарифм. А что означает i? i – это ряд целых чисел: 1, 2, 3 ... n. Вместо того чтобы много раз подряд писать похожие друг на друга строчки, математики придумали это простое обозначение: знаком ∑ они избавляют себя от труда много раз подряд повторять знак «+». Для полной ясности они пишут под этим знаком, что счет надо начинать с единицы (i=1; Pi=P1), а вверху напоминают, что кончать надо тогда, когда учтены все возможные случаи, то есть при Pi=Pn. Вот и получается знаменитая формула Шеннона, породившая Новый Город:
I =
n
∑
i=1
Pi log Pi
Эту формулу можно использовать для оценки разнообразных сообщений. «Когда состоится очередное совещание работников транспорта?» – -запросили вы министерство. Какое количество информации вы должны получить в ответ? Неопределенности здесь гораздо больше, чем в опытах с черными и белыми шарами. Там вы могли ожидать только два различных исхода. А здесь вам могут назвать любой месяц и любое число. В году 365 дней, и, пока вы не получили ответа, любой из них имеет для вас одинаковую вероятность:
P1 = P2 = ... = P365 =
1
365
Формула Шеннона поможет нам выразить эту неопределенность количеством бит:
I =
365
∑
i=1
Pi log Pi
Если действовать так, как велит эта формула, придется, набравшись терпения, выписать все члены Pilog Pi от P1 до P365 и сложить их между собой.
Но в данном случае расчет производится проще: сложение можно заменить умножением, потому что все вероятности Pi равны. Значит,
I =
(
1
365
·log
1
365
)
·365 = log
1
365
= – log 28,5 = 8,5 бита.
Но вот пришел, наконец, ответ организаторов совещания, и неопределенность исчезла: в ответе указана точная дата – пятое августа. В каждом слове этого сообщения содержится определе-н'ное количество информации. Слово «август» позволяет отметить один из 12 месяцев. В нем содержится:
I1 =
12
∑
i=1
Pi log Pi =
(
1
12
·log
1
12
)
·12 = – log 23,6 = 3,6 бита.
Слово «пятое» позволяет выбрать из 31 дня данного месяца интересующий нас день совещания.
Значит,
I2 =
31
∑
i=1
Pi log Pi =
(
1
31
·log
1
31
)
·31 = – log 24,9 = 4,9 бита.
А в целом полученное сообщение дало нам как раз то количество информации, которое мы ожидали: I(сообщения) = I1 + I2 = 3,6 + 4,9 = 8,5 бита.
Видите, как все получается просто: чтобы узнать количество информации, содержащейся в сообщении, надо учесть число бит в каждом его элементе (слове, букве, числе, импульсе) и сложить их между собой4.
Бывают случаи, когда подсчитать количество информации очень несложно. Например, количество информации, содержащейся в сообщении о том, что Ботвинник играет черными, составляет ровно 1 бит. В самом деле, до получения этого сообщения вы могли предполагать, что черные фигуры окажутся или у Ботвинника, или у его партнера. Оба эти случая имели равную вероятность. Однако если вы знали о том, что прошлую партию Ботвинник играл черными, данное сообщение не несет вам никаких новых сведений – информация равна нулю. Зато сообщение о каждом ходе Ботвинника дает большое количество информации, потому что до его получения была полнейшая неопределенность: вы могли строить множество комбинаций, изыскивая лучший ход.
Если бы мы могли учесть все возможные комбинации и подсчитать вероятность каждого из ходов, наша формула позволила бы оценить эту информацию количеством бит. Однако сделать это не так-то просто: ход, который для Ботвинника имеет наибольшую вероятность, едва ли сделает какой-нибудь новичок. Значит, вероятность различных ходов зависит от опыта и умения шахматистов – от той информации, которая получена шахматистами еще задолго до игры. И не только от опыта. Иногда и настроение участников турнира может оказать существенное влияние на весь ход игры.
– Как вы сказали? Настроение?
До сих пор мы слушали все, о чем рассказывал нам ученый, не проронив ни единого слова, – настолько убедительной казалась нам его речь. Понятие информации казалось таким логичным и строгим, и вдруг...
– Значит, для того чтобы оценить здесь количество информации, надо учитывать настроение шахматиста? Разве такие вещи можно рассчитывать с помощью формулы?
– А почему бы и нет? – возражает ученый. – Разве настроение шахматиста, в свою очередь, не зависит от информации, от тех сведений и сообщений, которые он получил незадолго до начала игры?
«Но ведь это же чисто психологические вопросы!» – хотим возразить ему мы и вдруг вспоминаем, что информация – это удивительное колечко, которое катится все дальше и дальше, из одной области знаний в другую.
– Значит, психологию можно тоже оценивать в битах?
– Отчасти да. И с этим вы столкнетесь неоднократно. В нашем городе вас ожидает еще немало поразительных вещей. Но не все сразу.
Прежде всего вам надо как следует разобраться в том, каким образом удается самые разные сообщения оценить с помощью одних и тех же единиц. Не слишком ли отвлеченной, «неощутимой» кажется вам единица количества информации – так называемый бит? Вес можно определить с помощью весов и гири, объем – с помощью измерительных инструментов, время измеряется по часам, а энергия и сила тока – по отклонению стрелки прибора, включенного в электрическую цепь. Каким же прибором можно измерить количество информации? Оказывается, такой прибор уже существует. Правда, название «прибор» будет в этом случае, пожалуй, чересчур скромным – ведь речь идет об электронной вычислительной машине, которая не только измеряет (точнее – рассчитывает), но и использует и преобразует информацию, подобно тому как электрические приборы используют, преобразуют и измеряют электрический ток.
Было время, когда и обычная секунда казалась людям такой же неощутимой, каким сейчас кажется бит. Да что там говорить – мысль о том, что количество дней и баранов можно подсчитать с помощью одинаковых чисел, была, пожалуй, одной из самых непостижимых за всю историю развития человеческих знаний. Можно ли надеяться, что и бит со временем станет неизменным спутником нашего быта? Очевидно, можно. И вам будет приятно вспомнить, как вы в числе первых посланцев большого мира впервые встретились с битом в центре Нового Города, на площади Новых Идей.
Однако к делу. Вы теперь знаете, как измеряют количество информации, но еще не умеете измерить ее объем.
– Очевидно, надо построить спичечную коробку?
– Да, нечто похожее. Высота коробки будет соответствовать количеству информации, длина – времени передачи сигналов, а ширина – диапазону содержащихся в сигнале частот. Расчет объема информации напоминает расчет объема воды, подаваемой по трубе: чтобы найти этот объем, надо тоже перемножить три величины – скорость движения воды, время подачи и площадь сечения трубы.
Подсчитав объем информации, легче сравнивать различные способы ее передачи. Ведь прежде чем передать информацию по каналам связи, надо превратить все сообщения в какой-то сигнал. Одну и ту же информацию можно передать различным сигналом: все зависит от того, какой выбран код. Мы стараемся выбрать код таким образом, чтобы вся информация «размещалась» в самом малом объеме сигнала.
В жизни от нас часто требуют определенного объема знаний: например, знания физики в объеме школьной программы. Может быть, и объем знаний можно оценивать количеством бит? Представьте себе, что вы являетесь на экзамены и вас встречает... электронная машина! Вы отвечаете на вопросы, а машина подсчитывает количество информации, содержащейся в вашем ответе, и выдает точную оценку ваших знаний, выраженную количеством бит. Конечно, подобный пример – всего лишь шутка, ведь для оценки ответов по физике нужно знать не только объем, но и смысл информации по самым разнообразным вопросам. И все же шутка эта, как, впрочем, и всякая шутка, имеет определенный смысл. Можно, например, сконструировать такую машину, которая сможет задавать вопросы по правилам уличного движения и оценивать качество ответов по принципу «верно» или «неверно» («да» или «нет»).
Итак, все сведения, передаваемые по различным каналам связи, имеют определенный объем. Объемом обладают и телефонные переговоры, и сигналы, идущие к головному мозгу от руки, наткнувшейся на острый предмет, и звуки симфонической музыки, несущиеся по эфиру с другого материка. Когда теория информации решает задачи об объеме информации и о наилучшем способе передачи заданного объема, она не интересуется вопросом о том, для чего предназначена данная информация и какова ее ценность или смысл.
Нетрудно, например, подсчитать по формуле Шеннона, что количество информации, получаемой при извлечении одной карты из колоды, состоящей из 32 карт, составляет 5 бит. Это количество информации будет получено независимо от того, окажется ли вынутая наугад карта семеркой или тузом. Установленная правилами игры «ценность» той или иной карты не учитывается при расчете количества информации. Количество и объем информации, передаваемой по радио или телеграфу, не зависит от содержания или ценности тех сообщений, которые предстоит передать. Весь объем должен быть передан полностью, независимо от того, что в нем содержится: звуки джаза или биение пульса оперируемого больного, важное постановление или легкомысленный телефонный флирт.
Именно поэтому для сложного, многогранного понятия «информация» удается найти общие законы, такие же точные, как законы движения жидкости, текущей по трубе.
Именно поэтому теория информации сумела обобщить самые разнообразные виды сообщений, перевести их на единый и точный язык – язык математических формул.
Опыт многих десятилетий, проблемы различных областей науки, красоту и гибкость склонной к анализу и обобщениям человеческой мысли несут в себе скупые и педантичные математические значки.
Границы Нового Города
Давно уж окончен рассказ, но никто из нас не проронил ни единого слова. Мы пытаемся осмыслить то новое, что нам удалось узнать. Шары в ящике, телеграфный текст, звуки оркестра и оживающие на телевизионном экране кадры забытых лент – не такто легко усмотреть в этом нечто единое, чему можно найти общую меру, выражаемую количеством бит.
Но почему решили ученые, что при расчете количества информации не надо учитывать ее ценности? Ведь из книги и из доклада каждый из нас почерпнет именно то, что ему интересно и важно. Что ценно – то информация, а все остальное – пустые слова.
Почему же теория информации предлагает отбросить и ценность и смысл?
– Не от хорошей жизни, – соглашается с нами ученый. – Конечно, это несовершенство теории, которое надо будет как-то со временем исправлять. Уже стоит на повестке дня вопрос о создании теории семантической (смысловой) информации.
– Значит, на современном уровне теория информации попросту оторвалась от жизни? Ведь в жизни всякая информация имеет какую-то ценность и вполне определенный смысл!
– Да, конечно. Но жизнь сложна и многообразна. Чтобы найти для каких-то явлений четкий критерий, надо эти явления упрощать.
Сначала надо найти способ оценивать количество информации объективно, а уж потом решать, что ценко, а что не ценно, и как будет воспринимать информацию тот или иной человек.
– Для этого и придумали какую-то несуществующую информацию, вовсе лишенную смысла?
– Это абстракция. Вроде геометрических точек, которые не имеют размеров, и геометрических линий без толщины. Зато из них можно построить любые геометрические фигуры, а затем исследовать свойства этих фигур.
Для исследования реальных явлений науке часто приходится отвлекаться от их конкретных свойств. Нельзя создать на земле механического движения, при котором не возникало бы трения. Но до тех пор, пока Галилей не представил себе, как будет двигаться тело без трения, никаких законов движения нельзя было установить. Всем казалось, что скорость телеги определяется силой лошади. А Галилей сделал вдруг неожиданный вывод: сила лошади придает телеге не скорость, а ускорение. А трение замедляет движение. Не будь трения, не нужна была бы и лошадь – телега могла бы ехать сама!
Гениальная это была догадка. Благодаря ей Ньютон смог построить механику, объясняющую движение и земных механизмов, и небесных планет, и светил.
Шеннон сделал нечто подобное. Исключив понятие ценности, он сумел построить теорию, позволяющую рассчитать, сколько бит информации необходимо для управления станком и самолетом или для передачи будущим поколениям вкусов, склонностей и привычек отцов.
– Какая же сила заключена в этих битах?
– Сила? – задумчиво переспрашивает ученый. – Нет, информация – это не сила.
– Так почему же она управляет станком или целым заводом? Почему самолет, получающий информацию, может без участия человека совершать сложный полет? Почему с информацией связано все живое? Почему? Если она не сила и не энергия, то что же она такое?
– Вопрос довольно сложный. Сила, энергия – эти понятия хорошо известны науке. В настоящее время исследована природа механической, тепловой и электромагнитной энергии, изучаются свойства ядерных сил. Даже силы гравитации, благодаря которым все находящиеся на Земле предметы испытывают притяжение и обладают собственным весом, даже эти силы будут скоро до конца разгаданы современной наукой. Но информация... Она не имеет отношения ни к одной из перечисленных сил...
– Но и она участвует в самых разнообразных процессах!
– Да, участвует. И влияет на ход этих процессов. Но она имеет иную природу. Она связана с энтропией.
– С энтропией? Опять это непонятное слово. Что оно означает?
– Это слово пришло из физики, точнее – из термодинамики, одного из ее разделов. Происходит оно от греческого слова «тропэ», что означает «превращение». Термодинамика изучает процессы превращения тепловой энергии в механическую работу. Или в электричество. И для того чтобы объяснить, как это происходит, понадобилась энтропия.
– Ну, а при чем же здесь ящик с шарами, музыка, телеграфный текст?
– Как вам сказать... Видите ли, формула, которая красуется на этой колонне, как символ нашего города, тоже впервые появилась в термодинамике, а уж потом, много лет спустя, Шеннон применил ее для учета количества информации, которую содержит в себе телеграфный текст.
– Значит, эта формула просто «пришлась по вкусу»? И слово «энтропия» употребляется в Новом Городе совсем не в том смысле, который вкладывает в него физик?
Несколько мгновений ученый молчит.
– Вы сказали: «не в том смысле»? Да, так считают многие жители нашего города5.
– А вы?
– Я? Скажу вам прямо: ваши вопросы застали меня врасплох. Я уже много лет изучаю энтропию всяческих сообщений, но энтропия в физике – это не моя область. И едва ли кто-нибудь в нашем городе сможет дать вам четкий ответ на этот вопрос. Наш город исследует информацию и средства ее передачи. А ваш вопрос выходит за рамки этих проблем. Очевидно, тут надо идти от самых истоков. Что измеряли мы с помощью энтропии, извлекая из ящика черные и белые шары? Неопределенность опыта. Чем больше неопределенность, тем больше энтропия опыта, тем больше количество бит. А что выражает энтропия в термодинамике? То же самое. Электрическая энергия превращается в тепловую. Согласно законам термодинамики энтропия при этом должна возрасти. Почему? Да все потому же – возросла неопределенность: упорядоченное движение электронов по проводу превратилось в неопределенное, хаотическое тепловое движение. Все подчиняется той же формуле:
