В этом месяце исполняется сто лет со дня рождения американского инженера и математика Клода Элвуда Шеннона (1916—2001), чья статья «A Mathematical Theory of Communication» (1948) указала методы оптимальной передачи по каналам связи потока сообщений, исходя из их вероятностных, статистических характеристик; его результаты стали активно применять в отрасли связи. Сам Шеннон с конца 50-х почти не публиковал статей по своей теории и не участвовал в конференциях: он занялся другими делами — конструировал разные кибернетические устройства, искал пути построения ИИ. Когда его спрашивали, может ли машина мыслить, он отвечал: «Да, конечно. Я машина и вы машина, и мы оба мыслим, не так ли?».

Широкая общенаучная и даже общекультурная известность работы Шеннона объясняется её толкованием как «теории информации». Каждый постоянно сталкивается с различной информацией, и многие люди решили, что теперь появилась теория всех этих информационных процессов. Однако постепенно пришло понимание, что Шеннон рассмотрел лишь один, хотя и очень важный для связистов, аспект многогранного понятия информации. Поэтому нельзя считать, что он создал теорию информации, — начались попытки построить более общую теорию, которая охватывала бы смысл сообщений (семантику), их полезность (прагматику) и другие свойства. Об этом я кратко рассказал в статье «Мы сделаны из вещества того же…», опубликованной в ХиЖ (1995, № 3): <Вещество>.

С тех прошло 20 лет, и можно констатировать, что общая теория информации так и не возникла. Приведу несколько соображений о том, как в общих чертах она могла бы, на мой взгляд, выглядеть.

Давно высказана мысль, что теория информации должна рассматривать (помимо каналов связи) приёмники и передатчики сообщений. Они обычно представляют собой сложные кибернетические системы с памятью, набором знаний (внутренней моделью мира, тезаурусом), своими целями функционирования. Для такой системы получить информацию — значит, изменить своё состояние (свой тезаурус), и мерой полученной ею информации должна стать именно величина этих изменений. Объём тезауруса может увеличиваться (при получении новых сведений ) или уменьшаться, если удаётся (благодаря сообщению) сжать имеющиеся данные — в обоих случаях сообщение несёт определённую информацию; но оно может быть тривиально или бессмысленно, тогда оно не изменит тезаурус — информации нет. Конечно, для сверхсложных систем (вроде научных знаний человека) количественно оценивать подобные изменения тезауруса очень трудно, но, скажем, для компьютерных программных комплексов это в принципе возможно.

Далее, действует принцип экономии: система стремится наиболее коротко представлять имеющиеся знания. Часто встречающиеся в памяти или сообщениях комбинаций слов, символов и т.д. запоминаются под каким-то именем (вводятся новые понятия, макрокоманды и т.п.). На это затрачивается память, но в целом происходит выигрыш, экономия памяти. Так же и в коммуникации: сообщить корреспонденту определение нового понятия (затрата), а потом использовать это понятие для укорочения сообщений. Вообще, информационные процессы похожи на экономические: сначала вкладываются средства, которые потом окупаются и приносят прибыль.

В идеале должен произойти синтез разных подходов к построению теории информации (см. мою статью) — семантического (изменение тезауруса), алгоритмического (когда оценивается длина наиболее короткого описания, причём в информационных процессах большую роль играет комбинаторика — ищутся минимальные описания конечных совокупностей объектов; возможно, подходящим математическим аппаратом окажется комбинаторная геометрия — см. мою статью «Мысли о мышлении», ХиЖ, 1989, № 7: <Мышление>) и других. Естественно, общая теория должна включить в себя и статистический (шенноновский) подход.

Как мы помним, в модели коммуникации Шеннона полученное сообщение тем более информативно, чем менее оно было ожидаемо. Давайте каждому возможному сообщению отведём некоторое его описание, длина которого будет пропорциональна его вероятности; описание всей ситуации в целом — это сумма описаний всех возможных исходов (ведь мы в жизни так и поступаем: более подробно рассматриваем наиболее вероятные вещи, и кратко — маловероятные). Тогда при осуществлении определённого исхода ликвидируются описания всех других, и общее изменение длины описания будет тем больше, чем менее вероятен данный исход. То есть качественно результат будет такой же, как у Шеннона (можно достичь и количественного, формульного соответствия).

Таковы мои прожекты. Как говорится, осталось немногое — начать и кончить.