Текст книги "Звуки и знаки"

Автор книги: Александр Кондратов

сообщить о нарушении

Текущая страница: 2 (всего у книги 18 страниц)

Числа, учебники и ЭВМ

Ни для кого не является секретом, что есть учебники хорошие и есть плохие. Опытный педагог порекомендует вам такой-то учебник, а такой-то брать отсоветует… Но на каком основании? На основании опыта, интуиции, наконец, своих взглядов. Но взгляды, как известно, бывают разные. Вот если бы можно было вычислять степень эффективности того или иного учебника! Тогда вместо споров о его достоинствах и недостатках можно было оперировать точными числами.

На первый взгляд все это кажется фантастикой. Однако первые попытки в этом направлении уже делаются. Не так давно в Минске с помощью ЭВМ сравнивалась эффективность учебников иностранных языков, и эта разработка белорусских ученых была удостоена серебряной медали ВДНХ… Вот вам и фантастика!

В основе знания языка – знание слов. Но сколько именно этих слов нужно дать в одном уроке учебника? И сколько слов вообще должен содержать словарный минимум? Чтобы новые слова усвоились, они должны встречаться и далее в учебнике, это очевидно. Но каким должен быть интервал между повторениями одного и того же слова?

Долгое время все эти вопросы решались на глазок, у одного педагога своя точка зрения, у второго – своя, третий считает ошибочными обе эти точки зрения и предлагает свою собственную. В наши дни союз педагогов, лингвистов, психологов, программистов и ЭВМ позволяет решать подобного рода вопросы с помощью точных чисел. Например, установлено, что темп введения новых слов не должен превосходить пяти процентов от всех слов, что встречаются в учебном тексте данного урока. А текст, содержащий 3,6 процента новых слов, оптимален – и прежние слова хорошо повторяются, и новые лучше всего усваиваются.

Чем большее число раз встретилось слово в уроке и во всем учебнике, чем более равномерно распределено оно по всему учебнику, тем учебник лучше. Интуитивно мы все понимаем это. Но как доказать интуицию числами? Попробуйте-ка произвести нужные подсчеты – и вы убедитесь, что без вычислительной машины тут никак не обойтись. Нужно подсчитать, сколько раз встретилось то или иное слово в каждом уроке и в упражнениях, сопровождающих урок. Нужно высчитать средние арифметические и средние квадрэтические отклонения для каждого слова по каждому уроку, затем суммировать данные по всему учебнику.

В одном учебнике ряд слов будет иметь лучшие показатели, чем те же показатели в другом. С другой стороны, в «худшем» учебнике будут и слова, и целые уроки с лучшими показателями, чем в первом. Параметров же, по которым вычисляем мы все эти показатели, у нас несколько. Значит, нужно еще вычислять по формулам значимость того или иного параметра… Словом, без ЭВМ во всей этой бухгалтерии не обойтись.

Вот такие подсчеты и провели белорусские исследователи, поручив ЭВМ сравнивать эффективность учебников. Разумеется, это только начало кибернетизации педагогики (ведь дело не только в количественных данных лексики, но и в ее качестве, да и не только в лексике). Трудно дать сразу ответы на все вопросы, над которыми бьется педагогика вот уже столько веков.

Еще одним конкретным примером союза лингвистики, математики, педагогики и ЭВМ являются работы, проводимые во многих странах мира и связанные со словами и числами.

Сколько нужно слов?

В любом языке мира насчитываются тысячи, десятки тысяч, а то и сотни тысяч различных слов, как, например, в русском, английском, немецком, французском и других, имеющих давнюю– письменную традицию. Все слова не знает даже носитель языка (вряд ли кто из русских знает значение тех четырехсот сорока тысяч слов, что собраны в академической картотеке Института русского языка).

Значит, изучая иностранный язык, мы должны заучить не все, а самые нужные, самые важные слова. Именно их должен включать словарь-минимум, что обязательно прилагается почти к каждому учебнику языка. Но тут возникает вопрос: сколько же слов должно быть в этом словаре-минимуме?

Одни специалисты полагают, что для чтения учебного текста достаточно и семисот пятидесяти слов, а при запасе в две с половиной тысячи можно читать простой неадаптированный текст с помощью словаря. Другие называют тысячу восемьсот – стольких слов, по их мнению, достаточно, чтобы понимать речь на чужом языке и вести на нем повседневное общение.

Шестая Международная ассоциация преподавателей современных языков рекомендует тысячу пятьсот – три тысячи слов на шесть лет обучения. Нашей программой для языковых вузов и факультетов иностранных языков установлен минимум в пять тысяч слов, причем на первом курсе должно быть усвоено восемьсот слов. Программа для неязыковых вузов рекомендует на два года обучения минимум в две с половиной тысячи слов, из них тысячу двести – для активного усвоения.

Согласимся с программой для вузов. Однако тут встает очередной вопрос: а какие именно слова нужно включать в словарь-минимум? Понятно, что самые важные, самые употребительные. Предлоги, местоимения, союзы… Правда, их не так-то уж и много в любом языке, А дальше? Какие глаголы, прилагательные, существа тельные нужно знать наизусть, а какими можно и не обременять свою память?

Казалось бы, словари-минимумы в учебниках должны совпадать. Если не полностью, то хотя бы на три четверти, хотя бы наполовину… Когда же специалисты сравнили шестнадцать разных учебников французского языка для американских школ, то обнаружили, что общими для них является примерно два процента слов! В учебниках насчитывалось в общей сложности шесть тысяч разных слов. И только сто тридцать четыре из них входили во все словари-минимумы!

Представим, что два американца, изучив французский по разным учебникам, попробуют общаться друг с другом на этом языке. Вряд ли они поймут друг друга: ведь общими у них будет менее полутораста слов.

Ту же печальную картину показал анализ и других словарей-минимумов. Десять учебников испанского языка содержали четыре с половиной тысячи слов, общими же было двести сорок девять. А в двадцати шести учебниках того же испанского языка было обнаружено тринадцать тысяч слов. Хороший же словарь-минимум для тех, кто изучает испанский язык! Требовать от новичков, изучающих иностранный язык, знания всех этих слов нелепо и бессмысленно, не всякий переводчик-профессионал их знает.

Какие же слова считать употребительными, а какие нет? Ответ на этот вопрос дает статистика, так называемые частотные словари.

Частоты и слова

Чем чаще встречается в текстах слово, тем оно употребительнее, или, говоря языком математики, имеет большую частоту. Но как избежать слов, характерных только для данного текста, а в других почти не встречающихся? Самый лучший путь – брать не один источник, а несколько. А затем, подсчитав, сколько раз встречаются в этих книгах различные слова, сравнить результаты. Если они совпадают, то слово действительно является частым (или редким). Если не совпадают, то, значит, в одном из текстов оно было завышено из-за сюжета или пристрастия автора к этому слову.

Так, весьма частое для «Капитанской дочки» слово крепость, встретилось всего лишь в четырнадцати источниках из ста тридцати трех. Значит, слово это отнюдь не частое и занимает скромное место в списке самых употребительных слов русского языка. А составляй мы список лишь по «Капитанской дочке», то оно вошло бы едва ли не в первую двадцатку самых ходовых слов нашего языка!

В «Истории Пугачева» оно встречается еще чаще – сто тридцать четыре раза (ведь там речь то и дело идет о крепостях, взятых Пугачевым). В «Путешествии в Арзрум» оно встречается шестнадцать раз. Зато во всех художественных произведениях (кроме «Капитанской дочки») Пушкин употребил слово крепость всего один раз (в «Дубровском») и два раза в стихотворениях и поэмах.

Но не только количество разных текстов может гарантировать наши подсчеты от случайности. Не менее важно взять большой объем этих текстов. И чем он больше, тем вернее мы гарантированы, что никакие случайные факторы не повлияют на точность наших подсчетов.

Подсчеты частот слов производились давно: еще в средние века составлялись индексы к религиозным текстам, в которых указывалось, сколько и где упоминаются слова бог, ангел и т. д. Но только на пороге нашего века появляется серьезная потребность в частотных словарях. Первым таким словарем считается словарь немецкого языка, выпущенный в Берлине в 1897–1898 годах. Его составитель Ф. Кединг обработал колоссальный материал в одиннадцать миллионов слов!

Вслед за тем приходит черед частотных словарей английского языка. В Лондоне в 1904 году священник Дж. Ноулз составляет список из слов, которые встретились более двадцати пяти раз в текстах, объемом в сто тысяч слов.

Американец Р. Элдридж, управляющий небольшой фабрикой, где в основном работали иммигранты, за два года расписал на карточки двести пятьдесят статей из газет, составивших около пятидесяти тысяч слов, и подсчитал частоты этих слов.

Первоначально, как говорил Элдридж в предисловии к своему словарю, выпущенному в 1911 году, его целью было выявить минимум слов, который помог бы рабочим-иностранцам быстро овладеть разговорной речью. Но затем, продолжает Элдридж, он понял, что частотные словари могут принести и более существенную пользу, в том числе оказать помощь в реформе английской орфографии, которую справедливо называют «чудовищной».

Но частотные словари Ноулза, Элдриджа, а также ряд других, выпущенных в начале нашего века, были все-таки любительскими, ненадежными. Ноулз опирался на текст Библии, Элдридж – на текст газетных статей, другие авторы – на выборки из различных писем. Да и объем исследуемого материала был невелик. В двадцатых годах профессора Колумбийского университета Э. Торндайк и И. Лордж начинают работу над серией больших частотных словарей английского языка. Завершился их четвертьвековой труд выпуском крупнейшего в мире частотного словаря. Обработав различные тексты общим объемом в восемнадцать миллионов слов, ученые привели в своем словаре тридцать тысяч слов, которые встретились в этих текстах.

В настоящее время частотные словари созданы почти по всем европейским языкам. Словарь испанского языка, составленный Гарсиа Осом, создан на основании подсчетов четырехсот тысяч слов; словарь чешского языка – одного миллиона двухсот тысяч слов, польского – семи миллионов, французского – полутора миллионов и т. д.

Пришел черед и для частотного словаря русского языка. В настоящее время составлено пять таких словарей.

Пять частотных словарей

Интерес к русскому языку возрастает во всем мире. Русский учат в США и Анголе, в Японии и на Кубе, в Финляндии и Монголии, в Канаде и Эфиопии. Сколько же слов надо знать иностранцу, чтобы читать произведения русской классики? вести деловой разговор? объясниться с прохожим, приехав гостем в СССР?

Мы уже говорили о картотеке Института русского языка, где зарегистрировано четыреста сорок тысяч слов. В семнадцатитомном «Словаре современного русского языка» приводится сто пятьдесят тысяч различных слов. Вряд ли целесообразно иностранцу, решившему постичь великий и могучий русский язык, заучивать все эти слова, которые в полном объеме неведомы и русским людям. Ему нужен на первых порах минимум, слова самые употребительные, самые частые.

В 1953 году в американском городе Детройте выходит в свет первый частотный словарь русского языка. Его составитель Г. Г. Джоссельсон использовал тексты общим объемом в один миллион слов. Но так как основным материалом для анализа Джоссельсон взял произведения дореволюционных писателей, то в список часто употребляемых слов попало слово барин и другие подобные ему умершие в социальном смысле слова. Да и методика обработки материала была несовершенной. Короче говоря, словарь этот не отражал реальной картины современного русского языка и был лишь первым опытом.

Десять лет спустя в Таллине вышел «Частотный словарь современного русского литературного языка», составленный Э. А. Штейнфельдт на основании обработки четырехсот тысяч слов.

Однако и этого словаря оказалось недостаточно. Объем текстов, взятых для словаря Штейнфельдт, был невелик. Причем четвертую часть его составляли произведения детской литературы. Естественно, это повлияло и на общую картину: в список частых попали такие слова, как пионер, штаб и т. п.

В 1966 году университет штата Огайо выпустил частотный словарь «разговорного русского языка». Составлен он был на основании обработки пьес. Мы же, как известно, далеко не всегда говорим так, как персонажи пьес классических и даже современных. Вот почему университет дружбы народов имени П. Лумумбы в Москве выпустил в 1968 году свой словарь, более точно отражающий разговорную лексику. В словарь вошло две тысячи триста восемьдесят наиболее употребительных слов русской разговорной речи.

Наконец настал черед и монументального «Частотного словаря русского языка». Такой словарь был издан в нашей стране в 1977 году и занял почти тысячу страниц. Его составителями были сотрудники филологического факультета Ленинградского университета и лаборатории семиотики НИИ прикладной математики и кибернетики при Горьковском университете. С помощью ЭВМ они обработали тексты объемом в миллион слов,

В словаре в алфавитном порядке от союза а до прилагательного ящичный приводится около сорока тысяч различных слов, встречавшихся в тексте. Рядом со словом дана его частота, сначала общая, а затем по основным четырем категориям, на которые были разделены все тексты (художественная проза; драматургия; научные и публицистические тексты; газетные и журнальные тексты). Тут же приведено и число разных текстов, в которых встречалось данное слово (ведь эта характеристика не менее важна, чем абсолютная частота, которая, как уже говорилось, может зависеть от специфики текста, сюжета и т. п.).

Вслед за алфавитно-частотным словарем идет частотный. Слова даны здесь в порядке убывания частот. На первом месте стоит предлог в. Вместе со своим вариантом предлогом во он встретился в текстах почти сорок три тысячи раз! На втором месте по частоте употребления идет союз и, он встретился более тридцати шести тысяч раз. Отрицание не – на третьем месте (около двадцати тысяч раз), на четвертом – предлог на (свыше семнадцати тысяч). Местоимение я занимает пятое место – оно встретилось в текстах около четырнадцати тысяч раз.

Верхнюю часть списка наиболее употребительных слов занимают предлоги, союзы, частицы, местоимения. Лишь в четвертом десятке этих слов появляется глагол мочь, числительное один, а на шестом десятке – существительное год и прилагательное большой. Зато потом эти части речи занимают львиную долю списка.

Текстообразовательная способность

Третья часть «Частотного словаря русского языка» посвящена статистическим данным. И статистика, приводимая в ней, нужна не только специалистам по математической лингвистике или теории вероятностей. Она имеет важное значение в практике, в отборе слов для изучения русского языка.

В текстах, объемом в миллион слов встретилось около сорока тысяч словоупотреблений. Но свыше тринадцати тысяч различных слов употреблены были всего лишь один раз, около шести тысяч – два раза. Ясно, что слова эти редкие, их нельзя включить в словари-минимумы. Столь же ясно, что слова, имеющие частоту в несколько тысяч, в эти словари должны быть включены обязательно. Легко провести черту между очень частыми и очень редкими словами. Но как провести ее между словами не очень частыми и скорее частыми, чем редкими? Сколько нужно слов для словаря-минимума?

Вопрос этот мы уже задавали в самом начале нашего рассказа. Теперь, когда вы узнали о частотных словарях, переформулируем его: какую часть слов из списка самых частых мы должны брать – сотню слов? тысячу? десять тысяч?

На помощь лингвистике вновь приходит статистика.

Обратимся к нашему «Частотному словарю русского языка». Первые десять слов (ничтожнейшая часть от общего числа различных слов) покрывают почти двадцать процентов всего текста. Первая сотня самых частых слов составляет лишь четверть процента словаря. Зато в тексте она покрывает свыше сорока процентов всех слов. Первая тысяча слов, два с половиной процента всех слов словаря, покрывает свыше шестидесяти семи процентов текста.

Около девяти тысяч слов встретилось в текстах десять и более раз. Слова эти составляют менее четверти всего словаря. Зато покрывают они более девяноста процентов текста. Остальные же тридцать тысяч слов не покрывают и восьми процентов всех текстов. Очевидно, заучивать эти тридцать тысяч слов нецелесообразно. Знание же слов с частотой «десять» и более позволит понимать практически весь текст.

Может быть, и в списке слов, имеющих частоты «десять» и выше, также можно сделать сокращения? Первая тысяча слов частотного словаря, будь то русский, испанский, английский, французский, немецкий или любой другой язык, покрывает значительную часть текста, Какую – зависит не только и не столько от конкретного языка, сколько от стиля, типа речи.

В английском языке тысяча самых употребительных слов покрывает около семидесяти процентов литературных текстов и свыше восьмидесяти процентов – научных. Во французском языке та же тысяча самых частых слов покрывает около восьмидесяти процентов литературных текстов и свыше девяноста – разговорной речи.

Но какими бы ни были вариации, ясно, что чем больше мы будем удаляться от «верхушки» частотного словаря, тем больше понадобится нам различных слов для покрытия (а стало быть, и перевода) текста.

Возьмем французский язык. Первая тысяча слов дала возможность покрыть свыше девяноста процентов разговорной речи. Но если мы добавим еще тысячу слов, то прирост будет равен всего четырем процентам. А следующие три тысячи слов увеличат покрываемость текста немногим более трех процентов.

Примерно та же картина получится, если мы возьмем другие языки или другие стили. В среднем первая тысяча самых частых слов покрывает около восьмидесяти процентов всего текста. Увеличение списка еще на одну тысячу дает прирост порядка шести процентов. Добавление следующей, третьей, тысячи позволит покрыть около трех процентов, четвертой – около двух процентов, пятой – немногим более одного процента текста.

«Пользуясь этими данными, можно разумно планировать введение лексики в ходе преподавания иностранного языка, – пишут советские специалисты, говоря о помощи, которую статистика и лингвистика оказывают преподаванию языков. – Так, если согласиться с тем, что за одно занятие учащиеся неспециального вуза могут усвоить 12–18 словоформ, то через 7—10 занятий они должны будут знать не менее 120 словоформ, покрывающих более чем 50 % текста. В этом случае учащийся должен узнавать и переводить по отдельности каждое второе слово неадаптированного текста данной специальности. Через 30–40 занятий учащемуся будет знакомо уже около 500 словоформ, покрывающих в среднем около двух третей всех словоупотреблений текста, а к концу первого учебного года учащийся сможет узнавать около 1000 словоформ, покрывающих около 80 % текста».

Словари, словари, словари…

В чем отличие частотного словаря от любого другого? Прежде всего в том, что вместе со словом в нем приводится и частота употребления этого слова в тексте. Слова могут идти либо в алфавитном порядке, либо по убыванию частот. В «Частотном словаре русского языка», как мы уже говорили, дается и алфавитный, и частотный списки. Частотный словарь может быть полным, когда в нем приводится список всех слов, встретившихся в тексте, и неполным, когда дается лишь список слов, встретившихся с определенной частотой. Так, алфавитный список «Частотного словаря русского языка» – полный, а частотный – неполный, он дает лишь список слов с частотой «десять» и более, остальные тридцать тысяч слов, менее употребительных, в него не включены.

Объем материала, который лег в основу словаря, в значительной мере влияет и на состав этого словаря. В зависимости от того, сколько тысяч или миллионов слов текста обследовалось – или просчитывалось на электронно-вычислительной машине – выделяют малые, средние и большие частотные словари (так, первые частотные словари английского языка были, безусловно, малыми, а словарь Торндайка и Лорджа, составленный по текстам в восемнадцать миллионов слов, относится, разумеется, к большим).

Однако на словарь влияет и стиль, и тематика, и жанр, и авторская принадлежность того или иного текста. Вот почему различают частотные словари устной и письменной речи, словари общие (вроде нашего «Частотного словаря русского языка») и отраслевые (например, Е. А. Калининой с помощью ЭВМ составлен частотный словарь русского подъязыка электроники). Есть словари отдельных произведений, как классиков, так и современных авторов. Составлены «персональные» частотные словари – Пушкина, Шекспира, Шевченко и других.

Не менее важно и то, что именно фиксируется в словаре: исходная форма слова, словоформа, то есть слово в различных грамматических формах, основа слова или словосочетание. В таких языках, как китайский, разница между словарем основ и словоформ практически неощутима. В английском языке она уже заметна. Когда же мы обращаемся к такому языку, как русский, где множество падежей, глагольных форм и т. д., различие между исходной формой слова и словоформой огромно. Например, частотный словарь русского подъязыка электроники, составленный по текстам в двести тысяч слов, дал свыше двадцати одной тысячи различных словоформ и менее семи тысяч слов!

Частоты, приводимые рядом со словами, также различны. Это может быть абсолютная частота, указывающая, сколько раз в тексте встретилось то или иное слово. Частота эта может быть относительной, выраженной в процентах или вероятностях (ведь объемы словарей могут быть разными, в зависимости от них различны и абсолютные частоты). Во многих словарях приводятся и другие числовые характеристики, например количество источников, в которых встретилось то или иное слово.

Наконец, словари могут различаться по способу анализа материала. Обычно их составляют на основании выборок. Так, для «Частотного словаря русского языка» брались отрывки из произведений различных авторов – писателей и драматургов, ученых и публицистов. В их числе были Ленин и Калинин, Леонов и Шолохов, Вавилов и Тарле, Тимирязев и Ферсман.

Однако есть и другой метод – сплошное расписывание текста. Именно так составляется словарь языка писателя. Подобного рода словари начали составляться давно. В них включаются все слова, которые употребил тот или иной автор в своих произведениях. Существует уже множество словарей, посвященных отдельным произведениям, например «Божественной комедии» Данте, «Неистовому Орланду» Торквато Тассо, «Улиссу» Джеймса Джойса и другим (кстати сказать, «Улиссу» принадлежит своеобразный рекорд по числу различных слов: если в «Божественной комедии» их пять тысяч восемьсот шестьдесят, в «Неистовом Орланде» – восемь тысяч четыреста семьдесят четыре, то Джойс ухитрился употребить почти тридцать тысяч разных слов в одном романе!)

Словарь языка писателя нетрудно сделать и частотным – для этого надо только указать, как часто употреблялось то или иное слово. Именно таким словарем является «Словарь языка Пушкина», выпущенный в нашей стране в четырех томах. В нем приводятся данные о том, сколько раз встречается то или иное слово в Полном собрании сочинений Пушкина, в каких именно произведениях, в каких значениях и грамматических формах.

Около шестисот тысяч слов содержат все пушкинские тексты. Из них двадцать одна тысяча двести слов – различные. Свыше ста раз встречается лишь семьсот двадцать слов. Зато один раз во всех пушкинских текстах употребляется шесть тысяч четыреста сорок различных слов, два раза – две тысячи восемьсот восемьдесят слов, три раза – одна тысяча восемьсот слов. Это – не «опровержимое и точное свидетельство богатства Пушкинского словаря, своеобразия его лексики.

Это, так сказать, общая статистическая картина. В последнее время в нашей стране появляются работы, в которых делается попытка на основании частотного словаря дать характеристику своеобразной модели мира, которая лежит в основе творчества каждого большого поэта. Большие поэты, как известно, проходят на своем пути этапы развития, вехи которых – поэтические сборники или поэмы. Сопоставление частотных словарей, составленных по отдельным сборникам, позволяет выразить в числах и точно сформулировать то, что интуитивно чувствует читатель.

Вот, например, сравнение частотных словарей по сборнику стихов Бориса Пастернака «Сестра моя жизнь» и Осипа Мандельштама «Камень» (сборники эти вышли почти одновременно и признаны едва ли не высшими достижениями в творчестве этих поэтов). Если откинуть все служебные слова, союзы и прочий «грамматический фон», то самым частым существительным у Пастернака является ночь, вслед за ним идут слова глаза, губы, звезда, сад. В «Камне» Мандельштама самое частое существительное – Рим, затем мир, сердце, печаль.

Еще более разительный контраст получается, если сгруппировать существительные по «смысловым полям»: природа, вещи, человек, культура и история. Слова, относящиеся к «полям» человек и вещи, употребляются обоими поэтами примерно одинаково. Но если у Пастер» нака «поле» природа включает половину всех слов, то у Мандельштама – менее тридцати процентов. И, наоборот, «поле» культура и история у Пастернака занимает три процента слов, а у Мандельштама – почти двадцать!

Смысловое «поле» флора у Пастернака содержит свыше сотни названий растений и слов, имеющих прямое отношение к растительному царству (грядка, шишка и т. п.). У Мандельштама в «Камне» лишь двенадцать названий растений. Пастернаковский «зоопарк» состоит почти из полусотни названий живых существ, от бациллы и стафилококка до ехидны и мамонта. Еще двадцать пять слов связаны с животным миром (рыба, гнездо, хвост и т. п.). Фауна Мандельштама бедней, всего лишь двадцать одно животное.

Сопоставление подобного рода смысловых «полей», частот отдельных слов и групп слов ярко показывает различие между моделью мира, запечатленной Пастернаком в сборнике «Сестра моя жизнь», где чувства человека слиты в неразрывное целое с окружающей природой, и моделью мира Мандельштама, выраженной в сборнике «Камень», где история и культура органически связаны с человеческим бытием. А если бы у нас был частотный словарь по произведениям Маяковского, написанных в ту же пору, когда писались «Камень» и «Сестра моя жизнь», мы бы наглядно убедились в том, что модель мира великого пролетарского поэта была совсем иной, она обращена была на революцию, опрокинувшую старый строй.