Текст книги "Прикладное программное обеспечение: системы автоматической обработки текстов"

Автор книги: Михаил Мальковский

Соавторы: И. Полякова,Татьяна Грацианова
сообщить о нарушении

Текущая страница: 3 (всего у книги 6 страниц)

2.2.3. Основные программы

Морфологический анализ знакомых слов. Программа МОРФ1

Программа МОРФ1 строит все возможные разбиения входной словоформы на основу и флексию и ищет соответствующие части в словаре (первоначально МОРФ1 пытается найти в словаре совпадающее со словоформой Н-слово, а затем последовательно рассматривает словоформу как основу с пустой флексией, основу с флексиями длиной 3, 2 и 1) или неизменяемое слово.

Проверку правильности разбиения – сочетаемости основы и флексии – осуществляет вспомогательная программа, она же устанавливает значения ГП, определяемые флексией. Когда МОРФ1, отщепив флексию, не может найти полученную основу в словаре, происходит обращение к подпрограмме, применяющей к основе правила чередования. Если и после применения правил чередования найти основу в словаре не удалось, слово признается незнакомым и формируется обращение к программе морфологического анализа незнакомых слов МОРФ2 – список вариантов трактовки словоформы (грамматически корректные разбиения на основу и флексию, неизменяемое слово).

Результат работы МОРФ1 (для знакомого слова) – список вариантов анализа, каждый из которых содержит: грамматические признаки словоформы и ссылку на словарную статью, описывающую семантическое значение слова.

Примеры:

стекла ? (7 2 3 1 2) – существительное (неодуш.,ср.род) стекло

в форме: ед.число, родит.падеж

(7 2 3 2 (1 4)) – существительное (неодуш.,ср.род) стекло

в форме: мн.число, именит. или винит.падеж

(9 1 1 3 2 1 1) – глагол стечь

в форме: прош.вр., женск.род, ед.число

Упрощенный вариант программы МОРФ1 – программа МОРФ3 – решает так называемую задачу лемматизации: определяет только начальную форму слова, не формируя список грамматических характеристик словоформы.

Примеры:

стеки ? стек, стечь

стекла ? стекло, стечь

стеками ? стек

Морфологический анализ незнакомых слов. Программа МОРФ2

На вход программы поступает сформированный МОРФ1 список вариантов трактовки словоформы.

Пример (словоформа квазибиологом):

квазибиологом+? (ср. космодром/управдом)

квазибиолог+ом (ср. биолог+ом)

квазибиологом (ср. бегом)

При обработке незнакомого слова МОРФ2 учитывает флексию и строение основы. В большинстве случаев исследование флексии не позволяет однозначно установить не только П-класс, род слов субстантивного склонения, вид спрягаемых слов, но даже М-класс анализируемого слова, так как, например, флексия -а встречается у слов всех четырех рассматриваемых М-классов (класс-а, красив-а, дядин-а, ворош-а). Для уточнения грамматических признаков незнакомых слов МОРФ2 учитывает следующие составляющие (диагностические сегменты) основы: префикс, суффикс или некоторую цепочку букв в конце основы, последнюю букву основы.

По префиксу можно обнаружить некоторые Н-слова и установить вид некоторых глаголов. Анализ суффикса помогает установить М-класс, П-класс, род (а иногда и одушевленность) слова субстантивного склонения, вид глагола или даже все нужные (описываемые в словарной статье) грамматические признаки слова. По последней букве основы легко уточняется П-класс, а иногда и М-класс слова. Программа МОРФ2 работает с таблицами, содержащими 28 префиксов и 67 суффиксов. Анализ незнакомого слова МОРФ2 начинает с варианта расщепления с максимальной длиной флексии.

Если анализируется не отдельно взятое слово, а слово в составе предложения, появляется возможность учета контекста (синтаксических связей данного слова с соседними). Информация о контексте передается программам морфологического анализа от объемлющих их программ синтаксического анализа с помощью предсказаний – списка ожидаемых грамматических признаков обрабатываемого слова. Так, при анализе незнакомого слова Верхневартовск в контексте приехала из далекого Верхневартовска ожидаемые характеристики последнего слова фрагмента таковы: неодушевленное существительное в форме единственного числа, родительного падежа.

В таких ситуациях результат работы МОРФ2 сопоставляется с предсказаниями, и, в случае соответствия, запоминается. Если же предсказание не подтвердилось, начинает обрабатываться другой вариант разбиения словоформы. Если ожидаемый результат не получен, либо слово признается неизменяемым, либо в нем ищутся и исправляются ошибки.

Для каждого отобранного варианта формируются результаты анализа словоформы (и вариант/варианты новой словарной статьи).

Пример (словоформа квазибиологом):

(7 0 1 1 (1 4)) – существительное (одуш. или неодуш., ср.род)

квазибиологом в форме: ед.число, именит. или винит.падеж

(7 1 1 1 5) – существительное (одуш.,муж.род)

квазибиолог в форме: ед.число, творит.падеж

(11) – неизменяемое слово (возможно, наречие)

Заполнение словаря по грамматическим описаниям слов. Программа СЛОВ1

Основная сервисная программа автоматической генерации словарных статей – программа СЛОВ1. В ходе ее разработки были составлены таблицы соответствия словарной информации из словаря Зализняка и словарной информации ФМРС. Отметим, что программа СЛОВ1 автоматизирует трудоемкую, требующую хорошего знания ФМРС работу по составлению словарных статей. Действия, выполняемые программой, зачастую весьма нетривиальны из-за различий морфологической модели словаря Зализняка, и ФМРС. На вход программы поступает словарная статья, взятая из словаря Зализняка или (если такого слова там нет) сформированная экспертом.

Программа автоматически определяет: 1) основу записываемого в словарь системы слова; 2) номера М-класса, П-класса, С-класса; 3) наличие чередований и их контекст; 4) наличие других частных особенностей словоизменения. При работе с программой СЛОВ1 словарные статьи кодируются по определенным стандартным правилам, в частности, заменяются символы, отсутствующие на клавиатуре (например, цифра в кружке заменяется на цифру в круглых скобках).

По первому элементу словарной информации из словаря Зализняка в большинстве случаев определяется номер М-класса, у слов субстантивного склонения также одушевленность и род, у спрягаемых слов – вид. Если, например, этот элемент "п", то слово относится к 8-му М-классу; "ж" – к 7-му М– классу, женскому роду, неодушевленное; "мо" – к 7-му М-классу, мужскому роду, одушевленное; "нсв" – к 9-му М-классу, несовершенному виду.

После определения М-класса происходит переход на соответствующую ветвь алгоритма, где по второму элементу – цифре – определяется номер П-класса. Если второй элемент – не цифра (это означает, что слово изменяется по необычной модели), то СЛОВ1 фиксирует несовпадение номера С-класса с номером М-класса (т.е. наличие соответствующего исключения) и формирует необходимый фрагмент словарной статьи.

Остальные элементы исходной словарной статьи либо уточняют номер П-класса, либо свидетельствуют о наличии в слове чередований, исключений или об отсутствии у слова некоторых форм. Например, символ "П2" означает, что у слова есть второй предложный падеж (локатив), символ "*" является признаком чередования. Для определения конкретного номера чередования СЛОВ1 анализирует строение начальной формы слова. Так, при обработке первого варианта слова лев номер чередования (4 – чередование: ь – е) определяется по буквам ле, стоящим перед последней согласной основы (буква в в данном случае неинформативна). Стандартный вариант основы (льв-) определяется по номерам П-класса и чередования.

Результатом работы программы СЛОВ1 является словарная статья или список таких словарных статей – в случае, когда слово из словаря Зализняка представляется в ФМРС семейством Н-слов и/или основ И-слов (для спрягаемых слов, например, программа строит словарную статью, описывающую личные формы глагола и деепричастия, и несколько статей для причастий).

Заполнение словаря по тексту. Программа СЛОВ2

Программа СЛОВ1 используется в ситуации, когда список слов, предназначенных для включения в компьютерный словарь, составлен заранее. Другая технологическая схема предполагает автоматизацию не только этого, но и предыдущего этапа – этапа выявления незнакомых слов по характерным текстам.

Отдельные программы различаются:

– глубиной лингвистического анализа текста (пословный анализ, частичный синтаксический анализ, полный синтаксический анализ, синтактико-семантический анализ);

– "степенью самостоятельности" программ формирования словаря (работа без обращения за помощью к человеку, работа в диалоге с пользователем/администратором и под его контролем)

При пакетной обработке текстов на печать выдается так называемый "протокол формирования словаря", в который могут вставляться вопросы, адресуемые администратору. Рассмотрим фрагмент протокола диалога администратора-лаборанта с программой пословного анализа текста (будем считать, что слова: колба, стержень, стекло, стечь – отсутствуют в словаре):

* РАБОТАЕТ ПРОГРАММА ФОРМИРОВАНИЯ СЛОВАРЯ ПО ТЕКСТУ *

УКАЖИТЕ, ПОЖАЛУЙСТА, ОТКУДА БУДЕТ ВВОДИТЬСЯ ТЕКСТ

(К – С КЛАВИАТУРЫ, ‹ИМЯ ФАЙЛА› – ИЗ ВНЕШНЕГО ФАЙЛА)

К

ВВОДИТЕ ТЕКСТ. ПРИЗНАК КОНЦА – //.

ВНУТРИ КОЛБЫ РАСПОЛАГАЕТСЯ СТЕРЖЕНЬ, ВЫПОЛНЕННЫЙ ИЗ

СТЕКЛА. ЧЕРЕЗ СТЕРЖЕНЬ ... //

ВЫБЕРИТЕ РЕЖИМ РАБОТЫ, УКАЗАВ НОМЕР РЕЖИМА:

1 – ЗАПИСЬ СЛОВАРНЫХ СТАТЕЙ В БУФЕР БЕЗ ВЫДАЧИ ИНФОРМАЦИИ

2 – ЗАПИСЬ СЛОВАРНЫХ СТАТЕЙ В БУФЕР С ВЫДАЧЕЙ ИНФОРМАЦИИ

3 – ФОРМИРОВАНИЕ СЛОВАРНЫХ СТАТЕЙ С ПОМОЩЬЮ ПОЛЬЗОВАТЕЛЯ

3

ПЕРВАЯ ФРАЗА: НЕЗНАКОМЫЕ СЛОВА: КОЛБЫ, СТЕРЖЕНЬ, СТЕКЛА

СЛОВО 'КОЛБЫ' – СУЩЕСТВИТЕЛЬНОЕ? (Д/Н)

Д

К КАКОМУ РОДУ ОТНОСИТСЯ СУЩЕСТВИТЕЛЬНОЕ 'КОЛБЫ'? (М/Ж/С)

Ж

ЯВЛЯЕТСЯ ЛИ ОНО ОДУШЕВЛЕННЫМ? (Д/Н)

Н

К КАКОМУ РОДУ ОТНОСИТСЯ СУЩЕСТВИТЕЛЬНОЕ 'СТЕРЖЕНЬ'? (М/Ж/С)

М

ЯВЛЯЕТСЯ ЛИ ОНО ОДУШЕВЛЕННЫМ? (Д/Н)

Н

СЛОВО 'СТЕКЛА' – ГЛАГОЛЬНАЯ ФОРМА? (Д/Н)

Н

К КАКОМУ РОДУ ОТНОСИТСЯ СУЩЕСТВИТЕЛЬНОЕ 'СТЕКЛА'? (М/Ж/С)

С

СФОРМИРОВАНЫ СЛОВАРНЫЕ СТАТЬИ С ОСНОВАМИ:

КОЛБ-, СТЕРЖН-, СТЕКЛ-.

ВТОРАЯ ФРАЗА: ...

...

Морфологический синтез форм слова. Программа ФОРМ1

По словарной статье (знакомого слова) и набору значений ГП строится соответствующая словоформа.

Примеры:

ЛЕВ (животное), творит.падеж, ед.число (7 0 0 1 5) ? ЛЬВОМ

ЛЕВ (ден.единица), творит.падеж, ед.число (7 0 0 1 5) ? ЛЕВОМ

Морфологический синтез парадигмы. Программа ФОРМ2

По словарной статье (знакомого слова) строится массив всех форм этого слова. Порядок элементов массива определяется номером М-класса.

Примеры:

синтез всех форм знакомого существительного КАССИРША

КАССИРША КАССИРШИ – им.падеж, ед. и мн.число

КАССИРШИ КАССИРШ – род.падеж, ед. и мн.число

КАССИРШЕ КАССИРШАМ – дат.падеж, ед. и мн.число

КАССИРШУ КАССИРШ – вин.падеж, ед. и мн.число

КАССИРШЕЙ КАССИРШАМИ – твор.падеж, ед. и мн.число

КАССИРШЕ КАССИРШАХ – предл.падеж,ед. и мн.число

синтез всех форм знакомого глагола ВОРОШИТЬ

ВОРОШИТЬ – начальная форма

ВОРОШИ ВОРОШИТЕ – формы повелит. наклонения

ВОРОШУ (БУДУ ВОРОШИТЬ) – 1 лицо,ед.ч,наст.и буд.вр.

ВОРОШИШЬ (БУДЕШЬ ВОРОШИТЬ) – 2 лицо,ед.ч,наст.и буд.вр.

ВОРОШИТ (БУДЕТ ВОРОШИТЬ) – 3 лицо,ед.ч,наст.и буд.вр.

ВОРОШИМ (БУДЕМ ВОРОШИТЬ) – 1 лицо,мн.ч,наст.и буд.вр.

ВОРОШИТЕ (БУДЕТЕ ВОРОШИТЬ) – 2 лицо,мн.ч,наст.и буд.вр.

ВОРОШАТ (БУДУТ ВОРОШИТЬ) – 3 лицо,мн.ч,наст.и буд.вр.

ВОРОШИЛ ВОРОШИЛА ВОРОШИЛО ВОРОШИЛИ – формы прош.времени

ВОРОША ВОРОШИВ – деепричастия

Рассмотрим примеры, показывающие возможность комбинирования отдельных программ библиотеки "Русская морфология". Пусть написана управляющая программа, получающая на входе некоторую словоформу, обращающаяся к программе МОРФ1 (и – если слова нет в словаре – к МОРФ2) и генерирующая все формы (программа ФОРМ2) для каждого варианта анализа. Среди этих форм обязательно должна быть входная словоформа.

Примеры:

обработка незнакомого слова ХРЮША

ВАРИАНТ 1

склонение по образцу слова НОЖ/БОГАЧ

* значение ГП "одушевленность" неизвестно *

ХРЮШ ХРЮШИ

ХРЮША ХРЮШЕЙ

ХРЮШУ ХРЮШАМ

ХРЮША / ХРЮШ ХРЮШЕЙ / ХРЮШИ

ХРЮШОМ ХРЮШАМИ

ХРЮШЕ ХРЮШАХ

ВАРИАНТ 2

склонение по образцу слова МАРШ

* значение ГП "одушевленность" неизвестно *

ХРЮШ ХРЮШИ

ХРЮША ХРЮШЕЙ

ХРЮШУ ХРЮШАМ

ХРЮША / ХРЮШ ХРЮШЕЙ / ХРЮШИ

ХРЮШЕМ ХРЮШАМИ

ХРЮШЕ ХРЮШАХ

ВАРИАНТ 3

склонение по образцу слова ТУЧА/КАССИРША

* значение ГП "одушевленность" неизвестно *

ХРЮША ХРЮШИ

ХРЮШИ ХРЮШ

ХРЮШЕ ХРЮШАМ

ХРЮШУ ХРЮШ / ХРЮШИ

ХРЮШЕЙ ХРЮШАМИ

ХРЮШЕ ХРЮШАХ

ВАРИАНТ 4

склонение по образцу слова СВЕЖИЙ

ПОХРЮШЕЕ ХРЮШЕЕ

ХРЮШ ХРЮША ХРЮШЕ ХРЮШИ

ХРЮШИЙ ХРЮШАЯ ХРЮШЕЕ ХРЮШИЕ

ХРЮШЕГО ХРЮШЕЙ ХРЮШЕГО ХРЮШИХ

ХРЮШЕМУ ЖРЮШЕЙ ХРЮШЕМУ ХРЮШИМ

ХРЮШЕГО amp; ХРЮШИЙ ХРЮШУЮ ХРЮШЕЕ ХРЮШИХ amp; ХРЮШИЕ

ХРЮШИМ ХРЮШЕЙ ХРЮШИМ ХРЮШИМИ

ХРЮШЕМ ХРЮШЕЙ ХРЮШЕМ ХРЮШИХ

ВАРИАНТ 5

спряжение по образцу слова ТОЧИТЬ/СЛЫШАТЬ

ХРЮШИТЬ

ХРЮШИ ХРЮШИТЕ

ХРЮШУ (БУДУ ХРЮШИТЬ)

ХРЮШИШЬ (БУДЕШЬ ХРЮШИТЬ)

ХРЮШИТ (БУДЕТ ХРЮШИТЬ)

ХРЮШИМ (БУДЕМ ХРЮШИТЬ)

ХРЮШИТЕ (БУДЕТЕ ХРЮШИТЬ)

ХРЮШАТ (БУДУТ ХРЮШИТЬ)

ХРЮШИЛ ХРЮШИЛА ХРЮШИЛО ХРЮШИЛИ

ХРЮША ХРЮШИВ

ВАРИАНТ 6

неизменяемое слово типа АНТРАША

ХРЮША

Заметим, что если бы слово хрюша анализировалось с предсказаниями, результат был бы более точен. Так, при предсказании «существительное женского рода» был бы выдан только третий вариант, при предсказании «форма глагола» – только пятый.

обработка незнакомого слова КРОВАТЬ

ВАРИАНТ 1

спряжение по образцу слова ПИРОВАТЬ

* значение ГП "вид" неизвестно *

(выбран несовершенный вид)

КРОВАТЬ

КРУЙ КРУЙТЕ

КРУЮ (БУДУ КРОВАТЬ)

КРУЕШЬ (БУДЕШЬ КРОВАТЬ)

КРУЕТ (БУДЕТ КРОВАТЬ)

КРУЕМ (БУДЕМ КРОВАТЬ)

КРУЕТЕ (БУДЕТЕ КРОВАТЬ)

КРУЮТ (БУДУТ КРОВАТЬ)

КРОВАЛ КРОВАЛА КРОВАЛО КРОВАЛИ

КРУЯ КРОВАВ

ВАРИАНТ 2

склонение по образцу слова ПЕЧАТЬ

* значение ГП "одушевленность" неизвестно *

КРОВАТЬ КРОВАТИ

КРОВАТИ КРОВАТЕЙ

КРОВАТИ КРОВАТЯМ

КРОВАТЬ КРОВАТЕЙ / КРОВАТИ

КРОВАТЬЮ КРОВАТЯМИ

КРОВАТИ КРОВАТЯХ

ВАРИАНТ 3

неизменяемое слово типа ДЕСКАТЬ

КРОВАТЬ

Start to type here

3. Исправление ошибок в русскоязычных текстах

3.1. Проблема речевых ошибок

Использование естественного языка в качестве средства общения ( речевая деятельность человека) неизбежно сопровождается теми или иными нарушениями языковых правил. Такие нарушения – вне зависимости от того, обусловлены они неполнотой знаний человека о языке или же случайными сенсомоторными «сбоями» (описки, опечатки, оговорки) – мы будем называть речевыми ошибками.

В идеале обработка речевой ошибки предполагает соотнесение ошибочной речевой единицы с полным описанием языка и с контекстом рассматриваемого коммуникативного процесса. Лингвист (или другой специалист), занимающийся исследованием каких-либо теоретических аспектов проблемы речевых ошибок, например, их классификацией, и располагающий источниками, в которых содержится исчерпывающее описание единиц и правил того или иного естественного языка (словари, своды правил), находится в ситуации, достаточно близкой к такому идеалу.

В случае же повседневной речевой практики – непосредственного (диалог) или опосредованного (чтение текста) речевого взаимодействия рядовых носителей языка – ситуация иная. Лингвистические знания рядового носителя языка неполны, воспользоваться справочной литературой он может далеко не всегда, а сам факт ошибки никаким явным образом в анализируемом тексте не указан.

Обнаружить речевую ошибку в этой ситуации непросто. Действительно, для получателя сообщения (реципиента) внешним признаком речевой ошибки служит появление в тексте какой-либо незнакомой ему речевой единицы. Однако такая "подозреваемая" речевая единица может оказаться и правильной конструкцией или формой (например, просторечным вариантом или термином), не знакомой реципиенту.

С другой стороны, абсолютно правильная на первый взгляд единица может быть ошибкой, обнаружить которую удается лишь на "высших" этапах анализа. Так, в предложении "Пуск ракеты осуществляется нажатием краской кнопки" все слова известны, синтаксические связи правильны; опечатка обнаруживается только на семантическом/ смысловом уровне.

Если одним из участников общения является компьютерная система, положение становится еще более сложным. И лингвистические знания, и интеллектуальные способности (в том числе – в плане работы с языком) такого "собеседника" пока весьма скромны. Однако, как мы уже знаем из материала 1-й главы, достаточно широко и успешно применяются системы обнаружения и исправления ошибок.

Отметим еще одно обстоятельство. Как бы ни разнились характер использования и назначение АОТ-систем (системы машинного перевода, автоматического реферирования или индексирования, работающие в пакетном режиме; системы обеспечения диалога с машиной на естественном языке), оснащение их средствами обнаружения и исправления речевых ошибок повышает устойчивость и эффективность функционирования таких систем, облегчает (в случае диалоговых систем) процесс общения человека с ЭВМ.

Классификация речевых ошибок

Первый критерий классификации речевых ошибок, в соответствии с которым ошибки подразделяются на мотивированные и случайные, связан с понятием индивидуальной языковой модели. Индивидуальная языковая модель (ИЯМ) – это то подмножество языковых единиц и правил, которое усвоил и использует в своей речевой практике конкретный носитель некоторого естественного языка. Субъективное преломление языка (как знаковой системы социального уровня) в процессе его усвоения приводит к тому, что в ИЯМ не попадают (или попадают в искаженном варианте) некоторые языковые единицы и правила языка.

Поэтому в речи конкретных носителей языка начинают проявляться некоторые индивидуальные особенности, либо вступающие в противоречие с языковыми нормами, либо нет.

В первом случае мы имеем дело с мотивированными речевыми ошибками – точнее, с ошибками, мотивированными особенностями ИЯМ конкретного носителя языка (автора анализируемого АОТ-системой текста). К ошибкам такого рода относятся, например, ошибки в словоизменении (контейнер? – в форме именительного падежа множественного числа), орфографические ошибки в основах (еденица), некоторые пунктуационные ошибки, смешение слов-паронимов (представить – предоставить), нарушение лексической сочетаемости (делать горе), искажение фразеологизмов (не так страшен черт, как его малютки).

Ошибки, обусловленные внешними по отношению к ИЯМ факторами: сбой речевого аппарата человека, несвоевременное переключение регистра клавиатуры, нажатие соседней клавиши, сбой на линии связи с ЭВМ – мы будем называть случайными.

Как правило, мотивированные речевые ошибки регулярно повторяются в речи носителя языка, а случайные ошибки могут как повторяться (например, при западании клавиши), так и не повторяться.

Отметим, что иногда отличить случайную ошибку от мотивированной сложно. Так, употребление слова представить вместо предоставить в контексте представлено право может быть или результатом случайной ошибки (пропуск буквы), или результатом мотивированной ошибки (смешения паронимов).

Мотивированные речевые ошибки могут различаться степенью серьезности (грамматичности). Помимо серьезных, абсолютно недопустимых грамматических ошибок – типа орфографических ошибок в основах или смешения слов – рассматриваются и ошибки, в результате которых появляются "полуграмматичные" формы (контейнер?, сидевши), которые имеют в словарях стилистические пометы: просторечное, устарелое, разговорное, областное и др.

Следующий критерий классификации ошибок (мотивированных и случайных) связан с языковыми уровнями, нормы (правила) которых оказываются нарушенными в результате речевых ошибок. В соответствии с этим критерием речевые ошибки можно классифицировать следующим образом:

1) орфографические ошибки: пропуск одной буквы, замена одной буквы, перестановка двух рядом стоящих букв, одна лишняя буква (отдельно может рассматриваться случай удвоения буквы), замена буквы русского алфавита буквой латиницы и др.;

2) морфологические (словоизменительный уровень) ошибки: ошибки в окончаниях (флексиях) при склонении и спряжении слов (рассматриваются различные подклассы таких ошибок), употребление отсутствующих в языке форм слов, несоблюдение правил чередования в основе, употребление незнакомых АОТ-системе вариантов слов, испытывающих колебания в роде, одушевленности;

3) синтаксические ошибки: ошибки в моделях управления слов-предикатов, пунктуационные ошибки, нарушение нормативного порядка слов (в том числе – в устойчивых словосочетаниях), вставка пробела внутрь слова, пропуск пробела (отдельно могут рассматриваются случаи слитного и раздельного написания частиц не и ни);

4) лексико-семантические ошибки: употребление слов в ненормативном значении, нарушение лексической сочетаемости, семантические противоречия.

Диагностика речевых ошибок

Методы обнаружения и исправления орфографических и морфологических ошибок в текстах широкой тематики базируются на представлении о тексте как о цепочке независимо появляющихся словоформ. Известно три основных метода обнаружения орфографических ошибок – статистический, полиграммный и словарный.

При статистическом методе словоформы, обнаруживаемые в тексте, упорядочиваются согласно частоте их встречаемости. Искаженные слова оказываются среди малоупотребительных слов в конце списка.

При полиграммном методе все встречающиеся в тексте двух– или трёхбуквенные сочетания (полиграммы) проверяются по таблицам, содержащим информацию об их допустимости в русском языке. Если в словоформе имеются недопустимые полиграммы, то она считается неправильной.

При словарном методе все входящие в текст словоформы проверяются по компьютерному словарю. Если словарь такую форму допускает, она считается правильной, а иначе либо сразу признаётся ошибочной, либо предъявляется человеку.

В настоящее время первые два метода практически не используются, т.к. уже есть хорошие компьютерные словари, достаточно большие по объёму и с эффективным доступом.

Диагностика же и исправление синтаксических, пунктуационных и лексико-семантических ошибок предполагает взгляд на текст как на последовательность связанных единиц, комбинирование которых имеет свои закономерности. Подходы к автоматизации выявления и коррекции этих ошибок можно разбить на две группы: синтаксически-ориентированные подходы и подходы, основанные на концептуальных фреймах. Последние больше пригодны для систем, работающих в строго ограниченных предметных областях. Для текстов широкой тематики предназначены синтаксически ориентированные подходы. Сначала поступившее на вход предложение обрабатывается средствами грамматики, рассчитанной на синтаксически правильный текст. Если такая проверка обнаруживает дефекты синтаксической структуры, некоторые условия ослабляются. Какие грамматические правила смягчаются, зависит от учитываемых системой ошибок. Например, в русских текстах иногда оказывается пропущенной запятая, обособляющая причастный оборот в постпозиции. Для того, чтобы такое предложение могло быть обработано, требуется временная отмена условия (присутствующего в каноническом правиле) обязательного наличия запятой. Однако ослабление канонических правил неизбежно влечёт за собой возрастание числа возможных интерпретаций. При этом нельзя опознать ошибочный текст прежде, чем будет закончен анализ средствами канонической грамматики. Другой подход предлагает сначала использовать слабую грамматику, а затем подвергнуть обрабатываемое предложение фильтрации на основе строгих требований правильности. Но при этом наличие ошибки предполагается более вероятным, чем соблюдение норм грамматики.

Также отметим, что описанные методы позволяют автоматически обнаружить ошибку только тогда, когда не удаётся построить связный синтаксический граф для рассматриваемого предложения. Однако ошибки, при которых возможно получение формально приемлемой, но по сути неверной интерпретации, остаются невыявленными. При этом никаких сообщений об ошибках не поступает.