Автоматическая расстановка запятых в русском тексте с помощью правил и машинного обучения

Формализация грамматических правил и синтаксический анализ

Русская пунктуация опирается на синтаксическую структуру, поэтому простым списком регулярных выражений здесь обойтись не получится. Правила должны опираться на синтаксические деревья зависимостей. Для этого используют библиотеки Natasha, Stanza или SpaCy, которые умеют определять части речи, морфологические признаки и связи между словами.

• Выделение предикативных основ для поиска границ между простыми предложениями в составе сложного
• Обнаружение деепричастных и причастных оборотов с фиксацией зависимых слов и позиции главного слова
• Сверка потенциальных вводных конструкций по встроенному словарю с проверкой их синтаксической роли в предложении
• Поиск однородных членов с повторяющимися или одиночными сочинительными союзами

Постановка задачи и архитектура гибридной системы

Задачу расстановки запятых обычно формулируют как бинарную классификацию для каждого межсловного промежутка или как задачу разметки последовательности (sequence labeling). На каждом пробеле алгоритм решает, нужен ли знак препинания. В гибридной системе важно четко разграничить зоны ответственности компонентов.

Один подход предполагает последовательную фильтрацию. Сначала правила закрывают однозначные случаи (например, гарантированное обособление деепричастий), а сомнительные позиции передаются классификатору. Второй подход использует результаты работы правил как дополнительные бинарные признаки для модели машинного обучения вместе с эмбеддингами слов и грамматическими тегами.

Выбор моделей машинного обучения и признаковое пространство

Для курсовой работы требуется честное сравнение нескольких архитектур. В качестве базового уровня (baseline) подходит градиентный бустинг (CatBoost или LightGBM) на извлеченных признаках. Признаками выступают части речи левого и правого контекста, глубина вершины в синтаксическом дереве, тип синтаксической связи и длина цепочки токенов. В качестве продвинутого решения можно дообучить компактную языковую модель класса RuBERT на задачу классификации токенов.

Где брать обучающие данные и корпуса

Для работы требуются качественные размеченные тексты с выверенной пунктуацией. Использовать случайные статьи из интернета рискованно из-за обилия авторских ошибок. Подходящими источниками служат русскоязычные датасеты разметки синтаксических зависимостей Universal Dependencies (подвыборка SynTagRus), открытый корпус OpenCorpora, а также вычитанные художественные и публицистические тексты из Национального корпуса русского языка. Процедура подготовки данных включает удаление всех знаков препинания с сохранением массива истинных меток для последующей проверки.

Что преподаватель оценивает при защите

Комиссия в первую очередь обратит внимание на строгость математической и экспериментальной части. Простая демонстрация работающего скрипта без сравнительного анализа не принесет высокого балла. В тексте работы преподаватель будет оценивать обоснованность выбора признаков, глубину анализа ошибок первого и второго рода, а также четкую демонстрацию того, какой конкретно прирост к метрике F1 дало добавление синтаксических правил по сравнению с чистой ML-моделью.