Корпусная лингвистика и национальные корпусы¶

Корпусная лингвистика — раздел языкознания, изучающий язык на основе корпусов текстов — больших, структурированных, машиночитаемых собраний, размеченных по определённым лингвистическим параметрам. Корпусный подход предполагает анализ реального употребления языка статистическими и автоматическими методами, а не опору только на интроспекцию исследователя. Корпусная лингвистика тесно связана с компьютерной лингвистикой, лексикографией и обработкой естественного языка.

¶Основные понятия

Ключевое понятие дисциплины — корпус (мн. ч. «корпусы», в значении собраний текстов). Корпус отличается от простого набора текстов рядом свойств:

• Репрезентативность — сбалансированное отражение разных жанров, стилей, периодов и авторов.
• Размеченность — наличие аннотации: метаданных (автор, год, жанр) и лингвистической разметки.
• Машиночитаемость — пригодность для автоматической обработки и поиска.
• Объём — от миллионов до миллиардов словоупотреблений (токенов).

Основные виды разметки:

¶Методы и инструменты

Корпусный анализ опирается на количественные показатели: частотность, коллокации, конкорданс (список всех вхождений слова в контексте), T-score, MI-score, логарифмическую функцию правдоподобия. Для работы применяются конкордансеры и специализированные платформы: Sketch Engine, AntConc, CQPweb. Статистическая обработка позволяет выявлять устойчивые сочетания, семантические предпочтения и изменения в языке во времени (диахронические корпусы).

¶Национальные корпусы

Национальный корпус — это представительный корпус, создаваемый для одного языка и призванный отражать его состояние в определённый период. Наиболее известные примеры:

• Британский национальный корпус (BNC) — 100 млн слов, создан в 1990-е годы, эталон для английского языка.
• Национальный корпус русского языка (НКРЯ) — создаётся с 2003 года, включает тексты XVIII–XXI веков, разметку и подкорпусы (поэтический, устной речи, параллельные).
• Deutsches Referenzkorpus (DeReKo) — один из крупнейших корпусов немецкого языка.
• Český národní korpus — национальный корпус чешского языка.
• Корпус современного американского английского (COCA) — около 1 млрд слов.

Национальные корпусы служат основой для академических словарей, грамматик и учебных материалов.

¶Применение

Корпусные данные используются в лексикографии (составление словарей на реальном материале), в преподавании языков, в переводоведении, в разработке систем машинного перевода и распознавания речи, в криминалистической лингвистике и в исследованиях языковых изменений. Корпусный подход стал стандартом доказательной аргументации в современном языкознании.

¶Ограничения

Корпус отражает лишь зафиксированные в текстах факты и зависит от принципов отбора материала; дисбаланс источников искажает статистику. Кроме того, автоматическая разметка содержит ошибки, а количественные данные требуют интерпретации, а не заменяют теоретический анализ.