Слова-призраки в интернете и поисковых системах¶

Слова-призраки — это слова и словосочетания, которые существуют в поисковых индексах, базах данных, текстовых корпусах или пользовательских запросах, но не имеют устойчивого значения, общепринятого употребления или реального референта в языке. К ним относят опечатки, автоматически сгенерированные строки, обрывки кода, случайные сочетания символов, а также слова, возникшие в результате ошибок распознавания текста (OCR) или машинного перевода. В отличие от неологизмов, такие единицы не закрепляются в языке и не выполняют коммуникативной функции, оставаясь «тенями» реальных слов в цифровой среде.

¶Природа явления

Термин не является строго научным и используется преимущественно в практике поисковой оптимизации, веб-аналитики и корпусной лингвистики. Под словами-призраками понимают единицы, которые:

• появляются в статистике поисковых запросов, но не встречаются в нормативных словарях;
• индексируются поисковыми системами как отдельные токены;
• не имеют устоявшегося произношения и грамматических форм;
• существуют только в пределах конкретного набора данных.

Ключевая характеристика — разрыв между формальным присутствием строки в индексе и отсутствием её смыслового наполнения.

¶Источники возникновения

Основные механизмы появления слов-призраков:

1. Опечатки и раскладка клавиатуры. Ввод текста в неверной языковой раскладке порождает строки вида «ghbdtn» (вместо «привет»). Часть таких последовательностей попадает в логи поисковых систем и становится самостоятельными запросами.
2. Ошибки OCR. При оцифровке печатных изданий алгоритмы распознавания неверно интерпретируют символы, создавая несуществующие слова, которые затем попадают в текстовые корпуса.
3. Автогенерация и спам. Скрипты создают страницы со случайным набором символов для манипуляции ранжированием; такие строки индексируются и иногда появляются в подсказках.
4. Обрывки разметки и кода. Фрагменты HTML, JSON, хеш-сумм и идентификаторов могут индексироваться как текстовые токены.
5. Машинный перевод и транслитерация. Некорректная передача имён собственных и терминов порождает гибридные формы, не существующие ни в одном языке.

¶Проявления в поисковых системах

Поисковые системы обрабатывают запросы статистически, а не семантически, поэтому строки без значения могут получать результаты. Типичные проявления:

Поисковые алгоритмы со временем фильтруют часть такого шума, однако полностью устранить его невозможно из-за масштаба индекса.

¶Значение и последствия

Для лингвистики слова-призраки представляют интерес как индикатор границ между языком и данными: они показывают, что наличие строки в корпусе не равно её существованию в языке. В веб-аналитике они создают искажения — завышают показатели трафика, размывают семантическое ядро, усложняют кластеризацию запросов. Для поисковой оптимизации борьба с такими единицами входит в задачи очистки семантики: их исключают из списков ключевых слов, поскольку они не приводят целевых посетителей.

Отдельный аспект — этический и правовой: автоматически сгенерированные тексты и мусорные страницы используются для манипуляции выдачей, что противоречит правилам большинства поисковых систем и может приводить к понижению сайтов в ранжировании.

¶Смежные понятия

Со словами-призраками связаны:

• Хапакс легомены — слова, встречающиеся в корпусе лишь однажды;
• Неологизмы — новые слова, закрепляющиеся в языке;
• Окказионализмы — авторские единицы, созданные для конкретного контекста;
• Шумовые данные — любые нерелевантные элементы в наборе данных.

В отличие от перечисленных, слова-призраки не создаются намеренно и не несут смысла даже в породившем их контексте.