Поисковый запрос и его обработка¶

Поисковый запрос — это текстовая или иная формулировка информационной потребности пользователя, вводимая в строку поиска поисковой системы. Запрос служит входными данными для поискового механизма, который преобразует его в ранжированный список релевантных документов. Обработка запроса — совокупность этапов анализа, нормализации и сопоставления запроса с индексом документов.

¶Структура и виды запросов

По форме запросы делятся на несколько классов:

• Навигационные — нацелены на конкретный ресурс (например, название сайта или организации).
• Информационные — поиск сведений по теме.
• Транзакционные — намерение совершить действие (покупка, скачивание).
• Многозначные (неоднозначные) — допускающие несколько трактовок.

По длине различают короткие (1–2 слова) и длинные запросы, которые называют «длинным хвостом» (long tail). Короткие запросы отличаются высокой частотностью и конкуренцией, длинные — низкой частотностью и большей конкретностью.

¶Этапы обработки

Типовой конвейер обработки включает несколько последовательных стадий.

¶Нормализация и токенизация

Запрос приводится к единому виду: выполняется приведение регистра, удаление лишних пробелов и знаков, разбиение на отдельные слова (токены). Для языков с богатой морфологией, включая русский, применяется лемматизация или стемминг — приведение словоформ к базовой форме. Это позволяет сопоставлять запрос «книги» с документом, содержащим слово «книга».

¶Исправление ошибок и опечаток

Система выявляет опечатки и предлагает исправленный вариант («исправить запрос»). Используются словари, статистические модели и методы машинного обучения. Отдельно обрабатывается транслитерация и раскладка клавиатуры.

¶Расширение и переформулировка

Для повышения полноты поиска запрос может расширяться синонимами, связанными терминами, учётом морфологии. Применяется также анализ сессии: система учитывает предыдущие запросы пользователя, чтобы уточнить намерение.

¶Классификация интента

Определяется тип информационной потребности (навигационная, информационная, транзакционная). Это влияет на состав выдачи: например, для транзакционных запросов выше поднимаются товарные карточки и коммерческие страницы.

¶Сопоставление с индексом и ранжирование

Запрос сопоставляется с инвертированным индексом — структурой, хранящей соответствие между словами и документами. Найденные документы ранжируются по релевантности. Исторически применялась модель TF-IDF, впоследствии — вероятностные модели (BM25) и векторные представления, включая нейросетевые модели (BERT и аналоги), учитывающие контекст слов.

¶Персонализация и контекст

На выдачу влияют регион пользователя, язык интерфейса, история запросов и поведенческие факторы (клики, время просмотра). Персонализация повышает релевантность, но одновременно создаёт эффект «пузыря фильтров» — ограничения разнообразия результатов.

¶Оценка качества

Качество обработки оценивают по метрикам точности и полноты, а также по специальным показателям ранжирования (NDCG, MAP). Применяются ручная оценка асессорами и онлайн-эксперименты (A/B-тесты). Ключевые проблемы — неоднозначность запросов, редкие формулировки и разрыв между формулировкой и реальным намерением пользователя.