Галлюцинации нейросетей: причины и примеры¶

Галлюцинации нейросетей — это явление, при котором генеративные модели искусственного интеллекта выдают правдоподобную по форме, но фактически неверную, вымышленную или не соответствующую запросу информацию. Термин заимствован из психологии и обозначает ситуацию, когда модель «уверенно» формулирует утверждения, не имеющие основания в реальности или во входных данных. Галлюцинации характерны прежде всего для больших языковых моделей (LLM) и генеративных систем синтеза изображений, аудио и видео.

¶Причины

Галлюцинации не являются сбоем в буквальном смысле — они вытекают из самой природы генеративных моделей.

¶Вероятностная природа генерации

Языковая модель не хранит факты в виде базы данных, а предсказывает следующее слово (токен) на основе статистических закономерностей обучающего корпуса. Задача модели — породить наиболее правдоподобную последовательность, а не обязательно истинную. Поэтому при отсутствии точных данных модель «достраивает» ответ, опираясь на форму, а не на содержание.

¶Пробелы и противоречия в обучающих данных

Если тема представлена в корпусе редко, устарела или содержит противоречивые сведения, модель не имеет надёжной опоры и заполняет пробел правдоподобной конструкцией.

¶Отсутствие верификации

Модель в базовом режиме не сверяет собственный вывод с внешними источниками. Она не «знает», что чего-то не знает, и не различает уверенность и правильность.

¶Особенности обучения

Методы выравнивания (например, обучение с подкреплением на основе обратной связи от людей) могут поощрять развёрнутые и уверенные ответы, что иногда усиливает склонность к фабрикации вместо признания незнания.

¶Влияние формулировки запроса

Наводящие, ложные по предпосылке или двусмысленные вопросы повышают вероятность того, что модель примет ошибочную посылку и разовьёт её.

¶Виды

• Фактические — неверные даты, числа, имена, события.
• Ссылочные — несуществующие статьи, книги, DOI, судебные решения.
• Атрибутивные — приписывание цитат или взглядов реальным людям.
• Логические — внутренне противоречивые рассуждения.
• Визуальные — несуществующие детали, лишние конечности, искажённый текст на изображениях.

¶Примеры

• Вымышленные библиографические ссылки в юридических и научных текстах, сгенерированных чат-ботами.
• Несуществующие судебные прецеденты, на которые ссылались в реальных исках.
• Ошибочные биографические данные и даты у исторических персоналий.
• Правдоподобные, но ложные описания товаров, лекарств или инструкций.
• Искажённые надписи и анатомические артефакты на изображениях, созданных генеративными моделями.

¶Последствия и способы снижения

Галлюцинации снижают доверие к системам ИИ и создают риски в медицине, праве, образовании и журналистике. Для их уменьшения применяют:

• подключение внешних источников и поиска (retrieval-augmented generation);
• требование ссылок и цитирования с проверкой;
• калибровку уверенности и явное признание незнания;
• человеческую проверку критичных данных;
• ограничение области применения моделей.

Полностью устранить галлюцинации в современных системах не удаётся; их рассматривают как фундаментальное свойство вероятностной генерации, требующее управления, а не только технического исправления.