Нейросеть врёт уверенно: как ловить галлюцинации и выдуманную статистику

Один раз я попросил модель найти исследование по теме. Она выдала название, авторов, год, журнал - всё красиво. Пошёл проверять. Исследования не существует. Ни статьи, ни авторов в такой связке, ничего. Модель его сочинила. С абсолютно невозмутимым лицом.

Это называется галлюцинация. И это не баг, который скоро починят. Это свойство.

Почему она врёт, не моргнув

Нейросеть не «знает» фактов в нашем смысле. Она достраивает правдоподобное продолжение. Вы спросили про исследование - она генерирует то, что похоже на настоящее исследование: реалистичное название, правдоподобный год, фамилии в нужном стиле. Похожесть для неё важнее существования.

Это начитанный интерн, который не хочет ударить в грязь лицом. Не знает ответа - но молчать стыдно, поэтому уверенно выдаёт догадку за факт. Только интерн хотя бы краснеет, а модель - нет.

Поэтому уверенный тон ответа не значит вообще ничего. Модель одинаково ровным голосом говорит правду и сочиняет. По интонации вы не отличите.

Где врачу это особенно опасно

Зоны, где галлюцинация стоит дороже всего:

• Цифры и статистика. «Эффективность метода 87%», «осложнения в 3% случаев». Откуда взяла? Часто - ниоткуда, просто правдоподобное число. А вы потом транслируете его пациенту.
• Источники и ссылки. Названия исследований, авторы, ссылки на гайдлайны. Модель легко придумает несуществующую статью или подсунет ссылку, которая ведёт в никуда.
• Названия законов и нормативки. «Согласно приказу №...» - и номер выдуман. В юридически значимых вещах это прямой путь к проблемам.
• Дозировки и схемы. Самое опасное. Модель может назвать дозировку, которая звучит разумно и при этом неверна. Здесь цена ошибки - не переписанный текст, а здоровье.

Общее правило простое: чем выше цена ошибки, тем меньше доверия к тому, что модель выдала «из головы».

Самое коварное здесь - что выдумка почти никогда не выглядит как выдумка. Она вписана в гладкий, грамотный, уверенный текст. Девять абзацев правды, а в десятом - сочинённая цифра, той же интонацией. Глаз скользит и не цепляется. Именно поэтому ловить надо не «подозрительные» места, а проверять все факты подряд - потому что подозрительных по виду нет.

Как это выглядит на практике

Спрашиваю как-то про приживаемость имплантов - хочу цифру для разговора с пациентом. Модель отвечает: «по данным многоцентрового исследования, выживаемость составляет 96,4% на горизонте десяти лет». Красиво. Конкретно. С виду - именно то, что нужно.

И ровно поэтому опасно. Откуда «многоцентровое»? Откуда «десять лет»? Откуда вторая цифра после запятой? Скорее всего ниоткуда - модель собрала правдоподобную фразу из обрывков того, что где-то видела. Цифра может оказаться близкой к реальной, а может - выдуманной целиком. Проблема в том, что по самому ответу вы это не определите.

Поэтому такую фразу нельзя нести пациенту как есть. Её можно взять как зацепку - «ага, искать надо исследования по выживаемости имплантов» - и пойти проверять в первоисточник. Зацепка ценная. Готовый факт - нет.

Четыре приёма защиты

Галлюцинации не лечатся одной кнопкой. Лечатся привычками.

1. Дайте модели текст и заприте её в нём. Самый сильный приём. Не «расскажи про показания», а «вот статья - ответь только по ней, ничего не добавляя от себя». Когда модель работает с присланным материалом, а не из памяти, выдумок резко меньше.
2. Явно разрешите ей не знать. Модель сочиняет отчасти потому, что «не знаю» кажется ей плохим ответом. Снимите это: «если не уверена - так и скажи, не выдумывай». Звучит наивно, работает заметно.
3. Не принимайте цифру и ссылку на веру. Любое число, любую ссылку, любой номер приказа - проверяйте в первоисточнике. Не «выглядит правдоподобно», а открыли и убедились. Особенно дозировки. Тут вообще без вариантов.
4. Перепроверяйте в нескольких моделях. Один и тот же вопрос задайте двум-трём разным нейросетям. Если все сходятся - выше шанс, что правда. Расходятся - сигнал копать в первоисточник. Это не гарантия, но дешёвый фильтр.

Фраза-предохранитель

Вставляйте её в запрос, когда цена ошибки высокая. Скопируйте и держите под рукой:

Точность важнее красивого ответа. Работай только с тем, что я дал в этом сообщении.
Не выдумывай цифры, ссылки и названия. Если чего-то не знаешь или не уверена - прямо скажи
«не знаю» или «нужно проверить», а не подставляй правдоподобное.

Это не магия. Это просто чёткое разрешение модели признавать свои пробелы вместо того, чтобы заполнять их фантазией. Звучит как мелочь, а на выходе меняет поведение: без этой строчки модель по умолчанию выбирает «выглядеть знающей», с ней - чаще выбирает «сказать правду».

Что с этим делать

Не надо бояться нейросети и не надо ей слепо верить. Надо относиться к ней как к интерну без присмотра: пусть готовит черновик, ищет, структурирует - но всё, что уходит дальше вас, вы проверяете глазами.

Я до сих пор ловлю выдуманные ссылки. Реже, чем раньше - потому что научился спрашивать так, чтобы модели было сложнее юлить. Но фильтр на выходе не отключаю никогда. И вам не советую: чем удобнее становится инструмент, тем легче расслабиться и пропустить ту самую десятую цифру. Удобство усыпляет быстрее, чем кажется.

Начитанный интерн - ценный помощник. Просто документы за него подписываете вы. Такие дела)