DR.MAZIN / AI

Понятие

Галлюцинация

Уверенный, правдоподобный и при этом выдуманный ответ нейросети: несуществующая статья, ссылка, цифра или номер приказа. Свойство технологии, а не редкий сбой.

Модель продолжает текст правдоподобно - и когда не хватает знания, она не останавливается, а достраивает. Так появляются несуществующие исследования с убедительными названиями, выдуманные проценты и номера приказов.

Зоны повышенного риска для врача: точные цифры, дозировки, ссылки на источники, нормативка. Рабочие приёмы защиты: давать модели материал и запирать её в нём («работай только с тем, что я прислал»), разрешать отвечать «не знаю», проверять первоисточники руками. Подробно - в статье про галлюцинации.