Как читать медицинское исследование и не попасться на красивый вывод

Я несколько лет переводил медицинские тексты с английского. И вот что понял: вывод в начале статьи и то, что реально показало исследование, - это иногда два разных текста. Первый написан, чтобы статью прочитали и процитировали. Второй спрятан в середине, в таблицах, мелким шрифтом.

Врача учат лечить. Читать методологию - почти не учат. А зря, потому что без этого навыка вы верите не данным, а тому, как их подали. И подают их часто люди, которым очень нужно, чтобы вы поверили.

Разберём, куда смотреть.

Сначала - какого типа эта статья

Не все исследования равны. Есть пирамида доказательности - снизу слабое, сверху сильное.

• Мнение эксперта. Уважаемый профессор сказал. Самый низ. Профессор может быть прав, а может тридцать лет повторять одну ошибку - проверить по этой строчке нельзя.
• Описание случая / серия случаев. «У меня было пять пациентов, и вот что вышло.» Интересно как гипотеза. Доказательством не является - пять человек это не выборка, это анекдот.
• Когортное исследование. Взяли группу, проследили во времени, сравнили. Уже теплее, но связь тут - не всегда причина (об этом ниже).
• Рандомизированное контролируемое (РКИ). Людей случайно поделили на две группы, одной дали препарат, другой пустышку, и никто не знал кто где. Золотой стандарт для «работает или нет».
• Мета-анализ и систематический обзор. Собрали все приличные РКИ по теме и свели вместе. Вершина пирамиды - если сделано аккуратно.

Первое, что делаете, открыв статью: смотрите, на какой ступени она стоит. «Учёные доказали» из заголовка новости часто оказывается серией случаев или опросом. Это не «доказали». Это «заметили».

Абстракт врёт не словами, а акцентами

Абстракт - это выжимка в начале, которую все читают вместо статьи. Он редко прямо лжёт. Он просто рассказывает самую выгодную часть правды.

Классический приём: написать в абстракте про результат, который красиво звучит, и не написать про то, что главный, заранее заявленный показатель не изменился. Вы прочитали вывод, обрадовались, закрыли. А внутри - совсем другая картина.

Поэтому абстракт - это трейлер, а не фильм. По трейлеру нельзя понять, стоит ли смотреть. Нужно зайти внутрь.

Главный фокус-покус: относительный риск против абсолютного

Вот тут ловят чаще всего. И врачей, и пациентов.

Заголовок: «Препарат снижает риск осложнения на 50%». Звучит как переворот. А теперь смотрим в цифры.

Было: осложнение у 2 человек из 100. Стало: у 1 человека из 100. Риск упал с 2% до 1%. В относительных числах это и есть те самые «минус 50%» - половина от двух это один. А в абсолютных - вы спасли одного человека из ста. Девяносто восемь как не имели осложнения, так и не имеют. Девяносто девятому повезло бы и без препарата.

«Минус 50%» и «минус 1 человек на сотню» - это одно и то же число, поданное двумя способами. Первый продаёт препарат. Второй говорит вам правду о масштабе.

Правило простое: увидели проценты снижения - ищите абсолютные цифры. Сколько было событий в одной группе, сколько в другой, на сколько реальных людей. Если абсолютных цифр в статье нет, а есть только бодрые проценты, - это уже сигнал.

Доверительный интервал - признание исследования о своей точности

Звучит страшно, на деле просто. Исследование посчитало эффект не на всём человечестве, а на выборке. Значит, в реальности цифра где-то рядом, но не ровно такая. Доверительный интервал - это вилка, в которую истинное значение попадает с большой вероятностью.

Эффект «снижает на 30%» с интервалом от 25% до 35% - узкая вилка, можно верить. Тот же «30%» с интервалом от 2% до 60% - это «мы примерно не знаем». Среднее красивое, а разброс такой, что эффект может быть почти нулевым.

И отдельный маркер: если вилка проходит через ноль (или через единицу, когда считают в разах) - значит, статистически разницы могло и не быть вовсе. Эффект не доказан, как бы красиво ни выглядело среднее.

Кто платил и что обещали измерить

Два последних, но не по важности, вопроса.

Кто финансировал. Это пишут в конце, в разделе про конфликт интересов. Если исследование препарата оплатил производитель этого препарата - это не приговор, но повод читать втрое внимательнее. Заинтересованная сторона редко публикует то, что ей невыгодно.

Первичный исход против подмены. В начале нормального исследования заявляют, что именно меряют, - это первичная конечная точка. Если в выводах вдруг гремит не она, а какой-то второстепенный показатель, который «тоже померяли заодно», - вас уводят в сторону. Заявленное не сработало, нашли что подсунуть.

И помните про разницу между «связано» и «вызвано». Когортное исследование может показать: те, кто пьёт дорогой кофе, реже болеют. Это не значит, что кофе лечит. Возможно, у людей с деньгами на дорогой кофе просто лучше медицина. Связь - не причина.

Чек-лист на пять минут

Когда времени мало, а решить надо, пробегите по шести точкам:

1. Тип исследования - где на пирамиде? Мнение и серия случаев - не доказательство.
2. Абстракт - не верьте выводу на слово, лезьте в цифры.
3. Относительный или абсолютный риск - ищите абсолютные числа за бодрыми процентами.
4. Доверительный интервал - вилка узкая или «мы не знаем»? Проходит через ноль?
5. Кто платил - конфликт интересов в конце статьи.
6. Первичный исход - то, что меряли, или подмена на удобное?

Пять минут на эти шесть пунктов отсеивают большую часть красивого мусора.

И тут уместно сказать про нейросеть. Я не предлагаю отдавать ей мозг - я предлагаю отдать ей рутину. Скормить статью и попросить разложить по этому самому чек-листу: какой тип, есть ли абсолютные цифры, что с интервалом, кто финансировал. Она вытащит это из текста за минуту - то, на что у вас уйдёт десять. Как собрать такой запрос, который не врёт и не льстит, - отдельный разговор (у меня есть разбор готового промпта-ресёрчера, копируйте и пользуйтесь).

Но кнопку «верить / не верить» нажимаете вы. Нейросеть читает быстрее. Думает - всё ещё врач. Такие дела)