Я несколько лет переводил медицинские тексты с английского. И вот что понял: вывод в начале статьи и то, что реально показало исследование, - это иногда два разных текста. Первый написан, чтобы статью прочитали и процитировали. Второй спрятан в середине, в таблицах, мелким шрифтом.
Врача учат лечить. Читать методологию - почти не учат. А зря, потому что без этого навыка вы верите не данным, а тому, как их подали. И подают их часто люди, которым очень нужно, чтобы вы поверили.
Разберём, куда смотреть.
Как определить тип исследования и его вес
Пирамида доказательности - это 5 ступеней, от мнения эксперта внизу до мета-анализа наверху, и первое, что делают с открытой статьёй, - определяют, на какой из них она стоит.
| Ступень | Что это | Вес |
|---|---|---|
| 5. Мета-анализ, систематический обзор | сведены все приличные РКИ по теме | высший |
| 4. РКИ | случайное деление на группы, пустышка, ослепление | золотой стандарт |
| 3. Когортное | взяли группу, проследили во времени | средний, связь не равна причине |
| 2. Серия случаев | «у меня было 5 пациентов» | гипотеза, не доказательство |
| 1. Мнение эксперта | профессор сказал | низший |
Подробнее по ступеням.
- Мнение эксперта. Уважаемый профессор сказал. Самый низ. Профессор может быть прав, а может тридцать лет повторять одну ошибку - проверить по этой строчке нельзя.
- Описание случая / серия случаев. «У меня было пять пациентов, и вот что вышло.» Интересно как гипотеза. Доказательством не является - пять человек это не выборка, это анекдот.
- Когортное исследование. Взяли группу, проследили во времени, сравнили. Уже теплее, но связь тут - не всегда причина (об этом ниже).
- Рандомизированное контролируемое (РКИ). Людей случайно поделили на две группы, одной дали препарат, другой пустышку, и никто не знал кто где. Золотой стандарт для «работает или нет».
- Мета-анализ и систематический обзор. Собрали все приличные РКИ по теме и свели вместе. Вершина пирамиды - если сделано аккуратно.
Первое, что делаете, открыв статью: смотрите, на какой ступени она стоит. «Учёные доказали» из заголовка новости часто оказывается серией случаев или опросом - а нейросеть, если её не остановить, уверенно придумает и исследование, и цифру. Это не «доказали». Это «заметили».
Абстракт врёт не словами, а акцентами
Абстракт - это выжимка в начале, которую все читают вместо статьи. Он редко прямо лжёт. Он просто рассказывает самую выгодную часть правды.
Классический приём: написать в абстракте про результат, который красиво звучит, и не написать про то, что главный, заранее заявленный показатель не изменился. Вы прочитали вывод, обрадовались, закрыли. А внутри - совсем другая картина.
Поэтому абстракт - это трейлер, а не фильм. По трейлеру нельзя понять, стоит ли смотреть. Нужно зайти внутрь.
Главный фокус-покус: относительный риск против абсолютного
Относительный риск - это то же самое число, поданное так, чтобы оно выглядело внушительнее: «минус 50%» и «минус 1 человек на сотню» могут означать одно и то же. На этом ловят чаще всего - и врачей, и пациентов.
Заголовок: «Препарат снижает риск осложнения на 50%». Звучит как переворот. А теперь смотрим в цифры.
Было: осложнение у 2 человек из 100. Стало: у 1 человека из 100. Риск упал с 2% до 1%. В относительных числах это и есть те самые «минус 50%» - половина от двух это один. А в абсолютных - вы спасли одного человека из ста. Девяносто восемь как не имели осложнения, так и не имеют. Девяносто девятому повезло бы и без препарата.
«Минус 50%» и «минус 1 человек на сотню» - это одно и то же число, поданное двумя способами. Первый продаёт препарат. Второй говорит вам правду о масштабе.
Правило простое: увидели проценты снижения - ищите абсолютные цифры. Сколько было событий в одной группе, сколько в другой, на сколько реальных людей. Если абсолютных цифр в статье нет, а есть только бодрые проценты, - это уже сигнал.
Это один приём, который вы делаете руками. На практикуме за три вечера вы собираете своего AI-ассистента под свою практику - такого, который держит ваш контекст и не заставляет каждый раз объяснять заново, что вам нужен абсолютный риск, а не маркетинговый. Доводим до результата вашу реальную задачу. 3 000 ₽, без единой строчки кода. Записаться
Доверительный интервал - признание исследования о своей точности
Звучит страшно, на деле просто. Исследование посчитало эффект не на всём человечестве, а на выборке. Значит, в реальности цифра где-то рядом, но не ровно такая. Доверительный интервал - это вилка, в которую истинное значение попадает с большой вероятностью.
Эффект «снижает на 30%» с интервалом от 25% до 35% - узкая вилка, можно верить. Тот же «30%» с интервалом от 2% до 60% - это «мы примерно не знаем». Среднее красивое, а разброс такой, что эффект может быть почти нулевым.
И отдельный маркер: если вилка проходит через ноль (или через единицу, когда считают в разах) - значит, статистически разницы могло и не быть вовсе. Эффект не доказан, как бы красиво ни выглядело среднее.
Кто платил и что обещали измерить
Два последних вопроса к статье - кто её финансировал и совпадает ли заявленный первичный исход с тем, что гремит в выводах. По важности они не последние.
Кто финансировал. Это пишут в конце, в разделе про конфликт интересов. Если исследование препарата оплатил производитель этого препарата - это не приговор, но повод читать втрое внимательнее. Заинтересованная сторона редко публикует то, что ей невыгодно.
Первичный исход против подмены. В начале нормального исследования заявляют, что именно меряют, - это первичная конечная точка. Если в выводах вдруг гремит не она, а какой-то второстепенный показатель, который «тоже померяли заодно», - вас уводят в сторону. Заявленное не сработало, нашли что подсунуть.
И помните про разницу между «связано» и «вызвано». Когортное исследование может показать: те, кто пьёт дорогой кофе, реже болеют. Это не значит, что кофе лечит. Возможно, у людей с деньгами на дорогой кофе просто лучше медицина. Связь - не причина.
Чек-лист на пять минут
Когда времени мало, а решить надо, пробегите по шести точкам:
- Тип исследования - где на пирамиде? Мнение и серия случаев - не доказательство.
- Абстракт - не верьте выводу на слово, лезьте в цифры.
- Относительный или абсолютный риск - ищите абсолютные числа за бодрыми процентами.
- Доверительный интервал - вилка узкая или «мы не знаем»? Проходит через ноль?
- Кто платил - конфликт интересов в конце статьи.
- Первичный исход - то, что меряли, или подмена на удобное?
Пять минут на эти шесть пунктов отсеивают большую часть красивого мусора.
Часто задаваемые вопросы
И тут уместно сказать про нейросеть. Я не предлагаю отдавать ей мозг - я предлагаю отдать ей рутину. Скормить статью и попросить разложить по этому самому чек-листу: какой тип, есть ли абсолютные цифры, что с интервалом, кто финансировал. Она вытащит это из текста за минуту - то, на что у вас уйдёт десять. Как собрать такой запрос, который не врёт и не льстит, - отдельный разговор (у меня есть разбор готового промпта-ресёрчера, копируйте и пользуйтесь).
Но кнопку «верить / не верить» нажимаете вы. Нейросеть читает быстрее. Думает - всё ещё врач. Такие дела)