Перед публикацией выводов задайте автору вопросы о дизайне исследования, участниках, данных, способе анализа, границах применимости и ограничениях. Попросите показать, на чём основан главный вывод, и уточните, доказывают ли результаты причинную связь. Такая проверка помогает журналисту точно описать исследование, не усиливать его выводы и обозначить читателям оставшиеся неопределённости.
Что выяснить у автора до публикации результатов
- Какой вопрос изучали и каким методом?
- Кто участвовал в исследовании и как набирали участников?
- Какие данные подтверждают главный вывод и доступны ли они для проверки?
- Позволяет ли дизайн говорить о причинной связи или только о совпадении изменений?
- На какие группы и условия распространяются результаты?
- Какие ограничения, альтернативные объяснения и конфликты интересов следует указать?
Как был устроен эксперимент и кто в нём участвовал
Начните с метода: попросите автора кратко объяснить, что именно исследовали, как собирали данные и с чем сравнивали результат. Уточните, было ли это экспериментальное исследование, наблюдение, анализ документов или иной подход.
Эти вопросы подходят для новостной проверки любого исследования, особенно если выводы могут повлиять на здоровье, безопасность, общественные решения или поведение читателей. Не стоит представлять предварительный результат как установленный факт, если метод и состав участников пока неясны или автор не может объяснить, на каких данных основан вывод.
Спросите автора:
- Какой исследовательский вопрос был задан до начала работы?
- Кто и по каким критериям вошёл в исследование? Кого не включали?
- Как участников набирали и были ли группы сопоставимы?
- Когда и в каких условиях собирали данные?
- Был ли заранее подготовлен план исследования и менялся ли он по ходу работы?
Ответы помогут понять, как проверить достоверность исследования: недостаточно знать его тему — нужно выяснить, соответствует ли метод поставленному вопросу.
Какие данные подтверждают главный вывод
Попросите автора отделить исходные наблюдения от их интерпретации. Выясните, какие именно результаты он считает главными, как они были получены и можно ли независимо проверить описание анализа.
Для проверки подготовьте доступ к полному тексту статьи или препринта, описанию метода, приложениям с дополнительными материалами и, если они доступны, обезличенным данным и коду анализа. Уточните, есть ли ограничения на доступ или повторное использование материалов; не запрашивайте конфиденциальные сведения об участниках.
Задайте конкретные вопросы:
- Какой результат непосредственно подтверждает главный вывод?
- Какие показатели анализировали и по каким правилам выбрали основные?
- Исключали ли часть наблюдений из анализа и почему?
- Доступны ли методика, дополнительные расчёты или данные для независимой проверки?
- Есть ли результаты, которые не совпали с первоначальным ожиданием?
Так вы сможете оценить результаты научного исследования, не подменяя факты убедительным пересказом автора. При проверке научной статьи перед публикацией сопоставьте ответы с текстом работы: совпадают ли описание метода, представленные результаты и формулировка вывода.
Позволяют ли результаты говорить о причинно-следственной связи
Не выводите причинность только из того, что два явления наблюдались одновременно или менялись в одном направлении. Последовательно выясните, позволяет ли устройство исследования отличить влияние изучаемого фактора от альтернативных объяснений.
-
Уточните, какое утверждение проверяли.
Попросите сформулировать предполагаемую связь между фактором и результатом. Сверьте её с тем, что автор фактически измерял.
-
Выясните, что сравнивали.
Спросите, была ли группа сравнения, как она формировалась и чем отличалась от основной. Если сравнения не было, уточните, какие выводы автор считает допустимыми.
-
Проверьте порядок событий.
Уточните, известно ли, что предполагаемая причина предшествовала результату. Если данные собраны в один момент, спросите, как автор исключает обратную связь.
-
Обсудите альтернативные объяснения.
Спросите, какие другие факторы могли повлиять на результат и как их учитывали. Попросите назвать объяснение, которое автор считает наиболее серьёзным.
-
Сверьте вывод с формулировкой результата.
Попросите автора предложить точную формулировку для новости и объяснить, не сильнее ли она, чем позволяют данные. В тексте обозначьте связь как причинную только тогда, когда это оправдано дизайном и анализом.
Быстрый режим
- Попросите назвать метод, участников и главный результат.
- Уточните, что именно сравнивали и какие данные доступны для проверки.
- Спросите, доказывает ли работа причинную связь или показывает ассоциацию.
- Проверьте ограничения и сформулируйте вывод без преувеличения.
Где заканчивается применимость исследования
Перед публикацией проверьте, к кому и каким условиям относятся результаты. Используйте этот список, чтобы не переносить выводы на группы, места или ситуации, которые автор не изучал.
- Совпадает ли изученная группа с аудиторией, о которой говорится в новости?
- Можно ли переносить результат за пределы места и периода сбора данных?
- Относится ли вывод к реальным условиям или только к условиям исследования?
- Измеряли ли именно тот результат, который упоминается в заголовке или лиде?
- Есть ли группы участников, для которых результат может отличаться?
- Подтверждают ли выводы другие работы, или речь идёт об одном исследовании?
- Указал ли автор, где данные не позволяют делать обобщения?
Что осталось за рамками анализа и почему
Попросите автора обозначить, что работа не отвечает на поставленный вопрос. При проверке особенно важно не допускать следующих ошибок:
- Пересказывать ассоциацию как доказанную причину.
- Распространять результат на людей или условия, которых не было в исследовании.
- Опираться на один показатель, не уточнив, как его измеряли.
- Игнорировать исключённые наблюдения и причины их исключения.
- Принимать отсутствие обнаруженного эффекта за доказательство его отсутствия.
- Не различать предварительные результаты и выводы, прошедшие независимую проверку.
- Опускать результаты, которые не поддерживают основную интерпретацию.
- Использовать в заголовке более категоричную формулировку, чем в исследовании.
Как автор оценивает ограничения и возможные конфликты интересов
Если автор не может предоставить данные или материалы, уточните причину и спросите, как это влияет на проверяемость работы. Отсутствие доступа само по себе не устанавливает недостоверность, но его следует учитывать при подготовке материала.
В зависимости от ситуации используйте один из вариантов:
- Попросите письменное пояснение. Уместно, если устного ответа недостаточно для точной передачи метода, ограничения или трактовки результата.
- Сверьте интерпретацию с независимым специалистом. Уместно, если вывод сложен для проверки или автор и журналист по-разному понимают силу доказательств.
- Сузьте формулировку новости. Уместно, если данные поддерживают более ограниченный вывод, чем первоначальный тезис.
- Отложите публикацию конкретного утверждения. Уместно, если ключевые сведения о методе или результатах пока невозможно проверить.
Спросите также, кто финансировал работу, участвовали ли спонсоры в разработке, анализе или подготовке публикации и есть ли у авторов профессиональные или финансовые интересы, связанные с темой. Зафиксируйте ответы и не представляйте сам факт финансирования как доказательство ненадёжности.
Чтобы понять, как журналисту проверить исследование, сопоставьте ответы автора с публикацией и при необходимости запросите независимый комментарий.
Автор материала
Нестандартные ситуации в разговоре с исследователем
Автор не делится исходными данными. Что уточнить?
Спросите, связаны ли ограничения с конфиденциальностью, законом, согласием участников или условиями проекта. Уточните, доступны ли обезличенные данные, код анализа или подробное описание метода.
Исследование ещё не прошло рецензирование. Можно ли о нём писать?
Можно описать его статус, если он важен для понимания надёжности и зрелости результата. Не называйте предварительный материал окончательно подтверждённым выводом.
Автор утверждает, что результат доказывает причинную связь, но исследование наблюдательное. Как поступить?
Попросите объяснить, как исключены альтернативные причины и обратная связь. Если обоснование не снимает сомнений, точно укажите, что исследование обнаружило связь, а не установленную причинность.
Собеседник не может ответить на вопрос о методе. К кому обратиться?
Уточните, может ли ответить соавтор или специалист, отвечавший за анализ. До прояснения не усиливайте утверждение и отметьте, какие детали метода остались неизвестны.
У разных авторов разные объяснения одного результата. Чьё мнение приводить?
Сопоставьте объяснения с данными и попросите каждого обозначить ограничения своей интерпретации. В новости разделите наблюдаемый результат и мнения о его причинах.
Автор просит убрать из материала неудобное ограничение. Как поступить?
Проверьте, действительно ли ограничение не относится к выводам, и попросите аргументацию. Если оно влияет на то, как читатель должен понимать результат, сохраните его в точной и соразмерной формулировке.