Руководство по оценке научных исследований

Руководство по оценке научных исследований

13 мая, 2020 0 Автор Антон Ковалевский

Сколько раз мы читаем статьи из сектора спорта или питания, в которых авторы постоянно цитируют научные исследования, содержащиеся в PubMed или в специализированных журналах? Но можем ли мы оценить качество этих исследований хорошо?

Те, кто работает в научной области, должны приблизиться к трем различным уровням:

  • Сначала решите получить информацию из надежных источников , таких как научные журналы, а затем решите, что любая другая претензия должна иметь аналогичную поддержку.
  • Во-вторых, выходя за рамки научной легитимности, он должен решить рассмотреть претензии для себя . Это подразумевает не только получение информации из источников, основанных, например, на статьях из научных журналов, но также и изучение самого исследования, чтобы определить, является ли оно «хорошим» исследованием.
  • Наконец, после навигации по научным источникам в течение некоторого времени внимательный специалист может оценить основу жалоб на методологиях и процедурах, которые можно ожидать, если представленные доказательства будут иметь место, если были действительно заслуживающими доверия.

Вот несколько основных вопросов, которые мы должны задать себе, пытаясь определить достоверность научного исследования. Тем не менее, обнаружение, что вы подвергаете сомнению каждую отдельную процедуру, метод и этический выбор в исследовании, само по себе может быть красным флагом. Хорошей отправной точкой является то, что называется нулевой гипотезой . Нулевая гипотеза — это гипотеза, которая, вероятно, ложна или не имеет никакого эффекта. Часто во время экспериментов ученые изучают другую ветвь идеи, чтобы увидеть, работает ли она.

  1. Было ли исследование достаточно большим, чтобы пройти статистический тест?
  2. Был ли он разработан хорошо?
  3. Это продолжалось достаточно долго?
  4. Были ли другие возможные объяснения выводов исследования или причин для сомнения в результатах?
  5. Соответствуют ли выводы другим научным данным? Если нет, то почему?
  6. У вас есть полное изображение?
  7. Проверены ли результаты другими экспертами?
  8. Каковы последствия исследований? Есть проблемы или потенциальные приложения?

Quante volte leggiamo articoli del settore sportivo o della nutrizione in cui gli autori citano continuamente studi scientifici?

Является ли исследование достаточно большим, чтобы пройти статистический тест?

Числа очень важны в этом отношении. Например, количество пациентов, которое исследование включает в клиническое исследование, много говорит о «силе» этого исследования или его обобщения (включает ли исследование достаточное количество пациентов, чтобы различать лечение? И т.д.). Если взять более базовый подход, если бы вы прочитали в исследовании, что « большинство граждан США сегодня отвергают теорию эволюции », вы должны выяснить, сколько людей было в исследовании. Статистика показывает, что если для национального исследования у вас менее 1024 человек, то маржа или ошибка возрастают экспоненциально более чем на три процента . В исследовании, в котором сообщалось о подразделении 49/51, это могло сделать запрос бесполезным.

Другая сторона этого вопроса состоит в том, чтобы определить, являются ли результаты исследования статистически значимыми, что означает, что существует только приемлемо малая вероятность того, что результаты обусловлены только случайностью. Значение, обычно используемое в научных исследованиях, равно p = 0,05 . Это «р-значение» означает, что вероятность того, что результаты исследования обусловлены только случайностью, составляет всего 1 из 20, или 5% (если это кажется низким, следует отметить, что во многих научных областях гораздо более строгие ученые используют p-значения p = 0,001 для проверки их результатов, однако даже при менее строгих стандартах большая часть научной работы выполняется для повторения, что дополнительно исключает случайные события.) При оценке исследования платите обратите особое внимание на это значение . Как правило, любая корреляция со значением p больше 0,05

Студия хорошо спроектирована? Возможно ли, что непреднамеренное смещение повлияло на результаты?

Трудно определить, не знакомы ли вы с какой-либо конкретной областью, но вы можете задавать вопросы, которые должны помочь выявить отрицательные и хорошие исследования.

  • Был ли систематический учебный план, который везде был одинаковым?
  • Каковы были конкретные гипотезы исследования и как вы проводили исследование?
  • Если бы это было клиническое испытание, кто были пациенты и как они были отобраны?
  • В общем, была ли контрольная группа?
  • Была ли выборочная совокупность выбрана из исследования в качестве представителя населения в целом?
  • Было ли исследование настолько «слепым», насколько это возможно, а это значит, что никто, участвующий в исследовании, не знал, в каком оно состоянии, и кто был связан с ним?
  • Были ли какие-либо конфликты интересов, которые должны были быть раскрыты исследователями?

Финансирование компании не означает автоматически, что результаты исследования являются ложными, но это то, что может абсолютно повлиять на исследование.

Исследование длилось достаточно долго?

Этот вопрос может быть неприменим к некоторым наукам, но он особенно важен в медицине. Например, если исследование говорит о том, что новое лечение приведет к ремиссии у некоторых больных раком, исследование также должно следить за этими пациентами в течение определенного периода времени, чтобы увидеть, остались ли они в состоянии ремиссии. Если все участники умерли через две недели после исследования, вы могли бы сделать ужасно искаженные выводы.

Есть ли другие возможные объяснения результатов или причин сомневаться в выводах?

  • Помня, что корреляция не доказывает причинно-следственную связь, как исследование определяет результаты?
  • Является ли какая-либо связь статистически сильной?
  • Если предлагается причинно-следственная связь, предшествует ли причина фактически следствию?
  • Найдены ли согласованные ассоциации при использовании других методов?
  • Исследователи искали другие возможные объяснения, называемые смешанными переменными, которые могли бы объяснить результаты?

Quante volte leggiamo articoli del settore sportivo o della nutrizione in cui gli autori citano continuamente studi scientifici?

Соответствуют ли выводы другим научным данным?

Соответствуют ли результаты исследования другим результатам в этой области? Если нет, то почему? Было ли исследование воспроизведено и подтверждено?

Практически никакие исследования не доказывают ничего . Последовательность и преобладание доказательств — это то, что указывает направление истины. Конечно, утверждения квантовой механики и других, казалось бы, невозможных понятий изначально странны, но позже подтверждаются другими исследованиями. Сравните это с лженаукой, такой как «свободная энергия». Горы доказательств и термодинамики в целом будут отрицать исследование, которое утверждает, что нарушило код свободной энергии. Исследование, которое идет вразрез с этой оппозицией, не обязательно ошибочно, но лучше всего предложить некоторые экстраординарные доказательства, чтобы доказать, что это не так.

У меня есть полное изображение?

  • Как работает это исследование в целом?
  • Упускает ли исследование какие-либо важные аспекты науки, которые могли бы доказать, что это неправильно?
  • Соответствует ли исследование и другим результатам?

Как и в предыдущем вопросе, важно понимать, как результат вписывается в другие исследования, которые были проведены. Вы в оппозиции? В каком направлении движется это поле? Получение полного изображения очень важно, если вы хотите понять важность исследования.

Проверены ли результаты другими экспертами?

Это один из самых важных вопросов, которые нужно задавать при изучении исследования.

  • Есть ли эксперты, которые не согласны с утверждениями в исследовании?
  • Почему или почему нет?
  • Говорят ли исследователи в какой-то области своего собственного опыта или они выходили за ее пределы?
  • Есть ли у исследователя хорошее резюме, когда дело доходит до результатов, ожидающих контроля?
  • Было ли исследование рецензировано?
  • Является ли журнал, опубликовавший исследование, авторитетным? Исследование, которое выходит из малоизвестного журнала без рецензирования, то есть без эксперта, который бы проверял работу исследователей, не обязательно ошибочно, но оно должно быть крайне подозрительным.

Заключение:

При изучении научных исследований необходимо задавать даже более базовые вопросы, чем то, было ли исследование систематически разработано или нет . Задавать вопросы, основанные на здравом смысле, например, спрашивать, действительно ли данные оправдывают выводы. Если исследователи работали за пределами доказательств, это оправдано? Признает ли исследователь откровенно недостатки или ограничения в учебе? Признает ли исследователь, что результаты могут быть предварительными и предлагать важные предупреждения?

Если вы можете получить копию оригинального исследования, а не пресс-релиз из резюме, вы должны это сделать. Возможно, мы не сможем оценить все процедуры и методы, но хорошее исследование будет написано таким образом, чтобы ответить на многие из этих важных вопросов. Для хорошего в этом типе оценки требуется практика, но никто никогда не имел сказал, что наука была легкой.