Выбираем статистический метод исходя из проверяемой гипотезы

Данный подход состоит в том, что вначале исходя из решаемой задачи нужно определить проверяемую нулевую гипотезу.

Нулевая гипотеза — это предположение об отсутствии эффекта (различий, связи, изменений и т.д.). В большинстве случаев мы желаем опровергнуть нулевую гипотезу с помощью p-значения. Если p окажется ниже уровня значимости (например, p<0.05), делаем вывод о наличии статистически значимого эффекта.

Самое важное: каждый критерий проверяет совершенно определенную нулевую гипотезу.
Например:

t-тест Стьюдента проверяет, равны ли средние значения показателя в 2 независимых группах,

тест Манна-Уитни (при соблюдении определенных условий) — равны ли в сравниваемых группах вероятности того, что случайно выбранное значение из одной популяции превышает случайно выбранное значение из другой популяции,

коэффициент корреляции Пирсона проверяет гипотезу об отсутствии линейной связи…
И так далее.

Из этого следует несколько практических рекомендаций:

1.Критерии не являются взаимозаменяемыми при решении конкретной задачи.
У каждого критерия — своя гипотеза. Например, если вы хотите доказать, что средний уровень показателя выше в одной группе, чем в другой — используйте t-тест Стьюдента. И пусть вас сильно не беспокоят выбросы или асимметрия данных. При проверке «своей» гипотезы критерии обычно устойчивы к особенностям распределения и дают предсказуемые результаты.

«Чужие» гипотезы критерии иногда тоже переваривают, но ненадежно. Поэтому логично, что если мы будем проверять равенство средних значений с помощью теста Манна-Уитни — он с этой задачей будет справляться хуже, чем t-тест. В свою очередь, t-тест не подходит для проверки гипотезы, соответствующей тесту Манна-Уитни.

2.Замена одного критерия на другой означает замену проверяемой гипотезы, что противоречит современному подходу к выбору методов анализа клинических данных:

 сначала, на этапе планирования нужно сформулировать исследовательский вопрос и выбрать проверяемую гипотезу,

 только после этого выбираем критерий, подходящий для проверки этой гипотезы.

Если в процессе анализа данных t-тест Стьюдента нам показался неподходящим, мы не можем просто так взять вместо него тест Манна-Уитни. Вначале следует изменить исследовательский вопрос, то есть по сути перепланировать исследование!

3.Такие допущения, как нормальность распределения или асимметрия, наличие выбросов — имеют значение! Но не на этапе анализа, а на этапе планирования исследования.

Например, мы предполагаем, что наши данные будут включать слишком высокие или низкие значения — выбросы, которые, оказывают большое влияние на средний показатель. В таком случае мы можем сразу отказаться от сравнения средних. И запланировать сравнение вероятностей бОльших значений с помощью устойчивого к выбросам теста Манна-Уитни.

А если выбросы важны для нас?

Например, в обеих группах большинство пациентов имели нормальные значения уровня Hb, но в 1-й группе у нескольких пациентов отмечалась выраженная анемия, как побочное явление. Тогда тест Манна-Уитни может «не разглядеть» разницу, а вот t-тест сможет найти статистически значимое снижение среднего уровня Hb в 1-й группе.

4.Вывод о результатах применения критерия делается с учетом проверяемой им гипотезы.
Например, вывод после сравнения уровня Hb с помощью t-теста Стьюдента может выглядеть так:

Средний уровень Hb в крови у пациентов основной группы был статистически значимо выше, чем в группе контроля.

Конечно, такой вывод будет некорректен, если использовался критерий Манна-Уитни, который не сравнивает средние значения.

5.В разделе «Материалы и методы» обосновываем выбор критериев проверяемой гипотезой или исследовательским вопросом, а не нормальностью или другими особенностями данных.

Например, можно написать так:

Уровень Hb в крови был представлен средними значениями. Их различия оценивались с помощью t-теста Стьюдента.

Или:

Группы сравнивались по вероятности более высоких значений уровня Hb в одной из них, статистическая значимость различий оценивалась с помощью теста Бруннера-Мюнцеля.