Например, пациентов набрано много, показатель заметно различается в группах, а p-значение вдруг оказывается выше 0,05.

Или наоборот: разница между показателями ничтожная, а p-значение говорит о том, что они статистически значимы. И закрадываются сомнения: все ли сделано правильно?

Для того, чтобы объяснить величину p-значения, определим, как и от чего, в целом, она зависит:

1) Обратно — от величины эффекта, в качестве которого может выступать разность средних значений, разность процентных долей, отношение рисков и т.д. Чем больше величина эффекта, тем ниже p.

2) Обратно — от числа исследуемых. Чем больше наблюдений — тем ниже p.

3) Прямо — от вариабельности количественного показателя, которую, например, можно оценить по стандартному отклонению (SD), или от близости к 50% процентных долей. Чем выше SD или чем ближе процентные доли к 50%, тем выше p. Таким образом, условием статистической значимости эффекта являются:

🔶большая величина эффекта,

🔶большое число наблюдений,

🔶низкая вариабельность признака или близость процентной доли к 0 или 100%.

Посмотрим, как работают эти правила на примере сравнения 2 групп по количественному признаку. Результаты сравнений в 4 случаях: А, В, С и D — представлены на диаграмме. P-значение, определенное во всех случаях с помощью t Уэлча, оказалось ниже 0.05 (p=0.008) только в случае D, когда были выполнены все 3 условия:

✅Разность средних достаточно высокая: 6.9-4.7=2.2.

✅Число наблюдений достаточно большое — по 10 в каждой группе.

✅Вариабельность признака достаточно низкая: SD1=1.5, SD2=1.8.

В случае A мы уменьшили величину эффекта, изменив среднее значение в первой группе на 5.7. Разность средних стала равна 1.2 вместо 2.2. И в ответ на это p-значение увеличилось до 0.122.

В случае B мы увеличили вариабельность признака в 1 группе, SD1 стало равно 4.1 вместо 1.5. Это привело к увеличению p-значения до 0.148.

В случае С мы уменьшили число исследуемых до 5 в каждой группе. В итоге р-значение составило 0.073.

Таким образом, невыполнение хотя бы одного условия статистической значимости при сравнении групп способно привести к p>0.05.