Теперь несколько слов о самой поправке.

Поправка Бонферрони проста в применении, что объясняет её популярность. В классическом варианте она применяется к уровню значимости α, с которым исследователь сравнивает p-значения, чтобы сделать вывод о статистической значимости различий.

 Наиболее частой ситуацией, требующей поправки Бонферрони, является сравнение трех и более групп попарно для того, чтобы найти в одной из пар статистически значимую разницу. Поправка заключается в том, что уровень значимости α делится на число сравнений.

Например, в 3 группах определены средние значения и стандартные отклонения уровня гемоглобина — М(SD):

 1)105 (12)

 2)114 (15)

 3)120 (11)
При сравнении групп попарно с помощью t-критерия Стьюдента получены p-значения:

 1vs2 p = 0.043*

1vs3 p = 0.0002*

 2vs3 p = 0.157
Получается, что в 2 случаях, отмеченных звёздочкой, p-значения меньше 0.05, и различия можно считать статистически значимыми?

Но не тут-то было.
Ситуация требует применения поправки на множественность сравнений. Так как у нас 3 парных сравнения, мы делим α на 3 и получаем новый уровень значимости:
0.05/3=0.017
То есть сравнивать p-значения мы будем не с 0.05, а с 0.017. И тогда выводы получатся такими:

 1vs2 p = 0.043 > 0.017 — различия статистически незначимы,

 1vs3 p = 0.0002 < 0.017 — различия статистически значимы,

 2vs3 p = 0.157 > 0.017 — различия статистически незначимы.
То есть статистически значимыми можно считать только различия между первой и третьей группами.

Тот же результат мы можем получить, если не будем делить α на 3, а, наоборот, умножим p-значения на 3 и тогда уже сравним их с исходным уровнем значимости 0.05:

 1vs2 p = 0.043*3 = 0.129 > 0.05,

 1vs3 p = 0.0002*3 = 0.0006 < 0.05,

 2vs3 p = 0.157*3 = 0.471 > 0.05.

Именно в таком виде поправка обычно реализуется в статистических программах. Это удобнее, так как корректируются p-значения, а уровень значимости α, назначенный авторами для всего исследования, остается неизменным.

Можно использовать поправку Бонферрони и для доверительных интервалов. В этом случае мы рассчитываем не (1 — α)*100% ДИ, а (1 — α/3)*100% ДИ.
Например, авторы считали 95% ДИ (т.е. 1 — 0.05)*100%) для отношения шансов при сравнении 2 групп. Но если групп будет 3, и надо будет сравнивать их попарно, тогда можно посчитать ОШ с 98.3% (т.е. (1 — 0.017)*100%) ДИ.

 Поправка Бонферрони считается консервативной, то есть она может завышать вероятность ошибки II рода — признавать статистически незначимыми те различия, которые на самом деле существенны и неслучайны.
Поэтому сейчас вместо нее часто рекомендуют модификации: например, поправки Холма или Шидака.

Однако если с поправкой Бонферрони не удалось найти статистически значимых различий ни в одной паре, то поправка Холма их тоже не найдет. Другое дело, что если, например, по Бонферрони мы можем установить разницу только в 1 случае, то по Холму — в большем числе случаев, так как с этой поправкой проверка гипотез последовательно становится менее строгой при переходе от меньших значений p к большим.

При сравнении групп с помощью поправки Шидака уровень значимости α рассчитывается по другой, менее консервативной, формуле, нежели по Бонферрони. Однако в ситуации сравнения трех групп увеличение уровня значимости будет незначительным: по Шидаку α = 0.01695, тогда как по Бонферрони почти столько же, 0.01667.

Так что не стоит ждать, что поправка Холма или Шидака позволит получить иные результаты, если мы сравнили 3 группы с поправкой Бонферрони и все различия оказались незначимыми (см. картинку).