Продолжаем тему ред флагов при прочтении раздела «Материалы и методы». В этом посте — причины заподозрить некачественный анализ по описанию статистических методов.

Ошибочные, несуществующие названия критериев, терминов.

Букву t в названии теста Стьюдента сложно перепутать с другой, а вот критерию хи-квадрат Пирсона часто достается! Греческую букву «хи», χ авторы заменяют на «кси», ξ. Запрос в Elibrary выдал более 500 статей, где использовался мифический критерий «кси-квадрат». Один из примеров представлен ниже:

В качестве критерия связи использовался кси-квадрат Пирсона, оценивалась его асимптоматическая двусторонняя значимость.
(Социальные аспекты здоровья населения, 2015)

В этом же примере также встретилась забавная ошибка, характерная для медицинской статьи: вместо статистического признака «асимптотическая» (означающего один из способов определения p-значения, исходя из предположения о стремлении N к бесконечности), авторы использовали более привычный, но, к сожалению, совершенно неуместный термин «асимптоматическая».

 Представление количественных данных с помощью стандартной ошибки (m, SE) вместо стандартного отклонения (SD).

Меня, кстати, когда-то именно так учили описывать количественные показатели. Был такой общепринятый шаблон в 90-х и начале 00-х: «Эм большая плюс-минус эм малая». Но познакомившись с руководствами, в частности, такими как «Statistical Analyses and Methods in the Published Literature (SAMPL)», где черным по белому написано: «Do NOT use the standard error of the mean (SE) to indicate the variability of a data set. Use standard deviations, inter-percentile ranges, or ranges instead», я стал использовать только SD рядом со средним значением.

Однако работы с «M±m» до сих пор встречаются, например:

Результаты представлены в виде ошибки среднего арифметического (М) и стандартной ошибки средней (±m) (Вятский медицинский вестник, 2026)

В этом примере кроме m также дано странное определение для среднего значения М: ошибка среднего арифметического. Скорее всего, это опечатка, но очень жаль, что ни авторы, ни рецензенты её не заметили и не исправили.

 Непонятные предложения с искаженным смыслом, словосочетания из не подходящих друг к другу слов

Здесь можно найти много интересных выражений, типа «непараметрическое» или «неправильное» распределение (вместо «ненормальное»), «многомерный регрессионный анализ» (вместо «многофакторный») и др. Или вот ещё нестандартный пример:

Качественный анализ результатов осуществляли с помощью критерия хи-квадрат. (Вятский медицинский вестник, 2026)

Предположу, что на самом деле речь идёт об анализе качественных данных, но от перестановки слов смысл потерялся. Можно подумать, что авторы либо решили похвастаться высоким качеством проведенного статистического анализа, либо использовали термин «качественный анализ», который в социологии противопоставляется количественному (правда, статанализ как раз относится к количественному, а не качественному).

 «Достоверные» вместо «статистически значимые»

В статье Зорина Н.А. «Достоверность» или «Статистическая значимость» — 12 лет спустя» (2011) даны подробные комментарии, почему нельзя путать эти два термина. Это хорошо известно большинству учёных, но на практике мы все ещё часто встречаем работы с использованием слова «достоверные» как синонима выражения «статистически значимые». Например:

Статистически достоверными различия считались при p<0,5. (Ульяновский медико-биологический журнал, 2025)

И вновь вместе с одной ошибкой мы видим и другую: p-значение сравнивалось с 0,5 (это не опечатка, в результатах действительно использовался этот уровень). Конечно, автор может выбирать произвольный уровень значимости. Однако при этом предполагается, что он будет меньше 0,05, например, 0,01 или 0,001. Выбор такого высокого порога, как 0,5, практически лишает авторов контроля над ошибкой I рода и делает результаты совершенно неопределенными.

В качестве послесловия.

Во-первых, если вы думаете, что я долго и с трудом искал все эти примеры, переработав невероятное число статей, то это не так. Наоборот, ошибки в описании материалов и методов, к сожалению, встречаются так часто, что взяв всего несколько статей из журнала не из первого квартиля, можно найти едва ли не все из них.

Во-вторых, разные ошибки при описании материалов и методов часто «дружат» друг с другом, встречаясь одновременно в одной и той же статье.

В-третьих, может показаться, что мы уделяем этим ошибкам избыточное внимание. В конце концов, это всего лишь «Материалы и методы»… Но если мы не можем понять, в какой программе авторы делали расчёты и насколько они владеют навыками статобработки, возникает недоверие ко всей научной работе в целом.
Могу отметить, что практически во всех цитируемых работах мы также наблюдали грубые ошибки в главном разделе — результатах исследования. Так что это все связано и поэтому имеет большое значение.