Как мы видим, на сегодняшний день накоплено достаточно данных, опровергающих целесообразность проверки на нормальность распределения. В связи с этим совместно с коллегами Максимом Кузнецовым (автором блога Biostatistics on the Table) и Матвеем Славенко (автором блога душно про дату) и при поддержке сообщества BioStat <- R | Чат по статистике и R был подготовлен алгоритм действий исследователя при анализе количественных показателей.

Представляем его Вашему вниманию

I. Хорошо:

В общих чертах:

• Выбирать эстиманд (интересующий нас параметр, например, разность средних) исходя из решаемой предметной задачи.

• Формулировать явным образом допущения, из которых мы исходим при анализе данных (например, о том, что наблюдения независимы, происходят из одного распределения с конечной ненулевой дисперсией).

• Выбирать статистическую процедуру (тест, доверительный интервал), исходя из эстиманда и сформулированных допущений.

В идеальном случае перечисленные выше шаги стоит выполнить еще до сбора данных!

Из этого, в том числе, следует, что имеет смысл:

• При использовании t-теста или F-теста (ANOVA) предпочесть модификации по Уэлчу, устойчивые к гетероскедастичности, без предварительной проверки равенства дисперсий.

• Отказаться от предварительной проверки на нормальность.

• Применять заранее выбранную процедуру независимо от наблюдаемой формы распределения.

• Изучать распределение данных с помощью диаграмм распределения (например, гистограммы).

II. Плохо:

• Выбирать статистическую процедуру для сравнения групп исходя только из результатов проверки условий применимости с помощью других тестов (тесты на нормальность, тесты на гомоскедастичность и т.д.). Такая тактика может привести к изменению эстиманда, что недопустимо: он должен быть определен на этапе планирования исследования исходя из решаемой задачи. Кроме того, проведение предварительных тестов (т.н. двух- и многофазовые процедуры) непредсказуемо изменяет вероятность ошибки первого рода и мощность статистических процедур и может приводить к изменению тестируемой нулевой гипотезы, что также недопустимо.

• Проверять нормальность распределения с помощью тестов, дающих оценку p < 0,05 или p > 0,05 (тест Шапиро-Уилка, Колмогорова-Смирнова и др.). На малых выборках эти тесты обладают низкой мощностью (т.е., недостаточно чувствительны и имеют высокую вероятность ошибки второго рода), а на больших выборках излишне чувствительны к малейшим отклонениям от нормальности.

• Считать, что для применения t-теста и других тестов «параметрической» статистики обязательными условиями являются нормальность распределения и (или) объем выборки более 30.

• Считать, что ранговые тесты (Уилкоксона, Манна-Уитни, Краскела-Уоллиса и др.) являются прямыми аналогами «параметрических» процедур и при отсутствии нормальности всегда лучше «параметрических».

III. Примерный алгоритм действий:

1. Изучить природу данных на этапе подготовки к исследованию. В этом могут помочь, например, общее понимание о происхождении данных (что и как измеряется), а также данные пилотного или прошлых исследований и др.

 2. На этапе планирования исследования предположить характер распределения данных. Исходя из этого предусмотреть преобразование данных (например, логарифмирование), необходимость стратификации (анализ показателей в подгруппах), обработку экстремальных значений и т.д.

 3. До начала анализа данных выбрать эстиманд, который соответствует решаемой предметной задаче, природе данных и предполагаемым свойствам их распределения. На основе этого выбрать статистическую процедуру (эстиматор, тест, ДИ).

 4. Использовать выбранную процедуру (тест, ДИ) для собранных в исследовании данных.

 5. В случае наблюдения незапланированных особенностей данных, которые существенно расходятся с исходными представлениями (постановка предметной задачи, ожидаемые свойства распределения и т.п.):
— провести анализ чувствительности;
— рассмотреть возможность формулирования и решения новой предметной задачи с новым последовательным прохождением пп. 1-4. Уже имеющиеся данные могут послужить как пилотные для следующего исследования.