Параметрическое и непараметрическое

Впервые выделенной Рональдом Фишером параметрической статистике «подведомственны» выборки из популяций, исследуемые характеристики которых подпадают под закон распределения вероятностей, то есть в них можно выявить те или иные индексируемые статистические параметры и использовать их для оценки. Так, Уильям Сили Госсет (William Sealy Gosset), более известный математикам как «Стьюдент», сформулировал вышеупомянутый знаменитый критерий для сравнения средних значений при нормальном распределении данных, когда изображённое графически непрерывное распределение вероятностей формирует характерную, легко узнаваемую колоколообразную кривую.

Любопытно отметить, что «Статистические методы для исследователей» предостерегают от широко распространённой и век спустя в отечественной студенческой и аспирантской среде ошибки... вернее, от средней ошибки. «Общепринятое применение вероятной ошибки — единственная рекомендация в её пользу», — холодно отметил Рональд Фишер. В подавляющем большинстве научных трудов для работы с нормально распределёнными данными нужно рассчитать среднее значение и среднеквадратическое отклонение.

Нормальное распределение было впервые описано британским математиком Абрахамом де Муавром (Abraham de Moivre) ещё в первой половине XVIII века, но современные представления об этом понятии неразрывно связаны с текстами великого немецкого математика Карла Фридриха Гаусса (Carl Friedrich Gauß), работавшего столетие спустя. Кривую нормального распределения обычно называют его именем. Ещё почти столетие, до Стьюдента, основой статистики фактически служила «подстройка» полученных при обработке данных кривых под плавные изгибы гауссовой кривой и оценка адекватности их соответствия.

Это вообще нормально?

Для точности подсчётов с использованием критерия Стьюдента необходимо, чтобы параметры в обеих выборках распределялись нормально. Если искомые выборки зависимы — чаще всего эта ситуация возникает при оценке показателей «до и после» в одной и той же группе, когда пациенты служат контролями для самих себя, — то этого этапа достаточно.

Как можно подтвердить или опровергнуть характер нормального распределения данных? Традиционно в российской науке c 1930-х годов для этого используют так называемый критерий Колмогорова–Смирнова. Строго говоря, под этим понятием объединены два разных статистических теста, которые обычно задействуют «в связке».

Знаменитый советский математик Андрей Николаевич Колмогоров разработал критерий согласия — с его помощью устанавливают принадлежность исследуемой выборки данных какому‑либо закону распределения. В свою очередь критерий однородности, сформулированный его коллегой Николаем Васильевичем Смирновым, позволяет установить, соответствуют ли данные в двух независимых выборках одному и тому же закону распределения.

При использовании критерия Колмогорова–Смирнова показатель статистической значимости ρ позволяет оценить значимость различий между формой двух распределений. Если этот показатель превышает 0,05, нулевую гипотезу можно считать подтверждённой, а распределение — близким к нормальному.

Борьба за равенство

При наличии двух независимых выборок для оптимального использования критерия Стьюдента необходимо ещё и соблюдение условия равенства дисперсий (то есть однородности рассеяния данных), но необходимо признать, что специалисты всего мира часто пренебрегают им.

Тем не менее при различающихся в несколько раз объёмах выборок с нормальным распределением лучше обратиться к медицинскому статистику для проверки равенства дисперсий с помощью f-критерия Фишера. Необходимо отметить, что этот метод не имеет никакого отношения к широко известному точному критерию Фишера — трудолюбивый британский специалист не только предложил популярный инструмент статистического анализа данных в таблицах сопряжённости, но и тест для оценки дисперсий выборок.

Как и оценка нормальности, определение дисперсий выборок позволяет выбрать тест из большого набора разнообразных методов f-критерия Фишера статистикам известны разработанные для этой цели критерии Бартлетта, Кокрейна, Хартли и другие. На случай, если по итогам их использования дисперсии оказались неравными, предусмотрено использование модифицированного t-теста Стьюдентакритерия Уэлча.

Каждой из вышеперечисленных разработок Рональда Фишера было бы достаточно, чтобы забронировать их создателю место на статистическом олимпе. Тем не менее наиболее значимой заслугой британского специалиста считают принципиально новое для своего времени продвижение — создание метода дисперсионного анализа ANOVA (ANalysis Of VAriance).

Очевидной ахиллесовой пятой t-критерия Стьюдента служит невозможность одномоментного сравнения более чем двух выборок. Рональд Фишер смог её устранить, разработав аналог этого критерия для сравнения средних значений в трёх выборках и более с нормальным распределением данных. Впервые ANOVA был описан в вышеупомянутой книге 1925 года, в которой Фишер скромно охарактеризовал своё достижение как «всего лишь способ организации арифметических действий». Различные варианты ANOVA позволяют оценить влияние какого-либо исследуемого фактора или нескольких факторов на зависимую переменную.

Параметрическая Сцилла и непараметрическая Харибда

Тем не менее работа с «большими данными» таит свои риски. При использовании очень крупных объёмов любые, даже пограничные отклонения от нормального распределения могут приобрести статистическую значимость. Это обстоятельство предоставляет основания специалистам контринтуитивно рассматривать огромные выборки данных из реальной практики как заведомо «ненормальные». Отметим, что в одном из будущих материалов SP, посвящённых медицинской статистике, будет разобран ещё один подобный, на первый взгляд иррациональный «математический сюрприз» — критерий Бонферрони.

Вышеописанные особенности крупномасштабных выборок означают, что любой «царь-колокол Гаусса», как и его прославленный гигантский кремлёвский оригинал, всегда будет иметь математические «трещины» и даже «крупные осколки». Так, при графическом отображении возрастов в любой большой выборке жителей европейской страны всегда можно наблюдать характерную «выемку», которая отражает относительную нехватку рождённых в первой половине 1940-х годов людей, если, конечно, речь идёт не о Швеции, Швейцарии или Португалии! Причины этой демографической аномалии хорошо известны. Лишь в Испании аналогичная «траншея» проходит по второй половине 1930‑х годов, когда эта страна была охвачена гражданской войной.

Отмена всех ограничений

За нашими соотечественниками последовал американский химик и статистик Фрэнк Уилкоксон (FrankWilcoxon) — в 1940‑х годах он разработал аналог критерия Стьюдента для непараметрической статистики. Тем не менее сегодня его имя обычно используют для применяемого в зависимых выборках критерия, а инструмент для независимых выборок обычно называют U-критерием Манна–Уитни в честь усовершенствовавших подходы Уилкоксона американских математиков Генри Манна (Henry Mann) и Дональда Уитни (Donald Whitney).

Вероятно, читатель уже может предсказать следующий успех статистической науки — создание аналога дисперсионного анализа в области непараметрической статистики. Обеспечить сравнение трёх выборок более независимо от известных законов распределения смогли американские статистики Уильям Краскел (William Kruskal) и Аллен Уоллис (W. Allen Wallis).

Любопытно, что в 1980-х годах Аллен Уоллис закончил свою карьеру в должности заместителя государственного секретаря США по экономическим вопросам. Одному из виднейших исследователей в сфере «статистики без правил» довелось описывать в многочисленных отчётах отход от плановой экономики и всё более хаотичное состояние хозяйства восточноевропейских стран, в том числе и Советского Союза...

Вмешательство политических знаменитостей в непараметрическую статистику этим не ограничилось. Аналог ANOVA для анализа повторных измерений был разработан будущим лауреатом Нобелевской премии 1976 года по экономике Милтоном Фридманом (Milton Friedman), основоположником чикагской школы экономической теории и отцом современного неолиберализма.

Столетие назад Рональд Фишер подчеркнул, что использование статистических методов — совершенно отдельная от чистой математики сфера. Эта ситуация несколько схожа с управлением автомобилем — известно, что многие гонщики «Формулы‑1», как и рядовые автомобилисты, вовсе не обладают навыками автомеханика. Аналогичным образом никто не ожидает от научного работника в медицинской сфере углублённых познаний и способности самостоятельно применять многочисленные формулы «под статистическим капотом». А вот знания в области выбора и ограничений на использование тех или иных критериев необходимы!

Литература и источники