Как происходит проверка статистических гипотез

Статистические гипотезы

Как происходит проверка статистических гипотез

Определение статистической гипотезы. Нулевая и альтернативная, простая и сложная гипотезы. Ошибки первого и второго рода. Статистический критерий, наблюдаемое значение критерия. Критическая область. Область принятия нулевой гипотезы; критическая точка. Общая методика построения право-, лево- и двухсторонней критических областей

Понятие и определение статистической гипотезы

Проверка статистических гипотез тесно связана с теорией оценивания параметров. В естествознании, технике, экономике для выяснения того или иного случайного факта часто прибегают к высказыванию гипотез, которые можно проверить статистически, т. е. опираясь на результаты наблюдений в случайной выборке.

Под статистическими подразумеваются такие гипотезы, которые относятся или к виду, или к отдельным параметрам распределения случайной величины. Например, статистической является гипотеза о том, что распределение производительности труда рабочих, выполняющих одинаковую работу в одинаковых условиях, имеет нормальный закон распределения.

Статистической будет также гипотеза о том, что средние размеры деталей, производимые на однотипных, параллельно работающих станках, не различаются.

Статистическая гипотеза называется простой, если она однозначно определяет распределение случайной величины , в противном случае гипотеза называется сложной. Например, простой гипотезой является предположение о том, что случайная величина распределена по нормальному закону с математическим ожиданием, равным нулю, и дисперсией, равной единице.

Если высказывается предположение, что случайная величина имеет нормальное распределение с дисперсией, равной единице, а математическое ожидание — число из отрезка , то это сложная гипотеза.

Другим примером сложной гипотезы является предположение о том, что непрерывная случайная величина с вероятностью принимает значение из интервала , в этом случае распределение случайной величины может быть любым из класса непрерывных распределений.

Часто распределение величины известно, и по выборке наблюдений необходимо проверить предположения о значении параметров этого распределения. Такие гипотезы называются параметрическими.

Проверяемая гипотеза называется нулевой и обозначается . Наряду с гипотезой рассматривают одну из альтернативных (конкурирующих) гипотез .

Например, если проверяется гипотеза о равенстве параметра некоторому заданному значению , то есть , то в качестве альтернативной гипотезы можно рассмотреть одну из следующих гипотез: где — заданное значение, .

Выбор альтернативной гипотезы определяется конкретной формулировкой задачи.

Правило, по которому принимается решение принять или отклонить гипотезу , называется критерием .

Так как решение принимается на основе выборки наблюдений случайной величины , необходимо выбрать подходящую статистику, называемую в этом случае статистикой критерия .

При проверке простой параметрической гипотезы в качестве статистики критерия выбирают ту же статистику, что и для оценки параметра .

Проверка статистической гипотезы основывается на принципе, в соответствии с которым маловероятные события считаются невозможными, а события, имеющие большую вероятность, — достоверными; Этот принцип можно реализовать следующим образом.

Перед анализом выборки фиксируется некоторая малая вероятность , называемая уровнем значимости.

Пусть — множество значений статистики , а — такое подмножество, что при условии истинности гипотезы вероятность попадания статистики критерия в равна , то есть .

Обозначим выборочное значение статистики , вычисленное по выборке наблюдений. Критерий формулируется так: отклонить гипотезу , если ; принять гипотезу , если .

Критерий, основанный на использовании заранее заданного уровня значимости, называют критерием значимости.

Множество всех значений статистики критерия , при которых принимается решение отклонить гипотезу , называется критической областью; область называется областью принятия гипотезы .

Уровень значимости определяет размер критической области . Положение критической области на множестве значений статистики зависит от формулировки альтернативной гипотезы .

Например, если проверяется гипотеза , а альтернативная гипотеза формулируется как , то критическая область размещается на правом (левом) “хвосте” распределения статистики , т. е.

имеет вид неравенства , где — значения статистики , которые принимаются с вероятностями соответственно и при условии, что верна гипотеза . В этом случае критерий называется односторонним (соответственно правосторонним и левосторонним).

Если альтернативная гипотеза формулируется как , то критическая область размещается на обоих “хвостах” распределения , то есть определяется совокупностью неравенств и в этом случае критерий называется двухсторонним.

Расположение критической области для различных альтернативных гипотез показано на рис. 30, где — плотность распределения статистики критерия при условии, что верна гипотеза , — область принятия гипотезы, .

Проверку параметрической статистической гипотезы с помощью критерия значимости можно разбить на этапы:

1) сформулировать проверяемую и альтернативную гипотезы;

2) назначить уровень значимости ;

3) выбрать статистику критерия для проверки гипотезы ;

4) определить выборочное распределение статистики при условии, что верна гипотеза ;

5) в зависимости от формулировки альтернативной гипотезы определить критическую область одним из неравенств или совокупностью неравенств и ;

6) получить выборку наблюдений и вычислить выборочные значения статистики критерия;

7) принять статистическое решение: если , то отклонить гипотезу как не согласующуюся с результатами наблюдений; если , то принять гипотезу , т. е. считать, что гипотеза не противоречит результатам наблюдений.

Обычно при выполнении пп. 4-7 используют статистику с нормальным распределением, статистику Стьюдента, Фишера.

Пример 3. По паспортным данным автомобильного двигателя расход топлива на 100 км пробега составляет 10 л. В результате изменения конструкции двигателя ожидается, что расход топлива уменьшится.

Для проверки проводятся испытания 25 случайно отобранных автомобилей с модернизированным двигателем, причем выборочное среднее расходов топлива на 100 км пробега по результатам испытаний составило 9,3 л.

Предположим, что выборка расходов топлива получена из нормально распределенной генеральной совокупности со средним и дисперсией л². Используя критерий значимости, проверить гипотезу, утверждающую, что изменение конструкции двигателя не повлияло на расход топлива.

Решение. Проверим гипотезу о среднем нормально распределенной генеральной совокупности. Проверку проведем по этапам:

1) проверяемая гипотеза ; альтернативная гипотеза ;

2) уровень значимости ;

3) в качестве статистики критерия используем статистику математического ожидания — выборочное среднее;

4) так как выборка получена из нормально распределенной генеральной совокупности, выборочное среднее также имеет нормальное распределение с дисперсией . При условии, что верна гипотеза , математическое ожидание этого распределения равно 10. Нормированная статистика имеет нормальное распределение;

5) альтернативная гипотеза предполагает уменьшение расхода топлива, следовательно, нужно использовать односторонний критерий. Критическая область определяется неравенством . По прил. 5 находим ;

б) выборочное значение нормированной статистики критерия

7) статистическое решение: так как выборочное значение статистики критерия принадлежит критической области, гипотеза отклоняется: следует считать, что изменение конструкции двигателя привело к уменьшению расхода топлива. Границу критической области для исходной статистики критерия можно получить из соотношения , откуда , т. е. критическая область для статистики определяется неравенством .

Ошибки первого и второго рода

Решение, принимаемое на основе критерия значимости, может быть ошибочным. Пусть выборочное значение статистики критерия попадает в критическую область, и гипотеза , отклоняется в соответствии с критерием.

Если, тем не менее, гипотеза верна, то принимаемое решение неверно. Ошибка, совершаемая при отклонении правильной гипотезы if о, называется ошибкой первого рода.

Вероятность ошибки первого рода равна вероятности попадания статистики критерия в критическую область при условии, что верна гипотеза , т. е. равна уровню значимости

Ошибка второго рода происходит тогда, когда гипотеза принимается, но в действительности верна гипотеза . Вероятность ошибки второго рода вычисляется по формуле

Пример 4. В условиях примера 3 предположим, что наряду с гипотезой л рассматривается альтернативная гипотеза л. В качестве статистики критерия снова возьмем выборочное среднее . Предположим, что критическая область задана неравенством л. Найти вероятности ошибок первого и второго рода для критерия с такой критической областью.

Решение. Найдем вероятность ошибки первого рода. Статистика критерия при условии, что верна гипотеза л, имеет нормальное распределение с математическим ожиданием, равным 10, и дисперсией, равной . Используя прил. 5, по формуле (11.1) находим

Это означает, что принятый критерий классифицирует примерно 8% автомобилей, имеющих расход 10 л на 100 км пробега, как автомобили, имеющие меньший расход топлива. При условии, что верна гипотеза л, статистика имеет нормальное распределение с математическим ожиданием, равным 9, и дисперсией, равной . Вероятность ошибки второго рода найдем по формуле (11.2):

Следовательно, в соответствии с принятым критерием 13,6% автомобилей, имеющих расход топлива 9 л на 100 км пробега, классифицируются как автомобили, имеющие расход топлива 10 л.

Источник: http://MathHelpPlanet.com/static.php?p=statisticheskie-gipotezy

Проверка статистических гипотез: основные понятия и примеры

Как происходит проверка статистических гипотез

Статистическая гипотеза – это некоторое предположение о свойствах генеральной совокупности, которое необходимо проверить. Статистические гипотезы выдвигаются, когда необходимо проверить, является ли наблюдаемое явление элементом случайности или результатом воздействия некоторых мероприятий.

Например, необходимо выяснить, значительно ли отличается средний объём продаж после проведения рекламной кампании от среднего объёма продаж после проведения рекламной кампании. Если ответ на этот вопрос положителен, то можно сделать вывод о том, что изменения являются результатом рекламной кампании.

Выводы, полученные путём проверки статистических гипотез, носят вероятностный характер: они принимаются с некоторой вероятностью. Статистическая гипотеза может быть также предположением о свойствах двух совокупностей, если, например, в ходе мероприятий имело место воздействие только на одну совокупность и необходимо сделать вывод о том, было ли это воздействие результативным.

Шаги проверки статистических гипотез следующие:

  • формулируется основная гипотеза H0 и альтернативная гипотеза H1;
  • выбирается статистический критерий, с помощью которого будет проверяться гипотеза;
  • задаётся значение уровня значимости α;
  • находятся границы области принятия гипотезы;
  • делается вывод о принятии или отвержении основной гипотезы H0.

Рассмотрим эти шаги и связанные с ними понятия подробнее.

Статистические гипотезы: основная и альтернативная

Основная гипотеза H0 – предположение о свойствах генеральной совокупности, которое является логичным и правдоподобным, но требует проверки. Основная гипотеза обладает “презумпцией невиновности”, или точнее “презумпцией справедливости”: пока не доказано, что её утверждение ложно, она считается истинной.

Альтернативная гипотеза H1 – утвержление о свойствах генеральной совокупности, которое принимается в случае, когда нет возможности принять основную гипотезу.

Приведём примеры того, как формулируются основная и альтернативная гипотезы.

Пример 1. До и после проведения рекламной кампании были собраны данные о среднем объём продаж.

Основная гипотеза H0: средний объём продаж до проведения рекламной кампании незначительно отличается от среднего объёма продаж после проведения рекламной кампании.

Альтернативная гипотеза H1: средний объём продаж изменился после проведения рекламной кампании.

Пример 2. После изменения конфигурации компьютерной сети были собраны случайным образом 200 замеров скорости передачи сообщений.

Основная гипотеза H0: изменение конфигурации не имело эффекта.

Альтернативная гипотеза H1: эффект от изменения статистически значим.

Статистические критерии для проверки гипотез

Статистический критерий – статистическая характеристика выборки, вычисляемая по некоторому математическому соотношению (формуле) на основе данных, имеющихся в выборке.

По значению этой характеристики принимается решение, принимать основную гипотезу или нет. Статистические критерии бывают двух видов:

  • односторонний критерий – критерий, значения которого принадлежат области (0; +∞);
  • двусторонний критерий – критерий, значения которого принадлежат области (-∞; +∞).

Свойства статистического критерия:

  • статистический критерий является случайной величиной, закон распределения которой известен. Зачастую в названии статистического критерия упоминается его закон распределения. Например, критерий хи-квадрат-Пирсона подчиняется закону распределения хи-квадрат;
  • чем ближе значение статистического критерия к нулю, тем более вероятно, что основная гипотеза является верной.

Нет времени вникать в решение? Можно заказать работу!

Уровень значимости α, ошибки первого и второго рода

Уровень значимости α – это вероятность ошибки первого рода. Значение уровня значимости обычно достаточно малое и задаётся аналитиком, проверяющим гипотезу. Чаще всего принимает значения 0,01 (1%), 0,05 (5%) и 0,1 (10%).

При проверке гипотезы всегда существует вероятность того, что будет сделано ошибочное заключение. Существуют два рода ошибки.

Ошибка первого рода – отвержение основной гипотезы при том, что она верна.

Ошибка второго рода – принятие основной гипотезы при том, что она ложна.

Со значением уровня значимости связано значение уровня доверия p.

Уровень доверия p – вероятность принятия верной гипотезы. Помним: пока не доказано, что основная гипотеза H0 является ложной, мы считаем её верной. Поэтому уровень значимости будет определять вероятность принятия основной гипотезы. Если уровень значимости α – вероятность отвержения верной гипотезы, то вероятность принятия верной гипотезы: p = 1 – α.

Аналитик сам управляет ошибкой первого рода – задаёт вероятность её наступления.

Ошибкой второго рода он управлять не может – всегда существует вероятность того, что может быть принята неверная гипотеза.

Поэтому, чтобы избежать нежелательных последствий от принятия неверной гипотезы, основная гипотеза формулируется таким образом, чтобы риск от последствий принятия неверной гипотезы был минимальным.

Пример 3. В лаборатории фармацевтического предприятия делается контрольный замер на соответствие контрольного состава лекарственных препаратов стандарту. Какие варианты гипотез могут быть предложены?

Решение.

Первый вариант.

Основная гипотеза H0 – лекарства соответствуют стандарту.

Альтернативная гипотеза H1 – лекарства не соответствуют стандарту.

Второй вариант.

Основная гипотеза H0 – лекарства не соответствуют стандарту.

Альтернативная гипотеза H1 – лекарства соответствуют стандарту.

В первом случае, принимая во внимание, что вероятность принятия основной гипотезы высока, мы имеем высокий риск нежелательных последствий принятия неверной гипотезы.

Во втором случае, даже если мы будем вынуждены принять гипотезу, что лекарственные препараты не соответствуют стандарту, а на самом деле имеет место ошибка второго рода, придётся провести дополнительные контрольные замеры и более тщательно провести анализ химического состава.

В любом случае, это повлечёт за собой более тщательный анализ, а риск нежелательных последствий может оказаться не столь значимым.

По причинам, которые мы выяснили в примере 3, статистические гипотезы часто формулируются следующим образом: “статистическая значимость между факторами незначима”, “выборки незначимо отличаются по своим свойствам”, “фактор не имеет значимого влияния на исследуемый процесс”.

Нахождение границ области принятия гипотезы

Область принятия гипотезы (ОПГ) – подмножество таких значений критерия, при которых основная гипотеза не может быть отвергнута. Область принятия гипотезы всегда включает в себя значение 0.

Критическая область – подмножество таких значений критерия, при которых основная гипотеза не может быть принята.

В случае, если используется односторонний критерий, ОПГ включает в себя подмножество положительных значений критерия. В таком случае у критерия есть только одна критическая область.

В случае, если используется двусторонний критерий, который может принимать как положительные, так и отрицательные значения, у него имеются две критические области: подмножество отрицательных и подмножество положительных значений критерия, при которых гипотеза не может быть принята.

На этом шаге требуется найти такое подмножество значений критерия, к которому значение выбранного критерия будет принадлежать с вероятностью p. Точнее, необходимо найти крайние значения критерия в этом подмножестве.

Поэтому процедура нахождения границ области принятия гипотезы сводится к решению следующей задачи:

P{R'

Источник: https://function-x.ru/statistics_hypotesis.html

Что такое проверка статистической гипотезы?

Как происходит проверка статистических гипотез

Все эксперименты проводятся для того, чтобы дать фактам возможность опровергнуть нулевую гипотезу.
Р. Фишер.

В основе проверки статистических гипотез лежит идея, известная еще как минимум со времен Сократа – доказательство от противного. Этот метод Сократ использовал для того, чтобы опровергнуть своего собеседника.

Вначале он допускал его правоту, а затем сравнивал точку зрения собеседника с имеющимися фактами. Если обнаруживается противоречие, то одно из утверждений неверно. А т.к.

наблюдаемый факт точно существует, то неверным оказывается предположение, т.е. мнение собеседника.

Так и в проверке гипотез. Вначале допускают, что проверяемая гипотеза верна. Затем смотрят, какие варианты событий при этом возможны.

Если среди них есть наблюдаемое в реальности событие, то считают, что гипотеза не противоречит фактам и такую гипотезу не отклоняют (но и не доказывают!).

Если наблюдаемое событие выходит за рамки допустимых, то ее отклоняют, как невозможную или маловероятную, еще говорят «ложную».

В литературе встречается один забавных пример, который наглядно демонстрирует практическую сторону вопроса.

Однажды в Неаполе преподобный Галиани увидел человека из Базиликаты, который, встряхивая 3 игральные кости в чашке, держал пари, что выбросит три шестерки; и действительно, он немедленно получил три шестерки. Вы скажите: такая удача возможна.

Однако человеку из Базиликаты это удалось во второй раз, и пари повторилось. Он клал кости назад в чашку 3, 4, 5 раз и каждый раз выбрасывал 3 шестерки. «Черт возьми, – вскричал преподобный, – кости налиты свинцом». И так оно и было.

Галиани применил метод проверки гипотезы сам того не ведая. В данном случае гипотезой было то, что кости симметричные. И если это так, то вероятность выкинуть 3 шестерки 5 раз подряд равна (1/63)5 или 2,13∙10-12, то есть настолько маловероятно, что практически невозможно. Следовательно, предположение о симметричности костей, скорее всего, неверно.

Вернемся в наши дни. В большинстве случаев аналитик имеет дело с выборкой, которая всегда ошибочна. Выборка не может показать, например, чему в точности равна средняя или доля по генеральной совокупности.

По выборке можно получить только оценку, т.е. приближенное значение этой характеристики (параметра).

Чтобы по таким оценкам делать строгие выводы, необходимо вначале рассчитать, а затем сделать поправку на возможные отклонения оценки от истинного значения.

Представим, что мы много-много раз (скажем, 1000) извлекаем выборки из некоторой генеральной совокупности и в каждой из них рассчитываем среднее арифметическое. Если выборки достаточны большие (более 30-ти наблюдений), то в силу действия центральной предельной теоремы выборочные средние будут распределены по нормальному закону с истинным средним в центре.

Смоделировать такой эксперимент несложно в Excel. Возьмем «генеральную совокупность», пусть даже с равномерным распределением от 0 до 1000. Извлечем из нее 1000 выборок по 30 наблюдений и отобразим распределение средних на гистограмме.

В 95% среднее окажется в пределах ± 1,96 стандартных ошибок от истинной средней (матожидания). В остальных 5% средние отклонятся дальше.

При однократном эксперименте мы имеем довольно мало шансов получить выборку со средней, выходящей за пределы ± 1,96 стандартной ошибки.

И гораздо меньше шансов получить выборку со средней, выходящей за пределы ± 3 стандартной ошибки (3 случая из 1000). Это известные свойства нормального распределения.

Метод проверки гипотез

В реальности истинная средняя по генеральной совокупности неизвестна и ее значение можно только предполагать. Такое предположение называется статистической гипотезой, обозначается H.

Если предположение противоречит наблюдаемым данным, то гипотезу отклоняют, как ложную; если не противоречит, то не отклоняют. Степень противоречия определяется вероятностью, которая в свою очередь зависит от того, как далеко фактическая выборочная средняя отклоняется от гипотезы.

Если она (вероятность) достаточно маленькая, то противоречие считается доказанным (не забывая о возможной ошибке). Для расчета вероятности выбирают вероятностно-статистическую модель, которая описывает поведение оценки при многократном повторении эксперимента.

В случае со средней арифметической в большой выборке подойдет стандартное нормальное распределение.

Теперь нужно определить, какова вероятность извлечь из такой генеральной совокупности имеющуюся выборочную среднюю.

Если она окажется в зоне близкой к центру, то это не противоречит гипотезе, ведь такое вполне может произойти в силу случайности.

Но если она окажется далеко, например, выйдет за пределы ± 1,96 стандартные ошибки, то это будет означать что, либо произошло маловероятное событие, либо выдвинутая гипотеза ложна и ее следует отклонить.

Правила проверки гипотезы (статистического вывода) показаны на рисунке.

Предельное значение, которое разделяет области принятия и отклонения гипотезы, называется критическим уровнем. Область отклонения гипотезы – критическая область.

Вероятность, соответствующая критической области, – уровень значимости, обозначается греческой буквой α (альфа). Например, α = 0,05 означает, что уровень значимости равен 5%.

Очевидно, что между критическим уровнем и уровнем значимости существует функциональная взаимосвязь.

Чтобы определить, в какую область попадает выборочная средняя, нужно рассчитать т.н. статистический критерий, иногда говорят статистика.

Большие значения критерия, как правило, свидетельствуют в пользу того, что отличие не случайно и, соответственно, гипотеза не верна.

Статистический критерий для нормальной модели – это обычная z-оценка, рассчитываемая по известной формуле.

где
z – критерий
x̄ – наблюдаемое среднее арифметическое
μ – гипотетическая средняя в генеральной совокупности
s – среднеквадратическое отклонение выборочных данных
n – объем выборки

Если рассчитанный критерий оказывается по модулю больше, чем критическое значение, т.е. попадает в критическую область, значит, гипотеза отклоняется как ложная (точнее, маловероятная).

Если критерий не выходит за критическое значение, то гипотеза не отклоняется.

Уровень значимости задается исходя из практических соображений. Часто берут 0,05, для которого критический уровень равен 1,96 (в нормальной модели). Если α = 0,01, то критический уровень – 2,58. Все это легко получить из таблиц стандартного нормального распределения. Но, конечно, быстрее посчитать на компьютере, хоть и в Excel.

В зависимости от выбранной вероятностно-статистической модели вид распределения и способ расчета критерия производится по-разному. Но суть остается прежней: статистический критерий сравнивается с критическим значением, который задается исходя из желаемого уровня значимости.

P-value

Изложенная выше методика на сегодняшний день несколько устарела. Дело в том, что, сравнивая критерий с критическим уровнем, мы не видим «силу доказательства». Ведь критерий может попасть в область, соответствующую 5% уровню значимости, а может и в 1% значимости (т.е. отклониться еще дальше).

В обоих случаях гипотеза отклоняется, но уверенность, с которой это делается, не одинаковая. Одно дело «скорее всего» (как при 5%-м уровне), а другое «наверняка» (как при 1% уровне).

Поэтому проверку гипотезы делают по наблюдаемому уровню значимости, который называют p-value (или р-значение).

p-value – вероятность получить наблюдаемое или еще большее отклонение оценки от гипотезы, если она (гипотеза) верна. Геометрически это площадь под кривой, которая начинается от статистического критерия в сторону от гипотезы (от центра).

Общий p-value на данном рисунке складывается из двух частей, т.к. гипотеза рассматривает отклонение в любую из сторон.

Например, если статистический критерий равен 1,96, то вероятность получить по модулю такое или еще большее значение, равна 0,05. Это и есть p-value, который в данном случае совпал с уровнем значимости.

Но если критерий равен 3, то вероятность получить такое или еще больше отклонение (по модулю) равна всего 0,0027. Т.к. мы считаем возможным отклонение в обе стороны, p-value складывается из двух частей.

Итак, правило проверки гипотезы по наблюдаемому уровню значимости следующее: если p-value меньше, чем заданный уровень значимости (например, 0,05), то гипотеза отклоняется. В противном случае не отклоняется (не отвергается). В примере выше p-value = 0,0027, что гораздо меньше, чем 0,05. Следовательно, гипотеза отвергается.

1 и 2 сторонний критерий

Рассмотрим еще несколько важных понятий. Выше был показан т.н. двухсторонний критерий, когда проверка на отклонение производится в обе стороны.

Иногда имеет смысл рассматривать отклонение только в одну сторону. Например, если заранее известно, что отклонение от гипотезы возможно только в сторону увеличения, то левый хвост не рассматривают.

Такой критерий называется односторонним.

Использование одностороннего критерия вместо двухстороннего при заданном уровень значимости (α) приводит увеличению мощности критерия (его способности обнаружить эффект), что очень даже хорошо. Но про мощность поговорим в другой раз.

Вот, как на диаграмме выглядит односторонний критерий.

Однако одностороннюю гипотезу нужно формировать заранее. Нельзя для повышения убедительности выводов после проведения анализа менять двухсторонний критерий на односторонний. Это будет подгонка фактов под теорию, что увеличивает вероятность совершить ошибку.

Альтернативная гипотеза

Проверяемая гипотеза называется основной или нулевой. Она подразумевает некоторый status quo, когда между проверяемыми данными нет отличий. Гипотеза остается в силе, если оценка отклонятся не слишком далеко и находится в зоне возможных случайных колебаний.

Кроме основной (нулевой) гипотезы рассматривают альтернативную или конкурирующую.

Формально, альтернативная гипотеза – это любое предположение о параметрах распределения, не совместимое с нулевой гипотезой. Однако на практике разнообразие проверяемых и альтернативных гипотез довольно ограничено.

Например, основная гипотеза (нулевая) заключается в том, что средняя равна некоторому значению, а альтернативная – не равна этому значению.

Нулевая гипотеза обозначается H0, альтернативная Ha. Краткая запись условия задачи при использовании двухстороннего критерия имеет следующий вид.

H0: μ = a

Ha: μ ≠ a

Если рассматривается односторонний критерий, то запись может иметь такой вид.

H0: μ ≤ a

Ha: μ > a

При отклонении нулевой гипотезы, автоматически принимается альтернативная.

Следует отметить, что предметом доказательства, как правило, является именно конкурирующая гипотеза.

То есть проверяя равенство средних в двух выборках, исследователя интересует их различие, которое должно подтвердить влияние некоторого воздействия на предмет исследования (новое лекарство, новых способ обработки материала и др.).

Если есть влияние, то будет и различие, если нет, то средние будут отличаться не очень сильно, в пределах случайных колебаний оценок.

Статистический вывод

Заострим внимание на корректности статистических выводов. Вместо выражения «гипотеза не отклоняется» часто говорят «гипотеза принимается». В целом, это выражение также приемлемо, если его понимать правильно, т.е.

если считать, что принимается именно гипотеза (одно из возможных объяснений), а не конкретное утверждение. Но понимают его часто неправильно, подразумевая, что в случае не отклонения гипотезы принимается сама идея гипотезы.

Например, если гипотеза о равенстве вероятностей в двух выборках не отклоняется, то делают заключение, что, мол, вероятности действительно равны. Такое заключение ошибочно.

На самом деле принятие гипотезы означает, что она не противоречит данным и может рассматриваться до тех пор, пока не будет доказано обратное.

Принятие гипотезы не может доказать ее правильность, для этого есть лишь один способ: исследовать все анализируемое явление в целом, собрав генеральную совокупность.

По выборке можно только опровергнуть маловероятные или невозможные предположения, противоречащие фактическим данным, сузив тем самым круг для поиска истины.

Проще говоря, выдвинув ту или иную гипотезу, исследователь задает вопрос: может ли такое быть, чтобы при имеющихся данных имело место вот это событие (нулевая гипотеза об отсутствии различий или взаимосвязей)? Ответа здесь только два: 1) да, может; 2) нет, не может. Нулевую гипотезу можно только опровергнуть, но не доказать.

Эта очень важная мысль должна быть усвоена крепко. Иначе выводы будут неправильными. Так, даже в учебниках по статистике, например, проверяют гипотезу о том, что выборочные данные имеют нормальное распределение.

Собрали 10 наблюдений, рассчитали какой-нибудь критерий хи-квадрат и радуются, что гипотеза не отклонена, значит мол, данные имеют нормальное распределение. Чепуха.

Таким же образом можно «доказать» все, что угодно, и даже то, что данные одновременно принадлежат разным распределениям. Если нулевая гипотеза не отклоняется, это не значит, что она доказывается. Скорее всего, эффект (отличие) оказывается недостаточно заметным.

А вот при большом объеме данных принятие нулевой гипотезы говорит о том, что отличие, если оно и есть, не очень большое и может рассматриваться, как будто его нет.

в социальных сетях:

Источник: https://statanaliz.info/statistica/proverka-gipotez/chto-takoe-proverka-statisticheskoj-gipotezy/

Интуитивное объяснение проверки гипотез и p-значение

Как происходит проверка статистических гипотез

Привет, Хабр! Представляю вашему вниманию перевод статьи «An intuitive explanation of Hypothesis Testing and P-Values» автора Joos Korstanje. Несколько лет назад я делал свою первую фриланс-работу по статистике для компании по доставке фруктов и овощей.

Двадцать четыре часа в день поступающие продукты от фермеров до того, как были отправлены в супермаркеты, проходили через отдел по контролю за качеством. Выбор продуктов осуществлялся случайно работниками данного отдела.

В годовом отчёте они заметили, что качество в этом году ниже, чем качество в прошлом: разница составила примерно половину пункта по шкале от 1 до 10. Потом пригласили меня.

Я должен был ответить на вопрос:
Являются ли эти 0,5 пунктов существенной разницей?
Если вы не знаете статистику, то этот вопрос может показаться вам странным. Но не беспокойтесь: цель этой статьи показать вам как можно ответить на этот вопрос, используя проверку гипотез, также называемое статистическим выводом.

Игра в числа: вклад одного яблока

Представьте себе, что вы проверяете яблоко на предмет хорошее оно или плохое, используя случайную выборку яблок из очень большой коробки с яблоками.

В изображении ниже мы видим реальный эффект размера выборки на измерения: эффект одного яблока очень существенен для маленьких выборок и становится менее и менее значимым, чем больше размер выборки.

Вклад одного яблока зависит от размера выборки.

Понимание влияния размера выборки — это первый базис для понимания проверки гипотез. Мы можем начать утверждать, что 0.5 на 2 яблоках будет как разница в 1 яблоко, очень маленькая. Но на 100 яблоках, 0.5 будет представлять собой разницу в 50 яблок: очень большая разница!

На малых выборках 0.5 пункта это небольшая разница, но на больших выборках 0.5 это разница большая.

Насколько большая должна быть выборка: проверка гипотез и значимость как ответ

Есть несколько способов, чтобы ответить на данный вопрос, но в этой статье я собираюсь погрузиться в статистический вывод или проверку гипотез. Проверка гипотез — это семейство статистических методов используемых, чтобы понять, как выборка наблюдаемых объектов может использоваться, чтобы принять или отвергнуть заранее поставленную гипотезу.

Проверка гипотез используется для решения многих задач, в основном в научных исследованиях и как ключевой метод в онлайн маркетинге (А\Б тестирование). Математики разработали проверку гипотез таким образом, что существует определённая процедура для поиска истины.

Проверка гипотез позволяет только проверить гипотезы, но не разработать их.

Из коробки, в которой 100 яблок (назовём её генеральной совокупностью), мы возьмём выборку из 8 яблок. В этом году из 8 яблок 5 оказались гнилыми (62%), а в выборке прошлого года из 8 яблок было только 4 гнилых (50%). Мы хотим использовать проверку гипотез, чтобы определить стал ли процент гнилых яблок в этом году больше, чем в прошлом. Проверка гипотез — это математическая альтернатива для измерения генеральной совокупности. Благодаря этим вычислениям мы можем обобщить измерения небольшой выборки на большую генеральную совокупность. Так мы проделываем меньше работы. Случайно набранная выборка имеет такой же процент гнилых яблок, как и генеральная совокупность, при условии, что набранная выборка достаточно велика. Математики придумали способ, как обобщить вывод, основанный на выборке, на генеральную совокупность. Этот способ начинается с формулировки чёткой исследовательской гипотезы. К сожалению, математика работает только в том случае, если у нас уже есть представление о том, что мы хотим проверить. Основная гипотеза для нашего примера:

Процент гнилых яблок в генеральной совокупности в этом году, больше чем в прошлом.

Фактическая проверка гипотезы

Математика проверки гипотез образует баланс между результатом измерений выборки с числом наблюдений. Результатом будет p-значение. Эти вычисления проходят через использование распределений: почти для каждой воображаемой ситуации был выведен математический закон, который описывает ожидаемый результат.

Для вопросов вида «да/нет», таких как вопрос о наших гнилых яблоках (гнилые/не гнилые), применяется закон подбрасывания монетки. Это самый простой пример математического закона: 50% выпадения решки, 50% орла.

Также очень просто это может быть представлено, как стандартное математическое распределение, которое скажет нам о вероятности наблюдений. Для примера, 7 орлов выпало из 10 подбрасываний монетки.

Это называется биноминальным распределением и может быть изображено так:
биноминальное распределение 10 подбрасываний монетки.

В этой статье я буду далек от тяжёлой математики, но важно знать, что мы можем использовать математические формулы для оценки того, является ли наблюдаемый процент далеким от ожидаемого процента. В конце этой статьи я дам вам список часто используемых формул проверки гипотез для различных случаев и после объясню, как их использовать. Но сначала я объясню интерпретацию проверки гипотез.

Результат проверки гипотез: p-value

За проверкой гипотез есть математический баланс между наблюдаемыми значениями и размером выборки. В конце вычислений каждый существующий вариант тестирования гипотез выдаст стандартизированную оценку, которая позволит сравнить результат, даже когда математика не совсем одинакова.

P-value это стандартный способ, чтобы сформулировать результат проверки гипотез и использовать его в любых других тестах. P-value это число между 0 и 1, которое говорит нам, если разница между нашим наблюдениями выборок, и наши гипотезы сильно различаются. Опорное значение – это 0.05. Разница статистически значима, если p-value меньше 0.05.

И разница статистически не значима, если p-value больше 0.05. Пример 1: Мы сделали 10 подбрасываний монетки. Наша гипотеза: мы ожидаем 5 решек. Наши наблюдения: мы получили 6 решек. Вычисление p-value дало 0.518, что больше, чем 0.05. Наш вывод: разница статистически не значима. Наша интерпретация: результат соответствует гипотезе.

Пример 2: Мы сделали 10 подбрасываний монетки Наша гипотеза: мы ожидаем 5 решек. Наш результат: мы получили 10 решек. Наше p-value — 0.0, что меньше чем 0.05. Наше заключение: разница статистически значима Наша интерпретация: результат не соответствует гипотезе. Пример 3: Мы проверили 10 яблок. Наша гипотеза: мы ожидаем 1 гнилое яблоко.

Наш результат: мы получили 1 гнилых яблок. Наше p-value — 1.0 что больше, чем 0.05. Наше заключение: разница статистически не значима Наша интерпретация: результат соответствует гипотезе. Пример 4: Мы проверили 10 яблок. Наша гипотеза: мы ожидаем 1 гнилое яблоко. Наш результат: мы получили 5 гнилых яблок. Наше p-value — 0.0114 что меньше, чем 0.05.

Наше заключение: разница статистически значима Наша интерпретация: результат не соответствует гипотезе.

Заключение

В этой статье я дал интуитивную интерпретацию общей структуры статистических погрешностей или проверки гипотез. Я надеюсь, что теперь вы лучше понимаете проверку гипотез, и чем она может быть вам полезна. Я не уходил глубоко в математические доказательства и в специфичные детали.

В таблице ниже приведен список самых частых проверок гипотез, которые я рекомендую для дальнейшего изучения. Список с альтернативными гипотезами для некоторых проверок гипотез.

Я надеюсь эта статья будет полезна для вас, и желаю вам удачи в дальнейших исследованиях проверки гипотез.

  • песочница
  • перевод
  • p-значение
  • статистика

Хабы:

Источник: https://habr.com/post/475048/

Очень просто
Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: