ПЛАТНАЯ ФУНКЦИЯ. Функция статистической значимости доступна только в некоторых тарифных планах. Проверьте, есть ли она в .

Можно узнать, есть ли статистически значимые отличия в ответах, полученных от разных групп респондентов на вопросы в опросе. Для работы с функцией статистической значимости в SurveyMonkey необходимо:

• Включить функцию статистической значимости при добавлении правила сравнения к вопросу в Вашем опросе. Выбрать группы респондентов для сравнения, чтобы отсортировать результаты опроса по группам для наглядного сравнения.
• Изучить таблицы с данными по вопросам Вашего опроса, чтобы выявить наличие статистически значимых отличий в ответах, полученных от различных групп респондентов.

Просмотр статистической значимости

Выполнив нижеописанные действия, Вы сможете создать опрос, отображающий статистическую значимость.

1. Добавьте в опрос вопросы закрытого типа

Для того, чтобы отобразить статистическую значимость во время анализа результатов, Вам понадобится применить правило сравнения к какому-либо вопросу из Вашего опроса.

Применить правило сравнения и вычислить статистическую значимость в ответах можно в том случае, если в схеме опроса Вы используете один из следующих типов вопросов:

Необходимо убедиться в том, что предлагаемые варианты ответа можно разделить на полноценные группы. Варианты ответа, выбираемые Вами для сравнения при создании правила сравнения, будут использованы для организации данных в перекрестные таблицы в рамках всего опроса.

2. Соберите ответы

После завершения составления опроса создайте коллектор для его рассылки. Существует несколько способов .

Вам необходимо получить не менее 30 ответов по каждому варианту ответа, который Вы планируете использовать в своем правиле сравнения, чтобы активировать и просмотреть статистическую значимость.

Пример опроса

Вы хотите узнать, довольны ли мужчины Вашей продукцией значительно больше, чем женщины.

1. Добавьте в опрос два вопроса с множественными вариантами ответа:
   Какой Ваш пол? (мужской, женский)
   Довольны ли Вы или недовольны нашим продуктом? (доволен(-льна), недоволен(-льна))
2. Убедитесь, что не менее 30 респондентов выбрали вариант ответа «мужской» на вопрос о поле, А ТАКЖЕ не менее 30 респондентов в качестве своего пола выбрали вариант «женский».
3. Добавьте правило сравнения к вопросу "Какой Ваш пол?" и выберите оба варианта ответа как Ваши группы.
4. Используйте таблицу данных ниже диаграммы вопроса "Довольны ли Вы или недовольны нашим продуктом?" , чтобы узнать, показывают ли какие-нибудь варианты ответа статистически значимое отличие

Что такое статистически значимое отличие?

Статистически значимое отличие означает, что с помощью статистического анализа установлено наличие существенных отличий между ответами одной группы респондентов и ответами другой группы. Статистическая значимость означает, что полученные цифры достоверно отличаются. Такие знания в значительной мере помогут Вам при анализе данных. Тем не менее, важность полученных результатов определяете Вы. Именно Вы решаете, как толковать результаты опросов и какие меры следует принять на их основе.

Например, Вы получаете больше претензий от покупателей женского пола, чем от покупателей-мужчин. Как определить, является ли такое отличие реальным и требуется ли в связи с этим принять меры? Одним из отличных способов проверить Ваши наблюдения является проведение опроса, который покажет Вам, действительно ли Вашим товаром в значительно большей мере довольны покупатели-мужчины. С помощью статистической формулы предлагаемая нами функция статистической значимости предоставит Вам возможность определить, действительно ли Ваш товар гораздо больше нравится мужчинам, чем женщинам. Это позволит Вам принять меры, основываясь на факты, а не на догадки.

Статистически значимое отличие

Если полученные Вами результаты выделены в таблице данных, это означает, что две группы респондентов значительно отличаются друг от друга. Термин «значительно» не означает, что полученные цифры имеют какую-то особую важность или значение, а лишь то, что между ними есть статистическая разница.

Отсутствие статистически значимого отличия

Если полученные Вами результаты не выделены в соответствующей таблице данных, это означает, что, несмотря на возможную разницу в двух сравниваемых цифрах, между ними нет статистической разницы.

Ответы без статистически значимых отличий демонстрируют, что между двумя сравниваемыми элементами нет значительной разницы при используемом Вами объеме выборки, однако это не обязательно означает, что они не имеют значения. Возможно, увеличив объем выборки, Вы сможете выявить статистически значимое отличие.

Объем выборки

Если у Вас очень малый объем выборки, значительными будут только очень большие отличия между двумя группами. Если у Вас очень большой объем выборки, как небольшие, так и большие отличия будут учтены как значительные.

Тем не менее, если две цифры являются статистически различными, это не означает, что разница между результатами имеет для Вас какое-либо практическое значение. Вам придется самим решить, какие именно отличия значимы для Вашего опроса.

Вычисление статистической значимости

Мы вычисляем статистическую значимость, используя стандартный уровень доверия 95 %. Если вариант ответа отображается как статистически значимый, это означает, что только благодаря случайности либо из-за ошибки выборки отличие между двумя группами имеет место с вероятностью менее 5 % (часто отображается в виде: p<0,05).

Для вычисления статистически значимых отличий между группами мы используем следующие формулы:

Параметр	Описание
a1	Доля участников из первой группы, ответивших на вопрос определенным образом, умноженная на объем выборки данной группы.
b1	Доля участников из второй группы, ответивших на вопрос определенным образом, умноженная на объем выборки данной группы.
Доля объединенной выборки (p)	Совокупность двух долей из обеих групп.
Стандартная ошибка (SE)	Показатель того, насколько Ваша доля отличается от действительной доли. Меньшее значение означает, что доля близка к действительной доле, большее значение означает, что доля существенно отличается от действительной доли.
Тестовый статистический показатель (t)	Тестовый статистический показатель. Количество значений стандартного отклонения, на которое данное значение отличается от среднего значения.
Статистическая значимость	Если абсолютная величина тестового статистического показателя превышает 1,96* стандартных отклонений от среднего значения, это считается статистически значимым отличием.

*1,96 является значением, применяемым для уровня доверия 95 %, поскольку 95 % диапазона, обрабатываемого функцией t-распределения Стьюдента, лежит в пределах 1,96 стандартного отклонения от среднего значения.

Пример вычислений

Продолжая пример, используемый выше, давайте выясним, действительно ли процент мужчин, заявляющих о том, что они довольны Вашим товаром, значительно выше процента женщин.

Допустим, в Вашем опросе приняло участие 1000 мужчин и 1000 женщин, и в результате опроса оказалось, что 70 % мужчин и 65 % женщин утверждают, что они довольны Вашим товаром. Является ли показатель на уровне 70 % значительно выше показателя на уровне 65 %?

Подставьте следующие данные из опроса в предлагаемые формулы:

• p1 (% мужчин, довольных продуктом) = 0,7
• p2 (% женщин, довольных продуктом) = 0,65
• n1 (количество опрошенных мужчин) = 1000
• n2 (количество опрошенных женщин) = 1000

Поскольку абсолютная величина тестового статистического показателя больше чем 1,96, это означает, что отличие между мужчинами и женщинами является значительным. По сравнению с женщинами мужчины с большей долей вероятности будут довольны Вашим продуктом.

Скрытие статистической значимости

Как скрыть статистическую значимость для всех вопросов

1. Нажмите стрелку «вниз» справа от правила сравнения на левой боковой панели.
2. Выберите пункт Редактировать правило .
3. Отключите функцию Показать статистическую значимость с помощью переключателя.
4. Нажмите кнопку Применить .

Чтобы скрыть статистическую значимость для одного вопроса, необходимо:

1. Нажмите кнопку Настроить над диаграммой данного вопроса.
2. Откройте вкладку Параметры отображения .
3. Снимите флажок напротив пункта Статистическая значимость .
4. Нажмите кнопку Сохранить .

Параметр отображения автоматически активируется при включении отображения статистической значимости. Если снять флажок этого параметра отображения, отображение статистической значимости также будет отключено.

Включите функцию статистической значимости при добавлении правила сравнения к вопросу в Вашем опросе. Изучите таблицы с данными по вопросам Вашего опроса, чтобы выявить наличие статистически значимых отличий в ответах, полученных от различных групп респондентов.

При обосновании статистического вывода следует решить вопрос, где же проходит линия между принятием и отвержением нулевой гипотезы? В силу наличия в эксперименте случайных влияний эта граница не может быть проведена абсолютно точно. Она базируется на понятии уровня значимости. Уровнем значимости называется вероятность ошибочного отклонения нулевой гипотезы. Или, иными словами, уровень значимости - это вероятность ошибки первого рода при принятии решения. Для обозначения этой вероятности, как правило, употребляют либо греческую букву α, либо латинскую букву р. В дальнейшем мы будем употреблять букву р.

Исторически сложилось так, что в прикладных науках, использующих статистику, и в частности в психологии, считается, что низшим уровнем статистической значимости является уровень р = 0,05; достаточным - уровень р = 0,01 и высшим уровень р = 0,001. Поэтому в статистических таблицах, которые приводятся в приложении к учебникам по статистике, обычно даются таблич­ные значения для уровней р = 0,05, р = 0,01 и р = 0,001. Иногда даются табличные значения для уровней р - 0,025 и р = 0,005.

Величины 0,05, 0,01 и 0,001 - это так называемые стандартные уровни статистической значимости. При статистическом анализе экспериментальных данных психолог в зависимости от задач и гипотез исследования должен выбрать необходимый уровень значимости. Как видим, здесь наибольшая величина, или нижняя граница уровня статистической значимости, равняется 0,05 - это означает, что допускается пять ошибок в выборке из ста элементов (случаев, испытуемых) или одна ошибка из двад­цати элементов (случаев, испытуемых). Считается, что ни шесть, ни семь, ни большее количество раз из ста мы ошибиться не можем. Цена таких ошибок будет слишком велика.

Заметим, что в современных статистических пакетах на ЭВМ используются не стандартные уровни значимости, а уровни, подсчитываемые непосредственно в процессе работы с соответ­ствующим статистическим методом. Эти уровни, обозначаемые буквой р, могут иметь различное числовое выражение в интервале от 0 до 1, например, р = 0,7, р = 0,23 или р = 0,012. Понятно, что в первых двух случаях полученные уровни значимости слишком велики и говорить о том, что результат значим нельзя. В то же время в последнем случае результаты значимы на уровне 12 тысячных. Это достоверный уровень.

Правило принятия статистического вывода таково: на основании полученных экспериментальных данных психолог подсчи­тывает по выбранному им статистическому методу так называе­мую эмпирическую статистику, или эмпирическое значение. Эту величину удобно обозначить как Ч эмп . Затем эмпирическая стати­стика Ч эмп сравнивается с двумя критическими величинами, ко­торые соответствуют уровням значимости в 5% и в 1% для выб­ранного статистического метода и которые обозначаются как Ч кр . Величины Ч кр находятся для данного статистического метода по соответствующим таблицам, приведенным в приложении к любому учебнику по статистике. Эти величины, как правило, всегда различны и их в дальнейшем для удобства можно назвать как Ч кр1 и Ч кр2 . Найденные по таблицам величины критических значений Ч кр1 и Ч кр2 удобно представлять в следующей стандартной форме записи:

Подчеркнем, однако, что мы использовали обозначения Ч эмп и Ч кр как сокращение слова «число». Во всех статистических методах приняты свои символические обозначения всех этих вели­чин: как подсчитанной по соответствующему статистическому методу эмпирической величины, так и найденных по соответ­ствующим таблицам критических величин. Например, при подсчете рангового коэффициента корреляции Спирмена по таблице критических значений этого коэффициента были найдены сле­дующие величины критических значений, которые для этого метода обозначаются греческой буквой ρ («ро»). Так для р = 0,05 по таб­лице найдена величина ρ кр 1 = 0,61 и для р = 0,01 величина ρ кр 2 = 0,76.

В принятой в дальнейшем изложении стандартной форме записи это выглядит следующим образом:

Теперь нам необходимо сравнить наше эмпирическое значе­ние с двумя найденными по таблицам критическими значения­ми. Лучше всего это сделать, расположив все три числа на так называемой «оси значимости». «Ось значимости» представляет собой прямую, на левом конце которой располагается 0, хотя он, как правило, не отмечается на самой этой прямой, и слева направо идет увеличение числового ряда. По сути дела это при­вычная школьная ось абсцисс ОХ декартовой системы координат. Однако особенность этой оси в том, что на ней выделено три участка, «зоны». Одна крайняя зона называется зоной незначимости, вторая крайняя зона - зоной значимости, а промежуточная - зоной неопреде­ленности. Границами всех трех зон являются Ч кр1 для р = 0,05 и Ч кр2 для р = 0,01, как это показано на рисунке.

В зависимости от правила принятия решения (правила вывода), предписанного в данном статистическом методе возможно два варианта.

Первый вариант: альтернативная гипотеза принимается, если Ч эмп ≥Ч кр .

Или второй вариант: альтернативная гипотеза принимается, если Ч эмп ≤Ч кр .

Подсчитанное Ч эмп по какому либо статистическому методу должно обязательно попасть в одну из трех зон.

Если эмпирическое значение попадает в зону незначимости, то принимается гипотеза Н 0 об отсутствии различий.

Если Ч эмп попало в зону значимости, принимается альтернативная гипотеза Н 1 о на­личии различий, а гипотеза Н 0 отклоняется.

Если Ч эмп попадает в зону неопределенности, перед исследователем стоит дилемма. Так, в зависи­мости от важности решаемой задачи он может считать полученную статистическую оценку достоверной на уровне 5%, и принять, тем самым гипотезу Н 1 , отклонив гипотезу Н 0 , либо - недостоверной на уровне 1%, приняв тем самым, гипотезу Н 0 . Подчеркнем, одна­ко, что это именно тот случай, когда психолог может допустить ошибки первого или второго рода. Как уже говорилось выше, в этих обстоятельствах лучше всего увеличить объем выборки.

Подчеркнем также, что величина Ч эмп может точно совпасть либо с Ч кр1 либо Ч кр2 . В первом случае можно считать, что оценка достоверна точно на уровне в 5% и принять гипотезу Н 1 , или, напротив, принять гипотезу Н 0 . Во втором случае, как пра­вило, принимается альтернативная гипотеза Н 1 о наличии разли­чий, а гипотеза Н 0 отклоняется.

Статистическая значимость или р-уровень значимости - основной результат проверки

статистической гипотезы. Говоря техническим языком, это вероятность получения данного

результата выборочного исследования при условии, что на самом деле для генеральной

совокупности верна нулевая статистическая гипотеза - то есть связи нет. Иначе говоря, это

вероятность того, что обнаруженная связь носит случайный характер, а не является свойством

совокупности. Именно статистическая значимость, р-уровень значимости является

количественной оценкой надежности связи: чем меньше эта вероятность, тем надежнее связь.

Предположим, при сравнении двух выборочных средних было получено значение уровня

статистической значимости р=0,05. Это значит, что проверка статистической гипотезы о

равенстве средних в генеральной совокупности показала, что если она верна, то вероятность

случайного появления обнаруженных различий составляет не более 5%. Иначе говоря, если бы

две выборки многократно извлекались из одной и той же генеральной совокупности, то в 1 из

20 случаев обнаруживалось бы такое же или большее различие между средними этих выборок.

То есть существует 5%-ная вероятность того, что обнаруженные различия носят случайный

характер, а не являются свойством совокупности.

В отношении научной гипотезы уровень статистической значимости – это количественный

показатель степени недоверия к выводу о наличии связи, вычисленный по результатам

выборочной, эмпирической проверки этой гипотезы. Чем меньше значение р-уровня, тем выше

статистическая значимость результата исследования, подтверждающего научную гипотезу.

Полезно знать, что влияет на уровень значимости. Уровень значимости при прочих равных

условиях выше (значение р-уровня меньше), если:

Величина связи (различия) больше;

Изменчивость признака (признаков) меньше;

Объем выборки (выборок) больше.

Односторонние еpи двусторонние критерии проверки значимости

Если цель исследования том, чтобы выявить различие параметров двух генеральных

совокупностей, которые соответствуют различным ее естественным условиям (условия жизни,

возраст испытуемых и т. п.), то часто неизвестно, какой из этих параметров будет больше, а

какой меньше.

Например, если интересуются вариативностью результатов в контрольной и

экспериментальной группах, то, как правило, нет уверенности в знаке различия дисперсий или

стандартных отклонений результатов, по которым оценивается вариативность. В этом случае

нулевая гипотеза состоит в том, что дисперсии равны между собой, а цель исследования -

доказать обратное, т.е. наличие различия между дисперсиями. При этом допускается, что

различие может быть любого знака. Такие гипотезы называются двусторонними.

Но иногда задача состоит в том, чтобы доказать увеличение или уменьшение параметра;

например, средний результат в экспериментальной группе выше, чем контрольной. При этом

уже не допускается, что различие может быть другого знака. Такие гипотезы называются

Односторонними.

Критерии значимости, служащие для проверки двусторонних гипотез, называются

Двусторонними, а для односторонних - односторонними.

Возникает вопрос о том, какой из критериев следует выбирать в том или ином случае. Ответ

На этот вопрос находится за пределами формальных статистических методов и полностью

Зависит от целей исследования. Ни в коем случае нельзя выбирать тот или иной критерий после

Проведения эксперимента на основе анализа экспериментальных данных, поскольку это может

Привести к неверным выводам. Если до проведения эксперимента допускается, что различие

Сравниваемых параметров может быть как положительным, так и отрицательным, то следует

Понятие о статистической достоверности

Статистическая достоверность имеет существенное значение в расчетной практике ФКС. Ранее было отмечено, что из одной и той же генеральной совокупности может быть избрано множество выборок:

Если они подобраны корректно, то их средние показатели и показатели генеральной совокупности незначительно отличаются друг от друга величиной ошибки репрезентативности с учетом принятой надежности;

Если они избираются из разных генеральных совокупностей, различие между ними оказывается существенным. В статистике по­всеместно рассматривается сравнение выборок;

Если они отличаются несущественно, непринципиально, не­значительно, т. е. фактически принадлежат одной и той же гене­ральной совокупности, различие между ними называется стати­стически недостоверным.

Статистически достоверным различием выборок называется выборка, которая различается значимо и принципиально, т. е. при­надлежит разным генеральным совокупностям.

В ФКС оценка статистической достоверности различий выбо­рок означает решение множества практических задач. Например, введение новых методик обучения, программ, комплексов упраж­нений, тестов, контрольных упражнений связано с их экспери­ментальной проверкой, которая должна показать, что испытуе­мая группа принципиально отлична от контрольной. Поэтому при­меняют специальные статистические методы, называемые крите­риями статистической достоверности, позволяющие обнаружить наличие или отсутствие статистически достоверного различия между выборками.

Все критерии делятся на две группы: параметрические и непараметрические. Параметрические критерии предусматривают обязательное наличие нормального закона распределения, т.е. имеется в виду обязательное определение основных показателей нормального закона - средней арифметической величины х и среднего квадратического отклонения о. Параметрические крите­рии являются наиболее точными и корректными. Непараметри­ческие критерии основаны на ранговых (порядковых) отличиях между элементами выборок.

Приведем основные критерии статистической достоверности, используемые в практике ФКС: критерий Стьюдента, критерий Фишера, критерий Вилкоксона, критерий Уайта, критерий Ван-дер-Вардена (критерий знаков).

Критерий Стьюдента назван в честь английского ученого К. Госсета (Стьюдент - псевдоним), открывшего данный метод. Критерий Стьюдента является параметрическим, используется для сравнения абсолютных показателей выборок. Выборки могут быть различными по объему.

Критерий Стьюдента определяется так.

1. Находим критерий Стьюдента t по следующей формуле:

где Xi, x 2 - средние арифметические сравниваемых выборок; /я ь w 2 - ошибки репрезентативности, выявленные на основании показателей сравниваемых выборок.

2. Практика в ФКС показала, что для спортивной работы доста­точно принять надежность счета Р = 0,95.

63 Для надежности счета: Р= 0,95 (а = 0,05), при числе степеней; свободы k = «! + п 2 - 2 по таблице приложения 4 находим величи- \ ну граничного значения критерия (^гр).

3. На основании свойств нормального закона распределения в критерии Стьюдента осуществляется сравнение t и t^.

4. Делаем выводы:

Если t > ftp, то различие между сравниваемыми выборками статистически достоверно;

Если t < 7 Ф, то различие статистически недостоверно.

Для исследователей в области ФКС оценка статистической до­стоверности является первым шагом в решении конкретной зада­чи: принципиально или непринципиально различаются между; собой сравниваемые выборки. Последующий шаг заключается в; оценке этого различия с педагогической точки зрения, что опре­деляется условием задачи.

Задание 3. Пяти дошкольникам предъявляют тест. Фиксируется время решения каждого задания. Будут ли найдены статистически значимые различия между временем решения первых трёх заданий теста?

№ испытуемых

Справочный материал

Данное задание основано на теории дисперсионного анализа. В общем случае, задачей дисперсионного анализа является выявление тех факторов, которые оказывают существенное влияние на результат эксперимента. Дисперсионный анализ может применяться для сравнения средних нескольких выборок, если число выборок больше двух. Для этой цели служит однофакторный дисперсионный анализ.

В целях решения поставленных задач принимается следующее. Если дисперсии полученных значений параметра оптимизации в случае влияния факторов отличаются от дисперсий результатов в случае отсутствия влияния факторов, то такой фактор признается значимым.

Как видно из формулировки задачи, здесь используются методы проверки статистических гипотез, а именно – задача проверки двух эмпирических дисперсий. Следовательно, дисперсионный анализ базируется на проверке дисперсий по критерию Фишера. В данном задании необходимо проверить являются ли статистически значимыми различия между временем решения первых трёх заданий теста каждым из шести дошкольников.

Нулевой (основной) называют выдвинутую гипотезу H о. Сущность е сводится к предположению, что разница между сравниваемыми параметрами равна нулю (отсюда и название гипотезы – нулевая) и что наблюдаемые различия имеют случайный характер.

Конкурирующей (альтернативной) называют гипотезу H 1 , которая противоречит нулевой.

Решение:

Методом дисперсионного анализа при уровне значимости α = 0,05 проверим нулевую гипотезу (H о) о существовании статистически значимых различий между временем решения первых трёх заданий теста у шести дошкольников.

Рассмотрим таблицу условия задания, в которой найдем среднее время решения каждого из трех заданий теста

№ испытуемых	Уровни фактора
	Время решения первого задания теста (в сек.).	Время решения второго задания теста (в сек.).	Время решения третьего задания теста (в сек.).
Групповая средняя

Находим общую среднюю:

Для того, чтобы учесть значимость временных различий каждого теста, общая выборочная дисперсия разбивается на две части, первая из которых называется факторной , а вторая – остаточной

Рассчитаем общую сумму квадратов отклонений вариант от общей средней по формуле

или , где р – число измерений времени решений заданий теста, q – количество испытуемых. Для этого составим таблицу квадратов вариант

№ испытуемых	Уровни фактора
	Время решения первого задания теста (в сек.).	Время решения второго задания теста (в сек.).	Время решения третьего задания теста (в сек.).